CN112507243A - 一种基于表情的内容推送方法与装置 - Google Patents

一种基于表情的内容推送方法与装置 Download PDF

Info

Publication number
CN112507243A
CN112507243A CN202110168783.4A CN202110168783A CN112507243A CN 112507243 A CN112507243 A CN 112507243A CN 202110168783 A CN202110168783 A CN 202110168783A CN 112507243 A CN112507243 A CN 112507243A
Authority
CN
China
Prior art keywords
expression set
user
expression
facial
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110168783.4A
Other languages
English (en)
Other versions
CN112507243B (zh
Inventor
陈晔莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Acadsoc Information Co ltd
Original Assignee
Shenzhen Acadsoc Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Acadsoc Information Co ltd filed Critical Shenzhen Acadsoc Information Co ltd
Priority to CN202110168783.4A priority Critical patent/CN112507243B/zh
Publication of CN112507243A publication Critical patent/CN112507243A/zh
Application granted granted Critical
Publication of CN112507243B publication Critical patent/CN112507243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种基于表情的内容推送方法与装置，通过获取所述用户在线学习的面部三维视频数据；依据所述面部三维视频数据生成面部表情集；依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集；依据所述正面表情集确定所述用户深化的知识课程；或依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程。通过用户的表情来判断用户的学习情况，从而可以根据用户的表情来调整课程内容，针对不同用户提出不同的学习方案，推荐课程的准确率提高，有效的提高用户的学习效率。

Description

一种基于表情的内容推送方法与装置
技术领域
本发明涉及视频处理技术领域，具体涉及一种基于表情的内容推送方法与装置。
背景技术
在线学习，也称网络教育，是一种网络化学习方式，即学生通过网络平台进行学习，登陆在线学习系统平台，通过网络进行选课、听课、完成作业和考试而实现学习过程的一种全新的学习方式。利用视频传播的快速性和便捷性，实现授课过程的大规模传播。在线下课程中，授课者可以通过学生的面部表情和通过对学生提问获得反馈，从而做出及时的教学调整，在线课程学习还无法做到这一点。但表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表情，表情包含普通表情的全部肌肉动作或者普通表情肌肉动作的一部分，用于表达六大基本表情。
在已有的线下课程中，授课者可以通过学员的微表情以及对学员提问得到课程反馈，从而做出及时的课程调整，但在线课程学习还无法做到这一点。
但大部分在线课程是一种非实时的产品，内容相对固定，针对所有学员呈现的内容是相同的，不能根据学员的表情进行课程调整，推荐课程准确率低，因此在应用场景下具有很大的局限性。
发明内容
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种基于表情的内容推送方法与装置：
为了解决上述问题，本发明实施例公开了一种基于表情的内容推送方法包括：获取所述用户在线学习的面部三维视频数据；
依据所述面部三维视频数据生成面部表情集，其中，所述面部表情集为所述面部三维视频数据中每帧图像所对应的面部表情标签的集合；
依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个；
依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户；或依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
优选地，所述获取所述用户在线学习的面部三维视频数据，包括：获取所述用户面部视频的深度值；获取所述用户面部的色彩视频数据，并依据所述色彩视频数据标记采集点对应所述用户面部各部分确定标记数据；依据所述深度值、所述标记数据和所述色彩视频数据，重建所述用户在线学习的面部三维视频数据。
优选地，所述获取所述用户面部视频的深度值，包括：向所述用户面部发射预设的结构化红外点阵模板，并获取所述结构化红外点阵模板反射的结构化红外点阵模板；依据所述预设的结构化红外点阵模板和所述反射的结构化红外点阵模板确定所述用户面部视频的深度值。
优选地，所述依据所述面部三维视频数据生成面部表情集，包括：依据所述面部三维视频数据确定每帧图像的三维数据，并在所述每帧图像标记时间标签；依据预设的表情库匹配所述每帧图像的三维数据所对应的表情标签，确定所述面部表情集。
优选地，所述依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，包括：将所述面部表情集中的相同表情标签的每帧图像进行合并确定相同表情集，其中，所述相同表情集为至少两个；将所述相同表情集中的带有正面表情标签的集作为正面表情集；或将所述相同表情集中的带有负面表情标签的集作为负面表情集和将所述相同表情集中的带有正面表情标签的集作为正面表情集。
优选地，所述依据所述负面表情集确定所述用户薄弱的知识课程，包括：
依据所述负面表情集中的每帧负面表情图像的所述时间标签确定所对应的知识课程；若所述知识课程中的负面表情图像数量超过预设阈值，则将所述知识课程作为薄弱的知识课程推送给所述用户。
优选地，所述依据所述正面表情集确定所述用户深化的知识课程，包括：
依据所述正面表情集中的每帧正面表情图像所对应所述时间标签确定知识课程；若所述知识课程中的正面表情图像数量超过预设阈值，则将所述知识课程进行深化作为深化的知识课程推送给所述用户。
与上述方法相匹配，本发明还提供一种基于表情的内容推送装置，包括：
面部三维视频数据生成模块，用于获取用户在线学习的面部三维视频数据；
面部表情集生成模块，用于依据所述面部三维视频数据生成面部表情集，其中，所述面部表情集为所述面部视频数据中每帧图像所对应的面部表情的集合；
表情集确定模块，用于依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个；
知识课程确定模块，用于依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户；或依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
与上述方法相匹配，本发明还提供一种设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述所述的基于表情的内容推送方法。
与上述方法相匹配，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的基于表情的内容推送方法。
本申请具有以下优点：
在本申请的实施例中，通过获取所述用户在线学习的面部三维视频数据；依据所述面部三维视频数据生成面部表情集，其中，所述面部表情集为所述面部三维视频数据中每帧图像所对应的面部表情标签的集合；依据所述面部表情集确定负面表情集和/或正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个；依据所述负面表情集确定所述用户薄弱的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户；和/或依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。通过用户的表情来判断用户的学习情况，从而可以根据用户的表情来调整课程内容，针对不同用户提出不同的学习方案，推荐课程的准确率提高，有效的提高用户的学习效率。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种基于表情的内容推送方法的步骤流程图；
图2是本申请一实施例提供的一种基于表情的内容推送装置的结构示意图；
图3是本发明一实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本发明任一实施例中，一种基于表情的内容推送方法用于在线学习时基于用户的表情对所述用户进行知识课程的推送。
参照图1，示出了本申请一实施例提供的一种基于表情的内容推送方法的步骤流程图，具体包括如下步骤：
S110、获取所述用户在线学习的面部三维视频数据；
S120、依据所述面部三维视频数据生成面部表情集，其中，所述面部表情集为所述面部三维视频数据中每帧图像所对应的面部表情标签的集合；
S130、依据所述面部表情集确定负面表情集和/或正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个；
S140、依据所述负面表情集确定所述用户薄弱的知识课程，其中，依据所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户；
和/或依据所述正面表情集确定所述用户深化的知识课程，其中，依据所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
在本申请的实施例中，通过获取所述用户在线学习的面部三维视频数据；依据所述面部三维视频数据生成面部表情集，其中，所述面部表情集为所述面部三维视频数据中每帧图像所对应的面部表情标签的集合；依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个；依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户；或依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。通过用户的表情来判断用户的学习情况，从而可以根据用户的表情来调整课程内容，针对不同用户提出不同的学习方案，推荐课程的准确率提高，有效的提高用户的学习效率。
下面，将对本示例性实施例中一种基于表情的内容推送方法作进一步地说明。
如上述步骤S110所述，获取所述用户在线学习的面部三维视频数据。
在本申请实施例中，获取所述用户面部视频的深度值，其中，向所述用户面部发射预设的结构化红外点阵模板，并获取所述结构化红外点阵模板反射的结构化红外点阵模板；依据所述预设的结构化红外点阵模板和所述反射的结构化红外点阵模板确定所述用户面部视频的深度值。
需要说明的是，通过点阵投影器向所述用户面部发射预设的结构化红外点阵模板，并通过红外镜头接收投射至所述用户面部后反射回来的结构化红外点阵模板；计算红外镜头接收的结构化红外点阵模板与预先设定的结构化红外点阵模板之间的差异，得出所述用户面部视频的深度值。
在本申请实施例中，获取所述用户面部的色彩视频数据，并依据所述色彩视频数据标记采集点对应所述用户面部各部分确定标记数据；依据所述深度值、所述标记数据和所述色彩视频数据，重建所述用户在线学习的面部三维视频数据。
需要说明的是，通过前置摄像头采集所述用户面部的色彩视频数据，并标记采集点对应所述用户面部各部分，获得标记数据；所述深度值匹配所述标记数据，然后进行相应处理，重建被扫描物体的三维数据模型；所述三维数据模型对应的标记数据与所述色彩信息相对应，建立纹理贴图，得到所述用户面部的三维数据。
需要说明的是，所述相应处理为对视频数据的相应处理，包括平滑处理、对齐处理和去光照处理。
如上述步骤S120所述，依据所述面部三维视频数据生成面部表情集。
在本申请实施例中，依据所述面部三维视频数据确定每帧图像的三维数据，并在所述每帧图像标记时间标签；依据预设的表情库匹配所述每帧图像的三维数据所对应的表情标签，确定所述面部表情集。
需要说明的是，根据所述面部三维视频数据中的每帧图像，给每帧图像标记时间标签；在预设的表情库中，对每帧图像提取表情特征，将所述表情特征与所述表情库中的表情标签匹配；所述预设的表情库包括兴奋、高兴、惊奇、惊讶、伤心、痛苦、害怕、恐惧、轻蔑、厌恶、生气、愤怒等表情标签。
如上述步骤S130所述，具体可以为：依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个。
如上述步骤S130所述，具体可以为：依据所述面部表情集确定负面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个。
如上述步骤S130所述，具体可以为：依据所述面部表情集确定负面表情集和正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个。
在本申请实施例中，将所述面部表情集中的相同表情标签的每帧图像进行合并确定相同表情集，其中，所述相同表情集为至少两个；将相同表情集中的带有负面表情标签的集作为负面表情集和将所述相同表情集中的带有正面表情标签的集作为正面表情集；或将所述相同表情集中的带有正面表情标签的集作为正面表情集。
需要说明的是，所述相同表情集包括兴奋表情集、高兴表情集、惊奇表情集、惊讶表情集、伤心表情集、痛苦表情集、害怕表情集、恐惧表情集、轻蔑表情集、厌恶表情集、生气表情集、愤怒表情集等。
所述负面表情集为伤心表情集、痛苦表情集、害怕表情集、恐惧表情集、轻蔑表情集、厌恶表情集、生气表情集、愤怒表情集等；所述正面表情集为兴奋表情集、高兴表情集、惊奇表情集、惊讶表情集等。
如上述步骤S140所述，具体可以为：依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户；或依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
如上述步骤S140所述，具体可以为：依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
如上述步骤S140所述，具体可以为：依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
在本申请实施例中，依据所述负面表情集中的每帧负面表情图像的所述时间标签确定所对应的知识课程；若所述知识课程中的负面表情图像数量超过预设阈值，则将所述知识课程作为薄弱的知识课程推送给所述用户。
在本申请实施例中，依据所述正面表情集中的每帧正面表情图像所对应所述时间标签确定知识课程；若所述知识课程中的正面表情图像数量超过预设阈值，则将所述知识课程进行深化作为深化的知识课程推送给所述用户。
需要说明的是，所述预设阀值可以根据用户进行调整，或后台进行调整，在一实施例中，所述预设阀值可以为50，当所述知识课程中的正面表情图像数量大于等于50，则将所述知识课程进行深化后，在推送给所述用户；当所述知识课程中的正面表情图像数量小于50，则不推送给所述用户。
需要说明的是，所述预设阀值可以根据用户进行调整，或后台进行调整，在一实施例中，所述预设阀值可以为50，当所述知识课程中的负面表情图像数量大于等于50，则将所述知识课程作为薄弱的知识课程推送给所述用户；若所述知识课程中的负面表情图像数量小于50，则不推送给所述用户。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图2，示出了本申请一实施例提供的一种基于表情的内容推送装置，具体包括如下模块：
面部三维视频数据生成模块210，用于获取用户在线学习的面部三维视频数据。
面部表情集生成模块220，用于依据所述面部三维视频数据生成面部表情集，其中，所述面部表情集为所述面部视频数据中每帧图像所对应的面部表情的集合。
表情集确定模块230，用于依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个。
知识课程确定模块240，依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户；或依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
在本申请实施例中，所述面部三维视频数据生成模块210，包括：
深度值获取子模块，获取所述用户面部视频的深度值。
标记确定子模块，获取所述用户面部的色彩视频数据，并依据所述色彩视频数据标记采集点对应所述用户面部各部分确定标记数据。
面部三维视频数据建立子模块，依据所述深度值、所述标记数据和所述色彩视频数据，重建所述用户在线学习的面部三维视频数据。
在本申请实施例中，所述深度值获取子模块，包括：
结构化红外点阵模板获取子模块，向所述用户面部发射预设的结构化红外点阵模板，并获取所述结构化红外点阵模板反射的结构化红外点阵模板；
面部视频的深度值确定子模块，依据所述预设的结构化红外点阵模板和所述反射的结构化红外点阵模板确定所述用户面部视频的深度值。
在本申请实施例中，所述面部表情集生成模块220，包括：
时间标记子模块，依据所述面部三维视频数据确定每帧图像的三维数据，并在所述每帧图像标记时间标签。
面部表情集确定子模块，依据预设的表情库匹配所述每帧图像的三维数据所对应的表情标签，确定所述面部表情集。
在本申请实施例中，所述表情集确定模块230，包括：
相同表情集确定子模块，将所述面部表情集中的相同表情标签的每帧图像进行合并确定相同表情集，其中，所述相同表情集为至少两个。
负面表情集和/或正面表情集子模块，将所述相同表情集中的带有正面表情标签的集作为正面表情集；或将所述相同表情集中的带有负面表情标签的集作为负面表情集和将所述相同表情集中的带有正面表情标签的集作为正面表情集。
在本申请实施例中，所述知识课程确定模块240，包括：
负面表情知识课程子模块，依据所述负面表情集中的每帧负面表情图像的所述时间标签确定所对应的知识课程。
薄弱的知识课程子模块，若所述知识课程中的负面表情图像数量超过预设阈值，则将所述知识课程作为薄弱的知识课程推送给所述用户。
正面表情知识课程子模块，依据所述正面表情集中的每帧正面表情图像所对应所述时间标签确定的知识课程。
深化的知识课程子模块，若所述知识课程中的正面表情图像数量超过预设阈值，则将所述知识课程进行深化作为深化的知识课程推送给所述用户。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
在本具体实施例与上述具体实施例中有重复的操作步骤，本具体实施例仅做简单描述，其余方案参考上述具体实施例描述即可。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图3，示出了本发明的一种基于表情的内容推送方法的计算机设备，具体可以包括如下：
在本发明实施例中，本发明还提供一种计算机设备，上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，内存28，连接不同系统组件（包括内存28和处理单元16）的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、音视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
内存28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（通常称为“硬盘驱动器”）。尽管图3中未示出，可以提供用于对可移动非易失性磁盘（如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD~ROM，DVD~ROM或者其他光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块42，这些程序模块42被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24、摄像头等）通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过I/O接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（LAN）），广域网（WAN）和/或公共网络（例如因特网）通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在内存28中的程序，执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于表情的内容推送方法。
在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的基于表情的内容推送方法。
也即，给程序被处理器执行时实现：获取所述用户在线学习的面部三维视频数据；依据所述面部三维视频数据生成面部表情集，其中，所述面部表情集为所述面部三维视频数据中每帧图像所对应的面部表情标签的集合；
依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个；
依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户；或依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD~ROM）、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，改计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种基于表情的内容推送方法与装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于表情的内容推送方法，所述方法用于在线学习时基于用户的表情对所述用户进行知识课程的推送，其特征在于，包括：
获取所述用户在线学习的面部三维视频数据；
依据所述面部三维视频数据生成面部表情集，其中，所述面部表情集为所述面部三维视频数据中每帧图像所对应的面部表情标签的集合；
依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个；
依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户；或依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
2.根据权利要求1所述的基于表情的内容推送方法，其特征在于，所述获取所述用户在线学习的面部三维视频数据，包括：
获取所述用户面部视频的深度值；
获取所述用户面部的色彩视频数据，并依据所述色彩视频数据标记采集点对应所述用户面部各部分确定标记数据；
依据所述深度值、所述标记数据和所述色彩视频数据，重建所述用户在线学习的面部三维视频数据。
3.根据权利要求2所述的基于表情的内容推送方法，其特征在于，所述获取所述用户面部视频的深度值，包括：
向所述用户面部发射预设的结构化红外点阵模板，并获取所述结构化红外点阵模板反射的结构化红外点阵模板；
依据所述预设的结构化红外点阵模板和所述反射的结构化红外点阵模板确定所述用户面部视频的深度值。
4.根据权利要求1所述的基于表情的内容推送方法，其特征在于，所述依据所述面部三维视频数据生成面部表情集，包括：
依据所述面部三维视频数据确定每帧图像的三维数据，并在所述每帧图像标记时间标签；
依据预设的表情库匹配所述每帧图像的三维数据所对应的表情标签，确定所述面部表情集。
5.根据权利要求1所述的基于表情的内容推送方法，其特征在于，所述依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，包括：
将所述面部表情集中的相同表情标签的每帧图像进行合并确定相同表情集，其中，所述相同表情集为至少两个；
将所述相同表情集中的带有正面表情标签的集作为正面表情集；或将所述相同表情集中的带有负面表情标签的集作为负面表情集和将所述相同表情集中的带有正面表情标签的集作为正面表情集。
6.根据权利要求4所述的基于表情的内容推送方法，其特征在于，所述依据所述负面表情集确定所述用户薄弱的知识课程，包括：
依据所述负面表情集中的每帧负面表情图像的所述时间标签确定所对应的知识课程；
若所述知识课程中的负面表情图像数量超过预设阈值，则将所述知识课程作为薄弱的知识课程推送给所述用户。
7.根据权利要求4所述的基于表情的内容推送方法，其特征在于，所述依据所述正面表情集确定所述用户深化的知识课程，包括：
依据所述正面表情集中的每帧正面表情图像所对应所述时间标签确定知识课程；
若所述知识课程中的正面表情图像数量超过预设阈值，则将所述知识课程进行深化作为深化的知识课程推送给所述用户。
8.一种基于表情的内容推送装置，其特征在于，包括：
面部三维视频数据生成模块，用于获取用户在线学习的面部三维视频数据；
面部表情集生成模块，用于依据所述面部三维视频数据生成面部表情集，其中，所述面部表情集为所述面部视频数据中每帧图像所对应的面部表情的集合；
表情集确定模块，用于依据所述面部表情集确定正面表情集；或依据所述面部表情集确定负面表情集和正面表情集，其中，所述负面表情集为所述面部表情集中每帧图像所对应的负面表情标签的集合，所述负面表情集为至少一个；所述正面表情集为所述面部表情集中每帧图像所对应的正面表情标签的集合，所述正面表情集为至少一个；
知识课程确定模块，用于依据所述正面表情集确定所述用户深化的知识课程，其中，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户；或依据所述负面表情集确定所述用户薄弱的知识课程和依据所述正面表情集确定所述用户深化的知识课程，其中，将所述负面表情集的时间段所对应的所述用户实时学习的知识课程作为薄弱的知识课程推送给所述用户，将所述正面表情集的时间段所对应的所述用户实时学习的知识课程进行深化作为深化的知识课程推送给所述用户。
9.一种设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于表情的内容推送方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于表情的内容推送方法。
CN202110168783.4A 2021-02-07 2021-02-07 一种基于表情的内容推送方法与装置 Active CN112507243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110168783.4A CN112507243B (zh) 2021-02-07 2021-02-07 一种基于表情的内容推送方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110168783.4A CN112507243B (zh) 2021-02-07 2021-02-07 一种基于表情的内容推送方法与装置

Publications (2)

Publication Number Publication Date
CN112507243A true CN112507243A (zh) 2021-03-16
CN112507243B CN112507243B (zh) 2021-05-18

Family

ID=74952760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110168783.4A Active CN112507243B (zh) 2021-02-07 2021-02-07 一种基于表情的内容推送方法与装置

Country Status (1)

Country Link
CN (1) CN112507243B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561421A (zh) * 2023-05-11 2023-08-08 广东工贸职业技术学院 基于人脸识别的学生课程推荐方法、装置及设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140154659A1 (en) * 2012-11-21 2014-06-05 Laureate Education, Inc. Facial expression recognition in educational learning systems
CN104299178A (zh) * 2014-07-11 2015-01-21 北京神州智联科技有限公司 一种基于面部识别的网络教学方法及系统
WO2015027079A1 (en) * 2013-08-21 2015-02-26 Quantum Applied Science And Research, Inc. System and method for improving student learning by monitoring student cognitive state
CN104462468A (zh) * 2014-12-17 2015-03-25 百度在线网络技术（北京）有限公司 信息提供方法及装置
US20150339396A1 (en) * 2011-04-29 2015-11-26 Ufaceme, Inc. Mobile device and system for recording, reviewing, and analyzing human relationship
CN106875767A (zh) * 2017-03-10 2017-06-20 重庆智绘点途科技有限公司 在线学习系统及方法
CN107622526A (zh) * 2017-10-19 2018-01-23 张津瑞 一种基于手机面部识别组件进行三维扫描建模的方法
CN107705639A (zh) * 2017-11-03 2018-02-16 合肥亚慕信息科技有限公司 一种基于面部识别捕捉的在线课堂提问解答系统
CN108664932A (zh) * 2017-05-12 2018-10-16 华中师范大学 一种基于多源信息融合的学习情感状态识别方法
CN108830237A (zh) * 2018-06-21 2018-11-16 北京师范大学 一种人脸表情的识别方法
CN109034037A (zh) * 2018-07-19 2018-12-18 江苏黄金屋教育发展股份有限公司 基于人工智能的在线学习方法
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习系统
CN110889366A (zh) * 2019-11-22 2020-03-17 成都市映潮科技股份有限公司 一种基于面部表情判断用户兴趣度的方法及系统
CN111428175A (zh) * 2020-03-04 2020-07-17 中国平安人寿保险股份有限公司 基于微表情识别的在线课程推荐方法及相关设备
CN111586493A (zh) * 2020-06-01 2020-08-25 联想(北京)有限公司 一种多媒体文件的播放方法及装置
CN111783620A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 表情识别方法、装置、设备及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150339396A1 (en) * 2011-04-29 2015-11-26 Ufaceme, Inc. Mobile device and system for recording, reviewing, and analyzing human relationship
US20140154659A1 (en) * 2012-11-21 2014-06-05 Laureate Education, Inc. Facial expression recognition in educational learning systems
US10810895B2 (en) * 2012-11-21 2020-10-20 Laureate Education, Inc. Facial expression recognition in educational learning systems
WO2015027079A1 (en) * 2013-08-21 2015-02-26 Quantum Applied Science And Research, Inc. System and method for improving student learning by monitoring student cognitive state
CN104299178A (zh) * 2014-07-11 2015-01-21 北京神州智联科技有限公司 一种基于面部识别的网络教学方法及系统
CN104462468A (zh) * 2014-12-17 2015-03-25 百度在线网络技术（北京）有限公司 信息提供方法及装置
CN106875767A (zh) * 2017-03-10 2017-06-20 重庆智绘点途科技有限公司 在线学习系统及方法
CN108664932A (zh) * 2017-05-12 2018-10-16 华中师范大学 一种基于多源信息融合的学习情感状态识别方法
CN107622526A (zh) * 2017-10-19 2018-01-23 张津瑞 一种基于手机面部识别组件进行三维扫描建模的方法
CN107705639A (zh) * 2017-11-03 2018-02-16 合肥亚慕信息科技有限公司 一种基于面部识别捕捉的在线课堂提问解答系统
CN108830237A (zh) * 2018-06-21 2018-11-16 北京师范大学 一种人脸表情的识别方法
CN109034037A (zh) * 2018-07-19 2018-12-18 江苏黄金屋教育发展股份有限公司 基于人工智能的在线学习方法
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习系统
CN110889366A (zh) * 2019-11-22 2020-03-17 成都市映潮科技股份有限公司 一种基于面部表情判断用户兴趣度的方法及系统
CN111428175A (zh) * 2020-03-04 2020-07-17 中国平安人寿保险股份有限公司 基于微表情识别的在线课程推荐方法及相关设备
CN111586493A (zh) * 2020-06-01 2020-08-25 联想(北京)有限公司 一种多媒体文件的播放方法及装置
CN111783620A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 表情识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
米珍美: "基于情感识别的自适应学习系统研究与设计", 《中国优秀硕士学位论文全文数据库社会科学II辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561421A (zh) * 2023-05-11 2023-08-08 广东工贸职业技术学院 基于人脸识别的学生课程推荐方法、装置及设备

Also Published As

Publication number Publication date
CN112507243B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110033659B (zh) 一种远程教学互动方法、服务器、终端以及系统
Mayer Applying the science of learning to multimedia instruction
CN110275987B (zh) 智能教学顾问生成方法、系统、设备及存储介质
CN105632251A (zh) 具有语音功能的3d虚拟教师系统及其方法
CN109348275A (zh) 视频处理方法和装置
CN112511853B (zh) 一种视频处理方法、装置、电子设备及存储介质
CN113870395A (zh) 动画视频生成方法、装置、设备及存储介质
CN110795917A (zh) 个性化讲义生成方法、系统及电子设备、存储介质
CN110310528A (zh) 一种纸云互动语言教学系统和方法
CN112507243B (zh) 一种基于表情的内容推送方法与装置
CN116010569A (zh) 在线答疑方法、系统、电子设备及存储介质
CN115757731A (zh) 对话问句改写方法、装置、计算机设备及存储介质
CN113709526A (zh) 一种教学视频生成方法、装置、计算机设备及存储介质
CN113257060A (zh) 一种答疑解决方法、装置、设备和存储介质
CN110070869B (zh) 语音教学互动生成方法、装置、设备和介质
CN110069616B (zh) 互动对话生成方法、编辑器、互动对话系统、设备及介质
Yan et al. A method for personalized C programming learning contents recommendation to enhance traditional instruction
CN112289321B (zh) 讲解同步的视频高光处理方法、装置、计算机设备及介质
CN109559313B (zh) 图像处理方法、介质、装置和计算设备
CN113762056A (zh) 演唱视频识别方法、装置、设备及存储介质
CN111327943A (zh) 信息管理方法及装置、系统、计算机设备、存储介质
Isaias et al. Interactivity and the future of the human-computer interface
CN117492871B (zh) 基于低代码的教学活动构建方法及相关设备
Mlotshwa Exploring ICT pedagogic integration of economics teachers in two Johannesburg schools
CN116030671A (zh) 一种虚拟角色教学方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant