CN106648042B - 一种识别控制方法以及装置 - Google Patents
一种识别控制方法以及装置 Download PDFInfo
- Publication number
- CN106648042B CN106648042B CN201510740862.2A CN201510740862A CN106648042B CN 106648042 B CN106648042 B CN 106648042B CN 201510740862 A CN201510740862 A CN 201510740862A CN 106648042 B CN106648042 B CN 106648042B
- Authority
- CN
- China
- Prior art keywords
- face
- feature information
- face feature
- preset
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种识别控制方法以及装置，其中方法包括：当获取到人脸图像数据时，生成与所述人脸图像数据对应的图像深度数据；提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪；当根据所追踪的所述人脸特征信息识别出人脸运动方向时，根据所述人脸运动方向对应的控制指令对当前应用进行控制。采用本发明，可改善基于智能终端的阅读方式，以避免给身体带来健康隐患。
Description
技术领域
本发明涉及电子技术领域，尤其涉及一种识别控制方法以及装置。
背景技术
随着智能终端的普及，越来越多的人会通过使用如手机、台式电脑、平板电脑等终端来看文档或看图片。以台式电脑为例，用户在阅读文档时，可以通过滑动鼠标以控制屏幕中的文档进行翻页；再以手机为例，用户在看图片时，可以通过滑动屏幕以翻看下一张图片。由此可见，虽然不同的终端有着不同的控制方式，但它们却都有一个相同的阅读方式，即用户眼睛始终注视着处于固定位置的屏幕，使用户头部无需移动即可实现阅读，但当用户长时间以这种固定且单一的阅读方式进行阅读时，有可能会给身体带来健康隐患。
发明内容
本发明实施例提供一种识别控制方法以及装置，可改善基于智能终端的阅读方式，以避免给身体带来健康隐患。
本发明实施例提供了一种识别控制方法，包括：
当获取到人脸图像数据时，生成与所述人脸图像数据对应的图像深度数据；
提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪；
当根据所追踪的所述人脸特征信息识别出人脸运动方向时，根据所述人脸运动方向对应的控制指令对当前应用进行控制。
相应地，本发明实施例还提供了一种识别控制装置，包括：
生成模块，用于当获取到人脸图像数据时，生成与所述人脸图像数据对应的图像深度数据；
提取追踪模块，用于提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪；
第一控制模块，用于当根据所追踪的所述人脸特征信息识别出人脸运动方向时，根据所述人脸运动方向对应的控制指令对当前应用进行控制。
本发明实施例通过生成与所获取到的人脸图像数据对应的图像深度数据，并提取图像深度数据中的人脸特征信息，以对人脸特征信息进行实时追踪，使得可以在根据所追踪的人脸特征信息识别出人脸运动方向时，根据人脸运动方向对应的控制指令对当前应用进行控制，由此可见，用户可以通过头部的各种运动方向以控制当前应用执行各种阅读操作，从而不仅丰富了基于智能终端的阅读方式，也避免给长时间进行阅读的用户带来健康隐患。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种识别控制方法的流程示意图；
图2是本发明实施例提供的另一种识别控制方法的流程示意图；
图3是本发明实施例提供的一种识别控制装置的结构示意图；
图4是本发明实施例提供的一种提取追踪模块的结构示意图；
图5是本发明实施例提供的一种第一控制模块的结构示意图；
图6是本发明实施例提供的另一种识别控制装置的结构示意图；
图7是本发明实施例提供的一种智能终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，是本发明实施例提供的一种识别控制方法的流程示意图，所述方法可以包括：
S101，当获取到人脸图像数据时，生成与所述人脸图像数据对应的图像深度数据；
具体的，智能终端可以通过前置摄像头实时捕捉终端屏幕前方的图像，当所述智能终端所捕捉到的图像包含人脸图像数据时，所述智能终端可以生成与所述人脸图像数据对应的图像深度数据。其中，所述图像深度数据可以存储每个像素所用的位数，也可以用于量度图像的色彩分辨率。生成所述图像深度数据的方法可以为单目深度估计方法或双目深度估计方法或其它现有的深度估计算法，这里不再进行赘述。
S102，提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪；
具体的，在生成所述图像深度数据后，所述智能终端通过对所述图像深度数据进行边缘检测、噪声阈值处理，以逐点扫描所述深度图像数据的像素，可以提取所述图像深度数据中的人脸特征信息，所述人脸特征信息可以包括人脸轮廓信息以及人脸中的各个主要面部器官特征信息。提取所述人脸特征信息后，可以根据所述人脸特征信息分析出人脸相对于终端屏幕的位置、以及人脸中的各个主要面部器官相对于终端屏幕的位置，以开始对所述人脸特征信息对应的人脸位置进行实时追踪，由于前置摄像头是实时捕捉终端屏幕前方的图像，所以实时追踪的所述人脸特征信息对应的人脸位置也是实时更新的，即所述智能终端可以实时追踪用户脸部动作。
S103，当根据所追踪的所述人脸特征信息识别出人脸运动方向时，根据所述人脸运动方向对应的控制指令对当前应用进行控制；
具体的，在对所述人脸特征信息对应的人脸位置进行实时追踪的过程中，若用户的头部往某个方向运动，则所述智能终端可以根据所追踪的所述人脸特征信息对应的人脸位置识别出人脸运动方向，其中，对所述人脸运动方向的具体识别过程可以为：通过图像相减法对比相邻两帧画面的像素差异，可以找到每一帧画面中的人脸位置，再根据每一帧画面的人脸位置识别出人脸移动的整个运动过程，从而可以进一步根据该运动过程识别出人脸运动方向，其中，用于识别所述人脸运动方向的起始位置始终为初始人脸位置，所述初始人脸位置为用户脸部正对终端屏幕时的人脸位置。例如，若所述智能终端追踪到的用户头部的运动过程为用户头部从所述初始人脸位置往右转动45度后再转回到所述初始人脸位置，则可以识别出人脸运动方向为右边。所述智能终端确定出所述人脸运动方向后，可以在预设的人脸控制映射表中查找出所述人脸运动方向对应的控制指令，并根据所述控制指令对当前应用进行控制。其中，所述人脸控制映射表包括多个人脸运动方向以及多个控制指令，每个人脸运动方向均分别对应一个控制指令。例如，所述人脸控制映射表包括2个人脸运动方向(向左和向右)以及2个控制指令(上一页和下一页)，其中，向左的人脸运动方向对应的控制指令为上一页，向右的人脸运动方向对应的控制指令为下一页，因此，当所述智能终端识别出人脸运动方向为向右时，可以将当前阅读的电子文档跳转至下一页。
本发明实施例通过生成与所获取到的人脸图像数据对应的图像深度数据，并提取图像深度数据中的人脸特征信息，以对人脸特征信息进行实时追踪，使得可以在根据所追踪的人脸特征信息识别出人脸运动方向时，根据人脸运动方向对应的控制指令对当前应用进行控制，由此可见，用户可以通过头部的各种运动方向以控制当前应用执行各种阅读操作，从而不仅丰富了基于智能终端的阅读方式，也避免给长时间进行阅读的用户带来健康隐患。
请参见图2，是本发明实施例提供的另一种识别控制方法的流程示意图，所述方法可以包括：
S201，当获取到人脸图像数据时，生成与所述人脸图像数据对应的图像深度数据；
具体的，智能终端可以通过前置摄像头实时捕捉终端屏幕前方的图像，当所述智能终端所捕捉到的图像包含人脸图像数据时，所述智能终端可以生成与所述人脸图像数据对应的图像深度数据。其中，所述图像深度数据可以存储每个像素所用的位数，也可以用于量度图像的色彩分辨率。生成所述图像深度数据的方法可以为单目深度估计方法或双目深度估计方法或其它现有的深度估计算法，这里不再进行赘述。
S202，提取所述图像深度数据中的人脸特征信息，并检测所述人脸特征信息是否与预设的记忆特征信息相匹配；
具体的，在生成所述图像深度数据后，所述智能终端通过对所述图像深度数据进行边缘检测、噪声阈值处理，以逐点扫描所述深度图像数据的像素，可以提取所述图像深度数据中的人脸特征信息，所述人脸特征信息可以包括人脸轮廓信息以及人脸中的各个主要面部器官特征信息。进一步的，所述智能终端还可以继续检测所述人脸特征信息是否与预设的记忆特征信息相匹配。其中，所述记忆特征信息是由所述智能终端预先存储于记忆数据库的记忆特征信息，所述记忆数据库可以包括多个记忆特征信息，所述记忆数据库中的多个记忆特征信息是由所述智能终端预先通过前置摄像头采集多个用户脸部的不同角度所获得的，即所述记忆数据库包括多个用户分别在多个角度下的脸部特征，一个脸部特征即为一个记忆特征信息。因此，检测所述人脸特征信息是否与预设的记忆特征信息相匹配的具体过程可以为：判断所述记忆数据库中是否存在与提取到的所述人脸特征信息相同的记忆特征信息。
可选的，所提取到的所述人脸特征信息和所述记忆特征信息还可以包括虹膜信息，由于虹膜具有唯一性的特点，所以检测所述人脸特征信息是否与预设的记忆特征信息相匹配的过程也可以为：判断所述记忆数据库中是否存在与提取到的虹膜信息相同的记忆特征信息。
S203，确定所述人脸特征信息为非法信息，并发送非法用户操作提示信息；
具体的，若S202检测出所述人脸特征信息与预设的记忆特征信息不匹配，即所述记忆数据库中不存在与所述人脸特征信息相同的记忆特征信息，则可以确定所述人脸特征信息为非法信息，并发送非法用户操作提示信息，并且不会开始对该人脸特征信息对应的人脸位置进行追踪。
S204，确定所述人脸特征信息为合法信息，并对所述人脸特征信息进行实时追踪；
具体的，若S202检测出所述人脸特征信息与预设的记忆特征信息相匹配，则可以确定所述人脸特征信息为合法信息，此时，可以根据所述人脸特征信息分析出人脸相对于终端屏幕的位置、以及人脸中的各个主要面部器官相对于终端屏幕的位置，以开始对所述人脸特征信息对应的人脸位置进行实时追踪，由于前置摄像头是实时捕捉终端屏幕前方的图像，所以实时追踪的所述人脸特征信息对应的人脸位置也是实时更新的，即所述智能终端可以实时追踪用户脸部动作。
S205，当检测出所追踪的所述人脸特征信息对应的人脸位置从初始人脸位置开始移动时，根据所追踪的所述人脸特征信息查找移动后的人脸位置；所述初始人脸位置是指人脸正对终端屏幕的位置；
具体的，在S204中，所述智能终端开始对所述人脸特征信息进行实时追踪后，可以在实时追踪过程中实时检测人脸位置是否发生移动，当检测出所追踪的所述人脸特征信息对应的人脸位置从初始人脸位置开始移动时，所述智能终端可以根据所追踪的所述人脸特征信息对应的人脸位置识别出人脸移动的整个运动过程，并将整个运动过程中移动至离所述初始人脸位置最远的位置确定为移动后的人脸位置。其中，识别整个运动过程的方法可以为：通过图像相减法对比相邻两帧画面的像素差异，可以找到每一帧画面中的人脸位置，再根据每一帧画面的人脸位置识别出人脸移动的整个运动过程。例如，若用户的头部从所述初始人脸位置向左转动70度后再转回至所述初始人脸位置，则所述智能终端可以识别出用户的头部向左转至70度时的人脸位置为最远的位置，所以所述智能终端可以将用户的头部向左转至70度时的人脸位置确定为所述移动后的人脸位置。
S206，计算所述初始人脸位置与所述移动后的人脸位置之间的移动距离；
具体的，可以在所述初始人脸位置上选择出第一测量点，并在所述移动后的人脸位置上选择出第二测量点，所述第一测量点可以为人脸中的任意一个器官的位置，所述第二测量点也可以为人脸中的任意一个器官的位置，且第一测量点和第二测量点分别对应相同器官的位置。再计算所述第一测量点和所述第二测量点之间的测试距离，并将所述测试距离作为所述初始人脸位置与所述移动后的人脸位置之间的移动距离。
S207，当所述移动距离超过预设的长度阈值时，根据所述初始人脸位置与所述移动后的人脸位置识别出人脸运动方向；
具体的，当所述移动距离超过预设的长度阈值时，可以根据所述初始人脸位置与所述移动后的人脸位置识别出人脸运动方向，即可以根据识别出的人脸移动的整个运动过程确定人脸运动方向，其中，所述人脸移动的整个运动过程的运动起始点为所述初始人脸位置，因此，可以将所述移动后的人脸位置相对于所述初始人脸位置的方向，确定为所述人脸运动方向。例如，所述移动后的人脸位置处于所述初始人脸位置的右边，则确定所述人脸运动方向为右边。当所述移动距离没有超过预设的长度阈值时，说明用户可能是不小心转动一点头部，此时，无需识别人脸运动方向，并继续对人脸位置进行实时追踪。
S208，在预设的人脸控制映射表中查找出所述人脸运动方向对应的控制指令，并根据所述控制指令对当前应用进行控制；
具体的，所述智能终端确定出所述人脸运动方向后，可以在预设的人脸控制映射表中查找出所述人脸运动方向对应的控制指令，并根据所述控制指令对当前应用进行控制。其中，所述人脸控制映射表包括多个人脸运动方向以及多个控制指令，每个人脸运动方向均分别对应一个控制指令。例如，所述人脸控制映射表包括2个人脸运动方向(向左和向右)以及2个控制指令(上一页和下一页)，其中，向左的人脸运动方向对应的控制指令为上一页，向右的人脸运动方向对应的控制指令为下一页，因此，当所述智能终端识别出人脸运动方向为向右时，可以将当前阅读的电子文档跳转至下一页。
可选的，在所述智能终端实时追踪所述人脸特征信息对应的人脸位置的过程中，还可以实时判断所追踪的所述人脸特征信息对应的人脸位置是否处于预设的正常观看区域；若判断为是，则确定用户观看状态为正常观看状态，并控制本终端处于屏幕点亮状态；若判断为否，则确定用户观看状态为非观看状态，并当为所述非观看状态的持续时长达到预设的第一时长阈值时，控制本终端进入待机状态；
具体的，所述预设的正常观看区域包括用户视线可以看到屏幕的各个人脸位置，所以当判断出所追踪的所述人脸特征信息对应的人脸位置处于预设的正常观看区域时，说明用户是可以看到屏幕中的内容，因此，可以确定用户观看状态为正常观看状态，在持续为所述正常观看状态的过程中，所述智能终端可以持续控制本终端处于屏幕点亮状态，同时在持续为所述正常观看状态的过程中，所述智能终端也实时追踪所述人脸特征信息对应的人脸位置。当判断出所追踪的所述人脸特征信息对应的人脸位置不处于预设的正常观看区域时，说明用户是无法看到屏幕中的内容，因此，可以确定用户观看状态为非观看状态，此时，所述智能终端可以累积持续为非观看状态的时长，若持续为所述非观看状态的时长达到预设的第一时长阈值，说明用户已经没有在观看当前屏幕或用户已经离开前置摄像头所能捕捉的范围，从而所述智能终端可以进一步控制本终端进入待机状态，以避免所述智能终端的功耗白白浪费。
可选的，当为所述正常观看状态的持续时长达到预设的第二时长阈值时，发送休息提示信息，并暂停对所述人脸特征信息进行实时追踪；
具体的，为了避免用户持续过长时间观看屏幕中的内容，所述智能终端可以预先设置一个第二时长阈值，并当为所述正常观看状态的持续时长达到预设的第二时长阈值时，发送休息提示信息，以提醒用户需要暂停观看屏幕并进行运动或休息，同时，所述智能终端也将暂停对所述人脸特征信息进行实时追踪，以避免所述智能终端的功耗白白浪费。例如，当用户根据自身情况设置所述第二时长阈值为1小时，那么当每当所述智能终端检测出用户观看状态为所述正常观看状态的持续时长达到1小时时，即可发出所述休息提示信息，并暂停对所述人脸特征信息进行实时追踪。
本发明实施例通过生成与所获取到的人脸图像数据对应的图像深度数据，并提取图像深度数据中的人脸特征信息，以对人脸特征信息进行实时追踪，使得可以在根据所追踪的人脸特征信息识别出人脸运动方向时，根据人脸运动方向对应的控制指令对当前应用进行控制，由此可见，用户可以通过头部的各种运动方向以控制当前应用执行各种阅读操作，从而不仅丰富了基于智能终端的阅读方式，也避免给长时间进行阅读的用户带来健康隐患；而且通过实时检测用户观看状态，可以在检测出用户没有观看屏幕或用户观看屏幕时长达到临界值时，暂停对所述人脸特征信息进行实时追踪，不仅可以避免用户出现过长时间的阅读，也可以避免终端的功耗白白浪费。
请参见图3，是本发明实施例提供的一种识别控制装置1的结构示意图，所述识别控制装置1可以包括：生成模块10、提取追踪模块20、第一控制模块30；
所述生成模块10，用于当获取到人脸图像数据时，生成与所述人脸图像数据对应的图像深度数据；
具体的，所述生成模块10可以通过前置摄像头实时捕捉终端屏幕前方的图像，当所捕捉到的图像包含人脸图像数据时，所述生成模块10可以生成与所述人脸图像数据对应的图像深度数据。其中，所述图像深度数据可以存储每个像素所用的位数，也可以用于量度图像的色彩分辨率。生成所述图像深度数据的方法可以为单目深度估计方法或双目深度估计方法或其它现有的深度估计算法，这里不再进行赘述。
所述提取追踪模块20，用于提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪；
具体的，在所述生成模块10生成所述图像深度数据后，所述提取追踪模块20通过对所述图像深度数据进行边缘检测、噪声阈值处理，以逐点扫描所述深度图像数据的像素，可以提取所述图像深度数据中的人脸特征信息，所述人脸特征信息可以包括人脸轮廓信息以及人脸中的各个主要面部器官特征信息。提取所述人脸特征信息后，所述提取追踪模块20可以进一步根据所述人脸特征信息分析出人脸相对于终端屏幕的位置、以及人脸中的各个主要面部器官相对于终端屏幕的位置，以开始对所述人脸特征信息对应的人脸位置进行实时追踪，由于前置摄像头是实时捕捉终端屏幕前方的图像，所以实时追踪的所述人脸特征信息对应的人脸位置也是实时更新的，即所述提取追踪模块20可以实时追踪用户脸部动作。
所述第一控制模块30，用于当根据所追踪的所述人脸特征信息识别出人脸运动方向时，根据所述人脸运动方向对应的控制指令对当前应用进行控制；
具体的，在对所述人脸特征信息对应的人脸位置进行实时追踪的过程中，若用户的头部往某个方向运动，则所述第一控制模块30可以根据所追踪的所述人脸特征信息对应的人脸位置识别出人脸运动方向，其中，对所述人脸运动方向的具体识别过程可以为：通过图像相减法对比相邻两帧画面的像素差异，可以找到每一帧画面中的人脸位置，再根据每一帧画面的人脸位置识别出人脸移动的整个运动过程，从而可以进一步根据该运动过程识别出人脸运动方向，其中，用于识别所述人脸运动方向的起始位置始终为初始人脸位置，所述初始人脸位置为用户脸部正对终端屏幕时的人脸位置。例如，若所述提取追踪模块20追踪到的用户头部的运动过程为用户头部从所述初始人脸位置往右转动45度后再转回到所述初始人脸位置，则所述第一控制模块30可以识别出人脸运动方向为右边。所述第一控制模块30确定出所述人脸运动方向后，可以进一步根据所述人脸运动方向对应的控制指令对当前应用进行控制。
进一步的，再请参见图4，是本发明实施例提供的一种提取追踪模块20的结构示意图，所述提取追踪模块20可以包括：提取检测单元201、确定追踪单元202、确定发送单元203；
所述提取检测单元201，用于提取所述图像深度数据中的人脸特征信息，并检测所述人脸特征信息是否与预设的记忆特征信息相匹配；
具体的，所述提取检测单元201在提取所述图像深度数据中的人脸特征信息后，还可以继续检测所述人脸特征信息是否与预设的记忆特征信息相匹配。其中，所述记忆特征信息是由所述智能终端预先存储于记忆数据库的记忆特征信息，所述记忆数据库可以包括多个记忆特征信息，所述记忆数据库中的多个记忆特征信息是由所述智能终端预先通过前置摄像头采集多个用户脸部的不同角度所获得的，即所述记忆数据库包括多个用户分别在多个角度下的脸部特征，一个脸部特征即为一个记忆特征信息。因此，所述提取检测单元201检测所述人脸特征信息是否与预设的记忆特征信息相匹配的具体过程可以为：判断所述记忆数据库中是否存在与提取到的所述人脸特征信息相同的记忆特征信息。
可选的，所提取到的所述人脸特征信息和所述记忆特征信息还可以包括虹膜信息，由于虹膜具有唯一性的特点，所以所述提取检测单元201检测所述人脸特征信息是否与预设的记忆特征信息相匹配的过程也可以为：判断所述记忆数据库中是否存在与提取到的虹膜信息相同的记忆特征信息。
所述确定追踪单元202，用于若检测出所述人脸特征信息与预设的记忆特征信息相匹配，则确定所述人脸特征信息为合法信息，并对所述人脸特征信息进行实时追踪；
具体的，若所述提取检测单元201检测出所述人脸特征信息与预设的记忆特征信息相匹配，则所述确定追踪单元202可以确定所述人脸特征信息为合法信息，并可以根据所述人脸特征信息分析出人脸相对于终端屏幕的位置、以及人脸中的各个主要面部器官相对于终端屏幕的位置，以开始对所述人脸特征信息对应的人脸位置进行实时追踪，由于前置摄像头是实时捕捉终端屏幕前方的图像，所以实时追踪的所述人脸特征信息对应的人脸位置也是实时更新的，即所述确定追踪单元202可以实时追踪用户脸部动作。
所述确定发送单元203，用于若检测出所述人脸特征信息与预设的记忆特征信息不匹配，则确定所述人脸特征信息为非法信息，并发送非法用户操作提示信息；
具体的，若所述提取检测单元201检测出所述人脸特征信息与预设的记忆特征信息不匹配，即所述记忆数据库中不存在与所述人脸特征信息相同的记忆特征信息，则所述确定发送单元203可以确定所述人脸特征信息为非法信息，并发送非法用户操作提示信息，并且不会开始对该人脸特征信息对应的人脸位置进行追踪。通过检查所述人脸特征信息的合法性，可以使所述智能终端仅被具有合法性的用户使用，从而可以更好的保证所述智能终端的安全性。
进一步的，再请参见图5，是本发明实施例提供的一种第一控制模块30的结构示意图，所述第一控制模块30可以包括：查找单元301、计算单元302、方向识别单元303、控制单元304；
所述查找单元301，用于当检测出所追踪的所述人脸特征信息对应的人脸位置从初始人脸位置开始移动时，根据所追踪的所述人脸特征信息查找移动后的人脸位置；所述初始人脸位置是指人脸正对终端屏幕的位置；
具体的，所述查找单元301可以在实时追踪人脸位置的过程中实时检测人脸位置是否发生移动，当检测出所追踪的所述人脸特征信息对应的人脸位置从初始人脸位置开始移动时，所述查找单元301可以根据所追踪的所述人脸特征信息对应的人脸位置识别出人脸移动的整个运动过程，并将整个运动过程中移动至离所述初始人脸位置最远的位置确定为移动后的人脸位置。其中，识别整个运动过程的方法可以为：通过图像相减法对比相邻两帧画面的像素差异，可以找到每一帧画面中的人脸位置，再根据每一帧画面的人脸位置识别出人脸移动的整个运动过程。例如，若用户的头部从所述初始人脸位置向左转动70度后再转回至所述初始人脸位置，则所述查找单元301可以识别出用户的头部向左转至70度时的人脸位置为最远的位置，因此，所述查找单元301可以将用户的头部向左转至70度时的人脸位置确定为所述移动后的人脸位置。
所述计算单元302，用于计算所述初始人脸位置与所述移动后的人脸位置之间的移动距离；
具体的，所述计算单元302可以在所述初始人脸位置上选择出第一测量点，并在所述移动后的人脸位置上选择出第二测量点，所述第一测量点可以为人脸中的任意一个器官的位置，所述第二测量点也可以为人脸中的任意一个器官的位置，且第一测量点和第二测量点分别对应相同器官的位置。所述计算单元302再计算所述第一测量点和所述第二测量点之间的测试距离，并将所述测试距离作为所述初始人脸位置与所述移动后的人脸位置之间的移动距离。
所述方向识别单元303，用于当所述移动距离超过预设的长度阈值时，根据所述初始人脸位置与所述移动后的人脸位置识别出人脸运动方向；
具体的，当所述移动距离超过预设的长度阈值时，所述方向识别单元303可以根据所述初始人脸位置与所述移动后的人脸位置识别出人脸运动方向，即可以根据识别出的人脸移动的整个运动过程确定人脸运动方向，其中，所述人脸移动的整个运动过程的运动起始点为所述初始人脸位置，因此，所述方向识别单元303可以将所述移动后的人脸位置相对于所述初始人脸位置的方向，确定为所述人脸运动方向。例如，所述移动后的人脸位置处于所述初始人脸位置的右边，则所述方向识别单元303可以确定所述人脸运动方向为右边。当所述移动距离没有超过预设的长度阈值时，说明用户可能是不小心转动一点头部，此时，无需识别人脸运动方向，并继续对人脸位置进行实时追踪。
所述控制单元304，用于在预设的人脸控制映射表中查找出所述人脸运动方向对应的控制指令，并根据所述控制指令对当前应用进行控制。
具体的，所述方向识别单元303确定出所述人脸运动方向后，所述控制单元304可以在预设的人脸控制映射表中查找出所述人脸运动方向对应的控制指令，并根据所述控制指令对当前应用进行控制。其中，所述人脸控制映射表包括多个人脸运动方向以及多个控制指令，每个人脸运动方向均分别对应一个控制指令。例如，所述人脸控制映射表包括2个人脸运动方向(向左和向右)以及2个控制指令(上一页和下一页)，其中，向左的人脸运动方向对应的控制指令为上一页，向右的人脸运动方向对应的控制指令为下一页，因此，当所述方向识别单元303识别出人脸运动方向为向右时，所述控制单元304可以将当前阅读的电子文档跳转至下一页。
本发明实施例通过生成与所获取到的人脸图像数据对应的图像深度数据，并提取图像深度数据中的人脸特征信息，以对人脸特征信息进行实时追踪，使得可以在根据所追踪的人脸特征信息识别出人脸运动方向时，根据人脸运动方向对应的控制指令对当前应用进行控制，由此可见，用户可以通过头部的各种运动方向以控制当前应用执行各种阅读操作，从而不仅丰富了基于智能终端的阅读方式，也避免给长时间进行阅读的用户带来健康隐患。
请参见图6，是本发明实施例提供的另一种识别控制装置1的结构示意图，所述识别控制装置1可以包括上述图3对应实施例中的生成模块10、提取追踪模块20、第一控制模块30，进一步的，所述识别控制装置1还可以包括：判断模块40、第二控制模块50、暂停模块60；
所述判断模块40，用于实时判断所追踪的所述人脸特征信息对应的人脸位置是否处于预设的正常观看区域；
所述第二控制模块50，用于若所述判断模块40判断为是，则确定用户观看状态为正常观看状态，并控制本终端处于屏幕点亮状态；
所述第二控制模块50，还用于若所述判断模块40判断为否，则确定用户观看状态为非观看状态，并当为所述非观看状态的持续时长达到预设的第一时长阈值时，控制本终端进入待机状态；
具体的，所述预设的正常观看区域包括用户视线可以看到屏幕的各个人脸位置，所以当所述判断模块40判断出所追踪的所述人脸特征信息对应的人脸位置处于预设的正常观看区域时，说明用户是可以看到屏幕中的内容，因此，所述第二控制模块50可以确定用户观看状态为正常观看状态，并且在持续为所述正常观看状态的过程中，所述第二控制模块50可以持续控制本终端处于屏幕点亮状态，同时在持续为所述正常观看状态的过程中，所述提取追踪模块20也实时追踪所述人脸特征信息对应的人脸位置。当所述判断模块40判断出所追踪的所述人脸特征信息对应的人脸位置不处于预设的正常观看区域时，说明用户是无法看到屏幕中的内容，因此，所述第二控制模块50可以确定用户观看状态为非观看状态，此时，所述第二控制模块50可以累积持续为非观看状态的时长，若持续为所述非观看状态的时长达到预设的第一时长阈值，说明用户已经没有在观看当前屏幕或用户已经离开前置摄像头所能捕捉的范围，从而所述第二控制模块50可以进一步控制本终端进入待机状态，以避免所述智能终端的功耗白白浪费。
所述暂停模块60，用于当为所述正常观看状态的持续时长达到预设的第二时长阈值时，发送休息提示信息，并暂停对所述人脸特征信息进行实时追踪。
具体的，为了避免用户持续过长时间观看屏幕中的内容，所述暂停模块60可以预先设置一个第二时长阈值，并当为所述正常观看状态的持续时长达到预设的第二时长阈值时，所述暂停模块60发送休息提示信息，以提醒用户需要暂停观看屏幕并进行运动或休息，同时，所述暂停模块60也将暂停对所述人脸特征信息进行实时追踪，以避免所述智能终端的功耗白白浪费。例如，当用户根据自身情况设置所述第二时长阈值为1小时，那么当每当检测出用户观看状态为所述正常观看状态的持续时长达到1小时时，所述暂停模块60即可发出所述休息提示信息，并暂停对所述人脸特征信息进行实时追踪。
本发明实施例通过生成与所获取到的人脸图像数据对应的图像深度数据，并提取图像深度数据中的人脸特征信息，以对人脸特征信息进行实时追踪，使得可以在根据所追踪的人脸特征信息识别出人脸运动方向时，根据人脸运动方向对应的控制指令对当前应用进行控制，由此可见，用户可以通过头部的各种运动方向以控制当前应用执行各种阅读操作，从而不仅丰富了基于智能终端的阅读方式，也避免给长时间进行阅读的用户带来健康隐患；而且通过实时检测用户观看状态，可以在检测出用户没有观看屏幕或用户观看屏幕时长达到临界值时，暂停对所述人脸特征信息进行实时追踪，不仅可以避免用户出现过长时间的阅读，也可以避免终端的功耗白白浪费。
请参见图7，是本发明实施例提供的一种智能终端的结构示意图。如图7所示，所述智能终端1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图7所示的智能终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输出的数据；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，并具体执行以下步骤：
当获取到人脸图像数据时，生成与所述人脸图像数据对应的图像深度数据；
提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪；
当根据所追踪的所述人脸特征信息识别出人脸运动方向时，根据所述人脸运动方向对应的控制指令对当前应用进行控制。
在一个实施例中，所述处理器1001在执行提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪时，具体执行以下步骤：
提取所述图像深度数据中的人脸特征信息，并检测所述人脸特征信息是否与预设的记忆特征信息相匹配；
若检测出所述人脸特征信息与预设的记忆特征信息相匹配，则确定所述人脸特征信息为合法信息，并对所述人脸特征信息进行实时追踪；
若检测出所述人脸特征信息与预设的记忆特征信息不匹配，则确定所述人脸特征信息为非法信息，并发送非法用户操作提示信息。
在一个实施例中，所述处理器1001在执行当根据所追踪的所述人脸特征信息识别出人脸运动方向时，根据所述人脸运动方向对应的控制指令对当前应用进行控制时，具体执行以下步骤：
当检测出所追踪的所述人脸特征信息对应的人脸位置从初始人脸位置开始移动时，根据所追踪的所述人脸特征信息查找移动后的人脸位置；所述初始人脸位置是指人脸正对终端屏幕的位置；
计算所述初始人脸位置与所述移动后的人脸位置之间的移动距离；
当所述移动距离超过预设的长度阈值时，根据所述初始人脸位置与所述移动后的人脸位置识别出人脸运动方向；
在预设的人脸控制映射表中查找出所述人脸运动方向对应的控制指令，并根据所述控制指令对当前应用进行控制。
在一个实施例中，所述处理器1001还可以执行以下步骤：
实时判断所追踪的所述人脸特征信息对应的人脸位置是否处于预设的正常观看区域；
若判断为是，则确定用户观看状态为正常观看状态，并控制本终端处于屏幕点亮状态；
若判断为否，则确定用户观看状态为非观看状态，并当为所述非观看状态的持续时长达到预设的第一时长阈值时，控制本终端进入待机状态。
在一个实施例中，所述处理器1001还可以执行以下步骤：
当为所述正常观看状态的持续时长达到预设的第二时长阈值时，发送休息提示信息，并暂停对所述人脸特征信息进行实时追踪。
本发明实施例通过生成与所获取到的人脸图像数据对应的图像深度数据，并提取图像深度数据中的人脸特征信息，以对人脸特征信息进行实时追踪，使得可以在根据所追踪的人脸特征信息识别出人脸运动方向时，根据人脸运动方向对应的控制指令对当前应用进行控制，由此可见，用户可以通过头部的各种运动方向以控制当前应用执行各种阅读操作，从而不仅丰富了基于智能终端的阅读方式，也避免给长时间进行阅读的用户带来健康隐患；而且通过实时检测用户观看状态，可以在检测出用户没有观看屏幕或用户观看屏幕时长达到临界值时，暂停对所述人脸特征信息进行实时追踪，不仅可以避免用户出现过长时间的阅读，也可以避免终端的功耗白白浪费。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种识别控制方法，其特征在于，包括：
当获取到人脸图像数据时，生成与所述人脸图像数据对应的图像深度数据；所述图像深度数据存储每个像素所用的位数；
逐点扫描所述深度图像数据的像素，提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪；用于进行实时追踪的所述人脸特征信息为与记忆特征信息相匹配的特征；所述记忆特征信息是通过前置摄像头预先采集用户脸部的不同角度所获得的人脸特征；
当检测出所追踪的所述人脸特征信息对应的人脸位置从初始人脸位置开始移动时，根据所追踪的所述人脸特征信息查找移动后的人脸位置；所述初始人脸位置是指人脸正对终端屏幕的位置；
计算所述初始人脸位置与所述移动后的人脸位置之间的移动距离；
当所述移动距离超过预设的长度阈值时，根据所述初始人脸位置与所述移动后的人脸位置识别出人脸运动方向；
在预设的人脸控制映射表中查找出所述人脸运动方向对应的控制指令，并根据所述控制指令对当前应用进行控制；所述当前应用为当前阅读的电子文档。
2.如权利要求1所述的方法，其特征在于，所述提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪，包括：
提取所述图像深度数据中的人脸特征信息，并检测所述人脸特征信息是否与预设的记忆特征信息相匹配；
若检测出所述人脸特征信息与预设的记忆特征信息相匹配，则确定所述人脸特征信息为合法信息，并对所述人脸特征信息进行实时追踪；
若检测出所述人脸特征信息与预设的记忆特征信息不匹配，则确定所述人脸特征信息为非法信息，并发送非法用户操作提示信息。
3.如权利要求1所述的方法，其特征在于，还包括：
实时判断所追踪的所述人脸特征信息对应的人脸位置是否处于预设的正常观看区域；
若判断为是，则确定用户观看状态为正常观看状态，并控制本终端处于屏幕点亮状态；
若判断为否，则确定用户观看状态为非观看状态，并当为所述非观看状态的持续时长达到预设的第一时长阈值时，控制本终端进入待机状态。
4.如权利要求3所述的方法，其特征在于，还包括：
当为所述正常观看状态的持续时长达到预设的第二时长阈值时，发送休息提示信息，并暂停对所述人脸特征信息进行实时追踪。
5.一种识别控制装置，其特征在于，包括：
生成模块，用于当获取到人脸图像数据时，生成与所述人脸图像数据对应的图像深度数据；所述图像深度数据存储每个像素所用的位数；
提取追踪模块，用于逐点扫描所述深度图像数据的像素，提取所述图像深度数据中的人脸特征信息，并对所述人脸特征信息进行实时追踪；用于进行实时追踪的所述人脸特征信息为与记忆特征信息相匹配的特征；所述记忆特征信息是通过前置摄像头预先采集用户脸部的不同角度所获得的人脸特征；
第一控制模块，用于当根据所追踪的所述人脸特征信息识别出人脸运动方向时，根据所述人脸运动方向对应的控制指令对当前应用进行控制；所述当前应用为当前阅读的电子文档；
其中，所述第一控制模块包括：
查找单元，用于当检测出所追踪的所述人脸特征信息对应的人脸位置从初始人脸位置开始移动时，根据所追踪的所述人脸特征信息查找移动后的人脸位置；所述初始人脸位置是指人脸正对终端屏幕的位置；
计算单元，用于计算所述初始人脸位置与所述移动后的人脸位置之间的移动距离；
方向识别单元，用于当所述移动距离超过预设的长度阈值时，根据所述初始人脸位置与所述移动后的人脸位置识别出人脸运动方向；
控制单元，用于在预设的人脸控制映射表中查找出所述人脸运动方向对应的控制指令，并根据所述控制指令对当前应用进行控制。
6.如权利要求5所述的装置，其特征在于，所述提取追踪模块包括：
提取检测单元，用于提取所述图像深度数据中的人脸特征信息，并检测所述人脸特征信息是否与预设的记忆特征信息相匹配；
确定追踪单元，用于若检测出所述人脸特征信息与预设的记忆特征信息相匹配，则确定所述人脸特征信息为合法信息，并对所述人脸特征信息进行实时追踪；
确定发送单元，用于若检测出所述人脸特征信息与预设的记忆特征信息不匹配，则确定所述人脸特征信息为非法信息，并发送非法用户操作提示信息。
7.如权利要求5所述的装置，其特征在于，还包括：
判断模块，用于实时判断所追踪的所述人脸特征信息对应的人脸位置是否处于预设的正常观看区域；
第二控制模块，用于若所述判断模块判断为是，则确定用户观看状态为正常观看状态，并控制本终端处于屏幕点亮状态；
所述第二控制模块，还用于若所述判断模块判断为否，则确定用户观看状态为非观看状态，并当为所述非观看状态的持续时长达到预设的第一时长阈值时，控制本终端进入待机状态。
8.如权利要求7所述的装置，其特征在于，还包括：
暂停模块，用于当为所述正常观看状态的持续时长达到预设的第二时长阈值时，发送休息提示信息，并暂停对所述人脸特征信息进行实时追踪。
9.一种智能终端，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-4任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510740862.2A CN106648042B (zh) | 2015-11-04 | 2015-11-04 | 一种识别控制方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510740862.2A CN106648042B (zh) | 2015-11-04 | 2015-11-04 | 一种识别控制方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106648042A CN106648042A (zh) | 2017-05-10 |
| CN106648042B true CN106648042B (zh) | 2020-11-06 |
Family
ID=58850723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510740862.2A Active CN106648042B (zh) | 2015-11-04 | 2015-11-04 | 一种识别控制方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106648042B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108241434B (zh) * | 2018-01-03 | 2020-01-14 | Oppo广东移动通信有限公司 | 基于景深信息的人机交互方法、装置、介质及移动终端 |
| CN109240570A (zh) * | 2018-08-29 | 2019-01-18 | 维沃移动通信有限公司 | 一种翻页方法、装置及终端 |
| CN109840476B (zh) * | 2018-12-29 | 2021-12-21 | 维沃移动通信有限公司 | 一种脸型检测方法及终端设备 |
| CN111752371A (zh) * | 2019-03-27 | 2020-10-09 | 苏州火麦派网络科技有限公司 | 一种用于电子书的阅读控制方法和系统 |
| CN110231871A (zh) * | 2019-06-14 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 页面阅读方法、装置、存储介质及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102594999A (zh) * | 2012-01-30 | 2012-07-18 | 郑凯 | 一种通过人脸识别进行自适应手机节能的方法和系统 |
| CN103605466A (zh) * | 2013-10-29 | 2014-02-26 | 四川长虹电器股份有限公司 | 一种基于面部识别操控终端的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9898675B2 (en) * | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
| JP5552772B2 (ja) * | 2009-08-26 | 2014-07-16 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| CN103412643B (zh) * | 2013-07-22 | 2017-07-25 | 深圳Tcl新技术有限公司 | 终端及其遥控的方法 |
| CN104750232B (zh) * | 2013-12-28 | 2017-12-29 | 华为技术有限公司 | 一种眼动跟踪方法及装置 |
-
2015
- 2015-11-04 CN CN201510740862.2A patent/CN106648042B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102594999A (zh) * | 2012-01-30 | 2012-07-18 | 郑凯 | 一种通过人脸识别进行自适应手机节能的方法和系统 |
| CN103605466A (zh) * | 2013-10-29 | 2014-02-26 | 四川长虹电器股份有限公司 | 一种基于面部识别操控终端的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106648042A (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106648042B (zh) | 一种识别控制方法以及装置 | |
| CN108197586B (zh) | 脸部识别方法和装置 | |
| US10339402B2 (en) | Method and apparatus for liveness detection | |
| US10650259B2 (en) | Human face recognition method and recognition system based on lip movement information and voice information | |
| KR101706365B1 (ko) | 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치 | |
| US9349039B2 (en) | Gesture recognition device and control method for the same | |
| US20180357500A1 (en) | Facial recognition method and apparatus and imposter recognition method and apparatus | |
| US20160062456A1 (en) | Method and apparatus for live user recognition | |
| EP3614300A1 (en) | People-credentials comparison authentication method, system and camera | |
| US20120320181A1 (en) | Apparatus and method for security using authentication of face | |
| WO2019011073A1 (zh) | 人脸活体检测方法及相关产品 | |
| US20190384965A1 (en) | A method for selecting frames used in face processing | |
| US20130308835A1 (en) | Mobile Communication Device with Image Recognition and Method of Operation Therefor | |
| KR20140055819A (ko) | 얼굴인식장치 및 그 제어방법 | |
| WO2021000415A1 (zh) | 活体用户检测方法、装置、计算机设备和存储介质 | |
| KR20190111034A (ko) | 특징 이미지 획득 방법 및 디바이스, 및 사용자 인증 방법 | |
| CN107977636B (zh) | 人脸检测方法及装置、终端、存储介质 | |
| CN107291238B (zh) | 一种数据处理方法与装置 | |
| JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
| US20180336243A1 (en) | Image Search Method, Apparatus and Storage Medium | |
| JP6044633B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN107147786B (zh) | 智能终端的图像采集控制方法及装置 | |
| JP2017146672A (ja) | 画像表示装置、画像表示方法、画像表示プログラム及び画像表示システム | |
| CN104063041A (zh) | 一种信息处理方法及电子设备 | |
| EP2998928A1 (en) | Apparatus and method for extracting high watermark image from continuously photographed images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |