CN108090450A - 人脸识别方法和装置 - Google Patents
人脸识别方法和装置 Download PDFInfo
- Publication number
- CN108090450A CN108090450A CN201711382016.3A CN201711382016A CN108090450A CN 108090450 A CN108090450 A CN 108090450A CN 201711382016 A CN201711382016 A CN 201711382016A CN 108090450 A CN108090450 A CN 108090450A
- Authority
- CN
- China
- Prior art keywords
- image
- human eye
- mentioned
- target
- eyelid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种人脸识别方法和装置，该方法包括：获取目标待识别图像。在上述目标待识别图像内定位出用于确定人眼轮廓的N个目标人脸关键点，并获取N个目标关键点中各目标人脸关键点在目标待识别图像中的位置信息。根据各目标人脸关键点的位置信息从目标待识别图像中截取出人眼上眼皮图像，并对该人眼上眼皮图像进行图像尺寸调整以获取目标图像。将目标图像输入到机器学习模型中，并根据该机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。采用本发明实施例可提高人脸识别技术的识别精度，提升人脸识别技术的适用性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸识别方法和装置。
背景技术
随着计算机技术的不断发展，生物特征识别技术的应用范围越来越广泛，特别是人脸识别技术的应用越来越受到人们的重视，这同时也提高了对人脸识别技术的识别精度的要求。
目前，人脸识别技术主要包括人脸轮廓识别和人脸五官识别等，人脸识别技术的识别精度低，人脸识别技术的使用范围小，人脸识别技术的适用性低。
发明内容
本发明实施例提供了一种人脸识别方法和装置，采用本发明实施例可增加人脸识别技术可提取的人脸的脸部特征信息量，进而提高人脸识别技术的识别精度，提升人脸识别技术的适用性。
第一方面提供了一种人脸识别方法，其可包括：
获取目标待识别图像。在上述目标待识别图像内定位出用于确定人眼轮廓的N个目标人脸关键点，并获取上述N个目标关键点中各目标人脸关键点在上述目标待识别图像中的位置信息。其中，N为大于1的正整数。根据上述各目标人脸关键点的位置信息从上述目标待识别图像中截取出人眼上眼皮图像，并对该人眼上眼皮图像进行图像尺寸调整以获取目标图像。将上述目标图像输入到机器学习模型中，并根据该机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。其中，上述眼皮类型包括单眼皮或者双眼皮。
在一些可行的实施方式中，所述对所述人眼上眼皮图像进行图像尺寸调整以获取目标图像包括：
获取满足机器学习模型输入参量要求的预设目标图像尺寸。根据上述预设目标图像尺寸对上述人眼上眼皮区域内的人眼上眼皮图像进行图像尺寸调整，以获取目标图像。
在一些可行的实施方式中，上述方法还包括：
获取M张人脸图像和M个类别标签，其中，一个类别标签用于标记一张人脸图像中包括的眼皮类型。上述M张人脸图像包括M1张眼皮类型为双眼皮的第一人脸图像和M2张眼皮类型为单眼皮的第二人脸图像。其中，M1和M2均为大于0的正整数，M为大于2的正整数。
截取上述M张人脸图像中每张人脸图像内的人眼上眼皮图像，以得到M张人眼上眼皮图像。获取满足机器学习模型输入参量要求的训练图像尺寸。根据上述标准训练图像尺寸对上述M张人眼上眼皮图像中的每张人眼上眼皮图像进行图像尺寸调整，以得到M张标准训练图像。使用上述M张标准训练图像和上述M个类别标签对机器学习模型进行训练，以获取训练后的机器学习模型。其中，上述训练后的机器学习模型用于根据输入的待识别图像内的人眼上眼皮图像输出与上述人眼上眼皮图像中的上眼皮类型相匹配的类别参量。上述类别参量用于确定上述待识别图像中包括的人眼的眼皮类型。
在一些可行的实施方式中，上述获取满足机器学习模型输入参量要求的训练图像尺寸包括：
获取每张人眼上眼皮图像的图像尺寸，以得到M组人眼上眼皮图像尺寸。计算上述M组人眼上眼皮图像尺寸的平均值以得到人眼上眼皮图像尺寸均值，并根据上述人眼上眼皮图像尺寸均值确定出训练图像尺寸。
在一些可行的实施方式中，上述M个类别标签中包括第一类别标签和第二类别标签。其中，上述第一类别标签用于标记上述人脸图像包括的人眼的眼皮类型为双眼皮，上述第二类别标签用于标记所述人脸图像包括的人眼的眼皮类型为单眼皮。其中，当某一人脸图像i的人眼上眼皮图像中包括一条沟痕，并且上述沟痕的长度大于或等于眼睛长度的一半时，确定上述人脸图像i对应的类别标签为所述第一类别标签。
第二方面提供了一种人脸识别装置，其特征在于，上述装置包括：
图像获取模块，用于获取目标待识别图像。
关键点定位模块，用于在图像获取模块获取的上述目标待识别图像内定位出用于确定人眼轮廓的N个目标人脸关键点，并获取上述N个目标关键点中各目标人脸关键点在上述目标待识别图像中的位置信息。其中，N为大于0的正整数。
图像预处理模块，用于根据关键点定位模块获取的上述各目标人脸关键点的位置信息从上述目标待识别图像中截取出人眼上眼皮图像，并对上述人眼上眼皮图像进行图像尺寸调整以获取目标图像。
识别模块，用于将上述图像预处理模块获取的目标图像输入到机器学习模型中，并根据上述机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。其中，上述眼皮类型包括单眼皮或者双眼皮。
在一些可行的实施方式中，上述图像预处理模块还用于：
获取满足机器学习模型输入参量要求的预设目标图像尺寸。根据预设目标图像尺寸对上述人眼上眼皮区域内的人眼上眼皮图像进行图像尺寸调整，以获取目标图像。
在一些可行的实施方式中，上述装置还包括训练模块。
上述图像获取模块，还用于获取M张人脸图像和M个类别标签。其中，一个类别标签用于标记一张人脸图像中包括的眼皮类型，上述M张人脸图像包括M1张眼皮类型为双眼皮的第一人脸图像和M2张眼皮类型为单眼皮的第二人脸图像。其中，M1和M2均为大于0的正整数，M为大于2的正整数。
上述图像预处理模块，还用于截取上述图像获取模块获取的M张人脸图像中每张人脸图像内的人眼上眼皮图像，以得到M张人眼上眼皮图像。
上述训练模块，还用于获取满足机器学习模型输入参量要求的训练图像尺寸。
上述图像预处理模块，还用于根据上述训练模块获取的标准训练图像尺寸对上述M张人眼上眼皮图像中的每张人眼上眼皮图像进行图像尺寸调整，以得到M张标准训练图像。
所述训练模块，还用于使用上述图像预处理模块获取的M张标准训练图像和上述图像获取模块获取的上述M个类别标签对机器学习模型进行训练，以获取训练后的机器学习模型。
第三方面本发明实施例提供了另一种人脸识别的装置，包括处理器、输入设备和存储器，处理器、输入设备和存储器相互连接。其中，存储器用于存储支持终端执行上述方法的计算机程序，该计算机程序包括程序指令，处理器和输入设备用于调用所述程序指令，执行上述第一方面的方法。
在本发明实施例中，首先，获取目标待识别图像，在上述目标待识别图像内定位出人脸关键点，并获取上述人脸关键点在上述目标待识别图像中的位置信息。然后，根据上述人脸关键点的位置信息从上述目标待识别图像中截取出人眼上眼皮图像，并对该人眼上眼皮图像进行图像尺寸调整以获取目标图像。最后，将上述目标图像输入到机器学习模型中，并根据该机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。其中，上述眼皮类型包括单眼皮或者双眼皮。采用本发明，通过将待识别图像中人眼眼皮图像输入到训练后的机器学习模型，进而根据训练后的机器学习模型的输出结果确定人眼眼皮的类型，可增加人脸识别技术可提取的人脸的脸部特征信息量。进而提高人脸识别技术的识别精度，提升人脸识别技术的适用性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸识别方法的第一实施例流程示意图；
图2是本发明实施例提供的人脸关键点定位效果图；
图3是本发明实施例提供的人脸识别方法的第二实施例流程示意图；
图4是本发明实施例提供的人眼上眼皮区域示意图；
图5是本发明实施例提供的人脸识别装置的一结构示意图；
图6是本发明实施例提供的人脸识别装置的又一结构示意图；
图7是本发明实施例提供的人脸识别装置的又一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
具体实现中，本发明实施例提供的移动终端可包括：手机、电脑(包括台式机和笔记本电脑)、平板电脑、可穿戴设备等设备。上述设备仅是举例，而非穷举，包含但不限于上述设备。
下面将结合图1至图6对本发明实施例提供的人脸识别方法和装置进行具体描述。
请参见图1，是本发明实施例提供的人脸识别方法的第一实施例流程示意图。本发明实施例所描述的人脸识别方法可由上述手机、电脑等具备图像处理功能的设备实现。其中，对本发明实施例以移动终端为执行主体进行描述,该实施例中所描述的机器学习模型为训练后的机器学习模型。
本发明实施例提供的人脸识别方法，包括步骤：
S101，获取目标待识别图像。
在一些可行的实施方式中，移动终端可通过其具有的摄像头等图像采集设备获取待识别图像。或者，当移动终端部不具备摄像头等图像采集设备时，可从外部存储设备获取待识别图像。其中，上述外部存储设备可包括软盘、移动硬盘、U盘等，此处不做限定。
在一些可行的实施方式中，当移动终端获取待识别图像后，可通过相应的人脸检测算法判断上述待识别图像中是否存在人脸。其中，上述人脸检测算法可包括模板匹配法、主成分分析法以及纹理分析与空间人脸灰度法等方法，此处不做限定。若判断上述待识别图像中存在人脸，则通过人眼识别算法判断待识别图像中的人眼是否处于睁眼的状态，若判断为是，则执行步骤S102，否则，则重复执行步骤S101。若判断上述待识别图像中不存在人脸，则重复执行步骤S101。
S102，在上述目标待识别图像内定位出用于确定人眼轮廓的N个目标人脸关键点，并获取上述N个目标人脸关键点中各目标人脸关键点在上述目标待识别图像中的位置信息。
在一些可行的实施方式中，移动终端在获取目标待识别图像并判断上述目标待识别图像中存在人脸后，可通过人脸关键点定位技术在上述目标待识别图像中定位出人脸关键点。其中，上述人脸关键点为上述目标待识别图像中用于确定人脸轮廓和五官轮廓的像素点。然后，移动终端从上述人脸关键点中提取出用于确定人眼轮廓的N个目标人脸关键点，并获取上述N个目标人脸关键点中各目标人脸关键点在上述目标待识别图像中的位置信息。其中，上述目标人脸关键点的位置信息包括目标人脸关键点在上述目标待识别图像中的水平位置参数和垂直位置参数。N为大于1的正整数。
具体的，请一并参见图2，图2是本发明实施例提供的人脸关键点定位效果示意图。图2中，上述人脸关键点为用于确定人脸轮廓或者五官轮廓的像素点。例如，1号到17号人脸关键点用于确定人脸轮廓，37号到42号人脸关键点用于确定左侧人眼的轮廓，43号到48号人脸关键点用于确定右侧人眼的轮廓，上述18号到22号人脸关键点用于确定左侧人眉的位置，上述23号到27号人脸关键点用于确定右侧人眉的位置。其中，各人脸关键点的标号仅为各关键点的代号，不具有限定作用，仅仅是为了方便描述。移动终端在获取到待识别图像并判断上述待识别图像中存在人脸后，可将上述待识别图像输入到关键点定位模型中。其中，上述关键点定位模型可包括主动形状模型(Active Shape Model，ASM)、主动外观模型(Active Appearance Model，AAM)或SnaMe模型等，此处不做限定。使用上述关键点定位模型对上述待识别图像进行特征提取和分析，并最终确定待识别图像中的人脸关键点的位置。
移动终端在对上述待识别图像进行人脸关键点定位后，可从上述人脸关键点中提取出N个目标人脸关键点。上述N个目标人脸关键点包括N1个用于确定左侧人眉位置的第一目标人脸关键点、N2个用于确定左侧人眼的眼睑轮廓的第二目标人脸关键点、N3个用于确定右侧人眉位置的第三目标人脸关键点和N4个用于确定右侧人眼的眼睑轮廓的第四目标人脸关键点。其中，N1、N2、N3、N4均为大于0的正整数。移动终端获取N个目标人脸关键点后，可获取N个目标人脸关键点中各个目标人脸关键点在上述待识别图像中的水平位置参数和垂直位置参数。然后，将上述各个目标人脸关键点在上述目标待识别图像中的水平位置参数和垂直位置参数确定为各个目标人脸关键点的位置信息。其中，移动终端也可仅获取N个目标人脸关键点中N0个目标人脸关键点在上述目标待识别图像中的水平位置参数和垂直位置参数。上述N0个目标人脸关键点为移动终端用于确定人眼上眼皮区域所必要的目标人脸关键点。然后，根据上述N0个目标人脸关键点在上述目标待识别图像中的水平位置参数和垂直位置参数确定出人眼上眼皮区域。例如，请一并参加图2。在图2中，上述18号到22号人脸关键点即为用于确定左侧人眉的位置的第一目标人脸关键点。上述23号到27号人脸关键点即为用于确定右侧人眉的位置的第三目标人脸关键点。37号到42号人脸关键点即为用于确定左侧人眼的眼睑轮廓的第二目标人脸关键点。43号到48号人脸关键点即为用于确定右侧人眼的眼睑轮廓的第四目标人脸关键点。移动终端以目标待识别图像的左上角顶点为坐标原点，以水平向右的方向为X轴正方向，以垂直向下的方向为Y轴正方向，建立直角坐标系。则移动终端可通过该直角坐标系在该目标待识别图像中确定出各个目标人脸关键点的位置信息。
S103，根据上述各目标人脸关键点的位置信息从上述目标待识别图像中截取出人眼上眼皮图像，并对该人眼上眼皮图像进行图像尺寸调整以获取目标图像。
在一些可行的实施方式中，可选的，移动终端在获取上述各目标人脸关键点在上述目标待识别图像中的位置信息后，可根据上述各目标人脸关键点在上述目标待识别图像中的水平位置信息和垂直位置信息确定人眼上眼皮区域在该目标待识别图像内的位置及尺寸。例如，假设下眼睑区域为矩形区域，则根据上述人眼轮廓关键点在上述目标待识别图像中的水平位置信息和垂直位置信息确定下眼睑区域的顶点位置信息、区域长度及区域宽度，并根据上述顶点位置信息、区域长度及区域宽度在上述目标待识别图像中划定出下眼睑区域。移动终端在上述目标待识别图像中确定出人眼上眼皮区域后，可通过图像裁剪算法等方法从上述人眼上眼皮区域内截取出人眼上眼皮图像。其中，上述人眼上眼皮图像的尺寸大小不做限定，但该人眼上眼皮图像内需至少包含上睑皮肤区域。移动终端获取上述人眼上眼皮图像后，可获取满足机器学习模型输入参量要求的预设目标图像尺寸。然后，移动终端根据预设图像尺寸对上述人眼上眼皮图像进行图像尺寸调整，以获取目标图像。
可选的，移动终端在移动终端在获取上述各目标人脸关键点在上述目标待识别图像中的位置信息后，可根据上述各目标人脸关键点的位置信息利用图像截取等方法直接从待识别图像中截取出人眼上眼皮图像。然后，移动终端可获取满足机器学习模型输入参量要求的预设目标图像尺寸，并根据预设图像尺寸对上述人眼上眼皮图像进行图像尺寸调整，以获取目标图像。
S104，将上述目标图像输入到机器学习模型中，并根据该机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。
在一些可行的实施方式中，具体的，当移动终端获取到上述目标图像后，可将上述目标图像输入到其内部的机器学习模型中。然后，该机器学习模型可根据其内部的识别机制确定上述目标图像内的眼皮类型并输出与上述目标图像内的眼皮类型相匹配的类别参量。最后，移动终端可根据机器学习模型输出的类别参量确定上述目标待识别图像中包括的人眼的眼皮类型。其中，上述机器学习模型为训练后的机器学习模型，该训练后的机器学习模型可用于根据输入的待识别图像内的人眼上眼皮图像输出与该人眼上眼皮图像中的上眼皮类型相匹配的类别参量，上述类别参量用于确定该待识别图像中包括的人眼的眼皮类型。
在本发明实施例中，首先，获取目标待识别图像，在上述目标待识别图像内定位出人脸关键点，并获取上述人脸关键点在上述目标待识别图像中的位置信息。然后，根据上述人脸关键点的位置信息从上述目标待识别图像中截取出人眼上眼皮图像，并对该人眼上眼皮图像进行图像尺寸调整以获取目标图像。最后，将上述目标图像输入到机器学习模型中，并根据该机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。其中，上述眼皮类型包括单眼皮或者双眼皮。采用本发明，通过将待识别图像中人眼眼皮图像输入到训练后的机器学习模型，进而根据训练后的机器学习模型的输出结果确定人眼眼皮的类型，可增加人脸识别技术可提取的人脸的脸部特征信息量。进而提高人脸识别技术的识别精度，提升人脸识别技术的适用性。
请参见图3，图3是本发明实施例提供的人脸识别方法的第二实施例流程示意图。本发明实施例所述描述的人脸识别方法可由上述手机、电脑等具备图像处理功能的设备实现。其中，对本发明实施例以移动终端为执行主体进行描述。
本发明实施例提供的人脸识别方法，包括步骤：
S201，获取目标待识别图像。
在一些可行的实施方式中，一般情况下，本发明实施例提供的人脸识别方法在对目标待识别图像进行眼皮类型识别操作之前，需对本发明实施例所提供的机器学习模型进行训练，以得到训练后的机器学习模型。其中，上述机器学习模型可包括朴素贝叶斯模型、线性回归模型、最近邻算法、决策树模型、人工神经网络模型等，此处不做限定。上述训练后的机器学习模型用于根据输入的待识别图像内的人眼上眼皮图像输出与上述人眼上眼皮图像中的人眼上眼皮类型相匹配的类别参量。上述类别参量用于确定上述待识别图像中包括的人眼的眼皮类型。
具体的，移动终端可获取M张用于训练的人脸图像和M个类别标签。其中，上述类别标签用于标定上述M张人脸图像中每张人脸图像对应的人眼的眼皮类型。上述M张人脸图像包括M1张眼皮类型为双眼皮的第一人脸图像和M2张眼皮类型为单眼皮的第二人脸图像。其中，上述M1和M2均为大于0的正整数，M为大于1的正整数。上述M个类别标签包括第一类别标签和第二类别标签。上述第一类别标签用于标记上述人脸图像包括的人眼的眼皮类型人双眼皮，上述第二类别标签用于标记上述人脸图像包括的人眼的眼皮类型为单眼皮。其中，一般情况下，当上述M张人脸图像中的某一人脸图像i的人眼上眼皮图像中包括一条沟痕时，则确定上述人脸图像i对应的类别标签为第一类别标签。当上述M张人脸图像中的某一人脸图像i的人眼上眼皮图像中没有沟痕时，则确定上述人脸图像i对应的类别标签为第二类别标签。特别的，当上述M张人脸图像中的某一人脸图像i的人眼上眼皮图像中包括一条沟痕，但上述沟痕的长度小于眼睛长度一半时，则确定上述人脸图像i对应的类别标签为第二类别标签。上述眼睛长度为人眼内眼角到人眼外眼角的距离。例如，参见图2，图2中37号人脸关键点和40号人脸关键点之间的距离即为左侧人眼的眼睛长度。
移动终端在获取上述M张用于训练的人脸图像后，可从上述M张用于训练的人脸图像中获取M张人眼上眼皮图像。以M张用于训练的人脸图像中的人脸图像P为了进行说明。具体的，首先，在人脸图像P中定位出人脸关键点。其中，上述人脸关键点为人脸图像P中用于确定人脸轮廓和五官轮廓的像素点。在上述人脸关键点中提取出用于确定人脸轮廓的N个目标人脸关键点。其中，N为大于1的正整数。获取上述N个目标人脸关键点中各目标人脸关键点在上述人脸图像P中的位置信息，其中，上述位置信息包括水平位置信息和垂直位置信息。移动终端根据上述N个目标人脸关键点中各个目标人脸关键点的位置信息在人脸图像P中确定出人眼上眼皮区域，具体提取过程可参考下文描述的人眼上眼皮区域提取过程。然后，移动终端可截取出上述人眼上眼皮区域中包括的人眼上眼皮图像，以得到人脸图像P中包括的人眼上眼皮图像。移动终端重复上述操作，即可获取M张用于训练的人脸图像所包括的M张人眼上眼皮图像。
可选的，移动终端在获取上述M张人眼上眼皮图像后，可获取上述M张人眼上眼皮图像中每张上述人眼上眼皮图像的图像尺寸，以得到M组人眼上眼皮图像尺寸。然后，移动终端可计算上述M组人眼上眼皮图像尺寸的平均值以得到人眼上眼皮图像尺寸均值，并将上述人眼上眼皮图像尺寸均值确定为训练图像尺寸。其中，上述训练图像尺寸为满足机器学习模型输入参量要求的图像尺寸。
可选的，移动终端在获取上述M张人眼上眼皮图像后，还可获取满足机器学习模型输入参量要求的训练图像尺寸经验值。上述训练图像尺寸经验值可由大量的机器学习模型训练过程中归纳得出。例如，假设有卷积神经网络模型B，移动终端在对卷积神经网络B进行第n次训练后，获取其标准训练图像尺寸为D，则可将上述标准训练图像尺寸D作为训练图像尺寸经验值，以供后续模型训练使用。移动终端可将上述训练图像尺寸经验值确定为上述训练图像尺寸。
移动终端在获取上述训练图像尺寸后，可根据上述训练图像尺寸对上述M张人眼上眼皮图像进行图像尺寸调整。具体的，移动终端可通过图像缩放、图像裁剪等图像处理方法调节M张人眼上眼皮图像中的每张上述人眼上眼皮图像。使得每张上述人眼上眼皮图像的图像尺寸与训练图像尺寸相同，以得到M张标准训练图像。
移动终端在获取到上述M张标准训练图像和M个类别标签后，可将上述M张标准训练图像和M个类别标签输入到其内部已搭建完成的机器学习模型中。其中，上述已搭建完成的机器学习模型为已初始化完成并且可进行训练的机器学习模型。例如，假设搭建的机器学习模型为轻型的卷积神经网络模型，具有一个输入层，两个卷积层，两个池化层，两个全连接层和一个输出层。在确定模型框架后，可初始化相关参数，如损失函数选取、优化函数选取、迭代次数设定等。最终可得到一个完整的待训练的机器学习模型。当移动终端将M张标准训练图像和M个类别标签输入到已搭建完成的机器学习模型中后，机器学习模型开始进行训练，当训练的机器学习模型的迭代次数达到预设的迭代次数后，即可得到训练后的机器学习模型。
在移动终端得到训练后的机器学习模型后，可获取目标待识别图像。获取目标待识别图像的过程可参考第一实施例中步骤S101所描述的目标待识别图像的获取过程，此处便不再赘述。
S202，在上述目标待识别图像内定位出人脸关键点，并获取上述人脸关键点中用于确定人眼轮廓的N个目标人脸关键点。
在一些可行的实施方式中，具体的，移动终端在上述目标待识别图像中定位出人脸关键点的过程可参见上文第一实施例中步骤S102中所描述的在目标待识别图像中定位出人脸关键点的操作过程。此处便不再赘述。上述人脸关键点定位结果可一并参见图2。移动终端在目标待识别图像中定位出人脸关键点后，可从上述人脸关键点中提取出用于确定人眼轮廓的N个目标人脸关键点。上述N个目标人脸关键点包括N1个用于确定左侧人眉位置的第一目标人脸关键点、N2个用于确定左侧人眼的眼睑轮廓的第二目标人脸关键点、N3个用于确定右侧人眉位置的第三目标人脸关键点和N4个用于确定右侧人眼的眼睑轮廓的第四目标人脸关键点。
S203，获取各个目标人脸关键点的位置信息，根据上述各个目标人脸关键点的位置信息从上述目标待识别图像中截取出人眼上眼皮图像。
在一些可行的实施方式中，移动终端获取上述N个目标人脸关键点位置信息的过程可参考上述第一实施例中步骤S102中描述的目标人脸关键点位置信息的获取过程，此处便不再赘述。
可选的，移动终端在获取上述各个目标人脸关键点在目标待识别图像中的位置信息后，可根据上述各个目标人脸关键点的位置信息在上述目标待识别图像中确定出人眼上眼皮区域的位置信息和尺寸信息。其中，上述人眼上眼皮区域的形状可为矩形、椭圆、圆形等，此处不做限定，但上述人眼上眼皮区域必定包括人眼的上睑皮肤区域。本实施例提供的人脸识别方法中，左侧人眼的人眼上眼皮区域的确定方法和右侧人眼的上眼皮区域的确定方法相同，下文以左侧人眼的人眼上眼皮区域确定过程为例进行描述，为方便描述，设定左侧人眼的上眼皮区域为矩形区域。
移动终端获取到上述N1个第一目标人脸关键点和N2个第二目标人脸关键点的位置信息后，可根据上述N1个第一目标人脸关键点和N2个第二目标人脸关键点的位置信息确定人眼上眼皮区域的顶点位置信息、区域长度和区域宽度。其中，上述人眼上眼皮区域的长边为水平方向且长度较大的一边，上述下眼睑区域的宽边为垂直方向且长度较小的一边。
具体的，上述N1个第一目标人脸关键点包括眉峰关键点A(例如图2中的20号人脸关键点)。上述N2个第二目标人脸关键点包括左眼目标人脸关键点B(例如图2中的37号人脸关键点)、左眼目标人脸关键点C(例如图2中的38号人脸关键点)及左眼目标人脸关键点D(例如图2中的40号人脸关键点)。可选的，上述眉峰关键点A为N1个第一目标人脸关键点中用于定位眉峰的人脸关键点；上述左眼目标人脸关键点B为N2个第二目标人脸关键点中用于定位左眼外眼角的人脸关键点；上述左眼目标人脸关键点C为N2个第二目标人脸关键点中用于定位左眼上眼皮的人脸关键点；上述左眼目标人脸关键点D为N2个第二目标人脸关键点中用于定位左眼内眼角的人脸关键点。以上述左眼目标人脸关键点B的水平位置参数和左眼目标人脸关键点D的水平位置参数的差值作为人眼上眼皮区域的长边的边长，即人眼上眼皮区域的区域长度，以眉峰关键点A的垂直位置参数和左眼目标人脸关键点C的垂直位置参数之差的一半作为人眼上眼皮区域的宽边的边长，即人眼上眼皮区域的区域宽度。以左眼目标人脸关键点D作为人眼上眼皮区域的右下角顶点。其中，也可以通过上述各个目标人脸关键点的位置信息确定人眼上眼皮区域的左上角顶点、左下角顶点及右上角顶点，此处便不再赘述。移动终端可根据上述人眼上眼皮区域的区域长度、区域宽度及右下角顶点在上述待目标识别图像中确定出左侧人眼的人眼上眼皮区域。
例如，请一并参见图4，图4是本发明实施例提供的人眼上眼皮区域示意图。图4示意的是图2中的包括的第一目标人脸关键点和第二目标人脸关键点在目标待识别图像中的位置。其中，20号人脸关键点为用于定位眉峰的人脸关键点；37号人脸关键点为用于定位左眼外眼角的人脸关键点；38号人脸关键点为定位左眼上眼皮的人脸关键点；40号人脸关键点为用于定位左眼内眼角的人脸关键点。为方便描述，以上述目标待识别图像的左上角顶点为原点建立直角坐标系，该直角坐标系以水平向右的方向作为X轴的正方向，以垂直向下的方向作为Y轴正方向。移动终端可分别获取图4中20号人脸关键点、37号人脸关键点、38号人脸关键点和40号人脸关键点的位置信息。其中，37号人脸关键点的水平位置参数为x1，40号人脸关键点的水平位置参数为x2。20号人脸关键点的垂直位置参数为y11,38号人脸关键点的垂直位置参数为与y22,40号人脸关键点的垂直位置参数为y2。则人眼上眼皮区域的区域长度为x2-x1，区域宽度为y2-(y12-y11)/2，右下角顶点坐标为(x2，y2)。最后，移动终端可根据上述人眼上眼皮的区域长度、区域宽度及右下角顶点坐标在目标待识别图像中定位出人眼上眼皮区域。其中，图4中实线所划定的阴影区域即为确定出的左侧人眼的人眼上眼皮区域。
移动终端在获取上述左侧人眼的人眼上眼皮区域后，可通过图像裁剪等方法从上述人眼上眼皮区域中截取出左侧人眼的人眼上眼皮图像。
可选的，移动终端获取上述N1个第一目标人脸关键点和N2个第二目标人脸关键点的位置信息后，还可根据上述N1个第一目标人脸关键点和N2个第二目标人脸关键点的位置信息利用图像截取等方法直接从待识别图像中截取出左侧人眼的人眼上眼皮图像。具体的，移动终端可根据N1个第一目标人脸关键点和N2个第二目标人脸关键点的水平位置参数和垂直位置参数确定待截取图像的长度和宽度，同时确定待截取图像的起点。然后，移动终端可根据上述待截取图像的长度和宽度及待截取图像的起点从待识别图像中截取出左侧人眼的人眼上眼皮图像。
移动终端也可根据上述N3个第三目标人脸关键点和N4个第四目标人脸关键点的位置信息确定右侧人眼的人眼上眼皮区域，并从上述右侧人眼的人眼上眼皮区域内截取出右侧人眼的人眼上眼皮图像。其中，右侧人眼的人眼上眼皮图像的获取过程可参考上文中左侧人眼的人眼上眼皮图像的获取过程，此处便不再赘述。
S204，获取满足机器学习模型输入参量要求的预设目标图像尺寸，并根据该预设目标图像尺寸对人眼上眼皮图像进行图像尺寸调整，以获取目标图像。
其中，移动终端对上述左侧人眼的人眼上眼皮图像的尺寸调整过程与对上述右侧人眼的人眼上眼皮图像的尺寸调整相同，下文以对上述左侧人眼的人眼上眼皮图像的尺寸调节为例进行描述。
在一些可行的实施方式中，具体的，移动终端在获取上述左侧人眼的人眼上眼皮图像后，可获取满足机器学习模型输入参量要求的预设目标图像尺寸。其中，上述预设目标图像尺寸可由机器学习模型训练之前确定的训练图像尺寸来确定，也可由训练后的机器学习模型要求的输入图像尺寸规格来确定。此处不做限定。移动终端获取上述预设目标图像尺寸后，可通过图像缩放、图像裁剪等图像处理方法对上述左侧人眼的人眼上眼皮图像进行图像尺寸调节，以获得左侧人眼的目标图像。例如，假设上述左侧人眼的人眼上眼皮图像的尺寸为500*300，移动终端获取的预设目标图像尺寸为130*65，则移动终端可通过图像收缩算法对左侧人眼的人眼上眼皮图像进行收缩处理，以使得左侧人眼的人眼上眼皮图像为130*65，则图像尺寸收缩为130*65的左侧人眼的人眼上眼皮图像即为最终所求的左侧人眼的目标图像。
移动终端还可根据该预设目标图像尺寸对上述右侧人眼的人眼上眼皮图像进行图像尺寸调整，以获取右侧人眼的目标图像。具体操作过程可参见左侧人眼的目标图像的获取过程，此处便不再赘述。
S205，将上述目标图像输入到机器学习模型中，并根据该机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。
在一些可行的实施方式中，具体的，当移动终端获取到上述目标待识别图像后，可将上述目标图像输入到训练后的机器学习模型中。最后，移动终端可根据训练后的机器学习模型输出的类别参量确定上述目标待识别图像中包括的人眼的眼皮类型。其中，该训练后的机器学习模型可用于根据输入的目标待识别图像内的人眼上眼皮图像输出与该人眼上眼皮图像中的上眼皮类型相匹配的类别参量，上述类别参量用于确定该目标待识别图像中包括的人眼的眼皮类型。例如，假设单眼皮类型对应的类别参量为Z1，双眼皮类型对应的类别参量为Z2。移动终端将上述目标图像输入到训练后的机器学习模型后，若该训练后的机器学习模型输出的类别参量为Z1，则移动终端可确定待识别图像中包括的人眼的眼皮类型为单眼皮，若该训练后的机器学习模型输出的类别参量为Z2，则移动终端可确定待识别图像中包括的人眼的眼皮类型为双眼皮。
在本发明实施例中，首先，获取目标待识别图像，在上述目标待识别图像内定位出人脸关键点，并获取上述人脸关键点在上述目标待识别图像中的位置信息。然后，根据上述人脸关键点的位置信息从上述目标待识别图像中截取出人眼上眼皮图像，并对该人眼上眼皮图像进行图像尺寸调整以获取目标图像。最后，将上述目标图像输入到机器学习模型中，并根据该机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。其中，上述眼皮类型包括单眼皮或者双眼皮。采用本发明，通过将待识别图像中人眼眼皮图像输入到训练后的机器学习模型，进而根据训练后的机器学习模型的输出结果确定人眼眼皮的类型，可增加人脸识别技术可提取的人脸的脸部特征信息量。进而提高人脸识别技术的识别精度，提升人脸识别技术的适用性。
请参见图5，图5为本发明实施例提供的人脸识别装置的一结构示意图。
本发明实施例所描述的人脸识别装置，包括：
图像获取模块10，用于获取目标待识别图像。
关键点定位模块20，用于在图像获取模块10获取的上述目标待识别图像内定位出用于确定人眼轮廓的N个目标人脸关键点，并获取上述N个目标关键点中各目标人脸关键点在上述目标待识别图像中的位置信息。其中，N为大于0的正整数。
图像预处理模块30，用于根据关键点定位模块20获取的上述各目标人脸关键点的位置信息在上述目标待识别图像中确定出人眼上眼皮区域。从上述人眼上眼皮区域内截取出人眼上眼皮图像，并对上述人眼上眼皮图像进行图像尺寸调整以获取目标图像。
识别模块40，用于将上述图像预处理模块30获取的目标图像输入到机器学习模型中，并根据上述机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。其中，上述眼皮类型包括单眼皮或者双眼皮。
在一些可行的实施方式中，上述图像预处理模块30还用于：
获取满足机器学习模型输入参量要求的预设目标图像尺寸。根据预设目标图像尺寸对上述人眼上眼皮区域内的人眼上眼皮图像进行图像尺寸调整，以获取目标图像。
在一些可行的实施方式中，请一并参见图6，图6是本发明实施例提供的人脸识别装置的另一结构示意图。上述装置还包括训练模块50。
上述图像获取模块10，还用于获取M张人脸图像和M个类别标签。其中，一个类别标签用于标记一张人脸图像中包括的眼皮类型，上述M张人脸图像包括M1张眼皮类型为双眼皮的第一人脸图像和M2张眼皮类型为单眼皮的第二人脸图像。其中，M1和M2均为大于0的正整数，M为大于2的正整数。
上述图像预处理模块30，还用于截取上述图像获取模块10获取的M张人脸图像中每张人脸图像内的人眼上眼皮图像，以得到M张人眼上眼皮图像。
上述训练模块50，还用于获取满足机器学习模型输入参量要求的训练图像尺寸。
上述图像预处理模块30，还用于根据上述训练模块50获取的标准训练图像尺寸对上述M张人眼上眼皮图像中的每张人眼上眼皮图像进行图像尺寸调整，以得到M张标准训练图像。
所述训练模块50，还用于使用上述图像预处理模块获取的M张标准训练图像和上述图像获取模块获取的上述M个类别标签对机器学习模型进行训练，以获取训练后的机器学习模型。
在一些可行的实施方式中，一般情况下，本发明实施例提供的人脸识别装置在对目标待识别图像进行眼皮类型识别之前，需对本发明提供的机器学习模型进行训练，以得到训练后的机器学习模型。其中，上述机器学习模型可包括朴素贝叶斯模型、线性回归模型、最近邻算法、决策树模型、人工神经网络模型等，此处不做限定。上述训练后的机器学习模型用于根据输入的待识别图像内的人眼上眼皮图像输出与上述人眼上眼皮图像中的人眼上眼皮类型相匹配的类别参量。上述类别参量用于确定上述待识别图像中包括的人眼的眼皮类型。
具体的，上述图像获取模块10可获取M张用于训练的人脸图像和M个类别标签。其中，上述类别标签用于标定上述M张人脸图像中每张人脸图像对应的人眼的眼皮类型。上述M张人脸图像包括M1张眼皮类型为双眼皮的第一人脸图像和M2张眼皮类型为单眼皮的第二人脸图像。其中，上述M1和M2均为大于0的正整数，M为大于1的正整数。上述M个类别标签包括第一类别标签和第二类别标签。上述第一类别标签用于标记上述人脸图像包括的人眼的眼皮类型人双眼皮，上述第二类别标签用于标记上述人脸图像包括的人眼的眼皮类型为单眼皮。其中，一般情况下，当上述M张人脸图像中的某一人脸图像i的人眼上眼皮图像中包括一条沟痕时，则确定上述人脸图像i对应的类别标签为第一类别标签。当上述M张人脸图像中的某一人脸图像i的人眼上眼皮图像中没有沟痕时，则确定上述人脸图像i对应的类别标签为第二类别标签。特别的，当上述M张人脸图像中的某一人脸图像i的人眼上眼皮图像中包括一条沟痕，但上述沟痕的长度小于眼睛长度一半时，则确定上述人脸图像i对应的类别标签为第二类别标签。上述眼睛长度为人眼内眼角到人眼外眼角的距离。例如，参见图2，图2中37号人脸关键点和40号人脸关键点之间的距离即为左侧人眼的眼睛长度。
上述图像获取模块10获取上述M张用于训练的人脸图像后，上述人脸关键点定位模块20、图像预处理模块30和训练模块50可从上述M张用于训练的人脸图像中获取M张标准训练图像。具体的，以M张用于训练的人脸图像中的人脸图像P为了进行说明。上述图像获取模块10将图像P输入值人脸关键点定位模块20，人脸关键点定位模块20在人脸图像P中定位出人脸关键点。其中，上述人脸关键点为人脸图像P中用于确定人脸轮廓和五官轮廓的像素点。人脸关键点定位模块20在上述人脸关键点中提取出用于确定人脸轮廓的N个目标人脸关键点。其中，N为大于1的正整数。人脸关键点定位模块20获取上述N个目标人脸关键点中各目标人脸关键点在上述人脸图像P中的位置信息，其中，上述位置信息包括水平位置信息和垂直位置信息。然后，上述图像预处理模块30根据上述人脸关键点定位模块20获取的N个目标人脸关键点中各个目标人脸关键点的位置信息在人脸图像P中确定出人眼上眼皮区域，具体提取过程可参见步骤S203描述的人眼上眼皮区域提取过程。然后，图像预处理模块30可截取出上述人脸关键点定位模块20获取的人眼上眼皮区域中包括的人眼上眼皮图像，以得到人脸图像P中包括的人眼上眼皮图像。重复上述操作，即可获取M张用于训练的人脸图像所包括的M张人眼上眼皮图像。
可选的，图像预处理模块30获取上述M张人眼上眼皮图像后，训练模块50可获取上述图像预处理模块30获取的M张人眼上眼皮图像中每张上述人眼上眼皮图像的图像尺寸，以得到M组人眼上眼皮图像尺寸。然后，训练模块50计算上述M组人眼上眼皮图像尺寸的平均值以得到人眼上眼皮图像尺寸均值，并将上述人眼上眼皮图像尺寸均值确定为训练图像尺寸。其中，上述训练图像尺寸为满足机器学习模型输入参量要求的图像尺寸。
可选的，图像预处理模块30在获取上述M张人眼上眼皮图像后，训练模块50还可获取满足机器学习模型输入参量要求的训练图像尺寸经验值。上述训练图像尺寸经验值可由大量的机器学习模型训练过程中归纳得出。例如，假设有卷积神经网络模型B，训练模块50在对卷积神经网络B进行第n次训练后，获取其标准训练图像尺寸为D，则可将上述标准训练图像尺寸D作为训练图像尺寸经验值，以供后续模型训练使用。训练模块50可将上述训练图像尺寸经验值确定为上述训练图像尺寸。
训练模块50在获取上述训练图像尺寸后，图像预处理模块30可根据上述训练图像尺寸对上述M张人眼上眼皮图像进行图像尺寸调整。具体的，图像预处理模块30可通过图像缩放、图像裁剪等图像处理方法调节M张人眼上眼皮图像中的每张上述人眼上眼皮图像。使得每张上述人眼上眼皮图像的图像尺寸与预设标准选了图像尺寸相同，以得到M张标准训练图像。并将上述M张标准训练图像输入到训练模块中。
训练模块50获取到上述图像预处理模块30获取的M张标准训练图像和图像获取模块10获取M个类别标签后，可将上述M张标准训练图像和M个类别标签输入到其内部已搭建完成的机器学习模型中。其中，上述已搭建完成的机器学习模型为已初始化完成并且可进行训练的机器学习模型。例如，假设搭建的机器学习模型为轻型的卷积神经网络模型，具有一个输入层，两个卷积层，两个池化层，两个全连接层和一个输出层。在确定模型框架后，可初始化相关参数，如损失函数选取、优化函数选取、迭代次数设定等。最终可得到一个完整的待训练的机器学习模型。训练模块50将M张标准训练图像和M个类别标签输入到已搭建完成的机器学习模型中后，机器学习模型开始训练。当训练的机器学习模型的迭代次数达到预设的迭代次数后，即可得到训练后的机器学习模型。
在训练模块50获取到训练后的机器学习模型后，图像获取模块10可获取目标待识别图像。图像获取模块10获取目标待识别图像的过程可参考第一实施例中步骤S101所描述的目标待识别图像的获取过程，此处便不再赘述。
图像获取模块10获取到目标待识别图像后，可将上述目标待识别图像传输至关键点定位模块20。关键点定位模块20在上述目标待识别图像中定位出人脸关键点的过程可参见上文第一实施例中步骤S102中所描述的在目标待识别图像中定位出人脸关键点的操作过程。此处便不再赘述。上述人脸关键点定位结果可一并参见图2。关键点定位模块20在目标待识别图像中定位出人脸关键点后，可从上述人脸关键点中提取出用于确定人眼轮廓的N个目标人脸关键点。上述N个目标人脸关键点包括N1个用于确定左侧人眉位置的第一目标人脸关键点、N2个用于确定左侧人眼的眼睑轮廓的第二目标人脸关键点、N3个用于确定右侧人眉位置的第三目标人脸关键点和N4个用于确定右侧人眼的眼睑轮廓的第四目标人脸关键点。然后，关键点定位模块20可获取各个目标人脸关键点的位置信息。关键点定位模块20获取上述N个目标人脸关键点位置信息的过程可参考上述第一实施例中步骤S102中描述的目标人脸关键点位置信息的获取过程，此处便不再赘述。
关键点定位模块20获取到各个目标人脸关键点的位置信息后，可将各个目标人脸关键点的位置信息输入至图像预处理模块30。图像预处理模块30可根据上述各个目标人脸关键点的位置信息在上述目标待识别图像中确定人眼上眼皮区域在该目标待识别图像中的位置信息和尺寸信息。其中，上述人眼上眼皮区域的形状可为矩形、椭圆、圆形等，此处不做限定，但上述人眼上眼皮区域必定包括人眼的上睑皮肤区域。本实施例提供的人脸识别方法中，图像预处理模块30确定左侧人眼的人眼上眼皮区域的方法和右侧人眼的上眼皮区域的方法相同，下文以图像预处理模块30确定左侧人眼的人眼上眼皮区域过程为例进行描述，为方便描述，设定左侧人眼的上眼皮区域为矩形区域。
图像预处理模块30获取到上述关键点定位模块获取的N1个第一目标人脸关键点和N2个第二目标人脸关键点的位置信息后，可根据上述N1个第一目标人脸关键点和N2个第二目标人脸关键点的位置信息确定人眼上眼皮区域的顶点位置信息、区域长度和区域宽度。其中，上述人眼上眼皮区域的长边为水平方向且长度较大的一边，上述下眼睑区域的宽边为垂直方向且长度较小的一边。
具体的，上述N1个第一目标人脸关键点包括眉峰关键点A(例如图2中的20号人脸关键点)。上述N2个第二目标人脸关键点包括左眼目标人脸关键点B(例如图2中的37号人脸关键点)、左眼目标人脸关键点C(例如图2中的38号人脸关键点)及左眼目标人脸关键点D(例如图2中的40号人脸关键点)。可选的，上述眉峰关键点A为N1个第一目标人脸关键点中用于定位眉峰的人脸关键点；上述左眼目标人脸关键点B为N2个第二目标人脸关键点中用于定位左眼外眼角的人脸关键点；上述左眼目标人脸关键点C为N2个第二目标人脸关键点中用于定位左眼上眼皮的人脸关键点；上述左眼目标人脸关键点D为N2个第二目标人脸关键点中用于定位左眼内眼角的人脸关键点。图像预处理模块30以上述左眼目标人脸关键点B的水平位置参数和左眼目标人脸关键点D的水平位置参数的差值作为人眼上眼皮区域的长边的边长，即人眼上眼皮区域的区域长度，以眉峰关键点A的垂直位置参数和左眼目标人脸关键点C的垂直位置参数之差的一半作为人眼上眼皮区域的宽边的边长，即人眼上眼皮区域的区域宽度。图像预处理模块30以左眼目标人脸关键点D作为人眼上眼皮区域的右下角顶点。其中，图像预处理模块30也可以通过上述各个目标人脸关键点的位置信息确定人眼上眼皮区域的左上角顶点、左下角顶点及右上角顶点，此处便不再赘述。图像预处理模块30可根据上述人眼上眼皮区域的区域长度、区域宽度及右下角顶点在上述待目标识别图像中确定出左侧人眼的人眼上眼皮区域。
例如，请一并参见图4，图4是本发明实施例提供的人眼上眼皮区域示意图。图4示意的是图2中的包括的第一目标人脸关键点和第二目标人脸关键点在目标待识别图像中的位置。其中，20号人脸关键点为用于定位眉峰的人脸关键点；37号人脸关键点为用于定位左眼外眼角的人脸关键点；38号人脸关键点为定位左眼上眼皮的人脸关键点；40号人脸关键点为用于定位左眼内眼角的人脸关键点。为方便描述，图像预处理模块30以上述目标待识别图像的左上角顶点为原点建立直角坐标系，该直角坐标系以水平向右的方向作为X轴的正方向，以垂直向下的方向作为Y轴正方向。图像预处理模块30可分别获取图4中20号人脸关键点、37号人脸关键点、38号人脸关键点和40号人脸关键点的位置信息。其中，37号人脸关键点的水平位置参数为x1，40号人脸关键点的水平位置参数为x2。20号人脸关键点的垂直位置参数为y11,38号人脸关键点的垂直位置参数为与y22,40号人脸关键点的垂直位置参数为y2。则人眼上眼皮区域的区域长度为x2-x1，区域宽度为y2-(y12-y11)/2，右下角顶点坐标为(x2，y2)。最后，图像预处理模块30可根据上述人眼上眼皮的区域长度、区域宽度及右下角顶点坐标在目标待识别图像中定位出人眼上眼皮区域。其中，图4中实线所划定的阴影区域即为确定出的左侧人眼的人眼上眼皮区域。
图像预处理模块30在获取上述左侧人眼的人眼上眼皮区域后，可通过图像裁剪等方法从上述人眼上眼皮区域中截取出左侧人眼的人眼上眼皮图像。
图像预处理模块30获取上述N1个第一目标人脸关键点和N2个第二目标人脸关键点的位置信息后，还可根据上述N1个第一目标人脸关键点和N2个第二目标人脸关键点的位置信息利用图像截取等方法直接从待识别图像中截取出左侧人眼的人眼上眼皮图像。
图像预处理模块30也可根据上述N3个第三目标人脸关键点和N4个第四目标人脸关键点的位置信息确定右侧人眼的人眼上眼皮区域，并从上述右侧人眼的人眼上眼皮区域内截取出右侧人眼的人眼上眼皮图像。其中，右侧人眼的人眼上眼皮图像的获取过程可参考上文中左侧人眼的人眼上眼皮图像的获取过程，此处便不再赘述。
图像预处理模块30获取到上述左侧人眼的人眼上眼皮图像或右侧人眼的人眼上眼皮图像后，可获取满足机器学习模型输入参量要求的预设目标图像尺寸，并根据该预设目标图像尺寸对人眼上眼皮图像进行图像尺寸调整，以获取目标图像。其中，图像预处理模块30对上述左侧人眼的人眼上眼皮图像的尺寸调节过程与对上述右侧人眼的人眼上眼皮图像的尺寸调节相同，下文以图像预处理模块30对上述左侧人眼的人眼上眼皮图像的尺寸调节为例进行描述。
具体的，图像预处理模块30获取上述左侧人眼的人眼上眼皮图像后，可获取满足机器学习模型输入参量要求的预设目标图像尺寸。其中，上述预设目标图像尺寸可由机器学习模型训练之前确定的训练图像尺寸来确定，也可由训练后的机器学习模型要求的输入图像尺寸规格来确定。此处不做限定。图像预处理模块30获取上述预设目标图像尺寸后，可通过图像缩放、图像裁剪等图像处理方法对上述左侧人眼的人眼上眼皮图像进行图像尺寸调节，以获得目标图像。例如，假设上述左侧人眼的人眼上眼皮图像的尺寸为500*300，图像预处理模块30获取的预设目标图像尺寸为130*65，则图像预处理模块30可通过图像收缩算法对左侧人眼的人眼上眼皮图像进行收缩处理，以使得左侧人眼的人眼上眼皮图像为130*65，则图像尺寸收缩为130*65的左侧人眼的人眼上眼皮图像即为图像预处理模块30最终所求的目标图像。
图像预处理模块30还可根据该预设目标图像尺寸对上述右侧人眼的人眼上眼皮图像进行图像尺寸调整，以获取右侧人眼的目标图像。具体操作过程可参见右侧人眼的目标图像的获取过程，此处便不再赘述。
图像预处理模块30获取上述左侧人眼的目标图像或右侧人眼的目标图像后，可将上述左侧人眼的目标图像或右侧人眼的目标图像输入识别模块40中。最后，识别模块40可根据训练后的机器学习模型输出的类别参量确定上述目标待识别图像中包括的人眼的眼皮类型。其中，识别模块40内部的训练后的机器学习模型可用于根据输入的待识别图像内的人眼上眼皮图像输出与该人眼上眼皮图像中的上眼皮类型相匹配的类别参量，上述类别参量用于确定该待识别图像中包括的人眼的眼皮类型。例如，单眼皮类型对应的类别参量为Z1，双眼皮类型对应的类别参量为Z2。图像预处理模块30将上述目标图像输入到识别模块40内的训练后的机器学习模型后，若该训练后的机器学习模型输出的类别参量为Z1，则识别模块40可确定待识别图像中包括的人眼的眼皮类型为单眼皮，若该训练后的机器学习模型输出的类别参量为Z2，则识别模块40可确定待识别图像中包括的人眼的眼皮类型为双眼皮。
在本发明实施例中，首先，获取目标待识别图像，在上述目标待识别图像内定位出人脸关键点，并获取上述人脸关键点在上述目标待识别图像中的位置信息。然后，根据上述人脸关键点的位置信息从上述目标待识别图像中截取出人眼上眼皮图像，并对该人眼上眼皮图像进行图像尺寸调整以获取目标图像。最后，将上述目标图像输入到机器学习模型中，并根据该机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。其中，上述眼皮类型包括单眼皮或者双眼皮。采用本发明实施例，通过将待识别图像中人眼眼皮图像输入到训练后的机器学习模型，进而根据训练后的机器学习模型的输出结果确定人眼眼皮的类型，可增加人脸识别技术可提取的人脸的脸部特征信息量。进而提高人脸识别技术的识别精度，提升人脸识别技术的适用性。
请参见图7，是本发明实施例提供的另一种人脸识别装置的结构示意图。如图7所示，本实施例中的装置可以包括：一个或多个输入设备100、存储器200、一个或多个处理器300。上述处理器300、输入设备100、存储器200通过总线400连接。存储器200用于存储计算机程序，上述计算机程序包括程序指令，处理器300用于执行存储器200存储的程序指令。其中，输入设备100用于调用上述程序指令执行获取目标待识别图像等步骤。处理器300用于调用上述程序指令执行：在上述目标待识别图像内定位出用于确定人眼轮廓的N个目标人脸关键点，并获取N个目标关键点中各目标人脸关键点在目标待识别图像中的位置信息。根据各目标人脸关键点的位置信息从目标待识别图像中截取出人眼上眼皮图像，并对该人眼上眼皮图像进行图像尺寸调整以获取目标图像。将目标图像输入到机器学习模型中，并根据该机器学习模型的输出结果确定上述目标待识别图像中包括的人眼的眼皮类型。
应当理解，在本发明实施例中，所称处理器300可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备100可以包括摄像头、数据通信接口等。
该存储器200可以包括只读存储器和随机存取存储器，并向处理器300提供指令和数据。存储器200的一部分还可以包括非易失性随机存取存储器。例如，存储器200还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的输入设备100、处理器300可执行本发明实施例提供的人脸识别方法的第一实施例和第二实施例中所描述的实现方式，也可执行本发明实施例所描述的装置的实现方式，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
Claims (10)
1.一种人脸识别的方法，其特征在于，所述方法包括：
获取目标待识别图像；
在所述目标待识别图像内定位出用于确定人眼轮廓的N个目标人脸关键点，并获取所述N个目标关键点中各目标关键点在所述目标待识别图像中的位置信息，其中，N为大于1的正整数；
根据所述各目标人脸关键点的位置信息从所述目标待识别图像中截取出人眼上眼皮图像，并对所述人眼上眼皮图像进行图像尺寸调整以获取目标图像；
将所述目标图像输入到机器学习模型中，并根据所述机器学习模型的输出结果确定所述目标待识别图像中包括的人眼的眼皮类型，其中，所述眼皮类型包括单眼皮或者双眼皮。
2.根据权利要求1所述方法，其特征在于，所述对所述人眼上眼皮图像进行图像尺寸调整以获取目标图像包括：
获取满足机器学习模型输入参量要求的预设目标图像尺寸；
根据所述预设目标图像尺寸对所述人眼上眼皮区域内的人眼上眼皮图像进行图像尺寸调整，以获取目标图像。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取M张人脸图像和M个类别标签，其中，一个类别标签用于标记一张人脸图像中包括的眼皮类型，所述M张人脸图像包括M1张眼皮类型为双眼皮的第一人脸图像和M2张眼皮类型为单眼皮的第二人脸图像，其中，M1和M2均为大于0的正整数，M为大于1的正整数；
截取所述M张人脸图像中每张人脸图像内的人眼上眼皮图像，以得到M张人眼上眼皮图像；
获取满足机器学习模型输入参量要求的训练图像尺寸，并根据所述训练图像尺寸对所述M张人眼上眼皮图像中的每张所述人眼上眼皮图像进行图像尺寸调整，以得到M张标准训练图像；
使用所述M张标准训练图像和所述M个类别标签对机器学习模型进行训练，以获取训练后的机器学习模型；
其中，所述训练后的机器学习模型用于根据输入的待识别图像内的人眼上眼皮图像输出与所述人眼上眼皮图像中的上眼皮类型相匹配的类别参量，所述类别参量用于确定所述待识别图像中包括的人眼的眼皮类型。
4.根据权利要求3所述的方法，其特征在于，所述获取满足机器学习模型输入参量要求的训练图像尺寸包括：
获取每张所述人眼上眼皮图像的图像尺寸，以得到M组人眼上眼皮图像尺寸；
计算所述M组人眼上眼皮图像尺寸的平均值以得到人眼上眼皮图像尺寸均值，并根据所述人眼上眼皮图像尺寸均值确定出训练图像尺寸。
5.根据权利要求3或4所述的方法，其特征在于，所述M个类别标签中包括第一类别标签和第二类别标签，其中，所述第一类别标签用于标记所述人脸图像包括的人眼的眼皮类型为双眼皮；所述第二类别标签用于标记所述人脸图像包括的人眼的眼皮类型为单眼皮；
其中，当某一人脸图像i的人眼上眼皮图像中包括一条沟痕，并且所述沟痕的长度大于或等于眼睛长度的一半时，确定所述人脸图像i对应的类别标签为所述第一类别标签。
6.一种人脸识别的装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标待识别图像；
关键点定位模块，用于在图像获取模块获取的所述目标待识别图像内定位出用于确定人眼轮廓的N个目标人脸关键点，并获取所述N个目标人脸关键点中各目标人脸关键点在所述目标待识别图像中的位置信息，其中，N为大于1的正整数；
图像预处理模块，用于根据关键点定位模块获取的所述各目标人脸关键点的位置信息从所述目标待识别图像中截取出人眼上眼皮图像，并对所述人眼上眼皮图像进行图像尺寸调整以获取目标图像；
识别模块，用于将所述图像预处理模块获取的目标图像输入到机器学习模型中，并根据所述机器学习模型的输出结果确定所述目标待识别图像中包括的人眼的眼皮类型，其中，所述眼皮类型包括单眼皮或者双眼皮。
7.根据权利要求6所述的装置，其特征在于，所述图像预处理模块用于：
获取满足机器学习模型输入参量要求的预设目标图像尺寸；
根据预设目标图像尺寸对所述人眼上眼皮区域内的人眼上眼皮图像进行图像尺寸调整，以获取目标图像。
8.根据权利要求6或7所述的装置，其特征在于，所述的装置还包括训练模块；
所述图像获取模块，还用于获取M张人脸图像和M个类别标签，其中，一个类别标签用于标记一张人脸图像中包括的眼皮类型，所述M张人脸图像包括M1张眼皮类型为双眼皮的第一人脸图像和M2张眼皮类型为单眼皮的第二人脸图像，其中，M1和M2均为大于0的正整数，M为大于1的正整数；
所述图像预处理模块，还用于截取所述图像获取模块获取的M张人脸图像中每张人脸图像内的人眼上眼皮图像，以得到M张人眼上眼皮图像；
所述训练模块，还用于获取满足机器学习模型输入参量要求的训练图像尺寸；
所述图像预处理模块，还用于根据所述训练模块获取的所述标准训练图像尺寸对所述M张人眼上眼皮图像中的每张所述人眼上眼皮图像进行图像尺寸调整，以得到M张标准训练图像；
所述训练模块，还用于使用所述图像预处理模块获取的M张标准训练图像和所述图像获取模块获取的所述M个类别标签对机器学习模型进行训练，以获取训练后的机器学习模型。
9.根据权利要求8所述的装置，其特征在于，所述训练模块，用于：
获取每张所述图像预处理模块获取的人眼上眼皮图像的图像尺寸，以得到M组人眼上眼皮图像尺寸；
计算所述M组人眼上眼皮图像尺寸的平均值以得到人眼上眼皮图像尺寸均值，并根据所述人眼上眼皮图像尺寸均值确定出训练图像尺寸。
10.一种人脸识别的装置，其特征在于，包括处理器、输入设备和存储器，所述处理器、输入设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器和所述输入设备用于调用所述程序指令，执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711382016.3A CN108090450B (zh) | 2017-12-20 | 2017-12-20 | 人脸识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711382016.3A CN108090450B (zh) | 2017-12-20 | 2017-12-20 | 人脸识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108090450A true CN108090450A (zh) | 2018-05-29 |
| CN108090450B CN108090450B (zh) | 2020-11-13 |
Family
ID=62177389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711382016.3A Active CN108090450B (zh) | 2017-12-20 | 2017-12-20 | 人脸识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090450B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544516A (zh) * | 2018-11-05 | 2019-03-29 | 深圳和而泰数据资源与云技术有限公司 | 图像检测方法及装置 |
| CN109558837A (zh) * | 2018-11-28 | 2019-04-02 | 北京达佳互联信息技术有限公司 | 人脸关键点检测方法、装置及存储介质 |
| CN110032510A (zh) * | 2019-03-07 | 2019-07-19 | 深圳市腾讯信息技术有限公司 | 应用的测试方法及装置 |
| CN110135315A (zh) * | 2019-05-07 | 2019-08-16 | 厦门欢乐逛科技股份有限公司 | 基于人眼关键点的眼瞳替换方法及装置 |
| CN110363136A (zh) * | 2019-07-12 | 2019-10-22 | 北京字节跳动网络技术有限公司 | 用于识别眼睛设定特征的方法、装置、电子设备、及介质 |
| CN110969120A (zh) * | 2019-11-29 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
| CN111797656A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 人脸关键点检测方法、装置、存储介质及电子设备 |
| CN112381709A (zh) * | 2020-11-13 | 2021-02-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、模型训练方法、装置、设备和介质 |
| CN112418184A (zh) * | 2020-12-14 | 2021-02-26 | 杭州魔点科技有限公司 | 基于鼻部特征的人脸检测方法、装置、电子设备及介质 |
| CN113095119A (zh) * | 2020-01-09 | 2021-07-09 | 北京君正集成电路股份有限公司 | 一种修正人脸裁剪框的人脸识别系统 |
| WO2021232209A1 (zh) * | 2020-05-18 | 2021-11-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备、可移动平台和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005119581A1 (en) * | 2004-06-01 | 2005-12-15 | Smart Sensors Ltd | Identification of image characteristics |
| CN105224285A (zh) * | 2014-05-27 | 2016-01-06 | 北京三星通信技术研究有限公司 | 眼睛开闭状态检测装置和方法 |
| CN106407911A (zh) * | 2016-08-31 | 2017-02-15 | 乐视控股（北京）有限公司 | 基于图像的眼镜识别方法及装置 |
| CN106934073A (zh) * | 2017-05-02 | 2017-07-07 | 成都通甲优博科技有限责任公司 | 基于三维立体图像的人脸对比系统、方法及移动终端 |
-
2017
- 2017-12-20 CN CN201711382016.3A patent/CN108090450B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005119581A1 (en) * | 2004-06-01 | 2005-12-15 | Smart Sensors Ltd | Identification of image characteristics |
| CN105224285A (zh) * | 2014-05-27 | 2016-01-06 | 北京三星通信技术研究有限公司 | 眼睛开闭状态检测装置和方法 |
| CN106407911A (zh) * | 2016-08-31 | 2017-02-15 | 乐视控股（北京）有限公司 | 基于图像的眼镜识别方法及装置 |
| CN106934073A (zh) * | 2017-05-02 | 2017-07-07 | 成都通甲优博科技有限责任公司 | 基于三维立体图像的人脸对比系统、方法及移动终端 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544516A (zh) * | 2018-11-05 | 2019-03-29 | 深圳和而泰数据资源与云技术有限公司 | 图像检测方法及装置 |
| CN109544516B (zh) * | 2018-11-05 | 2020-11-13 | 深圳和而泰数据资源与云技术有限公司 | 图像检测方法及装置 |
| CN109558837A (zh) * | 2018-11-28 | 2019-04-02 | 北京达佳互联信息技术有限公司 | 人脸关键点检测方法、装置及存储介质 |
| CN109558837B (zh) * | 2018-11-28 | 2024-03-22 | 北京达佳互联信息技术有限公司 | 人脸关键点检测方法、装置及存储介质 |
| CN110032510B (zh) * | 2019-03-07 | 2022-05-20 | 深圳市腾讯信息技术有限公司 | 应用的测试方法及装置 |
| CN110032510A (zh) * | 2019-03-07 | 2019-07-19 | 深圳市腾讯信息技术有限公司 | 应用的测试方法及装置 |
| CN111797656A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 人脸关键点检测方法、装置、存储介质及电子设备 |
| CN111797656B (zh) * | 2019-04-09 | 2023-08-22 | Oppo广东移动通信有限公司 | 人脸关键点检测方法、装置、存储介质及电子设备 |
| CN110135315A (zh) * | 2019-05-07 | 2019-08-16 | 厦门欢乐逛科技股份有限公司 | 基于人眼关键点的眼瞳替换方法及装置 |
| CN110135315B (zh) * | 2019-05-07 | 2023-04-07 | 厦门稿定股份有限公司 | 基于人眼关键点的眼瞳替换方法及装置 |
| CN110363136A (zh) * | 2019-07-12 | 2019-10-22 | 北京字节跳动网络技术有限公司 | 用于识别眼睛设定特征的方法、装置、电子设备、及介质 |
| CN110969120B (zh) * | 2019-11-29 | 2024-01-12 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
| CN110969120A (zh) * | 2019-11-29 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
| CN113095119A (zh) * | 2020-01-09 | 2021-07-09 | 北京君正集成电路股份有限公司 | 一种修正人脸裁剪框的人脸识别系统 |
| CN113095119B (zh) * | 2020-01-09 | 2023-11-21 | 北京君正集成电路股份有限公司 | 一种修正人脸裁剪框的人脸识别系统 |
| WO2021232209A1 (zh) * | 2020-05-18 | 2021-11-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备、可移动平台和存储介质 |
| CN112381709A (zh) * | 2020-11-13 | 2021-02-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、模型训练方法、装置、设备和介质 |
| CN112418184A (zh) * | 2020-12-14 | 2021-02-26 | 杭州魔点科技有限公司 | 基于鼻部特征的人脸检测方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108090450B (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090450A (zh) | 人脸识别方法和装置 | |
| JP6636154B2 (ja) | 顔画像処理方法および装置、ならびに記憶媒体 | |
| US11403874B2 (en) | Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium | |
| US11328455B2 (en) | Method and apparatus for generating face model, storage medium, and terminal | |
| US20200034996A1 (en) | Image processing method, apparatus, terminal, and storage medium | |
| CN110390269A (zh) | Pdf文档表格提取方法、装置、设备及计算机可读存储介质 | |
| CN105740780B (zh) | 人脸活体检测的方法和装置 | |
| CN110084775A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106803067A (zh) | 一种人脸图像质量评估方法及装置 | |
| CN108985232A (zh) | 人脸图像比对方法、装置、计算机设备及存储介质 | |
| CN104992402A (zh) | 一种美颜处理方法及装置 | |
| CN108846793A (zh) | 基于图像风格转换模型的图像处理方法和终端设备 | |
| CN105374055A (zh) | 图像处理方法及装置 | |
| CN107944435A (zh) | 一种三维人脸识别方法、装置及处理终端 | |
| CN103810490A (zh) | 一种确定人脸图像的属性的方法和设备 | |
| CN110059546A (zh) | 基于频谱分析的活体识别方法、装置、终端及可读介质 | |
| CN109271930B (zh) | 微表情识别方法、装置与存储介质 | |
| CN111968134B (zh) | 目标分割方法、装置、计算机可读存储介质及计算机设备 | |
| CN109886144B (zh) | 虚拟试发方法、装置、计算机设备和存储介质 | |
| CN111091075A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN110288715A (zh) | 虚拟项链试戴方法、装置、电子设备及存储介质 | |
| CN110956071A (zh) | 眼部关键点的标注及其检测模型的训练方法和装置 | |
| US11882918B2 (en) | Make-up assistance method and apparatus and smart mirror | |
| CN113705466B (zh) | 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法 | |
| CN108288024A (zh) | 人脸识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518000 Guangdong science and technology innovation and Research Institute, Shenzhen, Shenzhen, Nanshan District No. 6, science and technology innovation and Research Institute, Shenzhen, D 10, 1004, 10 Patentee after: Shenzhen Hetai intelligent home appliance controller Co.,Ltd. Address before: 518000 Guangdong science and technology innovation and Research Institute, Shenzhen, Shenzhen, Nanshan District No. 6, science and technology innovation and Research Institute, Shenzhen, D 10, 1004, 10 Patentee before: SHENZHEN H&T DATA RESOURCES AND CLOUD TECHNOLOGY Ltd. |