CN105740779A - 人脸活体检测的方法和装置 - Google Patents

人脸活体检测的方法和装置 Download PDF

Info

Publication number
CN105740779A
CN105740779A CN201610048494.XA CN201610048494A CN105740779A CN 105740779 A CN105740779 A CN 105740779A CN 201610048494 A CN201610048494 A CN 201610048494A CN 105740779 A CN105740779 A CN 105740779A
Authority
CN
China
Prior art keywords
face
stack features
point
features point
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610048494.XA
Other languages
English (en)
Other versions
CN105740779B (zh
Inventor
孔勇
王玉瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Techshino Technology Co Ltd
Original Assignee
Beijing Techshino Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Techshino Technology Co Ltd filed Critical Beijing Techshino Technology Co Ltd
Priority to CN201610048494.XA priority Critical patent/CN105740779B/zh
Publication of CN105740779A publication Critical patent/CN105740779A/zh
Application granted granted Critical
Publication of CN105740779B publication Critical patent/CN105740779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种人脸活体检测的方法和装置,属于人脸识别领域,该方法包括:采集3D人脸图像;在所述3D人脸图像的整个区域上选择第一组特征点,并获取所述第一组特征点的三维坐标;使用所述第一组特征点的三维坐标计算得到表示第一组特征点的深度信息的第一人脸特征;使用所述第一人脸特征判断所述3D人脸图像是否是活体图像。本发明能够判断人脸图像是否是活体图像,该方法具有鲁棒性和稳定性,并且识别的精确度高,对用户友好。

Description

人脸活体检测的方法和装置
技术领域
本发明属于人脸识别领域,特别是指一种人脸活体检测的方法和装置。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行识别的一系列相关技术。
但是,人脸识别的过程中,一些非法用户可能使用合法用户的脸部照片以及视频等欺骗人脸识别设备,使得非法用户通过人脸识别。
现有技术中判断采集到的人脸图像是否是活体图像一般采用如下方法:要求用户做出指定的动作,如眨眼、张嘴等,并采集人脸图像,根据采集到的人脸图像判断用户是否完成了指定的动作,如果是,则判断采集到的人脸图像为活体图像。但是,这种方法对用户很不友好,并且可以使用预先录制的包含指定的动作的视频欺骗人脸识别设备,识别准确度低。
发明内容
为克服现有技术的不足,本发明的目的在于提供一种人脸活体检测的方法和装置,能够判断人脸图像是否是活体图像,该方法具有鲁棒性和稳定性,并且识别的精确度高,对用户友好。
本发明提供技术方案如下:
一方面,提供一种人脸活体检测的方法,包括:
采集3D人脸图像;
在所述3D人脸图像的整个区域上选择第一组特征点,并获取所述第一组特征点的三维坐标;
使用所述第一组特征点的三维坐标计算得到表示所述第一组特征点的深度信息的第一人脸特征;
使用所述第一人脸特征判断所述3D人脸图像是否是活体图像。
另一方面,提供一种人脸活体检测的装置,包括:
采集模块,用于采集3D人脸图像;
第一选择模块,用于在所述3D人脸图像的整个区域上选择第一组特征点,并获取所述第一组特征点的三维坐标;
第一提取模块,用于使用所述第一组特征点的三维坐标计算得到表示所述第一组特征点的深度信息的第一人脸特征;
判断模块,用于使用所述第一人脸特征判断所述3D人脸图像是否是活体图像。
本发明具有以下有益效果:
本发明能够判断人脸图像是否是活体图像。首先采集得到3D人脸图像,然后在3D人脸图像上选择第一组特征点,并得到第一组特征点的三维坐标;再通过三维坐标计算得到第一人脸特征,该第一人脸特征能够表示第一组特征点的深度信息(即反映3D人脸图像整体的深度信息);最后使用第一人脸特征判断人脸图像是否是活体图像。
本发明精确度高。本发明利用3D人脸图像上第一组特征点的深度信息(即3D人脸图像整体的深度信息)来判断人脸图像是否是活体图像,并且进一步提取出第一人脸特征来表征深度信息,使得识别的精确度高。
并且,第一人脸特征的获取方法具有鲁棒性和稳定性,获取的第一人脸特征能够很好的表征人脸图像整体的深度信息,使得本发明实施例的人脸活体检测的方法具有鲁棒性和稳定性。
另外,本发明实施例的人脸活体检测的方法不需要用户做出特定的动作,对用户友好。
综上所述,本发明的人脸活体检测的方法能够判断人脸图像是否是活体图像,该方法具有鲁棒性和稳定性,并且识别的精确度高,对用户友好。
附图说明
图1为本发明的人脸活体检测的方法的一个实施例的流程图;
图2为本发明的人脸活体检测的方法的另一个实施例的流程图;
图3为本发明中第一组特征点的一个选择方式示意图;
图4为本发明中第二组特征点的一个选择方式示意图;
图5为本发明的人脸活体检测的装置的一个实施例的示意图;
图6为本发明的人脸活体检测的装置的另一个实施例的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
一方面,本发明实施例提供一种人脸活体检测的方法,如图1所示,包括:
步骤101:采集3D人脸图像。本步骤中,优选使用3D摄像头采集得到3D人脸图像。
步骤102:在3D人脸图像的整个区域上选择第一组特征点,并获取第一组特征点的三维坐标。
普通的人脸图像是平面的,只能得到特征点的二维坐标,而3D人脸图像能够得到特征点的三维坐标(三维坐标反映了3D人脸图像特征点的立体信息),例如有的3D摄像头能够直接给出3D人脸图像上一些点的三维坐标(即拍摄3D人脸图像时,3D摄像头会将3D人脸图像上的一些点的三维坐标直接给出来,无需额外计算),其他点的三维坐标可以通过计算得出,我们可以选择这些点(3D摄像头直接给出三维坐标的特征点)作为第一组特征点,也可以选择其他的点作为第一组特征点。第一组特征点可以在整个3D人脸图像上均匀的选择,也可以在3D人脸图像上的重点区域,重点区域是指3D人脸图像上起伏较大的地方,优选鼻子、眼睛、嘴巴等区域。
得到第一组特征点的三维坐标的前提是已经确定出了三维坐标系,三维坐标系在选择时,可以将3D摄像头面向用户的方向作为z轴的正方向,x轴和y轴的正方向可以根据右手坐标系确定。
步骤103:使用第一组特征点的三维坐标计算得到表示第一组特征点的深度信息的第一人脸特征。
本步骤中的深度信息是指第一组特征点与3D摄像头的理论距离,理论距离是指在理想情况下(当人脸正对3D摄像头,人脸没有任何的偏斜时),第一组特征点与3D摄像头的距离,因为真实的人脸(活体人脸)不是平面的,而脸部照片以及视频伪造的人脸是平面的,若第一组特征点中多个特征点的理论距离不同,则可以认为3D人脸图像是活体图像。
在理想情况下,深度信息可以使用三维坐标中z的值来表征,此时,若第一组特征点中多个特征点的z的值不同,就可以判断3D人脸图像是活体图像。但是,实际上在采集3D人脸图像时,人脸会存在偏斜等情况,导致三维坐标中z的值不能完全的表示深度信息,而且,如果将脸部照片倾斜或折叠,或者将视频倾斜,也会使得第一组特征点中多个特征点的z的值不同,并且,3D摄像头在采集3D人脸图像时,若人脸出现倾斜,也有可能使得第一组特征点中多个特征点的z的值相同,所以仅仅使用z的值来判断3D人脸图像是否为活体图像是不准确的。
因此我们使用三维坐标(包括x,y,z的值)来表征深度信息,并使用第一组特征点中多个特征点的三维坐标(深度信息)来判断3D人脸图像是否为活体图像。优选的,可以通过第一组特征点中多个特征点的三维坐标计算得到第一人脸特征,该第一人脸特征能够表征第一组特征点中多个特征点的深度信息(即反映3D人脸图像整体的深度信息),并且该第一人脸特征的获取方法具有鲁棒性和稳定性,具体的为:即使将脸部照片倾斜或折叠,或者将视频倾斜,提取到的第一人脸特征也能够使得该照片和视频被识别为非活体图像;并且3D摄像头在采集3D人脸图像时,若人脸出现倾斜,提取到的第一人脸特征也能够使得该3D人脸图像被识别为活体图像。
第一人脸特征包括多个参数值,可以写成向量的形式,我们称之为第一人脸特征向量,第一人脸特征向量能够反映3D人脸图像的整体深度信息。
步骤104:使用第一人脸特征判断3D人脸图像是否是活体图像。本步骤中,预先定义了判断标准,若第一人脸特征符合该标准,则认为3D人脸图像是活体图像,否则,3D人脸图像是非活体。
本发明实施例能够判断人脸图像是否是活体图像。首先采集得到3D人脸图像,然后在3D人脸图像上选择第一组特征点,并得到第一组特征点的三维坐标;再通过三维坐标计算得到第一人脸特征,该第一人脸特征能够表示第一组特征点的深度信息(即反映3D人脸图像整体的深度信息);最后使用第一人脸特征判断人脸图像是否是活体图像。
本发明实施例精确度高。本发明实施例利用3D人脸图像上第一组特征点的深度信息(即3D人脸图像整体的深度信息)来判断人脸图像是否是活体图像,并且进一步提取出第一人脸特征来表征深度信息,使得识别的精确度高。
并且,第一人脸特征的获取方法具有鲁棒性和稳定性,获取的第一人脸特征能够很好的表征人脸图像整体的深度信息,使得本发明实施例的人脸活体检测的方法具有鲁棒性和稳定性。
另外,本发明实施例的人脸活体检测的方法不需要用户做出特定的动作,对用户友好。
综上所述,本发明实施例的人脸活体检测的方法能够判断人脸图像是否是活体图像,该方法具有鲁棒性和稳定性,并且识别的精确度高,对用户友好。
在上述实施例的基础上,如图2所示,步骤103之后,步骤104之前还包括:
步骤1031:在3D人脸图像的局部区域上选择第二组特征点,并获取第二组特征点的三维坐标;局部区域可以为鼻子区域、眼睛区域或嘴巴区域。
上述第一组特征点是在整个人脸上选择的,它能够反映3D人脸图像整体的深度信息,我们还可以在3D人脸图像的局部区域再选择一组特征点,记为第二组特征点,第二组特征点优选在鼻子区域、眼睛区域或嘴巴区域处,并且,第二组特征点可以是第一组特征点的一部分,也可以是新选择出的特征点。
步骤1032:使用第二组特征点的三维坐标计算得到表示第二组特征点的深度信息的第二人脸特征。
第二人脸特征包括多个参数值,可以写成向量的形式,我们称之为第二人脸特征向量,第二人脸特征向量能够反映3D人脸图像的局部深度信息。
本步骤中,可以使用与第一人脸特征相同的计算方法计算第二人脸特征,因为第一组特征点表征整个人脸,第二组特征点表征局部人脸,两者不同,因此即使使用相同的方法,计算出的第一人脸特征和第二人脸特征也不同,它们分别反映3D人脸图像的整体深度信息和局部深度信息。也可以使用与第一人脸特征不相同的计算方法计算第二人脸特征,使得第二人脸特征具有更多的细节特征,更好的表征局部人脸。
步骤1033:将第一人脸特征和第二人脸特征合并为一个联合人脸特征。联合人脸特征既包括反映3D人脸图像的整体深度信息的第一人脸特征,又包括反映3D人脸图像的局部深度信息的第二人脸特征,能够更好地表征3D人脸图像。
步骤104进一步为:使用联合人脸特征判断3D人脸图像是否是活体图像。本步骤中,预先定义了判断标准,若联合人脸特征符合该标准,则认为3D人脸图像是活体图像,否则,3D人脸图像是非活体。
本发明实施例中,第一人脸特征能够反映3D人脸图像的整体深度信息,第二人脸特征能够反映3D人脸图像的局部深度信息,两者结合,使得识别的精确度更高。
另外,本发明实施例的第一人脸特征和第二人脸特征的获取方法具有鲁棒性和稳定性,能够使得获取的联合人脸特征更好的表征人脸图像的深度信息,也使得本发明实施例的人脸活体检测的方法更具有鲁棒性和稳定性。
上述实施例中的第一人脸特征和第二人脸特征是通过三维坐标计算得到的特征向量,用来表示第一组特征点和第二组特征点的深度信息,理论上来说,对三维坐标进行的所有计算得到的第一人脸特征和第二人脸特征都能表征3D人脸图像,都能用来判断人脸图像是否是活体图像。但是,考虑到人脸采集时的人脸姿势(是否倾斜等)以及采集到的人脸图像上的噪声都会对识别结果产生影响,我们要求第一人脸特征和第二人脸特征的获取方法具有鲁棒性和稳定性,以避免人脸姿势以及采集到的人脸图像上的噪声的影响,并且使用具有鲁棒性和稳定性的第一人脸特征和第二人脸特征的获取方法获取的第一人脸特征和第二人脸特征能够将倾斜或折叠的脸部照片以及倾斜的视频与活体人脸区分开来。具有鲁棒性和稳定性的第一人脸特征和第二人脸特征的获取方法可以有多种实施方式,这里给出几个实施例:
第一个实施例:
使用第一组特征点的三维坐标计算得到表示第一组特征点的深度信息的第一人脸特征(步骤103)包括:
使用第一组特征点的三维坐标拟合得到第一目标平面。将特征点的三维坐标使用最小二乘法、插值法等方法进行拟合,可以得到一个平面,我们将这个平面称为目标平面。
计算第一组特征点到第一目标平面的距离,距离即为第一人脸特征。本步骤中可以将这些距离合成为一个向量,即为第一人脸特征向量。
第一目标平面是通过第一组特征点的三维坐标拟合得到的,对同一个人而言,这个第一目标平面具有很好的稳定性和鲁棒性,不受人脸采集的姿势以及图像噪声的影响,因此第一人脸特征向量的获取方法具有很好的稳定性和鲁棒性,获取的第一人脸特征向量更能表征人脸图像整体的深度信息,使得识别结果精确度更高,也使得本发明实施例的人脸活体检测的方法鲁棒性和稳定性更好。
第二个实施例:
第二人脸特征包括点-面距离特征值、点-点距离特征值和/或角度特征值,点-面距离特征值、点-点距离特征值和角度特征值通过如下方法得到:
使用第二组特征点的三维坐标拟合得到第二目标平面。
计算第二组特征点到第二目标平面的距离,得到点-面距离特征值。
计算第二组特征点两两之间的距离,得到点-点距离特征值。
计算第二组特征点两两决定的直线,并且计算直线与第二目标平面的夹角,得到角度特征值。
第二目标平面是通过第二组特征点的三维坐标拟合得到的,对同一个人而言,这个第二目标平面具有很好的稳定性和鲁棒性,不受人脸采集的姿势以及图像噪声的影响,因此基于第二目标平面的特征值(点-面距离特征值、点-点距离特征值和/或角度特征值)具有很好的稳定性和鲁棒性,即第二人脸特征向量的获取方法具有很好的稳定性和鲁棒性,获取的第二人脸特征向量更能表征人脸图像局部的深度信息,使得识别结果精确度更高,也使得本发明实施例的人脸活体检测的方法鲁棒性和稳定性更好。并且使用点-面距离特征值、点-点距离特征值和/或角度特征值能够使得第二人脸特征更丰富。
在提取出联合人脸特征后,就可以使用联合人脸特征判断3D人脸图像是否是活体图像。这里给出一个判断的实施例:
使用联合人脸特征判断3D人脸图像是否是活体图像包括:
使用预先训练好的分类器对联合人脸特征进行分类。
根据分类结果判断3D人脸图像是否是活体图像。
本发明实施例采用分类器判断3D人脸图像是否是活体图像,事先需要使用联合人脸特征对分类器进行训练,即设定好判断标准,然后将联合人脸特征输入分类器,得到类别输出,根据类别判断人脸图像是否是活体图像。例如,分类器为SVM分类器,SVM分类器使用多个联合人脸特征样本进行训练得到。将联合脸特征输入分类器,若输出结果为1,则是活体图像,若输出结果为-1,则为非活体。
本发明实施例采用分类器判断3D人脸图像是否是活体图像,进一步提高了识别的精确度。
上述的各个实施例中,对特征点的选取可以有多种方式,当然,为了使得选取的特征点更具有代表性,往往需要在人脸起伏较大的区域(如眼睛、鼻子、嘴巴等)多选取几个特征点,这里给出一个具体实施例,如图3所示:第一组特征点包括:两个眼睛区域各9个特征点、鼻子区域7个特征点、嘴巴区域20个特征点、眉毛区域16个特征点和/或脸颊区域17个特征点;第二组特征点包括鼻子区域的5个特征点。
本发明实施例在眼睛区域、鼻子区域、嘴巴区域、眉毛区域和/或脸颊区域等上选择多个特征点,能够更好地代表3D人脸图像,提取到的人脸特征能够使得识别结果更准确。
下面以一个优选的实施例对本发明进行阐述:
步骤1)、打开3D摄像头,获取一张3D人脸图像,并提取3D人脸图像的45个特征点的深度信息,具体过程为:
首先,调用已有的算法来打开3D摄像头、拍摄3D人脸图像、并提取人脸的45个特征点的深度信息。
图3给出了78个特征点的标记(这78个特征点可以是3D摄像头直接给出的,也可以是通过3D人脸图像计算出的),依次用如下符号表示:Point0,Point1,...,Point76,Point77;深度信息依次由下面的三维坐标来表示:(x0,y0,z0),(x1,y1,z1),…,(x76,y76,z76),(x77,y77,z77)。
把这78个特征点分成5个区域,即:
眉毛区域,有16个特征点:Point0,Point1,…,Point9,Point70,…,Point75;
眼镜区域,有18个特征点:Point10,Point11,…,Point25,Point76,Point77;
鼻子区域,有7个特征点:Point26,Point27,…,Point32;
嘴巴区域,有20个特征点:Point33,Point34,…,Point52;
脸颊区域,有17个特征点:Point53,Point54,…,Point69。
能够表征活体人脸最好的区域是鼻子,其次是眼睛和嘴巴,最后是眉毛和脸颊区域,所以优选选取了鼻子、眼睛和嘴巴区域的共计45个特征点,并提取它们的深度信息。于是,这45个特征点的标记,依次可用如下符号表示:Point10,Point11,…,Point51,Point52,Point76,Point77.其深度信息依次由下面的三维坐标来表示:
(x10,y10,z10),(x11,y11,z11),…,(x52,y52,z52),(x76,y76,z76),(x77,y77,z77)
步骤2)、利用3D人脸45个特征点的深度信息,计算出一个表示人脸的45维特征,即为第一人脸特征,具体过程为:
首先,利用最小二乘法,由这45个特征点的三维坐标来拟合出第一目标平面α;
接着,分别计算这45个特征点到第一目标平面α的距离,这样会得到45个距离数据,并把这45个距离数据当作此人脸的第一人脸特征。
具体的计算过程说明:
首先,利用最小二乘法,由45个特征点的三维坐标(x10,y10,z10),(x11,y11,z11),…,(x52,y52,z52),(x76,y76,z76),(x77,y77,z77)来拟合出一个平面α:z=a1*x+b1*y+c1
计算a,b,c的过程如下,设:
A 1 = x 10 y 10 1 x 11 y 11 1 . . . . . . . . . x 51 y 51 1 y 52 y 52 1 x 76 y 76 1 x 77 y 77 1 , X 1 = a 1 b 1 c 1 , Z 1 = z 0 z 1 . . . z 51 z 52 z 76 z 77
则:
A1*X1=Z1
利用Matlab做如下计算即可求出平面的三个系数:
X1=A1\Z1
或者,X1=(A1TA1)-1A1TZ1
接着,计算45个特征点到平面的距离,记第i个特征点到拟合平面的距离是di,则:
d i = | a 1 * x i + b 1 * y i - z i + c 1 | a 1 2 + b 1 2 + 1
之后,把这45个距离作为第一人脸特征,即用45维的数据[d10,d11,…d51,d52,d76,d77]作为第一特征来表示人脸的整体深度信息。
步骤3)、利用鼻子区域特殊的5个特征点的深度信息,计算出另一个表示人脸的12维特征,即为第二人脸特征。
这里选取了鼻子区域,是因为鼻子是人脸区域中一个突出的部位,它的深度信息是很有区分度的。选取的鼻子区域的五个特征点见图4,即:Point26,Point29,Point30,Point31,Point32。
利用这五个特征点的深度信息,来计算出一些数值。模拟鼻子的立体形状,分别计算了比如:特征点与特征点之间的距离、特征点到鼻子底部平面的距离、特征点连接的直线与鼻子底部平面的夹角等。
具体的计算过程如下:
记第i个特征点到第j个特征点的距离是di,j,则
d i , j = ( x i - x j ) 2 + ( y i - y j ) 2 + ( z i - z j ) 2
首先,由三个特征点Point26,Point30,Point32确定第二目标平面β:
z2=a2*x+b2*y+c2
计算a,b,c的过程,设
A 2 = x 26 y 26 1 x 30 y 30 1 x 32 y 32 1 , X 2 = a 2 b 2 c 2 , Z 2 = z 26 z 30 z 32
A2*X2=Z2
于是利用Matlab做如下计算,可求出平面的三个系数即
X2=A2\Z2
或者,X2=(A2TA2)-1A2TZ2
则点Point29到平面β的距离为
d 29 = | a 2 * x 29 + b 2 * y 29 - z 29 + c 2 | a 2 2 + b 2 2 + 1
接着,求三条过第29个特征点的直线与平面β夹角的正弦值;
设由第29个特征点和第26个特征点决定的直线是直线L1;
设由第29个特征点和第30个特征点决定的直线是直线L2;
设由第29个特征点和第32个特征点决定的直线是直线L3;
则L1,L2,L3与平面β的夹角的正弦值可分别用如下记号表示:
类似的,点Point31到平面β的距离是
d 31 = | a 2 * x 31 + b 2 * y 31 - z 31 + c 2 | a 2 2 + b 2 2 + 1
设由第31个特征点和第26个特征点决定的直线是直线L4;
设由第31个特征点和第30个特征点决定的直线是直线L5;
设由第31个特征点和第32个特征点决定的直线是直线L6;
则L4,L5,L6与平面β的夹角的正弦值可分别用如下记号表示:
然后计算由第29个特征点和第28个特征点决定的直线L7与平面β的夹角的正弦值:
最后,分别计算第31个特征点到第29、30、32的距离即:
d31,29,d31,30,d31,32
之后,将上面的12个数值合成一个12维的第二人脸特征即:
步骤4)、将步骤2)的45维第一人脸特征和3)中的12维第二人脸特征合在一起组成一个57维的表示人脸的联合人脸特征;提高算法的准确率,同时增加算法的稳定性和鲁棒性。
步骤5)、用合并后的57维联合人脸特征来判断当前的3D人脸图像是不是活体图像。
将57维的联合人脸特征输入到已经训练好的SVM分类器中,根据输出的结果来判断是不是活体图像。如果输出的结果是1,则是活体图像,如果输出的结果是-1,则是非活体。
在机器学习领域,SVM(支持向量机,SupportVectorMachine)是一个有监督的学习模型,通常用来进行模式识别、分类、以及回归分析。SVM经常用在二类问题上。
采集并计算出了近3万份活体和非活体人脸的特征数据,用Matlab的SVM训练函数svmtrain来训练分类器。
这些特征数据中,训练样本是16000份(其中活体6000份,非活体10000份),测试样本是12500份(其中活体4000份、非活体8500份),并且标记真人脸为+1,假人脸为-1。在训练时选取最佳的参数,在Matlab的SVM训练函数svmtrain的参数中,设定采取高斯核函数,并设置sigma=4。
另一方面,本发明实施例提供一种人脸活体检测的装置,如图5,包括:
采集模块11,用于采集3D人脸图像;
第一选择模块12,用于在3D人脸图像的整个区域上选择第一组特征点,并获取第一组特征点的三维坐标;
第一提取模块13,用于使用第一组特征点的三维坐标计算得到表示第一组特征点的深度信息的第一人脸特征;
判断模块14,用于使用第一人脸特征判断3D人脸图像是否是活体图像。
本发明实施例的人脸活体检测的装置能够判断人脸图像是否是活体图像,该方法具有鲁棒性和稳定性,并且识别的精确度高,对用户友好。
在上述实施例的基础上,如图6所示,第一提取模块13之后,判断模块14之前还包括:
第二选择模块131,用于在3D人脸图像的局部区域上选择第二组特征点,并获取第二组特征点的三维坐标;局部区域为鼻子区域、眼睛区域或嘴巴区域;
第二提取模块132,用于使用第二组特征点的三维坐标计算得到表示第二组特征点的深度信息的第二人脸特征;
特征合并模块133,用于将第一人脸特征和第二人脸特征合并为一个联合人脸特征;
判断模块14进一步用于:
使用联合人脸特征判断3D人脸图像是否是活体图像。
本发明实施例中,第一人脸特征能够反映3D人脸图像的整体深度信息,第二人脸特征能够反映3D人脸图像的局部深度信息,两者结合,使得识别的精确度更高。
另外,本发明实施例的第一人脸特征和第二人脸特征的获取方法具有鲁棒性和稳定性,能够使得获取的联合人脸特征更好的表征人脸图像的深度信息,也使得本发明实施例的人脸活体检测的方法更具有鲁棒性和稳定性。
上述实施例中的第一人脸特征和第二人脸特征是通过三维坐标计算得到的特征向量,用来表示第一组特征点和第二组特征点的深度信息,理论上来说,对三维坐标进行的所有计算得到的第一人脸特征和第二人脸特征都能表征3D人脸图像,都能用来判断人脸图像是否是活体图像。但是,考虑到人脸采集时的人脸姿势(是否倾斜等)以及采集到的人脸图像上的噪声都会对识别结果产生影响,我们要求第一人脸特征和第二人脸特征的获取方法具有鲁棒性和稳定性,以避免人脸姿势以及采集到的人脸图像上的噪声的影响,并且使用具有鲁棒性和稳定性的第一人脸特征和第二人脸特征的获取方法获取的第一人脸特征和第二人脸特征能够将倾斜或折叠的脸部照片以及倾斜的视频与活体人脸区分开来。具有鲁棒性和稳定性的第一人脸特征和第二人脸特征的获取方法可以有多种实施方式,这里给出几个实施例:
第三个实施例:
第一提取模块包括:
第一拟合单元,用于使用第一组特征点的三维坐标拟合得到第一目标平面;
第一计算单元,用于计算第一组特征点到第一目标平面的距离,距离即为第一人脸特征。
第一目标平面是通过第一组特征点的三维坐标拟合得到的,对同一个人而言,这个第一目标平面具有很好的稳定性和鲁棒性,不受人脸采集的姿势以及图像噪声的影响,因此第一人脸特征向量的获取方法具有很好的稳定性和鲁棒性,获取的第一人脸特征向量更能表征人脸图像整体的深度信息,使得识别结果精确度更高,也使得本发明实施例的人脸活体检测的方法鲁棒性和稳定性更好。
第四个实施例:
第二人脸特征包括点-面距离特征值、点-点距离特征值和/或角度特征值,点-面距离特征值、点-点距离特征值和角度特征值通过如下单元得到:
第二拟合单元,用于使用第二组特征点的三维坐标拟合得到第二目标平面;
第二计算单元,用于计算第二组特征点到第二目标平面的距离,得到点-面距离特征值;
第三计算单元,用于计算第二组特征点两两之间的距离,得到点-点距离特征值;
第四计算单元,用于计算第二组特征点两两决定的直线,并且计算直线与第二目标平面的夹角,得到角度特征值。
第二目标平面是通过第二组特征点的三维坐标拟合得到的,对同一个人而言,这个第二目标平面具有很好的稳定性和鲁棒性,不受人脸采集的姿势以及图像噪声的影响,因此基于第二目标平面的特征值(点-面距离特征值、点-点距离特征值和/或角度特征值)具有很好的稳定性和鲁棒性,即第二人脸特征向量的获取方法具有很好的稳定性和鲁棒性,获取的第二人脸特征向量更能表征人脸图像局部的深度信息,使得识别结果精确度更高,也使得本发明实施例的人脸活体检测的方法鲁棒性和稳定性更好。并且使用点-面距离特征值、点-点距离特征值和/或角度特征值能够使得第二人脸特征更丰富。
在提取出联合人脸特征后,就可以使用联合人脸特征判断3D人脸图像是否是活体图像。这里给出一个判断的实施例:
判断模块包括:
分类单元,用于使用预先训练好的分类器对联合人脸特征进行分类;
判断单元,用于根据分类结果判断3D人脸图像是否是活体图像。
本发明实施例采用分类器判断3D人脸图像是否是活体图像,事先需要使用联合人脸特征对分类器进行训练,即设定好判断标准,然后将联合人脸特征输入分类器,得到类别输出,根据类别判断人脸图像是否是活体图像。例如,分类器为SVM分类器,SVM分类器使用多个联合人脸特征样本进行训练得到。将联合脸特征输入分类器,若输出结果为1,则为活体,若输出结果为-1,则为非活体。
本发明实施例采用分类器判断3D人脸图像是否是活体图像,进一步提高了识别的精确度。
上述的各个实施例中,对特征点的选取可以有多种形方式,当然,为了使得选取的特征点更具有代表性,往往需要在人脸起伏较大的区域(如眼睛、鼻子、嘴巴等)多选取几个特征点,这里给出一个具体实施例,如图3所示:
第一组特征点包括:两个眼睛区域各9个特征点、鼻子区域7个特征点、嘴巴区域20个特征点、眉毛区域16个特征点和/或脸颊区域17个特征点;第二组特征点包括鼻子区域的5个特征点。
本发明实施例在眼睛区域、鼻子区域、嘴巴区域、眉毛区域和/或脸颊区域等上选择多个特征点,能够更好地代表3D人脸图像,提取到的人脸特征能够是别的识别结果更准确。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人脸活体检测的方法,其特征在于,包括:
采集3D人脸图像;
在所述3D人脸图像的整个区域上选择第一组特征点,并获取所述第一组特征点的三维坐标;
使用所述第一组特征点的三维坐标计算得到表示所述第一组特征点的深度信息的第一人脸特征;
使用所述第一人脸特征判断所述3D人脸图像是否是活体图像。
2.根据权利要求1所述的人脸活体检测的方法,其特征在于,所述使用所述第一组特征点的三维坐标计算得到表示所述第一组特征点的深度信息的第一人脸特征之后,所述使用所述第一人脸特征判断所述3D人脸图像是否是活体图像之前还包括:
在所述3D人脸图像的局部区域上选择第二组特征点,并获取所述第二组特征点的三维坐标;所述局部区域为鼻子区域、眼睛区域或嘴巴区域;
使用所述第二组特征点的三维坐标计算得到表示所述第二组特征点的深度信息的第二人脸特征;
将所述第一人脸特征和第二人脸特征合并为一个联合人脸特征;
所述使用所述第一人脸特征判断所述3D人脸图像是否是活体图像进一步为:
使用所述联合人脸特征判断所述3D人脸图像是否是活体图像。
3.根据权利要求1或2所述的人脸活体检测的方法,其特征在于,所述使用所述第一组特征点的三维坐标计算得到表示所述第一组特征点的深度信息的第一人脸特征包括:
使用所述第一组特征点的三维坐标拟合得到第一目标平面;
计算所述第一组特征点到所述第一目标平面的距离,所述距离即为所述第一人脸特征。
4.根据权利要求2所述的人脸活体检测的方法,其特征在于,所述第二人脸特征包括点-面距离特征值、点-点距离特征值和/或角度特征值,所述点-面距离特征值、点-点距离特征值和角度特征值通过如下方法得到:
使用所述第二组特征点的三维坐标拟合得到第二目标平面;
计算所述第二组特征点到所述第二目标平面的距离,得到点-面距离特征值;
计算所述第二组特征点两两之间的距离,得到点-点距离特征值;
计算所述第二组特征点两两决定的直线,并且计算所述直线与所述第二目标平面的夹角,得到角度特征值。
5.根据权利要求2所述的人脸活体检测的方法,其特征在于,所述使用所述联合人脸特征判断所述3D人脸图像是否是活体图像包括:
使用预先训练的分类器对所述联合人脸特征进行分类;
根据分类结果判断所述3D人脸图像是否是活体图像。
6.一种人脸活体检测的装置,其特征在于,包括:
采集模块,用于采集3D人脸图像;
第一选择模块,用于在所述3D人脸图像的整个区域上选择第一组特征点,并获取所述第一组特征点的三维坐标;
第一提取模块,用于使用所述第一组特征点的三维坐标计算得到表示所述第一组特征点的深度信息的第一人脸特征;
判断模块,用于使用所述第一人脸特征判断所述3D人脸图像是否是活体图像。
7.根据权利要求6所述的人脸活体检测的装置,其特征在于,所述第一提取模块之后,所述判断模块之前还包括:
第二选择模块,用于在所述3D人脸图像的局部区域上选择第二组特征点,并获取所述第二组特征点的三维坐标;所述局部区域为鼻子区域、眼睛区域或嘴巴区域;
第二提取模块,用于使用所述第二组特征点的三维坐标计算得到表示所述第二组特征点的深度信息的第二人脸特征;
特征合并模块,用于将所述第一人脸特征和第二人脸特征合并为一个联合人脸特征;
所述判断模块进一步用于:
使用所述联合人脸特征判断所述3D人脸图像是否是活体图像。
8.根据权利要求6或7所述的人脸活体检测的装置,其特征在于,所述第一提取模块包括:
第一拟合单元,用于使用所述第一组特征点的三维坐标拟合得到第一目标平面;
第一计算单元,用于计算所述第一组特征点到所述第一目标平面的距离,所述距离即为所述第一人脸特征。
9.根据权利要求7所述的人脸活体检测的装置,其特征在于,所述第二人脸特征包括点-面距离特征值、点-点距离特征值和/或角度特征值,所述点-面距离特征值、点-点距离特征值和角度特征值通过如下单元得到:
第二拟合单元,用于使用所述第二组特征点的三维坐标拟合得到第二目标平面;
第二计算单元,用于计算所述第二组特征点到所述第二目标平面的距离,得到点-面距离特征值;
第三计算单元,用于计算所述第二组特征点两两之间的距离,得到点-点距离特征值;
第四计算单元,用于计算所述第二组特征点两两决定的直线,并且计算所述直线与所述第二目标平面的夹角,得到角度特征值。
10.根据权利要求7所述的人脸活体检测的装置,其特征在于,所述判断模块包括:
分类单元,用于使用预先训练的分类器对所述联合人脸特征进行分类;
判断单元,用于根据分类结果判断所述3D人脸图像是否是活体图像。
CN201610048494.XA 2016-01-25 2016-01-25 人脸活体检测的方法和装置 Active CN105740779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610048494.XA CN105740779B (zh) 2016-01-25 2016-01-25 人脸活体检测的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610048494.XA CN105740779B (zh) 2016-01-25 2016-01-25 人脸活体检测的方法和装置

Publications (2)

Publication Number Publication Date
CN105740779A true CN105740779A (zh) 2016-07-06
CN105740779B CN105740779B (zh) 2020-11-13

Family

ID=56247583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610048494.XA Active CN105740779B (zh) 2016-01-25 2016-01-25 人脸活体检测的方法和装置

Country Status (1)

Country Link
CN (1) CN105740779B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599826A (zh) * 2016-12-09 2017-04-26 杭州宇泛智能科技有限公司 基于近红外光人脸3d重建的方法
CN107358157A (zh) * 2017-06-07 2017-11-17 阿里巴巴集团控股有限公司 一种人脸活体检测方法、装置以及电子设备
CN107368778A (zh) * 2017-06-02 2017-11-21 深圳奥比中光科技有限公司 人脸表情的捕捉方法、装置及存储装置
CN107590463A (zh) * 2017-09-12 2018-01-16 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN107993302A (zh) * 2017-12-18 2018-05-04 信利光电股份有限公司 一种人脸签到方法、装置、设备及计算机可读存储介质
CN108664880A (zh) * 2017-03-27 2018-10-16 三星电子株式会社 活性测试方法和设备
CN109389032A (zh) * 2018-08-27 2019-02-26 北京三快在线科技有限公司 图片真实性的确定方法、装置、电子设备及可读存储介质
CN109784302A (zh) * 2019-01-28 2019-05-21 深圳风豹互联网科技有限公司 一种人脸活体检测方法及人脸识别设备
CN110688950A (zh) * 2019-09-26 2020-01-14 杭州艾芯智能科技有限公司 基于深度信息的人脸活体检测方法、装置
CN111209870A (zh) * 2020-01-09 2020-05-29 杭州涂鸦信息技术有限公司 一种双目活体摄像头快速配准方法及其系统和装置
US10747987B2 (en) 2017-07-20 2020-08-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device and method for recognizing real face and storage medium
CN112506204A (zh) * 2020-12-17 2021-03-16 深圳市普渡科技有限公司 机器人遇障处理方法、装置、设备和计算机可读存储介质
CN114743253A (zh) * 2022-06-13 2022-07-12 四川迪晟新达类脑智能技术有限公司 一种基于相邻人脸关键点距离特征的活体检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299741A1 (en) * 2010-06-08 2011-12-08 Microsoft Corporation Distinguishing Live Faces from Flat Surfaces
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
CN103679118A (zh) * 2012-09-07 2014-03-26 汉王科技股份有限公司 一种人脸活体检测方法及系统
CN104834901A (zh) * 2015-04-17 2015-08-12 北京海鑫科金高科技股份有限公司 一种基于双目立体视觉的人脸检测方法、装置及系统
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
CN105205458A (zh) * 2015-09-16 2015-12-30 北京邮电大学 人脸活体检测方法、装置及系统
CN105224924A (zh) * 2015-09-29 2016-01-06 小米科技有限责任公司 活体人脸识别方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299741A1 (en) * 2010-06-08 2011-12-08 Microsoft Corporation Distinguishing Live Faces from Flat Surfaces
CN103679118A (zh) * 2012-09-07 2014-03-26 汉王科技股份有限公司 一种人脸活体检测方法及系统
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
CN104834901A (zh) * 2015-04-17 2015-08-12 北京海鑫科金高科技股份有限公司 一种基于双目立体视觉的人脸检测方法、装置及系统
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
CN105205458A (zh) * 2015-09-16 2015-12-30 北京邮电大学 人脸活体检测方法、装置及系统
CN105224924A (zh) * 2015-09-29 2016-01-06 小米科技有限责任公司 活体人脸识别方法和装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIANWEI YANG等: "Face liveness detection with component dependent descriptor", 《2013 INTERNATIONAL CONFERENCE ON BIOMETRICS (ICB)》 *
JUKKA MAATTA等: "Face spoofing detection from single images using micro-texture analysis", 《2011 INTERNATIONAL JOINT CONFERENCE ON BIOMETRICS (IJCB)》 *
OYA CELIKTUTAN等: "A comparative study of face landmarking techniques", 《EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING 2013》 *
唐坤: "面部特征点定位算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
朱冰莲等: "融合整体和局部信息的三维人脸识别", 《光电子激光》 *
杜春华: "人脸特征点定位及识别的研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599826A (zh) * 2016-12-09 2017-04-26 杭州宇泛智能科技有限公司 基于近红外光人脸3d重建的方法
CN108664880A (zh) * 2017-03-27 2018-10-16 三星电子株式会社 活性测试方法和设备
CN108664880B (zh) * 2017-03-27 2023-09-05 三星电子株式会社 活性测试方法和设备
US11721131B2 (en) 2017-03-27 2023-08-08 Samsung Electronics Co., Ltd. Liveness test method and apparatus
CN107368778A (zh) * 2017-06-02 2017-11-21 深圳奥比中光科技有限公司 人脸表情的捕捉方法、装置及存储装置
US10671870B2 (en) 2017-06-07 2020-06-02 Alibaba Group Holding Limited Determining user authenticity with face liveness detection
CN107358157A (zh) * 2017-06-07 2017-11-17 阿里巴巴集团控股有限公司 一种人脸活体检测方法、装置以及电子设备
US10747987B2 (en) 2017-07-20 2020-08-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device and method for recognizing real face and storage medium
US10902241B2 (en) 2017-07-20 2021-01-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device and method for recognizing real face and storage medium
CN107590463A (zh) * 2017-09-12 2018-01-16 广东欧珀移动通信有限公司 人脸识别方法及相关产品
US10769464B2 (en) 2017-09-12 2020-09-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Facial recognition method and related product
CN107993302A (zh) * 2017-12-18 2018-05-04 信利光电股份有限公司 一种人脸签到方法、装置、设备及计算机可读存储介质
CN109389032B (zh) * 2018-08-27 2020-06-12 北京三快在线科技有限公司 图片真实性的确定方法、装置、电子设备及可读存储介质
CN109389032A (zh) * 2018-08-27 2019-02-26 北京三快在线科技有限公司 图片真实性的确定方法、装置、电子设备及可读存储介质
CN109784302B (zh) * 2019-01-28 2023-08-15 深圳信合元科技有限公司 一种人脸活体检测方法及人脸识别设备
CN109784302A (zh) * 2019-01-28 2019-05-21 深圳风豹互联网科技有限公司 一种人脸活体检测方法及人脸识别设备
CN110688950B (zh) * 2019-09-26 2022-02-11 杭州艾芯智能科技有限公司 基于深度信息的人脸活体检测方法、装置
CN110688950A (zh) * 2019-09-26 2020-01-14 杭州艾芯智能科技有限公司 基于深度信息的人脸活体检测方法、装置
CN111209870A (zh) * 2020-01-09 2020-05-29 杭州涂鸦信息技术有限公司 一种双目活体摄像头快速配准方法及其系统和装置
CN112506204A (zh) * 2020-12-17 2021-03-16 深圳市普渡科技有限公司 机器人遇障处理方法、装置、设备和计算机可读存储介质
CN114743253A (zh) * 2022-06-13 2022-07-12 四川迪晟新达类脑智能技术有限公司 一种基于相邻人脸关键点距离特征的活体检测方法及系统
CN114743253B (zh) * 2022-06-13 2022-08-09 四川迪晟新达类脑智能技术有限公司 一种基于相邻人脸关键点距离特征的活体检测方法及系统

Also Published As

Publication number Publication date
CN105740779B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN105740779A (zh) 人脸活体检测的方法和装置
CN105574518B (zh) 人脸活体检测的方法和装置
CN105740780A (zh) 人脸活体检测的方法和装置
CN104143079B (zh) 人脸属性识别的方法和系统
CN103593598B (zh) 基于活体检测和人脸识别的用户在线认证方法及系统
CN105740781A (zh) 一种三维人脸活体检测的方法和装置
CN102657532B (zh) 基于人体姿态识别的身高测量方法及装置
CN106780591B (zh) 一种基于颅面稠密对应点云的颅面形态分析及面貌复原方法
CN107590452A (zh) 一种基于步态与人脸融合的身份识别方法及装置
CN102270308B (zh) 一种基于五官相关aam模型的面部特征定位方法
CN107633165A (zh) 3d人脸身份认证方法与装置
CN106570491A (zh) 一种机器人智能互动的方法及智能机器人
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN104850825A (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN108182409A (zh) 活体检测方法、装置、设备及存储介质
CN100410962C (zh) 一种人脸侧面轮廓和人耳特征相结合的身份识别装置
CN103718175A (zh) 检测对象姿势的设备、方法和介质
CN105335719A (zh) 活体检测方法及装置
CN105913013A (zh) 双目视觉人脸识别算法
CN106203284B (zh) 基于卷积神经网络和条件随机场的人脸检测方法
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
CN112200154A (zh) 一种戴口罩人脸识别方法、装置、电子设备及存储介质
CN107480586A (zh) 基于人脸特征点位移的生物识别照片仿冒攻击检测方法
CN107992783A (zh) 人脸图像处理方法及装置
WO2021248815A1 (zh) 一种高精度的儿童坐姿检测与矫正方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100085 Beijing, Haidian District, No. ten on the ground floor, No. 1, building 8, floor 802, 1

Applicant after: Beijing Eyes Intelligent Technology Co.,Ltd.

Address before: 100085 Beijing, Haidian District, No. ten on the ground floor, No. 1, building 8, floor 802, 1

Applicant before: Beijing Tiancheng Shengye Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant