CN108537103B - 基于瞳孔轴测量的活体人脸检测方法及其设备 - Google Patents
基于瞳孔轴测量的活体人脸检测方法及其设备 Download PDFInfo
- Publication number
- CN108537103B CN108537103B CN201810086130.XA CN201810086130A CN108537103B CN 108537103 B CN108537103 B CN 108537103B CN 201810086130 A CN201810086130 A CN 201810086130A CN 108537103 B CN108537103 B CN 108537103B
- Authority
- CN
- China
- Prior art keywords
- display screen
- user
- pupil
- intersection points
- living body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 107
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000005259 measurement Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000003993 interaction Effects 0.000 claims abstract description 4
- 210000001508 eye Anatomy 0.000 claims description 109
- 210000004087 cornea Anatomy 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000001179 pupillary effect Effects 0.000 description 4
- 230000004418 eye rotation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种检测活体人脸的方法,包括:提示用户观看活体人脸检测设备的显示屏中播放的动态画面,或操作显示屏中的应用程序人机交互界面;重复N次测量用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的坐标并判断这两个交点的位置及其位置关系是否正常;在重复测量过程中,如果有M次判断结果认为用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点位置及其位置关系是正常的,则认为被检测人脸为活体人脸,否则认为被检测人脸为非活体人脸。此外,本发明还公开了一种检测活体人脸的设备。
Description
技术领域
本发明涉及人脸识别领域,尤其涉及活体人脸检测技术。
背景技术
随着电子支付的逐渐普及,人脸识别技术的应用场合也逐渐扩大。在使用人脸识别技术验证用户身份时,能否及时、有效地检测活体人脸(即检测伪人脸的欺骗行为)是一个关键的问题。常见的伪人脸欺骗行为有三种类型:(1)把用户的照片放在人脸识别设备前;(2)使用手机或平板电脑等设备,在人脸识别设备前播放用户的视频;(3)穿戴能够模仿用户的三维面具。
由于活体人脸检测技术在人脸识别中起着非常重要的作用,众多企业、高校和科研院所的人员在从事相关的研究工作,并发明了多种检测方法。其中,利用视线跟踪技术检测活体人脸,是众多已发明的活体人脸检测方法中的一种,比如:
(1)中国专利申请CN201510629903.0公开了一种活体人脸识别方法,该方法根据注视点或注视点的运动轨迹是否按照提示运动,判断被检测的人脸是否为活体人脸。比如,预先向用户提示眼睛需注视位于外界的目标基准物体,通过测量用户的注视点坐标,判断用户是否按照提示注视指定的目标基准物体。或者,通过显示屏向用户显示运动轨迹随机变化的目标基准物体,然后根据用户注视点的测量结果,判断注视点的运动轨迹与基准物体的运动轨迹是否一致。该方法的缺点在于:(a)需提示用户注视静止或移动的目标基准物体,然后根据视线测量的结果,判断用户是否按要求注视目标基准物,进而确定被检测的人脸是否为活体人脸;(b)在检测过程中,用户需要保持头部不动;(c)每次检测活体人脸的时候,都要重新标定视线测量模型。
(2)中国专利申请CN201510387133.3公开了一种基于人脸识别的活体检测方法,该方法包括以下几个步骤:提取训练视线特征;提取待测视线特征;估计初步视点位置;估计增量的视点位置;利用KL散度方法计算增量的视点位置估计值所表征的视点位置与对应的系统随机点之间的距离,根据距离的数值判断被检测人脸是否为活体人脸。该方法的缺点在于:(a)用户需要注视指定的目标基准物体;(b)每次检测活体人脸的时候,都要重新训练模型。
(3)中国专利申请CN201510756011.7公开了一种活体验证方法,该方法首先生成按预设轨迹运动的视觉中心点,由活体人脸检测设备拍摄的人脸图像,估计用户的视线向量。比较视线向量的投影轨迹与视觉中心点的预设轨迹,根据二者的相似度,判断判断被检测人脸是否为活体人脸。该方法的缺点在于:(a)用户需要注视移动的目标基准物体;(b)训练模型的过程较繁琐。
发明内容
本发明的目的是提供一种能够克服上述技术问题的人脸检测系统及其方法。
实现本发明目的之一采用的技术方案是:一种活体人脸检测方法,包括:
提示用户观看活体人脸检测设备的显示屏中播放的动态画面,或提示用户操作显示屏中的应用程序人机交互界面;
重复N次测量用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的坐标并判断所述两个交点的位置及其位置关系是否正常,N为大于等于1的整数;
在所述N次测量过程中,如果有M次判断结果认为用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的位置及其位置关系是正常的,则认为被检测的人脸为活体人脸,否则认为被检测的人脸为非活体人脸,M为大于0且小于等于N的整数。
优选地,所述测量用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的坐标并判断所述两个交点的位置及其位置关系是否正常,具体包括:
分别测量所述用户的左、右眼瞳孔轴的直线方程;
分别确定所述用户的左、右眼瞳孔轴与所述显示屏表面的延伸平面的交点坐标;
判断所述用户的左、右眼瞳孔轴与所述显示屏表面的延伸平面的交点的位置及其位置关系是否正常。
优选地,所述测量瞳孔轴的直线方程,具体包括:
用n个点光源Pi照射用户的面部,在人眼角膜上生成n个普尔钦亮斑Gi,其中i=1,2,...,n,n为大于等于2的整数,所述普尔钦亮斑Gi是由所述点光源Pi生成的;
用立体视觉系统分别测量所述点光源Pi、所述普尔钦亮斑Gi和瞳孔中心的三维世界坐标,其中i=1,2,...,n;
为同时经过所述点光源Pi和所述普尔钦亮斑Gi的直线Li建立方程,其中i=1,2,...,n;
由所述直线Li(i=1,2,...,n)的方程,建立一个超定线性方程组,求解该线性方程组并把方程组的解看作人眼角膜延伸球面的球心的三维世界坐标;
由所述人眼角膜延伸球面的球心和瞳孔中心的三维世界坐标,建立瞳孔轴的直线方程。
优选地,所述确定瞳孔轴与显示屏表面的延伸平面的交点坐标,具体包括:
在显示屏表面或旁边安装3个以上的非共线点光源;
使用立体视觉系统测量出所述点光源的三维世界坐标;
根据所述点光源与所述显示屏之间的位置关系,确定所述显示屏表面的延伸平面的平面方程;
由所述瞳孔轴的直线方程和所述显示屏表面的延伸平面的平面方程,确定它们的交点的三维世界坐标。
优选地,所述判断用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的位置及其位置关系是否正常,具体包括:
步骤701,估计所述用户的左、右眼瞳孔轴与所述显示屏表面的延伸平面的两个交点的分布范围,以及所述两个交点之间的距离的数值范围;
步骤702,由实际测量的所述用户的左、右眼瞳孔轴与所述显示屏表面的延伸平面的两个交点的坐标,判断所述两个交点的位置是否位于所述估计的交点分布范围内,如果所述两个交点的位置不在所述估计的交点分布范围内,执行步骤704,否则执行步骤703;
步骤703,由实际测量的所述用户的左、右眼瞳孔轴与所述显示屏表面的延伸平面的两个交点的坐标,计算所述两个交点之间的距离,并判断其数值是否在所述估计的交点距离数值范围内,如果实际测量的所述两个交点之间的距离不在所述估计的交点距离的数值范围内,执行步骤704,否则执行步骤705;
步骤704,认为所述用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的位置或位置关系是不正常的,并执行步骤706;
步骤705,认为所述用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的位置及位置关系是正常的;
步骤706,结束。
实现本发明目的之二采用的技术方案是:一种活体人脸检测设备,包括:显示屏、多目相机、光源和数据处理单元,所述多目相机由2个以上的相机组合而成,所述光源由2个以上的点光源组合而成。
优选地,所述显示屏、多目相机和光源固连在一起,所述多目相机和光源布置在所述显示屏下方。
优选地,所述数据处理单元包括:
图像采集模块,用于采集相机拍摄的图像;
图像处理模块,用于预处理图像、检测人脸、检测人眼、检测瞳孔、检测普尔钦亮斑;
立体视觉测量模块,用于测量瞳孔、普尔钦亮斑和点光源的三维世界坐标;
活体人脸判断模块,用于判断被检测人脸是不是活体人脸。
优选地,所述图像处理模块包括:
图像预处理模块,用于预处理图像,比如图像滤波、图像增强等;
人脸检测模块,用于从图像中检测人脸;
人眼检测模块,用于从人脸区域中检测人眼;
瞳孔检测模块,用于从人眼区域中检测瞳孔;
普尔钦亮斑检测模块,用于从人眼区域中检测普尔钦亮斑。
优选地,所述立体视觉测量模块包括:
相机标定模块,用于标定相机模型内外参数;
立体匹配模块,用于在多目相机拍摄的多个图像中找到对应点;
三维重构模块,用于重构空间点目标的三维世界坐标。
由于采用上述技术方案,本发明提供的活体人脸检测方法及其设备具有的有益效果是:(1)不需要用户注视制定的目标物;(2)不需要重复标定模型。
附图说明
图1示出的是简化的人眼模型示意图;
图2示出的是当用户注视活体人脸检测设备的显示屏时左右眼瞳孔轴和视轴之间关系的示意图;
图3示出的是本发明实施例所提供的测量用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的坐标并判断这两个交点的位置及其位置关系是否正常的方法的流程图;
图4示出的是普尔钦亮斑形成机理的示意图;
图5示出的是本发明实施例所提供的测量瞳孔轴直线方程的方法的原理示意图;
图6示出的是本发明实施例所提供的测量瞳孔轴直线方程的方法的流程图;
图7示出的是本发明实施例所提供的判断左、右眼瞳孔轴与显示屏表面的延伸平面的交点的位置及其位置关系是否正常的方法的流程图;
图8示出的是本发明实施例所提供的基于瞳孔轴测量的活体人脸检测设备的示意性框图;
图9示出的是本发明实施例所提供的多目相机和光源的布置方式示意图;
图10示出的是本发明实施例所提供的数据处理单元的示意性框图;
图11示出的是本发明实施例所提供的图像处理模块的示意性框图;
图12示出的是本发明实施例所提供的立体视觉测量模块的示意性框图。
具体实施方式
结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了简化的人眼模型示意图。其中,瞳孔轴101是一条同时经过瞳孔中心点104而且垂直于角膜103表面的直线,视轴102是一条同时经过视网膜黄斑106和眼球节点105的直线,眼球节点105是眼球108的旋转中心,瞳孔轴101和视轴102之间的夹角的平均值约为4°,参见文献:Optics of the eye and its impact in vision:atutorial.Advances in Optics and Photonics,2014,6(3):340-367。当一个人注视任意目标物体时,视轴102都会经过注视点107。
图2示出了当用户注视活体人脸检测设备(如手机、平板电脑或ATM自动取款机)的显示屏时,左右眼瞳孔轴和视轴之间关系的示意图。由图2可知,当用户注视活体人脸检测设备的显示屏801时,左眼201的视轴203和右眼202的视轴204在显示屏801的表面相交于一点,这一点就是用户在显示屏801的表面上的注视点209。左眼瞳孔轴205和显示屏表面的延伸平面211(由显示屏表面延伸而成的平面)的交点207,以及右眼瞳孔轴206和显示屏表面的延伸平面211的交点208的位置与多种因素有关:(1)用户头部姿态;(2)用户的眼睛与显示屏之间的相对位置;(3)注视点209在显示屏中的位置。如前所述,人眼瞳孔轴与视轴之间的夹角的平均值约为4°,因此由图1和图2可知,若已知用户的眼睛与显示屏之间的空间位置关系,可估计出在整个显示屏范围内,用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的分布范围,以及两个交点间的距离的数值范围。
假设,给定用户在显示屏表面上的一个注视点,通过以下步骤可估计出用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的分布范围,以及两个交点之间距离的数值范围:
以用户的左眼节点(左眼转动中心)为顶点、左眼视轴为轴,创建一个母线与轴之间的夹角为4°、高度无限大的圆锥体,用显示屏表面的延伸平面去截该圆锥体,得到的截面就是用户的左眼瞳孔轴与显示屏表面的延伸平面的交点的分布范围;
以用户的右眼节点(右眼转动中心)为顶点、右眼视轴为轴,创建一个母线与轴之间的夹角为4°、高度无限大的圆锥体,用显示屏表面的延伸平面去截该圆锥体,得到的截面就是用户的右眼瞳孔轴与显示屏表面的延伸平面的交点的分布范围;
根据用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的分布范围,确定这两个交点之间距离的数值范围。
为了估计在整个显示屏范围内,用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的分布范围,以及两个交点间的距离的数值范围,可采用以下步骤:
按照一定的间隔,把显示屏划分为网格;
使用上述方法估计用户注视每个网格节点时,左、右眼瞳孔轴与显示屏表面的延伸平面的交点的分布范围,以及两个交点间的距离的数值范围;
由上述估计结果,近似估计在整个显示屏范围内,用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的分布范围,以及两个交点间的距离的数值范围。
基于以上分析,本发明实施例提供了一种基于瞳孔轴测量的活体人脸检测方法,包括以下步骤:
提示用户观看活体人脸检测设备的显示屏中播放的动态画面,或提示用户操作显示屏中的应用程序人机交互界面;
重复N次测量用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的坐标并判断这两个交点的位置及其位置关系是否正常,N为大于等于1的整数;
在N次测量过程中,如果用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点位置保持不变,或者变化量小于指定的阈值,则认为被检测的人脸为非活体人脸;
在N次测量过程中,如果有M次判断结果认为用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的位置及其位置关系是正常的,则认为被检测人脸为活体人脸,否则认为被检测人脸为非活体人脸,M为大于0且小于等于N的整数。
图3示出了测量用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的坐标并判断这两个交点的位置及其位置关系是否正常的方法的流程图,该方法包括:
步骤301,分别测量用户的左、右眼瞳孔轴的直线方程;
本发明实施例提供了一种测量瞳孔轴直线方程的方法。如图4所示,点光源401发出的光照射到人眼角膜103上会发生反射。此时,人眼角膜相当于一个凸面镜,因而在人眼角膜的另一侧会形成一个虚像,此虚像就是普尔钦亮斑402,普尔钦亮斑402也被称为角膜反射光斑。
图5示出了瞳孔轴直线方程测量方法的原理示意图。点光源501a发出的光照射到人眼角膜103上,生成一个普尔钦亮斑501b。同样,点光源502a发出的光照射到人眼角膜103上,也生成一个普尔钦亮斑502b。由普尔钦亮斑的生成机理可知,同时经过点光源501a和普尔钦亮斑501b的直线501c与同时经过点光源502a和普尔钦亮斑502b的直线502c,相交于人眼角膜103延伸球面(由人眼角膜103延伸而成的球面)的球心503。由瞳孔轴的定义可知,同时经过人眼角膜延伸球面的球心503和人眼瞳孔中心104的直线就是瞳孔轴101。因此,只要能够测量出人眼角膜延伸球面的球心503和人眼瞳孔中心104的坐标,就可以测量出瞳孔轴的方程。
在具体实现的时候,可以使用立体视觉系统分别测量点光源501a、点光源502a、普尔钦亮斑501b、普尔钦亮斑502b和瞳孔中心104的三维世界坐标。为了便于实现,可把点光源和立体视觉系统固连在一起(即点光源和立体视觉系统的相对位置固定不变),这样就可以不需要重复测量点光源的三维世界坐标,只需测量一次即可。如果点光源位于立体视觉系统的视场中,用立体视觉系统测量其三维世界坐标是很容易的。相反,如果点光源不在立体视觉系统的视场中,则可借助于平面镜反射的原理测量它们的三维世界坐标,参见文献:A Novel Approach to 3-D Gaze Tracking Using Stereo Cameras.IEEE TRANSACTIONSON SYSTEMS,MAN,AND CYBERNETICS-PART B:CYBERNETICS,2004,34(1):234-245。
假设:点光源501a的三维世界坐标为(x1a,y1a,z1a),普尔钦亮斑501b的三维世界坐标为(x1b,y1b,z1b),则同时经过点光源501a和普尔钦亮斑501b的直线501c的方程为:
同样,假设:点光源502a的三维世界坐标为(x2a,y2a,z2a),普尔钦亮斑502b的三维世界坐标为(x2b,y2b,z2b),则同时经过点光源502a和普尔钦亮斑502b的直线502c的方程为:
由式(1)和式(2),可构建如下超定线性方程组:
利用最小二乘法求解式(3),得到的解可近似看作是人眼角膜延伸球面的球心503的三维世界坐标。在具体实现的时候,可以用3个以上的点光源照射用户的面部,进而生成3个以上的普尔钦亮斑。用上述方法构建的线性方程组包含的方程数量多,使求得的人眼角膜延伸球面的球心的三维世界坐标更准确。
图6示出了测量瞳孔轴直线方程的方法的流程图,包括以下步骤:
步骤601,用n个点光源Pi照射用户的面部,在人眼角膜上生成n个普尔钦亮斑Gi,其中i=1,2,...,n,n为大于等于2的整数,普尔钦亮斑Gi是由点光源Pi生成的;
步骤602,用立体视觉系统分别测量点光源Pi、普尔钦亮斑Gi和瞳孔中心的三维世界坐标,其中i=1,2,...,n;
步骤603,为同时经过点光源Pi和普尔钦亮斑Gi的直线Li建立方程,其中i=1,2,...,n;
步骤604,由直线Li(i=1,2,...,n)的方程,建立一个超定线性方程组,求解该线性方程组并把方程组的解看作人眼角膜延伸球面的球心的三维世界坐标;
步骤605,由人眼角膜延伸球面的球心和瞳孔中心的三维世界坐标,建立瞳孔轴的直线方程。
步骤302,分别确定用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点坐标;
在具体实现的时候,为了确定显示屏表面在世界坐标系中的位置,以及显示屏表面的延伸平面在世界坐标系中的平面方程,可在显示屏表面或旁边安装3个以上的非共线点光源。使用立体视觉系统测量出点光源的世界坐标,然后根据点光源与显示屏之间的位置关系,就可以很容易地确定显示屏表面在世界坐标系中的位置,以及其延伸平面在世界坐标系中的平面方程。在此基础上,由左、右眼瞳孔轴的直线方程和显示屏表面的延伸平面的平面方程,就可确定它们的交点在世界坐标系中的坐标。
步骤303,判断用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的位置及其位置关系是否正常;
图7示出了判断左、右眼瞳孔轴与显示屏表面的延伸平面的交点的位置及其位置关系是否正常的方法的流程图,包括以下步骤:
步骤701,估计用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的分布范围,以及两个交点之间的距离的数值范围;
如前所述,若已知用户的眼睛与显示屏之间的空间位置关系,可估分别计出左、右眼瞳孔轴和显示屏表面的延伸平面的交点的分布范围。在具体实现的时候,为了便于实现,可把瞳孔的三维世界坐标近似当作眼球节点的三维世界坐标。
步骤702,由实际测量的用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的坐标,判断这两个交点的位置是否位于估计的交点分布范围内,如果实际测量的用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的坐标不在估计的交点分布范围内,执行步骤704,否则执行步骤703;
步骤703,由实际测量的用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的坐标,计算这两个交点之间的距离,并判断其数值是否在估计的交点距离数值范围内,如果实际测量的用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的距离不在估计的交点距离范围内,执行步骤704,否则执行步骤705;
步骤704,认为用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的位置或位置关系是不正常的,并执行步骤706;
步骤705,认为用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的位置及位置关系是正常的,并执行步骤706;
步骤706,结束。
对应于上文实施例所述的活体人脸检测方法,图8示出了本发明实施例提供的基于瞳孔轴测量的活体人脸检测装置的示意性框图。该活体人脸检测装置包括:
显示屏801,用于显示提示信息,播放视频,或者显示应用程序的人机界面;
多目相机802,用拍摄用户的面部图像;
光源803,用于提供照明;
数据处理单元804,用于采集图像,检测人脸、人眼、瞳孔和普尔钦亮斑,测量瞳孔和普尔钦亮斑的三维世界坐标,确定瞳孔轴的直线方程,判断多目相机拍摄的人脸是不是活体人脸。
进一步地,多目相机802由2个以上的相机组合而成,光源803由2个以上的点光源组合而成。为了便于实现,可将光源803、多目相机802和显示屏801固连在一起。在这种情况下,相机模型的内外参数只需标定一次,点光源的三维世界坐标也只需测量一次。如前所述,要想测量瞳孔轴的直线方程,需要使用立体视觉系统分别测量瞳孔和普尔钦亮斑的三维世界坐标,因此需要合理布置多目相机802和光源803,使瞳孔和普尔钦亮斑不受遮挡,即多目相机中的相机都能够拍摄到它们的图像。图9示出了本发明实施例所提供的多目相机和光源的布置方式示意图,其中多目相机802中的相机802a和相机802b,以及光源803中的点光源803a、803b和803c都布置在显示屏801的底部。如果按照这种方式布置多目相机和光源,当用户注视显示屏时,多目相机中的相机就可以很好地拍摄到瞳孔和普尔钦亮斑的图像。此外,一旦光源与显示屏相固连,而且光源803是由3个以上的非共线点光源组合而成的,就可借助于光源中的点光源测量显示屏表面的延伸平面的平面方程,这样可以大大简化装置的结构。
图10示出了本发明实施例所提供的数据处理单元804的示意性框图。数据处理单元804包括:
图像采集模块1001,用于采集相机拍摄的图像;
图像处理模块1002,用于预处理图像、检测人脸、检测人眼、检测瞳孔、检测普尔钦亮斑;
立体视觉测量模块1003,用于测量瞳孔、普尔钦亮斑和点光源的三维世界坐标;
活体人脸判断模块1004,用于利用本发明实施例提供的活体人脸检测方法,判断被检测的人脸是不是活体人脸。
图11示出了本发明实施例所提供的图像处理模块1002的示意性框图。图像处理模块1002包括:
图像预处理模块1101,用于预处理图像,比如图像滤波、图像增强等;
人脸检测模块1102,用于从图像中检测人脸;
人眼检测模块1103,用于从人脸区域中检测人眼;
瞳孔检测模块1104,用于从人眼区域中检测瞳孔;
普尔钦亮斑检测模块1105,用于从人眼区域中检测普尔钦亮斑。
图12示出了本发明实施例所提供的立体视觉测量模块1003的示意性框图。立体视觉测量模块1003包括:
相机标定模块1201,用于标定相机模型内外参数;
立体匹配模块1202,用于在多目相机拍摄的多个图像中找到对应点;
三维重构模块1203,用于重构空间点目标的三维世界坐标。
Claims (9)
1.一种活体人脸检测方法,其特征在于,包括:
提示用户观看活体人脸检测设备的显示屏中播放的动态画面,或提示用户操作显示屏中的应用程序人机交互界面;
重复N次测量用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的坐标并判断所述两个交点的位置及其位置关系是否正常,N为大于等于1的整数;
在所述N次测量过程中,如果有M次判断结果认为用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的位置及其位置关系是正常的,则认为被检测的人脸为活体人脸,否则认为被检测的人脸为非活体人脸,M为大于0且小于等于N的整数,
所述判断用户的左、右眼瞳孔轴与显示屏表面的延伸平面的交点的位置及其位置关系是否正常,具体包括:
步骤701,估计所述用户的左、右眼瞳孔轴与所述显示屏表面的延伸平面的两个交点的分布范围,以及所述两个交点之间的距离的数值范围;
步骤702,由实际测量的所述用户的左、右眼瞳孔轴与所述显示屏表面的延伸平面的两个交点的坐标,判断所述两个交点的位置是否位于所述估计的交点分布范围内,如果所述两个交点的位置不在所述估计的交点分布范围内,执行步骤704,否则执行步骤703;
步骤703,由实际测量的所述用户的左、右眼瞳孔轴与所述显示屏表面的延伸平面的两个交点的坐标,计算所述两个交点之间的距离,并判断其数值是否在所述估计的交点距离数值范围内,如果实际测量的所述两个交点之间的距离不在所述估计的交点距离的数值范围内,执行步骤704,否则执行步骤705;
步骤704,认为所述用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的位置或位置关系是不正常的,并执行步骤706;
步骤705,认为所述用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的位置及位置关系是正常的;
步骤706,结束。
2.根据权利要求1所述的活体人脸检测方法,其特征在于,所述测量用户的左、右眼瞳孔轴与显示屏表面的延伸平面的两个交点的坐标,具体包括:
分别测量所述用户的左、右眼瞳孔轴的直线方程;
分别确定所述用户的左、右眼瞳孔轴与所述显示屏表面的延伸平面的交点坐标。
3.根据权利要求2所述的活体人脸检测方法,其特征在于,所述测量瞳孔轴的直线方程,具体包括:
用n个点光源Pi照射用户的面部,在人眼角膜上生成n个普尔钦亮斑Gi,其中i=1,2,...,n,n为大于等于2的整数,所述普尔钦亮斑Gi是由所述点光源Pi生成的;
用立体视觉系统分别测量所述点光源Pi、所述普尔钦亮斑Gi和瞳孔中心的三维世界坐标,其中i=1,2,...,n;
为同时经过所述点光源Pi和所述普尔钦亮斑Gi的直线Li建立方程,其中i=1,2,...,n;
由所述直线Li(i=1,2,...,n)的方程,建立一个超定线性方程组,求解该线性方程组并把方程组的解看作人眼角膜延伸球面的球心的三维世界坐标;
由所述人眼角膜延伸球面的球心和瞳孔中心的三维世界坐标,建立瞳孔轴的直线方程。
4.根据权利要求2所述的活体人脸检测方法,其特征在于,所述确定瞳孔轴与显示屏表面的延伸平面的交点坐标,具体包括:
在显示屏表面或旁边安装3个以上的非共线点光源;
使用立体视觉系统测量出所述点光源的三维世界坐标;
根据所述点光源与所述显示屏之间的位置关系,确定所述显示屏表面的延伸平面的平面方程;
由所述瞳孔轴的直线方程和所述显示屏表面的延伸平面的平面方程,确定它们的交点的三维世界坐标。
5.一种利用权利要求1所述活体人脸检测方法的活体人脸检测设备,包括:显示屏、多目相机、光源和数据处理单元,其特征在于,所述多目相机由2个以上的相机组合而成,所述光源由2个以上的点光源组合而成。
6.根据权利要求5所述的活体人脸检测设备,其特征在于,所述显示屏、多目相机和光源固连在一起,所述多目相机和光源布置在所述显示屏下方。
7.根据权利要求5所述的活体人脸检测设备,其特征在于,所述数据处理单元包括:
图像采集模块,用于采集相机拍摄的图像;
图像处理模块,用于预处理图像、检测人脸、检测人眼、检测瞳孔、检测普尔钦亮斑;
立体视觉测量模块,用于测量瞳孔、普尔钦亮斑和点光源的三维世界坐标;
活体人脸判断模块,用于判断被检测人脸是不是活体人脸。
8.根据权利要求7所述的活体人脸检测设备,其特征在于,所述图像处理模块包括:
图像预处理模块,用于预处理图像;
人脸检测模块,用于从图像中检测人脸;
人眼检测模块,用于从人脸区域中检测人眼;
瞳孔检测模块,用于从人眼区域中检测瞳孔;
普尔钦亮斑检测模块,用于从人眼区域中检测普尔钦亮斑。
9.根据权利要求7所述的活体人脸检测设备,其特征在于,所述立体视觉测量模块包括:
相机标定模块,用于标定相机模型内外参数;
立体匹配模块,用于在多目相机拍摄的多个图像中找到对应点;
三维重构模块,用于重构空间点目标的三维世界坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810086130.XA CN108537103B (zh) | 2018-01-19 | 2018-01-19 | 基于瞳孔轴测量的活体人脸检测方法及其设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810086130.XA CN108537103B (zh) | 2018-01-19 | 2018-01-19 | 基于瞳孔轴测量的活体人脸检测方法及其设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108537103A CN108537103A (zh) | 2018-09-14 |
CN108537103B true CN108537103B (zh) | 2022-06-10 |
Family
ID=63486144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810086130.XA Active CN108537103B (zh) | 2018-01-19 | 2018-01-19 | 基于瞳孔轴测量的活体人脸检测方法及其设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108537103B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111427448B (zh) * | 2020-03-05 | 2023-07-28 | 融信信息科技有限公司 | 一种人像标注方法、装置及计算机可读存储介质 |
CN111967293A (zh) * | 2020-06-22 | 2020-11-20 | 云知声智能科技股份有限公司 | 结合声纹识别和注意力检测的人脸认证方法及系统 |
CN112232255B (zh) * | 2020-10-26 | 2022-11-01 | 北京鹰瞳科技发展股份有限公司 | 基于多模态数据的身份认证方法及设备 |
CN112633217A (zh) * | 2020-12-30 | 2021-04-09 | 苏州金瑞阳信息科技有限责任公司 | 基于三维眼球模型计算视线方向的人脸识别活体检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101159016A (zh) * | 2007-11-26 | 2008-04-09 | 清华大学 | 一种基于人脸生理性运动的活体检测方法及系统 |
CN103356163A (zh) * | 2013-07-08 | 2013-10-23 | 东北电力大学 | 基于视频图像和人工神经网络的凝视点测量装置及其方法 |
CN105184277A (zh) * | 2015-09-29 | 2015-12-23 | 杨晴虹 | 活体人脸识别方法以及装置 |
CN107346422A (zh) * | 2017-06-30 | 2017-11-14 | 成都大学 | 一种基于眨眼检测的活体人脸识别方法 |
-
2018
- 2018-01-19 CN CN201810086130.XA patent/CN108537103B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101159016A (zh) * | 2007-11-26 | 2008-04-09 | 清华大学 | 一种基于人脸生理性运动的活体检测方法及系统 |
CN103356163A (zh) * | 2013-07-08 | 2013-10-23 | 东北电力大学 | 基于视频图像和人工神经网络的凝视点测量装置及其方法 |
CN105184277A (zh) * | 2015-09-29 | 2015-12-23 | 杨晴虹 | 活体人脸识别方法以及装置 |
CN107346422A (zh) * | 2017-06-30 | 2017-11-14 | 成都大学 | 一种基于眨眼检测的活体人脸识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108537103A (zh) | 2018-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10268290B2 (en) | Eye tracking using structured light | |
US10878237B2 (en) | Systems and methods for performing eye gaze tracking | |
US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
US8457352B2 (en) | Methods and apparatus for estimating point-of-gaze in three dimensions | |
Shih et al. | A novel approach to 3-D gaze tracking using stereo cameras | |
JP6808320B2 (ja) | 三次元物体上の注視点を決定するシステム | |
Noureddin et al. | A non-contact device for tracking gaze in a human computer interface | |
Hennessey et al. | Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions | |
CN108537103B (zh) | 基于瞳孔轴测量的活体人脸检测方法及其设备 | |
Lai et al. | Hybrid method for 3-D gaze tracking using glint and contour features | |
EP4383193A1 (en) | Line-of-sight direction tracking method and apparatus | |
CN109086726A (zh) | 一种基于ar智能眼镜的局部图像识别方法及系统 | |
WO2019028152A1 (en) | OCULAR TRACKING USING TEMPORAL MULTIPLEXING | |
US10620454B2 (en) | System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images | |
JP7168953B2 (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
WO2020157746A1 (en) | Eye tracking device and a method thereof | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
Liu et al. | Iris feature-based 3-D gaze estimation method using a one-camera-one-light-source system | |
CN113260299A (zh) | 用于眼睛追踪的系统和方法 | |
Nitschke et al. | I see what you see: point of gaze estimation from corneal images | |
CN112099622B (zh) | 一种视线追踪方法及装置 | |
US12023128B2 (en) | System and method for eye tracking | |
Du et al. | Location Estimation from an Indoor Selfie | |
García-Dopico et al. | Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups. | |
Meriläinen | Adapting a gaze tracking system to mobile environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |