CN108399365A - 利用瞳孔直径检测活体人脸的方法及其设备 - Google Patents

Abstract

本发明公开了一种检测活体人脸的方法。该方法包括：重复N次测量用户的瞳孔直径并判断其数值是否合理，N为大于等于1的整数；在重复测量过程中，如果有M次判断结果认为用户的瞳孔直径的测量值是合理的，则认为被检测的人脸是活体人脸，否则认为被检测的人脸是非活体人脸，M为大于0且小于等于N的整数。与上述方法相对应，本发明还公开了一种检测活体人脸的设备，该设备包括：壳体，显示屏、多目相机、光源、数据处理模块、光照度传感器和目标物模块。

Description

利用瞳孔直径检测活体人脸的方法及其设备

技术领域

本发明涉及人脸识别领域，尤其涉及活体人脸检测技术。

背景技术

随着电子支付的逐渐普及，人脸识别技术的应用场合也逐渐扩大。在使用人脸识别技术验证用户身份时，能否及时、有效地检测活体人脸(即检测伪人脸的欺骗行为)是一个关键的问题。常见的伪人脸欺骗行为有三种类型：(1)把用户的照片放在人脸识别设备前；(2)使用手机或平板电脑等设备，在人脸识别设备前播放用户的视频；(3)穿戴能够模仿用户的三维面具。

由于活体人脸检测技术在人脸识别中起着非常重要的作用，众多企业、高校和科研院所的人员在从事相关的研究工作，并发明了多种检测方法。其中，利用人脸器官的运动和生理特点实现活体人脸的检测，是常用的手段之一。比如，提示用户眨眼或读指定的文字，同时用人脸识别设备拍摄用户的脸部图像。然后，利用图像识别方法判断用户是否按照指令执行动作，进而判断人脸识别设备拍摄的人脸是否为活体人脸。在特定条件下，人眼瞳孔可表现出特殊的现象，因此利用这些现象可实现活体人脸的检测。例如：

(1)中国专利申请CN201510634693.4公开了一种活体人脸识别方法，该方法首先获得当前屏幕的亮度信息，以及用户对当前屏幕亮度的瞳孔收缩状态信息，然后确定二者之间的相关系数，最后再根据预先设定的相关系数阈值，判断被检测的人脸是不是活体人脸。该方法的主要缺点在于：只考虑了当前屏幕亮度对瞳孔收缩状态的影响，没有考虑环境光对瞳孔收缩状态的影响。

(2)中国专利申请CN201310020582.5公开了一种活体人脸识别方法，该方法根据能否产生亮瞳孔效应判断被检测的人脸是不是活体人脸。这种方法有两个缺点：(a)亮瞳孔效应很容易受到自然光干扰，比如，如果自然光较强，亮瞳孔现象就会比较弱；(b)这种方法的可靠性较低，因为使用软件很容易模仿亮瞳孔效应。

发明内容

本发明的目的是提供一种能够克服上述技术问题的活体人脸检测方法及系统。

实现本发明目的之一采用的技术方案是：一种活体人脸检测方法，包括：

重复N次测量用户的瞳孔直径并判断其数值是否合理，N为大于等于1的整数；

在所述N次测量过程中，如果有M次判断结果认为用户的瞳孔直径的测量值是合理的，则认为被检测的人脸是活体人脸，否则认为被检测的人脸是非活体人脸，M为大于0且小于等于N的整数。

优选地，所述测量用户的瞳孔直径并判断其数值是否合理，包括：

提示用户注视指定的目标物；

测量用户的瞳孔直径；

确定用户的眼睛与目标物之间的距离；

确定作用在用户眼部的光照度；

获取用户的年龄信息；

估计用户的瞳孔直径的数值范围，并确定用户的瞳孔直径测量值是否位于估计的瞳孔直径数值范围内。

优选地，所述确定作用在用户眼部的光照度，具体包括：

用光照度传感器测量环境光的照度；

根据光源的供电功率以及用户和光源之间的位置关系，估计光源发出的光作用在用户眼部的光照度；

把环境光的照度与光源作用在用户眼部的照度的和，看作是作用在用户眼部的光照度。

优选地，所述获取用户的年龄信息，是通过以下途径之一获取的：

从用户的注册信息中获取用户的年龄信息；

利用模式识别技术，通过用户的照片，估计用户的年龄。

优选地，所述估计用户的瞳孔直径的数值范围，是使用经过训练的人工神经网络估计的，所述人工神经网络包含1个输入层、1个以上的隐含层和1个输出层，所述输入层包含3个节点：

距离节点，用于输入用户眼睛与目标物之间的距离，

光照度节点，用于输入作用在用户眼部的光照度，

年龄节点，用于输入用户的年龄，

所述输出层包含2个节点：

瞳孔直径上限节点，用于输出瞳孔直径上限的估计值，

瞳孔直径下限节点，用于输出瞳孔直径下限的估计值。

实现本发明目的之二采用的技术方案是：一种活体人脸检测设备，包括：壳体，显示屏、多目相机、光源，数据处理模块，还包括光照度传感器和目标物模块。

优选地，所述目标物模块的结构为：

目标物模块包括2个以上的标签或指示灯，所述标签或指示灯安装在活体人脸检测设备壳体上，或安装在活体人脸检测设备附近，所述标签或指示灯与活体人脸检测设备之间的相对位置固定不变，

或者，目标物模块包括：

准直光源，用于生成准直光束，所述准直光束投射在物体表面生成的指示光斑可用作目标物，

多目相机，所述多目相机由2个以上的相机组合而成，所述相机用于拍摄指示光斑的图像，进而可用立体视觉技术测量指示光斑的三维世界坐标，

或者，目标物模块包括：

准直光源，用于生成准直光束，所述准直光束投射在物体表面生成的指示光斑可用作目标物，

调制模块，用正弦波信号调制所述准直光束，

解调模块，从反射的准直光束上解调正弦波信号，

距离测量模块，根据接收的调制信号与发射的调制信号之间的相位差，计算光束的长度。

优选地，所述数据处理模块，具体包括：

数据采集模块，用于采集多目相机拍摄的图像，以及光照度传感器输出的信号；

图像处理模块，用于实现图像预处理、人脸检测、人眼检测、瞳孔检测；

瞳孔直径测量模块，用于测量瞳孔直径；

瞳孔直径数值范围估计模块，用于由用户的眼睛与目标物之间的距离、用户的年龄、作用在用户眼部的光照度，估计用户瞳孔直径的数值范围；

瞳孔直径测量值是否合理的判断模块，用于根据估计的瞳孔直径数值范围，判断用户的瞳孔直径测量值是否合理。

优选地，所述图像处理模块，具体包括：

图像预处理模块，用于预处理图像；

人脸检测模块，用于在面部图像中检测人脸区域；

人眼检测模块，用于在人脸区域中检测人眼区域；

瞳孔检测模块，用于在人眼区域中检测瞳孔。

优选地，所述多目相机、光源和显示屏安装在所述壳体的前部。进一步地，所述多目相机和光源安装在所述显示屏的底部，所述目标物模块安装在所述壳体的背面，所述光照度传感器安装在所述壳体的顶部。

由于采用上述技术方案，本发明提供的活体人脸检测方法及其设备具有的有益效果是：(1)使用方便，不需要重复训练模型；(2)可靠性高，考虑了环境光的影响。

附图说明

图1示出的是本发明实施例所提供的测量用户的瞳孔直径并判断其数值是否合理的方法流程图；

图2示出的是本发明实施例所提供的使用立体视觉系统测量人眼瞳孔三维世界坐标的方法流程图；

图3示出的是本发明实施例所提供的用于估计瞳孔直径数值范围的人工神经网络的结构示意图；

图4示出的是本发明实施例所提供的利用瞳孔直径检测活体人脸的设备的示意性框图；

图5示出的是本发明实施例所提供的目标物模块的示意性框图；

图6示出的是本发明实施例所提供的数据处理模块的示意性框图；

图7示出的是本发明实施例所提供的图像处理模块的示意性框图；

图8示出的是本发明实施例所提供的利用瞳孔直径检测活体人脸的设备的结构示意图。

具体实施方式

结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

人眼瞳孔直径的变化是由虹膜肌肉组织的伸缩运动引起的，导致人眼瞳孔直径发生变化的因素主要有：光照强度、年龄和目标物距离。参见文献：Factors AffectingLight-Adapted Pupil Size in Normal Human Subjects.Invest Ophthalmol Vis Sci，1994，35(3)：1132-1137，以及文献：Accommodation，the pupil，and presbyopia.In：Benjamin WJ，ed.Borish’s clinical refraction.Philadelphia：WB Saunders Co.，1998：77-120。由于人眼瞳孔有这样的特点，本发明实施例提供了一种利用瞳孔直径检测活体人脸的方法，包括以下步骤：

重复N次测量用户的瞳孔直径并判断其数值是否合理，N为大于等于1的整数；

在N次测量过程中，如果有M次判断结果认为用户的瞳孔直径的测量值是合理的，则认为被检测的人脸是活体人脸，否则认为被检测的人脸是非活体人脸，M为大于0且小于等于N的整数。

图1示出了测量用户的瞳孔直径并判断其数值是否合理的方法流程图，包括以下步骤：

步骤101，提示用户注视指定的目标物；

在具体实现的时候，目标物可有不同的实现方式：

(1)安装在活体人脸检测设备壳体上或安装在活体人脸检测设备附近的标签或指示灯；

(2)把准直光源发出的光束投射到物体表面后生成的指示光斑。

第一种目标物适合应用在固定不动的设备上，如ATM自动取款机。相反，第二种目标物适合在手机和平板电脑等便携设备上使用。在具体实现的时候，需要让用户依次注视多个目标物，这些目标物与用户眼睛的距离各不相同。

步骤102，测量用户的瞳孔直径；

在具体实现的时候，可使用立体视觉系统精确测量瞳孔的直径，参见文献：基于立体视觉的平面圆参数高精度测量算法.计算机应用研究，2010，27(3)：1183-1186。

步骤103，确定用户的眼睛与目标物之间的距离；

在具体实现的时候，需要按照以下步骤确定用户的眼睛与目标物之间的距离：

确定眼睛的三维世界坐标；

确定目标物的三维世界坐标；

计算眼睛与目标物之间的距离。

在具体实现的时候，只需确定某一只眼睛(左眼或右眼)与目标物之间的距离即可，而且可把眼角或瞳孔等眼部关键点的三维世界坐标用作眼睛的三维世界坐标。使用立体视觉系统能够测量出人眼的三维世界坐标，图2示出了使用立体视觉系统测量人眼三维世界坐标的方法流程图，包括：

步骤201，用多目相机拍摄用户的人脸图像；

多目相机由2个以上的相机组合而成。在拍摄面部图像的时候，构成多目相机的每个相机都要在同一时刻拍摄一帧面部图像。

步骤202，在面部图像中检测人脸区域；

在由多目相机拍摄的多帧面部图像中，都要检测人脸区域，其目的是缩小检测人眼的图像区域的范围。目前，可用的人脸检测方法是比较多的，比如基于Haar特征的级联分类器和基于MB-LBP特征的级联分类器等。参见文献：Rapid Object Detection using aBoosted Cascade of Simple Features，in：IEEE Conference on Computer Vision andPattern Recognition，2001，Vol.1，pp.511-518，以及文献：Face Detection Based onMulti-Block LBP Representation，in：International conference on Advances inBiometrics，2007，pp.11-18。

步骤203，在面部区域中检测人眼区域；

可以使用检测人脸的方法实现人眼检测，只不过需要使用人眼样本重新训练分类器。

步骤204，在人眼区域中检测关键点；

眼角和瞳孔是人眼区域中可用的关键点，可使用现有的方法实现眼角检测和瞳孔检测。参见文献：Evaluation of accurate eye corner detection methods for gazeestimation.Journal of eye movement research，2014，7(3)：3，1-8，以及文献：PuRe：Robust pupil detection for real-time pervasive eye tracking.arXiv preprintarXiv：1712.08900，2017。

步骤205，重构关键点的三维世界坐标。

要想重构关键点的三维世界坐标，首先要标定多目相机中的每个相机的内外参数，然后由多帧面部图像中的关键点的二维图像坐标，就可以确定关键点的三维世界坐标。参见文献：机器视觉/张广军编著.--北京：科学出版社，2005.第14页至125页.

如前所述，目标物的实现方式有两种：

(1)安装在活体人脸检测设备壳体上，或安装在活体人脸检测设备附近的标签或指示灯。在这种情况下，可以使用立体视觉系统或三坐标测量机测量目标物的三维世界坐标；

(2)把准直光源发出的准直光束投射到物体表面后生成的指示光斑。在这种情况下，可以使用立体视觉系统测量指示光斑的三维世界坐标，也可以根据光束的长度和光束的方向(可通过标定的方式确定光束的方向角)，计算指示光斑的三维世界坐标。

步骤104，确定作用在用户眼部的光照度；

在具体实现的时候，为了能够拍摄到清晰的面部图像，往往需要使用专门的光源提供照明。在这种情况下，为了确定作用在用户眼部的光照度，需要同时考虑环境光的照度和光源发出的光作用在用户眼部的光照度。包括以下步骤：

用光照度传感器测量环境光的照度；

根据光源的供电功率以及用户和光源之间的位置关系，估计光源发出的光作用在用户眼部的光照度；

把环境光的照度与光源作用在用户眼部的照度的和，看作是作用在用户眼部的光照度。

步骤105，获取用户的年龄信息；

在具体实现的时候，可通过两种不同的途径获取用户的年龄信息：

(1)从用户的注册信息中获取用户的年龄信息。目前，在大多数利用人脸识别技术实现身份验证的场合，都需要用户实名注册，即需要填写真实姓名和身份证号码等信息。因此，在这种情况下，是可以从用户的注册信息中获取用户的年龄信息的。

(2)利用模式识别技术，通过用户的照片，估计用户的年龄。可以使用现有的方法实现用户年龄的估计，参见文献：Age synthesis and estimation via faces：Asurvey.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(11)：1955-1976。

步骤106，估计用户的瞳孔直径的数值范围，并确定用户的瞳孔直径测量值是否位于估计的瞳孔直径数值范围内。

在具体实现的时候，可使用经过训练的人工神经网络估计用户的瞳孔直径的数值范围。图3示出了可用于估计瞳孔直径范围的人工神经网络的结构示意图，该人工神经网络包含1个输入层、1个以上的隐含层和1个输出层。输入层包含3个节点，分别是距离节点301a、光照度节点301b和年龄节点301c。其中，距离节点301a用于输入用户眼睛与目标物之间的距离，光照度节点301b用于输入作用在用户眼部的光照度，年龄节点用于输入用户的年龄。输出层包含2个节点，分别是瞳孔直径上限节点302a和瞳孔直径下限节点302b。瞳孔直径上限节点302a用于输出瞳孔直径上限的估计值，瞳孔直径下限节点302b用于输出瞳孔直径下限的估计值。

在使用人工神经网络估计用户的瞳孔直径的数值范围之前，需要按照以下步骤训练人工神经网络：

搜集可用于训练人工神经网络的数据；

使用反向传播方法训练人工神经网络。

在具体实现的时候，可按照以下步骤搜集用于训练人工神经网络的数据：

召集足够多(如500人以上)的志愿者；

对于每个志愿者，都要获取其年龄信息，并重复N次以下步骤(N为大于等于1的整数)：

调整目标物的位置；

调整光源的功率；

提示用户注视目标物；

测量用户的眼睛与目标物之间的距离；

确定作用在用户眼部的光照度；

测量用户的瞳孔直径。

对应于上文实施例所述的活体人脸检测方法，图4示出了本发明实施例提供的利用瞳孔直径检测活体人脸的设备的示意性框图。该活体人脸检测设备包括：

多目相机401，由2个以上的相机组合而成，用于拍摄用户的面部图像；

光源402，用于提供照明，其供电功率可调节；

显示屏403，用于显示提示信息、人机界面等信息；

光照度传感器404，用于测量环境光的照度；

目标物模块405，用于生成目标物；

数据处理模块406，用于实现数据采集、图像处理、瞳孔直径测量、瞳孔直径数值范围的估计、瞳孔直径测量值是否合理的判断；

壳体407。

如上所述，在本发明实施例提供的利用瞳孔直径检测活体人脸的方法中，使用的目标物有多种实现方式，因此目标物模块405也有多种实现方式：

(1)目标物模块405包括2个以上的标签或指示灯，这些标签或指示灯安装在活体人脸检测设备壳体上，或安装在活体人脸检测设备附近，标签或指示灯与活体人脸检测设备之间的相对位置保持不变；

(2)目标物模块405包括：

准直光源，比如准直LED光源或准直激光器光源，用于生成准直光束，把准直光束投射在物体表面生成的光斑可用作目标物；

多目相机，多目相机由2个以上的相机组合而成，用于拍摄准直光束投射在物体表面生成的光斑。在此基础上，利用立体视觉测量方法，可测量出光斑的三维世界坐标。

(3)图5示出了本发明实施例提供的目标物模块405的一种实现方式的示意性框图，目标物模块405包括：

准直光源501，比如准直LED光源或准直激光器光源，用于生成准直光束，把准直光束投射在物体表面生成的光斑可用作目标物；

调制模块502，用正弦波信号调制准直光源501发射的准直光束；

解调模块503，从反射的准直光束上解调正弦波信号；

距离测量模块504，根据接收的调制信号与发射的调制信号之间的相位差，计算光束的长度。

图6示出了本发明实施例提供的数据处理模块406的示意性框图。数据处理模块406包括：

数据采集模块601，用于采集多目相机401拍摄的图像，以及光照度传感器404输出的信号；

图像处理模块602，用于实现图像预处理、人脸检测、人眼检测、瞳孔检测；

瞳孔直径测量模块603，用于测量瞳孔直径；

瞳孔直径数值范围估计模块604，使用本发明实施例提供的方法，由用户的眼睛与目标物之间的距离、用户的年龄、作用在用户眼部的光照度，估计用户瞳孔直径的数值范围，即估计瞳孔直径数值的下限和上限；

瞳孔直径测量值是否合理的判断模块605，根据瞳孔直径数值范围估计模块604所估计的用户瞳孔直径的数值范围，判断用户的瞳孔直径测量值是否合理。如果用户的瞳孔直径测量值位于估计的瞳孔直径数值范围内，则瞳孔直径测量值是合理的，否则不合理。

图7示出了本发明实施例提供的图像处理模块602的示意性框图。图像处理模块602包括：

图像预处理模块701，用于预处理图像，比如图像滤波和图像增强；

人脸检测模块702，用于在面部图像中检测人脸区域；

人眼检测模块703，用于在人脸区域中检测人眼区域；

瞳孔检测模块704，用于在人眼区域中检测瞳孔。

图8示出了本发明实施例提供的利用瞳孔直径检测活体人脸的设备的结构示意图。其中，多目相机401、光源402和显示屏403安装在壳体407的前部。进一步地，多目相机401和光源402安装在显示屏403的底部，按照这种方式布置，可使多目相机401较容易地拍到不受遮挡的人眼瞳孔。此外，目标物模块405安装在壳体407的背面，光照度传感器404安装在壳体407的顶部。

Claims (10)

1.一种活体人脸检测方法，其特征在于，包括：

重复N次测量用户的瞳孔直径并判断其数值是否合理，N为大于等于1的整数；

在所述N次测量过程中，如果有M次判断结果认为用户的瞳孔直径的测量值是合理的，则认为被检测的人脸是活体人脸，否则认为被检测的人脸是非活体人脸，M为大于0且小于等于N的整数。

2.根据权利要求1所述的活体人脸检测方法，其特征在于，所述测量用户的瞳孔直径并判断其数值是否合理，包括：

提示用户注视指定的目标物；

测量用户的瞳孔直径；

确定用户的眼睛与目标物之间的距离；

确定作用在用户眼部的光照度；

获取用户的年龄信息；

估计用户的瞳孔直径的数值范围，并确定用户的瞳孔直径测量值是否位于估计的瞳孔直径数值范围内。

3.根据权利要求2所述的活体人脸检测方法，其特征在于，所述确定作用在用户眼部的光照度，具体包括：

用光照度传感器测量环境光的照度；

根据光源的供电功率以及用户和光源之间的位置关系，估计光源发出的光作用在用户眼部的光照度；

把环境光的照度与光源作用在用户眼部的照度的和，看作是作用在用户眼部的光照度。

4.根据权利要求2所述的活体人脸检测方法，其特征在于，所述获取用户的年龄信息，是通过以下途径之一获取的：

从用户的注册信息中获取用户的年龄信息；

利用模式识别技术，通过用户的照片，估计用户的年龄。

5.根据权利要求2所述的活体人脸检测方法，其特征在于，所述估计用户的瞳孔直径的数值范围，是使用经过训练的人工神经网络估计的，所述人工神经网络包含1个输入层、1个以上的隐含层和1个输出层，所述输入层包含3个节点：

距离节点，用于输入用户眼睛与目标物之间的距离，

光照度节点，用于输入作用在用户眼部的光照度，

年龄节点，用于输入用户的年龄，

所述输出层包含2个节点：

瞳孔直径上限节点，用于输出瞳孔直径上限的估计值，

瞳孔直径下限节点，用于输出瞳孔直径下限的估计值。

6.一种活体人脸检测设备，包括：壳体，显示屏、多目相机、光源，数据处理模块，其特征在于，还包括光照度传感器和目标物模块。

7.根据权利要求6所述的活体人脸检测设备，其特征在于，所述目标物模块的结构为：

目标物模块包括2个以上的标签或指示灯，所述标签或指示灯安装在活体人脸检测设备壳体上，或安装在活体人脸检测设备附近，所述标签或指示灯与活体人脸检测设备之间的相对位置固定不变，

或者，目标物模块包括：

准直光源，用于生成准直光束，所述准直光束投射在物体表面生成的指示光斑可用作目标物，

多目相机，所述多目相机由2个以上的相机组合而成，所述相机用于拍摄指示光斑的图像，进而可用立体视觉技术测量指示光斑的三维世界坐标，

或者，目标物模块包括：

准直光源，用于生成准直光束，所述准直光束投射在物体表面生成的指示光斑可用作目标物，

调制模块，用正弦波信号调制所述准直光束，

解调模块，从反射的准直光束上解调正弦波信号，

距离测量模块，根据接收的调制信号与发射的调制信号之间的相位差，计算光束的长度。

8.根据权利要求6所述的活体人脸检测设备，其特征在于，所述数据处理模块，具体包括：

数据采集模块，用于采集多目相机拍摄的图像，以及光照度传感器输出的信号；

图像处理模块，用于实现图像预处理、人脸检测、人眼检测、瞳孔检测；

瞳孔直径测量模块，用于测量瞳孔直径；

瞳孔直径数值范围估计模块，用于由用户的眼睛与目标物之间的距离、用户的年龄、作用在用户眼部的光照度，估计用户瞳孔直径的数值范围；

瞳孔直径测量值是否合理的判断模块，用于根据估计的瞳孔直径数值范围，判断用户的瞳孔直径测量值是否合理。

9.根据权利要求8所述的活体人脸检测设备，其特征在于，所述图像处理模块，具体包括：

图像预处理模块，用于预处理图像；

人脸检测模块，用于在面部图像中检测人脸区域；

人眼检测模块，用于在人脸区域中检测人眼区域；

瞳孔检测模块，用于在人眼区域中检测瞳孔。

10.根据权利要求6所述的活体人脸检测设备，其特征在于，所述多目相机、光源和显示屏安装在所述壳体的前部。进一步地，所述多目相机和光源安装在所述显示屏的底部，所述目标物模块安装在所述壳体的背面，所述光照度传感器安装在所述壳体的顶部。