CN106557723A - 一种带交互式活体检测的人脸身份认证系统及其方法 - Google Patents

Abstract

本发明公开了一种活体检测方法和系统，该方法包括检测用户的多张人脸图像中每张的人脸区域并从检测到的人脸区域中提取与将要检测的脸部动作对应的人脸关键点；判断出多张人脸图像是连续的；以及基于提取的人脸关键点，对多张人脸图像进行活体检测，以判断出多张人脸图像来自真实的人。此外，本发明还公开了一种带交互式活体检测的人脸身份认证方法和系统。通过根据本发明的带交互式活体检测的人脸身份认证方法和系统，可应对多场景、多种欺骗方式，从而提高了人脸身份认证过程的可靠性。

Description

一种带交互式活体检测的人脸身份认证系统及其方法

技术领域

本申请涉及人脸识别领域，具体来说涉及一种带交互式活体检测的人脸身份认证系统及其方法。

背景技术

人脸识别相关技术已广泛应用于日常生活中，其使用的安全性是人们最为关注的。常见的人脸识别时的欺骗方式包括：照片、视频、计算机生成人脸图像，其中，照片和计算机生成的人脸图像并不是真实的人脸，视频中的人脸不具有实时性。一些现有的包含活体检测的人脸识别方法中，对人脸的活体检测通常是被动式的，如检测一些特征(面部器官特征点、统计特征信息)、人脸是否有运动和表情变化等。而人脸作为人的基本生物特征，通常是不易出现较大变化的，如果一个人被他人恶意收集到了大量本人的人脸信息用于人脸识别，则以上方法的可靠性将会降低。

现有大部分人脸识别系统缺少活体检测。在学术界有很多活体检测的方法：基于纹理或频域的方法，容易过拟合到训练数据集；基于光流场的方法，极大的依赖于光流估计的算法准确度。目前还没有实用化的可应对多场景、多种欺骗方式的基于人脸的活体检测系统。

发明内容

为了至少部分地克服现有技术中存在的上述缺陷，本发明提供了基于交互式活体检测和人脸比对的人脸身份认证方案，从而能够应对多种人脸认证的欺骗方式。

根据本发明的第一方面，提供了一种活体检测方法，包括：检测用户的多张人脸图像中每张的人脸区域并从检测到的所述人脸区域中提取与将要检测的脸部动作对应的人脸关键点；判断出所述多张人脸图像是连续的；以及基于提取的所述人脸关键点，对所述多张人脸图像进行所述活体检测，以判断出所述多张人脸图像来自真实的人。

根据本发明的第二方面，提供了一种活体检测系统，包括：用于检测用户的多张人脸图像中每张的人脸区域并从检测到的所述人脸区域中提取与将要检测的脸部动作对应的人脸关键点的装置；用于判断出所述多张人脸图像是连续的的装置；以及用于基于所述多张人脸图像和提取的所述人脸关键点，对所述人脸区域进行活体检测，以判断出所述多张人脸图像来自真实的人的装置。

根据本发明的第三方面，提供了一种带交互式活体检测的人脸身份认证方法，其可包括根据本发明实施方式的活体检测方法；以及比对检测到所述人脸区域且其图像质量大于预设阈值的所述人脸图像与预存的人脸图像，以确定所述用户的身份。

根据本发明的第四方面，提供了一种带交互式活体检测的人脸身份认证系统，其可包括根据本发明实施方式的活体检测系统；以及用于比对检测到所述人脸区域且其图像质量大于预设阈值的所述人脸图像与预存的人脸图像，以确定所述用户的身份的装置。

根据本发明的第五方面，提供了一种用于活体检测的系统，包括：

至少一个处理器；以及至少一个存储器，包括计算机程序代码，该至少一个存储器和该计算机程序代码配置成用于与该至少一个处理器一起使得该系统至少执行以下操作：

检测用户的多张人脸图像中每张的人脸区域并从检测到的人脸区域中提取与将要检测的脸部动作对应的人脸关键点；

判断出多张人脸图像是连续的；以及

基于提取的人脸关键点，对多张人脸图像进行活体检测，以判断出多张人脸图像来自真实的人。

根据本发明的第六方面，提供了一种用于带交互式活体检测的人脸身份认证的系统，包括：至少一个处理器；以及至少一个存储器，包括计算机程序代码，该至少一个存储器和该计算机程序代码配置成用于与该至少一个处理器一起使得该系统至少执行以下操作：

根据本发明实施方式的活体检测方法；以及

比对检测到人脸区域且其图像质量大于预设阈值的人脸图像与预存的人脸图像，以确定用户的身份，

其中，该系统还执行提示用户采集多张人脸图像的操作。

附图说明

图1示出了根据本发明实施方式的带交互式活体检测的人脸身份认证方法的流程图；

图2示出了根据本发明实施方式的21个示例性人脸关键点；

图3示出了根据本发明实施方式的动作检测步骤的操作；

图4示出了根据本发明实施方式的深度卷积神经网络流程图；

图5示出了根据本发明实施方式的三维模型检测步骤的操作；以及

图6示出了根据本发明实施方式的适于进行带交互式活体检测的人脸身份认证的计算机系统的结构示意图。

具体实施方式

下面将参照附图描述本发明的各实施方式。以下描述包括各具体细节以帮助理解，但是这些具体细节应认为仅是示例性的。因此，本领域普通技术人员应该理解，在不背离本发明的精神和范围的情况下，可以对本文中描述的各实施方式做出各种改变和修改。另外，为了清楚和简明起见，可能省略了公知功能和结构的描述。

图1示出了根据本发明实施方式的带交互式活体检测的人脸身份认证方法1000的流程图。

在步骤101中，可由用户自主地进行人脸图像的采集，以得到该用户的多张人脸图像，其中该多张人脸图像可以是连续的图像或视频。根据本发明实施方式，可向用户提示进行人脸图像采集，例如可通过声音、文字等方式。根据本发明另一实施方式，用于采集用户的人脸图像的图像采集装置可以是专用相机或集成在其他设备中的相机。

在步骤201中，可随机地选择用于活体检测的脸部动作。这些脸部动作可包括但不限于：眨眼、闭左/右/双眼、眼珠向左/右运动、张嘴、向左/右/上/下转头、微笑、鬼脸等。

在步骤301中，可对人脸图像进行检测，以判断人脸图像中是否包括人脸区域。如果判断出人脸图像中包括人脸区域，则在人脸图像中提取与所选择的脸部动作相对应的人脸关键点。例如，在图2中示出了21个示例性人脸关键点。作为示例，如果在步骤201中选择的脸部动作为张嘴，则可在步骤301中提取关键点14、15、16、20和21。人脸区域以及关键点的检测例如可通过S.Zhu,C.Li,C.C.Loy,X.Tang等人的《Face Alignment by Coarse-to-Fine Shape Searching》中的方法来实施，但本申请在这方面不做限制。

另外，在步骤301中还可进行人脸图像连续性判断，以判断采集的上述多张人脸图像在空间和时间上是否连续。若判断为不连续，则认证失败或提醒用户需要重新采集图像。

具体地，在进行人脸图像连续性判断时，例如可将每一帧分为3x3个区域，在每个区域上建立颜色直方图和灰度的均值和方差，把相邻两张人脸图像的直方图的距离灰度均值的距离以及灰度方差的距离当作特征向量，来判断线性分类器是否大于或等于零，其中为线性分类器的预设参数，并且可以通过标注的样本训练得到。如果线性分类器被判断为大于或等于零，则为上述的相邻的两张人脸图像在时间和空间上是连续的；否则为不连续的。

在步骤401中，可对人脸图像进行外观检测，以检测人脸图像中的人脸区域是否完整，是否有遮挡。如果人脸图像的外观检测的得分大于某一阈值(即，无遮挡)，则可认为该人脸图像通过了外观检测。根据本发明实施方式，可对人脸图像进行外观检测得到人脸外观正常的概率，如果人脸图像的该概率小于0.5，则不对该人脸图像进行步骤402中的动作检测。另外，根据本发明实施方式，对人脸图像进行外观检测的步骤可基于深度卷积神经网络，该神经网络将在下文进行详细描述。

在步骤402中，可对人脸图像进行动作检测，以检测用户是否完成了选择的脸部动作。下面将通过示例参照图3来更具体地描述步骤402，其中在该示例中，眨眼为选择的脸部动作。

在子步骤4021中，可基于从每张人脸图像提取的人脸关键点，利用深度卷积神经网络来判断第t帧人脸图像的动作状态S(t)，也就是t时刻闭眼的概率。比如眨眼的状态分为睁眼和闭眼。在眨眼动作对应的关键点中心附近提取图像块，可通过一个类似于LeNet的深度卷积神经网络得到动作状态的判断，具体设置如图4，其中ReLU(RectifiedLinear Units)表示修正的线性单元。深度卷积神经网络的模型参数可以通过标注大量的睁眼和闭眼的图片训练得到(本发明中用于训练及标注的图像均来自于自己收集的5万张人脸图像)。

检测到从睁眼到闭眼再到睁眼的状态变化，视为完成一次眨眼。也就是在子步骤4022中，如果第t帧闭眼的概率小于第t-1帧闭眼的概率S(t)<S(t-1)，则可寻找S(t-1)之前的最大递增子序列S(t’)，S(t’+1)，…，S(t-1)。

在子步骤4023中，可判断该子序列的动作状态变化是否大于预定阈值，即S(t-1)-S(t’)是否大于δ，并且如果S(t-1)-S(t’)>δ，则可认为用户完成了选择的脸部动作，其中δ为一常数，用于滤除噪声。

在步骤403中，可对人脸图像进行三维模型检测，以检测该人脸图像是否来自于真实的人脸。下面将结合示例参照图5来描述步骤403。

在子步骤4031中，可针对采集的多张人脸图像中的任意两张人脸图像，基于该两张人脸图像的、提取的人脸关键点，利用Harris-Laplace检测特征点，提取GLOH描述子。

在步骤4032中，可根据检测到的特征点和提取的GLOH描述子，利用RANSAC来计算从这两张人脸图像中的一张到另一张的变换。在得到变换之后，可将这两张人脸图像中的上述一张的人脸关键点投影至另一张中。

在步骤4033中，可计算投影的人脸关键点与该另一张人脸图像的人脸关键点之间的位置误差。如果该位置误差小于预定阈值，则可认为该多张人脸图像并非来自真实的人脸。

在步骤501中，可对步骤401，402以及403的结果进行整合并判决。若这三个步骤均判定为通过检测，则认为所采集的该用户的多张人脸图像通过活体检测。另外，如果需要更高的安全性，则可返回步骤301，要求用户做出更多的动作，最后将多动作的活体检测结果综合判决作为输出。

在步骤601中，可对用户的每张人脸图像进行图像质量的评价，从而选取其中若干张图像质量较好且包含人脸区域的图像作为输出，并在步骤701与预存的可信用户的人脸图像进行比对。此处的图像质量评价有限考虑图像中人脸区域的清晰程度，可采用无参考的图像模糊检测方法作为图像质量的度量，如R Ferzli，LJ Karam等人的《ANo-Reference Objective Image Sharpness Metric Based on the Notion ofJust Noticeable Blur(JNB)》中的图像模糊检测方法，但本申请在这方面不做限制。步骤601中选取的图像的数量可根据系统安全性需要和接下来步骤701中的比对准确性需要来确定。

在步骤701中，若采集的用户的人脸图像通过了活体检测，则将步骤601得到的质量较好的人脸图像与预存的可信用户的人脸图像进行比对。现有的人脸比对方法有很多，在此不作限制，本实施方式中采用的是Y Sun，D Liang，X Wang等人的《Face Recognition with VeryDeep Neural Networks》中的人脸比对方法。之后将多张人脸图像的比对分数进行累加，若累加后的分数达到一定阈值，则认为用户通过人脸身份认证，即该用户为可信用户。另外，由于在活体检测过程中，使用关键帧来进行身份比对认证，从而有效避免了活体检测和人脸比对分离而产生的漏洞。

图6示出了根据本发明实施方式的适于进行带交互式活体检测的人脸身份认证的计算机系统6000的结构示意图。

如图6所示，计算机系统6000包括中央处理单元(CPU)6001，其可以根据存储在只读存储器(ROM)6002中的程序或者从存储部分6008加载到随机访问存储器(RAM)6003中的程序而执行各种适当的动作和处理。在RAM 6003中，还存储有系统6000操作所需的各种程序和数据。CPU 6001、ROM 6002以及RAM 6003通过总线6004彼此相连。输入/输出(I/O)接口6005也连接至总线6004。

以下部件连接至I/O接口6005：包括键盘、触摸板等的输入部分6006；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分6007；包括硬盘等的存储部分6008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分6009。通信部分6009经由诸如因特网的网络执行通信处理。驱动器6010也根据需要连接至I/O接口6005。可拆卸介质6011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器6010上，以便于从其上读出的计算机程序根据需要被安装入存储部分6008。

特别地，根据本发明的实施例，上文参考图1描述的方法或其子方法可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，该计算机程序包含用于执行图1所示的方法或其子方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分6009从网络上被下载和安装，和/或从可拆卸介质6011被安装，使得可通过计算机来运行该计算机软件程序，以执行根据本发明实施方式的方法或其子方法，从而能够应对多场景、多种欺骗方式。

本领域普通技术人员可以理解在上述实施方式中描述的全部或部分步骤或单元可以软件形式和/或硬件形式来实现，本发明不限制于任何特定形式的硬件和软件的结合。

从上述描述应该理解，在不脱离本发明真实精神的情况下，可以对本发明各实施方式进行修改和变更。本说明书中的描述仅仅是用于说明性的，而不应被认为是限制性的。本发明的范围仅受所附权利要求书的限制。

Claims (16)

1.一种活体检测方法，包括：

检测用户的多张人脸图像中每张的人脸区域并从检测到的所述人脸区域中提取与将要检测的脸部动作对应的人脸关键点；

判断出所述多张人脸图像是连续的；以及

基于提取的所述人脸关键点，对所述多张人脸图像进行活体检测，以判断出所述多张人脸图像来自真实的人。

2.根据权利要求1所述的方法，其中所述活体检测包括：

外观检测，检测出所述人脸区域中的人脸外观是完整的；

动作检测，检测出所述用户完成了所述脸部动作；以及

三维模型检测，检测出所述多张人脸图像来自于真实的人脸。

3.根据权利要求2所述的方法，其中所述动作检测包括：

基于从每张所述人脸图像提取的所述人脸关键点，利用神经网络来判断每张所述人脸图像的动作状态；

在所述多张人脸图像中寻找所述动作状态的值连续增大的图像序列；以及

判断所述图像序列的所述动作状态的值的变化是否大于预定阈值，当所述变化被判断为大于所述预定阈值时，则所述用户完成了选择的所述脸部动作。

4.根据权利要求2所述的方法，其中所述三维模型检测包括：

检测所述多张人脸图像中的第一人脸图像和第二人脸图像的特征点并提取GLOH描述子；

根据检测到的所述特征点和提取的所述GLOH描述子，计算从所述第一人脸图像至所述第二人脸图像的变换，以将所述第一人脸图像的所述人脸关键点投影至所述第二人脸图像；以及

计算投影至所述第二人脸图像的所述第一人脸图像的所述人脸关键点与所述第二人脸图像的所述人脸关键点之间的位置误差，如果所述位置误差大于或等于预定阈值，则所述多张人脸图像被判断为来自于真实的人脸。

5.根据权利要求1所述的方法，其中判断出所述多张人脸图像是连续的的步骤包括：

将每张所述人脸图像分为多个区域；

在每个所述区域上建立颜色直方图和灰度均值以及灰度方差；以及

基于所述多张人脸图像中相邻的两张人脸图像之间的直方图的距离、灰度均值的距离以及灰度方差的距离，判断所述相邻的两张人脸图像在时间和空间上是否为连续的。

6.一种带交互式活体检测的人脸身份认证方法，包括：

如权利要求1-5中任一项所述的活体检测方法；以及

比对检测到所述人脸区域且其图像质量大于预设阈值的所述人脸图像与预存的人脸图像，以确定所述用户的身份，

其中，所述人脸身份认证方法还包括：提示所述用户采集所述多张人脸图像。

7.根据权利要求6所述的人脸身份认证方法，该方法还包括：通过评价所述人脸图像中的所述人脸区域的清晰程度来确定所述人脸图像的所述图像质量。

8.根据权利要求7所述的人脸身份认证方法，其中确定所述人脸图像的所述图像质量的步骤包括：采用图像模糊检测方法来度量所述人脸图像的所述图像质量。

9.一种活体检测系统，包括：

用于检测用户的多张人脸图像中每张的人脸区域并从检测到的所述人脸区域中提取与将要检测的脸部动作对应的人脸关键点的装置；

用于判断出所述多张人脸图像是连续的的装置；以及

用于基于所述多张人脸图像和提取的所述人脸关键点，对所述人脸区域进行活体检测，以判断出所述多张人脸图像来自真实的人的装置。

10.根据权利要求9所述的系统，其中所述用于基于所述多张人脸图像和提取的所述人脸关键点，对所述人脸区域进行活体检测，以判断出所述多张人脸图像来自真实的人的装置还包括：

外观检测装置，检测出所述人脸区域中的人脸外观是完整的；

动作检测装置，检测出所述用户完成了选择的所述脸部动作；以及

三维模型检测装置，检测出所述多张人脸图像来自于真实的人脸。

11.根据权利要求10所述的系统，其中所述动作检测装置包括：

用于基于从每张所述人脸图像提取的所述人脸关键点，利用神经网络来判断每张所述人脸图像的动作状态的装置；

用于在所述多张人脸图像中寻找所述动作状态的值连续增大的序列的装置；以及

用于计算所述序列的所述动作状态的值的变化是否大于预定阈值，当所述变化被计算为大于所述预定阈值时，则所述用户完成了选择的所述脸部动作的装置。

12.根据权利要求10所述的系统，其中所述三维模型检测装置包括：

用于检测所述多张人脸图像中的第一人脸图像和第二人脸图像的特征点并提取GLOH描述子的装置；

用于根据检测到的所述特征点和提取的所述GLOH描述子，计算从所述第一人脸图像至所述第二人脸图像的变换，以将所述第一人脸图像的所述人脸关键点投影至所述第二人脸图像的装置；以及

用于计算投影至所述第二人脸图像的所述第一人脸图像的所述人脸关键点与所述第二人脸图像的所述人脸关键点之间的位置误差的装置，其中，如果所述位置误差大于或等于预定阈值，则所述多张人脸图像被判断为来自于真实的人脸。

13.根据权利要求9所述的系统，其中所述用于判断出所述多张人脸图像是连续的的装置还包括：

用于将每个所述人脸图像分为多个区域的装置；

用于在每个所述区域上建立颜色直方图和灰度均值以及灰度方差的装置；以及

用于基于所述多张人脸图像中相邻的两张人脸图像之间的直方图的距离、灰度均值的距离以及灰度方差的距离，判断所述相邻的两张人脸图像在时间和空间上是否为连续的装置。

14.一种带交互式活体检测的人脸身份认证系统，包括

如权利要求9-13中任一项所述的活体检测系统；以及

用于比对检测到所述人脸区域且其图像质量大于预设阈值的所述人脸图像与预存的人脸图像，以确定所述用户的身份的装置，

其中，所述人脸身份认证系统还包括：用于提示所述用户采集所述多张人脸图像的装置。

15.根据权利要求14所述的人脸身份认证系统，还包括：用于通过评价人脸图像中的所述人脸区域的清晰程度来确定所述人脸图像的所述图像质量的装置。

16.根据权利要求15所述的人脸身份认证系统，其中所述用于通过评价人脸图像中的所述人脸区域的清晰程度来确定所述人脸图像的所述图像质量的装置包括用于采用图像模糊检测方法来度量所述人脸图像的所述图像质量的装置。