CN111860055A - 人脸静默活体检测方法、装置、可读存储介质及设备 - Google Patents

Abstract

本发明公开了一种人脸静默活体检测方法、装置、计算机可读存储介质及设备，属于人脸识别领域。该方法包括：训练包括第一级卷积神经网络和第二级卷积神经网络的级联卷积神经网络；获取待检测人脸图像并进行预处理。将预处理后的人脸图像输入级联卷积神经网络，若第一级卷积神经网络和第二级卷积神经网络均判断为活体，则活体检测通过。其中，第一级卷积神经网络通过打印类假体图像和活体图像进行训练，第二级卷积神经网络通过屏幕类假体图像、活体图像和经过第一级卷积神经网络判断为活体的打印类假体图像进行训练。本发明使用CNN活体检测框架，解决打印类假体和屏幕类假体的活体检测，并使用分治法使得其更加有效，提高了活体检测的准确性。

Description

人脸静默活体检测方法、装置、可读存储介质及设备

技术领域

本发明涉及人脸识别领域，特别是指一种人脸静默活体检测方法、装置、计算机可读存储介质及设备。

背景技术

人脸支付、人脸解锁等技术在金融、安防等领域的应用，使得对人脸密码的要求越来越高，尤其是人脸防假的问题。人脸防假主要是指使用假体人脸攻击人脸系统，进而达到骗过系统，得到相关权限的目的。假体人脸主要有三种，分别为打印类假体，屏幕类假体和3D面具假体。打印类假体指人脸经过纸质打印再翻拍出来的结果，屏幕类假体指的是对显示在屏幕上的图片和视频图像进行翻拍而获得假体图像，而3D面具假体则指的是戴着3D的仿真面具采集得到的假体图像。在实际的生活中，由于3D假体面具的造价较高并且较难获取，所以本发明主要解决的是打印类假体和屏幕类假体的防假问题。人脸静默活体检测指的是不需要任何用户配合，只需要向系统中输入图像，即可判断该图像中的人为活体或是假体。

目前使用的人脸静默活体检测方法主要有基于传统统计学习方法，基于3D的方法以及基于近红外方法等几种。

(1)基于传统统计学习方法的人脸静默活体检测

基于传统统计学习方法的人脸静默活体检测方法，指的是对图像使用基于handcraft设计的特征对图像进行特征提取，然后根据提取到的特征进行二分类，进而判断该图像是是否为活体图像。该方法中最常见的特征为LBP特征，即使用LBP算子对人脸图像进行特征提取，然后对编码后的特征去进行分块并统计特征图，最后使用SVM对特征二分类。该方法依赖于手工设计特征的好坏，因此对姿态、光照等变化鲁棒性较差。

(2)基于近红外的人脸静默活体检测方法

近红外人脸静默活体检测的原理主要是根据不同图像在近红外光源下成像的不同而进行判断的。近红外成像有以下特点：视频、屏幕类、喷墨打印的照片等不会在近红外下成像。打印的照片、面具等在近红外下的反射率和真人不同，体现在几个点上：真人的眼睛和鼻尖会产生些光斑，而打印的照片等一般没有；真人的眼白部分泛白，而打印的照片等一般没有；真人的脸颊偏暗，而打印的照片等一般因反光强烈而比较亮。该方法具有较高的准确率，但是需要近红外光源，同时对环境的光照等要求较高。

综上所述，现有技术中基于传统统计学习方法的人脸静默活体检测依赖于手工设计特征的好坏，因此对姿态、光照等变化鲁棒性较差。基于3D和近红外的人脸活体检测方法需要特殊的光源和设备，一方面成本比较大，通用性低，另一方面，需要较好的测试环境，容易受到外界光照等变化的影响。

发明内容

为解决上述技术问题，本发明提供一种人脸静默活体检测方法、装置、计算机可读存储介质及设备，本发明提高了活体检测的准确性。

本发明提供技术方案如下：

第一方面，本发明提供一种人脸静默活体检测方法，所述方法包括：

训练预先构建的级联卷积神经网络，所述级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络；

获取待检测人脸图像并对所述待检测人脸图像进行预处理，得到包括人脸区域的第一图像和第二图像；

将所述第一图像输入所述级联卷积神经网络中的第一级卷积神经网络，得到第一分值，若所述第一分值小于设定的第一阈值，则第一级卷积神经网络判断为活体；

将所述第二图像输入所述级联卷积神经网络中的第二级卷积神经网络，得到第二分值，若所述第二分值小于设定的第二阈值，则第二级卷积神经网络判断为活体；

若第一级卷积神经网络判断为活体且第二级卷积神经网络判断为活体，则活体检测通过，否则，活体检测不通过；

其中，所述级联卷积神经网络通过如下方法训练得到：

使用第一样本集训练所述第一级卷积神经网络，所述第一样本集包括打印类假体图像和活体图像；

使用第二样本集训练所述第二级卷积神经网络，所述第二样本集包括屏幕类假体图像、活体图像和经过第一级卷积神经网络判断为活体的打印类假体图像。

进一步的，所述预处理包括：

通过人脸检测算法检测出代表人脸区域的人脸检测框；

通过人脸定位算法定位出包括左右眼睛的人脸关键点；

根据左右眼睛坐标进行人脸对齐；

将对齐后的人脸图像进行归一化处理，得到所述第一图像和第二图像。

进一步的，所述第一图像和第二图像大小相同，均仅包括人脸区域；或者，所述第一图像和第二图像大小相同，均包括人脸区域和部分背景区域；或者，所述第一图像仅包括人脸区域，所述第二图像包括人脸区域和部分背景区域。

进一步的，所述预处理还包括：

获取人脸的俯仰姿态角、摇头姿态角和转头姿态角；

所述将所述第一图像输入所述级联卷积神经网络中的第一级卷积神经网络之前还包括人脸大小检测和/或人脸姿态检测，若所述人脸大小检测通过和/或人脸姿态检测通过，则继续执行下一步，否则，活体检测不通过，结束；

所述人脸大小检测包括：判断所述人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内，若是，则人脸大小检测通过；

所述人脸姿态检测包括：判断所述人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内，若是，则人脸姿态检测通过。

进一步的，所述第一级卷积神经网络和第二级卷积神经网络均包括依次相连的第一卷积层、第一池化层、第一Rnorm层、第二卷积层、第三卷积层、第二Rnorm层、第二池化层、第一Inception模块、第二Inception模块、第三池化层、第三Inception模块、第四Inception模块、第五Inception模块、第六Inception模块、第七Inception模块、第四池化层、第八Inception模块、第九Inception模块、全连接层。

第二方面，本发明提供一种人脸静默活体检测装置，所述装置包括：

训练模块，用于训练预先构建的级联卷积神经网络，所述级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络；

预处理模块，用于获取待检测人脸图像并对所述待检测人脸图像进行预处理，得到包括人脸区域的第一图像和第二图像；

第一检测模块，用于将所述第一图像输入所述级联卷积神经网络中的第一级卷积神经网络，得到第一分值，若所述第一分值小于设定的第一阈值，则第一级卷积神经网络判断为活体；

第二检测模块，用于将所述第二图像输入所述级联卷积神经网络中的第二级卷积神经网络，得到第二分值，若所述第二分值小于设定的第二阈值，则第二级卷积神经网络判断为活体；

活体判断模块，用于当第一级卷积神经网络判断为活体且第二级卷积神经网络判断为活体时，则活体检测通过，否则，活体检测不通过；

其中，所述级联卷积神经网络通过如下单元训练得到：

第一训练单元，用于使用第一样本集训练所述第一级卷积神经网络，所述第一样本集包括打印类假体图像和活体图像；

第二训练单元，用于使用第二样本集训练所述第二级卷积神经网络，所述第二样本集包括屏幕类假体图像、活体图像和经过第一级卷积神经网络判断为活体的打印类假体图像。

进一步的，所述预处理模块包括：

人脸检测单元，用于通过人脸检测算法检测出代表人脸区域的人脸检测框；

人脸定位单元，用于通过人脸定位算法定位出包括左右眼睛的人脸关键点；

人脸对齐单元，用于根据左右眼睛坐标进行人脸对齐；

归一化单元，用于将对齐后的人脸图像进行归一化处理，得到所述第一图像和第二图像。

进一步的，所述第一图像和第二图像大小相同，均仅包括人脸区域；或者，所述第一图像和第二图像大小相同，均包括人脸区域和部分背景区域；或者，所述第一图像仅包括人脸区域，所述第二图像包括人脸区域和部分背景区域。

进一步的，所述预处理模块还包括：

姿态角获取单元，用于获取人脸的俯仰姿态角、摇头姿态角和转头姿态角；

所述预处理模块和第一检测模块之间还连接有人脸大小检测模块和/或人脸姿态检测模块，若所述人脸大小检测通过和/或人脸姿态检测通过，则执行所述第一检测模块，否则，活体检测不通过，结束；

所述人脸大小检测模块包括：判断所述人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内，若是，则人脸大小检测通过；

所述人脸姿态检测模块包括：判断所述人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内，若是，则人脸姿态检测通过。

进一步的，所述第一级卷积神经网络和第二级卷积神经网络均包括依次相连的第一卷积层、第一池化层、第一Rnorm层、第二卷积层、第三卷积层、第二Rnorm层、第二池化层、第一Inception模块、第二Inception模块、第三池化层、第三Inception模块、第四Inception模块、第五Inception模块、第六Inception模块、第七Inception模块、第四池化层、第八Inception模块、第九Inception模块、全连接层。

第三方面，本发明提供一种用于人脸静默活体检测的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述人脸静默活体检测方法的步骤。

第四方面，本发明提供一种用于人脸静默活体检测的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述人脸静默活体检测方法的步骤。

本发明具有以下有益效果：

与现有技术的基于传统统计学习方法的人脸静默活体检测方法相比，本发明通过卷积神经网络自动学习，无需依赖于手工设计特征的好坏，因此对姿态、光照等变化鲁棒性较强。与现有技术的基于3D和近红外的人脸活体检测方法相比，本发明不需要特殊的光源和设备，一方面成本比较低，通用性好，另一方面，不需要较好的测试环境，不容易受到外界光照等变化的影响。

本发明将两个卷积神经网络之间使用级联的思路进行连接，并且进行级联训练，使用打印类假体图像和屏幕类假体图像分别训练第一级卷积神经网络和第二级卷积神经网络。在进行活体检测时，将第一图像和第二图像分别输入训练好的第一级卷积神经网络和第二级卷积神经网络，分别进行打印类假体和屏幕类假体的活体检测，只有当两级神经网络均检测为活体时，才判定活体检测通过，使得假体图像更难通过网络的认证任务，提高了活体检测的准确性。

附图说明

图1为本发明的人脸静默活体检测方法流程图；

图2为预处理的示意图；

图3为人脸姿态角的示意图；

图4为包括人脸大小检测和人脸姿态检测的活体检测流程图；

图5为本发明的人脸静默活体检测装置示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施提供了一种人脸静默活体检测方法，如图1所示，该方法包括：

步骤S100’：训练预先构建的级联卷积神经网络，级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络。

本发明主要解决打印类假体和屏幕类假体在可见光或者红外光下的防假问题，本发明采用了分治的策略，即对打印类假体图像和屏幕类假体图像采用两个网络分开训练和活体检测，第一级卷积神经网络用于对打印类假体图像进行活体检测，第二级卷积神经网络用于对屏幕类假体图像进行活体检测。这样做的目的是为了使得网络接收的任务尽可能的简单，同时两个网络之间使用级联的思路进行连接，使得假体图像更难通过网络的认证任务。

步骤S200：获取待检测人脸图像并对待检测人脸图像进行预处理，得到包括人脸区域的第一图像和第二图像。

预处理包括人脸检测、人脸关键点、人脸对齐和归一化等操作，得到符合第一级卷积神经网络和第二级卷积神经网络输入大小要求的第一图像和第二图像。

步骤S300：将第一图像输入级联卷积神经网络中的第一级卷积神经网络，得到第一分值，若第一分值小于设定的第一阈值，则第一级卷积神经网络判断为活体。

步骤S400：将第二图像输入级联卷积神经网络中的第二级卷积神经网络，得到第二分值，若第二分值小于设定的第二阈值，则第二级卷积神经网络判断为活体。

步骤S500：若第一级卷积神经网络判断为活体且第二级卷积神经网络判断为活体，则活体检测通过，否则，活体检测不通过。

本发明通过两级神经网络分别进行打印类假体和屏幕类假体的活体检测，只有当两级神经网络均检测为活体时，才判定活体检测通过，通过级联的方式使得假体图像更难通过网络的认证任务，提高了活体检测的准确性。

其中，级联卷积神经网络通过如下方法训练得到：

本发明主要解决打印类假体和屏幕类假体在可见光或者红外光下的防假问题，需要说明的是，当解决可见光下的防伪问题时，训练网络时使用可见光环境下采集的训练样本集(后文的第一样本集和第二样本集)，当解决红外光下的防伪问题时，训练网络时使用近红外光环境下采集的训练样本集。

步骤S110’：使用第一样本集训练第一级卷积神经网络，得到训练好的第一级卷积神经网络，第一样本集包括打印类假体图像和活体图像。

步骤S120’：使用第二样本集训练第二级卷积神经网络，得到训练好的第二级卷积神经网络，第二样本集包括屏幕类假体图像、活体图像和经过第一级卷积神经网络判断为活体的打印类假体图像。

第二级卷积神经网络在训练时加入第一级卷积神经网络判断为活体的打印类假体图像(即第一级卷积神经网络未检出的假体图像)，进行级联训练，提高了假体图像通过活体检测的难度，提高了活体检测的准确性。

本发明中，前述的步骤S100’、步骤S110’和步骤S120’是级联卷积神经网络的训练过程，训练过程是在正式进行使用(即进行人脸活体检测)前进行的，在产品正式使用时，不再执行训练过程，只要执行前述的步骤S200～步骤S500即可。

与现有技术的基于传统统计学习方法的人脸静默活体检测方法相比，本发明通过卷积神经网络自动学习，无需依赖于手工设计特征的好坏，因此对姿态、光照等变化鲁棒性较强。与现有技术的基于3D和近红外的人脸活体检测方法相比，本发明不需要特殊的光源和设备，一方面成本比较低，通用性好，另一方面，不需要较好的测试环境，不容易受到外界光照等变化的影响。

本发明将两个卷积神经网络之间使用级联的思路进行连接，并且进行级联训练，使用打印类假体图像和屏幕类假体图像分别训练第一级卷积神经网络和第二级卷积神经网络。在进行活体检测时，将第一图像和第二图像分别输入训练好的第一级卷积神经网络和第二级卷积神经网络，分别进行打印类假体和屏幕类假体的活体检测，只有当两级神经网络均检测为活体时，才判定活体检测通过，使得假体图像更难通过网络的认证任务，提高了活体检测的准确性。

作为本发明的一种改进，如图2所示，前述的预处理包括：

步骤S210：通过人脸检测算法检测出代表人脸区域的人脸检测框。

步骤S220：通过人脸定位算法定位出包括左右眼睛的人脸关键点。

步骤S210和S220优选通过基于Cascade CNN的人脸检测算法FaceCraft，FaceCraft算法能够检测出人脸检测框，同时该算法还会输出人脸的五个关键点，分别为左右眼睛、鼻子和左右嘴角。

当然，还可以采用其他人脸检测算法，比如Harr-AdaBoost,SSD,Faster RCNN等，在检测出人脸检测框之后，可以结合SDM、LBF、LAB等方法从而定位出人脸关键点。

步骤S230：根据左右眼睛坐标进行人脸对齐。

步骤S240：将对齐后的人脸图像进行归一化处理，得到第一图像和第二图像，用于作为两级卷积神经网络的输入。

需要说明的是，第一图像和第二图像可以大小相同，均仅包括人脸区域(即仅包括人脸检测框内的区域)，例如大小均为100×100，或者，均包括人脸区域和部分背景区域(即包括人脸检测框内的区域和部分人脸检测框外的区域)，例如大小均为100×130。第一图像和第二图像还可以大小不同，第一图像仅包括人脸区域，大小为100×100，第二图像包括人脸区域和部分背景区域，大小为100×130。

本申请中，优选将人脸图像归一化为100×100和100×130两个尺寸，这样处理的好处在于，如图3所示，100×100能定位到人脸区域，而100×130能定位到人脸区域和部分背景区域，对于摄像头采集的真人图像和假体图像，背景区域会有所不同，因此，将人脸图像归一化为两个尺寸能够使得活体检测的结果更加准确。

进一步的，前述的预处理还包括：

步骤S210’：获取人脸的俯仰姿态角pitch、摇头姿态角yaw和转头姿态角roll。

本步骤优选通过FaceCraft算法得到俯仰姿态角pitch、摇头姿态角yaw和转头姿态角roll。本步骤与前述的步骤S210和S220同时进行。俯仰姿态角pitch、摇头姿态角yaw和转头姿态角roll如图3所示。

将第一图像输入级联卷积神经网络中的第一级卷积神经网络之前还包括人脸大小检测(步骤S250)和/或人脸姿态检测(步骤S260)，若人脸大小检测通过和/或人脸姿态检测通过，则继续执行下一步，否则，活体检测不通过，结束。具体流程图如图4所示。

人脸大小检测(步骤S250)包括：判断人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内，若是，则人脸大小检测通过。

人脸大小检测的原理是：当人脸过大或过小时，人脸离摄像头过近或过远，采集的人脸图像质量不高，导致活体检测的准确率下降。因此当人脸过大或过小时，直接判定为活体检测不通过，提示距离摄像头过近或者过远，重新采集图像。

人脸姿态检测(步骤S260)包括：判断人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内，若是，则人脸姿态检测通过。

人脸姿态检测的原理是：当人脸的姿态角(包括俯仰姿态角范围、摇头姿态角范围和转头姿态角)过大时，采集的人脸图像比较偏，人脸图像质量不高，导致活体检测的准确率下降。因此当人脸姿态角不符合要求时，直接判定为活体检测不通过，重新采集图像。

本发明在进行人脸活体检测前，根据实际的使用经验和需要，可以对人脸的大小和人脸的姿态进行限制。加入了人脸大小检测和/或人脸角度姿态检测，使得活体检测的准确率可以有较大的提升。需要说明的是，人脸大小检测和人脸姿态检测为可选的步骤，可以只选人脸大小检测的策略，也可以只选人脸姿态检测的策略，也可以同时选取人脸大小检测和人脸姿态检测的策略，同时选择人脸大小检测和人脸姿态检测时，只有当人脸大小检测和人脸姿态检测均通过时，才进行后一步。

作为本发明的一个优选的实施方式，第一级卷积神经网络和第二级卷积神经网络结构相同，均包括依次相连的第一卷积层Convolution1、第一池化层Pool1、第一Rnorm层Rnorm1、第二卷积层Convolution2、第三卷积层Convolution3、第二Rnorm层Rnorm2、第二池化层Pool2、第一Inception模块Inception4、第二Inception模块Inception5、第三池化层Pool3、第三Inception模块Inception6、第四Inception模块Inception7、第五Inception模块Inception8、第六Inception模块Inception9、第七Inception模块Inception10、第四池化层Pool4、第八Inception模块Inception11、第九Inception模块Inception12、全连接层InnerProduction。

当然，本发明还可以使用其他的高性能的分类网络，如VGGNet或ResNet等方法同样适用。

下面以一个具体的实验示例对本发明进行详细阐述：

一、级联卷积神经网络的训练：

第一级卷积神经网络CNN1和第二级卷积神经网络CNN2结构相同，CNN1和CNN2分别解决打印假体的防假和屏幕类假体的防假任务，CNN1和CNN2的输入尺度分别为100×100和100×130。两个网络的参数如下表1所示。

表1.网络结构和相关参数

CNN1的训练过程为：准备CNN1的训练样本集(第一样本集)，第一样本集包括打印类假体图像和活体图像，打印类假体图像和活体图像的比例为1:3，图像大小为100×100，将该第一样本集的图像输入前述的网络结构进行训练，得到训练好的CNN1。

CNN2的训练过程为：准备CNN2的训练样本集(第二样本集)，第二样本集包括假体图像和活体图像，假体图像和活体图像的比例为1：3，其中，假体图像包括屏幕类假体图像和经过CNN1判断为活体的打印类假体图像也即，样本比例为(CNN1判断为活体的打印类假体图像+屏幕类假体图像)：(活体图像)＝1:3，图像大小为100×130，将该第二样本集的图像输入前述的网络结构进行训练，得到训练好的CNN2。这里需要指出的是，在级联训练的过程中，为了简化计算，缩短样本选择的时间，屏幕类假体图像不需要经过CNN1。

二、级联卷积神经网络的测试：

1、人脸预处理：

人脸预处理如图2所示，对人脸图像采用基于Cascade CNN的人脸检测算法FaceCraft进行人脸检测，得到人脸检测框，同时FaceCraft算法输出人脸的五个关键点，分别为左右眼睛、鼻子和左右嘴角。此外，FaceCraft算法还输出人脸的三个姿态角，分别为俯仰姿态角pitch，摇头姿态角yaw和转头姿态角roll。

将定位后的眼睛坐标分别对齐到(30,30)和(30,70)的位置。

将人脸图像归一化为100×100和100×130大小的图像，用于作为两个级联的CNN的输入。

2、人脸大小检测和人脸姿态检测：

人脸大小检测：以输入的VGA图像(也可以为FPGA等其他格式的图像)为例，输入图像的分辨率为640*480，人脸检测框的宽度width和高度height，若50≤width≤200并且50≤height≤200则说明人脸大小符合活体检测规则，进行活体检测判断，否则提示距离摄像头过近或者过远。此处对于人脸检测框的宽度和高度值仅用于解释本发明，并不用于对本发明的限定。

人脸姿态检测：对于人脸的姿态，限制平面转动和左右摇头大于15度，低头角度不大于45度，抬头角度不大于15度，即

-15≤yaw≤15

-15≤roll≤15

-45≤pitch≤15

此处，平面转动角度、左右摇头角度和低头角度仅用于解释本发明，并不用于对本发明的限定。

3、人脸活体检测测试：

在测试时，通过人脸大小限制和人脸姿态限制的图像，若经过CNN1和CNN2判断后均为活体，则该图像人脸活体检测通过。如CNN1和CNN2其中的一个判断为假体，则表示该图像人脸活体检测不通过。本发明提出方法，在闸机验证系统中，活体通过率99.21％，假体检出率为99.7％。

本发明利用表1结构框架的CNN1和CNN2完成可见光或红外光下的人脸静默活体检测，同时使用人脸大小限制和姿态限制等策略提高人脸活体检测的准确率。该方法具有以下优势：

本发明提出的表1结构的用于人脸活体检测框架，解决了打印类假体和屏幕类假体的活体检测，并使用分治法使得其更加有效。使用人脸大小限制和姿态限制等策略提高人脸活体检测的准确率。

实施例2：

本发明实施例提供了一种人脸静默活体检测装置，如图5所示，该装置包括：

训练模块10’，用于训练预先构建的级联卷积神经网络，级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络。

预处理模块20，用于获取待检测人脸图像并对待检测人脸图像进行预处理，得到包括人脸区域的第一图像和第二图像。

第一检测模块30，用于将第一图像输入级联卷积神经网络中的第一级卷积神经网络，得到第一分值，若第一分值小于设定的第一阈值，则第一级卷积神经网络判断为活体。

第二检测模块40，用于将第二图像输入级联卷积神经网络中的第二级卷积神经网络，得到第二分值，若第二分值小于设定的第二阈值，则第二级卷积神经网络判断为活体。

活体判断模块50，用于当第一级卷积神经网络判断为活体且第二级卷积神经网络判断为活体时，则活体检测通过，否则，活体检测不通过。

其中，级联卷积神经网络通过如下单元训练得到：

第一训练单元，用于使用第一样本集训练第一级卷积神经网络，第一样本集包括打印类假体图像和活体图像。

第二训练单元，用于使用第二样本集训练第二级卷积神经网络，第二样本集包括屏幕类假体图像、活体图像和经过第一级卷积神经网络判断为活体的打印类假体图像。

与现有技术的基于传统统计学习方法的人脸静默活体检测方法相比，本发明通过卷积神经网络自动学习，无需依赖于手工设计特征的好坏，因此对姿态、光照等变化鲁棒性较强。与现有技术的基于3D和近红外的人脸活体检测方法相比，本发明不需要特殊的光源和设备，一方面成本比较低，通用性好，另一方面，不需要较好的测试环境，不容易受到外界光照等变化的影响。

本发明将两个卷积神经网络之间使用级联的思路进行连接，并且进行级联训练，使用打印类假体图像和屏幕类假体图像分别训练第一级卷积神经网络和第二级卷积神经网络。在进行活体检测时，将第一图像和第二图像分别输入训练好的第一级卷积神经网络和第二级卷积神经网络，分别进行打印类假体和屏幕类假体的活体检测，只有当两级神经网络均检测为活体时，才判定活体检测通过，使得假体图像更难通过网络的认证任务，提高了活体检测的准确性。

作为本发明的一种改进，预处理模块包括：

人脸检测单元，用于通过人脸检测算法检测出代表人脸区域的人脸检测框。

人脸定位单元，用于通过人脸定位算法定位出包括左右眼睛的人脸关键点。

人脸检测单元和人脸定位单元优选通过基于Cascade CNN的人脸检测算法FaceCraft，FaceCraft算法能够检测出人脸检测框，同时该算法还会输出人脸的五个关键点，分别为左右眼睛、鼻子和左右嘴角。

当然，还可以采用其他人脸检测算法，比如Harr-AdaBoost,SSD,Faster RCNN等，在检测出人脸检测框之后，可以结合SDM、LBF、LAB等方法从而定位出人脸关键点。

人脸对齐单元，用于根据左右眼睛坐标进行人脸对齐。

归一化单元，用于将对齐后的人脸图像进行归一化处理，得到第一图像和第二图像，用于作为两级卷积神经网络的输入。

需要说明的是，第一图像和第二图像可以大小相同，均仅包括人脸区域(即仅包括人脸检测框内的区域)，例如大小均为100×100，或者，均包括人脸区域和部分背景区域(即包括人脸检测框内的区域和部分人脸检测框外的区域)，例如大小均为100×130。第一图像和第二图像还可以大小不同，第一图像仅包括人脸区域，大小为100×100，第二图像包括人脸区域和部分背景区域，大小为100×130。

本申请中，优选将人脸图像归一化为100×100和100×130两个尺寸，这样处理的好处在于，如图3所示，100×100能定位到人脸区域，而100×130能定位到人脸区域和部分背景区域，对于摄像头采集的真人图像和假体图像，背景区域会有所不同，因此，将人脸图像归一化为两个尺寸能够使得活体检测的结果更加准确。

进一步的，前述的预处理模块还包括：

姿态角获取单元，用于获取人脸的俯仰姿态角、摇头姿态角和转头姿态角。

预处理模块和第一检测模块之间还连接有人脸大小检测模块和/或人脸姿态检测模块，若人脸大小检测通过和/或人脸姿态检测通过，则执行第一检测模块，否则，活体检测不通过，结束。

人脸大小检测模块包括：判断人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内，若是，则人脸大小检测通过。

人脸姿态检测模块包括：判断人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内，若是，则人脸姿态检测通过。

本发明在进行人脸活体检测前，根据实际的使用经验和需要，可以对人脸的大小和人脸的姿态进行限制。加入了人脸大小检测和/或人脸角度姿态检测，使得活体检测的准确率可以有较大的提升。需要说明的是，人脸大小检测和人脸姿态检测为可选的步骤，可以只选人脸大小检测的策略，也可以只选人脸姿态检测的策略，也可以同时选取人脸大小检测和人脸姿态检测的策略，同时选择人脸大小检测和人脸姿态检测时，只有当人脸大小检测和人脸姿态检测均通过时，才进行第一检测模块。

作为本发明的一个优选的实施方式，第一级卷积神经网络和第二级卷积神经网络结构相同，均包括依次相连的第一卷积层Convolution1、第一池化层Pool1、第一Rnorm层Rnorm1、第二卷积层Convolution2、第三卷积层Convolution3、第二Rnorm层Rnorm2、第二池化层Pool2、第一Inception模块Inception4、第二Inception模块Inception5、第三池化层Pool3、第三Inception模块Inception6、第四Inception模块Inception7、第五Inception模块Inception8、第六Inception模块Inception9、第七Inception模块Inception10、第四池化层Pool4、第八Inception模块Inception11、第九Inception模块Inception12、全连接层InnerProduction。

当然，本发明还可以使用其他的高性能的分类网络，如VGGNet或ResNet等方法同样适用。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

实施例3：

本说明书提供的上述实施例所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于人脸静默活体检测的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的人脸静默活体检测方法的步骤。

与现有技术的基于传统统计学习方法的人脸静默活体检测方法相比，本发明通过卷积神经网络自动学习，无需依赖于手工设计特征的好坏，因此对姿态、光照等变化鲁棒性较强。与现有技术的基于3D和近红外的人脸活体检测方法相比，本发明不需要特殊的光源和设备，一方面成本比较低，通用性好，另一方面，不需要较好的测试环境，不容易受到外界光照等变化的影响。

本发明将两个卷积神经网络之间使用级联的思路进行连接，并且进行级联训练，使用打印类假体图像和屏幕类假体图像分别训练第一级卷积神经网络和第二级卷积神经网络。在进行活体检测时，将第一图像和第二图像分别输入训练好的第一级卷积神经网络和第二级卷积神经网络，分别进行打印类假体和屏幕类假体的活体检测，只有当两级神经网络均检测为活体时，才判定活体检测通过，使得假体图像更难通过网络的认证任务，提高了活体检测的准确性。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

实施例4：

本发明还提供一种用于人脸静默活体检测的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于人脸静默活体检测的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述人脸静默活体检测方法的步骤。

与现有技术的基于传统统计学习方法的人脸静默活体检测方法相比，本发明通过卷积神经网络自动学习，无需依赖于手工设计特征的好坏，因此对姿态、光照等变化鲁棒性较强。与现有技术的基于3D和近红外的人脸活体检测方法相比，本发明不需要特殊的光源和设备，一方面成本比较低，通用性好，另一方面，不需要较好的测试环境，不容易受到外界光照等变化的影响。

本发明将两个卷积神经网络之间使用级联的思路进行连接，并且进行级联训练，使用打印类假体图像和屏幕类假体图像分别训练第一级卷积神经网络和第二级卷积神经网络。在进行活体检测时，将第一图像和第二图像分别输入训练好的第一级卷积神经网络和第二级卷积神经网络，分别进行打印类假体和屏幕类假体的活体检测，只有当两级神经网络均检测为活体时，才判定活体检测通过，使得假体图像更难通过网络的认证任务，提高了活体检测的准确性。

上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人脸静默活体检测方法，其特征在于，所述方法包括：

训练预先构建的级联卷积神经网络，所述级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络；

获取待检测人脸图像并对所述待检测人脸图像进行预处理，得到包括人脸区域的第一图像和第二图像；

将所述第一图像输入所述级联卷积神经网络中的第一级卷积神经网络，得到第一分值，若所述第一分值小于设定的第一阈值，则第一级卷积神经网络判断为活体；

将所述第二图像输入所述级联卷积神经网络中的第二级卷积神经网络，得到第二分值，若所述第二分值小于设定的第二阈值，则第二级卷积神经网络判断为活体；

若第一级卷积神经网络判断为活体且第二级卷积神经网络判断为活体，则活体检测通过，否则，活体检测不通过；

其中，所述级联卷积神经网络通过如下方法训练得到：

使用第一样本集训练所述第一级卷积神经网络，所述第一样本集包括打印类假体图像和活体图像；

使用第二样本集训练所述第二级卷积神经网络，所述第二样本集包括屏幕类假体图像、活体图像和经过第一级卷积神经网络判断为活体的打印类假体图像。

2.根据权利要求1所述的人脸静默活体检测方法，其特征在于，所述预处理包括：

通过人脸检测算法检测出代表人脸区域的人脸检测框；

通过人脸定位算法定位出包括左右眼睛的人脸关键点；

根据左右眼睛坐标进行人脸对齐；

将对齐后的人脸图像进行归一化处理，得到所述第一图像和第二图像。

3.根据权利要求2所述的人脸静默活体检测方法，其特征在于，所述第一图像和第二图像大小相同，均仅包括人脸区域；或者，所述第一图像和第二图像大小相同，均包括人脸区域和部分背景区域；或者，所述第一图像仅包括人脸区域，所述第二图像包括人脸区域和部分背景区域。

4.根据权利要求2所述的人脸静默活体检测方法，其特征在于，所述预处理还包括：

获取人脸的俯仰姿态角、摇头姿态角和转头姿态角；

所述将所述第一图像输入所述级联卷积神经网络中的第一级卷积神经网络之前还包括人脸大小检测和/或人脸姿态检测，若所述人脸大小检测通过和/或人脸姿态检测通过，则继续执行下一步，否则，活体检测不通过，结束；

所述人脸大小检测包括：判断所述人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内，若是，则人脸大小检测通过；

所述人脸姿态检测包括：判断所述人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内，若是，则人脸姿态检测通过。

5.根据权利要求1-4任一所述的人脸静默活体检测方法，其特征在于，所述第一级卷积神经网络和第二级卷积神经网络均包括依次相连的第一卷积层、第一池化层、第一Rnorm层、第二卷积层、第三卷积层、第二Rnorm层、第二池化层、第一Inception模块、第二Inception模块、第三池化层、第三Inception模块、第四Inception模块、第五Inception模块、第六Inception模块、第七Inception模块、第四池化层、第八Inception模块、第九Inception模块、全连接层。

6.一种人脸静默活体检测装置，其特征在于，所述装置包括：

训练模块，用于训练预先构建的级联卷积神经网络，所述级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络；

预处理模块，用于获取待检测人脸图像并对所述待检测人脸图像进行预处理，得到包括人脸区域的第一图像和第二图像；

第一检测模块，用于将所述第一图像输入所述级联卷积神经网络中的第一级卷积神经网络，得到第一分值，若所述第一分值小于设定的第一阈值，则第一级卷积神经网络判断为活体；

第二检测模块，用于将所述第二图像输入所述级联卷积神经网络中的第二级卷积神经网络，得到第二分值，若所述第二分值小于设定的第二阈值，则第二级卷积神经网络判断为活体；

活体判断模块，用于当第一级卷积神经网络判断为活体且第二级卷积神经网络判断为活体时，则活体检测通过，否则，活体检测不通过；

其中，所述级联卷积神经网络通过如下单元训练得到：

第一训练单元，用于使用第一样本集训练所述第一级卷积神经网络，所述第一样本集包括打印类假体图像和活体图像；

第二训练单元，用于使用第二样本集训练所述第二级卷积神经网络，所述第二样本集包括屏幕类假体图像、活体图像和经过第一级卷积神经网络判断为活体的打印类假体图像。

7.根据权利要求6所述的人脸静默活体检测装置，其特征在于，所述预处理模块包括：

人脸检测单元，用于通过人脸检测算法检测出代表人脸区域的人脸检测框；

人脸定位单元，用于通过人脸定位算法定位出包括左右眼睛的人脸关键点；

人脸对齐单元，用于根据左右眼睛坐标进行人脸对齐；

归一化单元，用于将对齐后的人脸图像进行归一化处理，得到所述第一图像和第二图像。

8.根据权利要求7所述的人脸静默活体检测装置，其特征在于，所述预处理模块还包括：

姿态角获取单元，用于获取人脸的俯仰姿态角、摇头姿态角和转头姿态角；

所述预处理模块和第一检测模块之间还连接有人脸大小检测模块和/或人脸姿态检测模块，若所述人脸大小检测通过和/或人脸姿态检测通过，则执行所述第一检测模块，否则，活体检测不通过，结束；

所述人脸大小检测模块包括：判断所述人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内，若是，则人脸大小检测通过；

所述人脸姿态检测模块包括：判断所述人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内，若是，则人脸姿态检测通过。

9.一种用于人脸静默活体检测的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-5任一所述人脸静默活体检测方法的步骤。

10.一种用于人脸静默活体检测的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-5中任意一项所述人脸静默活体检测方法的步骤。

Images