CN110443102B - 活体人脸检测方法及装置 - Google Patents

Abstract

本发明公开了一种活体人脸检测方法及装置，属于图像识别领域。所述活体人脸检测方法包括获取待检测的近红外人脸图像；将所述近红外人脸图像输入至多级联分类器进行检测所述近红外人脸图像是否为活体人脸图像；其中，所述多级联分类器中的每一级卷积神经网络能够根据所述近红外人脸图像存在的载体和方式的不同进行分工检测。本发明检测速度快、准确率高、鲁棒性好，能够同时且实时检测所有非活体人脸图像。

Description

活体人脸检测方法及装置

技术领域

本发明涉及图像识别技术领域，特别是指一种活体人脸检测方法及装置。

背景技术

在人们的生活和工作中，利用生物识别比如人脸等可有效的加强安全和隐私，但现实中也存在一个问题，利用人的照片和视频等信息可能会闯过安全线，对安全和隐私构成威胁。因此，在人脸识别前，需要进行活体检测，有效地防止利用打印的照片、手机里的照片和视频、Pad里的照片和视频、3D人脸面具等来造假进行人脸识别，从而避免安全漏洞。

现有的活体人脸检测技术主要有：基于光流的、基于交互的和基于纹理活体人脸检测。其中，基于光流的方法通过建立光流场模型，获取活体真人、照片、屏幕等不同的三维结构在运动时的光流特点进行活体人脸检测，需要用户有一定的运动；

基于交互的活体人脸检测，需要被检测对象完成系统指示的动作，比如转头、眨眼、张嘴等，但这些可以通过录制视频或其他方式进行欺瞒从而骗过系统，且需要用户配合，不够友好；

基于纹理的方法包括LBP、Gabor等，属于传统的利用人脸特征进行活体检测的方法，该方法的特征是基于手工提取的，而一种有效的手工特征需要经过很多实验以及改进，需要耗费很长时间才能设计出来。而目前基于深度卷积神经网络的自动学习特征方法避免了手工设计特征，只需要设计网络结构，训练参数即可。

目前现有技术中采用深度神经网络的活体人脸检测方法主要通过一个深度神经网络来实现，如专利局于2017年4月26日公布的申请号为201611130364.7，名称为一种基于主动近红外光的人脸防伪算法的发明专利申请中，通过采集主动近红外光下人脸的正类样本和负类样本，并使用训练后的基于深度神经网络的分类器对人脸进行识别。这种方法只能识别出人脸照片，单一深度神经网络学习模型对人脸特征的表达力不足并且网络复杂，处理速度慢，检活准确性较低，不能同时有效检测所有造假如：打印的照片、手机里的照片和视频、Pad里的照片和视频、3D人脸面具等。

发明内容

本发明要解决的技术问题是提供一种检测速度快、准确率高、鲁棒性好，能够同时且实时检测所有非活体人脸图像的活体人脸检测方法及装置。

为解决上述技术问题，本发明提供技术方案如下：

一种活体人脸检测方法，包括：

获取待检测的近红外人脸图像；

将所述近红外人脸图像输入至多级联分类器进行检测所述近红外人脸图像是否为活体人脸图像；

其中，所述多级联分类器中的每一级卷积神经网络能够根据所述近红外人脸图像存在的载体和方式的不同进行分工检测。

根据本发明的一实施例，

所述多级联分类器包括三级卷积神经网络，其中第一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，第二级卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，第三级卷积神经网络用于区分所有的非活体图像与所有的活体人脸。

根据本发明的一实施例，所述获取待检测的近红外人脸图像包括：

获取在近红外光源下采集的近红外图像，并检测所述近红外图像中是否有人脸；

若有人脸，则对所述近红外图像进行归一化处理，得到归一化后的人脸图像；

检测所述归一化后的人脸图像中是否存在高亮区域，若不存在，则判定所述归一化后的人脸图像即为所述近红外人脸图像。

根据本发明的一实施例，所述检测所述归一化后的人脸图像中是否有高亮区域的步骤包括：

获取所述归一化后的人脸图像的直方图，判别所述直方图中灰度值在某一区间内的任一灰度值的频率是否大于第一阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在；或者，

获取所述归一化后的人脸图像的直方图，判别所述直方图中灰度值在某一区间内的所有灰度值的累加频率是否大于第二阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在；或者，

获取所述归一化后的人脸图像中的任一个具有特定像素大小的子区域，判别所述子区域内像素的灰度值是否均大于第三阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在。

根据本发明的一实施例，所述第一级卷积神经网络、第二级卷积神经网络和第三级卷积神经网络均包括输入层、六个卷积层、六个relu层、四个max-pooling层、三个全连接层、两个dropout层和一个softmax层，其中，所述近红外人脸图像依次经过输入层、第一个卷积层、第一个relu层、第一个max-pooling层、第二个卷积层、第二个relu层、第二个max-pooling层、第三个卷积层、第三个relu层、第四个卷积层、第四个relu层、第三个max-pooling层、第五个卷积层、第五个relu层、第六个卷积层、第六个relu层、第四个max-pooling层，之后进入第一个全连接层、第一个dropout层、第二个全连接层、第二个dropout层，最后进入第三个全连接层，并由所述第三个全连接层输出一个二维特征向量，并将所述二维特征向量输入到softmax层，计算得到属于活体人脸的概率。

一种活体人脸检测装置，包括：

近红外人脸图像获取模块，用于获取待检测的近红外人脸图像；

活体检测模块，用于将所述近红外人脸图像输入至多级联分类器进行检测所述近红外人脸图像是否为活体人脸图像。

根据本发明的一实施例，

所述多级联分类器包括三级卷积神经网络，其中第一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，第二级卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，第三级卷积神经网络用于区分所有的非活体图像与所有的活体人脸。

根据本发明的一实施例，所述近红外人脸图像获取模块包括：

近红外图像获取模块，用于获取在近红外光源下采集的近红外图像，并检测所述近红外图像中是否有人脸；

归一化处理模块，用于若有人脸，则对所述近红外图像进行归一化处理，得到归一化后的人脸图像；

高亮区域检测模块，用于检测所述归一化后的人脸图像中是否存在高亮区域，若不存在，则判定所归一化后的述人脸图像即为所述近红外人脸图像。

根据本发明的一实施例，所述高亮区域检测模块包括：

第一直方图获取及判定模块，用于获取所述归一化后的人脸图像的直方图，判别所述直方图中灰度值在某一区间内的任一灰度值的频率是否大于第一阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在；或者，

第二直方图获取及判定模块，用于获取所述归一化后的人脸图像的直方图，判别所述直方图中灰度值在某一区间内的所有灰度值的累加频率是否大于第二阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在；或者，

子区域获取及判定模块，用于获取所述归一化后的人脸图像中的任一个具有特定像素大小的子区域，判别所述子区域内像素的灰度值是否均大于第三阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在。

根据本发明的一实施例，所述活体检测模块中，所述第一级卷积神经网络、第二级卷积神经网络和第三级卷积神经网络均包括输入层、六个卷积层、六个relu层、四个max-pooling层、三个全卷积层、两个dropout层和一个softmax层，其中，所述近红外人脸图像依次经过输入层、六个卷积层、六个relu层、四个max-pooling层、三个全连接层、两个dropout层和一个softmax层，其中，所述近红外人脸图像依次经过输入层、第一个卷积层、第一个relu层、第一个max-pooling层、第二个卷积层、第二个relu层、第二个max-pooling层、第三个卷积层、第三个relu层、第四个卷积层、第四个relu层、第三个max-pooling层、第五个卷积层、第五个relu层、第六个卷积层、第六个relu层、第四个max-pooling层，之后进入第一个全连接层、第一个dropout层、第二个全连接层、第二个dropout层，最后进入第三个全连接层，并由所述第三个全连接层输出一个二维特征向量，并将所述二维特征向量输入到softmax层，计算得到属于活体人脸的概率。

与现有技术相比，本发明具有以下有益效果：

本发明的活体人脸检测方法及装置，通过采用近红外手段结合多级联分类器对获取的近红外人脸图像进行检测其是否为活体人脸，其中，近红外手段可以判别手机、pad及笔记本等屏幕类设备里的图像为非活体人脸图像；多级联分类器中的每一级卷积神经网络根据近红外人脸图像存在的载体和方式的不同进行分工检测。这种结合方式以及多级联分类器的使用能够根据视频和图像所在不同材质的载体上的成像特点有针对性的检测和区分造假图像和活体人脸，更加细化、安全，提高了检测的准确率和鲁棒性，并且由于每一级的卷积神经网络的区分检测的图像的不同，使得每一级的卷积神经网络不需要很大即可完成相应的任务，由此能够快速、实时地对获取的近红外图像进行区分检测。

附图说明

图1为本发明的活体人脸检测方法的流程示意图；

图2为本发明的活体人脸检测方法中获取待检测的近红外人脸图像的流程示意图；

图3为本发明的活体人脸检测方法中非活体人脸图像的直方图；

图4为本发明的活体人脸检测方法中活体人脸图像的直方图；

图5为本发明的活体人脸检测方法的一个实施例的流程示意图；

图6为本发明的活体人脸检测装置的示意图；

图7为本发明的活体人脸检测装置中近红外人脸图像获取模块的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一方面，本发明实施例提供一种活体人脸检测方法，如图1至5所示，包括：

步骤S1：获取待检测的近红外人脸图像；

本步骤中，可以采用近红外设备获取待检测的近红外人脸图像，其中近红外设备可以包含一组中心波段为850nm或940nm的近红外灯和一个加了滤光片的镜头，其中滤光片只通过850nm或940nm波段的近红外光。

步骤S2：将近红外人脸图像输入至多级联分类器进行检测近红外人脸图像是否为活体人脸图像；

其中，所述多级联分类器中的每一级卷积神经网络能够根据所述近红外人脸图像存在的载体和方式的不同进行分工检测。

发明人在研究过程中发现，在日常生活和工作中，通常用于攻击系统的非活体来源主要有以下几种情形：

1)手机、Pad及笔记本等屏幕类设备内的人脸图像和视频。

2)照片。

材质上主要有：打印纸(如A4纸、A3纸等)、相片纸、铜版纸等；

颜色有：彩色的和黑白的。

形状有：完整的人脸图像、扣掉眼睛或鼻子或嘴巴区域的人脸图像(这样会更仿真)。

3)3D面具：普通的有塑料材质的，高仿的有类似人皮的材质等。

发明人在分析比较上述三种情形的攻击来源时，发现照片(图像)、视频、面具等载体在近红外光照下的反射率并不相同，并呈现出以下特点：

a)手机、Pad及笔记本等屏幕类设备内的人脸图像和视频在近红外光照下不成像(即没有人脸)。

b)A4纸上打印的黑白图像(包括彩色打成黑白的，以及本身就是黑白的近红外图像)，在近红外光照下会有一些横竖的条纹，这部分是因为A4纸的原料主要是植物纤维，从而在近红外光照下呈现出较规则的纹理。

c)A4纸上打印的彩色图像，以及相片纸、铜版纸等上打印的彩色图像和黑白图像，由于油墨以及本身材质的缘故，手感光滑，而且在近红外下的成像相对于真实的人脸反射率大。

d)扣掉眼睛或鼻子或嘴巴区域的人脸图像，在近红外光照下，扣掉区域的边缘痕迹相对于可见光明显很多。

e)普通塑料材质的3D面具在近红外下的成像相对于人脸反射率大，而高仿材质(如类似人皮的材质)相对于真实的人脸也是存在差别。

由上述分析可知，在近红外光照下a)类情形下的攻击来源可以天然地防住手机、pad及笔记本等屏幕内的图像和视频。若待检测的图像不能被近红外光识别，则可以无需进行后续检测即可直接确定该图像不是活体人脸。

因此，多级联分类器只需检测上述b)～d)类情形下的图像即可，进一步减小了多级分类器的检测图像的数量和类别，因此不需要太大的多级分类器即可完成检测任务。

之后根据b)～d)类情形下的图像的成像特点及其所在载体材质的不同分别使用不同级的卷积神经网络进行检测区分，其中，

将上述b)类，即打印或复印在A4纸上的黑白图像当作一类，和所有的活体人脸做分类，由第一级卷积神经网络进行检测区分；

将上述c)类，即打印或复印在A4纸上的彩色图像以及相片纸、铜版纸类上的彩色图像和黑白图像当作一类，和所有的活体人脸做分类，由第二级卷积神经网络进行检测区分；

由于在日常生活和工作中，通常用于攻击系统的非活体来源主要有是b)类和c)类，因此，本发明实施例中的多级联分类器可以采用两级联分类器，包括两级卷积神经网络，其中一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，即将上述b)类的非活体人脸图像与活体人脸进行分类检测，一级卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，即将上述c)类的非活体人脸图像与人脸活体人脸进行分类检测。

而为了使得多级联分类器能够区分所有的分活体人脸图像与活体人脸，还可以将上述b)～d)类以及所有非活体人脸的图像当作一类，与所有的活体人脸做分类。这种情况下，多级联分类器可以采用三级联分类器，其包括三级卷积神经网络，其中，其中一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，即将上述b)类的非活体人脸图像与活体人脸进行分类检测，一级卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，即将上述c)类的非活体人脸图像与活体人脸进行分类检测；一级卷积神经网络用于区分所有的非活体图像与所有的活体人脸，即将上述b)～d)类以及所有非活体人脸的图像与活体人脸进行分类检测。

优选的，三级卷积神经网络的设置顺序为：第一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，第二卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，第三级卷积神经网络用于区分所有的非活体图像与所有的活体人脸，此种设置顺序使得整个三级神经网络的活体检测速度最快。

三级卷积神经网络根据待检测的近红外人脸图像类别的不同进行检测区分，待检测的近红外人脸图像在每级卷积神经网络下检测的内容不同，使得每级卷积神经网络的工作内容更加细化，能够进一步减小每级卷积神经网络的大小，并且提高了检测速度和实时性。

为了进一步提高检测的准确率、鲁棒性和安全性，发明人设计了第三级卷积神经网络用于检测区分所有非活体的人脸图像和活体人脸，由于第一级卷积神经网络和第二级卷积神经网络已经检测区分出了一部分图像，到达第三级卷积神经网络的图像就会很少，第三级卷积神经网络即使对图像进行全面检测区分，也不需要很大的结构。

综上所述，本发明的活体人脸检测方法准确率高、鲁棒性好、检测速度快，并且能够实时对获取的图像进行检测区分。

当然，多级联分类器除了采用两级卷积神经网络和三级卷积神经网络对近红外人脸图像进行分类检测以外，还可以采用三级以上的卷积神经网络，其分类检测的原理和方式均与两级卷积神经网络和三级卷积神经网络进行分类检测的原理和方式相同。

此外，需要说明的是，多级联分类器对近红外人脸图像进行分类检测时，每级卷积神经网络区分的非活体人脸图像的类型没有严格顺序，只需要保证大部分类型的非活体人脸图像和活体人脸都能被区分开来即可。此外，当为三级以上的分类器时，只需让最后一级卷积神经网络检测区分所有类型的非活体人脸图像和活体人脸即可，这样能够保证每级卷积神经网络的结构都很小，同时还能提高检测的速度和实时性。

作为本发明一实施例的一种改进，步骤S1优选包括：

步骤S101：获取在近红外光源下采集的近红外图像，并检测近红外图像中是否有人脸；

本步骤中，检测近红外图像中是否有人脸的方法可以采用本领技术人常用的方法，如利用Haar特征的AdaBoost人脸检测算法等。

步骤S102：若有人脸，则对近红外图像进行归一化处理，得到归一化后的人脸图像；

本步骤中，对近红外图像进行归一化处理时，可以采用插值法将近红外图像归一化到64×64像素，有利于增强算法的鲁棒性。

对近红外图像进行归一化处理的方法以采用本领技术人常用的方法，如：双线性插值法、三线性插值法等。

此外，本步骤中，若没有人脸，则直接判别该近红外图像为非活体人脸，输出结果并结束。

步骤S103：检测人脸图像中是否存在高亮区域，若不存在，则判定人脸图像即为近红外人脸图像。

本步骤中，发明人在研究过程中发现，由于人脸图像在部分材质上的反射率高于活体人脸的反射率，会导致在该材质上的人脸图像的部分区域过亮，呈现在灰度直方图上，如图3所示(其中横坐标表示灰度值，纵坐标表示频率)，非活体人脸图像的直方图中，在尾部有个突起。而活体人脸的直方图如图4所示(其中横坐标表示灰度值，纵坐标表示频率)，其尾部比较平滑。

因此，通过高亮区域检测，能够判别一部分人脸图像是否是活体人脸图像，若通过高亮区域检测判别该人脸图像为活体人脸，则将该人脸图像定义为近红外人脸图像，以进行下一步检测；若通过高亮区域检测判别该人脸图像不是活体人脸，则直接判别该人脸图像为非活体人脸，输出结果并结束。

本发明的一实施例中，步骤S103中检测人脸图像中是否存在高亮区域可以采用以下三种方式进行判别：

第一种方式：先获取人脸图像的直方图，之后判别该直方图中灰度值在某一区间内的任一灰度值的频率是否大于第一阈值，若否，则判定该人脸图像不存在高亮区域，即为活体人脸的图像，如图4所示(其中横坐标表示灰度值，纵坐标表示频率)，并将该人脸图像定义为近红外人脸图像，以进行下一步检测；若小于等于第一阈值，则判定该人脸图像存在高亮区域，即为非活体人脸，如图3所示(其中横坐标表示灰度值，纵坐标表示频率)。

本步骤中，第一阈值与选取的人脸图像的直方图中的灰度值的区间有关，如当灰度值的区间在240～250范围内时，第一阈值相应的选取0.2。

第二种方式：也要先获取人脸图像的直方图，之后判别直方图中灰度值在某一区间内的所有灰度值的累加频率是否大于第二阈值，若否，则判定人脸图像不存在高亮区域，即为活体人脸的图像，如图4所示(其中横坐标表示灰度值，纵坐标表示频率)，并将该人脸图像定义为近红外人脸图像，以进行下一步检测；若小于等于第二阈值，则判定该人脸图像存在高亮区域，即为非活体人脸，如图3所示(其中横坐标表示灰度值，纵坐标表示频率)。

同样的，本步骤中，第二阈值也与选取的人脸图像的直方图中的灰度值的区间有关，如当灰度值的区间在240～250范围内时，第二阈值相应的选取0.4。

第三种方式：不通过直方图的方式，而是先获取人脸图像中的任一个具有特定像素大小的子区域，之后判别该子区域内像素的灰度值是否均大于第三阈值，若否，则判定该人脸图像不存在高亮区域，即为活体人脸的图像，并将该人脸图像定义为近红外人脸图像，以进行下一步检测；若是，则该人脸图像存在高亮区域，即为非活体人脸的图像。

同样的，本步骤中，第三阈值与选取的子区域的像素大小有关，如子区域的像素大小为10×10时，第三阈值相应的选取220。

图5给出了采用本发明的活体人脸检测方法的一个具体实施例，该实施例采用三级卷积神经网络，包括：第一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，第二卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，第三级卷积神经网络用于区分所有的非活体图像与所有的活体人脸。具体步骤如下：

首先，获取待检测的近红外图像；

之后，检测该近红外图像中是否有人脸；

若无人脸，则判别该近红外图像为非活体人脸，并结束；若有人脸，则对该近红外图像进行归一化处理；

对该近红外图像进行归一化处理之后，检测该近红外图像是否存在高亮区域；

若存在高亮区域，则判别该近红外图像为非活体人脸，并结束；若不存在高亮区域，则将该近红外图像输入第一级卷积神经网络进行检测判别是否为活体人脸；

若不是活体人脸，则判别该近红外图像为非活体人脸，并结束；若是活体人脸，则将该近红外图像输入第二级卷积神经网络进行检测判别是否为活体人脸；

若不是活体人脸，则判别该近红外图像为非活体人脸，并结束；若是活体人脸，则将该近红外图像输入第三级卷积神经网络进行检测判别是否为活体人脸；

若不是活体人脸，则判别该近红外图像为非活体人脸，并结束；若是活体人脸，则判别该近红外图像为活体人脸，最后输出判别结果。

本发明的一实施例中，第一级卷积神经网络、第二级卷积神经网络和第三级卷积神经网络优选采用以下网络结构，其均包输入层、六个卷积层、六个relu层、四个max-pooling层、三个全连接层、两个dropout层和一个softmax层，其中，所述近红外人脸图像依次经过输入层、第一个卷积层、第一个relu层、第一个max-pooling层、第二个卷积层、第二个relu层、第二个max-pooling层、第三个卷积层、第三个relu层、第四个卷积层、第四个relu层、第三个max-pooling层、第五个卷积层、第五个relu层、第六个卷积层、第六个relu层、第四个max-pooling层，之后进入第一个全连接层、第一个dropout层、第二个全连接层、第二个dropout层，最后进入第三个全连接层，并由第三个全连接层输出一个二维特征向量，并将二维特征向量输入到softmax层，计算得到属于活体人脸的概率。

本发明实施例的第一、第二和第三级卷积神经网络的第四个卷积层和第六个卷积层均为分组卷积层，第四个卷积层是随机选取了50％的第三个卷积层的输出特征进行卷积处理，第六个卷积层是随机选取了50％的第五个卷积层的输出特征进行卷积处理。

第一级卷积神经网络和第二级卷积神经网络的结构和大小相同，如表1所示，第三级卷积神经网络的结构和大小如表2所示，其中relu层隐含在卷积层中未详细列出。

表1

表2

由上述表1和表2所示，第一级卷积神经网络、第二级卷积神经网络和第三级卷积神经网络的大小均不超过2.5M。

关于多级联分类器的训练：

1.在样本数量上，共采集了100多人的7万多张活体人脸的近红外图像，采集了各种非活体的图像22万多张，并且为了增多数量和保真度，对图像只进行了水平翻转处理。

2.网络参数的初始化：可以自定义卷积层的初始化参数，也可以经典网络模型训练出的模型参数，例如：采用VGG在Image Net图像集上训练出处的模型参数进行相应的卷积层参数的初始化。

3.网络参数的训练：采用深度学习框架MatConvNet进行训练，训练了30个回合，学习率从1e^-03降至1e^-06,每批次100个样本。

上述训练的模型在测试集上，能够完全把非活体分辨出来，即误识率是0％，同时活体人脸的拒真率是0.1％。

此外，采用本发明实施例的活体人脸检测方法使用I5单核CPU处理器上对获取的图像检测处理是否是活体人脸图像时，其检测处理时间能够达到每秒30～40帧，完全能够满足实时检测的要求。

另一方面，本发明实施例还提供一种活体人脸检测装置，如图6和7所示，包括：

近红外人脸图像获取模块11，用于获取待检测的近红外人脸图像；

检测模块12，用于将近红外人脸图像输入至多级联分类器进行检测近红外人脸图像是否为活体人脸图像；

其中，多级联分类器中的每一级卷积神经网络能够根据近红外人脸图像存在的载体和方式的不同进行分工检测。

本发明实施例的活体人脸检测装置通过采用近红外手段结合多级联分类器对获取的近红外人脸图像进行检测其是否为活体人脸，其中，近红外手段可以判别手机、pad及笔记本等屏幕类设备里的图像为非活体人脸图像；多级联分类器中的每一级卷积神经网络根据非活体人脸图像存在的载体和方式不同进行分工检测。这种结合方式以及三级联分类器的使用能够根据视频和图像所在不同材质的载体上的成像特点有针对性的检测和区分造假图像和活体人脸，更加细化、安全，提高了检测的准确率和鲁棒性，并且由于每一级的卷积神经网络的检测图像的类别不同，使得每一级的卷积神经网络不需要很大即可完成相应的任务，由此能够快速、实时地对获取的图像进行检测。

本发明实施例中，多级联分类器既可以采用两级联分类器，其包括两级卷积神经网络，其中一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，一级卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸；

或者，多级联分类器也可以采用三级联分类器，其包括三级卷积神经网络，其中一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，一级卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，一级卷积神经网络用于区分所有的非活体图像与所有的活体人脸；

优选的，三级卷积神经网络的设置顺序为：第一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，第二卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，第三级卷积神经网络用于区分所有的非活体图像与所有的活体人脸，此种设置顺序使得整个三级神经网络的活体检测速度最快。

作为本发明实施例的一种改进，近红外人脸图像获取模块11优选包括：

近红外图像获取模块111，用于获取在近红外光源下采集的近红外图像，并检测近红外图像中是否有人脸；

归一化处理模块112，用于若有人脸，则对近红外图像进行归一化处理，得到归一化后的人脸图像；

高亮区域检测模块113，用于检测人脸图像中是否存在高亮区域，若不存在，则判定归一化后的人脸图像即为近红外人脸图像。

通过高亮区域检测，能够判别一部分人脸图像是否是活体人脸图像，若是，则判定该归一化后的人脸图像为活体人脸，并将该归一化后的人脸图像定义为近红外人脸图像，以进行下一步检测；若不是，则直接判别该归一化后的人脸图像为非活体人脸，输出结果并结束。

具体的，高亮区域检测模块113可以采用以下三种形式的模块来实现：

第一种形式：采用第一直方图获取及判定模块，用于获取人归一化后的脸图像的直方图，判别直方图中灰度值在某一区间内的任一灰度值的频率是否大于第一阈值，若是，则判定归一化后的人脸图像存在高亮区域，若否，则不存在；

第二种形式：采用第二直方图获取及判定模块，用于获取归一化后的人脸图像的直方图，判别直方图中灰度值在某一区间内的所有灰度值的累加频率是否大于第二阈值，若是，则判定归一化后的人脸图像存在高亮区域，若否，则不存在；

第三种形式：采用子区域获取及判定模块，用于获取归一化后的人脸图像中的任一个具有特定像素大小的子区域，判别所述子区域内像素的灰度值是否均大于第三阈值，若是，则判定归一化后的人脸图像存在高亮区域，若否，则不存在。

本发明的一实施例中，归一化处理处理模块优选进一步为：用于采用插值法将近红外图像归一化到64×64像素。

本发明的一实施例中，检测模块中，第一级卷积神经网络、第二级卷积神经网络和第三级卷积神经网络均优选包括输入层、六个卷积层、六个relu层、四个max-pooling层、三个全连接层、两个dropout层和一个softmax层，其中，所述近红外人脸图像依次经过输入层、第一个卷积层、第一个relu层、第一个max-pooling层、第二个卷积层、第二个relu层、第二个max-pooling层、第三个卷积层、第三个relu层、第四个卷积层、第四个relu层、第三个max-pooling层、第五个卷积层、第五个relu层、第六个卷积层、第六个relu层、第四个max-pooling层，之后进入第一个全连接层、第一个dropout层、第二个全连接层、第二个dropout层，最后进入第三个全连接层，并由第三个全连接层输出一个二维特征向量，并将二维特征向量输入到softmax层，计算得到属于活体人脸的概率。

本发明实施例的第一、第二和第三级卷积神经网络的第四个卷积层和第六个卷积层均为分组卷积层，第四个卷积层是随机选取了50％的第三个卷积层的输出特征进行卷积处理，第六个卷积层是随机选取了50％的第五个卷积层的输出特征进行卷积处理。

综上所述，本发明的活体人脸检测方法和装置准确率高、鲁棒性好、检测速度快，并且能够实时对获取的图像进行检测。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种活体人脸检测方法，其特征在于，包括：

获取待检测的近红外人脸图像；

将所述近红外人脸图像输入至多级联分类器进行检测所述近红外人脸图像是否为活体人脸；

其中，所述多级联分类器中的每一级卷积神经网络能够根据所述近红外人脸图像存在的载体和方式的不同进行分工检测；

每一级卷积神经网络均包括输入层、六个卷积层、六个relu层、四个max-pooling层、三个全连接层、两个dropout层和一个softmax层，其中，所述近红外人脸图像依次经过输入层、第一个卷积层、第一个relu层、第一个max-pooling层、第二个卷积层、第二个relu层、第二个max-pooling层、第三个卷积层、第三个relu层、第四个卷积层、第四个relu层、第三个max-pooling层、第五个卷积层、第五个relu层、第六个卷积层、第六个relu层、第四个max-pooling层，之后进入第一个全连接层、第一个dropout层、第二个全连接层、第二个dropout层，最后进入第三个全连接层，并由所述第三个全连接层输出一个二维特征向量，并将所述二维特征向量输入到softmax层，计算得到属于活体人脸的概率。

2.根据权利要求1所述的活体人脸检测方法，其特征在于，

所述多级联分类器包括三级卷积神经网络，其中第一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，第二级卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，第三级卷积神经网络用于区分所有的非活体图像与所有的活体人脸。

3.根据权利要求1所述的活体人脸检测方法，其特征在于，所述获取待检测的近红外人脸图像包括：

获取在近红外光源下采集的近红外图像，并检测所述近红外图像中是否有人脸；

若有人脸，则对所述近红外图像进行归一化处理，得到归一化后的人脸图像；

检测所述归一化后的人脸图像中是否存在高亮区域，若不存在，则判定所述归一化后的人脸图像即为所述近红外人脸图像。

4.根据权利要求3所述的活体人脸检测方法，其特征在于，所述检测所述归一化后的人脸图像中是否有高亮区域的步骤包括：

获取所述归一化后的人脸图像的直方图，判别所述直方图中灰度值在某一区间内的任一灰度值的频率是否大于第一阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在；或者，

获取所述归一化后的人脸图像的直方图，判别所述直方图中灰度值在某一区间内的所有灰度值的累加频率是否大于第二阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在；或者，

获取所述归一化后的人脸图像中的任一个具有特定像素大小的子区域，判定所述子区域内像素的灰度值是否均大于第三阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在。

5.一种活体人脸检测装置，其特征在于，包括：

近红外人脸图像获取模块，用于获取待检测的近红外人脸图像；

活体检测模块，用于将所述近红外人脸图像输入至多级联分类器进行检测所述近红外人脸图像是否为活体人脸图像；

其中，所述多级联分类器中的每一级卷积神经网络能够根据所述近红外人脸图像存在的载体和方式的不同进行分工检测；

每一级卷积神经网络均包括输入层、六个卷积层、六个relu层、四个max-pooling层、三个全连接层、两个dropout层和一个softmax层，其中，所述近红外人脸图像依次经过输入层、第一个卷积层、第一个relu层、第一个max-pooling层、第二个卷积层、第二个relu层、第二个max-pooling层、第三个卷积层、第三个relu层、第四个卷积层、第四个relu层、第三个max-pooling层、第五个卷积层、第五个relu层、第六个卷积层、第六个relu层、第四个max-pooling层，之后进入第一个全连接层、第一个dropout层、第二个全连接层、第二个dropout层，最后进入第三个全连接层，并由所述第三个全连接层输出一个二维特征向量，并将所述二维特征向量输入到softmax层，计算得到属于活体人脸的概率。

6.根据权利要求5所述的活体人脸检测装置，其特征在于，

所述多级联分类器包括三级卷积神经网络，其中第一级卷积神经网络用于区分位于打印纸上的黑白图像与所有的活体人脸，第二级卷积神经网络用于区分彩色图像和位于相片纸、铜版纸上的黑白图像与所有的活体人脸，第三级卷积神经网络用于区分所有的非活体图像与所有的活体人脸。

7.根据权利要求5所述的活体人脸检测装置，其特征在于，所述近红外人脸图像获取模块包括：

近红外图像获取模块，用于获取在近红外光源下采集的近红外图像，并检测所述近红外图像中是否有人脸；

归一化处理模块，用于若有人脸，则对所述近红外图像进行归一化处理，得到归一化后的人脸图像；

高亮区域检测模块，用于检测所述归一化后的人脸图像中是否存在高亮区域，若不存在，则判定所述归一化后的人脸图像即为所述近红外人脸图像。

8.根据权利要求7所述的活体人脸检测装置，其特征在于，所述高亮区域检测模块包括：

第一直方图获取及判定模块，用于获取所述归一化后的人脸图像的直方图，判别所述直方图中灰度值在某一区间内的任一灰度值的频率是否大于第一阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在；或者，

第二直方图获取及判定模块，用于获取所述归一化后的人脸图像的直方图，判别所述直方图中灰度值在某一区间内的所有灰度值的累加频率是否大于第二阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在；或者，

子区域获取及判定模块，用于获取所述归一化后的人脸图像中的任一个具有特定像素大小的子区域，判别所述子区域内像素的灰度值是否均大于第三阈值，若是，则判定所述归一化后的人脸图像存在高亮区域，若否，则不存在。

Images