CN108898112A

CN108898112A - 一种近红外人脸活体检测方法及系统

Info

Publication number: CN108898112A
Application number: CN201810710607.7A
Authority: CN
Inventors: 王浩然; 张奔奔
Original assignee: Northeastern University China
Current assignee: Northeastern University China
Priority date: 2018-07-03
Filing date: 2018-07-03
Publication date: 2018-11-27

Abstract

本发明提供一种近红外人脸活体检测方法。本发明方法，包括：S1、通过近红外摄像头采集原始正样本和原始负样本，S2、通过深度学习中的人脸区域检测模型对原始样本进行预处理，筛选出可以送入网络训练的标准人脸图像，S3、将筛选出的适合网络训练的正、负样本构建训练集和测试集，带入轻量级的卷积神经网络进行训练，得到训练的人脸活体检测模型；S4、将近红外摄像头采集的需要判断的图像输入到人脸活体检测模型中进行活体判断。本发明通过轻量级的卷积神经网络减少了参数量，减小了模型的大小，更方便移植到移动端，基于上述理由本发明可在生物特征识别技术领域广泛推广。

Description

一种近红外人脸活体检测方法及系统

技术领域

本发明涉及生物特征识别技术领域，尤其涉及一种近红外人脸活体检测方法及系统。

背景技术

随着计算机技术的快速发展，生物特征识别技术的识别率也在稳步提高，在各种识别技术中，人脸识别因其安全性高，稳定性好且具有自然性、非接触性以及隐蔽性等优点，被广泛应用于刑事侦查，监控系统以及安全检测技术中。假脸攻击是指非法用户试图通过提供虚假数据，即翻拍合法用户图片，视频以及3D模具等方式来获得系统访问权限，其中翻拍合法用户图片和视频截取用户图片，由于成本低廉及实现简单，成为非法入侵者使用的主要攻击斱式，针对这类攻击，目前主要采用人脸活体检测技术进行识别。

现有的对活体人脸检测算法的研究大体可分为两类：静态检测算法和动态检测算法，但这两种算法均手段单一，不能准确描述活体人脸的特点,对多类型攻击手段的人脸欺诈斱式的检测精度不够高，不具有鲁棒性，受场景约束度较高，近年来，虽然将卷积神经网络引入生物特征识别算法，但因为其较为繁琐的计算方式、网络训练时间长和梯度容易消失的原因而未能大规模应用到移动端或嵌入式装置中。

发明内容

根据上述提出的技术问题，而提供一种简化参数量，便于移植到移动端的基于轻量级网络的近红外人脸活体检测方法及系统。本发明采用的技术手段如下：

一种近红外人脸活体检测方法，包括如下步骤：

S1、通过近红外摄像头采集带有人脸的原始图像作为原始正样本，将部分原始正样本打印得到的打印图像作为原始负样本；

S2、通过深度学习中的卷积神经网络训练的人脸区域检测模型对原始正样本和原始负样本进行预处理，筛选出可以送入网络训练的标准人脸图像；

S3、将筛选出的适合网络训练的正、负样本构建训练集和测试集，带入轻量级的卷积神经网络进行训练，得到训练的人脸活体检测模型，其中，构建所述轻量级的卷积神经网络参数包括：用于提取脸部特征的卷积层，用于使部分神经元的权值归零的激活函数层，每个卷积层和激活函数层之间的用于加速模型的收敛的批量归一化层和通过重构函数增强神经网络表达能力的缩放层以及池化层、全连接层和多分类层；

S4、将近红外摄像头采集的需要判断的图像输入到人脸活体检测模型中进行活体判断。

进一步地，步骤S1中，得到原始负样本后，通过红外摄像头对原始负样本进行二次采集，所述二次采集包括原始负样本进行如下操作并采集：垂直、水平的前后移动；沿着垂直轴左右旋转；沿着水平轴前后旋转；沿着垂阵轴向里外弯曲；沿着水平轴向里外弯曲，通过二次采集将没有人脸的图像剔除，得到合适的打印图像，作为原始训练集。

进一步地，所述训练集和测试集中图片数量比例为4:1，图片像素值为X*X。

进一步地，所述步骤S3中，构建轻量级的卷积神经网络，包括：初始的卷积层、4个分离的卷积层和1个池化层、1个全脸阶层、1个多分类层，所述分离的卷积层包括深度卷积和逐点卷积，

通过堆叠多个卷积核，进行相应的卷积运算，其中，初始的卷积层卷积核尺寸为3*3，各分离层的深度卷积的卷积核尺寸为3*3，各分离层的逐点卷积的卷积核尺寸为1*1。

进一步地，所述步骤S3中，训练集和测试集的图片每次送给网络N张，所述初始的卷积层的卷积核的个数为N，通过调整卷积操作的步长L₁，经过初始的卷积层后得到N个像素为X/2*X/2的特征图像。

进一步地，经过初始的卷积层后，调整第一层深度卷积的扩充像素值为1，步长为L₂，输出通道为2N，进行深度卷积，得到第一层深度卷积后的特征图的大小为X/4*X/4，然后调整第一层逐点卷积的扩充像素值为0，步长为L₃，输出通道为4N，特征图大小为X/4*X/4。

进一步地，通过调整参数，依次进行第二、三、四层的深度卷积和逐点卷积，其中，第二、三、四层的深度卷积的扩充像素值均为1，步长均为L₂，输出通道分别为4N，8N，16N，深度卷积后的特征图的大小分别为X/8*X/8，X/16*X/16，X/32*X/32；第二、三、四层的逐点卷积的扩充像素值均为0，步长均为L₃，输出通道分别为8N，16N，32N逐点卷积后的特征图的大小分别为X/8*X/8，X/16*X/16，X/32*X/32。

进一步地，对第四层的逐点卷积后的特征图进行全局平均池化操作，输出通道不变，将特征图尺寸变为1*1，最后经过一个全连接层和多分类层分成两个任务，进行两种活体属性判断。

一种近红外人脸活体检测系统，包括：

图像采集模块，用于对人脸进行近景图像采集，将采集到的图像作为原始的正样本，打印在纸上的原始正样本作为原始负样本，将其对着红外摄像头进行二次采集；

图像预处理模块，用于对采集到的原始图像进行人脸区域采集，作为训练活体检测模型所需要的标准的正负样本；

活体检测模型训练模块，通过搭建轻量级的卷积神经网络，设置各参数，进行模型的训练，得到人脸活体检测模型。

进一步地，所述系统还包括测试模块，用于将人脸区域检测和人脸活体检测模型封装为动态库，并进行移植到移动端的测试。

本发明通过轻量级的卷积神经网络来避免使用照片欺诈来获取人脸识别的情况，轻量级的卷积神经网络大大减少了参数量，同时减小了模型的大小，更方便移植到移动端，基于上述理由本发明可在生物特征识别技术领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明近红外人脸活体检测方法流程图。

图2为本发明近红外人脸活体检测系统模块图。

图3为本发明轻量级卷积神经网络结构示意图。

图4为本发明实施例原始正样本示意图。

图5为本发明实施例原始负样本示意图。

图6为本发明实施例训练正样本示意图。

图7为本发明实施例训练负样本示意图。

图8为本发明实施例模型测试正样本示意图。

图9为本发明实施例模型测试负样本示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种近红外人脸活体检测方法，包括如下步骤：

步骤S1中，得到原始负样本后，通过红外摄像头对原始负样本进行二次采集，所述二次采集包括原始负样本进行如下操作并采集：垂直、水平的前后移动；沿着垂直轴左右旋转；沿着水平轴前后旋转；沿着垂阵轴向里外弯曲；沿着水平轴向里外弯曲，通过二次采集将没有人脸的图像剔除，得到合适的打印图像，作为原始训练集。

所述训练集和测试集中图片数量比例为4:1，图片像素值为X*X。

如图3所示，所述步骤S3中，构建轻量级的卷积神经网络，包括：初始的卷积层、4个分离的卷积层和1个池化层、1个全脸阶层、1个多分类层，所述分离的卷积层包括深度卷积和逐点卷积，

训练集和测试集的图片每次送给网络N张，所述初始的卷积层的卷积核的个数为N，通过调整卷积操作的步长L₁，经过初始的卷积层后得到N个像素为X/2*X/2的特征图像。

经过初始的卷积层后，调整第一层深度卷积的扩充像素值为1，步长为L₂，输出通道为2N，进行深度卷积，得到第一层深度卷积后的特征图的大小为X/4*X/4，然后调整第一层逐点卷积的扩充像素值为0，步长为L₃，输出通道为4N，特征图大小为X/4*X/4。

通过调整参数，依次进行第二、三、四层的深度卷积和逐点卷积，其中，第二、三、四层的深度卷积的扩充像素值均为1，步长均为L₂，输出通道分别为4N，8N，16N，深度卷积后的特征图的大小分别为X/8*X/8，X/16*X/16，X/32*X/32；第二、三、四层的逐点卷积的扩充像素值均为0，步长均为L₃，输出通道分别为8N，16N，32N逐点卷积后的特征图的大小分别为X/8*X/8，X/16*X/16，X/32*X/32。

对第四层的逐点卷积后的特征图进行全局平均池化操作，输出通道不变，将特征图尺寸变为1*1，最后经过一个全连接层和多分类层分成两个任务，进行两种活体属性判断。

如图2所示，一种近红外人脸活体检测系统，包括：

所述系统还包括测试模块，用于将人脸区域检测和人脸活体检测模型封装为动态库，并进行移植到移动端的测试。

实施例1

使用OpenCV代码调用近红外摄像头对人员采集图像，每秒采集5张并保存在本地，通过对人员进行近景图像采集，被采集人员需要有正面、侧面、眨眼等面貌，采集到的大量的图像作为原始的正样本。然后，要将原始的正样本图像打印到纸上，再次对着红外摄像头进行二次采集，为了丰富数据集，被采集的照片需要有各种变换形式，采集到的图像作为原始的负样本。原始的正、负样本如图4、5所示。二次采集时，采用了5种方式：包括垂直、水平的前后移动；沿着垂直轴左右旋转；沿着水平轴前后旋转；沿着垂阵轴向里外弯曲；沿着水平轴向里外弯曲，在每种情况下，打印图像还存在着上下、左右、前后的空间位置移动，同样也要将没有人脸的图像给剔除掉，其余的为合适的打印图像。本步骤的任务是采集原始的正样本和负样本，构建原始训练集。

使用深度学习中的卷积神经网络训练的人脸检测模型(使用的SSD检测网络所训练)，将采集到的原始正样本和原始负样本分别送入模型中，可以得到大量的人脸区域的图像。通过筛选，剔除到有缺陷的人脸区域图像或检测到的非人脸图像，即可得到标准的红外人脸图像。

构建轻量级的卷积神经网络模型，模型输入数据为标准的人脸图片，正样本和负样本的图片数分别为12506张和7812张，将训练集和测试集按4:1的比例，将图片裁剪为224*224之后，每次送给网络32张图片训练，初始学习率为0.01，一共训练50000次。经过多个卷积层、激活函数层、批量归一化层、缩放层、去掉层。卷积层用来提取脸部特征，激活函数层用来使部分神经元的权值为0，增加了稀疏性，批量归一化层可以加速模型的收敛，并结合非线性单元提高算法检测性能。

在本步骤中，第一个卷积层的卷积核的个数为32个，每个卷积核的尺寸为3*3，卷积操作的步长为2，经过第一个卷积层后得到32个像素为112*112的特征图像。每个卷积层和激活函数层之间都连接着一个批量归一化层，当随着网络层数的增加，如果没有批量归一化层，当进行反向传播计算网络的梯度时，梯度会越来越小，慢慢变为0，即权值不再更新，出现梯度消失的情况。而批量归一化层将神经元的输出压缩到均值为0、方差为1，神经元都被规范化到了一种分布上，如果直接输出，那么神经网络的表达能力变得很差，前面层学习的特征也会被破坏。相应的，激活函数层通过加入重构参数，再将其变换回去，从而避免了上述问题的发生。Sigmoid和Tanh激活函数计算量大，在进行反向传播求梯度误差时，很容易出现梯度饱和，进而出现梯度消失的情况，使用激活函数的话，将部分神经元的权值置为0，造成了稀疏性，避免了过拟合和梯度消失的问题。为了减少参数量，达到可移植到移动端的目的，第二个卷积层采用分离的卷积层，先用3*3的卷积核，扩充像素值为1，步长为2，输出通道数为64，进行深度卷积，此时特征图的大小为56*56。再使用1*1的卷积核，扩充像素值为0，步长为1，输出通道数为128，进行逐点卷积，特征图的大小不变。这样把卷积分离成两部分进行，参数量大约可以变为原来的1/9，那么训练出来的模型占用的空间也会小很多。接下来的卷积层操作和第二层类似，只是改变了部分参数。在第三个卷积层中，同样先是使用3*3的卷积核，扩充像素值为1，步长为2，输出通道数为128，进行深度卷积，此时特征图的大小为28*28。再使用1*1的卷积核，扩充像素值为0，步长为1，输出通道数为256，进行逐点卷积，特征图大小不变。在第四个卷积层中，先使用3*3的卷积核，扩充像素值为1，步长为2，输出通道数为256，此时特征图的大小为14*14，再使用1*1的卷积核，扩充像素值为0，步长为1，输出通道数为512，特征图大小不变。在第五个卷积层中，同样是先先使用3*3的卷积核，扩充像素值为1，步长为2，输出通道数为512，此时特征图大小为7*7，再使用1*1的卷积核，扩充像素值为0，步长为1，输出通道数为1024，特征图大小不变。之后经过一个池化层，进行全局平均池化，通道数不变，特征图尺寸变为1*1，全局平均池化对整个网络在结构上做正则化防止过拟合，直接剔除了全连接层中黑箱的特征，直接赋予了每个通道实际的类别意义，代替了两个全连接层，大大减少了参数量，同时模型的大小也被减小。最后经过一个全连接层和多分类层后，分成两个任务，进行两种活体属性判断(真或假)。在多层卷积中，低层卷积学习脸部基本特征，如边缘、棱角信息，随着层次加深，高层卷积特征为更抽象的特征，在卷积神经网络中通过卷积层进行脸部特征学习，然后每个任务进行相应活体属性状态分类，在整个端到端过程中只需要对图像进行一次特征学习和分类。

如图8、9所示，将人脸区域检测、人脸活体检测的模型和模型的配置文件封装为.dll动态库，在VS2013下输入单张红外摄像头采集到的图片的路径，即可判断出是活体还是假体了。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种近红外人脸活体检测方法，其特征在于，包括：如下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤S1中，得到原始负样本后，通过红外摄像头对原始负样本进行二次采集，所述二次采集包括原始负样本进行如下操作并采集：垂直、水平的前后移动；沿着垂直轴左右旋转；沿着水平轴前后旋转；沿着垂阵轴向里外弯曲；沿着水平轴向里外弯曲，通过二次采集将没有人脸的图像剔除，得到合适的打印图像，作为原始训练集。

3.根据权利要求1所述的方法，其特征在于，所述训练集和测试集中图片数量比例为4:1，图片像素值为X*X。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3中，构建轻量级的卷积神经网络，包括：初始的卷积层、4个分离的卷积层和1个池化层、1个全脸阶层、1个多分类层，所述分离的卷积层包括深度卷积和逐点卷积，

5.根据权利要求4所述的方法，其特征在于，所述步骤S3中，训练集和测试集的图片每次送给网络N张，所述初始的卷积层的卷积核的个数为N，通过调整卷积操作的步长L₁，经过初始的卷积层后得到N个像素为X/2*X/2的特征图像。

6.根据权利要求5所述的方法，其特征在于，经过初始的卷积层后，调整第一层深度卷积的扩充像素值为1，步长为L₂，输出通道为2N，进行深度卷积，得到第一层深度卷积后的特征图的大小为X/4*X/4，然后调整第一层逐点卷积的扩充像素值为0，步长为L₃，输出通道为4N，特征图大小为X/4*X/4。

7.根据权利要求6所述的方法，其特征在于，通过调整参数，依次进行第二、三、四层的深度卷积和逐点卷积，其中，第二、三、四层的深度卷积的扩充像素值均为1，步长均为L₂，输出通道分别为4N，8N，16N，深度卷积后的特征图的大小分别为X/8*X/8，X/16*X/16，X/32*X/32；第二、三、四层的逐点卷积的扩充像素值均为0，步长均为L₃，输出通道分别为8N，16N，32N逐点卷积后的特征图的大小分别为X/8*X/8，X/16*X/16，X/32*X/32。

8.根据权利要求7所述的方法，其特征在于，对第四层的逐点卷积后的特征图进行全局平均池化操作，输出通道不变，将特征图尺寸变为1*1，最后经过一个全连接层和多分类层分成两个任务，进行两种活体属性判断。

9.一种近红外人脸活体检测系统，包括：

10.根据权利要求9所述的方法，其特征在于，所述系统还包括测试模块，用于将人脸区域检测和人脸活体检测模型封装为动态库，并进行移植到移动端的测试。