CN110516576A - 基于深度神经网络的近红外活体人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的近红外光活体人脸识别方法，其具体步骤为：构建多任务级联卷积神经网络、活体检测卷积神经网络和人脸识别卷积神经网络，分别对获取的人脸图像进行预处理，得到训练数据集和测试数据集，使用得到的数据集训练和微调神经网络，生成深度神经网络，进行活体人脸识别。本发明利用三维的活体检测卷积神经网络深度提取近红外图像关于真实人脸独特的特征，以此区分真实人脸和伪造人脸，具有针对活体检测问题精度高的优点。

Description

基于深度神经网络的近红外活体人脸识别方法

技术领域

本发明属于图像处理技术领域，更进一步涉及模式识别和机器学习技术领域中的一种基于深度神经网络的近红外光活体人脸识别方法。本发明可应用于身份辨识和信息安全，通过提取近红外图像纹理特征来辨别是否为真人，通过提取人脸特征，提高人脸识别的精度。

背景技术

活体人脸检测是在一些身份验证场景确定对象真实生理特征的方法，在人脸识别应用中，活体检测能通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作。可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。然而其算法需要用户配合，不仅繁琐而且降低用户体验感，并且通过某些视频合成技术可以合成符合规定的指令，存在安全隐患。

由于近红外光的光谱波段与可见光不同，故真实人脸及非活体载体对于近红外波段的吸收和反射强度也不同，因此可通过提取近红外图像中的光照纹理特征来进行活体检测。

电子科技大学在其申请的专利文献“一种基于近红外与可见光双目摄像头的活体人脸检测方法”(申请号：201711210041.3，公开号：CN 107862299 A)中公开了一种由近红外与可见光双目摄像头获取活体人脸图像进行检测的方法。该方法首先使用近红外摄像头拍摄真实的人脸图像和纸张伪造的人脸图像，之后利用所获取图像训练活体人脸分类模型，最后利用训练好的模型进行活体人脸检测。该发明利用红外摄像头下、视频和大部分纸张不能呈现图像的特性有效的防止了视频中伪造人脸的攻击，利用近红外摄像头和可见光摄像头下真实人脸与照片人脸纹理差异和颜色差异，训练的分类模型可以有效地区分人脸是来自真实人脸还是照片中的伪造人脸。该方法存在的不足之处是：欺骗者可以使用部分纸质伪造的人脸图像通过近红外光摄像头的检测，达到正常显示的目的，造成活体检测失败。

福州大学在其申请的专利文献“一种基于活体检测的人脸识别方法”(申请号：201811513963.6，公开号：CN 109409343 A)中公开一种基于活体检测的人脸识别方法。该方法首先进行人脸识别；接着通过脸部信息提取心率信息；然后要求被识别人在规定位置做出规定手势；接着通过手势识别来验证手势，并进一步提取手势上的心率信息及波形；最后对人脸及手上的心率信息波形进行相关性检测校验，以获取活体检测结果。该方法存在的不足是：在活体检测过程中，需要用户配合，在规定位置做规定手势，不仅降低了用户的体验感，而且欺骗者可以通过视频合成软件合成符合指令的人脸视频来破解，导致活体检测准确度低。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于深度神经网络的近红外光活体人脸识别方法，利用近红外摄像头拍摄图像，解决进行活体检测时需要用户进行动作配合的情况，利用构建三维的活体检测卷积神经网络提取近红外图像关于真实人脸独特的特征，解决部分特殊人脸纸质伪造图像不能正确识别的情况，提高了活体检测准确率，保证了安全性。

实现本发明目的的技术思路是，利用真实人脸及非活体载体对于近红外波段的吸收和反射强度的不同，具有不同光照纹理特征的特性，使用深度神经网络提取关于真实人脸图像的特征，以此辨别真实人脸和伪造人脸。

本发明实现的具体步骤如下：

步骤1，获取人脸图像：

利用近红外摄像头拍摄至少50人不同表情和不同角度的人脸，得到至少5000张活体人脸图像以及50个活体人脸视频；

打印每张活体人脸图像，得到人脸纸质图像后再利用近红外摄像头拍摄每张人脸纸质图像，得到至少5000张人脸纸质伪造图片；

用近红外摄像头拍摄所获取的50个活体人脸视频，得到5000张人脸视频伪造图片；

将所有的人脸纸质伪造图片和人脸视频伪造图片组成人脸伪造图像库，将所有的活体人脸图像组成活体人脸图像库；

步骤2，构建三维的多任务级联卷积神经网络：

搭建一个由提案子神经网络、细化子神经网络和输出子神经网络三个子神经网络组成的多任务级联卷积神经网络；

步骤3，构建三维的活体检测卷积神经网络：

搭建一个12层的活体检测卷积神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第5卷积层→第4池化层→全连接层→分类层；

设置活体检测卷积神经网络各层的参数如下：

将输入层特征映射图总数设置为3个；

将第1、2、3、4、5卷积层特征映射图总数分别设置为96、192、384、256、256，卷积核的大小分别设置为5×5、3×3、3×3、3×3、3×3；

将第1、2、3、4池化层最大化采样滤波器尺寸均设置为2×2；

将第1全连接层特征映射图总数设置为512；

步骤4，构建三维的人脸识别卷积神经网络：

搭建一个14层的人脸识别卷积神经网络并设置该网络各层的参数；

步骤5，对人脸伪造图像库和活体人脸图像库中所有图像进行预处理：

将人脸伪造图像库和活体人脸图像库中的所有图像，输入到多任务级联卷积神经网络中，为每张图像标注人脸的左右瞳孔、左右嘴角以及鼻头共五个关键点后，将每张图像裁剪成包含五个关键点的250*250大小的图像后，再依次通过尺度变换、面内旋转和平移，完成每张图像中人脸的校准摆正；

步骤6，生成训练数据集和测试数据集：

随机选取预处理好的所有图像中的90％的图像组成训练数据集，10％的图像组成测试数据集；

步骤7，组建人脸数据集：

将至少20万张不同人的人脸图片进行类别标注，每一类代表一个人，将标注完成的人脸图片组成人脸数据集；

步骤8，训练神经网络：

将训练数据集输入到活体检测卷积神经网络中，利用梯度下降法，迭代更新网络参数，直到该网络的损失函数值小于0.5，得到训练好的活体检测卷积神经网络；

将人脸数据集输入到活体检测卷积神经网络中，利用梯度下降法，迭代更新网络参数，直到该网络的损失函数值小于0.5，得到训练好的人脸识别卷积神经网络；

步骤9，微调训练好的人脸识别卷积神经网络：

将步骤6生成的训练数据集输入到训练好的人脸识别卷积神经网络中，利用梯度下降法，迭代更新网络参数，直到该网络的损失函数值小于0.5，得到微调后的人脸检测卷积神经网络；

步骤10，生成深度神经网络：

将训练好的多任务级联卷积神经网络、训练好的活体检测卷积神经网络和微调后的人脸识别卷积神经网络依次连接后，生成深度神经网络；

步骤11，进行活体人脸识别：

将步骤6生成的测试数据集输入深度神经网络中，通过提取测试数据集图片的特征向量并与深度神经网络中提取出的活体人脸图片的特征向量作对比，得到测试数据集的活体人脸识别结果。

本发明与现有技术相比具有如下优点：

第一，由于本发明构建了一个由训练好的多任务级联卷积神经网络、训练好的活体检测卷积神经网络、微调后的人脸识别卷积神经网络依次连接后组成的深度神经网络，深度提取了近红外人脸图像特征，克服了在现有技术下，欺骗者可以使用部分纸质伪造的人脸图像通过近红外光摄像头的检测，达到正常显示的目的，造成活体检测失败的缺点，使得本发明活体检测正确率达到99.99％，提高了活体检测准确率，保证了安全性。

第二，由于本发明利用近红外摄像头拍摄人脸图片，克服了现有技术在活体检测过程中，需要用户配合，在规定位置做规定手势的缺点，使得本发明能够有效防止被视频合成软件合成符合指令的人脸视频破解，使得活体检测成功，提高了用户体验感。

附图说明

图1为本发明的流程图；

具体实施方式

下面结合附图1对本发明实现的步骤的详细描述如下。

步骤1，获取人脸图像。

利用近红外摄像头拍摄至少50人不同表情和不同角度的人脸，得到至少5000张活体人脸图像以及50个活体人脸视频。

打印每张活体人脸图像，得到人脸纸质图像后再利用近红外摄像头拍摄每张人脸纸质图像，得到至少5000张人脸纸质伪造图片。

用近红外摄像头拍摄所获取的50个活体人脸视频，得到5000张人脸视频伪造图片。

将所有的人脸纸质伪造图片和人脸视频伪造图片组成人脸伪造图像库，将所有的活体人脸图像组成活体人脸图像库。

步骤2，构建三维的多任务级联卷积神经网络。

搭建一个由提案子神经网络、细化子神经网络和输出子神经网络三个子神经网络组成的多任务级联卷积神经网络。

所述搭建一个由提案子神经网络、细化子神经网络和输出子神经网络三个子神经网络组成的多任务级联卷积神经网络的具体步骤如下：

第一步，搭建一个6层的提案子神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第3卷积层→分类层。

设置提案子神经网络各层的参数如下：

将输入层特征映射图总数设置为3个。

将第1、2、3卷积层特征映射图总数分别设置为10、16、32，卷积核的大小均设置为3×3。

将第1池化层最大化采样滤波器尺寸设置为2×2。

第二步，搭建一个8层的细化子神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→全连接层→分类层。

设置细化子神经网络各层的参数如下：

将输入层特征映射图总数设置为3个。

将第1、2、3卷积层特征映射图总数分别设置为28、48、64，卷积核大小分别设置为3×3、3×3、2×2。

将第1、2池化层最大化采样滤波器尺寸均设置为3×3。

将第1全连接层特征映射图总数设置为128。

第三步，搭建一个10层的输出子神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第1全连接层→分类层。

设置输出子神经网络各层的参数如下：

将输入层特征映射图总数设置为3个。

将第1、2、3、4卷积层特征映射图总数分别设置为32、64、64、128，卷积核大小分别设置为3×3、3×3、3×3、2×2。

将第1、2、3池化层最大化采样滤波器尺寸分别设置为3×3、3×3、2×2。

将第1全连接层特征映射图总数设置为256。

第四步，设置三个子网络的损失函数L，L包含三个子函数组成，其中：

其中，pi表示网络预测第i张图片包含人脸的概率，表示第i张图片的标签，为0或1，表示的是预测第i图片包含人脸的概率与事实上图片是否包含人脸的接近程度，越接近事实，越小。

其中，表示网络预测的第i张图片中的人脸回归框的位置，里面包含回归框的左上角的横坐标、纵坐标、高度以及宽度，是一个四元组，表示第i张图片真实的人脸回归框的位置，表示的是第i张图片预测的人脸回归框与真实人脸框的差别，越接近，越小。

其中，表示网络预测第i张图片中人脸的所在位置，包含左右瞳孔、左右嘴角以及鼻头的横纵坐标，是一个十元组，表示第i张图片中真实人脸的所在位置，表示的是第i张图片预测的人脸位置与真实人脸位置的差别，越接近，越小。

损失函数L表示为：

其中，N表示训练集中所有图片的数量，i表示第i张图片，α_j是三个子函数的参数，设定为α_det＝1，α_box＝0.5，α_landmark＝0.5；表示的图片样本类型，为0或1。

第五步，将提案子神经网络、细化子神经网络和输出子神经网络，三个子神经网络依次连接组成多任务级联卷积神经网络。

步骤3，构建三维的活体检测卷积神经网络。

搭建一个12层的活体检测卷积神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第5卷积层→第4池化层→全连接层→分类层。

设置活体检测卷积神经网络各层的参数如下：

将输入层特征映射图总数设置为3个。

将第1、2、3、4、5卷积层特征映射图总数分别设置为96、192、384、256、256，卷积核的大小分别设置为5×5、3×3、3×3、3×3、3×3。

将第1、2、3、4池化层最大化采样滤波器尺寸均设置为2×2。

将第1全连接层特征映射图总数设置为512。

步骤4，构建三维的人脸识别卷积神经网络。

搭建一个14层的人脸识别卷积神经网络并设置该网络各层的参数。

所述搭建一个14层的人脸识别卷积神经网络并设置该网络各层的参数的具体步骤如下：

搭建一个14层的人脸识别卷积神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第5卷积层→第6卷积层→第4池化层→第一全连接层→第二全连接层→分类层。

设置人脸识别卷积神经网络各层的参数如下：

将输入层特征映射图总数设置为3个。

将第1、2、3、4、5、6卷积层特征映射图总数分别设置为64、192、384、256、256、256，卷积核大小分别设置为7×7、3×3、3×3、3×3、3×3、3×3；

将第1、2、3、4池化层最大化采样滤波器尺寸均设置为3×3。

将第1、2全连接层特征映射图总数均设置为128。

步骤5，对人脸伪造图像库和活体人脸图像库中所有图像进行预处理。

将人脸伪造图像库和活体人脸图像库中的所有图像，输入到多任务级联卷积神经网络中，为每张图像标注人脸的左右瞳孔、左右嘴角以及鼻头共五个关键点后，将每张图像裁剪成包含五个关键点的250*250大小的图像后，再依次通过尺度变换、面内旋转和平移，完成每张图像中人脸的校准摆正。

步骤6，生成训练数据集和测试数据集。

随机选取预处理好的所有图像中的90％的图像组成训练数据集，10％的图像组成测试数据集。

步骤7，组建人脸数据集。

将至少20万张不同人的人脸图片进行类别标注，每一类代表一个人，将标注完成的人脸图片组成人脸数据集。

步骤8，训练神经网络。

将训练数据集输入到活体检测卷积神经网络中，利用梯度下降法，迭代更新网络参数，直到该网络的损失函数值小于0.5，得到训练好的活体检测卷积神经网络。

将人脸数据集输入到活体检测卷积神经网络中，利用梯度下降法，迭代更新网络参数，直到该网络的损失函数值小于0.5，得到训练好的人脸识别卷积神经网络。

步骤9，微调训练好的人脸识别卷积神经网络。

将步骤6生成的训练数据集输入到训练好的人脸识别卷积神经网络中，利用梯度下降法，迭代更新网络参数，直到该网络的损失函数值小于0.5，得到微调后的人脸检测卷积神经网络。

步骤10，生成深度神经网络。

将训练好的多任务级联卷积神经网络、训练好的活体检测卷积神经网络和微调后的人脸识别卷积神经网络依次连接后，生成深度神经网络。

步骤11，进行活体人脸识别。

将步骤6生成的测试数据集输入深度神经网络中，通过提取测试数据集图片的特征向量并与深度神经网络中提取出的活体人脸图片的特征向量作对比，得到测试数据集的活体人脸识别结果。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明的仿真实验的硬件平台为：处理器为Intel(R)Xeon(R)CPU E5-2630v4@2.20GHz×40，内存64GB。

本发明的仿真实验的软件平台为：Ubuntu16.04操作系统和python 3.6。

2.仿真内容及其结果分析：

本发明的仿真实验是采用本发明和一个现有技术(人脸识别与分类卷积神经网络FaceNet识别分类方法)，分别对输入的香港理工大学生物特征研究中心制作的近红外人脸数据集进行活体人脸识别。该数据集包含335位志愿者的人脸，每个人脸有100张图像，共33500张图像，图像格式为png。

在本发明仿真实验中所采用的现有技术是指：

Zhang K等人在其发表的论文“Joint Face Detection and Alignment UsingMultitask Cascaded Convolutional Networks”([J].IEEE Signal ProcessingLetters,2016,23(10):1499-1503.)中提出的人脸识别和分类方法，简称人脸识别与分类卷积神经网络FaceNet识别分类方法。

为验证本发明仿真实验的效果，采用下述识别准确率公式，分别对两种方法在该近红外人脸数据集图像上进行活体人脸识别的准确率进行评价：

其中，accuracy表示对近红外人脸数据集图像识别准确率，ind表示指示函数，当pred_i'和label_i'的取值相同时，指示函数的值为1，否则，指示函数的值为0，pred_i'表示由本发明仿真实验运行得到的近红外人脸数据集图像类标，label_i'表示该近红外人脸数据集图像的真实类标。

表1.本发明仿真实验的定量准确率对照表

类型	FaceNet	本发明方法
			accuracy	97.36％	99.99％

由表1可以看出，本发明的识别准确率为99.99％，高于现有技术的识别准确率，证明本发明可以得到更高的活体人脸识别精度。

以上仿真实验表明：本发明方法利用近红外摄像头拍摄图像，解决了现有技术方法进行活体检测时需要用户进行动作配合的情况，利用构建三维的活体检测卷积神经网络，能够提取近红外图像关于真实人脸独特的特征，解决了现有技术方法不能正确识别部分人脸纸质伪造图像的情况，提高了活体检测准确率，保证了安全性。

Claims (3)

1.一种基于深度神经网络的近红外光活体人脸识别方法，其特征在于，利用构建三维的活体检测卷积神经网络提取近红外图像关于真实人脸独特的特征，以此区分伪造人脸；该方法的步骤包括如下：

步骤1，获取人脸图像：

利用近红外摄像头拍摄至少50人不同表情和不同角度的人脸，得到至少5000张活体人脸图像以及50个活体人脸视频；

打印每张活体人脸图像，得到人脸纸质图像后再利用近红外摄像头拍摄每张人脸纸质图像，得到至少5000张人脸纸质伪造图片；

用近红外摄像头拍摄所获取的50个活体人脸视频，得到5000张人脸视频伪造图片；

将所有的人脸纸质伪造图片和人脸视频伪造图片组成人脸伪造图像库，将所有的活体人脸图像组成活体人脸图像库；

步骤2，构建三维的多任务级联卷积神经网络：

搭建一个由提案子神经网络、细化子神经网络和输出子神经网络三个子神经网络组成的多任务级联卷积神经网络；

步骤3，构建三维的活体检测卷积神经网络：

搭建一个12层的活体检测卷积神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第5卷积层→第4池化层→全连接层→分类层；

设置活体检测卷积神经网络各层的参数如下：

将输入层特征映射图总数设置为3个；

将第1、2、3、4、5卷积层特征映射图总数分别设置为96、192、384、256、256，卷积核的大小分别设置为5×5、3×3、3×3、3×3、3×3；

将第1、2、3、4池化层最大化采样滤波器尺寸均设置为2×2；

将第1全连接层特征映射图总数设置为512；

步骤4，构建三维的人脸识别卷积神经网络：

搭建一个14层的人脸识别卷积神经网络并设置该网络各层的参数；

步骤5，对人脸伪造图像库和活体人脸图像库中所有图像进行预处理：

将人脸伪造图像库和活体人脸图像库中的所有图像，输入到多任务级联卷积神经网络中，为每张图像标注人脸的左右瞳孔、左右嘴角以及鼻头共五个关键点后，将每张图像裁剪成包含五个关键点的250*250大小的图像后，再依次通过尺度变换、面内旋转和平移，完成每张图像中人脸的校准摆正；

步骤6，生成训练数据集和测试数据集：

随机选取预处理好的所有图像中的90％的图像组成训练数据集，10％的图像组成测试数据集；

步骤7，组建人脸数据集：

将至少20万张不同人的人脸图片进行类别标注，每一类代表一个人，将标注完成的人脸图片组成人脸数据集；

步骤8，训练神经网络：

将训练数据集输入到活体检测卷积神经网络中，利用梯度下降法，迭代更新网络参数，直到该网络的损失函数值小于0.5，得到训练好的活体检测卷积神经网络；

将人脸数据集输入到活体检测卷积神经网络中，利用梯度下降法，迭代更新网络参数，直到该网络的损失函数值小于0.5，得到训练好的人脸识别卷积神经网络；

步骤9，微调训练好的人脸识别卷积神经网络：

将步骤6生成的训练数据集输入到训练好的人脸识别卷积神经网络中，利用梯度下降法，迭代更新网络参数，直到该网络的损失函数值小于0.5，得到微调后的人脸检测卷积神经网络；

步骤10，生成深度神经网络：

将训练好的多任务级联卷积神经网络、训练好的活体检测卷积神经网络和微调后的人脸识别卷积神经网络依次连接后，生成深度神经网络；

步骤11，进行活体人脸识别：

将步骤6生成的测试数据集输入深度神经网络中，通过提取测试数据集图片的特征向量并与深度神经网络中提取出的活体人脸图片的特征向量作对比，得到测试数据集的活体人脸识别结果。

2.根据权利要求1所述的基于深度神经网络的近红外光活体人脸识别方法，其特征在于，步骤2中所述搭建一个由提案子神经网络、细化子神经网络和输出子神经网络三个子神经网络组成的多任务级联卷积神经网络的具体步骤如下：

第一步，搭建一个6层的提案子神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第3卷积层→分类层；

设置提案子神经网络各层的参数如下：

将输入层特征映射图总数设置为3个；

将第1、2、3卷积层特征映射图总数分别设置为10、16、32，卷积核的大小均设置为3×3；

将第1池化层最大化采样滤波器尺寸设置为2×2；

第二步，搭建一个8层的细化子神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→全连接层→分类层；

设置细化子神经网络各层的参数如下：

将输入层特征映射图总数设置为3个；

将第1、2、3卷积层特征映射图总数分别设置为28、48、64，卷积核大小分别设置为3×3、3×3、2×2；

将第1、2池化层最大化采样滤波器尺寸均设置为3×3；

将第1全连接层特征映射图总数设置为128；

第三步，搭建一个10层的输出子神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第1全连接层→分类层；

设置输出子神经网络各层的参数如下：

将输入层特征映射图总数设置为3个；

将第1、2、3、4卷积层特征映射图总数分别设置为32、64、64、128，卷积核大小分别设置为3×3、3×3、3×3、2×2；

将第1、2、3池化层最大化采样滤波器尺寸分别设置为3×3、3×3、2×2；

将第1全连接层特征映射图总数设置为256；

第四步，将提案子神经网络、细化子神经网络和输出子神经网络，三个子神经网络依次连接组成多任务级联卷积神经网络。

3.根据权利要求1所述的基于深度神经网络的近红外光活体人脸识别方法，其特征在于，步骤4中所述搭建一个14层的人脸识别卷积神经网络并设置该网络各层的参数的具体步骤如下：

搭建一个14层的人脸识别卷积神经网络，其结构依次为：输入层→第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第5卷积层→第6卷积层→第4池化层→第一全连接层→第二全连接层→分类层；

设置人脸识别卷积神经网络各层的参数如下：

将输入层特征映射图总数设置为3个；

将第1、2、3、4、5、6卷积层特征映射图总数分别设置为64、192、384、256、256、256，卷积核大小分别设置为7×7、3×3、3×3、3×3、3×3、3×3；

将第1、2、3、4池化层最大化采样滤波器尺寸均设置为3×3；

将第1、2全连接层特征映射图总数均设置为128。