CN112287765B - 人脸活体检测方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种人脸活体检测方法、装置、设备及可读存储介质,首先将人脸全局图像进行人脸检测、人脸对齐；然后训练卷积神经网络模型；最后将人脸区域图像输入卷积神经网络模型；由卷积神经网络模型计算标准人脸区域图像的每个通道的邻域均值，并将经过邻域平均后的标准人脸区域图像与原始标准人脸区域图像相减，计算人脸对于每一类别结果的置信度，将置信度最高的类别作为输出结果。通过在深度学习网络中嵌入了人脸局部特征减去均值的方法来增强深度学习网络在此类任务上的能力，保持了人脸面部细节的同时又过滤掉代表肤色的低频分量。本技术方案缓解了不同种族和攻击类型之间的模式差异，减轻了族裔差异，增强了网络的泛化性。

Description

人脸活体检测方法、装置、设备及可读存储介质

技术领域

本发明涉及图像识别技术领域，特别涉及一种人脸活体检测方法、装置、设备及可读存储介质。

背景技术

随着图像识别技术的发展，人脸识别在安全监控、人脸支付、访问控制等领域起着重要的作用。随着这项技术逐渐被公众所熟悉，人们对人脸识别安全性的担忧越来越普遍，其吸引了学术界和业内人士的研究。例如，一个人可能使用其他身份的照片、视频或面具来攻击人脸识别系统用以获取非法利益。活体检测，即判断摄像头所采集的图像是否为真人，对人脸识别系统的安全性至关重要。活体检通过分析人像判断来抵御通过照片进行的打印攻击、通过视频图像进行的屏幕攻击、通过人脸模具进行的的3D人脸攻击等作弊行为，保障业务安全。

传统的活体检测方法通过提取人脸特征来区分真实人脸和和攻击人脸，例如纹理特征，LBP，DoG等特征提取方式。这种传统方法的特征依赖于人工设计，泛化能力较弱，无法抵御种类繁琐多的攻击手段，因此，传统方法的在复杂的攻击人脸上性能不佳。

基于深度学习的方法，由于网络结构能够提取更具有泛化能力的高层次特征，在视觉任务中表现优异，在活体检测任务中同样适用。然而活体检测任务与具有数百万个开源数据的人脸识别任务不同，没有用于活体检测任务的大规模数据。更严重的是，由于活体检测的任务特性，不同来源的数据一起使用会造成一定的干扰。在活体检测，人脸识别等人脸相关的算法上，不同种族所带来的人脸结构和人脸肤色的差异都会对人脸算法造成负面的影响。例如，将基于亚洲人脸数据集上所训练出来的人脸深度网络应用到非洲人脸或欧洲人脸上，由于不同种族之间的肤色和人脸结构都有所不同，其检测的精度就会大幅降低。

发明内容

本发明要解决的技术问题是如何提供一种适用于不同种族的人脸活体检测方法、装置、设备及可读存储介质。

为了解决上述技术问题，本发明提出的技术方案为：

一方面，本发明提出了一种人脸活体检测方法，包括步骤：

获取人脸全局图像，进行人脸检测、人脸对齐，获得标准人脸区域图像；

根据标准人脸区域图像，训练卷积神经网络模型；

将目标标准人脸区域图像输入卷积神经网络模型；由所述卷积神经网络模型计算标准人脸区域图像的每个通道的邻域均值，并将经过邻域平均后的标准人脸区域图像与原始标准人脸区域图像相减，计算人脸对于每一类别结果的置信度，将置信度最高的类别作为输出结果。

优选地，通过卷积神经网络模型计算人脸图像每个通道的邻域均值的计算公式为：

g(i,j)＝∑f(i,j)/N(i,j)∈K；

其中，f(i,j)原始人脸图像的像素点，g(i,j)表示经过邻域平均后的像素点，K为所取邻域中包含的邻近像素的个数；

将经过邻域平均后的图像与原始图像相减的计算公式为：

其中，x表示原始人脸图像，k表示领域均值的核大小。

优选地，卷积神经网络模型中，每个通道的邻域均值的卷积核大小通过深度学习训练获得；卷积核大小的初始值大于1，且小于标准人脸区域图像的长及宽。

优选地，卷积神经网络为轻量级的MobileNet结构；构建训练卷积神经网络模型使用Softmax损失函数作为目标函数，其损失函数为：

x_i＝x_i-max(x)，L＝-log(p_i)；

其中p_i为每类计算出的归一化后的概率。

优选地，所述卷积神经网络模型的输出类别包括打印攻击、屏幕攻击、3D人脸攻击及真人。

优选地，进行人脸检测后获得人脸框及人脸关键点；所述人脸框为标明人脸位置的矩形框；所述人脸关键点包括人脸面部的眉毛、眼镜、鼻子、嘴巴以及面部轮廓部位。

优选地，进行人脸对齐的步骤包括：

设定一标准的人脸关键点模板，所述人脸关键点模板为正脸直视前方的人脸；

计算目标人脸关键点坐标与标准的人脸关键点模板之间的变换矩阵，所述变换矩阵仅包括旋转、缩放及平移变换；

将所述变换矩阵应用于目标人脸图像上，获得标准人脸区域图像。

另一方面，本发明提出了一种人脸活体检测装置，包括：

预处理模块：获取人脸全局图像，进行人脸检测、人脸对齐，获得标准人脸区域图像；

训练模块：根据标准人脸区域图像，训练卷积神经网络模型；

判断模块：将目标标准人脸区域图像输入卷积神经网络模型；由所述卷积神经网络模型计算标准人脸区域图像的每个通道的邻域均值，并将经过邻域平均后的标准人脸区域图像与原始标准人脸区域图像相减，计算人脸对于每一类别结果的置信度，将置信度最高的类别作为输出结果。

再一方面，本发明提出了一种人脸活体检测的设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的人脸活体检测的方法的步骤。

又一方面，本发明提出了一种人脸活体检测的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的人脸活体检测的方法的步骤。

采用上述技术方案，通过在深度学习网络中嵌入了人脸局部特征减去均值的方法来增强深度学习网络在此类任务上的能力，旨在保持人脸面部细节的同时过滤掉代表肤色的低频分量。以缓解不同种族和攻击类型之间的模式差异，减轻族裔差异，从而增强网络的泛化性。该活体检测方法适用于不同族裔、不同肤色的人群，无需专门适用于活体检测任务的大规模数据来进行训练。

附图说明

图1为本发明人脸活体检测方法一实施例的步骤流程图；

图2为本发明人脸活体检测方法的人脸关键点示意图；

图3为本发明人脸活体检测方法中未经过局部特征减去均值处理的人脸图片；

图4为本发明人脸活体检测方法中经过局部特征减去均值处理的人脸图片；

图5为本发明人脸活体检测方法的卷积神经网络结构图；

图6为本发明人脸活体检测装置的结构原理图。

图中，10-预处理模块，20-训练模块，30-判断模块。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

参照图1，本发明提出了一种人脸活体检测方法，包括步骤：

S10：获取人脸全局图像，进行人脸检测、人脸对齐，获得标准人脸区域图像。对图像进行人脸检测，得出人脸框和106个人脸关键点，如图2所示，人脸关键点坐标是指人脸面部区域的106个关键点的位置，包括人脸面部的眉毛、眼镜、鼻子、嘴巴以及面部轮廓部位；而人脸框坐标是指标明人脸位置的矩形人脸框。

进行人脸对齐，设定一个标准的人脸关键点模板，该模板为正脸直视前方的人脸。根据人家检测中图像检测出来的人脸关键点，计算检测出的人脸关键点坐标与标准人脸关键点坐标之间的变换矩阵。该变化矩阵为相似变化矩阵，仅包括了旋转，缩放，平移，不包括拉伸，能对人脸进行等距变换和均匀缩放。将计算得出的变换矩阵应用到检测得到的人脸图像上，来实现人脸对齐到该人脸关键点模板上，并截取统一大小的人脸图像。不同的人脸图像经过人脸对齐后有统一的图像大小，人脸关键点坐标的分布也会趋于一致。

S20：根据标准人脸区域图像，训练卷积神经网络模型，其具体过程如下：

首先计算对齐后人脸图像每个通道的邻域均值，其数学公式如下：

g(i,j)＝∑f(i,j)/N(i,j)∈K；

其中，f(i,j)为原始人脸图像的像素点，g(i,j)表示经过邻域平均后的像素点。K是所取邻域中包含的邻近像素的个数，K为奇数，例如3、5、7、9等。

将经过了邻域平均后的图像与原始图像相减。

此运算符可定义如下：

其中，x表示原始人脸图像，k表示领域均值的核大小。

参照图3及图4，图中展示了经过上述邻域操作后的结果，图3为人脸原图，包含了黑人，白人，黄种人。而图4是经过了运算后的人脸图。

将前述人脸局部特征减去均值的过程集成到深度学习网络中。根据不同的模板尺寸设定邻域平均法的模板,转换为卷积核的表现形式为:

其中，k表示领域均值的核大小，矩阵大小为k×k。

例如当k＝3时，卷积核的表现形式为以下3×3大小的矩阵：

需要选择合适的均值滤波核大小。经过试验，随着滤波核大小的增大，训练出的深度学习网络精度呈现出先上升再下降的趋势。每个通道的邻域均值的卷积核大小通过深度学习训练获得；卷积核大小的初始值大于1，且小于标准人脸区域图像的长及宽。

参照图5，本发明采用轻量级的MobileNetV2结构，并做了输入大小和结构的修改作为主体来构建活体检测网络，使得运算速度较快。网络前端嵌入了将原图与领域均值相减的操作。网络最终构建4个任务输出，分别对应打印攻击、屏幕攻击、3D人脸攻击及真人。

网络训练的目标函数为Softmax损失函数，然后进行训练。损失函数定义如下：

x_i＝x_i-max(x)，L＝-log(p_i)；

其中p_i为每类计算出的归一化后的概率。

对模型进行测试。通过前面几个步骤得到一个判别模型，将测试数据与模型输入到前向网络中进行结果预测，得到每一类别的置信度，取最高置信度的类别即为当前样本所属的类别。

S30：将目标标准人脸区域图像输入卷积神经网络模型；由卷积神经网络模型计算标准人脸区域图像的每个通道的邻域均值，并将经过邻域平均后的标准人脸区域图像与原始标准人脸区域图像相减，计算人脸对于每一类别结果的置信度，将置信度最高的类别作为输出结果。

具体地，通过卷积神经网络模型计算人脸图像每个通道的邻域均值的计算公式为：

g(i,j)＝∑f(i,j)/N(i,j)∈K；

其中，f(i,j)原始人脸图像的像素点，g(i,j)表示经过邻域平均后的像素点，K为所取邻域中包含的邻近像素的个数；

将经过邻域平均后的图像与原始图像相减的计算公式为：

其中，x表示原始人脸图像，k表示领域均值的核大小。

采用上述技术方案，通过在深度学习网络中嵌入入了人脸局部特征减去均值的方法来增强深度学习网络在此类任务上的能力，旨在保持人脸面部细节的同时并过滤掉代表肤色的低频分量。以缓解不同种族和攻击类型之间的模式差异，减轻族裔差异，从而增强网络的泛化性。该活体检测方法适用于不同族裔、不同肤色的人群，无需专门适用于活体检测任务的大规模数据来进行训练。

参照图6，本发明提出了一种人脸活体检测装置，包括：

预处理模,10：获取人脸全局图像，进行人脸检测、人脸对齐，获得标准人脸区域图像；

训练模块20：根据标准人脸区域图像，训练卷积神经网络模型；

判断模块30：将目标标准人脸区域图像输入卷积神经网络模型；由卷积神经网络模型计算标准人脸区域图像的每个通道的邻域均值，并将经过邻域平均后的标准人脸区域图像与原始标准人脸区域图像相减，计算人脸对于每一类别结果的置信度，将置信度最高的类别作为输出结果。

本发明提出了一种人脸活体检测的设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上的人脸活体检测的方法的步骤。

本发明提出了一种人脸活体检测的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上的人脸活体检测的方法的步骤。

本发明提出了一种方法去指导深度卷积网络的学习策略，以使得该深度卷积网络更专注于人脸的边缘特征，而不是肤色。在深度学习网络中嵌入了人脸局部特征减去均值的方法来增强深度学习网络在此类任务上的能力，保持人脸面部细节的同时并过滤掉代表肤色的低频分量。缓解不同种族和攻击类型之间的模式差异，减轻族裔差异，从而增强网络的泛化性。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (5)

1.一种人脸活体检测方法，其特征在于，包括步骤：

获取人脸全局图像，进行人脸检测、人脸对齐，获得标准人脸区域图像；

根据标准人脸区域图像，训练卷积神经网络模型；

将目标标准人脸区域图像输入卷积神经网络模型；由所述卷积神经网络模型计算标准人脸区域图像的每个通道的邻域均值，并将经过邻域平均后的标准人脸区域图像与原始标准人脸区域图像相减，计算人脸对于每一类别结果的置信度，将置信度最高的类别作为输出结果，其中，所述类别具体为活体类别或非活体类别；

通过卷积神经网络模型计算人脸图像每个通道的邻域均值的计算公式为：

g(i,j)＝∑f(i,j)/N (i,j)∈K；

其中，f(i,j)原始人脸图像的像素点，g(i,j)表示经过邻域平均后的像素点，K为所取邻域中包含的邻近像素的个数，N为邻域内的所有像素个数；

将经过邻域平均后的图像与原始图像相减的计算公式为：

其中，x表示原始人脸图像，k表示邻域均值的核大小，所述邻域均值定义即为上述g(i,j)所表示公式，表示经过邻域平均后的像素点，为经过邻域平均后的图像；

卷积神经网络模型中，每个通道的邻域均值的卷积核大小通过深度学习训练获得；卷积核大小的初始值大于1，且小于标准人脸区域图像的长及宽。

2.根据权利要求1所述的人脸活体检测方法，其特征在于：卷积神经网络为轻量级的MobileNet结构；构建训练卷积神经网络模型使用Softmax损失函数作为目标函数，其损失函数为：

x_i＝x_i-max(x)，L＝-log(p_i)；

其中p_i为每类计算出的归一化后的概率，x_i为最后一层网络输出的特征向量，即x＝[x₁,x₂,……，x_n],x_i为x中的元素。

3.根据权利要求1所述的人脸活体检测方法，其特征在于：所述卷积神经网络模型的输出类别包括打印攻击、屏幕攻击、3D人脸攻击及真人。

4.根据权利要求1所述的人脸活体检测方法，其特征在于：进行人脸检测后获得人脸框及人脸关键点；所述人脸框为标明人脸位置的矩形框；所述人脸关键点包括人脸面部的眉毛、眼镜、鼻子、嘴巴以及面部轮廓部位。

5.根据权利要求1所述的人脸活体检测方法，其特征在于：进行人脸对齐的步骤包括：

设定一标准的人脸关键点模板，所述人脸关键点模板为正脸直视前方的人脸；

计算目标人脸关键点坐标与标准的人脸关键点模板之间的变换矩阵，所述变换矩阵仅包括旋转、缩放及平移变换；

将所述变换矩阵应用于目标人脸图像上，获得标准人脸区域图像。