CN115424330B - 一种基于dfmn和dsd的单模态人脸活体检测方法 - Google Patents

Abstract

本发明提出了一种基于DFMN和DSD的单模态人脸活体检测方法，用于解决传统方法无法精准识别出人脸活体与非活体之间差异的问题；其步骤为：首先，对接收到的人脸可见光图像进行预处理操作，提取可见光图像的特征，并根据可见光图像特征划分正、负样本空间；其次，构建DFMN网络结构，基于正、负样本空间构建DSD联合优化框架对DFMN进行网络模型训练，得到DFMN模型；最后，将待识别的可见光人脸图像输入DFMN模型中，输出人脸活体检测结果。本发明通过深度卷积神经网络DFMN和DSD方法的结合，学习了真假面部中的重要线索，能够有效地消除可将光人脸图像中面部特征的干扰，提升了可见光模态下人脸活体检测的准确率。

Description

一种基于DFMN和DSD的单模态人脸活体检测方法

技术领域

本发明涉及人脸识别技术领域，特别是指一种基于DFMN和DSD的单模态人脸活体检测方法。

背景技术

随着数字信息时代的发展，生物识别技术被广泛应用于生活中的各种身份认证。人脸识别技术由于其非接触性和自动性的特点，已经被广泛应用于设备解锁、账户登录、门禁系统和安全监控等领域，而单一的人脸识别系统面临着各种人脸欺诈攻击。因此，如何自动高效地辨别人脸真伪和抵抗欺骗攻击已经成为人脸识别领域亟待解决的问题。

由于成本问题，目前很多传统的设备运用的仍然是单模态的活体检测方法，单模态人脸活体检测是指一种通过可见光人脸图来检测是否为真实人脸的技术，真实人脸用1表示，虚假人脸用0表示。因此，设计一个准确率高、鲁棒性强、泛化能力强的单模态人脸活体检测系统至关重要。目前的人脸活体检测方法有如下几种。

方法一：基于颜色纹理差异的人脸活体检测方法。在频域中，真实人脸图像比虚假人脸图像存在更多的高频信息，运用多帧图片检测目标的面部纹理信息以区分真假人脸。但该方法在光照条件较差和阴影状态下的效果较差，并且随着目前人脸攻击方式的多变，该方法无法应对3D面具以及更先进的攻击，不能满足当前各种各样的检测需求。

方法二：基于运动的人脸活体检测方法。真实人脸和虚假人脸在运动特征上会有较大的差异，比如嘴部，眼部，面部表情等差异。虽然这种方法的识别准确率较高，但被检测者需要根据特定的检测系统做出特定的动作，用户的体验感较差，在实时检测中具也有一定的局限性。

方法三：基于深度学习的人脸活体检测方法。人脸活体检测可以理解为一种二分类任务，而卷积神经网络(CNN)在各种图像分类任务上均取得了良好的效果，它可以有效地从各种图像样本中学习到深层次的语义信息，并且避免了复杂的特征提取过程。然而，基于单一的CNN方法由于欺骗模式的多样性而难以学习到人脸数据中的区别性线索，在可见光模式下的泛化性较差。

发明内容

针对现有人脸检测方法的用户的体验感较差、泛化性较差的技术问题，本发明提出了一种基于DFMN和DSD的单模态人脸活体检测方法，用于提升可见光模态下人脸活体检测的准确率。

本发明的技术方案是这样实现的：

一种基于DFMN和DSD的单模态人脸活体检测方法，其步骤如下：

步骤一：对接收到的人脸可见光图像进行预处理操作，提取可见光图像的特征，并根据可见光图像特征划分正样本空间、负样本空间；

步骤二：构建Dual Feature Mapping Network(DFMN)，基于正样本和负样本构建Dual Sample Discrepancy(DSD)联合优化框架对DFMN进行网络模型训练，得到DFMN模型；

步骤三：将待识别的可见光人脸图像输入DFMN模型中，输出人脸活体检测结果。

优选地，所述DFMN的网络结构包括输入层、第一残差单元、第二残差单元、第三残差单元、池化层、全连接层、softmax层和输出层；输入层与第一残差单元相连接，第一残差单元与第二残差单元相连接，第二残差单元与第三残差单元相连接，第三残差单元与池化层相连接，池化层与全连接层相连接，全连接层与softmax层相连接，softmax层与输出层相连接。

优选地，所述第一残差单元、第二残差单元和第三残差单元均包括卷积层I、卷积层II、卷积层III和双重特征映射模块；卷积层I与卷积层II相连接，卷积层II与卷积层III相连接，卷积层III与双重特征映射模块相连接。

优选地，所述双重特征映射模块包括全局平均池化层、全局最大池化层、多层感知机；输入特征分别经过全局最大池化层和全局平均池化层后分得到特征I和特征II，特征I和特征II再分别通过多层感知机后进行加权融合后得到输出特征。

优选地，所述第一残差单元、第二残差单元和第三残差单元的处理方法为：

S1.1：输入双重特征映射模块的特征图F大小为H×W×C，输入的特征图F分别经过全局最大池化层和全局平均池化层的操作后得到两个1×1×C的特征图；

S1.2：将步骤S1.1中的两个1×1×C的特征图分别输入多层感知机，其中多层感知机包括两层全连接层与GELU激活函数；

S1.3：将多层感知机输出的特征进行concatenation的加和操作，并通过sigmoid函数激活，输出最终特征Fc，整个过程可以表示为：

F_c＝sigmoid(MLP(AvgPool(F))+MLP(MaxPool(F)))；

其中，MLP表示多层感知机，AvgPool(·)表示全局平均池化操作，MaxPool(·)表示全局最大池化操作。

优选地，所述基于正样本和负样本构建Dual Sample Discrepancy(DSD)联合优化框架对DFMN进行网络模型训练的方法为：

S2.1：将训练集样本输入至上述构建的网络模型中进行训练；其中，训练集样本包括正样本和负样本，所有正样本组成正样本空间，记为Ω_pos＝{ω丨ω＝x₁,x₂,x₃……x_m}，所有负样本组成负样本空间，记为Ω_neg＝{θ丨θ＝y₁,y₂,x₃……y_n}；其中，x_i为正样本，y_j为负样本，i＝1,2,…,m，j＝1,2,…,n；

S2.2：通过DSD联合框架计算模型误差，并提取模型预测结果；

基于正样本x_i和x_i的期望值计算当前正样本与其余正样本间的相似度：

其中，D_pos为正样本的样本相似度，正样本的分布为[a，b]，||·||表示L2范数，E(·)为期望值函数；

基于负样本y_j和y_j的期望值计算当前负样本与其余负样本间的相似度：

其中，D_neg为负样本的样本相似度，负样本的分布为[c，d]；

将所有样本输入DFMN得到样本预测值，结合交叉熵损失计算样本预测值与真实值间的差异：

其中，D_main为样本预测值与真实值间的损失值，W(k)表示第k个样本的真实值，P(k)表示第k个样本的预测值；

结合D_pos和D_neg进行权重加和操作，实现整个DSD联合框架的构建：

D_All＝D_main+D_pos+D_neg；

其中，D_All表示表示总体损失函数；

S2.3：根据模型预测结果与真实标签进行比较，通过循环遍历整个训练样本空间，计算预测正确结果数；

S2.4：反向传播更新DFMN的网络参数，在进行反向传播前先进行梯度清零，运用SGD随机梯度下降法更新网络参数；

S2.5：输出模型训练的损失率和准确率，并保存每一次迭代的模型参数，选择在验证集上准确率最高的模型参数。

与现有技术相比，本发明产生的有益效果为：本发明通过一种基于双重特征映射机制的分组卷积神经网络结构来学习真假面部中的重要线索；同时设计了一种双重样本间差来最小化同类样本的分布距离，能够有效地消除可将光人脸图像中面部特征的干扰。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2为本发明的DFMN的结构示意图；

图3为本发明的DFM的结构示意图；

图4为本发明的训练流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于DFMN和DSD的单模态人脸活体检测方法，具体步骤如下：

步骤一：对接收到的人脸可见光图像进行预处理操作，提取可见光图像的特征，实现人脸图像增强和归一化操作，并根据可见光图像特征划分正样本空间、负样本空间。

在步骤一中，需要对可见光人脸图像进行预处理操作，以获取有效人脸深度图像，预处理包含如下步骤：

(1)对当前人脸可见光图像进行大小缩放处理，缩放至128×128大小用于适应卷积神经网络输入层；

(2)将缩放后的人脸图像进行对人脸图像进行旋转、翻转和转置操作。

(3)对上述人脸图像中的像素值进行归一化操作，通过遍历图像中每一个像素点实现，设当前原始像素点为x，设定最大与最小像素点Max和Min，归一化后图像记为x_Norm，如公式(1)所示：

将预处理后的人脸图像，输入至经训练的深度卷积神经网络，进而检测输入的人脸图像是否为真实人脸。

步骤二：构建Dual Feature Mapping Network(DFMN)，基于正样本和负样本构建Dual Sample Discrepancy(DSD)联合优化框架对DFMN进行网络模型训练，得到DFMN模型；

如图2所示，DFMN的网络结构包括输入层、第一残差单元、第二残差单元、第三残差单元、池化层、全连接层、softmax层和输出层；输入层与第一残差单元相连接，第一残差单元与第二残差单元相连接，第二残差单元与第三残差单元相连接，第三残差单元与池化层相连接，池化层与全连接层相连接，全连接层与softmax层相连接，softmax层与输出层相连接。其中，第一残差单元、第二残差单元和第三残差单元均包括卷积层I、卷积层II、卷积层III和双重特征映射模块；卷积层I与卷积层II相连接，卷积层II与卷积层III相连接，卷积层III与双重特征映射模块相连接。卷积层I和卷积层II的卷积核大小均为1×1，卷积层III的卷积核大小为3×3。

输入层用于对接收到的有效人脸深度图像进行图像大小和格式转换，输入至三个残差单元，接着经过一个AdaPool池化层和全连接层后，得到一个大小为1×2向量输出，经过softmax激活函数层将向量输出映射为(0,1)区间的概率表示，选取概率最大的结点作为预测结果，进而实现人脸活体检测二分类。

如图3所示，双重特征映射模块包括全局平均池化层、全局最大池化层、多层感知机；输入特征分别经过全局最大池化层和全局平均池化层后分得到特征I和特征II，特征I和特征II再分别通过多层感知机后进行加权融合后得到输出特征。

1)输入DFM的特征图为F大小为H×W×C，输入的特征图经过全局最大池化和全局平均池化的操作后得到两个1×1×C的特征图。

2)将上述两个1×1×C的特征图分别输入一个多层感知机(MLP)。多层感知机表示一种简单的双层神经网络，其中包括两层全连接层与GELU激活函数。

3)将MLP输出的特征进行concatenation的加和操作，输出最终特征F_c，整个过程可以表示为：

F_c＝sigmoid(MLP(AvgPool(F))+MLP(MaxPool(F)))

其中，F表示输入的特征图，MLP表示多层感知机，AvgPool和MaxPool分别表示全局平均池化和全局最大池化。

根据传统的网络模型训练方式引入DSD框架进行优化，并结合交叉熵损失函数进一步学习真实人脸与虚假人脸之间的差异。如图4所示，利用DSD联合优化框架对DFMN进行网络模型训练的方法为：

S2.1：将训练集样本输入至上述构建的网络模型中进行训练；其中，训练集样本包括正样本和负样本，所有正样本组成正样本空间，记为Ω_pos＝{ω丨ω＝x₁,x₂,x₃……x_m}，所有负样本组成负样本空间，记为Ω_neg＝{θ丨θ＝y₁,y₂,x₃……y_n}；其中，x_i为正样本，y_j为负样本，i＝1,2,…,m，j＝1,2,…,n；

S2.2：通过DSD联合框架计算模型误差，并提取模型预测结果；

基于正样本x_i和x_i的期望值计算当前正样本与其余正样本间的相似度：

其中，D_pos为正样本的样本相似度，正样本的分布为[a，b]，||·||表示L2范数，E(·)为期望值函数；

基于负样本y_j和y_j的期望值计算当前负样本与其余负样本间的相似度：

其中，D_neg为负样本的样本相似度，负样本的分布为[c，d]；

将所有样本输入DFMN得到样本预测值，结合交叉熵损失计算样本预测值与真实值间的差异：

其中，D_main为样本预测值与真实值间的损失值，W(k)表示第k个样本的真实值，P(k)表示第k个样本的预测值；

结合D_pos和D_neg进行权重加和操作，实现整个DSD联合框架的构建：

D_All＝D_main+D_pos+D_neg；

其中，D_All表示总体损失函数；

S2.3：根据模型预测结果与真实标签进行比较，通过循环遍历整个训练样本空间，计算预测正确结果数；

S2.4：反向传播更新DFMN的网络参数，在进行反向传播前先进行梯度清零，运用SGD随机梯度下降法更新网络参数；

S2.5：输出模型训练的损失率和准确率，并保存每一次迭代的模型参数，选择在验证集上准确率最高的模型参数。

步骤三：将待识别的可见光人脸图像输入DFMN模型中，输出人脸活体检测结果。

在步骤二中得到最优模型后，将可见光人脸图像输入至上述经训练的卷积神经网络中，得到一个大小为1×2向量输出，经过softmax函数将向量输出映射为(0,1)区间的概率表示，选取概率最大的结点作为预测结果，进而实现人脸活体检测二分类。

上述实施例通过双重特征映射DFM模块和双重样本间差DSD框架进行网络模型训练和分类，有效地避免人脸图像中面部特征的干扰，解决了传统单模态人脸活体检测方法准确率低，泛化性较差等问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于DFMN和DSD的单模态人脸活体检测方法，其特征在于，其步骤如下：

步骤一：对接收到的人脸可见光图像进行预处理操作，提取可见光图像的特征，并根据可见光图像特征划分正样本空间、负样本空间；

步骤二：构建Dual Feature Mapping Network(DFMN)，基于正样本和负样本构建DualSample Discrepancy(DSD)联合优化框架对DFMN进行网络模型训练，得到DFMN模型；

所述DFMN的网络结构包括输入层、第一残差单元、第二残差单元、第三残差单元、池化层、全连接层、softmax层和输出层；输入层与第一残差单元相连接，第一残差单元与第二残差单元相连接，第二残差单元与第三残差单元相连接，第三残差单元与池化层相连接，池化层与全连接层相连接，全连接层与softmax层相连接，softmax层与输出层相连接；

所述第一残差单元、第二残差单元和第三残差单元均包括卷积层I、卷积层II、卷积层III和双重特征映射模块；卷积层I与卷积层II相连接，卷积层II与卷积层III相连接，卷积层III与双重特征映射模块相连接；

所述双重特征映射模块包括全局平均池化层、全局最大池化层、多层感知机；输入特征分别经过全局最大池化层和全局平均池化层后分得到特征I和特征II，特征I和特征II再分别通过多层感知机后进行加权融合后得到输出特征；

所述第一残差单元、第二残差单元和第三残差单元的处理方法为：

S1.1：输入双重特征映射模块的特征图F大小为H×W×C，输入的特征图F分别经过全局最大池化层和全局平均池化层的操作后得到两个1×1×C的特征图；

S1.2：将步骤S1.1中的两个1×1×C的特征图分别输入多层感知机，其中多层感知机包括两层全连接层与GELU激活函数；

S1.3：将多层感知机输出的特征进行concatenation的加和操作，并通过sigmoid函数激活，输出最终特征Fc，整个过程可以表示为：

F_c＝sigmoid(MLP(AvgPool(F))+MLP(MaxPool(F)))；

其中，MLP表示多层感知机，AvgPool(·)表示全局平均池化操作，MaxPool(·)表示全局最大池化操作；

所述基于正样本和负样本构建Dual Sample Discrepancy(DSD)联合优化框架对DFMN进行网络模型训练的方法为：

S2.1：将训练集样本输入至上述构建的网络模型中进行训练；其中，训练集样本包括正样本和负样本，所有正样本组成正样本空间，记为Ω_pos＝{ω丨ω＝x₁,x₂,x₃……x_m}，所有负样本组成负样本空间，记为Ω_neg＝{θ丨θ＝y₁,y₂,x₃……y_n}；其中，x_i为正样本，y_j为负样本，i＝1,2,…,m，j＝1,2,…,n；

S2.2：通过DSD联合框架计算模型误差，并提取模型预测结果；

基于正样本x_i和x_i的期望值计算当前正样本与其余正样本间的相似度：

其中，D_pos为正样本的样本相似度，正样本的分布为[a，b]，||·||表示L2范数，E(·)为期望值函数；

基于负样本y_j和y_j的期望值计算当前负样本与其余负样本间的相似度：

其中，D_neg为负样本的样本相似度，负样本的分布为[c，d]；

将所有样本输入DFMN得到样本预测值，结合交叉熵损失计算样本预测值与真实值间的差异：

其中，D_main为样本预测值与真实值间的损失值，W(k)表示第k个样本的真实值，P(k)表示第k个样本的预测值；

结合D_pos和D_neg进行权重加和操作，实现整个DSD联合框架的构建：

D_All＝D_main+D_pos+D_neg；

其中，D_All表示表示总体损失函数；

S2.3：根据模型预测结果与真实标签进行比较，通过循环遍历整个训练样本空间，计算预测正确结果数；

S2.4：反向传播更新DFMN的网络参数，在进行反向传播前先进行梯度清零，运用SGD随机梯度下降法更新网络参数；

S2.5：输出模型训练的损失率和准确率，并保存每一次迭代的模型参数，选择在验证集上准确率最高的模型参数；

步骤三：将待识别的可见光人脸图像输入DFMN模型中，输出人脸活体检测结果。