CN115512399A - 一种基于局部特征和轻量级网络人脸融合攻击检测的方法 - Google Patents

Abstract

本发明涉及一种基于局部特征与轻量级网络的人脸融合攻击检测方法，用于解决检测精度效率以及基于深度学习的方法无法应用于IOT(如移动、嵌入式系统等)资源受限的应用场景。包括下列步骤：1)准备人脸数据集用于训练、测试和验证；2)进行人脸图像的预处理；3)对构建基于局部特征和轻量级人脸融合攻击检测网络；4)将训练集和验证集图像输入到基于局部特征和轻量级人脸融合攻击检测网络中，进行“二级”分类判断真假人脸，获得训练好的基于局部特征和轻量级网络的人脸融合攻击检测模型；5)将测试集人脸图像输入到训练好的基于局部特征和轻量级人脸融合攻击检测模型中，得到最终的人脸人脸融合攻击检测结果。本发明使用轻量级网络提取人脸图像的局部特征，有效提高了人脸融合攻击检测的精度，符合实际应用场景。

Description

一种基于局部特征和轻量级网络人脸融合攻击检测的方法

技术领域

本发明属于人脸融合攻击检测领域，涉及一种基于局部特征和轻量级网络的人脸融合攻击检测的方法。

背景技术

人脸识别作为一种重要的生物识别技术，已广泛应用于银行、旅店、交通等领域的身份认证。2002年，随着国际民航组织(ICAO)选择人脸作为电子机器可读旅行证件(eMRTD)中辅助身份确认的生物特征，人脸识别技术开始逐步应用到自动边界控制系统(AutomaticBorder Control，ABC)中。近年来，多种针对人脸识别系统的攻击先后被提出，其中人脸融合攻击已被证实对现有人脸识别系统的安全造成了严重的威胁。

人脸融合包括拼接融合(Splicing morphs)和完全融合(Complete morphs)。人脸融合图像由两个主体生成，其中拼接融合仅对人脸部位进行融合，能取得较好的视觉效果；而完全融合图像对整个人脸图像进行融合，通常会在头发区域产生伪影。人脸融合攻击最早由Ferrara等人提出。人脸融合攻击是犯罪分子将自己和同伙的数字图像融合在一起，得到融合的面部图像。这个图像在视觉上类似于两个人的人脸，且同时拥有罪犯和共犯的生物特征属性。若使用该融合人脸图像申请eMRTD，罪犯和共犯都可以使用该eMRTD出入境并通过人脸识别验证。随后，一系列的后续研究也进一步证明了人脸识别系统对人脸融合攻击的脆弱性。

针对人脸融合攻击，目前已有一些方法先后被提出。但是，大多数提出的方法往往是将全脸图像作为输入，没有注意到人脸局部特征的应用。典型的方法包括基于纹理差异的方法、基于图像来源特征的方法、基于图像质量的方法以及基于深度学习的方法。其中，由于深度学习具有强大的表征和学习能力、能够使用非线性模型将原始输入数据逐层转化为更高层次、更抽象的特征，基于深度学习的方法普遍取得了较好的检测性能。然而，由于深度学习模型普遍有着庞大的计算量，需要更好的设备和更多的计算资源，已有的基于深度学习的方法无法应用于IOT(如：移动、嵌入式系统等)等资源受限的应用场景。虽然已有一些轻量化网络，如SENet，SqueezeNet，Xception，MobileNet，MobileNetV2，MobileNetV3，ShuffleNet，ShuffNetV2，CondenseNet被先后提出，但他们均用于计算机视觉识别任务，无法适用于人脸融合攻击检测。

因此，如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。

发明内容

有鉴于此，本发明是提供一种基于局部特征和轻量化网络的人脸融合攻击检测方法，其目的在于更好地解决于现有技术中人脸融合攻击检测难以达到检测精度和检测效率平衡、鲁棒性较差和系统检测模型泛化能力较弱的问题。本发明解决上述问题的技术方案如下：

一种基于基于局部特征和轻量级网络的人脸融合攻击检测的方法。该方法使用轻量级网络提取人脸的局部特征来检测人脸融合攻击，轻量级网络采用三种“Block”叠加架构进行学习，最终通过输出每个局部人脸块的真假人脸概率值，再集成整个人脸特征进行判别，更好的提高检测精度，保持计算性能。包括以下步骤：

步骤1：准备人脸数据集用于训练、测试和验证；

步骤2：进行人脸图像的预处理；

步骤3：构建基于局部特征和轻量级人脸融合攻击检测网络；

步骤4：将训练集和验证集图像输入到基于局部特征和轻量级人脸融合攻击检测网络中，进行“二级”分类判断真假人脸，获得训练好的基于局部特征和轻量级网络的人脸融合攻击检测模型；

步骤5：将测试集人脸图像输入到训练好的基于局部特征和轻量级人脸融合攻击检测模型中，得到最终的人脸融合攻击检测结果。

在步骤2中，在人脸图像的预处理中，本发明对于输入图像使用dlib库(http://dlib.net/)的人脸检测器对人脸进行检测，对于检测到的人脸进行对齐和裁剪操作，以确保检测仅仅用于面部区域。随后，再随机的对人脸区域进行人脸局部分块操作以进行数据增强。与以往神经网络的输入不同，本发明将人脸分块为特定数目的96×96像素，其中96，96，3分别是图像的高度、宽度和通道数，在网络中训练局部特征，可以使得模型更具有鲁棒性。

在步骤3中，所述的基于局部分块和轻量级人脸融合攻击检测网络中主要由Block_1，Block_2，Block_3组成。其中，Block_1是MobileNetV2所提的倒残差结构，主要由深度可分离卷积结构构成，依次包括1×1逐点卷积层，3×3的逐深度卷积和1×1的逐深度卷积，再进行残差连接。Block_2是由两个并行分支组成，右分支是深度可分离卷积结构，左分支依次是一个3×3的逐深度卷积，1×1的逐点卷积，然后将两个分支相连接。两个分支可以学习到更多的特征。在Xception中就说明了加深网络宽度可以提高网络性能。Block_2中的逐深度卷积中stride＝2，也是下采样模块。Block_3由本文提出的，在倒残差结构中加入ECA-Net模块。道注意力机制在提高深度卷积网络性能方面有很大的潜力，而ECA-Net是更轻量化的通道注意力机制模块，没有降低通道维数，通过执行大小为k的快速一维卷积来生成通道权值，其中k通过通道维度C的函数自适应地确定。

在步骤4中的网络训练和验证过程包括：

步骤4.1：对于预处理的数据集进行数据增强。本发明不同于传统卷积神经网络的输入，本发明使用96x96的输入大小，使用局部分块特征进行数据增强，具体来说，如果一个数据集进行训练的真实人脸样本只有81个，经过特定数目(N)的分块后，将有限的真实样本可以增强为81xN个。将数据进行增强后，可以有效增强训练的数据量，提高模型的泛化能力和鲁棒性。

步骤4.2：初始化参数：采用随机梯度下降SGD作为优化器将一次训练样本数量设置为64，权重衰减值设置为0.0001，动量设置为0.9，初始学习率设置为0.1，使用余弦退火调整学习率，使用交叉熵损失函数CrossEntropyLoss()。

步骤4.3：将训练集和验证集中经过预处理和数据增强后的图像输入到设计的基于局部特征和轻量级网络的人脸融合攻击检测模型中，输出每个局部人脸块的真假人脸概率值。

步骤4.4：进行“二级”分类判断真假人脸。具体来说，首先对一个人脸中的每个块进行第一级判断，判断是真实人脸还是攻击人脸，再进行第二级集成判断，如果一个人脸中的分块人脸被判断成真实人脸数目大于判断为攻击人脸数目，则这个输入人脸就会判断为真实人脸，如果一个人脸中的分块人脸判断成真实人脸数目小于等于攻击人脸数目，则这个输入人脸就会判断为攻击人脸。

本发明提供了一种基于局部特征和轻量级网络的人脸融合攻击检测方法。具备以下有益效果：

(1)本发明使用人脸局部特征学习方法和“二级”分类模型。使用局部特征可以对数据集进行增强的同时更有助于提取判别信息，第一级分类是结合轻量级网络输出局部人脸的概率值，第二级分类是集成人脸中的所有局部特征进行判别，所提出的模型显示出很好的检测性能。

(2)本发明设计了一种基于局部特征和轻量级网络的人脸融合攻击检测结构，使用三种“Block”组合架构，提出在“倒残差”结构中加入ECA-Net更轻量级的注意力机制模块，使得网络在减少参数量的同时保持检测精度。

附图说明

图1为本发明涉及的一种基于局部特征和轻量级网络人脸融合攻击检测方法总流程图；

图2为本发明涉及的一种基于局部特征和轻量级网络人脸融合攻击检测方法主要模块图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

图1为本发明涉及的一种基于局部特征和轻量级网络人脸融合攻击检测方法总流程图；如图1所示，一种基于局部特征和轻量级网络人脸融合攻击检测方法的具体步骤如下：

步骤1：准备图像数据集用于训练、验证和测试

本发明使用一个数据集，HNU_FM数据集。根据不同融合因子和位置融合因子不同，生成了HNU_FM四个人脸融合数据子集FaceMDB1、FaceMDB2、FaceMDB3、FaceMDB4。其中FaceMDB1是将位置融合因子β设置为0.5，像素融合因子设置α为0.5；FaceMDB2是将位置融合因子设置为0.1-0.9，像素融合因子α设置为0.5，FaceMDB3是将位置融合因子β设置为0.5，像素融合因子设置α为0.1-0.9。FaceMDB4是将位置融合因子β设置为0.1-0.9，像素融合因子设置α为0.1-0.9。四个子集的训练集真实人脸有1121张，融合人脸有1121张，验证集的真实人脸有546张，融合人脸有330张，测试集真实人脸有566张，融合人脸有567。

步骤2：进行人脸图像的预处理；

步骤3：构建基于局部特征和轻量级人脸融合攻击检测网络；

如图2所示，所述基于基于局部特征和轻量级人脸融合攻击检测网络的主要模块，主要由Block_1，Block_2，Block_3组成。网络一开始，人脸局部特征的输入维度设置为96×96×3，并在网络的开始使用常规卷积Conv2d(stride＝2)，以此来提取和保留更多的特征。随后使用Block_2下采样至24×24×24，这样可以使得特征图尺寸快速减少，很大程度上减少了计算量和参数，也实现了较快的速度。Block_1模块最简单，需要参数量在三个模块中是最少的，所以将Block_1作为更多的一个使用模块。在Block_2以后再使用Block_3，通过通道注意力机制来最小化由于下采样而造成的特征信息损失。在输入通道为40以上都使用Block_3，以增强深层网络通道之间的信息交互。另外，第二个常规卷积层后也插入了一个ECA-Net模块，在参数数量适度增加的情况下提高模型的准确性。随后的池化层和常规卷积层作为最后处理过程，且使用池化层可以简化模型复杂度，减少计算量，减少内存消耗。最后是一个全连接层在整个网络中起到“分类器”的作用。

在网络深层使用MobileNetV3中的H-Swish激活函数。虽然使用Swish函数能够有效改进网络精度，但是计算量太大。于是，H-Swish激活函数成为MobileNetV3中的一个重要组成。H-Swish激活函数公式如下：

在网络深层使用MobileNetV3中的H-Swish激活函数。虽然使用Swish函数能够有效改进网络精度，但是计算量太大。于是，H-Swish激活函数成为MobileNetV3中的一个重要组成。H-Swish激活函数公式如下：

在深层网络中使用H-swish可以更有效改进网络精度。所以，在所提网络输入通道为40以上才使用H-swish激活函数替换修正线性单元(Rectified Linear Unit，ReLU)和Sigmoid，也即在我们的轻量化网络结构中，当nl＝HS的时候，使用h-swish()，当nl＝RE的时候，使用ReLU()激活函数。

基于局部特征和轻量级人脸融合攻击检测网络具体结构如表1所示：

表1网络的详细结构

步骤4：将HUM_FM训练集和验证集中人脸图像输入到轻量级人脸融合攻击检测网络中，再进行两级“分类”决策。

步骤5：将HUN_FM测试集中人脸图像输入到轻量级人脸融合攻击检测网络中，进行两级“分类”决策。

本发明在HUN_FM数据集上的检测结果如表2，所示。为了评估本发明的检测性能，使用The Attack Presentation Classification Error Rate(APCER)、The Bona FidePresentation Error Rate(BPCER)和Average Classification Error Rate(ACER)来进行评估。其中APCER、BPCER、ACER定义为：

其中FP表示融合人脸错误分类为真实人脸的数目，FN表示真实人脸错误分类为融合人脸的数目，TP表示真实人脸正确分类为真实人脸的数目，TN表示融合人脸正确分类为融合人脸的数目。

本发明在HNU_FM测试集上的检测结果如表2所示。

表2在HNU_FM数据集上的性能比较(％)

表3展示了本发明与其他先进的方法在Pytorch生成的网络模型参数文件大小(Parameter)和每秒浮点数运算量(Floating-point Per second，FLOPS)的比较。本发明提出的模型参数量只有0.57M，FLOPS只有25.10M，比现有的其他网络在参数规模性上有明显的降低，具体了轻量级网络的条件，同时满足了检测性能和检测效率的平衡。

表3不同模型的轻量级指标

以上所述仅为本发明的较佳实施例子，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于局部特征和轻量级网络人脸融合攻击检测方法，其特征在于：使用轻量级网络提取人脸的局部特征来检测人脸融合攻击，轻量级网络采用三种“Block”叠加架构进行学习，最终通过输出每个局部人脸块的真假人脸概率值，再集成整个人脸特征进行判别。通过双重判别可以大大提高人脸融合攻击检测的精度，所提出网络模型也有很高的计算效率，进而能够有效提高人脸识别系统的安全性，具体包括以下步骤：

步骤1：准备人脸数据集用于训练、测试和验证；

步骤2：进行人脸图像的预处理；

步骤3：构建基于局部特征和轻量级人脸融合攻击检测网络；

步骤4：将训练集和验证集图像输入到基于局部特征和轻量级人脸融合攻击检测网络中，进行“二级”分类判断真假人脸，获得训练好的基于局部特征和轻量级网络的人脸融合攻击检测模型；

步骤5：将测试集人脸图像输入到训练好的基于局部特征和轻量级人脸融合攻击检测模型中，得到最终的人脸融合攻击检测结果。

2.根据权利要求1所述的基于局部特征和轻量级网络人脸融合攻击检测方法，其特征在于，步骤2中，使用dlib库(http://dlib.net/)的人脸检测器对人脸进行检测，对于检测到的人脸进行对齐和裁剪操作，以确保算法仅仅用于面部区域。

根据本文人脸融合算法可知，人脸融合检测的判别信息存在于整个面部，而背景区域对于人脸融合攻击检测是冗余和干扰信息，所以本发明使用人脸局部特征进行输入，将整个人脸分割成几个固定的不重叠的区域，使得网络更有效的提取判别信息。再者，将人脸融合攻击检测看作为二元分类问题，使用图像局部特征可以更好的训练本文所提的网络模型。

3.根据权利要求1所述的基于局部特征和轻量级网络人脸融合攻击检测方法，其特征在于，所述步骤3采用三种“Block”叠加架构进行学习。

基于局部特征的轻量级网络由Block_1，Block_2，Block_3组成。其中，Block_1是MobileNetV2所提的倒残差结构，主要由深度可分离卷积结构构成，依次包括1×1逐点卷积层，3×3的逐深度卷积和1×1的逐深度卷积，再进行残差连接。Block_2是由两个并行分支组成，右分支是深度可分离卷积结构，左分支依次是一个3×3的逐深度卷积，1×1的逐点卷积，然后将两个分支相连接。两个分支可以学习到更多的特征。在Xception中就说明了加深网络宽度可以提高网络性能。Block_2中的逐深度卷积中stride＝2，也是下采样模块。Block_3由本文提出的，在倒残差结构中加入ECA-Net模块。通道注意力机制在提高深度卷积网络性能方面有很大的潜力，而ECA-Net是更轻量化的通道注意力机制模块，没有降低通道维数，通过执行大小为k的快速一维卷积来生成通道权值，其中k通过通道维度C的函数自适应地确定。

具体的网络总体架构工作过程具体为：在网络一开始，人脸局部特征的输入维度设置为96×96×3，并在网络的开始使用常规卷积Conv2d(stride＝2)，以此来提取和保留更多的特征。随后使用Block_2下采样至24×24×24，这样可以使得特征图尺寸快速减少，很大程度上减少了计算量和参数，也实现了较快的速度。Block_1模块最简单，需要参数量在三个模块中是最少的，所以将Block_1作为更多的一个使用模块。在Block_2以后再使用Block_3，通过通道注意力机制来最小化由于下采样而造成的特征信息损失。在输入通道为40以上都使用Block_3，以增强深层网络通道之间的信息交互。另外，第二个常规卷积层后也插入了一个ECA-Net模块，在参数数量适度增加的情况下提高模型的准确性。随后的池化层和常规卷积层作为最后处理过程，且使用池化层可以简化模型复杂度，减少计算量，减少内存消耗。最后是一个全连接层在整个网络中起到“分类器”的作用。

在网络深层使用MobileNetV3中的H-Swish激活函数。虽然使用Swish函数能够有效改进网络精度，但是计算量太大。而H-Swish可以有效改进这一缺点。所以，在深层网络中使用H-swish可以更有效改进网络精度。所以，在所提网络输入通道为40以上才使用H-swish激活函数替换修正线性单元(Rectified Linear Unit，ReLU)和Sigmoid，也即在我们的轻量化网络结构中，当nl＝HS的时候，使用h-swish()，当nl＝RE的时候，使用ReLU()激活函数。

4.根据权利要求1所述的基于局部特征和轻量级网络人脸融合攻击检测方法，其特征在于，所述步骤3中网络训练过程具体包括：

初始化参数：采用随机梯度下降SGD作为优化器将一次训练样本数量设置为64，权重衰减值设置为0.0001，动量设置为0.9，初始学习率设置为0.1，使用余弦退火调整学习率，使用交叉熵损失函数CrossEntropyLoss()。

将训练集和验证集中经过预处理和数据增强后的图像输入到设计的基于局部特征和轻量级网络的人脸融合攻击检测模型中，输出每个局部人脸块的真假人脸概率值。

5.根据权利要求1所述的基于局部特征和轻量级网络人脸融合攻击检测方法，其特征在于，采用“两级”人脸融合攻击检测判别决策。

输入人脸将分为固定长度的人脸块，对于每个人脸局部块都会输入到所提出的轻量化网络中，对每个人脸局部块转化成概率值。首先对一个人脸中的每个块进行第一级判断，判断是真实人脸还是攻击人脸，再进行第二级集成判断，如果一个人脸中的分块人脸被判断成真实人脸数目大于判断为攻击人脸数目，则这个输入人脸就会判断为真实人脸，如果一个人脸中的分块人脸判断成真实人脸数目小于等于攻击人脸数目，则这个输入人脸就会判断为攻击人脸。

Images