CN108960080A - 基于主动防御图像对抗攻击的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于主动防御图像对抗攻击的人脸识别方法，包括以下步骤：(1)将人脸视频截取成帧图像，经IS‑FDC分割后添加人脸标签，以建立人脸库；(2)利用FaceNet模型提取静态帧图像的脸部特征；(3)利用LSTM网络提取人脸视频的行为特征后，将行为特征输入至AlexNet模型中，经提取获得微表情特征；(4)将脸部特征与微表情特征拼接获得最终脸部特征，根据人脸库中存储的人脸标签确定该最终脸部特征对应的人脸标签。该方法能够有效地防御图像对抗攻击，提高了人脸识别准确度。

Description

基于主动防御图像对抗攻击的人脸识别方法

技术领域

本发明属于人脸识别领域，具体涉及一种基于主动防御图像对抗攻击的人脸识别方法。

背景技术

人脸识别主要是从人脸图像中自动提取人脸特征，然后根据这些特征进行身份验证。随着信息技术、人工智能、模式识别、计算机视觉等新技术的快速发展，人脸识别技术在公安、交通等安全系统领域有着各种潜在的应用，因而受到广泛的关注。

目前人脸识别的深度学习网络主要有Deepface、VGGFace、Resnet以及Facenet等。它们都能识别静态人脸图片，而人脸作为生物特征具有相似性和易变性，人脸的外形很不稳定，人可以通过脸部的动作产生很多表情，而在不同观察角度，人脸的视觉差异性也很大。当前最先进的人脸识别模型可以正确识别被遮挡的人脸和静态的人脸图片，但是对做出表情的人脸识别正确率不高。

虽然深度学习模型在执行人脸识别的视觉任务中拥有很高的精度，但是深度神经网络却很容易受到图像中细小扰动的敌对攻击，这种细小的扰动对人类视觉系统来说几乎是不可察觉的。这种攻击可能完全颠覆神经网络分类器对图像分类的预测。更糟糕的是，被攻击的模型对错误的预测表现出很高的置信度。而且，相同的图像扰动可以欺骗多个网络分类器。

目前，对抗敌对攻击的防御措施正在沿着三个主要方向发展：

(1)在学习中使用改进的训练集或在测试中使用被改动过的输入。

(2)修改深度学习网络，例如通过添加更多的层/子网络。

(3)用外部模型作为网络附件对未知的样本进行分类。

修改训练的典型防御方法有防御对抗训练和数据压缩重构。对抗训练，也就是将对抗样本附带正确类标作为正常样本加入训练集进行训练，导致网络正规化以减少过度拟合，这反过来又提高了深度学习网络抵御对抗攻击的鲁棒性。重构方面，Gu和Rigazio引入了深度压缩网络(DCN)。它表明去噪自动编码器可以减少对抗噪声，实现对对抗样本的重构，基于l-bfgs的攻击则证明了DCN的鲁棒性。

Papernot等人利用“蒸馏”的概念来对抗攻击，本质上利用网络的知识来提高自身的鲁棒性。以训练数据的类概率向量的形式提取知识，并反馈来训练原始模型，这样做可以提高网络对图像中微小扰动的恢复能力。

李等人使用了流行的生成对抗性网络的框架来训练一个对类似于FGSM攻击具有鲁棒性的网络。他提出顺着一个会对目标网络产生扰动的网络去训练目标网络。在训练过程中，分类器一直试图对干净和添加了扰动的图像进行正确的分类。将这种技术归类为“附加”方法，因为作者提出始终以这种方式训练任何网络。在另一个以GAN为基础的防御中，Shen等人使用网络产生扰动的部位去纠正扰动的图像。

越来越多且有效的对抗攻击对深度学习神经网络的稳定性和防御能力提出了更高的要求。

发明内容

为了克服目前人脸识别方法易受攻击、对表情识别能力低的特点，本发明提供了一种基于主动防御图像对抗攻击的人脸识别方法，该方法通过多通道结合人脸识别、LSTM行为识别、微表情识别，能在受到图像对抗攻击的情况下正确识别人脸，抵御攻击。

本发明提供的技术方案为：

一方面，一种基于主动防御图像对抗攻击的人脸识别方法，包括以下步骤：

(1)将人脸视频截取成帧图像，经IS-FDC分割后添加人脸标签，以建立人脸库；

(2)利用FaceNet模型提取静态帧图像的脸部特征；

(3)利用LSTM网络提取人脸视频的行为特征后，将行为特征输入至AlexNet模型中，经提取获得微表情特征；

(4)将脸部特征与微表情特征拼接获得最终脸部特征，根据人脸库中存储的人脸标签确定该最终脸部特征对应的人脸标签。

仅通过FaceNet模型进行人脸识别，会存在遭受图像对抗攻击的可能，导致人脸识别会出现错误，识别不准确。本发明通过引入第二通道(LSTM网络和AlexNet模型)识别微表情特征，结合微表情特征与FaceNet模型识别的脸部特征来判断人脸识别结果，能够有效地对抗图像攻击，提高人脸识别准确度。

优选地，步骤(1)包括：

(1-1)按照每秒51帧的频率将人脸视频截取成帧图像；

(1-2)采用IS-FDC将帧图像分割成区域图和轮廓图；

(1-3)并对每个区域图和轮廓图添加人脸标签，该人脸标签与对应的帧图像、区域图以及轮廓图形成一个链表，构成人脸库。

由于FaceNet模型对输入数据的尺寸有要求，因此，在将帧图像输入到FaceNet模型前，对帧图像进行尺寸归一化处理。

其中，所述将脸部特征与微表情特征拼接获得最终脸部特征包括：

比较脸部特征与微表情特征的差值；

若差值大于等于阈值，表明脸部特征已经被攻击，则舍弃脸部特征，将微表情特征作为最终脸部特征；

若差值小于阈值，表明脸部特征被攻击的可能性小，将脸部特征矩阵与微表情特征矩阵相同位置元素值的均值作为该位置的新元素值，构成最终脸部特征。

通过对脸部特征与微表情特征进行拼接能够有效地对抗图像攻击，即可以提高人脸识别的准确度。

所述根据人脸库中存储的人脸标签确定该最终脸部特征对应的人脸标签包括：

采用K-means聚类算法计算最终脸部特征向量与人脸库中每个人脸向量之间的距离，以距离最近的人脸向量对应的人脸标签作为最终脸部特征的人脸标签。

在构建人脸库时，针对每个人脸图像会生成一个人脸向量，通过比较最终脸部特征向量与人脸向量之间的欧式距离找到与最终脸部特征最匹配的人脸标签，将该人脸标签作为最终脸部特征的人脸标签。K-means聚类算法能够快速准确地找到与最终脸部特征最近的人脸向量，即获得最匹配的人脸标签。

另一方面，一种基于主动防御图像对抗攻击的人脸识别方法，包括以下步骤：

(1)’将人脸视频截取成帧图像，经IS-FDC分割后添加人脸标签，以建立人脸库；

(2)’利用FaceNet模型提取静态帧图像的脸部特征；

(3)’利用LSTM网络提取人脸视频的行为特征；

(4)’利用AlexNet模型提取静态帧图像的微表情特征；

(5)’将脸部特征、行为特征以及微表情特征进行拼接后获得最终脸部特征，根据人脸库中存储的人脸标签确定该最终脸部特征对应的人脸标签。

通过引入第二通道(LSTM网络)识别行为特征，引入第三通道(AlexNet模型)识别微表情特征，结合微表情特征、行为特征以及与FaceNet模型识别的脸部特征来判断人脸识别结果，能够有效地对抗图像攻击，提高人脸识别准确度。

其中，步骤(1)’包括：

(1-1)’按照每秒51帧的频率将人脸视频截取成帧图像；

(1-2)’采用IS-FDC将帧图像分割成区域图和轮廓图；

(1-3)’并对每个区域图和轮廓图添加人脸标签，该人脸标签与对应的帧图像、区域图以及轮廓图形成一个链表，构成人脸库。

步骤(5)’包括：

(5-1)’将脸部特征矩阵、行为特征矩阵以及微表情特征矩阵相同位置元素值的均值作为该位置的新元素值，构成最终脸部特征；

(5-2)’采用K-means聚类算法计算最终脸部特征向量与人脸库中每个人脸向量之间的距离，以距离最近的人脸向量对应的人脸标签作为最终脸部特征的人脸标签。

与现有技术相比，本发明具有的有益效果为：

在本发明中，基于面部识别、行为识别以及微表情识识别人脸，能够有效地防御图像对抗攻击，提高了人脸识别准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明提供的基于主动防御图像对抗攻击的人脸识别方法的流程图；

图2是本发明提供的faceNet模型的结构图；

图3是本发明提供的LSTM网络的结构图；

图4是本发明提供的AlexNet模型的结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是本发明提供的基于主动防御图像对抗攻击的人脸识别方法的流程图。如图1所示，本实施例提供的人脸识别方法包括：

S101，将人脸视频截取成帧图像，经IS-FDC方法分割后添加人脸标签，以建立人脸库。

S101具体包括：

按照每秒51帧的频率将人脸视频截取成帧图像；

采用IS-FDC方法将帧图像分割成区域图和轮廓图；

并对每个区域图和轮廓图添加人脸标签，该人脸标签与对应的帧图像、区域图以及轮廓图形成一个链表，构成人脸库。

对帧图像进行尺寸归一化处理进行归一化处理。

IS-FDC方法为文献Jinyin Chen,Haibin Zheng,Xiang Lin，et al.Anovel imagesegmentation method based on fast density clustering algorithm[J].EngineeringApplications of Artificial Intellig,2018(73):92–110.记载的图像分割方法，该图像分割方法能够自动确定分割类别数、分割准确率较高。

S102，利用FaceNet模型提取静态帧图像的脸部特征。

FaceNet模型是一个模型参数已经确定，用于人脸识别的模型。具体的结构如图2所示，前半部分就是一个普通的卷积神经网络，卷积神经网络末端接了一个l2**嵌入**(Embedding)层。嵌入是一种映射关系，即将特征从原来的特征空间中映射到一个超球面上，也就是使其特征的二范数归一化，然后再以Triplet Loss为监督信号，获得网络的损失与梯度。

训练过程为：

将人脸图像x嵌入d维度的欧几里得空间f(x)∈R^d，在该向量空间内，希望保证单个个体的图像和该个体的其它图像距离近，与其它个体的图像距离远。使 α是positive和negative图像对的边沿，τ是训练集中所有可能的且具有基数n的三元组的集合。

loss函数目标是通过距离边界来区分正负类：

公式中，左边的二范数表示类内距离，右边的二范数表示类间距离，α是一个常量。优化过程就是使用梯度下降法使得loss函数不断下降，即类内距离不断下降，类间距离不断上升。

从mini-batch中挑选所有的positive图像对，满足a到n的距离大于a到p的距离，

FaceNet直接使用基于triplets的LMNN(最大边界近邻分类)的loss函数训练神经网络(替换掉经典的softmax)，网络直接输出为128维度的向量空间。

S103，利用LSTM网络提取人脸视频的行为特征后，将行为特征输入至AlexNet模型中，经提取获得微表情特征。

LSTM网络是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。如图3所示，LSTM的基本单元运行步骤如下：

LSTM的第一层称为忘记门，它负责选择性遗忘细胞状态中的信息。该门会读取上一次循环所得的输出和本次的输入，向每个细胞中的输出一个在0到1之间的数值。1表示“全部保留”，0表示“全部舍弃”。

确定什么样的新信息被存放在细胞状态中。sigmoid层称“输入门层”，它决定要被更新的数值。然后，由一个tanh层新建一个候选值向量，将它加入到细胞状态中，来代替被忘记的信息。

运行一个sigmoid层来确定细胞状态的哪个部分将输出。Tanh对细胞状态进行处理，得到一个在-1到1之间的值，并将它和sigmoid门的输出相乘，得到最终的输出结果。

如图4所示，AlexNet模型是一个模型参数已经确定，用于人脸识别的模型。主要是以CNN网络为基础，提取特征向量的运行步骤如下：

将实验图像集随机分为训练集和测试集，并尺寸归一化为256×256；

将尺寸归一化后的所有人脸表情图像作为输入数据，进行特征提取；

卷积过程：用一个可训练滤波器fx对输入图像(或上一层的特征图)进行卷积处理，在后面加上偏置bx，得到卷积层cx；

子采样过程：对每个邻域内四个像素点求和得到一个像素，通过标量Wx+1加权，然后增加偏置bx+1，再通过一个sigmoid激活函数，得到一个缩小约为1/4的特征映射图Sx+1；

将CNN倒数第二层直接输出，结果作为提取的相应图片的深度特征。

S104，将脸部特征与微表情特征拼接获得最终脸部特征，根据人脸库中存储的人脸标签确定该最终脸部特征对应的人脸标签。

本步骤的具体过程为：

首先，比较脸部特征与微表情特征的差值；

若差值大于等于阈值，表明脸部特征已经被攻击，则舍弃脸部特征，将微表情特征作为最终脸部特征；

若差值小于阈值，表明脸部特征被攻击的可能性小，将脸部特征矩阵与微表情特征矩阵相同位置元素值的均值作为该位置的新元素值，构成最终脸部特征。

然后，采用K-means聚类算法计算最终脸部特征向量与人脸库中每个人脸向量之间的距离，以距离最近的人脸向量对应的人脸标签作为最终脸部特征的人脸标签。

本实施例通过引入第二通道(LSTM网络和AlexNet模型)识别微表情特征，结合微表情特征与FaceNet模型识别的脸部特征来判断人脸识别结果，能够有效地对抗图像攻击，提高人脸识别准确度。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于主动防御图像对抗攻击的人脸识别方法，包括以下步骤：

(1)将人脸视频截取成帧图像，经IS-FDC方法分割后添加人脸标签，以建立人脸库；

(2)利用FaceNet模型提取静态帧图像的脸部特征；

(3)利用LSTM网络提取人脸视频的行为特征后，将行为特征输入至AlexNet模型中，经提取获得微表情特征；

(4)将脸部特征与微表情特征拼接获得最终脸部特征，根据人脸库中存储的人脸标签确定该最终脸部特征对应的人脸标签。

2.如权利要求1所述的基于主动防御图像对抗攻击的人脸识别方法，其特征在于，步骤(1)包括：

(1-1)按照每秒51帧的频率将人脸视频截取成帧图像；

(1-2)采用IS-FDC方法将帧图像分割成区域图和轮廓图；

(1-3)并对每个区域图和轮廓图添加人脸标签，该人脸标签与对应的帧图像、区域图以及轮廓图形成一个链表，构成人脸库。

3.如权利要求1所述的基于主动防御图像对抗攻击的人脸识别方法，其特征在于，所述人脸识别方法还包括：

在将帧图像输入到FaceNet模型前，对帧图像进行尺寸归一化处理。

4.如权利要求1所述的基于主动防御图像对抗攻击的人脸识别方法，其特征在于，所述将脸部特征与微表情特征拼接获得最终脸部特征包括：

比较脸部特征与微表情特征的差值；

若差值大于等于阈值，表明脸部特征已经被攻击，则舍弃脸部特征，将微表情特征作为最终脸部特征；

若差值小于阈值，表明脸部特征被攻击的可能性小，将脸部特征矩阵与微表情特征矩阵相同位置元素值的均值作为该位置的新元素值，构成最终脸部特征。

5.如权利要求1所述的基于主动防御图像对抗攻击的人脸识别方法，其特征在于，所述根据人脸库中存储的人脸标签确定该最终脸部特征对应的人脸标签包括：

采用K-means聚类算法计算最终脸部特征向量与人脸库中每个人脸向量之间的距离，以距离最近的人脸向量对应的人脸标签作为最终脸部特征的人脸标签。

6.一种基于主动防御图像对抗攻击的人脸识别方法，包括以下步骤：

(1)’将人脸视频截取成帧图像，经IS-FDC分割后添加人脸标签，以建立人脸库；

(2)’利用FaceNet模型提取静态帧图像的脸部特征；

(3)’利用LSTM网络提取人脸视频的行为特征；

(4)’利用AlexNet模型提取静态帧图像的微表情特征；

(5)’将脸部特征、行为特征以及微表情特征进行拼接后获得最终脸部特征，根据人脸库中存储的人脸标签确定该最终脸部特征对应的人脸标签。

7.如权利要求6所述的基于主动防御图像对抗攻击的人脸识别方法，其特征在于，步骤(1)’包括：

(1-1)’按照每秒51帧的频率将人脸视频截取成帧图像；

(1-2)’采用IS-FDC将帧图像分割成区域图和轮廓图；

(1-3)’并对每个区域图和轮廓图添加人脸标签，该人脸标签与对应的帧图像、区域图以及轮廓图形成一个链表，构成人脸库。

8.如权利要求6所述的基于主动防御图像对抗攻击的人脸识别方法，其特征在于，步骤(5)’包括：

(5-1)’将脸部特征矩阵、行为特征矩阵以及微表情特征矩阵相同位置元素值的均值作为该位置的新元素值，构成最终脸部特征；

(5-2)’采用K-means聚类算法计算最终脸部特征向量与人脸库中每个人脸向量之间的距离，以距离最近的人脸向量对应的人脸标签作为最终脸部特征的人脸标签。