CN108009493A - 基于动作增强的人脸防欺骗识别方法 - Google Patents

Abstract

本发明公开了一种基于动作增强的人脸防欺骗识别方法。属于数字图像处理技术领域。本发明通过动作增强技术增强输入CNN+LSTM网络视频中的动作信息，此外，为了克服现有CNN+LSTM框架存在丢失位置信息的缺陷，本发明将LSTM结构加在最后一个池化层后面，并去掉全连接层，达到保留位置信息的目的，从而使得提取的序列特征更具有区分能力；同时本发明还在改进后的框架中加入了注意力机制，通过设置位置置信度矩阵，将位置变化明显区域置信度值增大，使得LSTM更加专注动作信息集中区域。

Description

基于动作增强的人脸防欺骗识别方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于动作增强的人脸防欺骗识别方法。

背景技术

作为一种方便和高效率的生物识别认证，人脸识别已经引起了越来越多的关注。尽管人脸识别系统发展迅速，但其安全性面临严峻的挑战。人脸识别系统很容易受到攻击，用打印的照片或转播的视频来欺骗攻击人脸系统成为不法分子常用的手段。一般来说,一个实际的人脸识别系统不仅需要高度的识别性能，但同时也要具有区别认证信息是来自攻击者(假脸)还是来自真实的人(真实的面孔)。

在现在研究的人脸防欺骗技术中，大多数都是基于人工设计的特征提取器来提取真实人脸和各种欺骗材料在表面反射和材料等方面的纹理信息差异，或者将验证信息利用傅里叶变换转化到频域上进行分析。这些传统方法虽然在一定程度上可以区分一些真假人脸信息，但是难以应对日益复杂的欺骗方法。随着深度学习的不断发展，许多研究者尝试使用卷积神经网络(CNN)来自动学习真假人脸照片间的特征差异，并取得了较好的结果。但是许多方法还是简单的利用CNN网络提取输入特征，并没有考虑摄像头捕捉到的视频帧与帧之间的相关性。考虑到这种情况，许多人提出了自己的解决方案，其中采用CNN+LSTM结构的深度学习网络取得了很好的结果，LSTM(长短期记忆网络Long Short Term MemoryNetwork)是一种学习时间依赖信息的结构，它可以不断记忆输入视频帧的有用信息，并丢弃无用信息。所以它可以在整个视频序列中很好的学习与时序相关的信息，记忆动作增强线索，通过不断对比学习输入视频帧序列的信息，学习动作线索，通过学到的动作线索判断这个视频序列整体人脸的真假，但是这种方案仍存在许多待改进的地方。其对输入数据的并没做太多的预处理和信息挖掘，此外，其LSTM结构直接加在了CNN网络的全连接层输出上，这样就丢失了前面卷积层上具有的位置信息，而位置信息对视频帧的序列特征非常重要。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种利用动作增强技术的改进型CNN+LSTM框架的人脸防欺骗识别方法。

本发明的基于动作增强的人脸防欺骗识别方法，包括下列步骤：

构建基于卷积神经网络CNN和长短期记忆网络LSTM的人脸防欺骗识别网络模型：包括卷积层，池化层，LSTM层、注意力机制层和分类层，其中n路顺次连接的13层卷积层、1层池化层和3层LSTM层接入同一注意力机制层，所述注意力机制层用于将来自LSTM层的图像数据矩阵与位置置信度矩阵相乘，得到注意力机制处理后的图像数据矩阵并输入分类层，分类层用于判决视频人脸真假，其中n表示满足检测时长的视频的帧数，池化层的池化方式为最大值池化；

训练所述人脸防欺骗识别网络模型：

步骤S11：初始化网络参数；

步骤S12：初始化位置置信度矩阵；

输入一段帧数为n的训练视频序列，并对训练视频序列的视频图像进行图像预处理，包括归一化处理和采用动作增强技术的图像增强处理，得到n帧增强视频图像；

其中初始位置置信度矩阵和对输入的训练视频序列进行图像预处理无处理上的先后顺序之分。

步骤S13：将n帧增强视频图像输入所述人脸防欺骗识别网络模型，进行前向传播计算，预测视频人脸真假，并与真实标签进行比较，计算分类层的损失函数

步骤S14：计算损失函数的梯度其中W_t表示第t次迭代的网络参数；

更新网络参数：W_t+1＝W_t+V_t+1,其中γ表示预设的负梯度学习率，μ表示上一次梯度值的权重，V_t表示第t次迭代的梯度，且首次迭代的梯度为0(若t的初始值为0，即V₀＝0)，γ、μ的初始值为预设值；

更新位置置信度矩阵： 表示第t次迭代的位置置信度矩阵的元素，i和j表示位置置信度矩阵的行和列，a_ij表示特征值，θ表示预设的学习率；

步骤S15：重复执行步骤S12～S14，对网络参数和位置置信度矩阵进行迭代更新，直到损失函数满足迭代收敛；当满足损失函数满足迭代收敛时，保存当前网络参数作为训练好的网络参数；

人脸真假识别过程：

步骤S21：输入一段帧数为n的待识别视频序列，并采用与训练视频序列相同的图像预处理方式，对待识别视频序列的视频图像进行图像预处理，得到n帧待识别的增强视频图像；

步骤S22：加载训练好的网络参数，将n帧待识别的增强视频图像输入所述人脸防欺骗识别网络模型，进行前向传播计算，获取待识别视频人脸真假。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

(1)在真假人脸鉴别方面，视频中人脸的动作信息是一个非常重要的线索，本发明利用动作增强技术可以显著放大帧之间的动作变化，便于充分利用动作变化这一线索；

(2)将LSTM接到CNN网络最后的池化层，而非全连接层，保留位置信息，更有利于LSTM提取动作变化的信息；

(3)在LSTM上采用注意力机制，使模型能够更好的专注于有动作变化的区域。

附图说明

图1是本发明利用动作增强技术的改进型CNN+LSTM框架示意图；

图2是注意力机制示意图；

图3是两幅动作增强效果示意图，从左到右依次为：XT方向(X-Y-T表示视频帧宽度-高度-时刻坐标轴，XT为坐标轴宽度时刻平面)视频截面、增强前动作变化、增强后动作变化。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明提出了一种利用动作增强技术的改进型CNN+LSTM框架，通过动作增强技术增强输入CNN+LSTM网络视频中的动作信息，此外，为了克服现有CNN+LSTM框架存在丢失位置信息的缺陷，本发明创造性地将LSTM结构加在最后一个池化层后面，同时去掉全连接层，达到保留位置信息的目的，从而使得提取的序列特征更具有区分能力。其基本框架如图1所示，其中Conv为卷积层，卷积核为3*3，共包括13层卷积层，pooling池化层采用最大值池化，视频图片的归一化输入尺寸优选为128*128像素，LSTM共3层。

同时，本发明还在改进后的框架中加入了注意力机制(Attentionunit)，通过设置位置置信度矩阵β，将位置变化明显区域置信度值增大，使得LSTM更加专注动作信息集中区域。即在LSTM的输出上加入注意力机制，根据前面序列提取到的动作信息确定图片中动作信息集中区域，设置图片的位置置信度矩阵β，如图2所示，其中β₁,…β_n表示不同帧的图像的位置置信度矩阵，传递到下一帧LSTM中，使得LSTM更加专注动作信息集中区域，使得学习的动作信息更加具有区分能力，即本发明通过设置的注意力机制层(Attentionunit)实现对LSTM层输出的图像数据矩阵与对应的图片的位置置信度矩阵β_i(i＝1,…,n)的相乘，从而得到注意力机制处理后的图像数据矩阵。再通过分类层(softmax层)对注意力机制层的输出进行真假人脸的分类识别处理。

动作增强技术通过对输入的视频进行图片内空间分解，再进行帧间滤波。用I(x,y,t)表示t时刻位置为(x,y)的视频帧像素值。基于光强随着时间变化的位移函数δ(t)，则有：I(x,y,t)＝f(x+δ_x(t),y+δ_y(t))，其中δ_x(t)和δ_y(t)分别表示x和y方向的位移函数。f(·)表示对应像素点(位置)的像素值。故动作增强技术的目标函数可以表示为：其中α是预设的增强系数。

在x和y方向一阶泰勒级数展开，视频的像素值可以表示为：令B(x,y,t)表示对输入视频在每个位置(x,y)进行宽带帧间带通滤波的结果，这样除了f(x,y)其他成分都被过滤出来了。则：故动作增强处理后的视频图像表示为：综上，可以得到的最终表达式为：

故t时刻的局部图像f(x,t)的空间位移δ(t)被增大到了(1+α)倍。图3显示了增强后的效果。明显可以看出使用增强技术后动作的变化更加明显了。

本发明的基于动作增强的人脸防欺骗识别方法主要包括两部分：网络模型的网络参数的训练，及实时的人脸防欺骗识别。其具体过程如下：

1、训练过程：

步骤101：初始化网络参数W(例如Xavier方法)，得到首次迭代对应的网络参数，即W₀；

步骤102：输入视频序列，并进行尺寸归一化处理。例如采集30帧，然后将每一帧缩放到128*128*3(H*W*C，H为图片高度，W为图片宽度，C为图片通道，3表示为RGB彩色图片)，将处理后的视频序列采用动作增强技术增强，增强系数α取经验值0.5；

步骤103：初始化注意力机制置层的位置置信度矩阵β(均值初始化M表示特征维度，即输入注意力机制层的图像数据矩阵的行与列的乘积)，即通过上述初始化得到的值，其中i、j表示位置置信度矩阵的行和列；

步骤104：将步骤102中处理完的视频帧输入网络，进行前向传播计算，预测视频人脸真假，并与真实标签进行比较，计算softmax损失

步骤105：计算梯度更新网络参数W_t+1＝W_t+V_t+1,其中 γ是负梯度的学习率，μ是上一次梯度值的权重，t表示迭代次数，V_t表示第t次迭代的梯度，且首次迭代的梯度为0(若t的初始值为0，即V₀＝0)。通过比较前后两次计算特征间变化差异更新注意力机制置信度矩阵β，a_ij表示i行j列处的特征值，θ表示学习率；

步骤106：迭代执行步骤102～105。当损失迭代收敛时，即不再下降时，终止训练，保存当前网络参数和位置置信度矩阵。

2、识别过程：

步骤201：输入视频序列，采集30帧，然后将每一帧缩放到128*128*3(H*W*C，H为图片高度，W为图片宽度，C为图片通道，3表示为RGB彩色图片)。

步骤202：将处理后的视频序列采用动作增强技术增强，增强系数α取经验值0.5；

步骤203：加载训练好的网络参数，将步骤202中处理完的视频帧输入网络，进行前向传播计算，预测视频人脸真假。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (4)

1.基于动作增强的人脸防欺骗识别方法，其特征在于，包括下列步骤：

构建基于卷积神经网络CNN和长短期记忆网络LSTM的人脸防欺骗识别网络模型：包括卷积层，池化层，LSTM层、注意力机制层和分类层，其中n路顺次连接的13层卷积层、1层池化层和3层LSTM层接入同一注意力机制层，所述注意力机制层用于将来自LSTM层的图像数据矩阵与位置置信度矩阵相乘，得到注意力机制处理后的图像数据矩阵并输入分类层，分类层用于判决视频人脸真假，其中n表示满足检测时长的视频的帧数，池化层的池化方式为最大值池化；

训练所述人脸防欺骗识别网络模型：

步骤S11：初始化网络参数；

步骤S12：初始化位置置信度矩阵；

输入一段帧数为n的训练视频序列，并对训练视频序列的视频图像进行图像预处理，包括归一化处理和采用动作增强技术的图像增强处理，得到n帧增强视频图像；

步骤S13：将n帧增强视频图像输入所述人脸防欺骗识别网络模型，进行前向传播计算，预测视频人脸真假，并与真实标签进行比较，计算分类层的损失函数

步骤S14：计算损失函数的梯度其中W_t表示第t次迭代的网络参数；

更新网络参数：W_t+1＝W_t+V_t+1,其中γ表示预设的负梯度学习率，μ表示上一次梯度值的权重，V_t表示第t次迭代的梯度，且首次迭代的梯度为0，γ、μ的初始值为预设值；

更新位置置信度矩阵：表示第t次迭代的位置置信度矩阵的元素，i和j表示位置置信度矩阵的行和列，a_ij表示特征值，θ表示预设的学习率；

步骤S15：重复执行步骤S12～S14，对网络参数和位置置信度矩阵进行迭代更新，直到损失函数满足迭代收敛；当满足损失函数满足迭代收敛时，保存当前网络参数作为训练好的网络参数；

人脸真假识别过程：

步骤S21：输入一段帧数为n的待识别视频序列，并采用与训练视频序列相同的图像预处理方式，对待识别视频序列的视频图像进行图像预处理，得到n帧待识别的增强视频图像；

步骤S22：加载训练好的网络参数，将n帧待识别的增强视频图像输入所述人脸防欺骗识别网络模型，进行前向传播计算，获取待识别视频人脸真假。

2.如权利要求1所述的方法，其特征在于，位置置信度矩阵的初始值为其中M表示输入所述注意力机制层的图像数据矩阵的行与列的乘积。

3.如权利要求1所述的方法，其特征在于，分类层为softmax。

4.如权利要求1所述的方法，其特征在于，采用动作增强技术的图像增强处理的计算公式为 表示增强处理后，t时刻位置为(x,y)的视频帧像素值，用f(x,y)表示图像增强处理前位置为(x,y)的像素值，δ_x(t)、δ_y(t)δ_x(t)表示x，y方向的光强随着时间变化的位移函数，增强系数α＝0.5。