CN109902667A - 基于光流引导特征块和卷积gru的人脸活体检测方法 - Google Patents

Abstract

本发明公开了基于光流引导特征块和卷积GRU的人脸活体检测方法，该方法包括：构建多帧人脸活体检测初始网络模型，该模型包括单帧部分和多帧部分，所述单帧部分利用卷积神经网络获得单帧部分深度图特征，所述多帧部分利用光流引导特征块和卷积GRU引入时空信息，获得多帧部分深度图特征，基于单帧部分深度图特征和多帧部分深度图特征生成深度图；采用训练数据集对初始网络模型进行训练，得到多帧人脸活体检测网络模型。本发明使用光流引导特征块和卷积GRU引入了时空信息，利用多帧图片间的空间微变化，能更加精确的构建人脸3D结构从而生成深度图，在保证识别精度的同时能够加快模型的运行速度，提高算法的实时性。

Description

基于光流引导特征块和卷积GRU的人脸活体检测方法

技术领域

本发明涉及计算机视觉、生物特征识别等技术领域，具体涉及基于光流引导特征块和卷积GRU的人脸活体检测方法。

背景技术

生物特征识别技术利用诸如指纹，面部和虹膜之类的生理学特征或诸如打字节奏和步态之类的行为特征来唯一地识别或认证个体。由于生物识别系统广泛用于实际应用，包括移动电话认证和访问控制，近年来生物识别欺诈或演示攻击(PA)的威胁越来越严重，攻击者试图利用具有欺骗性样本来进行身份验证从而攻破生物识别系统。由于面部特征是最容易获得的生物识别特征，因此对于面部攻击有许多不同类型的PA，包括打印攻击，重放攻击，3D面具等等。传统的面部识别系统非常容易受到这种PA的影响。

人脸活体检测技术主要是判断人脸是活体还是非活体。只有在人脸被检测为是活体人脸的情况下，身份认证才是有效的，否则就将视为人脸攻击，这样就增强了人脸识别系统的抗攻击能力。图1给出了传统的基于人脸的在线身份认证系统框架，图2是加入了活体检测功能的人脸身份认证系统框架。

现有的活体检测技术包括：

现有技术1，在人脸识别系统中多数伪造人脸攻击(如合法用户的人脸彩色打印图和合法用户在电子设备屏中的静态图或者动态视频)它们的人脸面部纹理特征质量较低，而且真实人脸的色域比伪造人脸的色域广。HSV和YC_bC_r是两种区分图片亮度和色度的颜色空间，因此可以在这两个颜色空间中，通过分析图片的纹理特征来识别伪造人脸。在HSV和YC_bC_r两个颜色空间中，对于图像中的每个像素点，通过LBP描述子将其转化为局部二值模式，然后通过直方图统计不同的二进制值，将这些直方图连接起来获得颜色描述算子，最后将这些LBP特征放入SVM分类器中进行分类。

然而，现有技术1仅仅利用手工提取的LBP统计量作为特征，容易被高清的视屏和3D面具等伪造人脸攻击。并且手工提取的特征对具体场景和问题的依赖性很高，从而导致泛化性能和鲁棒性较差。还有，只分析了单张图片在不同的颜色空间的特征，没有利用连续的视频数据。

现有技术2，由于真实人脸图与以纸张和屏幕为载体的伪造人脸图在深度上不同，同时真实人脸图的rPPG与没有生命的伪造人脸图有较大差异。因此现有技术2对于单帧的活体与非活体的人脸图片可以通过卷积神经网络(CNN)来预测其的深度图；对于连续的真实人脸与伪造人脸的多帧图使用LSTM(RNN)来预测其rPPG信号的频域分布。

然而，现有技术2在预测深度图时，只用了单张图片，而连续多帧图片间的空间微变化有助于重构环境图像的3D信息；另一方面，该方法使用了non-rigid Registration层来去除脸部表情和姿态的影响，这样忽略了重要的线索：非活体脸部不同表情与姿态的变化不自然。

发明内容

本发明提供了基于光流引导特征块和卷积GRU的人脸活体检测方法，解决了目前人脸识别系统容易被欺诈的问题，包括合法用户的人脸打印图，合法用户的人脸视频和合法用户的3D模型或面具头套等。

本发明通过下述技术方案实现：

基于光流引导特征块和卷积GRU的人脸活体检测方法，包括以下步骤：

步骤一，构建多帧人脸活体检测初始网络模型，该模型包括单帧部分和多帧部分，所述单帧部分利用卷积神经网络获得单帧部分深度图特征，所述多帧部分利用光流引导特征块和卷积GRU引入时空信息，获得多帧部分深度图特征，基于单帧部分深度图特征和多帧部分深度图特征生成深度图；

步骤二，采用训练数据集对步骤一构建的初始网络模型进行训练，利用损失函数反向传播更新单帧部分和多帧部分的网络参数，得到多帧人脸活体检测网络模型。

优选的，所述单帧部分利用卷积神经网络获得单帧部分深度图特征具体包括：

所述单帧部分采用多个卷积Block，每个卷积Block采用残差网络单元结构，由4个卷积层和1个池化层构成，所述4个卷积层的通道数依次为128，196，196和128；通过一个卷积Block，学习得到图片的特征图像 为单帧图片在t时刻第l个卷积Block的特征图；将所有卷积Block的特征图像连接到一起做卷积，得到单帧部分的深度图特征；。

优选的，所述光流引导特征块利用如下公式实现：

其中，v_x和v_y表示在p处的二维像素的速度，即光流； 和分别表示输入图像I(p)对x，y和时间t的偏导数，⊙表示向量内积；由公式可知与[v_x，v_y，1]正交，因此被光流引导，将特征图作为输入图像，则可得到多级特征图的x方向梯度，y方向梯度和时间t梯度。

优选的，所述光流引导特征块包括5个子模块：

F_l(t)：单帧图片在t时刻第l个卷积Block的特征图通过卷积层R₁后的特征；

特征图通过卷积层R₁后，再通过Sobel算子得到的空间梯度；

单帧图片在t时刻第l个卷积Block的特征图与t+Δt时刻第l个卷积Block的特征图的空间梯度；

特征图通过卷积层R₁后，再通过Sobel算子得到的空间梯度；

OFFB_l-1(t)：单帧图片在t时刻第l-1个卷积Block特征图的OFFB特征；

将5个子模块相连接，并将其作为特征输入到卷积层R₃进行降维，最后得到OFFB特征OFFB_l(t)。

优选的，所述卷积层R₁的卷积核大小为1×1；所述卷积层R₃的卷积核大小为3×3。

优选的，所述卷积GRU采用如下公式表示：

其中，X_t，H_t，U_t和R_t分别代表GRU单元的输入，输出，更新门和重置门；K_r，K_u和分别表示卷积层的卷积核；表示卷积操作；*表示矩阵相乘；σ和tanh分别是Sigmod和tanh激活函数。

优选的，对于单帧图片，通过卷积Block得到图片的单帧部分深度图特征D_single；对于连续的多帧图片，帧间的卷积Block所得到的特征图作为光流引导特征块的输入，将光流引导特征块的输出作为卷积GRU的输入，通过卷积GRU单元得到图片的多帧部分深度图特征D_multi；将图片的单帧深度图特征和多帧深度图特征整合，得到图片的深度图。

优选的，对初始网络模型进行训练，包括两部分：对于单帧部分，通过以下公式实现：

其中，L_single表示单帧部分的损失，D_single表示单帧部分深度图特征，D表示单帧图片深度图的真实标签；且

对于多帧部分，将单帧部分的预测深度图和多帧部分的预测深度图整合到一起：

其中，α表示权重，表示t时刻单帧部分计算得到的深度图特征，表示t时刻多帧部分计算得到的深度图特征，表示t时刻计算得到的预测深度图；

通过以下公式计算多帧部分的损失：

其中，D^t和B^t分别表示t时刻单帧图片的深度图的真实标签和单帧图片的二分类标签；表示在t时刻深度图的绝对损失；表示深度损失；表示将N_f-1帧预测深度图连接到一起；fcs表示表示全连接和一个softmax层；β表示损失权重；表示二分类损失，L_multi表示多帧部分的损失；

通过单帧部分损失函数，更新单帧部分网络参数；通过多帧部分损失函数，更新单帧部分和多帧部分网络参数，得到多帧人脸活体检测网络模型。

优选的，利用PRNet网络生成人脸图片对应的深度图作为真实标签。

优选的，训练好网络后，还采用真实数据集对多帧人脸活体检测网络模型进行微调，得到最终模型。

本发明具有如下的优点和有益效果：

本发明相对于现有技术，不需要人工对人脸图像特征进行提取和运算，提高了模型的泛化能力；且本发明使用了多帧图片，使用OFF Block和ConvGRU引入了时空信息，利用多帧图片间的空间微变化，能更加精确的构建人脸3D结构从而生成深度图，在保证识别精度的同时能够加快模型的运行速度，提高算法的实时性。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为传统人脸在线身份认证系统原理示意图。

图2为具有活体检测功能的人脸身份认证系统原理示意图。

图3为本发明的人脸活体检测网络结构架构图。

图4为本发明的卷积神经网络CNN Block单元结构图。

图5为本发明的光流引导特征块结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

本实施例中所用名词定义如下：

活体检测：判断捕捉到的人脸是否是真实人脸。

PRNet：(Position map Regression Network)位置图回归网络。

OFFB：(Optical Flow guided Feature Block)光流引导特征块。

GRU：(Gated Recurrent Unit)门控循环单元。一中特殊的循环神经网络(RNN)单元。

ConvGRU：(Convolutional Gated Recurrent Unit)卷积门控循环单元。一种特殊的GRU，用卷积操作代替GRU中的矩阵乘法操作。

基于光流引导特征块和卷积GRU的人脸活体检测方法，本方法的网络结构主要由两部分构成，如图3所示，分别为单帧部分和多帧部分。单帧部分利用卷积神经网络(CNN)回归获得欺诈图像的特征；多帧部分由OFF Block(光流引导特征块)和ConvGRU(卷积GRU)组成，其中OFF Block模块用于获取短期动作信息，ConvGRU用于获取长期的运动模式信息。

子网络结构

PRNet

使用PRNet网络生成人脸图片对应的深度图作为真实标签，以便训练师用于计算预测值与真实值的损失。

PRNet网络是一个端对端的encoder-decoder结构，其中编码器部分由一个卷积层和10个残差网络中的Blocks(Residual Blocks)组成，解码器部分由17个转置卷积层组成。

正样本深度图标签：对于真实人脸图，输入一张2D的RGB图形，该模型能够得到其对应的3D深度图，将这个绝对的深度图的值归一化到[0,1]，即距离摄像头最近的点其深度值为1，最远的点深度值为0。

负样本深度图标签：对于伪造人脸图，其深度图的深度值全部为0。

CNN Block单元

每一个CNN Block采用残差网络(ResNet)的Block结构。CNN Block由4层卷积和一个池化层构成，每层的通道数(channel)依次为128，196，196和128，图4为其具体结构。通过卷积Block，学习得到图片的特征图谱即t时刻第l个Block的特征图谱。每个Block将有4个作用，1)将所有的Blcok得到的特征图谱连接到一起继续做卷积，预测得到单帧部分的深度图；2)作为下一个Block的输入；3)作为t时刻OFF Block的输入；4)作为t-1时刻OFF Block的输入。

OFF Block

通过OFF Block模块来获取短期信息，与传统的光流引导特征(OFF)不同，光流引导特征块(OFF Block)在OFF基础上增加了时间和空间梯度以及形态信息。

传统的光流约束公式如下：

I(x，y，t)＝I(x+Δx，y+Δy，t+Δt) (1)

通过对公式(1)求导和泰勒分解后变形得到：

其中p＝(x，y，z)；v_x和v_y表示在p处的二维像素的速度，即光流；和分别表示I(p)对x，y和时间t的偏导数。通过公式(2)变化得到：

其中⊙表示向量内积。从公式(3)可以知道与[v_x，v_y，1]正交，因此被光流引导。

传统的光流需要通过Low-level和High-level特征匹配得到，而我们将公式(3)的输入图像I换成特征图来作为输入，则可以使用多级特征图的x方向梯度，y方向梯度和时间t梯度，便可类似地表示光流。

图5是光流引导块(OFF Block)结构图，其中，R₁表示卷积核大小为1×1的卷积层，R₃表示卷积核大小为3×3的卷积层，C表示连接合并，Θ表示矩阵减法，S表示Sobel算子。其中包含5个子模块。

F_l(t)：单帧图片在t时刻第l个卷积Block的特征图通过卷积核大小为1×1的卷积层后的特征。

单帧图片在t时刻第l个卷积Block的特征图通过Sobel算子得到的空间梯度。

单帧图片在t+Δt时刻第l个卷积Block的特征图通过Sobel算子得到的空间梯度。

单帧图片在t时刻第l个卷积Block的特征图与t+Δt时刻第l个卷积Block的特征图的空间梯度。

OFFB_l-1(t)：单帧图片在t时刻第l-1个卷积Block特征图的OFFB特征。

当输入原始特征之后，先通过卷积核大小为1×1的卷积层降维，从而减轻训练负担。我们把OFFB模块中的5个子模块相连接，并将其作为特征输入到卷积核大小为3×3的卷积层进行降维，最后得到OFFB特征。

ConvGRU

门控循环单元(GRU)是长短记忆网络(LSTM)的变形，两者都是用于处理长序列信息的网络结构单元。与于LSTM相比，GRU具有更简单的结构和更少的训练参数等优势，这有助于模型计算性能的提升。

但是GRU在其隐藏层中不能融合空间信息，因此我们在其隐藏层使用卷积操作依次来获得时空信息，这便是ConvGRU(Convolution Gated Recurrent Units)，可用如下公式表示：

其中X_t，H_t，U_t和R_t分别代表GRU单元的输入，输出，更新门和重置门；K_r，K_u和分别表示卷积层的卷积核；表示卷积操作；*表示矩阵相乘；σ和tanh分别是Sigmod和tanh激活函数。

本实施例中，

1、构建如上述图3所示的初始网络模型；

2、对初始网络模型进行训练：

2.1，将输入图像全部缩放到256×256像素大小，使用RGB 3通道，避免过大的图像对网络的计算造成压力，同时大小统一的图像方便网络进行处理。

2.2，对NUAA Photograph Imposter Database数据集，利用PRNet网络构建真实人脸的3D形状，再将其映射转化到2D平面，用32×32的灰度图表示人脸的深度图通过这种转化，能节省存储空间和提高计算性能，同时也能保证精度。

2.3，使用NUAA Photograph Imposter Database数据集和其对应的标签D_nuaa，对网络进行预训练。

2.4，对于单帧图片，通过单帧的卷积层和池化层，得到单帧图片预测深度图的一部分D_single。训练目标：对于单张图片，通过卷积神经网络得到其预测深度图的一部分D_single，计算其与真丝标签D的损失。因为且所以可以通过计算两个矩阵的二范数来表示损失，公式如下：

其中，L_single表示单帧部分的损失，D_single表示单帧部分深度图特征，D表示单帧图片深度图的真实标签；且

通过单帧部分的损失函数的收敛条件，反向实现单帧部分的网络参数调整，更新网络模型。

2.5，对于连续的多帧图片，帧间的卷积Block所得到的特征图谱作为OFF Block的输入，将OFF Block的输出作为ConvGRU的输入，通过ConvGRU单元得到图片的深度信息的另一部分D_multi。训练目标：

基于冗余的思想，我们将单帧部分的预测深度图D_single和多帧部分的预测深度图D_multi整合到一起：

其中N_f表示输入的图片帧数，表示t时刻多帧部分计算得到的深度图，表示t时刻单帧部分计算得到的深度图，α表示在中的权重，通过公式(6)，我们得到最终的多帧深度图N_f表示输入的图片帧数。因此我们通过以下公式计算多帧部分的损失：

其中，D^t和B^t分别表示t时刻单帧图片的深度图的真实标签和单帧图片的二分类标签(是真实人脸还是伪造人脸)；表示在t时刻深度图的绝对损失；表示深度损失；表示将N_f-1帧预测深度图连接到一起；fcs表示表示全连接和一个softmax层；β表示损失权重；表示二分类损失，L_multi表示多帧部分的损失。

本实施例中，通过将N_f-1帧的损失累加到一起获得；β表示二分类损失在最终的多帧损失L_multi中的权重。公式(9)中，使用交叉熵(cross-entropy)来计算二分类损失，公式(10)中把二分类损失和深度损失相加。

通过多帧部分的损失函数的收敛条件，反向实现单帧部分和多帧部分的网络参数调整，更新网络模型。

2.6，依次通过步骤2.4和步骤2.5的训练更新得到多帧人脸活体检测网络模型。

本实施例中，还包括步骤2.7，通过步骤2.6训练好网络模型后，再利用真实数据集重复上述步骤2.1-2.6，对网络进行微调，得到最终模型。

本实施例中，通过采用上述训练好的模型即可对待测图像进行活体检测，并进行分类输出(输出为真实人脸或伪造人脸)。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于光流引导特征块和卷积GRU的人脸活体检测方法，其特征在于，包括以下步骤：

步骤一，构建多帧人脸活体检测初始网络模型，该模型包括单帧部分和多帧部分，所述单帧部分利用卷积神经网络获得单帧部分深度图特征，所述多帧部分利用光流引导特征块和卷积GRU引入时空信息，获得多帧部分深度图特征，基于单帧部分深度图特征和多帧部分深度图特征生成深度图；

步骤二，采用训练数据集对步骤一构建的初始网络模型进行训练，利用损失函数反向传播更新单帧部分和多帧部分的网络参数，得到多帧人脸活体检测网络模型。

2.根据权利要求1所述的检测方法，其特征在于，所述单帧部分利用卷积神经网络获得单帧部分深度图特征具体包括：

所述单帧部分采用多个卷积Block，每个卷积Block采用残差网络单元结构，由4个卷积层和1个池化层构成，所述4个卷积层的通道数依次为128，196，196和128；通过一个卷积Block，学习得到图片的特征图像 为单帧图片在t时刻第l个卷积Block的特征图；将所有卷积Block的特征图像连接到一起做卷积，得到单帧部分的深度图特征；。

3.根据权利要求2所述的检测方法，其特征在于，所述光流引导特征块利用如下公式实现：

其中，v_x和v_y表示在p处的二维像素的速度，即光流； 和分别表示输入图像I(p)对x，y和时间t的偏导数，⊙表示向量内积；由公式可知与[v_x，v_y，1]正交，因此被光流引导，将特征图作为输入图像，则可得到多级特征图的x方向梯度，y方向梯度和时间t梯度。

4.根据权利要求3所述的检测方法，其特征在于，所述光流引导特征块包括5个子模块：

F_l(t)：单帧图片在t时刻第l个卷积Block的特征图通过卷积层R₁后的特征；

特征图通过卷积层R₁后，再通过Sobel算子得到的空间梯度；

单帧图片在t时刻第l个卷积Block的特征图与t+Δt时刻第l个卷积Block的特征图的空间梯度；

特征图通过卷积层R₁后，再通过Sobel算子得到的空间梯度；

OFFB_l-1(t)：单帧图片在t时刻第l-1个卷积Block特征图的OFFB特征；

将5个子模块相连接，并将其作为特征输入到卷积层R₃进行降维，最后得到OFFB特征OFFB_l(t)。

5.根据权利要求4所述的检测方法，其特征在于，所述卷积层R₁的卷积核大小为1×1；所述卷积层R₃的卷积核大小为3×3。

6.根据权利要求3所述的检测方法，其特征在于，所述卷积GRU采用如下公式表示：

其中，X_t，H_t，U_t和R_t分别代表GRU单元的输入，输出，更新门和重置门；K_r，K_u和分别表示卷积层的卷积核；表示卷积操作；*表示矩阵相乘；σ和tanh分别是Sigmod和tanh激活函数。

7.根据权利要求2-6任一项所述的检测方法，其特征在于，对于单帧图片，通过卷积Block得到图片的单帧部分深度图特征D_single；对于连续的多帧图片，帧间的卷积Block所得到的特征图作为光流引导特征块的输入，将光流引导特征块的输出作为卷积GRU的输入，通过卷积GRU单元得到图片的多帧部分深度图特征D_multi；将图片的单帧深度图特征和多帧深度图特征整合，得到图片的深度图。

8.根据权利要求2-6任一项所述的检测方法，其特征在于，对初始网络模型进行训练，包括两部分：对于单帧部分，通过以下公式实现：

其中，L_single表示单帧部分的损失，D_single表示单帧部分深度图特征，D表示单帧图片深度图的真实标签；且

对于多帧部分，将单帧部分的预测深度图和多帧部分的预测深度图整合到一起：

其中，α表示权重，表示t时刻单帧部分计算得到的深度图特征，表示t时刻多帧部分计算得到的深度图特征，表示t时刻计算得到的预测深度图；

通过以下公式计算多帧部分的损失：

其中，D^t和B^t分别表示t时刻单帧图片的深度图的真实标签和单帧图片的二分类标签；表示在t时刻深度图的绝对损失；表示深度损失；表示将N_f-1帧预测深度图连接到一起；fcs表示表示全连接和一个softmax层；β表示损失权重；表示二分类损失，L_multi表示多帧部分的损失；

通过单帧部分损失函数，更新单帧部分网络参数；通过多帧部分损失函数，更新单帧部分和多帧部分网络参数，得到多帧人脸活体检测网络模型。

9.根据权利要求8所述的检测方法，其特征在于，利用PRNet网络生成人脸图片对应的深度图作为真实标签。

10.根据权利要求8所述的检测方法，其特征在于，训练好网络后，还采用真实数据集对多帧人脸活体检测网络模型进行微调，得到最终模型。