CN110348320B - 一种基于多损失深度融合的人脸防伪方法 - Google Patents

Abstract

本发明提出了一种基于多损失深度联合的人脸防伪方法，通过采用多个局部的并行网络来学习局部特征和微纹理特征，同时为了进一步较少对噪声的学习，提升对多样数据源的鲁棒性能，采用基于分组LASSO正则来加强局部特征稀疏性约束，对学习到的特征进行稀疏处理，达到对特征进行选择的作用；另外，采用ASPP多尺度全局信息模块的特征进行融合以加强模型契合度。与现有技术相比，本发明从数据集差异出发，考虑算法的泛化能力，在保证分类精度的同时提升了算法模型在不同数据集之间的测试精度。

Description

一种基于多损失深度融合的人脸防伪方法

技术领域

发明涉及人脸防伪技术，特别涉及一种基于多损失深度融合的人脸防伪技术。

背景技术

人脸识别技术的普遍应用引发了人们对于其安全性的思考。作为一种新的身份认证方式，人脸身份虽具有便捷性和实时性，但这些特点同时给恶意攻击者留下了可趁之机。当攻击者采用已认证身份人物的照片或者视频来假冒身份时，系统可能会错误识别并给出通过权限，对身份安全造成威胁。因此，通过检测人脸身份真伪来加固身份识别的可靠性是必不可少的。在人脸防伪的研究领域中，现有的大部分技术主要是依赖于深度学习方法提取的深层特征来进行身份判别，这些深层特征从某些角度反应了真实身份与假冒身份在颜色纹理、运动表征、背景信息等方面的差异，在同一个数据集中进行训练和测试时能够有较好的分类结果。但不同数据集中数据的采集方式、场景、光照以及采集的图像质量等都有或多或少的区别，在不同数据集的数据之间进行交叉测试时往往会出现精度降低的情况，减弱了算法的泛化性能。

发明内容

基于上述方法的不足，本发明提出了一种基于多损失深度融合的人脸防伪方法。通过采用多个局部的并行网络来学习局部特征和微纹理特征，为了进一步较少噪声学习的影响，提升模型对多样数据源的鲁棒性能，提出采用基于分组LASSO的局部特征稀疏性约束，对于网络的学习特征进行稀疏处理，实现对深层特征的筛选组合；采用ASPP多尺度网络模块学习人脸图像的多尺度全局信息，将局部人脸特征与多尺度人脸特征融合之后进行分类判别。本发明的目的通过以下技术方案实现：

步骤(1)，对视频图像进行预处理，截取视频数据中的每一帧作为人脸图像数据集；

步骤(2)，共享卷积层提取低层图像特征，记输入图像为I_i，用尺度为n×n的卷积核对图像I_i进行卷积处理，其中，图像I_i的输入通道数为3，卷积之后的输出通道数为64；

步骤(3)，设置标志量flag，当标志量flag为local part时，调用多局部并行网络学习输入图像的局部和微纹理特征；当标志量flag为global part时，调用全局网络并采用ASPP结构进行多尺度特征学习；

步骤(4)，将学习得到的局部特征与全局特征进行融合，采用Softmax分类器进行分类；

步骤(5)，计算网络损失，并采用Adam算法进行网络的反向传播训练；

步骤(6)，输出人脸图像的预测结果Y_i。

进一步的，骤(3)中调用多局部并行网络学习输入图像的局部和微纹理特征的具体实现方式如下，

步骤3.1.1，定位人脸关键点，切分局部人脸区域：通过人脸检测标注出输入人脸的特征部位，选取标注的关键点，以这些关键点为中心切取局部人脸，将人脸图像被切分成m个部分，切分之后得到局部人脸区域集合

其中

表示第m个局部区域的特征映射；

步骤3.1.2，局部人脸区域特征学习：将集合

中每一局部分别送入局部学习网络中进行特征学习，得到每个局部区域的特征表示

其中i表示第i个局部区域，θ_i表示第i个局部区域特征学习过程中的网络参数；

步骤3.1.3，全连接层特征联合，将步骤3.2学习得到的m个特征

进行连接，然后采用若干个结点的全连接层对联合特征

进行融合，其中x_m表示第m个局部区域经全连接层之后的特征表示，d为结点的个数；

步骤3.1.4，采用LASSO正则进行特征筛选和融合；

记标签为

模型函数为f(w_L)＝X^Tw_L，则采用LASSO正则后使得在局部学习网络稀疏处理区域的优化目标更新为：

其中，w_L表示训练网络中的权重参数，f(w_L)表示网络从输入对象X中学习得到的输出，Y为数据标签，λ是训练中设置的参数，用来调整两种损失的权重；

重新考虑网络约束问题并将其表示为:

其中

是一个对角矩阵，对应于Group LASSO的对应信息，其表达式如下所示：

其中

是对应的分组信息，

由此可见，F依赖于W_L，而整个目标函数的最小化依赖于F、W_L，采用梯度下降算法来收敛网络，在每次反向传播中更新参数W_L，计算方法如下公式所示：

根据上述求解得到的W_L在网络优化过程中不断更新网络参数。

进一步的，步骤(3)中调用全局网络学习人脸的多尺度特征的具体实现方式如下，

步骤3.2.1，提取图像深层特征，将共享卷积层的输出连接到全局学习网络提取深层特征F；

步骤3.2.2，多尺度特征提取：分别利用多个尺度的空洞卷积核对步骤3.2.1的深层特征输出F进行空洞卷积，不同尺度卷积核提取的特征进行同维度联合输出融合特征F_fusion；

步骤3.2.3，采用Global Average Pooling的方式，在融合特征F_fusion上的每一张特征图上求平均，获取该特征图的表征v_i，所有特征图进行GAP得到特征向量V＝[v₁，v₂，...，x_n]，将其作为全局学习网络的特征输出。

进一步的，d的取值为512。

进一步的，多个尺度的空洞卷积核分别为rate＝6,12,18,24的空洞卷积核。

与现有技术相比，本发明具有以下优点和有益效果：

(1)本发明提出用局部细节信息和全局多尺度信息联合学习的方式增强网络的特征学习，增强模型的整体契合度；

(2)本发明提出用LASSO正则损失减小对噪声的学习，提升多样数据源的鲁棒性能，改善了大部分算法泛化性能较低这一不足。

附图说明

图1为本发明网络框架结构图。

图2为本发明中LASSO稀疏正则示意图。

图3为本发明中ASPP实现结构示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

本实施例用于实现基于数据集CASIA-FASD和Replay-Attack的训练和测试。

如图1所示，本实施例基于LASSO损失对局部细节网络选择性学习，并融合ASPP网络结构获取的多尺度全局特征，和现有算法的结果进行比较，具体包括以下步骤：

(1)准备实验数据。对每一段视频数据按帧提取图像帧，其中CASIA数据集的训练和测试图片数分别为89652、130172，Replay-Attack数据集的训练和测试图片数分别为91769、92113；

(2)获取图像类别标签。活体人脸的类别标签设置为1，攻击人脸的类别标签设置为0，通过独热编码将类别转换成二维向量表示，向量维度与类别数目一致；

(3)共享卷积层提取低层图像特征。将输入图像通过共享卷积层首先提取人脸图像的低层特征。

(4)网络选择。(在网络训练中选择对局部网络或全局网络进行训练，采用标志量flag对训练网络进行选择)当标志量flag设置为local part时，采用局部学习网络学习人脸局部区域的深层特征，采取LASSO正则方式进行特征选择，减小噪声学习；当标志量flag设置为global part时，调用全局网络学习人脸的多尺度特征。具体包括以下步骤：

3.1，多局部并行网络结构部分，如图2所示：

3.1.1，定位人脸关键点，切分局部人脸区域。通过人脸检测标注出输入人脸的特征部位，如眼睛、鼻子、嘴巴等。选取标注的关键点，以这些关键点为中心切取局部人脸，局部区域大小均为56×56，完整人脸图像被切分成m个部分，切分之后得到局部人脸区域集合

其中

表示第m个局部区域的特征映射。

3.1.2，局部人脸区域特征学习。将集合

中每一局部分别送入局部学习网络中进行特征学习，得到每个局部区域的特征表示

其中i表示第i个局部区域，θ_i表示第i个局部区域特征学习过程中的网络参数，局部学习网络采用Res-Net36实现，ResNet36由5个卷积模块组成，每一个卷积模块的输出维度是上一个卷积模块的一半，网络结构如表1示。

3.1.3，全连接层特征联合。将步骤②学习得到的m个特征

进行连接，然后采用512个结点的全连接层对联合特征

进行融合，其中x_m表示第m个局部区域经全连接层之后的特征表示，d为512；

3.1.4，LASSO正则进行特征筛选和融合。

记标签为

模型函数为f(w_L)＝X^Tw_L，则采用LASSO正则后使得在局部学习网络稀疏处理区域的优化目标更新为：

其中，w_L表示训练网络中的权重参数，f(w_L)表示网络从输入对象X中学习得到的输出，Y为数据标签，λ是训练中设置的参数，用来调整两种损失的权重。

重新考虑网络约束问题并将其表示为:

其中

是一个对角矩阵，对应于Group LASSO的对应信息，其表达式如下所示：

其中

是对应的分组信息，

由此可见，F依赖于W_L，而整个目标函数的最小化依赖于F、W_L，采用梯度下降算法来收敛网络，在每次反向传播中更新参数W_L，计算方法如公式所示：

根据上述求解得到的W_L在网络优化过程中不断更新网络参数。

3.2，全局学习网络部分，如图3所示：

3.2.1，提取图像深层特征。将共享卷积层的输出连接到全局网络提取深层特征F，全局学习网络采用Res-Net50实现，ResNet50由5个卷积模块组成，其中第2至第5个卷积模块中包含1×1、3×3、1×1等三种尺度的卷积核，每一个卷积模块的输出维度是上一个卷积模块输出的一半，如表1示。

3.2.2，多尺度特征提取。分别利用rate＝6,12,18,24的空洞卷积核对步骤①的深层特征输出F进行空洞卷积，四种不同尺度卷积核提取的特征进行同维度联合输出融合特征F_fusion。

3.2.3，全局平均池化。采用Global Average Pooling的方式，在融合特征F_fusion上的每一张特征图上求平均，获取该特征图的表征v_i，所有特征图进行GAP得到特征向量V＝[v₁，v₂，...，v_n]，将其作为全局学习网络的特征输出。

表1全局学习网络和局部学习网络的网络结构

(5)特征融合。将局部学习网络与全局学习网络获得的特征向量连接，通过GlobalAverage Pooling的方式进行特征筛选，获取最后的特征向量表征，采用softmax分类器进行分类；

(6)网络权重更新，计算网络的损失，采用Adam算法进行网络的反向传播训练；

(7)设置迭代训练的此时为20000个epoch，batch_size为16，重复步骤(3)-(6)。

(8)输出人脸图像的预测结果Y_i。

(9)利用测试集数据对网络模型进行验证，采用ACC、EER、HTER、APCER、BPCER、ACER等评价指标，在两个数据集上的测试结果如下：

表2本发明方法在两个数据集上的测试结果

表3本发明实施例工作流程

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于多损失深度融合的人脸防伪方法，其特征在于，包括如下步骤：

步骤(1)，对视频图像进行预处理，截取视频数据中的每一帧作为人脸图像数据集；

步骤(2)，共享卷积层提取低层图像特征，记输入图像为I_i，用尺度为n×n的卷积核对图像I_i进行卷积处理，其中，图像I_i的输入通道数为3，卷积之后的输出通道数为64；

步骤(3)，设置标志量flag，当标志量flag为local part时，调用多局部并行网络学习输入图像的局部和微纹理特征；当标志量flag为global part时，调用全局网络并采用ASPP结构进行多尺度特征学习；

步骤(3)中调用多局部并行网络学习输入图像的局部和微纹理特征的具体实现方式如下，

步骤3.1.1，定位人脸关键点，切分局部人脸区域：通过人脸检测标注出输入人脸的特征部位，选取标注的关键点，以这些关键点为中心切取局部人脸，将人脸图像被切分成m个部分，切分之后得到局部人脸区域集合

其中

表示第m个局部区域的特征映射；

步骤3.1.2，局部人脸区域特征学习：将集合

中每一局部分别送入局部学习网络中进行特征学习，得到每个局部区域的特征表示

其中i表示第i个局部区域，θ_i表示第i个局部区域特征学习过程中的网络参数；

步骤3.1.3，全连接层特征联合，将步骤3.2学习得到的m个特征

进行连接，然后采用若干个结点的全连接层对联合特征

进行融合，其中x_m表示第m个局部区域经全连接层之后的特征表示，d为结点的个数；

步骤3.1.4，采用LASSO正则进行特征筛选和融合；

记标签为

模型函数为f(w_L)＝X^Tw_L，则采用LASSO正则后使得在局部学习网络稀疏处理区域的优化目标更新为：

其中，w_L表示训练网络中的权重参数，f(w_L)表示网络从输入对象X中学习得到的输出，Y为数据标签，λ是训练中设置的参数，用来调整两种损失的权重；

重新考虑网络约束问题并将其表示为:

其中

是一个对角矩阵，对应于Group LASSO的对应信息，其表达式如下所示：

其中

是对应的分组信息，

由此可见，F依赖于W_L，而整个目标函数的最小化依赖于F、W_L，采用梯度下降算法来收敛网络，在每次反向传播中更新参数W_L，计算方法如下公式所示：

根据上述求解得到的W_L在网络优化过程中不断更新网络参数；

步骤(4)，将学习得到的局部特征与全局特征进行融合，采用Softmax分类器进行分类；

步骤(5)，计算网络损失，并采用Adam算法进行网络的反向传播训练；

步骤(6)，输出人脸图像的预测结果Y_i。

2.如权利要求1所述的一种基于多损失深度融合的人脸防伪方法，其特征在于：步骤(3)中调用全局网络学习人脸的多尺度特征的具体实现方式如下，

步骤3.2.1，提取图像深层特征，将共享卷积层的输出连接到全局学习网络提取深层特征F；

步骤3.2.2，多尺度特征提取：分别利用多个尺度的空洞卷积核对步骤3.2.1的深层特征输出F进行空洞卷积，不同尺度卷积核提取的特征进行同维度联合输出融合特征F_fusion；

步骤3.2.3，采用Global Average Pooling的方式，在融合特征F_fusion上的每一张特征图上求平均，获取该特征图的表征v_i，所有特征图进行GAP得到特征向量V＝[v₁，v₂，...，v_n]，将其作为全局学习网络的特征输出。

3.如权利要求1所述的一种基于多损失深度融合的人脸防伪方法，其特征在于：d的取值为512。

4.如权利要求2所述的一种基于多损失深度融合的人脸防伪方法，其特征在于：多个尺度的空洞卷积核分别为rate＝6,12,18,24的空洞卷积核。

Images