CN114120401A - 一种基于跨域特征对齐网络的人脸反欺诈方法 - Google Patents

Abstract

本发明请求保护一种基于跨域特征对齐网络的人脸反欺诈方法，属于模式识别技术领域。所述方法包括以下步骤：步骤1.以ResNet18为基础特征生成模型，为了缓解域差异性和增强深层特征表示，本发明设计了一个改进的特征生成网络。步骤2.为了探索多粒度特征对齐以改进对未知目标场景的泛化能力，本发明提出了一个多粒度特征对齐网络，进行局部区域和全局图像特征对齐。步骤3.为了减少类内距离同时增大类间距离，本发明采用total loss计算网络的分类损失，通过迭代对抗训练、更新参数得到最终的网络模型。在增加少量计算量的情况下，本发明有效的缓解了域差异性同时增强了特征表达能力，捕获了更加鲁棒和广义的特征空间，实现了更加清晰的分类边界。

Description

一种基于跨域特征对齐网络的人脸反欺诈方法

技术领域

本发明属于计算机模式识别技术领域，具体地说，是一种人脸反欺诈方法。

背景技术

近年来，深度学习的兴起促使人脸识别技术得到长远发展，越来越多的人脸识别系统部署到各种应用场景中，如快捷支付、公共安全、边境管制等。然而，各种表示攻击的出现，如图片打印攻击、视频重放攻击、3D面具攻击，使得现阶段的人脸识别系统变得不再可靠，因此，人脸反欺诈作为人脸识别系统中一个极其关键的构成部分，目前已经成为学术界和工业界研究的热点，涉及到多个跨学科研究，其中生物学、通信学、计算机学是主要学科，是一个比较新颖且有研究前景的方向。

目前，基于传统手工特征设计的人脸反欺诈技术，如LBP、SIFT等，以及基于深度学习构建的网络结构的人脸反欺诈技术，如AlexNet、ResNet等在同一个数据集上进行训练和测试能够取得较好的实验效果。然后，但当训练和测试不在同一个数据集时，由于不同数据集数据分布的显著差异性，例如光照、攻击设备、背景干扰等因素，这使得算法性能会急剧下降。因此，如何缓解因多个数据集数据分布引发的分布差异性来让模型能尽可能应用到现实场景中变成一个亟待解决的问题和挑战。

为解决上述挑战，基于域自适应(Domain Adaptation，简称DA)和基于域泛化(Domain Generalization，简称DG)的人脸反欺诈方法逐渐成为主流研究方向。然而，基于域自适应的方法有如下缺陷：1)由于域自适应方法需要未标记的目标域样本参与训练过程，在许多实际场景中，收集大量未标记的目标数据进行训练既困难又昂贵，甚至没有关于目标域的信息可用。2)此外，支持向量机(Support Vector Machines，简称SVM)和k-最近邻(k-nearest neighbors，简称kNN)作为经典的反欺诈分类器，对性能提升的贡献可能较小。基于域泛化的方法能够很好的解决域自适应方法的缺陷，但基于域泛化的方法有以下不足：1)这些方法倾向于简单地考虑直接对齐整个特征空间，因此，它们的本质是粗粒度的域对齐方法，这可能会导致性能瓶颈。2)此外，这些方法中的大多数仅仅专注于域对齐架构的设计，而很少关注特征生成网络对最终泛化性能的影响。为了解决以上问题，本发明提出一种基于跨域特征对齐网络的人脸反欺诈方法。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于跨域特征对齐网络的人脸反欺诈方法。本发明的技术方案如下：

一种基于跨域特征对齐网络的人脸反欺诈方法，其包括以下步骤：

步骤1、通过ResNet18网络、域适配器模块、多尺度注意力特征融合模块构建出特征生成网络，提取来自多个源域的训练样本特征；

步骤2、并将训练样本特征中的真实样本特征输入到多粒度特征对齐网络中，进行局部区域和全局图像特征对齐，计算得到多粒度损失；

步骤3、将包含真实样本和攻击样本的特征送入标签分类器中，使用包含标准交叉熵损失、非对齐三元组损失、中心损失的分类损失替换标准交叉熵损失，采用total loss计算网络的分类损失，通过引入非对称三元组损失和中心损失构建最终的分类损失，通过迭代对抗训练、更新参数得到最终的网络模型。

进一步的，所述步骤1通过ResNet18网络、域适配器模块、多尺度注意力特征融合模块构建出特征生成网络，具体包括以下步骤：

1.1将训练图像输入到特征生成网络，特征生成网络以ResNet18作为基础框架，得到初始残差特征R₁，R₂，R₃，R₄；保留前四个残差层R，并在R₃、R₄后分别嵌入一个域适配器模块，通过将R₃，R₄输入到DAM中从而得到域差异减少的深层特征R'₃，R'₄；为了充分利用来自不同残差层的各种欺骗线索以更好进行反欺诈检测，通过采用多尺度注意力特征融合模块将上述特征R₁，R₂，R'₃进行特征优化，紧接着和R'₄进行融合操作，得到含有丰富欺骗信息的深层残差特征；

1.2设计了一个域适配器模块。在进行不同残差层特征融合之前，先将R₃和R₄输入到域适配器模块中进行优化，得到域自适应特征图Y；

1.3采用了一个多尺度注意力特征融合模块，将R₁、R₂以及通过域适配器模块进行优化后的R₃和R₄进行信息整合，得到增强特征图R_enhanced。

进一步的，所述步骤1.2在进行不同残差层特征融合之前，先将R₃和R₄输入到域适配器模块中进行优化，得到域自适应特征图Y，具体包括：

1)将来自多个源域的特征图X输入到由多个SE适配器构成的域适配器组来产生一个公共特征空间F_DAG∈R^C*N，C和N分别表示通道数和域适配器个数， R^N*C表示特征空间，该公共特征空间由源域形成的特征子空间所共享；

2)将同样的X输入域注意力模块来产生一组域权重矩阵W_DA∈R^N*C，该矩阵用于自适应权衡F_DAG；

3)将F_DAG和W_DA以点积方式进行融合从而产生域自适应特征响应f_DA， f_DA∈R^C*1；

4)将f_DA进行特征维度调整使之与X保持相同维度，最终通过通道相乘得到域自适应特征图Y，该特征表示会随着新的应用场景进行调整，因此，可以实现域自适应，将上述过程表示成公式如下：

Y＝f_scale(X,σ(F_DAG*W_DA)) (1)

其中，σ表示sigmoid激活函数，f_scale表示通道相乘操作。

进一步的，所述步骤1.2采用了一个多尺度注意力特征融合模块，将R₁、R₂以及通过域适配器模块进行优化后的R₃和R₄进行信息整合，得到增强特征图 R_enhanced，具体包括：

1)将前三个特征图R₁、R₂和R₃同时输入到带有不同感受野的空间注意力模块得到相应的精细特征R'₁、R'₂和R'₃；

2)将上述精细特征进行下采样操作和拼接操作得到新的特征图R'_[1,2,3]；

3)将R'_[1,2,3]送入1x1卷积运算进行通道调整，随后将R₄与之进行整合得到最终的增强特征图R_enhanced，将上述过程表示成公式如下：

R_enhanced＝f_daf((R_[i]⊙f_spatial(R_[i])),R₄),i∈{1,2,3} (2)

其中，⊙表示哈达玛积，R_[i]表示来自特征生成器中前三个残差层的特征，f_spatial(.)和f_daf(.)分别表示空间注意力模块和直接相加融合方式。

进一步的，所述步骤2将训练样本特征中的真实样本特征输入到多粒度特征对齐网络中，进行局部区域和全局图像特征对齐，计算得到多粒度损失，具体包括以下步骤：

首先将网络输出R'送入到局部区域对齐子网络中LRANet，通过利用多个局部域判别器MLDD来选择不同域下的人脸区域同时抑制掉非人脸区域，将上述判别器的输出用于产生局部对抗损失LAL以及局部熵注意力图；紧接着将局部熵注意力图与R'进行融合产生全局图像对齐子网络GIANet的输入，通过利用单个全局域判别器GDD来选择不同域下的具有更多相似信息的真实样本；将上述判别器的输出用于产生全局对抗损失GAL以及全局熵注意力图；最终将全局熵注意力图和与局部熵注意力图进行融合后的特征一起用于注意力熵损失AEL的计算。

进一步的，所述将网络输出R'送入到局部区域对齐子网络中LRANet，通过利用多个局部域判别器MLDD来选择不同域下的人脸区域同时抑制掉非人脸区域，将上述判别器的输出用于产生局部对抗损失LAL以及局部熵注意力图，具体包括：

1)首先根据R_enhanced的宽和高选择出N个局部域判别器，N＝width*height，用于判别当前特征图区域属于哪一个源域，局部区域级域判别器参数由如下损失函数进行优化：

其中，

表示区域n的特征，G_R表示特征生成网络，d_i表示训练样本f_i的域标签，D表示源域个数，L_d表示局部域判别器

的标准交叉熵损失；

2)LRANet的目标在于选择出在不同源域下带有更多泛化性的真实样本的人脸区域同时抑制掉非人脸区域，采用信息学领域的熵函数H(p)＝-∑_jp_j*log(p_j)， p_j代表随机事件P为P_j的概率值，对于给定的单个局部域判别器输出

局部注意力值表示成

H表示当前输出的熵值；还采用残差思想来缓解错误局部注意力值对跨域性能所产生的负影响，局部熵注意力图

最终可表示为

3)形成一种全局图像级对抗学习，而全局域判别器参数由如下损失函数进行优化：

其中，G_b表示瓶颈层，d_i表示训练样本f_i的域标签，h_i表示局部熵注意力图， L_d表示全局域判别器G_d的标准交叉熵损失；

4)给定全局域判别器输出

全局注意力值

用以选择不同源域下更相似的真实样本。

进一步的，所述将上述三种损失进行相加操作，得到最终的多粒度损失L_MGL以优化多粒度特征对齐网络，具体包括：

1)通过将LRANet和GIANet整合到一个泛化框架中，一个多粒度特征对齐网络因此形成，其参数可以通过多粒度损失L_MGL进行优化：

L_MGL＝L_LAL+L_GAL+L_AEL (6)

2)在多粒度特征对齐网络的每个域判别器之前都采用梯度反转层GRL来实现，通过在反向传播时将L_MGL的梯度值与-λ进行相乘计算，即可完成优化目标，设置λ为

以及k为

(其中，k表示一个线性值，随着训练从0增加到1，cur_iters表示当前迭代次数，total_iters表示总迭代次数)来减少训练过程初始阶段噪音信号的影响。

进一步的，所述步骤3具体包括：

3.1根据步骤1所得到增强特征图R_enhanced，将其输入到标签分类器中并采用常规的交叉熵损失进行二分类；

3.2根据步骤1所得到增强特征图R_enhanced，计算得到非对称三元组损失和中心损失；

3.3将步骤3.1和3.2的分类损失以及步骤2.5的多粒度损失进行相加形成最终的总损失函数；

3.4将步骤3.3计算得到的总损失，用以判断深度神经网络模型是否达到收敛条件，如果不是，回到第2.1步；如果是，结束训练，获得训练好的深度神经网络模型。

进一步的，所述步骤3.2根据步骤1所得到增强特征图，计算得到非对称三元组损失和中心损失，具体包括：

1)采用非对称三元组损失使得真实样本特征分布紧凑，让攻击样本特征分布分散，其计算方式如下：

其中，

和

分别表示anchor样本，正样本以及负样本，anchor样本标签和正样本相同，与负样本不同，a表示预定义的间距；

2)采用中心损失让类内距离减小，其计算方式如下：

其中，m表示在一个mini-batch中训练样本数量，x_i表示第i个训练样本， y_i表示标签，

表示在最后一个卷积层中的特征图第

个类别中心。

进一步的，所述步骤3.1根据步骤1所得到增强特征图R_enhanced，将其输入到标签分类器中并采用常规的交叉熵损失进行二分类，具体包括：

L_BCE＝-(y*log(p)+(1-y)*log(1-p)) (7)

其中，y表示输入图像的标签，y＝0表示攻击样本，y＝1表示真实样本，p 表示标签分类器的预测值；

所述步骤3.3将步骤3.1和3.2的分类损失以及步骤2.5的多粒度损失进行相加形成最终的总损失函数，具体包括：

L_Total＝λ₁*L_BCE+λ₂*L_Center+λ₃*L_AsTrip+λ₄*L_MGL (10)

其中，λ₁，λ₂，λ₃和λ₄表示总损失函数中的超参数。

本发明的优点及有益效果如下：

1.特征生成网络的有效改进影响着跨域人脸反欺诈的性能。不同于现阶段跨域性能较好的人脸反欺诈方法MADDG、RFMeta、SSDG等，通过为跨域任务设计特定的域对齐结构来改进不同场景下的泛化性能，却往往忽略在与域对齐结构对抗学习过程中，特征生成网络对最终性能的影响。这其中就包括如何将多层特征进行融合以及如何在特征提取初始阶段缓解域差异性。本发明提出了一个基于ResNet18的特征生成网络，通过在ResNet18最后两个残差层嵌入域适配器模块来有效缓解深层语义特征中的域差异性。同时由于人脸反欺诈所依赖的欺骗线索存在于不同尺度的特征中，因此，本发明采用多尺度注意力特征融合模块来实现基于ResNet18的四个残差特征的整合，使得各种线索有效互补，最终的特征含有丰富的、具有判别性的欺骗信息，也为与后续域对齐网络的对抗学习打下坚实的基础。

2.多粒度特征对齐策略对显著提高跨域人脸反欺诈至关重要。研究 MADA:Multi-adversarial domain adaptation表明对从多个域提取的特征进行精细对齐可以在域自适应任务中产生更好的分类性能。因此本发明提出了一个多粒度特征对齐网络。不同于其他基于域自适应的方法，多粒度特征对齐方法并不需要无标签的目标域训练样本，同时也未采用传统的SVM分类器。不同于现阶段基于域泛化的方法，多粒度特征对齐方法不再简单地对训练样本所提取到的特征进行粗糙的域对齐。本发明采用局部区域级对齐和全局图像级对齐两种粒度的对齐策略。从局部上讲，本发明通过熵注意力有效的选择出所有真实样本的人脸区域同时抑制掉这些样本的非人脸区域，减轻了每个真实人脸区域的负迁移。从全局上讲，本发明在局部对齐产生的注意力特征图的基础上，通过熵注意力选择出所有真实样本中具有更多共性信息的样本同时丢弃掉不利于域对齐的差异性样本，增强了每个真实人脸样本的正迁移。通过上述对齐策略，有效的提高了跨域人脸反欺诈的性能。

3.人脸反欺诈任务本质上是二分类任务，现有的人脸反欺诈大多仅采用标准交叉熵损失来指导模型训练，然而，标准交叉熵损失通常只会让不同类别(如真实样本和攻击样本)的特征分开，这对于攻击样本种类繁多的人脸反欺诈任务并不友好。本发明通过引入非对称三元组损失和中心损失构建最终的分类损失，通过不同域之间的真实样本所形成的特征分布更加紧凑，同时迫使域间攻击样本远离真实样本，最终形成更加清晰的分类边界。

附图说明

图1是本发明提供优选实施例的总体网络模型结构示意图。

图2为本发明的域适配器模块结构示意图。

图3为本发明的多尺度注意力特征融合模块结构示意图。

图4为本发明的模型训练算法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明实施例基于ResNet18特征提取网络为基本框架，详见文献He K, Zhang X,Ren S,et al.Deep residual learning for image recognition[C]//Proceedings ofthe IEEE conference on computer vision and pattern recognition(CVPR).2016。首先通过ResNet18网络、域适配器模块、多尺度注意力特征融合模块构建出本发明的特征生成网络，提取来自多个源域的训练样本特征，并将其中的真实样本特征送入本发明的多粒度特征对齐网络进行域对齐，计算得到多粒度损失。将包含真实样本和攻击样本的特征送入标签分类器中，使用包含标准交叉熵损失、非对齐三元组损失、中心损失的分类损失替换标准交叉熵损失。采用上述多粒度损失和分类损失构成total loss监督整个人脸反欺诈模型的学习过程。

图1为本发明的总体网络模型结构示意图，包括如下步骤：

步骤1.将训练图像输入到基础残差网络ResNet18得到初始残差特征R₁，R₂， R₃，R₄；为了缓解深层语义特征R₃，R₄所带来的域差异性，将设计的DAM嵌入到ResNet18最后两个Residual Layer中，通过将R₃，R₄输入到DAM中从而得到域差异减少的深层特征R'₃，R'₄；为了充分利用来自不同残差层的各种欺骗线索以更好进行反欺诈检测，通过采用MAFM将上述特征R₁，R₂，R'₃进行特征优化，紧接着和R'₄进行融合操作，得到含有丰富欺骗信息的深层残差特征，最终得到了能够缓解域差异性和增强特征表示的改进的特征生成网络。

如图1所示，特征生成网络以ResNet18作为基础框架，保留前四个residuallayer，并在R₃、R₄后分别嵌入一个域适配器模块。网络将选择尺度不同的四个残差层进行欺骗信息的融合。

由于不同域之间的差异主要存在于更深层的语义中而不是浅层的纹理中，如图2所示，本发明设计了一个域适配器模块。在进行不同残差层特征融合之前，先将R₃和R₄输入到域适配器模块中进行优化，得到域自适应特征图Y；具体包括：

1)将来自多个源域的特征图X输入到由多个SE适配器构成的域适配器组来产生一个公共特征空间F_DAG∈R^C*N，C和N分别表示通道数和域适配器个数， R^N*C表示特征空间，该公共特征空间由源域形成的特征子空间所共享。

2)将同样的X输入domain attention module来产生一组域权重矩阵 W_DA∈R^N*C，该矩阵用于自适应权衡F_DAG。

3)将F_DAG和W_DA以点积方式进行融合从而产生域自适应特征响应f_DA∈R^C*1。

4)将f_DA进行特征维度调整使之与X保持相同维度，最终通过通道相乘得到域自适应特征图Y，该特征表示会随着新的应用场景进行调整。因此，可以实现域自适应。将上述过程表示成公式如下：

Y＝f_scale(X,σ(F_DAG*W_DA)) (1)

其中，σ表示sigmoid激活函数，f_scale表示通道相乘操作。

由于欺骗信息存在于不同尺度的特征图中，为更好利用这些信息来进行人脸反欺诈的检测，如图3所示，本发明采用了一个多尺度注意力特征融合模块，将R₁、R₂以及通过域适配器模块进行优化后的R₃和R₄进行信息整合，得到增强特征图R_enhanced；具体包括：

1)将前三个特征图R₁、R₂和R₃同时输入到带有不同感受野的SAM得到相应的精细特征R'₁、R'₂和R'₃。

2)将上述精细特征进行下采样操作和拼接操作得到新的特征图R_['_1,2,3]。

3)将R_['_1,2,3]送入1x1卷积运算进行通道调整，随后将R₄与之进行整合得到最终的增强特征图R_enhanced。将上述过程表示成公式如下：

R_enhanced＝f_daf((R_[i]⊙f_spatial(R_[i])),R₄),i∈{1,2,3} (2)

其中，⊙表示哈达玛积，R_[i]表示来自特征生成器中前三个残差层的特征，f_spatial(.)和f_daf(.)分别表示空间注意力模块和直接相加融合方式。

步骤2.使用步骤1中构建的改进的特征生成网络进行训练，得到优化特征R'。并将其输入到MGNet中。为了探索多粒度特征对齐方式以改进对未知目标场景的泛化能力，本发明采用了一个多粒度特征对齐网络，进行局部和全局两种粒度的特征对齐。首先将步骤1的网络输出R'送入到LRANet，通过利用MLDD 来选择不同域下的人脸区域同时抑制掉非人脸区域，将上述判别器的输出用于产生local adversarial loss以及local entropyattentive map。紧接着将局部熵注意力图与R'进行融合产生GIANet的输入，通过利用单个GDD来选择不同域下的具有更多相似信息的真实样本。将上述判别器的输出用于产生global adversarial loss以及global entropy attentive map。最终将global entropyattentive map和与local entropy attentive map进行融合后的特征一起用于attentiveentropy loss的计算。具体步骤如下：

2.1使用步骤1中构建的网络进行训练，得到输出特征

2.2将

首先输入到LRANet中，LRANet用于产生局部对抗损失 L_LAL以及局部熵注意力图local entropy attentive map，具体包括：

1)所述步骤2.2中，首先根据R_enhanced的宽和高选择出N个局部域判别器 (N＝width*height)，用于判别当前特征图区域属于哪一个源域。相比之下，步骤 2.1构建网络所产生的通用的特征用于欺骗当前区域判别器，使之无法正确判别区域来自哪个域，由此形成一种局部区域级对抗学习，而这些局部区域级域判别器参数由如下损失函数进行优化：

其中，

表示区域n的特征，G_R表示特征生成网络，d_i表示训练样本f_i的域标签，D表示源域个数，L_d表示局部域判别器

的标准交叉熵损失。

2)所述步骤2.2中，LRANet的目标在于选择出在不同源域下带有更多泛化性的真实样本的人脸区域同时抑制掉非人脸区域。本发明采用信息学领域的熵函数H(p)＝-∑_jp_j*log(p_j)(p_j代表随机事件P为P_j的概率值)来实现这一目标，对于给定的单个局部域判别器输出

局部注意力值local attention value可以表示成

H表示当前输出的熵值。同时，本发明还采用残差思想来缓解错误局部注意力值对跨域性能所产生的负影响，因此，局部熵注意力图

(local entropy attentive map)最终可表示为

2.3将局部熵注意力图local entropy attentive map和R_enhanced进行整合后，输入到GIANet中，GIANet用于产生全局对抗损失L_GAL以及全局熵注意力图global entropyattentive map，具体包括：

1)所述步骤2.3中，由于只考虑局部区域对齐时，全局语义信息容易被忽略，因此，本发明设计GIANet来指导模型选择不同源域下带有更多共性的真实样本以提高模型泛化性。和LRANet相似，单个全局域判别器用于判别当前真实样本属于哪一个源域。相比之下，局部熵注意力图local entropy attentive map和 R_enhanced进行整合后的特征用于使之无法正确判别该真实样本来自哪个域，由此形成一种全局图像级对抗学习，而全局域判别器参数由如下损失函数进行优化：

其中，G_b表示瓶颈层，d_i表示训练样本f_i的域标签，h_i表示局部熵注意力图， L_d表示全局域判别器G_d的标准交叉熵损失。

2)所述步骤2.3中，给定全局域判别器输出

全局注意力值(global attentionvalue)可以表示成

用以选择不同源域下更相似的真实样本。

2.4将全局熵注意力图global entropy attentive map和与局部熵注意力图local entropy attentive map进行融合后的特征一起用于注意力熵损失L_AEL的计算，具体包括：

1)所述步骤2.4中，全局熵注意力图将用于突出特征空间中更相似的真样本的熵值，本发明将注意力图融进熵损失中，得到注意力熵损失L_AEL。当通过最小化注意力熵损失时，这些训练图像的预测将变得确定：

其中，p_i,j表示训练样本f_i属于源域j的概率。

2.5将上述三种损失进行相加操作，得到最终的多粒度损失L_MGL以优化多粒度特征对齐网络，具体包括：

1)所述步骤2.5中，通过将LRANet和GIANet整合到一个泛化框架中，减轻了每个真实人脸区域的负迁移，增强了每个真实人脸样本的正迁移。最终，一个多粒度特征对齐网络因此形成，其参数可以通过多粒度损失L_MGL进行优化：

L_MGL＝L_LAL+L_GAL+L_AEL (6)

2)所述步骤2.5中，为同时优化特征生成网络和多粒度特征对齐网络，本发明在多粒度特征对齐网络的每个域判别器之前都采用梯度反转层(Gradient Reverse Layer，简称GRL)来实现。通过在反向传播时将L_MGL的梯度值与-λ进行相乘计算，即可完成优化目标。本发明设置λ为

以及k为

(其中，k表示一个线性值，随着训练从0增加到1，cur_iters表示当前迭代次数， total_iters表示总迭代次数)来减少训练过程初始阶段噪音信号的影响。

步骤3.使用步骤1中构建的改进的特征生成网络进行训练，得到优化特征R'。并将其输入到标签分类器中计算total loss。首先采用常规的cross-entropy loss进行二分类，紧接着使用asymmetric triplet loss和center loss来使得不同域之间的真实样本所形成的特征分布更加紧凑，同时迫使域间攻击样本远离真实样本，最终形成更加清晰的分类边界。具体如下：

3.1根据步骤1所得到增强特征图R_enhanced，将其输入到标签分类器中并采用常规的交叉熵损失(cross-entropy loss)进行二分类，具体包括：

L_BCE＝-(y*log(p)+(1-y)*log(1-p)) (7)

其中，y表示输入图像的标签(比如y＝0表示攻击样本，y＝1表示真实样本)， p表示标签分类器的预测值。

3.2根据步骤1所得到增强特征图R_enhanced，计算得到非对称三元组损失(asymmetric triplet loss)和中心损失(center loss)，具体包括：

1)采用非对称三元组损失使得真实样本特征分布紧凑，让攻击样本特征分布分散，其计算方式如下：

其中，

和

分别表示anchor样本，正样本以及负样本，anchor样本标签和正样本相同，与负样本不同，a表示预定义的间距。

2)采用中心损失让类内距离减小，其计算方式如下：

其中，m表示在一个mini-batch中训练样本数量，x_i表示第i个训练样本， y_i表示标签，

表示在最后一个卷积层中的特征图第

个类别中心。

3.3将步骤3.1和3.2的分类损失以及步骤2.5的多粒度损失进行相加形成最终的总损失函数(total loss)，具体包括：

L_Total＝λ₁*L_BCE+λ₂*L_Center+λ₃*L_AsTrip+λ₄*L_MGL (10)

其中，λ₁，λ₂，λ₃和λ₄表示总损失函数中的超参数。

3.4将步骤3.3计算得到的总损失，用以判断深度神经网络模型是否达到收敛条件，如果不是，回到第2.1步；如果是，结束训练，获得训练好的深度神经网络模型。

本发明通过一种集成域适配器模块和多尺度注意力特征融合模块的网络提取特征，有效缓解深层语义特征的域差异性以及融合不同尺度下的欺骗线索，显著增强了人脸反欺诈所需的具有判别性的特征信息。随后通过将该特征中的真实样本特征送入多粒度特征对齐模块进行泛化性特征的学习，减少了真实样本人脸区域的负迁移，增强了真实样本的正迁移，从而学习到更加共性的特征，同时在分类网络损失计算中引入非对称三元组损失和中心损失，通过不同域之间的真实样本所形成的特征分布更加紧凑，同时迫使域间攻击样本远离真实样本，最终形成更加清晰的分类边界。和其他基于域自适应和域泛化的人脸反欺诈方法相比，本发明在增加少量计算量的情况下，有效的提高了跨域场景下人脸反欺诈的分类性能，节约了网络计算成本和内存消耗。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，包括以下步骤：

步骤1、通过ResNet18网络、域适配器模块、多尺度注意力特征融合模块构建出特征生成网络，提取来自多个源域的训练样本特征；

步骤2、并将训练样本特征中的真实样本特征输入到多粒度特征对齐网络中，进行局部区域和全局图像特征对齐，计算得到多粒度损失；

步骤3、将包含真实样本和攻击样本的特征送入标签分类器中，使用包含标准交叉熵损失、非对齐三元组损失、中心损失的分类损失替换标准交叉熵损失，采用total loss计算网络的分类损失，通过引入非对称三元组损失和中心损失构建最终的分类损失，通过迭代对抗训练、更新参数得到最终的网络模型。

2.根据权利要求1所述的一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，所述步骤1通过ResNet18网络、域适配器模块、多尺度注意力特征融合模块构建出特征生成网络，具体包括以下步骤：

1.1将训练图像输入到特征生成网络，特征生成网络以ResNet18作为基础框架，得到初始残差特征R₁，R₂，R₃，R₄；保留前四个残差层R，并在R₃、R₄后分别嵌入一个域适配器模块，通过将R₃，R₄输入到DAM中从而得到域差异减少的深层特征R′₃，R′₄；为了充分利用来自不同残差层的各种欺骗线索以更好进行反欺诈检测，通过采用多尺度注意力特征融合模块将上述特征R₁，R₂，R′₃进行特征优化，紧接着和R′₄进行融合操作，得到含有丰富欺骗信息的深层残差特征；

1.2设计了一个域适配器模块。在进行不同残差层特征融合之前，先将R₃和R₄输入到域适配器模块中进行优化，得到域自适应特征图Y；

1.3采用了一个多尺度注意力特征融合模块，将R₁、R₂以及通过域适配器模块进行优化后的R₃和R₄进行信息整合，得到增强特征图R_enhanced。

3.根据权利要求2所述的一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，所述步骤1.2在进行不同残差层特征融合之前，先将R₃和R₄输入到域适配器模块中进行优化，得到域自适应特征图Y，具体包括：

1)将来自多个源域的特征图X输入到由多个SE适配器构成的域适配器组来产生一个公共特征空间F_DAG∈R^C*N，C和N分别表示通道数和域适配器个数，R^N*C表示特征空间，该公共特征空间由源域形成的特征子空间所共享；

2)将同样的X输入域注意力模块来产生一组域权重矩阵W_DA∈R^N*C，该矩阵用于自适应权衡F_DAG；

3)将F_DAG和W_DA以点积方式进行融合从而产生域自适应特征响应f_DA，f_DA∈R^C*1；

4)将f_DA进行特征维度调整使之与X保持相同维度，最终通过通道相乘得到域自适应特征图Y，该特征表示会随着新的应用场景进行调整，因此，可以实现域自适应，将上述过程表示成公式如下：

Y＝f_scale(X,σ(F_DAG*W_DA)) (1)

其中，σ表示sigmoid激活函数，f_scale表示通道相乘操作。

4.根据权利要求2所述的一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，所述步骤1.2采用了一个多尺度注意力特征融合模块，将R₁、R₂以及通过域适配器模块进行优化后的R₃和R₄进行信息整合，得到增强特征图R_enhanced，具体包括：

1)将前三个特征图R₁、R₂和R₃同时输入到带有不同感受野的空间注意力模块得到相应的精细特征R′₁、R′₂和R′₃；

2)将上述精细特征进行下采样操作和拼接操作得到新的特征图R′_[1,2,3]；

3)将R′_[1,2,3]送入1x1卷积运算进行通道调整，随后将R₄与之进行整合得到最终的增强特征图R_enhanced，将上述过程表示成公式如下：

其中，

表示哈达玛积，R_[i]表示来自特征生成器中前三个残差层的特征，f_spatial(.)和f_daf(.)分别表示空间注意力模块和直接相加融合方式。

5.根据权利要求1所述的一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，所述步骤2将训练样本特征中的真实样本特征输入到多粒度特征对齐网络中，进行局部区域和全局图像特征对齐，计算得到多粒度损失，具体包括以下步骤：

首先将网络输出R′送入到局部区域对齐子网络中LRANet，通过利用多个局部域判别器MLDD来选择不同域下的人脸区域同时抑制掉非人脸区域，将上述判别器的输出用于产生局部对抗损失LAL以及局部熵注意力图；紧接着将局部熵注意力图与R′进行融合产生全局图像对齐子网络GIANet的输入，通过利用单个全局域判别器GDD来选择不同域下的具有更多相似信息的真实样本；将上述判别器的输出用于产生全局对抗损失GAL以及全局熵注意力图；最终将全局熵注意力图和与局部熵注意力图进行融合后的特征一起用于注意力熵损失AEL的计算。

6.根据权利要求5所述的一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，所述将网络输出R′送入到局部区域对齐子网络中LRANet，通过利用多个局部域判别器MLDD来选择不同域下的人脸区域同时抑制掉非人脸区域，将上述判别器的输出用于产生局部对抗损失LAL以及局部熵注意力图，具体包括：

1)首先根据R_enhanced的宽和高选择出N个局部域判别器，N＝width*height，用于判别当前特征图区域属于哪一个源域，局部区域级域判别器参数由如下损失函数进行优化：

其中，

表示区域n的特征，G_R表示特征生成网络，d_i表示训练样本f_i的域标签，D表示源域个数，L_d表示局部域判别器

的标准交叉熵损失；

2)LRANet的目标在于选择出在不同源域下带有更多泛化性的真实样本的人脸区域同时抑制掉非人脸区域，采用信息学领域的熵函数H(p)＝-∑_jp_j*log(p_j)，p_j代表随机事件P为P_j的概率值，对于给定的单个局部域判别器输出

局部注意力值表示成

H表示当前输出的熵值；还采用残差思想来缓解错误局部注意力值对跨域性能所产生的负影响，局部熵注意力图

最终可表示为

3)形成一种全局图像级对抗学习，而全局域判别器参数由如下损失函数进行优化：

其中，G_b表示瓶颈层，d_i表示训练样本f_i的域标签，h_i表示局部熵注意力图，L_d表示全局域判别器G_d的标准交叉熵损失；

4)给定全局域判别器输出

全局注意力值

用以选择不同源域下更相似的真实样本。

7.根据权利要求6所述的一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，所述将上述三种损失进行相加操作，得到最终的多粒度损失L_MGL以优化多粒度特征对齐网络，具体包括：

1)通过将LRANet和GIANet整合到一个泛化框架中，一个多粒度特征对齐网络因此形成，其参数可以通过多粒度损失L_MGL进行优化：

L_MGL＝L_LAL+L_GAL+L_AEL (6)

2)在多粒度特征对齐网络的每个域判别器之前都采用梯度反转层GRL来实现，通过在反向传播时将L_MGL的梯度值与-λ进行相乘计算，即可完成优化目标，设置λ为

以及k为

其中，k表示一个线性值，随着训练从0增加到1，cur_iters表示当前迭代次数，total_iters表示总迭代次数，来减少训练过程初始阶段噪音信号的影响。

8.根据权利要求7所述的一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，所述步骤3具体包括：

3.1根据步骤1所得到增强特征图R_enhanced，将其输入到标签分类器中并采用常规的交叉熵损失进行二分类；

3.2根据步骤1所得到增强特征图R_enhanced，计算得到非对称三元组损失和中心损失；

3.3将步骤3.1和3.2的分类损失以及步骤2.5的多粒度损失进行相加形成最终的总损失函数；

3.4将步骤3.3计算得到的总损失，用以判断深度神经网络模型是否达到收敛条件，如果不是，回到第2.1步；如果是，结束训练，获得训练好的深度神经网络模型。

9.根据权利要求8所述的一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，所述步骤3.2根据步骤1所得到增强特征图，计算得到非对称三元组损失和中心损失，具体包括：

1)采用非对称三元组损失使得真实样本特征分布紧凑，让攻击样本特征分布分散，其计算方式如下：

其中，

和

分别表示anchor样本，正样本以及负样本，anchor样本标签和正样本相同，与负样本不同，a表示预定义的间距；

2)采用中心损失让类内距离减小，其计算方式如下：

其中，m表示在一个mini-batch中训练样本数量，x_i表示第i个训练样本，

y_i表示标签，

表示在最后一个卷积层中的特征图第

个类别中心。

10.根据权利要求9所述的一种基于跨域特征对齐网络的人脸反欺诈方法，其特征在于，所述步骤3.1根据步骤1所得到增强特征图R_enhanced，将其输入到标签分类器中并采用常规的交叉熵损失进行二分类，具体包括：

L_BCE＝-(y*log(p)+(1-y)*log(1-p)) (7)

其中，y表示输入图像的标签，y＝0表示攻击样本，y＝1表示真实样本，p表示标签分类器的预测值；

所述步骤3.3将步骤3.1和3.2的分类损失以及步骤2.5的多粒度损失进行相加形成最终的总损失函数，具体包括：

L_Total＝λ₁*L_BCE+λ₂*L_Center+λ₃*L_AsTrip+λ₄*L_MGL (10)

其中，λ₁，λ₂，λ₃和λ₄表示总损失函数中的超参数。

Images