CN116453199A - 基于复杂纹理区域伪造痕迹的gan生成人脸检测方法 - Google Patents

Abstract

基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，首先提供了一种用于紧密连接的卷积层的DenseNet作为纹理增强块，对每张人脸图像的浅层纹理特征图进行纹理信息的增强。然后将增强的纹理特征图送入DCAR‑Net来提高感受野的灵活性，从而能够捕捉到更全局、语义层次更高的特征。该方法在网络主干中引入了空洞卷积以及跳跃连接，对于伪造检测任务来说，空洞卷积能够更好地捕捉到比较分散的伪造换脸痕迹，跳跃连接使得网络有恒等映射的能力，可以使网络变得更深、更容易训练，同时能够降低计算的复杂度，从而保证更好的人脸伪造检测效果。

Description

基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法

技术领域

本发明涉及计算机视觉伪造检测技术领域，具体涉及一种基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法。

背景技术

人脸伪造检测是人脸识别中比较重要的一部分，在生活中有着很重要的应用，比如人脸身份验证、刷脸打卡、扫脸支付等行业。随着深度伪造算法日趋成熟，生成的伪造人脸图像也达到了难以辨别真伪的程度，基于GAN方法生成的伪造人脸就是其中之一。在享受科技带来便利的同时也要预防其危害，同时加强高性能的伪造检测技术的探索。

基于GAN生成人脸的检测，以往的方法大都将切取好的人脸图像直接放入人脸检测器进行检测。但由于人脸图像的低对比度、模糊和亮度不均匀等问题，导致人脸伪造痕迹细节信息的丢失。传统的GAN人脸检测算法使用神经网络来区分真实面部图像和GAN生成的面部图像，通过学习高维特征空间中的表示来寻找GAN生成过程中由融合操作引起的不一致性，这些方法在当时是可解释的。由于生成对抗网络(Generative AdversarialNetwork，GAN)技术的快速进步，GAN生成图像的真实性已经大幅提高，以至于现有的方法不再起作用。当前常见的检测方法是使用卷积神经网络(Convolutional Neural Network，CNN)构建的模型，该模型自动学习真假可辨别的特征来进行图像鉴别，然而CNN存在感受野不够灵活、不善于表示浅层的语义特征等问题。而GAN图像检测器需要更细节的底层纹理区域伪造痕迹提供检测依据。

发明内容

本发明为了克服以上技术的不足，提供了一种伪造痕迹可视性的基于底层纹理区域伪造痕迹的GAN生成人脸检测方法。

本发明克服其技术问题所采用的技术方案是：

一种基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，包括如下步骤：

a)从FF++人脸图像数据集的c23子集中的DF数据集中选取个视频、从c23子集中的F2F数据集中选取/>个视频、从c23子集中的FS数据集中选取/>个视频、从c23子集中的NT数据集中选取/>个视频、从c23子集中的Youtube数据集中选取/>个视频；

b)将n个视频进行预处理提取面部图像，得到预处理后的人脸图像集Img_s，Img_s＝{Img₁,Img₂,...,Img_i,...,Img_n}，其中Img_i为第i个预处理后的人脸图像，i∈{1,2,...,n}；

c)建立纹理增强模块，将第i个预处理后的人脸图像Img_i输入到纹理增强模块中，输出得到纹理特征F_t；

d)将纹理特征F_t输入到DenseNet网络中，输出得到强化纹理特征图F_s；

e)建立DCAR-Net网络，将强化纹理特征图F_s输入到DCAR-Net网络中，输出得到最终的伪造特征图f；

f)通过空间注意力权重对伪造特征图f加权操作，得到最终的特征映射f′；

g)建立分类网络，将最终的特征映射f′输入到分类网络中，输出得到输出结果。优选的，优选的步骤a)中的n取值为10000。

进一步的，步骤b)包括如下步骤：

b-1)利用openCV将选取的每个视频中抽取10帧人脸图像进行保存，利用人脸关键点检测的python库Dlib检测所有人脸图像，将人脸定位后进行1.3比例的剪裁处理，得到分辨率为224*224的人脸图像；

b-2)将剪裁后的人脸图像依次进行水平翻转、对比度增强、亮度增强、随机噪声处理，得到预处理后的人脸图像集Img_s。

进一步的，步骤c)包括如下步骤：

c-1)纹理增强模块由卷积网络、自适应平均池化层、卷积层构成；

c-2)纹理增强模块的卷积网络依次由卷积层、BN归一化层、ReLU激活函数层构成，将第i个预处理后的人脸图像Img_i输入到卷积网络的卷积层中，输出得到抽象的特征图像将抽象的特征图像/>依次输入到卷积网络的BN归一化层、ReLU激活函数层中，输出得到非纹理特征/>

c-3)将第i个预处理后的人脸图像Img_i依次输入到纹理增强模块的自适应平均池化层、卷积层中，输出得到全局特征

c-4)将全局特征与非纹理特征/>相减得到纹理特征F_t。

优选的，步骤c-2)中卷积网络的卷积层的卷积核大小为3*3；步骤c-3)中纹理增强模块的卷积层的卷积核大小为1*1。

进一步的，步骤e)包括如下步骤：

e-1)DCAR-Net网络由第一卷积层、池化层、TLSCM模块、DLGCM模块、平均池化层、第二卷积层构成；

e-2)将强化纹理特征图F_s依次输入到DCAR-Net网络的第一卷积层、池化层中，输出得到特征F_s′；

e-3)DCAR-Net网络的TLSCM模块由第一跳跃连接Tlc₁、第一卷积层、第二跳跃连接Tlc₂、第二卷积层、第三跳跃连接Tlc₃、空洞卷积层构成，第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃均依次由第一卷积层、第二卷积层、第三卷积层构成，将特征F_s′输入到TLSCM模块的第一跳跃连接Tlc₁中，输出得到特征映射F′_s1，将特征映射F′_s1与特征F_s′通过concat()函数相加得到特征映射F″_s1，将特征映射F″_s1输入到TLSCM模块的第一卷积层中，输出得到特征映射F″′_s1，将特征映射F″′_s1输入到TLSCM模块的第二跳跃连接Tlc₂中，输出得到特征映射F″″_s1，将特征映射F″″_s1与特征映射F″′_s1通过concat()函数相加得到特征映射F_s11，将特征映射F_s11输入到TLSCM模块的第二卷积层中，输出得到特征映射F′_s11，将特征映射F′_s11输入到TLSCM模块的第三跳跃连接Tlc₃中，输出得到特征映射F″_s11，将特征映射F″_s11与特征映射F′_s11通过concat()函数相加得到特征映射F″′_s11，将特征映射F″′_s11输入到TLSCM模块的空洞卷积层中，输出得到扩大感受野后的特征映射f₁，f₁∈R^W×H×C，R为实数空间，C为通道数，H为特征的高，W为特征的宽；

e-4)DCAR-Net网络的DLGCM模块由第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆、空洞卷积层构成，第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆均依次由第一卷积层、第二卷积层构成，将特征F_s′输入到DLGCM模块的第一双层跳跃连接Dlc₁中，输出得到特征F′_s2，将特征F′_s2与特征F_s′通过concat()函数相加得到特征F″_s2，将特征F″_s2输入到DLGCM模块的第二双层跳跃连接Dlc₂中，输出得到特征F″′_s2，将特征F″′_s2与特征F″_s2通过concat()函数相加得到特征F_s22，将特征F″_s2输入到DLGCM模块的第三双层跳跃连接Dlc₃中，输出得到特征F′_s22，将特征F′_s22与特征F_s22通过concat()函数相加得到特征F″_s22，将特征F″_s22输入到DLGCM模块的第四双层跳跃连接Dlc₄中，输出得到特征F″′_s22，将特征F″′_s22与特征F″_s22通过concat()函数相加得到特征F″_s23，将特征F″_s23输入到DLGCM模块的第五双层跳跃连接Dlc₅中，输出得到特征F″′_s23，将特征F″′_s23与特征F″_s23通过concat()函数相加得到特征F_s24，将特征F_s24输入到DLGCM模块的第六双层跳跃连接Dlc₆中，输出得到特征F′_s24，将特征F′_s24与特征F_s24通过concat()函数相加得到特征F″_s24，将特征F″_s24输入到的DLGCM模块的空洞卷积层中，输出得到扩大感受野后的特征映射f₂，f₂∈R^W×H×C；

e-5)将特征映射f₁与特征映射f₂通过concat()函数相加得到新的特征映射f_s ³；

e-6)将特征映射f_s ³输入到DCAR-Net网络的平均池化层中，输出得到特征图f_s ⁴；

e-7)将特征图f_s ⁴输入到DCAR-Net网络的第二卷积层中，输出得到最终的伪造特征图f，f∈R^W×H×C。

优选的，步骤e-2)中中第一卷积层的卷积核大小为7*7；步骤e-3)中TLSCM模块的第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃的第一卷积层的卷积核大小均为1*1，TLSCM模块的第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃的第二卷积层的卷积核大小均为3*3，TLSCM模块的第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃的第三卷积层的卷积核大小均为1*1，TLSCM模块的第一卷积层的卷积核大小为1*1，TLSCM模块的第二卷积层的卷积核大小为1*1，TLSCM模块的空洞卷积层的dilation rate设置为2，空洞卷积层的感受野大小为7，步骤e-4)中第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆的第一卷积层的卷积核大小均为3*3，第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆的第二卷积层的卷积核大小均为3*3，DLGCM模块的空洞卷积层的dilationrate设置为2，步骤e-7)中DCAR-Net网络的第二卷积层的卷积核大小为5*5。

进一步的，步骤f)包括如下步骤：

f-1)将最终的伪造特征图f依次输入到卷积层、Sigmoid激活函数层中，得到空间注意力权重sa，sa∈R^W×H；

f-2)将空间注意力权重与最终的伪造特征图f进行加权操作，得到最终的特征映射f′，f′∈R^W×H×C。

进一步的，步骤g)包括如下步骤：

g-1)分类网络由全连接层、Sigmoid函数构成；

g-2)将最终的特征映射f′输入到分类网络的全连接层中，映射成一个定长的特征向量x，x＝[x₁,x₂,...,x_j,...,x_m]^T，为第j个向量，j∈{1,2,...,m}，m为向量总数，T为转置；

g-3)通过公式z_j＝W*x_j+b_j计算得到第j个向量x_j线性变换后的向量z_j，式中W为行为p、列为q的矩阵，b_j为第j个偏置，j∈{1,2,...,m}；

g-4)将向量z_j输入到分类网络的Sigmoid函数中，输出得到隐藏层的值g(z_j)；

g-5)将隐藏层的值g(z_j)替代步骤g-2)中的最终的特征映射f′后重复执行步骤g-2)至步骤g-4)得到隐藏层的值g′(z_j)；

g-6)将隐藏层的值g′(z_j)替代步骤g-2)中的最终的特征映射f′后重复执行步骤g-2)至步骤g-4)得到隐藏层的值g″(z_j)；

g-7)将隐藏层的值g″(z_j)替代步骤g-2)中的最终的特征映射f′后重复执行步骤g-2)至步骤g-4)得到隐藏层的值g″′(z_j)；

g-8)将隐藏层的值g″′(z_j)输入到Sigmoid函数中，输出得到输出结果0或1，输出结果为0表示生成人脸，输出结果为1表示真实人脸。

本发明的有益效果是：通过紧密连接的卷积层的DenseNet作为纹理增强块，对每张人脸图像的浅层纹理特征图进行纹理信息的增强。然后将增强的纹理特征图送入来提高感受野的灵活性，从而能够捕捉到更全局、语义层次更高的特征。该方法在网络主干中引入了空洞卷积以及跳跃连接，对于伪造检测任务来说，空洞卷积能够更好地捕捉到比较分散的伪造换脸痕迹，跳跃连接使得网络有恒等映射的能力，可以使网络变得更深、更容易训练，同时能够降低计算的复杂度，从而保证更好的人脸伪造检测效果。

附图说明

图1为本发明的方法流程图；

图2为本发明的纹理增强模块结构图；

图3为本发明的提取扩大感受野的人脸图像特征网络结构图；

图4为本发明的感受野扩大过程结构图；

图5为本发明的感受野扩大后的特征映射结构图；

图6为本发明的注意力机制结构图；

图7为本发明的GAN人脸图像分类网络结构图。

具体实施方式

下面结合附图1至附图7对本发明做进一步说明。

本发明提供了伪造痕迹可视性的基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，如附图1所示，包括如下步骤：

a)从FF++人脸图像数据集的c23子集中的DF数据集中选取个视频、从c23子集中的F2F数据集中选取/>个视频、从c23子集中的FS数据集中选取/>个视频、从c23子集中的NT数据集中选取/>个视频、从c23子集中的Youtube数据集中选取/>个视频。优选的n取值为10000。

b)将n个视频进行预处理提取面部图像，得到预处理后的人脸图像集Img_s，Img_s＝{Img₁,Img₂,...,Img_i,...,Img_n}，其中Img_i为第i个预处理后的人脸图像，i∈{1,2,...,n}。

c)建立纹理增强模块，将第i个预处理后的人脸图像Img_i输入到纹理增强模块中，输出得到纹理特征F_t。

d)将纹理特征F_t输入到DenseNet网络中，输出得到强化纹理特征图F_s。DenseNet网络可以确保最大程度地利用特征图信息，使得模型效果更好且参数更少，并保证了特征信息在网络层之间的最大传递。

e)建立DCAR-Net网络，将强化纹理特征图F_s输入到DCAR-Net网络中，输出得到最终的伪造特征图f。

f)通过空间注意力权重对伪造特征图f加权操作，得到最终的特征映射f′。结合注意力机制进行权重的重加减少一些背景信息的干扰。

g)建立分类网络，将最终的特征映射f′输入到分类网络中，输出得到输出结果。

实施例1：

步骤b)包括如下步骤：

b-1)利用openCV将选取的每个视频中抽取10帧人脸图像进行保存，利用人脸关键点检测的python库Dlib检测所有人脸图像，将人脸定位后进行1.3比例的剪裁处理，得到分辨率为224*224的人脸图像。

b-2)为了扩充数据集，将剪裁后的人脸图像依次进行水平翻转、对比度增强、亮度增强、随机噪声处理，得到预处理后的人脸图像集Img_s。

实施例2：

如附图2所示，步骤c)包括如下步骤：

c-1)纹理增强模块由卷积网络、自适应平均池化层、卷积层构成。

c-2)纹理增强模块的卷积网络依次由卷积层、BN归一化层、ReLU激活函数层构成，将第i个预处理后的人脸图像Img_i输入到卷积网络的卷积层中，输出得到抽象的特征图像将抽象的特征图像/>依次输入到卷积网络的BN归一化层、ReLU激活函数层中，输出得到非纹理特征/>

c-3)将第i个预处理后的人脸图像Img_i依次输入到纹理增强模块的自适应平均池化层、卷积层中，输出得到全局特征

c-4)将全局特征与非纹理特征/>相减得到纹理特征F_t。

在该实施例中，优选的，步骤c-2)中卷积网络的卷积层的卷积核大小为3*3；步骤c-3)中纹理增强模块的卷积层的卷积核大小为1*1。

实施例3：

如附图3所示，步骤e)包括如下步骤：

e-1)DCAR-Net网络由第一卷积层、池化层、TLSCM模块、DLGCM模块、平均池化层、第二卷积层构成。

e-2)将强化纹理特征图F_s依次输入到DCAR-Net网络的第一卷积层、池化层中，输出得到特征F_s′。

e-3)DCAR-Net网络的TLSCM模块由第一跳跃连接Tlc₁、第一卷积层、第二跳跃连接Tlc₂、第二卷积层、第三跳跃连接Tlc₃、空洞卷积层构成，第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃均依次由第一卷积层、第二卷积层、第三卷积层构成，利用三个卷积层对卷积核先降维再升维的目的是方便后续的加法操作，将特征F_s′输入到TLSCM模块的第一跳跃连接Tlc₁中，输出得到特征映射F′_s1，将特征映射F′_s1与特征F_s′通过concat()函数相加得到特征映射F″_s1，将特征映射F″_s1输入到TLSCM模块的第一卷积层中，输出得到特征映射F″′_s1，将特征映射F″′_s1输入到TLSCM模块的第二跳跃连接Tlc₂中，输出得到特征映射F″″_s1，将特征映射F″″_s1与特征映射F″′_s1通过concat()函数相加得到特征映射F_s11，将特征映射F_s11输入到TLSCM模块的第二卷积层中，输出得到特征映射F′_s11，将特征映射F′_s11输入到TLSCM模块的第三跳跃连接Tlc₃中，输出得到特征映射F″_s11，将特征映射F″_s11与特征映射F′_s11通过concat()函数相加得到特征映射F″′_s11，将特征映射F″′_s11输入到TLSCM模块的空洞卷积层中，输出得到扩大感受野后的特征映射f₁，f₁∈R^W×H×C，R为实数空间，C为通道数，H为特征的高，W为特征的宽。

e-4)DCAR-Net网络的DLGCM模块由第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆、空洞卷积层构成，第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆均依次由第一卷积层、第二卷积层构成，将特征F_s′输入到DLGCM模块的第一双层跳跃连接Dlc₁中，输出得到特征F′_s2，将特征F′_s2与特征F_s′通过concat()函数相加得到特征F″_s2，将特征F″_s2输入到DLGCM模块的第二双层跳跃连接Dlc₂中，输出得到特征F″′_s2，将特征F″′_s2与特征F″_s2通过concat()函数相加得到特征F_s22，将特征F″_s2输入到DLGCM模块的第三双层跳跃连接Dlc₃中，输出得到特征F′_s22，将特征F′_s22与特征F_s22通过concat()函数相加得到特征F″_s22，将特征F″_s22输入到DLGCM模块的第四双层跳跃连接Dlc₄中，输出得到特征F″′_s22，将特征F″′_s22与特征F″_s22通过concat()函数相加得到特征F″_s23，将特征F″_s23输入到DLGCM模块的第五双层跳跃连接Dlc₅中，输出得到特征F″′_s23，将特征F″′_s23与特征F″_s23通过concat()函数相加得到特征F_s24，将特征F_s24输入到DLGCM模块的第六双层跳跃连接Dlc₆中，输出得到特征F′_s24，将特征F′_s24与特征F_s24通过concat()函数相加得到特征F″_s24，将特征F″_s24输入到的DLGCM模块的空洞卷积层中，输出得到扩大感受野后的特征映射f₂，f₂∈R^W×H×C。

e-5)将特征映射f₁与特征映射f₂通过concat()函数相加得到新的特征映射f_s ³。

e-6)将特征映射f_s ³输入到DCAR-Net网络的平均池化层中，输出得到特征图f_s ⁴。e-7)将特征图f_s ⁴输入到DCAR-Net网络的第二卷积层中，输出得到最终的伪造特征图f，f∈R^{W ×H×C}。

通过跳跃连接将残差块的输入输出进行一个简单的叠加，使得网络有恒等映射的能力，可以使网络变得更深、更容易训练，同时能够降低计算的复杂度，在该网络中加入空洞卷积层，能够更好的捕捉到分散的伪造痕迹。

在该实施例中，优选的，步骤e-2)中中第一卷积层的卷积核大小为7*7；步骤e-3)中TLSCM模块的第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃的第一卷积层的卷积核大小均为1*1，TLSCM模块的第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃的第二卷积层的卷积核大小均为3*3，TLSCM模块的第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃的第三卷积层的卷积核大小均为1*1，TLSCM模块的第一卷积层的卷积核大小为1*1，TLSCM模块的第二卷积层的卷积核大小为1*1，如附图4所示，相比于一般的卷积方法，空洞卷积需要增加“dilation rate”这个参数，以确定最外层核与内核之间的距离。距离越大感受野越大，在本发明中，TLSCM模块的空洞卷积层的dilation rate设置为2，经过扩大后的卷积核实际上等价于一个5*5大小的普通卷积，感受野大小为F，F＝2(rate-1)*(k-1)+k，rate为膨胀率，k为卷积核大小，如附图5所示，经过扩大后的感受野大小空洞卷积层的感受野大小为7，即F＝2(2-1)*(3-1)+3＝7，步骤e-4)中第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆的第一卷积层的卷积核大小均为3*3，第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆的第二卷积层的卷积核大小均为3*3，DLGCM模块的空洞卷积层的dilation rate设置为2，步骤e-7)中DCAR-Net网络的第二卷积层的卷积核大小为5*5。

实施例4：

由于裁剪比例为1.3的人脸图像包含的伪造痕迹相对集中但也会包含更多的干扰背景信息。因此，我们需要结合注意力机制，将权重进行重新加权，让重要的信息更突出，减弱背景信息的干扰。具体的，如附图6所示，步骤f)包括如下步骤：

f-1)将最终的伪造特征图f依次输入到卷积层、Sigmoid激活函数层中，得到空间注意力权重sa，sa∈R^W×H。

f-2)将空间注意力权重与最终的伪造特征图f进行加权操作，得到最终的特征映射f′，f′∈R^W×H×C。

实施例5：

如附图7所示，步骤g)包括如下步骤：

g-1)分类网络由全连接层、Sigmoid函数构成。

g-2)将最终的特征映射f′输入到分类网络的全连接层中，映射成一个定长的特征向量x，x＝[x₁,x₂,...,x_j,...,x_m]^T，为第j个向量，j∈{1,2,...,m}，m为向量总数，T为转置。

g-3)通过公式z_j＝W*x_j+b_j计算得到第j个向量x_j线性变换后的向量z_j，式中W为行为p、列为q的矩阵，b_j为第j个偏置，j∈{1,2,...,m}。

g-4)将向量z_j输入到分类网络的Sigmoid函数中，输出得到隐藏层的值g(z_j)。

g-5)将隐藏层的值g(z_j)替代步骤g-2)中的最终的特征映射f′后重复执行步骤g-2)至步骤g-4)得到隐藏层的值g′(z_j)。重复时全连接层的维度为1024。

g-6)将隐藏层的值g′(z_j)替代步骤g-2)中的最终的特征映射f′后重复执行步骤g-2)至步骤g-4)得到隐藏层的值g″(z_j)。重复时全连接层的维度为512。

g-7)将隐藏层的值g″(z_j)替代步骤g-2)中的最终的特征映射f′后重复执行步骤g-2)至步骤g-4)得到隐藏层的值g″′(z_j)。重复时全连接层的维度为256。经过3次重复，增强网络的非线性能力，

g-8)将隐藏层的值g″′(z_j)输入到Sigmoid函数中，输出得到输出结果0或1，对真实人脸图像以及GAN方法生成的人脸图像进行二元分类，输出结果为0表示生成人脸，输出结果为1表示真实人脸。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，其特征在于，包括如下步骤：

a)从FF++人脸图像数据集的c23子集中的DF数据集中选取个视频、从c23子集中的F2F数据集中选取/>个视频、从c23子集中的FS数据集中选取/>个视频、从c23子集中的NT数据集中选取/>个视频、从c23子集中的Youtube数据集中选取/>个视频；

b)将n个视频进行预处理提取面部图像，得到预处理后的人脸图像集Img_s，Img_s＝{Img₁,Img₂,...,Img_i,…,Img_n}，其中Img_i为第i个预处理后的人脸图像，i∈{1,2,…,n}；

c)建立纹理增强模块，将第i个预处理后的人脸图像Img_i输入到纹理增强模块中，输出得到纹理特征F_t；

d)将纹理特征F_t输入到DenseNet网络中，输出得到强化纹理特征图F_s；

e)建立DCAR-Net网络，将强化纹理特征图F_s输入到DCAR-Net网络中，输出得到最终的伪造特征图f；

f)通过空间注意力权重对伪造特征图f加权操作，得到最终的特征映射f′；

g)建立分类网络，将最终的特征映射f′输入到分类网络中，输出得到输出结果。

2.根据权利要求1所述的基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，其特征在于：优选的步骤a)中的n取值为10000。

3.根据权利要求1所述的基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，其特征在于，步骤b)包括如下步骤：

b-1)利用openCV将选取的每个视频中抽取10帧人脸图像进行保存，利用人脸关键点检测的python库Dlib检测所有人脸图像，将人脸定位后进行1.3比例的剪裁处理，得到分辨率为224*224的人脸图像；

b-2)将剪裁后的人脸图像依次进行水平翻转、对比度增强、亮度增强、随机噪声处理，得到预处理后的人脸图像集Img_s。

4.根据权利要求1所述的基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，其特征在于，步骤c)包括如下步骤：

c-1)纹理增强模块由卷积网络、自适应平均池化层、卷积层构成；

c-2)纹理增强模块的卷积网络依次由卷积层、BN归一化层、ReLU激活函数层构成，将第i个预处理后的人脸图像Img_i输入到卷积网络的卷积层中，输出得到抽象的特征图像将抽象的特征图像/>依次输入到卷积网络的BN归一化层、ReLU激活函数层中，输出得到非纹理特征/>

c-3)将第i个预处理后的人脸图像Img_i依次输入到纹理增强模块的自适应平均池化层、卷积层中，输出得到全局特征

c-4)将全局特征与非纹理特征/>相减得到纹理特征F_t。

5.根据权利要求4所述的基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，其特征在于：步骤c-2)中卷积网络的卷积层的卷积核大小为3*3；步骤c-3)中纹理增强模块的卷积层的卷积核大小为1*1。

6.根据权利要求1所述的基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，其特征在于，步骤e)包括如下步骤：

e-1)DCAR-Net网络由第一卷积层、池化层、TLSCM模块、DLGCM模块、平均池化层、第二卷积层构成；

e-2)将强化纹理特征图F_s依次输入到DCAR-Net网络的第一卷积层、池化层中，输出得到特征F_s′；

e-3)DCAR-Net网络的TLSCM模块由第一跳跃连接Tlc₁、第一卷积层、第二跳跃连接Tlc₂、第二卷积层、第三跳跃连接Tlc₃、空洞卷积层构成，第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃均依次由第一卷积层、第二卷积层、第三卷积层构成，将特征F_s′输入到TLSCM模块的第一跳跃连接Tlc₁中，输出得到特征映射F′_s1，将特征映射F′_s1与特征F_s′通过concat()函数相加得到特征映射F″_s1，将特征映射F″_s1输入到TLSCM模块的第一卷积层中，输出得到特征映射F″′_s1，将特征映射F″′_s1输入到TLSCM模块的第二跳跃连接Tlc₂中，输出得到特征映射F″″_s1，将特征映射F″″_s1与特征映射F″″_s1通过concat()函数相加得到特征映射F_s11，将特征映射F_s11输入到TLSCM模块的第二卷积层中，输出得到特征映射F′_s11，将特征映射F′_s11输入到TLSCM模块的第三跳跃连接Tlc₃中，输出得到特征映射F″_s11，将特征映射F″_s11与特征映射F′_s11通过concat()函数相加得到特征映射F″′_s11，将特征映射F″′_s11输入到TLSCM模块的空洞卷积层中，输出得到扩大感受野后的特征映射f₁，f₁∈R^W×H×C，R为实数空间，C为通道数，H为特征的高，W为特征的宽；

e-4)DCAR-Net网络的DLGCM模块由第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆、空洞卷积层构成，第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆均依次由第一卷积层、第二卷积层构成，将特征F_s′输入到DLGCM模块的第一双层跳跃连接Dlc₁中，输出得到特征F′_s2，将特征F′_s2与特征F_s′通过concat()函数相加得到特征F″_s2，将特征F″_s2输入到DLGCM模块的第二双层跳跃连接Dlc₂中，输出得到特征F″′_s2，将特征F″′_s2与特征F″_s2通过concat()函数相加得到特征F_s22，将特征F″_s2输入到DLGCM模块的第三双层跳跃连接Dlc₃中，输出得到特征F′_s22，将特征F″_s22与特征F_s22通过concat()函数相加得到特征F″_s22，将特征F″_s22输入到DLGCM模块的第四双层跳跃连接Dlc₄中，输出得到特征F″′_s22，将特征F″′_s22与特征F″_s22通过concat()函数相加得到特征F″_s23，将特征F″_s23输入到DLGCM模块的第五双层跳跃连接Dlc₅中，输出得到特征F″′_s23，将特征F″′_s23与特征F″_s23通过concat()函数相加得到特征F_s24，将特征F_s24输入到DLGCM模块的第六双层跳跃连接Dlc₆中，输出得到特征F′_s24，将特征F′_s24与特征F_s24通过concat()函数相加得到特征F″_s24，将特征F″_s24输入到的DLGCM模块的空洞卷积层中，输出得到扩大感受野后的特征映射f₂，f₂∈R^W×H×C；

e-5)将特征映射f₁与特征映射f₂通过concat()函数相加得到新的特征映射f_s ³；

e-6)将特征映射f_s ³输入到DCAR-Net网络的平均池化层中，输出得到特征图f_s ⁴；

e-7)将特征图f_s ⁴输入到DCAR-Net网络的第二卷积层中，输出得到最终的伪造特征图f，f∈R^W×H×C。

7.根据权利要求6所述的基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，其特征在于：步骤e-2)中中第一卷积层的卷积核大小为7*7；步骤e-3)中TLSCM模块的第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃的第一卷积层的卷积核大小均为1*1，TLSCM模块的第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃的第二卷积层的卷积核大小均为3*3，TLSCM模块的第一跳跃连接Tlc₁、第二跳跃连接Tlc₂、第三跳跃连接Tlc₃的第三卷积层的卷积核大小均为1*1，TLSCM模块的第一卷积层的卷积核大小为1*1，TLSCM模块的第二卷积层的卷积核大小为1*1，TLSCM模块的空洞卷积层的dilation rate设置为2，空洞卷积层的感受野大小为7，步骤e-4)中第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆的第一卷积层的卷积核大小均为3*3，第一双层跳跃连接Dlc₁、第二双层跳跃连接Dlc₂、第三双层跳跃连接Dlc₃、第四双层跳跃连接Dlc₄、第五双层跳跃连接Dlc₅、第六双层跳跃连接Dlc₆的第二卷积层的卷积核大小均为3*3，DLGCM模块的空洞卷积层的dilation rate设置为2，步骤e-7)中DCAR-Net网络的第二卷积层的卷积核大小为5*5。

8.根据权利要求1所述的基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，其特征在于，步骤f)包括如下步骤：

f-1)将最终的伪造特征图f依次输入到卷积层、Sigmoid激活函数层中，得到空间注意力权重sa，sa∈R^W×H；

f-2)将空间注意力权重与最终的伪造特征图f进行加权操作，得到最终的特征映射f′，f′∈R^W×H×C。

9.根据权利要求1所述的基于复杂纹理区域伪造痕迹的GAN生成人脸检测方法，其特征在于，步骤g)包括如下步骤：

g-1)分类网络由全连接层、Sigmoid函数构成；

g-2)将最终的特征映射f′输入到分类网络的全连接层中，映射成一个定长的特征向量x，x＝[x₁,x₂,…,x_j,…,x_m]^T，为第j个向量，j∈{1,2,...,m}，m为向量总数，T为转置；

g-3)通过公式z_j＝W*x_j+b_j计算得到第j个向量x_j线性变换后的向量z_j，式中W为行为p、列为q的矩阵，b_j为第j个偏置，j∈{1,2,...,m}；

g-4)将向量z_j输入到分类网络的Sigmoid函数中，输出得到隐藏层的值g(z_j)；

g-5)将隐藏层的值g(z_j)替代步骤g-2)中的最终的特征映射f′后重复执行步骤g-2)至步骤g-4)得到隐藏层的值g′(z_j)；

g-6)将隐藏层的值g′(z_j)替代步骤g-2)中的最终的特征映射f′后重复执行步骤g-2)至步骤g-4)得到隐藏层的值g″(z_j)；

g-7)将隐藏层的值g″(z_j)替代步骤g-2)中的最终的特征映射f′后重复执行步骤g-2)至步骤g-4)得到隐藏层的值g″′(z_j)；

g-8)将隐藏层的值g″′(z_j)输入到Sigmoid函数中，输出得到输出结果0或1，输出结果为0表示生成人脸，输出结果为1表示真实人脸。