CN117218707B - 一种基于积极扰动的Deepfake人脸检测方法 - Google Patents
一种基于积极扰动的Deepfake人脸检测方法 Download PDFInfo
- Publication number
- CN117218707B CN117218707B CN202311288250.5A CN202311288250A CN117218707B CN 117218707 B CN117218707 B CN 117218707B CN 202311288250 A CN202311288250 A CN 202311288250A CN 117218707 B CN117218707 B CN 117218707B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- features
- true
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000006870 function Effects 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000003860 storage Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 230000005251 gamma ray Effects 0.000 claims description 3
- 230000001965 increasing effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000004590 computer program Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于积极扰动的Deepfake人脸检测方法，包括：将目标人脸图像输入训练好的生成器网络进行积极扰动的添加，得到带有积极扰动的生成图像；生成器网络包括超分辨率网络和噪声网络两个子网络；将生成图像输入真伪鉴别网络进行检测，输出目标人脸图像的预测标签，确定目标人脸图像的检测结果；其中所述生成器网络的构建训练方法包括：利用真假人脸图像对训练数据集，对生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络进行迭代训练，直至生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络。对输入的人脸图像添加积极扰动，引导Deepfake人脸检测网络产生正确的分类。
Description
技术领域
本发明属于Deepfake人脸图像检测技术领域，涉及一种基于积极扰动的Deepfake人脸检测方法。
背景技术
目前，Deepfakes技术被滥用来制作虚假信息和假新闻，犯罪分子可以使用Deepfakes技术制作逼真的虚假视频，以误导和欺骗受害者，从而进行网络诈骗、身份盗窃或其他违法活动。为了维护信息可信度、保护个人隐私和社会稳定，Deepfakes检测的研究受到了人们的广泛重视，其中卷积神经网络(CNN)在Deepfakes人脸分类任务中取得了巨大的成功。然而，研究表明神经网络容易受到微小的扰动。当输入干扰图像时，神经网络会做出不同的判断。大多数研究利用扰动的负面影响来误导神经网络，例如对抗样本。2018年，Xiao等提出了对抗样本生成网络AdvGAN，这是一种基于GAN的对抗攻击[Xiao C,Li B,ZhuJ Y,et al.Generating adversarial examples with adversarial networks[J].arXivpreprint arXiv:1801.02610,2018.]。该网络包括生成器、鉴别器和目标分类器三个部分，主要是通过原始样本来生产对抗性扰动，接着将该扰动添加到原始样本上得到对抗性样本。鉴别器用于判断输入样本是否是对抗样本，从而帮助生成器生成更加真实且更具攻击性的对抗样本。为了实现有针对性的攻击，将从生成器得到的对抗样本输入到目标分类器中得到其预测标签，并将生成样本类别作为目标类别。通过这种方式，攻击者可以利用对抗样本攻击来干扰目标分类器的准确性，使其产生误分类，而生成的对抗样本对于测试和评估分类器的鲁棒性和安全性非常重要，同时也有助于改进分类器的鲁棒性，以提高其对抗攻击的抵抗能力。2019年，Mangla等在AdvGAN的基础上进行优化并提出了AdvGAN++[ManglaP,Jandial S,Varshney S,et al.AdvGAN++:Harnessing latent layers for adversarygeneration[J].arXiv preprint arXiv:1908.00706,2019.]。该网络包含生成器、鉴别器、目标分类器和特征提取器四个部分，主要是使用目标分类器中的中间卷积层进行特征提取，并将提取到的特征和随机噪声作为生成器的输入来生成对抗样本，接着将对抗样本输入到鉴别器中判别其是否是对抗样本，通过求解最小-最大化博弈来获得生成器和鉴别器的最优参数。最后，将对抗样本输入到目标分类器中，通过优化目标损失函数来约束预测标签来接近目标标签。
相比于利用扰动的负面影响来误导神经网络的分类，Wu等提出了增强样本生成对抗网络ESGAN。该网络旨在利用扰动的积极影响来引导神经网络进行分类，进一步提高分类器的分类性能[Wu J,Wang J,Zhao J,et al.ESGAN for generating high qualityenhanced samples[J].Multimedia Systems,2022,28(5):1809-1822.]。该方法同样包含生成器、鉴别器和分类器三个部分，主要是通过原始样本来生产积极扰动，接着将积极扰动添加到高分辨率的原始样本上得到增强样本。鉴别器用于判断输入样本是否是生成样本，学习增强样本和真实样本之间的差异，帮助生成器生成更高质量的增强样本。最后，将增强样本输入到分类器中，通过优化目标函数来使预测标签更接近其真实标签，从而达到使用积极扰动引导分类器进行正确分类的目的。但是，该网络只在粗粒度图像分类方面有不错的提升效果，在Deepfake人脸图像检测等细粒度图像分类任务方面的提升却不尽人意。
基于上述的分析，可以发现现有的对抗样本研究都是利用扰动的负面影响来对分类器进行误导，很少有人使用扰动的积极影响来帮助分类器获得更好的检测效果。而那些少数使用积极扰动来生成增强样本的方法，在细粒度图像分类方面对分类器却没有较好的性能提升。因此，在Deepfake人脸检测任务方面，还没有使用积极扰动生成的增强样本来提升检测器准确性的方法。
发明内容
为了解决上述背景技术中提到的问题，本发明提供一种基于积极扰动的Deepfake人脸检测方法，利用积极扰动的正面影响来引导分类器提升对属于细粒度分类任务的Deepfake人脸检测的性能。
本发明采用的技术方案为：
第一方面，本发明提供一种基于积极扰动的Deepfake人脸检测方法，包括：
将目标人脸图像输入训练好的生成器网络进行积极扰动的添加，得到带有积极扰动的生成图像；其中所述生成器网络包括超分辨率网络和噪声网络两个子网络；
将所述生成图像输入真伪鉴别网络进行检测，输出目标人脸图像的预测标签，确定目标人脸图像的检测结果；
其中所述生成器网络的构建训练方法包括：
构建生成器网络、特征鉴别器网络和真伪鉴别网络；其中所述特征鉴别器包括真实图像特征鉴别器和伪造图像特征鉴别器；
设置训练生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数；
利用真假人脸图像对训练数据集对生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络进行迭代训练，直至生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络，具体包括：
输入真假人脸图像对训练数据集作为原始图像，结合生成器网络的总损失函数，将积极扰动加入到输入的原始图像中，由生成器网络得到带有积极扰动的生成图像；其中，所述原始图像包括对应的原始真图和原始假图；所述生成图像包括对应的生成真图和生成假图；
将生成图像和原始图像输入预训练好的真伪鉴别网络中进行特征提取，再将真伪鉴别网络提取得到的两者的特征输入特征鉴别器中鉴别，所述特征鉴别器用于帮助生成器生成更符合要求的生成图像；
计算真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数，更新真实图像特征鉴别器和伪造图像特征鉴别器网络参数，使得特征鉴别器学习到原始图像特征和生成图像特征的区别；计算生成器网络中的总损失函数，更新生成器网络参数，使得生成器生成更符合要求的生成图像；
迭代执行上述步骤，直至生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络。
在一些实施例中，所述生成器网络的构建方法，包括：
所述超分辨率网络，通过超分辨率方法生成与原始图像大小相同但分辨率更高的图像；首先通过2个卷积层的编码器提取图像特征同时进行下采样；接着，采用8个各带有两个卷积层的残差模块，每个残差模块依次包括第一卷积层、ReLU和第二卷积层，加深网络层数的同时又避免了退化问题；经过最后一个残差模块之后通过一个卷积层将特征输入上采样模块，所述上采样模块包括一个像素Shuffle操作放大分辨率和一个反卷积操作进行上采样；
所述噪声网络，通过编码器解码器结构来生成噪声图像，通过损失函数的控制来达到生成积极扰动的效果；首先通过包含4个卷积层的编码器来提取特征，每个卷积层后面都包含实例归一化和ReLU；接着，堆叠4个残差模块来增强编码器的表示能力并提取更丰富的特征信息；然后解码器包含4个反卷积操作来进行上采样并生成与原始图像大小相同的积极扰动，前3个反卷积操作之后都包含实例归一化和ReLU，最后一个反卷积操作之后是一个Tanh激活函数；
将输入的人脸图像经过超分辨率网络和噪声网络，分别得到超分辨率图像和噪声图像，将超分辨率图像和噪声图像进行通道拼接并使用1×1卷积来将噪声添加融合到超分辨率图像上，得到含有积极扰动的生成图像。
在一些实施例中，所述真伪鉴别网络用于对生成图像进行检测分类，帮助生成器能更好地生成符合要求的生成图像；在训练生成器网络之前，所述真伪鉴别网络为利用Deepfake人脸数据集预先训练好的；所述真伪鉴别网络选自Xception、VGG19、EfficientNet、Inception。
进一步地，在一些实施例中，所述真伪鉴别网络采用Xception真伪鉴别网络；Xception真伪鉴别网络首先包含两个卷积层，每个卷积层后都包含BN层和ReLU，之后的特征进行clone操作作为浅层特征在forward中返回；接着，采用包含12个带有深度可分离卷积的块增加网络的表示能力；随后，真伪鉴别网络使用两个深度可分离卷积，第一个深度可分离卷积后面有BN层和ReLU,第二深度可分离卷积后面有一个BN层，之后的特征作为深层特征在forward中返回；真伪鉴别网络的最后是一个logits模块，该logits模块首先进行ReLU对深层特征进行非线性变化，接着是一个自适应平均池化，最后logits模块调整特征形状后将其输入一个全连接层得到分类结果。
在一些实施例中，所述特征鉴别器网络包含两个结构相同的子特征鉴别器，分别是真实图像特征鉴别器和伪造图像特征鉴别器；其中真实图像特征鉴别器用于区别原始真图特征和生成真图特征，伪造图像特征鉴别器用于区别原始假图特征和生成假图特征；通过学习原始图像特征和生成图像特征的区别，帮助生成器能更好地生成更像原始图像的生成图像；
真实图像特征鉴别器和伪造图像特征鉴别器中均包括三个卷积层，第一个卷积层后面有一个LeakyReLU，第二个卷积层和第三个卷积层后面都有一个BN层和LeakyReLU；将通过真伪鉴别网络得到的图像特征输入特征鉴别器，得到该图像特征是否是生成图像特征或原始图像特征的预测标签。
在一些实施例中，所述生成器网络的训练过程具体包括：
(2-1)将真假人脸图像对训练数据集中的原始真图or和原始假图of分别输入到生成器网络之中，得到带有积极扰动的生成真图gr和生成假图gf；
(2-2)将生成真图gr输入真伪鉴别网络得到生成真图预测标签gpr、生成真图浅层特征和生成真图深层特征/>将生成假图gf输入真伪鉴别网络得到生成假图预测标签gpf、生成假图浅层特征/>和生成假图深层特征/>
将原始真图or输入真伪鉴别网络得到原始真图浅层特征和原始真图深层特征将原始假图of输入真伪鉴别网络得到原始假图浅层特征/>和原始假图深层特征
(2-3)将生成真图浅层特征和原始真图浅层特征/>分别输入到真实图像特征鉴别器中，用于训练真实图像特征鉴别器来有效鉴别原始真图浅层特征和生成真图浅层特征，通过真实图像特征鉴别器得到输入图像特征是否是生成真图特征的预测标签；将生成假图浅层特征/>和原始假图浅层特征/>分别输入到伪造图像特征鉴别器中，用于训练伪造图像特征鉴别器来有效鉴别原始假图浅层特征和生成假图浅层特征，通过伪造图像特征鉴别器得到输入图像特征是否是生成假图特征的预测标签。
在一些实施例中，用于训练真实图像特征鉴别器Dr的损失函数为：
其中BCE(·)代表了二分交叉熵函数，为原始真图浅层特征，/>为生成真图浅层特征；当输入图像浅层特征得到预测标签1，则表明输入为生成真图浅层特征，反之为原始真图浅层特征；
用于训练伪造图像特征鉴别器Df的损失函数为：
当输入图像浅层特征得到预测标签1，则表明输入为生成假图浅层特征，反之为原始假图浅层特征。
在一些实施例中，生成器网络的总损失函数包含缩小生成图像特征和原始图像特征距离的损失函数/>放大不同类图像特征之间距离的损失函数/>和约束生成图像预测标签的损失函数/>表示为：
其中λ1、λ2和λ3为调节三个损失函数权重的超参数。
进一步地，其中缩小生成图像特征和原始图像特征距离的损失函数为：
其中β11和β12为调节两个损失函数权重的超参数；
缩小原始真图浅层特征和生成真图浅层特征/>之间距离的损失函数为：
通过二分交叉熵函数使得生成真图浅层特征的预测标签和原始真图浅层特征/>的真实标签0一致来达到缩小的目的；
缩小原始假图浅层特征和生成假图浅层特征/>之间距离的损失函数为：
进一步地，其中放大不同类图像特征之间距离的损失函数为：
其中β21和β22为调节两个损失函数权重的超参数；
放大生成真图特征和原始假图特征、生成假图特征的距离，从而达到放大类间距离的目的损失函数为：
其中TL(·)为用于最小化锚特征与正特征距离并最大化锚特征与负特征距离的三元组损失函数，分别代表原始假图浅层特征、生成假图浅层特征、生成真图浅层特征、原始假图深层特征、生成假图深层特征和生成真图深层特征，||·||2为衡量特征之间距离的L2范数，α为正特征与负特征之间的距离间隔；第一个TL(·)中，原始假图浅层特征作为锚特征，生成假图浅层特征作为正特征，生成真图浅层特征作为负特征，使用三元损失缩小原始假图浅层特征和生成假图浅层特征之间的距离，放大原始假图浅层特征和生成真图浅层特征之间的距离；第二个TL(·)的作用便是放大原始假图深层特征和生成真图深层特征之间的距离；γ11和γ12为调节两个三元组损失函数权重的超参数；
放大生成假图特征和原始真图特征、生成真图特征的距离的损失函数为：
其中γ21和γ22为调节两个三元组损失函数权重的超参数；
进一步地，为了使真伪鉴别网络对生成图像的预测标签与真实标签一致，添加了约束生成图像预测标签的损失函数
其中BCE(·)为二分交叉熵函数，gpr代表生成真图输入真伪鉴别网络得到的预测标签，生成真图的真实标签为0；gpf代表生成假图输入真伪鉴别网络的预测标签，生成假图的真实标签为1。
第二方面，本发明提供了一种基于积极扰动的Deepfake人脸检测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述的方法。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。
第四方面，本发明提供了一种设备，包括，
存储器；
处理器；
以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现上述第一方面所述的方法。
有益效果：本发明方法读取真实人脸和原始假图对，即原始真脸输入和原始假脸输入；初始化生成对抗网络，包括用于添加积极扰动的生成器网络，用于提取图像特征并分类的真伪鉴别网络(已训练好的Deepfake人脸检测网络)，用于鉴别原始图像特征和生成图像特征的特征鉴别器网络；设置模型的损失函数，包括用于训练特征鉴别器网络的二元交叉熵损失函数，用于训练生成器二元交叉熵损失函数和三元组损失函数；采用对抗的方式训练网络；计算总损失函数并通过反向传播来优化生成器网络参数。该方法可以解决大部分Deepfake人脸检测网络对一些难以鉴别的人脸图像进行分类的问题，在其已有检测性能的基础上进行进一步提升。经过试验验证对Xception和VGG19分别有3.24％和3.89％的ACC提升，主要原因在于：(1)对用户所输入的待检测人脸图像添加积极扰动，引导Deepfake人脸检测网络对输入图像产生正确的分类。(2)使用了伪造图像特征鉴别器网络帮助生成器网络生成与伪造图像特征分布信息一致的生成假图，使用真实图像特征鉴别器帮助生成器网络生成与真实图像特征分布信息一致的生成真图，达到了缩小类内距离的目的。(3)使用了三元组损失函数，放大了生成真图和原始假图、生成假图之间的特征距离，放大了生成假图和原始真图、生成真图之间的特征距离，达到了放大类间距离的目的。由于这三点，生成器网络所生成的增强样本可以被真伪鉴别网络更正确地分类。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例所提网络的训练框架图；
图3为本发明实施例中超分辨率网络结构图；
图4为本发明实施例中噪声网络结构图；
图5为本发明实施例中Deepfake人脸检测过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本方法进行进一步详细说明。
本发明将生成对抗网络与深度学习技术相结合，针对目前大多数研究只利用扰动的负面影响来生成对抗样本，而少用扰动的积极影响来帮助真伪鉴别网络提升细粒度图像分类性能，设计了一个在Deepfake人脸图像上添加积极扰动来获得增强样本并提升其分类准确性的方法，优点是该增强样本方法可以提升任一主流网络的Deepfake人脸检测性能。
实施例1
第一方面，本实施例提供了一种基于积极扰动的Deepfake人脸检测方法，包括：
将目标人脸图像输入训练好的生成器网络进行积极扰动的添加，得到带有积极扰动的生成图像；其中所述生成器网络包括超分辨率网络和噪声网络两个子网络；
将所述生成图像输入真伪鉴别网络进行检测，输出目标人脸图像的预测标签，确定目标人脸图像的检测结果；
其中所述生成器网络的构建训练方法包括：
构建生成器网络、特征鉴别器网络和真伪鉴别网络；其中所述特征鉴别器包括真实图像特征鉴别器和伪造图像特征鉴别器；
设置训练生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数；
利用真假人脸图像对训练数据集对生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络进行迭代训练，直至生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络，具体包括：
输入真假人脸图像对训练数据集作为原始图像，结合生成器网络的总损失函数，将积极扰动加入到输入的原始图像中，由生成器网络得到带有积极扰动的生成图像；其中，所述原始图像包括对应的原始真图和原始假图；所述生成图像包括对应的生成真图和生成假图；
将生成图像和原始图像输入预训练好的真伪鉴别网络中进行特征提取，再将真伪鉴别网络提取得到的两者的特征输入特征鉴别器中鉴别，所述特征鉴别器用于帮助生成器生成更符合要求的生成图像；
计算真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数，更新真实图像特征鉴别器和伪造图像特征鉴别器网络参数，使得特征鉴别器学习到原始图像特征和生成图像特征的区别；计算生成器网络中的总损失函数，更新生成器网络参数，使得生成器生成更符合要求的生成图像；
迭代执行上述步骤，直至生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络。
在一些具体实施例中，一种基于积极扰动的Deepfake人脸检测方法，方法流程如图1所示，包括以下几个步骤：
步骤1：读取原始样本；
步骤2：初始化网络结构，其中包括生成器、鉴别器和真伪鉴别网络，整个网络的结构图如图2所示；
步骤3：设置鉴别器和生成器的损失函数与权重；
步骤4：输入用于训练的真假人脸图像对，根据设置好的网络训练过程并结合损失函数和权重，将积极扰动加入到输入图像中，由生成器得到生成图像；
步骤5：将生成图像和原始图像输入已训练完成的真伪鉴别网络中提取特征，再将两者的特征输入特征鉴别器中鉴别，该特征鉴别器用于迫使生成器生成更符合要求的生成图像；
步骤6：计算特征鉴别器网络中的Loss，更新特征鉴别器网络参数，使得特征鉴别器学习到原始图像特征和生成图像特征的区别；
步骤7：计算生成器网络中的Loss,更新生成器网络参数，使得生成器生成更符合要求的生成图像；
步骤8：输入目标人脸图像，输入训练好的生成器网络进行积极扰动的添加，得到生成图像后输入真伪鉴别网络进行检测，输出目标人脸图像的预测标签，如图5所示。
进一步说明步骤2中，生成器、鉴别器和真伪鉴别网络的细节：
2-1：生成器网络由超分辨率网络和噪声网络两部分组成。对于超分辨率网络，如图3所示，它首先通过2个卷积层的编码器提取图像特征同时进行下采样；接着，该网络包含8个各带有两个卷积层的残差模块，加深网络层数提高其表达能力的同时又避免了退化问题；最后该网络将特征输入上采样模块，该模块包含一个像素Shuffle操作和一个反卷积操作。对于噪声网络，如图4所示，它首先包含4个卷积层的编码器用于将输入图像映射到高维特征空间，并提取丰富的特征表示；接着，噪声网络堆叠4个残差模块来增强编码器的表示能力并提取更丰富的特征信息；噪声网络的最后是解码器部分，包含4个反卷积操作来进行上采样并生成与原始图像大小相同的积极扰动。通过超分辨率网络和噪声网络得到高分辨率图像和噪声图像后，将两者进行拼接，使用1×1卷积将噪声图像添加到高分辨率图像上得到增强样本。生成器网络细节如下表1所示，其中b为batch size：
表1生成器的详细配置
2-2：特征鉴别器网络是一个小的卷积神经网络，它包含3个卷积层和一个全连接层，最后通过一个sigmoid激活函数得出分类结果。该网络用于学习生成图像和原始图像之间的差异，以便更好地区分它们，帮助生成器生成更高质量的增强样本。特征鉴别器网络细节如下表2所示，其中b为batch size：
表2特征鉴别器的详细配置
2-3：真伪鉴别网络可以是任何主流网络，如Xception、VGG19、EfficientNet、Inception等，本发明以Xception作为真伪鉴别网络。Xception真伪鉴别网络首先包含两个卷积层，每个卷积层后都包含BN层和ReLU，之后的特征进行clone操作作为浅层特征在forward中返回；接着，该网络包含12个带有深度可分离卷积的块增加了网络的表示能力；随后，真伪鉴别网络使用两个深度可分离卷积，第一个深度可分离卷积后面有BN层和ReLU,第二深度可分离卷积后面有一个BN层，之后的特征作为深层特征在forward中返回；真伪鉴别网络的最后是一个logits模块，该模块首先进行ReLU对深层特征进行非线性变化，接着是一个自适应平均池化，调整特征形状后输入一个全连接层得到分类结果。
进一步对步骤4中生成器训练流程作进行说明：
4-1：将积极扰动添加到输入图像上，生成含有积极扰动的增强样本：该部分训练流程结合下面图2所示，使用尺寸大小为3×299×299的伪造图像和真实图像分别输入到生成器网络中，生成器网络中含有噪声子网络和超分辨率子网络两个模块。将伪造图像和真实图像分别输入超分辨率子网络中，超分辨率子网络结构如图3所示，首先经过两个卷积层的下采样，接着是8个残差模块和一个卷积层，最后经过上采样模块得到尺寸大小为3×299×299的超分辨率图像，这里的超分辨率是相对于下采样后的图像来说的。同时，将伪造图像和真实图像分别输入噪声子网络，噪声子网络结构如图4所示，首先经过包含4个卷积层的编码器，接着是4个残差模块，最后经过解码器模块得到尺寸大小为3×299×299的噪声图像。对噪声图像和超分辨率图像进行通道拼接后得到尺寸大小为6×299×299的图像张量，对其使用1×1卷积进行通道融合，最终得到尺寸大小为3×299×299的生成真图和生成假图，即增强真实图像和增强伪造图像。
进一步对步骤5中特征鉴别器训练流程进行说明：
5-1：将生成图像浅层特征输入特征鉴别器中，得到其是否是生成图像的预测标签：该部分训练流程结合下图2所示，使用生成器中得到的生成真图和生成假图输入真伪鉴别网络，通过真伪鉴别网络中的特征提取器可以得到尺寸大小为64×147×147的生成真图浅层特征和尺寸大小为2048×10×10的生成真图深层特征，尺寸大小为64×147×147的生成假图浅层特征和尺寸大小为2048×10×10的生成真图深层特征。另外，将原始真图和原始假图也输入真伪鉴别网络中，通过特征提取器可以得到原始真图浅层特征和原始真图深层特征，原始假图浅层特征和原始假图深层特征。对于原始真图浅层特征和生成真图浅层特征，分别输入真实图像特征鉴别器中，用于学习原始真图和生成真图之间的浅层特征区别，如果是原始真图浅层特征则得到预测标签为0，反之则为1。同样的，对于原始假图浅层特征和生成假图浅层特征，分别输入伪造图像特征鉴别器中，用于学习原始假图和生成真图之间的浅层特征区别，如果是原始假图浅层特征则得到预测标签为0，反之则为1。
进一步对步骤6中特征鉴别器的损失函数计算进行说明：
6-1：为了帮助生成器生成更像原始图像的生成图像，达到缩小类内距离的目的，需要将特征鉴别器得到的生成图像浅层特征的预测标签与原始图像浅层特征的真实标签距离缩小，要想使特征鉴别器可以得到准确的预测标签，就需要特征鉴别器能够有效地区分生成图像浅层特征和原始图像浅层特征。为了让真实图像特征鉴别器可以学习到原始真图浅层特征和生成真图浅层特征之间的区别，真实图像特征鉴别器Dr损失函数为：
/>
其中BCE(·)代表了二分交叉熵函数，为原始真图的浅层特征，/>为生成真图的浅层特征。当输入图像浅层特征得到预测标签1，则表明输入为生成真图浅层特征，反之为原始真图浅层特征。
同样的，用于训练伪造图像特征鉴别器Df的损失函数为：
当输入图像浅层特征得到预测标签1，则表明输入为生成假图浅层特征，反之为原始假图浅层特征。
进一步对步骤7中生成器的损失函数计算进行说明：
7-1：为了让生成器网络生成的真实图像能更好地被真伪鉴别网络判别为真，而生成的伪造图像能更好地被判别为假，需要给生成真图添加积极扰动使其与假图更不相似，而给生成假图添加积极扰动使其与真图更不相似，从而达到放大类间距离的目的。另外，为了让生成器网络生成的真实图像不会被真伪鉴别网络判别为假，而生成的伪造图像不会被判别为真，需要让添加积极扰动的生成真图和与原始真图更相似，而让添加积极扰动的生成假图和原始假图更相似，从而达到缩小类内距离的目的。生成器网络在不断学习进步的特征鉴别器的帮助下，可以生成与原始图像更相似的生成图像。为了达到缩小类内距离的目的，缩小原始真图浅层特征和生成真图浅层特征/>之间距离的损失函数/>为：
通过二分交叉熵函数使得生成真图浅层特征的预测标签和原始真图浅层特征/>的真实标签0一致来达到缩小的目的。缩小原始假图浅层特征/>和生成假图浅层特征/>之间距离的损失函数/>为：
最终得到缩小生成真图浅层特征和原始真图浅层特征之间距离、缩小生成假图浅层特征和原始假图浅层特征之间距离的总损失函数为：
/>
其中β11和β12为调节两个损失函数权重的超参数，初始都设置为1；
7-2：为了使得添加积极扰动的生成真图和伪造图像之间有所区别，让真伪鉴别网络可以更准确地分类真伪图像，需要放大生成真图特征和原始假图特征、生成假图特征之间距离，从而达到放大类间距离的目的，其损失函数为：
其中TL(·)为用于最小化锚特征与正特征距离并最大化锚特征与负特征距离的三元组损失函数，分别代表原始假图浅层特征，生成假图浅层特征，生成真图浅层特征，原始假图深层特征，生成假图深层特征，生成真图深层特征，||·||2为衡量特征之间距离的L2范数，α为正特征与负特征之间的距离间隔。第一个TL(·)中，原始假图浅层特征作为锚特征，生成假图浅层特征作为正特征，生成真图浅层特征作为负特征，使用三元损失缩小原始假图浅层特征和生成假图浅层特征之间的距离，放大原始假图浅层特征和生成真图浅层特征之间的距离。只是放大类间的浅层特征距离是不够的，放大深层特征的距离也同样重要。对于从真伪鉴别网络中获得的深层特征来说，虽然它代表着高级语义信息，但它也包含着用于判别真伪的重要特征，因此通过添加积极扰动来增大生成真图深层特征和生成假图深层特征的区别，可以有效地帮助真伪鉴别网络进行准确的真伪分类。第二个TL(·)的作用便是放大原始假图深层特征和生成真图深层特征之间的距离。γ11和γ12为调节两个三元组损失函数权重的超参数，初始分别设置为0.25和0.75。同样的，需要放大生成假图特征和原始真图特征、生成真图特征的距离，其损失函数/>为：
其中γ21和γ22为调节两个三元组损失函数权重的超参数；
最终得到放大生成真图特征和原始假图特征、生成假图特征之间距离，放大生成假图特征和原始真图特征、生成真图特征之间距离的总损失函数为：
其中β21和β22为调节两个损失函数权重的超参数，初始都设置为1；
7-3：为了使真伪鉴别网络对生成图像的预测标签与真实标签一致，添加了损失函数：/>
BCE(·)为二分交叉熵函数，gpr代表生成真图输入真伪鉴别网络得到的预测标签，生成真图的真实标签为0；gpf代表生成假图输入真伪鉴别网络的预测标签，生成假图的真实标签为1。
7-4：综上所述，生成器网络的总损失函数包含缩小生成图像特征和原始图像特征距离的损失函数/>放大不同类图像特征之间距离的损失函数/>和约束生成图像预测标签的损失函数/>具体表示为：
其中λ1、λ2和λ3为调节三个损失函数权重的超参数。
为了验证本发明的效果，使用了c23高质量的FaceForensics++数据集进行训练和测试，检测正确率如表3所示：
表3
通过该实验可以发现使用针对粗粒度分类问题设计的ESGAN针对Deepfake人脸检测这种细粒度图像分类任务的提升效果不明显。而本发明对Xception和VGG19分别有3.24％和3.89％的ACC提升，主要原因在于两个方面：(1)使用了伪造图像特征鉴别器网络帮助生成器网络生成与伪造图像特征分布信息一致的生成假图，使用真实图像特征鉴别器帮助生成器网络生成与真实图像特征分布信息一致的生成真图，达到了缩小类内距离的目的。(2)使用了三元组损失函数，放大了生成真图和原始假图、生成假图之间的特征距离，放大了生成假图和原始真图、生成真图之间的特征距离，达到了放大类间距离的目的。由于这两点，生成器网络所生成的增强样本可以被真伪鉴别网络更正确地分类。
实施例2
第二方面，基于实施例1，本实施例提供了一种基于积极扰动的Deepfake人脸检测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1所述的方法。
实施例3
第三方面，基于实施例1，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的方法。
实施例4
第四方面，基于实施例1，本实施例提供了一种设备，包括，
存储器；
处理器；
以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现实施例1所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于积极扰动的Deepfake人脸检测方法，其特征在于，所述方法包括：
将目标人脸图像输入训练好的生成器网络进行积极扰动的添加，得到带有积极扰动的生成图像；其中所述生成器网络包括超分辨率网络和噪声网络两个子网络；
将所述生成图像输入真伪鉴别网络进行检测，输出目标人脸图像的预测标签，确定目标人脸图像的检测结果；
其中所述生成器网络的构建训练方法包括：
构建生成器网络、特征鉴别器网络和真伪鉴别网络；其中所述特征鉴别器包括真实图像特征鉴别器和伪造图像特征鉴别器；
设置训练生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数；
利用真假人脸图像对训练数据集，对生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络进行迭代训练，直至生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络，具体包括：
输入真假人脸图像对训练数据集作为原始图像，结合生成器网络的总损失函数，将积极扰动加入到输入的原始图像中，由生成器网络得到带有积极扰动的生成图像；其中，所述原始图像包括对应的原始真图和原始假图；所述生成图像包括对应的生成真图和生成假图；
将生成图像和原始图像输入预训练好的真伪鉴别网络中进行特征提取，再将真伪鉴别网络提取得到的两者的特征输入特征鉴别器中鉴别，所述特征鉴别器用于帮助生成器生成更符合要求的生成图像；
计算真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数，更新真实图像特征鉴别器和伪造图像特征鉴别器网络参数，使得特征鉴别器学习到原始图像特征和生成图像特征的区别；计算生成器网络中的总损失函数，更新生成器网络参数，使得生成器生成更符合要求的生成图像；
迭代执行上述步骤，直至生成器网络、真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络；
其中，所述生成器网络的构建方法，包括：
所述超分辨率网络，通过超分辨率方法生成与原始图像大小相同但分辨率更高的图像；首先通过2个卷积层的编码器提取图像特征同时进行下采样；接着，采用8个各带有两个卷积层的残差模块，每个残差模块依次包括第一卷积层、ReLU和第二卷积层，加深网络层数的同时又避免了退化问题；经过最后一个残差模块之后通过一个卷积层将特征输入上采样模块，所述上采样模块包括一个像素Shuffle操作放大分辨率和一个反卷积操作进行上采样；
所述噪声网络，通过编码器解码器结构来生成噪声图像，通过损失函数的控制来达到生成积极扰动的效果；首先通过包含4个卷积层的编码器来提取特征，每个卷积层后面都包含实例归一化和ReLU；接着，堆叠4个残差模块来增强编码器的表示能力并提取更丰富的特征信息；然后解码器包含4个反卷积操作来进行上采样并生成与原始图像大小相同的积极扰动，前3个反卷积操作之后都包含实例归一化和ReLU，最后一个反卷积操作之后是一个Tanh激活函数；
将输入的人脸图像经过超分辨率网络和噪声网络，分别得到超分辨率图像和噪声图像，将超分辨率图像和噪声图像进行通道拼接并使用1×1卷积来将噪声添加融合到超分辨率图像上，得到含有积极扰动的生成图像。
2.根据权利要求1所述基于积极扰动的Deepfake人脸检测方法，其特征在于，所述真伪鉴别网络用于对生成图像进行检测分类，帮助生成器能更好地生成符合要求的生成图像；在训练生成器网络之前，所述真伪鉴别网络为利用Deepfake人脸数据集预先训练好的；所述真伪鉴别网络选自Xception、VGG19、EfficientNet、Inception。
3.根据权利要求2所述基于积极扰动的Deepfake人脸检测方法，其特征在于，所述真伪鉴别网络采用Xception真伪鉴别网络；Xception真伪鉴别网络首先包含两个卷积层，每个卷积层后都包含BN层和ReLU，之后的特征进行clone操作作为浅层特征在forward中返回；接着，采用包含12个带有深度可分离卷积的块增加网络的表示能力；随后，真伪鉴别网络使用两个深度可分离卷积，第一个深度可分离卷积后面有BN层和ReLU,第二深度可分离卷积后面有一个BN层，之后的特征作为深层特征在forward中返回；真伪鉴别网络的最后是一个logits模块，该logits模块首先进行ReLU对深层特征进行非线性变化，接着是一个自适应平均池化，最后logits模块调整特征形状后将其输入一个全连接层得到分类结果。
4.根据权利要求1所述基于积极扰动的Deepfake人脸检测方法，其特征在于，所述特征鉴别器网络包含两个结构相同的子特征鉴别器，分别是真实图像特征鉴别器和伪造图像特征鉴别器；其中真实图像特征鉴别器用于区别原始真图特征和生成真图特征，伪造图像特征鉴别器用于区别原始假图特征和生成假图特征；通过学习原始图像特征和生成图像特征的区别，帮助生成器能更好地生成更像原始图像的生成图像；
真实图像特征鉴别器和伪造图像特征鉴别器中均包括三个卷积层，第一个卷积层后面有一个LeakyReLU，第二个卷积层和第三个卷积层后面都有一个BN层和LeakyReLU；将通过真伪鉴别网络得到的图像特征输入特征鉴别器，得到该图像特征是否是生成图像特征或原始图像特征的预测标签。
5.根据权利要求1所述基于积极扰动的Deepfake人脸检测方法，其特征在于，所述生成器网络的训练过程具体包括：
(2-1)将真假人脸图像对训练数据集中的原始真图or和原始假图of分别输入到生成器网络之中，得到带有积极扰动的生成真图gr和生成假图gf；
(2-2)将生成真图gr输入真伪鉴别网络得到生成真图预测标签gpr、生成真图浅层特征和生成真图深层特征/>将生成假图gf输入真伪鉴别网络得到生成假图预测标签gpf、生成假图浅层特征/>和生成假图深层特征/>
将原始真图or输入真伪鉴别网络得到原始真图浅层特征和原始真图深层特征将原始假图of输入真伪鉴别网络得到原始假图浅层特征/>和原始假图深层特征
(2-3)将生成真图浅层特征和原始真图浅层特征/>分别输入到真实图像特征鉴别器中，用于训练真实图像特征鉴别器来有效鉴别原始真图浅层特征和生成真图浅层特征，通过真实图像特征鉴别器得到输入图像特征是否是生成真图特征的预测标签；将生成假图浅层特征/>和原始假图浅层特征/>分别输入到伪造图像特征鉴别器中，用于训练伪造图像特征鉴别器来有效鉴别原始假图浅层特征和生成假图浅层特征，通过伪造图像特征鉴别器得到输入图像特征是否是生成假图特征的预测标签。
6.根据权利要求1所述基于积极扰动的Deepfake人脸检测方法，其特征在于，用于训练真实图像特征鉴别器Dr的损失函数为：
其中BCE(·)代表了二分交叉熵函数，为原始真图浅层特征，/>为生成真图浅层特征；当输入图像浅层特征得到预测标签1，则表明输入为生成真图浅层特征，反之为原始真图浅层特征；
用于训练伪造图像特征鉴别器Df的损失函数为：
当输入图像浅层特征得到预测标签1，则表明输入为生成假图浅层特征，反之为原始假图浅层特征。
7.根据权利要求1所述基于积极扰动的Deepfake人脸检测方法，其特征在于，生成器网络的总损失函数包含缩小生成图像特征和原始图像特征距离的损失函数/>放大不同类图像特征之间距离的损失函数/>和约束生成图像预测标签的损失函数表示为：
其中λ1、λ2和λ3为调节三个损失函数权重的超参数。
8.根据权利要求7所述基于积极扰动的Deepfake人脸检测方法，其特征在于，缩小生成图像特征和原始图像特征距离的损失函数为：
其中β11和β12为调节两个损失函数权重的超参数；
缩小原始真图浅层特征和生成真图浅层特征/>之间距离的损失函数/>为：
通过二分交叉熵函数使得生成真图浅层特征的预测标签和原始真图浅层特征/>的真实标签0一致来达到缩小的目的；
缩小原始假图浅层特征和生成假图浅层特征/>之间距离的损失函数/>为：
和/或，放大不同类图像特征之间距离的损失函数为：
其中β21和β22为调节两个损失函数权重的超参数；
放大生成真图特征和原始假图特征、生成假图特征的距离，从而达到放大类间距离的目的损失函数为：
其中TL(·)为用于最小化锚特征与正特征距离并最大化锚特征与负特征距离的三元组损失函数，分别代表原始假图浅层特征、生成假图浅层特征、生成真图浅层特征、原始假图深层特征、生成假图深层特征和生成真图深层特征，∥·∥2为衡量特征之间距离的L2范数，α为正特征与负特征之间的距离间隔；第一个TL(·)中，原始假图浅层特征作为锚特征，生成假图浅层特征作为正特征，生成真图浅层特征作为负特征，使用三元损失缩小原始假图浅层特征和生成假图浅层特征之间的距离，放大原始假图浅层特征和生成真图浅层特征之间的距离；第二个TL(·)的作用便是放大原始假图深层特征和生成真图深层特征之间的距离；γ11和γ12为调节两个三元组损失函数权重的超参数；
放大生成假图特征和原始真图特征、生成真图特征的距离的损失函数为：
其中γ21和γ22为调节两个三元组损失函数权重的超参数；
和/或，为了使真伪鉴别网络对生成图像的预测标签与真实标签一致，添加了约束生成图像预测标签的损失函数
其中BCE(·)为二分交叉熵函数，gpr代表生成真图输入真伪鉴别网络得到的预测标签，生成真图的真实标签为0；gpf代表生成假图输入真伪鉴别网络的预测标签，生成假图的真实标签为1。
9.一种基于积极扰动的Deepfake人脸检测装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311288250.5A CN117218707B (zh) | 2023-10-07 | 2023-10-07 | 一种基于积极扰动的Deepfake人脸检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311288250.5A CN117218707B (zh) | 2023-10-07 | 2023-10-07 | 一种基于积极扰动的Deepfake人脸检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218707A CN117218707A (zh) | 2023-12-12 |
| CN117218707B true CN117218707B (zh) | 2024-04-16 |
Family
ID=89044321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311288250.5A Active CN117218707B (zh) | 2023-10-07 | 2023-10-07 | 一种基于积极扰动的Deepfake人脸检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218707B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593311A (zh) * | 2024-01-19 | 2024-02-23 | 浙江大学 | 基于对抗生成网络的深度合成图像检测增强方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN111967592A (zh) * | 2020-07-09 | 2020-11-20 | 中国电子科技集团公司第三十六研究所 | 基于分离正负扰动生成对抗图像机器识别的方法 |
| CN113609900A (zh) * | 2021-06-25 | 2021-11-05 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
| CN114494489A (zh) * | 2022-01-05 | 2022-05-13 | 电子科技大学长三角研究院(衢州) | 一种基于深度孪生网络的自监督属性可控图像生成方法 |
| CN114743162A (zh) * | 2022-04-07 | 2022-07-12 | 浙江工业大学 | 一种基于生成对抗网络的跨模态行人重识别方法 |
| CN115272152A (zh) * | 2022-08-08 | 2022-11-01 | 清华大学 | 一种对抗医学图像的生成方法、装置、设备及存储介质 |
| CN115588226A (zh) * | 2022-11-01 | 2023-01-10 | 重庆邮电大学 | 一种高鲁棒性的深度伪造人脸检测方法 |
| CN115984979A (zh) * | 2023-01-18 | 2023-04-18 | 中国电子科技集团公司信息科学研究院 | 一种面向未知对抗攻击的人脸伪造识别方法及装置 |
| CN116109475A (zh) * | 2023-02-09 | 2023-05-12 | 通号通信信息集团有限公司 | 图像数据增强方法、计算机设备和计算机可读介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11687778B2 (en) * | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
-
2023
- 2023-10-07 CN CN202311288250.5A patent/CN117218707B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN111967592A (zh) * | 2020-07-09 | 2020-11-20 | 中国电子科技集团公司第三十六研究所 | 基于分离正负扰动生成对抗图像机器识别的方法 |
| CN113609900A (zh) * | 2021-06-25 | 2021-11-05 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
| CN114494489A (zh) * | 2022-01-05 | 2022-05-13 | 电子科技大学长三角研究院(衢州) | 一种基于深度孪生网络的自监督属性可控图像生成方法 |
| CN114743162A (zh) * | 2022-04-07 | 2022-07-12 | 浙江工业大学 | 一种基于生成对抗网络的跨模态行人重识别方法 |
| CN115272152A (zh) * | 2022-08-08 | 2022-11-01 | 清华大学 | 一种对抗医学图像的生成方法、装置、设备及存储介质 |
| CN115588226A (zh) * | 2022-11-01 | 2023-01-10 | 重庆邮电大学 | 一种高鲁棒性的深度伪造人脸检测方法 |
| CN115984979A (zh) * | 2023-01-18 | 2023-04-18 | 中国电子科技集团公司信息科学研究院 | 一种面向未知对抗攻击的人脸伪造识别方法及装置 |
| CN116109475A (zh) * | 2023-02-09 | 2023-05-12 | 通号通信信息集团有限公司 | 图像数据增强方法、计算机设备和计算机可读介质 |
Non-Patent Citations (2)
| Title |
|---|
| A Local Perturbation Generation Method for GAN-Generated Face AntiForensics;Beijing Chen，etal.;IEEE Transactions on Circuits and Systems forVideo Technology;20230228;第33卷(第2期);第661-676页 * |
| ESGAN for generating high qualityenhanced samples;Junfeng Wu，etal.;Mutimedia Systems;20220526;第28卷;第1809-1822页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218707A (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shad et al. | Comparative analysis of deepfake image detection method using convolutional neural network | |
| CN117218707B (zh) | 一种基于积极扰动的Deepfake人脸检测方法 | |
| CN115512399A (zh) | 一种基于局部特征和轻量级网络人脸融合攻击检测的方法 | |
| Lv et al. | Chinese character CAPTCHA recognition based on convolution neural network | |
| CN115240280A (zh) | 人脸活体检测分类模型的构建方法、检测分类方法及装置 | |
| Mareen et al. | Comprint: Image forgery detection and localization using compression fingerprints | |
| CN114257697B (zh) | 一种高容量通用图像信息隐藏方法 | |
| Huo et al. | Unique faces recognition in videos | |
| CN114120401A (zh) | 一种基于跨域特征对齐网络的人脸反欺诈方法 | |
| CN116822623B (zh) | 一种生成对抗网络联合训练方法、装置、设备及存储介质 | |
| Su et al. | Boosting image steganalysis under universal deep learning architecture incorporating ensemble classification strategy | |
| CN103207993B (zh) | 基于核的判别随机近邻嵌入分析的人脸识别方法 | |
| Sharma et al. | Deep convolutional neural network with ResNet-50 learning algorithm for copy-move forgery detection | |
| CN116645562A (zh) | 一种细粒度伪造图像的检测方法及其模型训练方法 | |
| CN113887357B (zh) | 一种人脸表示攻击检测方法、系统、装置及介质 | |
| CN115982706A (zh) | 基于api调用序列行为多视角融合的恶意软件检测方法 | |
| Bisogni et al. | Multibiometric score-level fusion through optimization and training | |
| CN115578768A (zh) | 图像检测网络的训练方法、图像检测方法和系统 | |
| CN115116108A (zh) | 基于双流对比学习模型的人脸篡改视频检测方法及系统 | |
| CN110263196B (zh) | 图像检索方法、装置、电子设备及存储介质 | |
| Sonkusare et al. | Detection and verification for deepfake bypassed facial feature authentication | |
| Sharma et al. | Towards secured image steganography based on content-adaptive adversarial perturbation | |
| Kalluvilayil Venugopalan et al. | Keypoint-Based Detection and Region Growing-Based Localization of Copy-Move Forgery in Digital Images | |
| Dhar et al. | Detecting deepfake images using deep convolutional neural network | |
| Leghari et al. | Online signature verification using deep learning based aggregated convolutional feature representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |