CN115937994A - 一种基于深度学习检测模型的数据检测方法 - Google Patents

一种基于深度学习检测模型的数据检测方法 Download PDF

Info

Publication number
CN115937994A
CN115937994A CN202310015602.3A CN202310015602A CN115937994A CN 115937994 A CN115937994 A CN 115937994A CN 202310015602 A CN202310015602 A CN 202310015602A CN 115937994 A CN115937994 A CN 115937994A
Authority
CN
China
Prior art keywords
detection model
deep learning
deep
data
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310015602.3A
Other languages
English (en)
Other versions
CN115937994B (zh
Inventor
丁峰
范冰
朱小刚
罗铭
庞孟
刘春年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202310015602.3A priority Critical patent/CN115937994B/zh
Publication of CN115937994A publication Critical patent/CN115937994A/zh
Application granted granted Critical
Publication of CN115937994B publication Critical patent/CN115937994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Investigating Or Analyzing Non-Biological Materials By The Use Of Chemical Means (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)

Abstract

本申请公开了一种基于深度学习检测模型的数据检测方法，具体包括以下子步骤：获取原始电子数据；将原始电子数据输入深度学习检测模型中，获取输出后的电子数据；响应于获取输出后的电子数据，确定深度学习检测模型的损失函数；响应于确定深度学习检测模型的损失函数，利用深度学习检测模型对输出后的电子数据进行优化。本申请通过提出的深度学习检测模型能够不需要纯化操作，直接检测反取证数据，使得反取证数据的检测过程更加直接和便利。

Description

一种基于深度学习检测模型的数据检测方法
技术领域
本申请涉及数据通信领域，具体地，涉及一种基于深度学习检测模型的数据检测方法。
背景技术
现代智能技术的发展催生了工业4.0，这是一场工业革命。在这个时代采用人工智能的新技术来提高工业生产效率。深度学习作为最有前途的技术之一，已经在很多领域被广泛引入。但是这项技术除了带来的好处之外，还存在许多潜在的威胁。正如许多工作中所报道的那样，深度学习能够制造虚假的信息。特别是，DeepFake可以产生生物数据信息伪造，例如面部、手势、面部表情、声音等。由于这些生物特征与个人身份密切相关，滥用此类信息可能会使社会处于非常令人不安的环境中。DeepFake生成的伪造面孔会对社会构成严重威胁。工业4.0中的许多智能系统，例如电子支付和身份验证，都依赖于生物信息认证。在本发明中，重点研究如何识别DeepFake伪造面孔。到目前为止，换脸是数字取证中最有吸引力的话题。尽管大多数生物特征都是独一无二的，但面部生物信息通常比其他生物信息更重要。因为已经存在许多通过面部识别验证身份的实际应用。例如，许多公司使用面部识别来打卡；而在一些国家，人们可以通过在电子支付系统中验证他们的面部来发起在线交易。如果用伪造的面孔来欺骗这些系统，可能会产生可怕的后果。考虑到DeepFake巨大的潜在威胁，目前已禁止滥用人脸和 DeepFake技术。与此同时，许多研究人员致力于开发取证检测器，作为针对 DeepFake的对策。近年来，在取证研究人员的努力下，取得了巨大的进步，在与 DeepFake 的斗争中取得了许多令人兴奋的结果。
尽管取得了这些成就，但最近出现了一种针对伪造面孔数据的新攻击。反取证攻击可以通过注入对抗性噪声将DeepFake图像伪装成自然图像数据。由于数据驱动的深度神经网络被普遍认为容易受到对抗性扰动的影响，所以它们很容易被反取证攻击破坏。如上所述，如果用于生物特征识别的智能设备受到损害，可能会产生严重后果。因此，有必要开发新的电子数据的检测方法来保护免受虚假的DeepFake图像数据的侵害。
发明内容
本申请提供了一种基于深度学习检测模型的数据检测方法，具体包括以下子步骤：获取原始电子数据；将原始电子数据输入深度学习检测模型中，获取输出后的电子数据；响应于获取输出后的电子数据，确定深度学习检测模型的损失函数；响应于确定深度学习检测模型的损失函数，利用深度学习检测模型对输出后的电子数据进行优化。
如上的，其中，深度学习检测模型具体包括先验模块、双通道生成对抗网络以及额外监督模块。
如上的，其中，额外监督模块包括判别器D5、D6以及D7。
如上的，其中，通过先验模块获取原始电子数据，原始电子数据包括伪造假脸图像
Figure 42148DEST_PATH_IMAGE001
和对抗伪造假脸图像
Figure 453538DEST_PATH_IMAGE002
。
如上的，其中，将原始电子数据输入深度学习检测模型的双通道生成对抗网络中，通过该网络得到输出后的电子数据。
如上的，其中，双通道生成对抗网络包括两个通道，每个通道包含一个生成器和两个判别器。
如上的，其中，在双通道生成对抗网络中的两个通道中，第一通道输入为由先验网络生成的对抗伪造假脸图像
Figure 360314DEST_PATH_IMAGE002
，第一通道输出由生成器G1输出的消除对抗噪声的图像
Figure 780931DEST_PATH_IMAGE003
。
如上的，其中，第二通道的输入为先验模块中生成的伪造假脸图像
Figure 722342DEST_PATH_IMAGE001
，第二通道输出为由生成器G2输出的反取证假脸图像
Figure 553901DEST_PATH_IMAGE004
。
如上的，其中，生成器G1和生成器G2的具体描述如下：
Figure 213553DEST_PATH_IMAGE005
。
其中
Figure 172281DEST_PATH_IMAGE006
表示给输入的对抗伪造假脸图像
Figure 233778DEST_PATH_IMAGE002
加入的扰动，
Figure 986971DEST_PATH_IMAGE007
表示给输入的伪造假脸图像
Figure 868339DEST_PATH_IMAGE001
加入的扰动。
如上的，其中，确定深度学习检测模型的损失函数包括，确定第一通道判别器的损失函数
Figure 630759DEST_PATH_IMAGE008
和第二通道的判别器损失函数
Figure 796030DEST_PATH_IMAGE009
，具体表示为：
Figure 720123DEST_PATH_IMAGE010
其中E表示期望的符号，
Figure 354367DEST_PATH_IMAGE011
表示使用生成器G1给输入对抗伪造假脸图像
Figure 654898DEST_PATH_IMAGE002
的输出和对抗伪造假脸图像
Figure 159829DEST_PATH_IMAGE002
之间的交叉熵损失，
Figure 520403DEST_PATH_IMAGE012
表示使用生成器G1给输入对抗伪造假脸图像
Figure 625631DEST_PATH_IMAGE002
的输出和伪造假脸图像
Figure 464274DEST_PATH_IMAGE013
之间的交叉熵损失。
本申请具有以下有益效果：
（1）本申请所提出的深度学习检测模型能够用于训练具有强大鲁棒性的取证检测器，以抵御反取证攻击。训练后的深度学习检测模型可以直接检测反取证图像数据而无需纯化，使得反取证图像数据的检测过程更加直接和便利。
（2）本申请率先研究针对攻击性DeepFake反取证攻击的对策。提出消除在反取证图像数据中注入的对抗性扰动，以暴露潜在的面部数据伪造。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的深度学习检测模型的基本框架图；
图2是根据本申请实施例提供的深度学习检测模型中的生成器结构图；
图3是根据本申请实施例提供的深度学习检测模型中的判别器结构图；
图4是根据本申请实施例提供的基于深度学习检测模型的数据检测方法的流程图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明针对DeepFake的反取证攻击，通过消除注入的对抗性扰动来检测潜在的DeepFake造假数据，同时还具有训练具有强大鲁棒性的取证检测器，通过训练完成的取证检测器可以直接用于检测进行过反取证操作的电子数据信息。
实施例一
如图1所示，为本实施例提供的一种深度学习检测模型，其中具体包括先验模块、双通道生成对抗网络以及额外监督模块。
由于许多研究人员证明预知识有助于深度学习追求更高的性能，因此本发明引入了两个先验模块。将两个预先训练的模型作为预知识模块导入到所提出的模型中，其中一个是DeepFake（深伪技术,专指基于人工智能的人体图像合成技术的应用）生成器，作为DeepFake攻击手段，对原始图像进行换脸操作，生成伪造假脸。另一个是DeepFake反取证攻击手段，在DeepFake生成器生成伪造假脸的基础上，对伪造的假脸加入对抗扰动从而生成能够绕过大部分DeepFake取证检测器检测的对抗伪造假脸。
双通道生成对抗网络是本申请的核心模块，包含两个具有相同模型结构的通道，分别用于生成消除对抗噪声的图像
Figure 354870DEST_PATH_IMAGE014
和带有对抗噪声的反取证假脸图像
Figure 886345DEST_PATH_IMAGE015
。每一个通道包含一个生成器和两个判别器，每个通道的生成器以Unet为骨干网络进行设计，结构见附图2，每个通道的判别器是简单的卷积模块，具体见附图3。
其中本实施例的深度学习检测模型还包括额外监督模块，具体使用三个判别器均作为额外监督模块，判别器具体包括判别器D5-D7。
优选地，本申请提供的深度学习检测模型除了可以消除反取证伪造假脸的对抗扰动，使其被普通的取证检测器成功检测，还可以将深度学习检测模型作为预训练网络导入检测器训练中，使训练的检测器能够检测加入了对抗扰动的反取证伪造假脸。
实施例二
如图4所示，为本申请提供的一种基于深度学习检测模型的数据检测方法，具体包括以下步骤：
步骤S410：获取原始电子数据。
其中在获取原始电子数据前，获取预先训练好的两个先验模块，基于两个先验模块获取原始电子数据。
具体地，预先训练好的两个先验模块分别为DeepFake生成器和DeepFake反取证攻击模型，两个模型均为现有技术中提供的模型。将两个预先训练的模型作为预知识模块导入到本实施例所提出的模型中。
其中DeepFake生成器，作为DeepFake攻击手段，对原始图像
Figure 229602DEST_PATH_IMAGE016
进行换脸操作，生成伪造假脸图像
Figure 606357DEST_PATH_IMAGE001
。另一个DeepFake反取证攻击手段，在DeepFake生成器生成伪造假脸的基础上，对伪造的假脸加入对抗扰动从而生成能够绕过大部分DeepFake取证检测器检测的对抗伪造假脸图像
Figure 603656DEST_PATH_IMAGE002
。
原始电子数据包括伪造假脸图像
Figure 306033DEST_PATH_IMAGE001
和对抗伪造假脸图像
Figure 871006DEST_PATH_IMAGE002
。
步骤S420：将原始电子数据输入深度学习检测模型中，获取输出后的电子数据。
其中本实例提到的网络为使用了双通道的生成对抗网络结构，其中该网络具有相同模型结构的通道，分别用于生成输出后的电子数据，输出后的电子数据具体包括消除对抗噪声的图像
Figure 317031DEST_PATH_IMAGE003
和带有对抗噪声的反取证假脸图像
Figure 916640DEST_PATH_IMAGE004
。
具体地，在网络中的两个通道中，每一个通道包含一个生成器和两个判别器，生成器以Unet为骨干网络进行设计，结构见图2，判别器是简单的卷积模块，具体见图3。
具体来说，第一个通道包括生成器G1，判别器D1和D2，第二个通道包括生成器G2，判别器D3和D4。
第一个通道输入的是由先验网络生成的对抗伪造假脸图像
Figure 789918DEST_PATH_IMAGE002
，使用生成器G1给输入
Figure 91455DEST_PATH_IMAGE002
加入扰动p1后输出
Figure 75592DEST_PATH_IMAGE003
，即输出的是由生成器生成的消除对抗噪声的图像
Figure 795286DEST_PATH_IMAGE003
。判别器D1用于区分输出消除对抗噪声的图像
Figure 839465DEST_PATH_IMAGE003
和原始的伪造假脸图像
Figure 379031DEST_PATH_IMAGE001
，判别器D2确保输出
Figure 901279DEST_PATH_IMAGE003
远离G1的输入
Figure 724748DEST_PATH_IMAGE017
，防止G1不工作。第二个通道输入的是先验模块中的DeepFake生成器生成的伪造假脸图像
Figure 939828DEST_PATH_IMAGE001
，使用生成器G2给输入
Figure 966690DEST_PATH_IMAGE001
加入扰动p2后输出
Figure 292629DEST_PATH_IMAGE004
，即输出的是由G2生成的反取证假脸图像
Figure 986916DEST_PATH_IMAGE004
。判别器D3用于区分输出
Figure 107319DEST_PATH_IMAGE004
和先验网络生成的
Figure 870744DEST_PATH_IMAGE002
，判别器D2确保输出
Figure 374DEST_PATH_IMAGE004
远离G1的输入
Figure 283588DEST_PATH_IMAGE001
，防止G2不工作。G1的输出
Figure 840471DEST_PATH_IMAGE018
和G2的输出
Figure 841925DEST_PATH_IMAGE019
具体描述如下：
Figure 775246DEST_PATH_IMAGE005
步骤S430：响应于获取输出后的电子数据，确定深度学习检测模型的损失函数。
由于本申请中的深度学习检测模型有两个多个模块通道，因此有必要为所提出的深度学习检测模型设计适当的损失函数。
生成器G1会产生对抗性噪声以抵消反取证的噪声。对于该通道中的两个判别器，判别器D1用于区分输出
Figure 159304DEST_PATH_IMAGE014
和原始的伪造假脸图像
Figure 621510DEST_PATH_IMAGE013
，判别器D2确保输出
Figure 110260DEST_PATH_IMAGE014
远离生成器G1的输入
Figure 847272DEST_PATH_IMAGE020
。因此，判别器D1的损失函数
Figure 105078DEST_PATH_IMAGE021
和判别器D2的损失函数
Figure 738184DEST_PATH_IMAGE022
具体表示为：
Figure 963498DEST_PATH_IMAGE010
其中E表示期望的符号，
Figure 238622DEST_PATH_IMAGE023
表示使用生成器G1给输入对抗伪造假脸图像
Figure 85355DEST_PATH_IMAGE002
的输出和对抗伪造假脸图像
Figure 420521DEST_PATH_IMAGE002
之间的交叉熵损失，
Figure 618285DEST_PATH_IMAGE024
表示使用生成器G1给输入对抗伪造假脸图像
Figure 431520DEST_PATH_IMAGE002
的输出和伪造假脸图像
Figure 647606DEST_PATH_IMAGE013
之间的交叉熵损失。
此外，由于引入传统损失可以有效提高生成器的性能。因此，可以使用L1范式和L2范式的损失来提高生成器G1的稳定性和效率，G1的损失函数
Figure 888095DEST_PATH_IMAGE025
如下：
Figure 573154DEST_PATH_IMAGE026
其中
Figure 190080DEST_PATH_IMAGE027
表示生成器G1的L1范式的损失，
Figure 11406DEST_PATH_IMAGE028
表示生成器G1的L2范式的损失，
Figure 688375DEST_PATH_IMAGE029
表示中括号等式中
Figure 844418DEST_PATH_IMAGE030
存在的变量，
Figure 265035DEST_PATH_IMAGE031
表示生成器G1输入
Figure 206447DEST_PATH_IMAGE032
后的输出。
进一步地，第一个通道的损失函数
Figure 54317DEST_PATH_IMAGE033
可以描述为：
Figure 448389DEST_PATH_IMAGE034
其中
Figure 407118DEST_PATH_IMAGE035
表示判别器D1的损失函数，
Figure 455233DEST_PATH_IMAGE036
表示判别器D2的损失函数，
Figure 208425DEST_PATH_IMAGE037
表示生成器G1的L1范式和L2范式的损失和，
Figure 355373DEST_PATH_IMAGE038
表示中括号等式中
Figure 852213DEST_PATH_IMAGE039
存在的变量，
Figure 768217DEST_PATH_IMAGE040
表示权重，用于确定Lc在第一个通道的总损失中占的比重，具体数值在此不进行限定，可由工作人员进行设置，
Figure 957889DEST_PATH_IMAGE041
表示生成器G1输入
Figure 310242DEST_PATH_IMAGE042
后的输出。
第二通道和第一通道的结构一致，所以第二通道的损失函数
Figure 610774DEST_PATH_IMAGE043
可以描述为：
Figure 381283DEST_PATH_IMAGE044
Figure 741858DEST_PATH_IMAGE045
Figure 597818DEST_PATH_IMAGE046
其中
Figure 685729DEST_PATH_IMAGE047
表示判别器D3的损失函数，
Figure 576324DEST_PATH_IMAGE048
表示判别器D4的损失函数，
Figure 107800DEST_PATH_IMAGE049
表示生成器G2的L1范式的损失，
Figure 451057DEST_PATH_IMAGE050
表示生成器G2的L2范式的损失。
Figure 827811DEST_PATH_IMAGE051
表示使用生成器G2给输入伪造假脸图像
Figure 572913DEST_PATH_IMAGE013
的输出和伪造假脸图像
Figure 258978DEST_PATH_IMAGE013
之间的交叉熵损失，
Figure 89531DEST_PATH_IMAGE052
表示使用生成器G2给输入伪造假脸图像
Figure 535556DEST_PATH_IMAGE013
的输出和对抗伪造假脸图像
Figure 135165DEST_PATH_IMAGE002
之间的交叉熵损失。
其中本实施例的深度学习检测模型还包括额外监督模块，具体使用三个判别器均作为额外监督模块，判别器具体包括判别器D5-D7。因此本步骤中还需要进行判别器D5-D7的损失函数的确定。
具体地，判别器D5的目的在于确保生成器G1和G2的输出有所差异，损失函数
Figure 742864DEST_PATH_IMAGE053
可以表示为：
Figure 60712DEST_PATH_IMAGE054
判别器D6和D7可以在训练过程中向生成器引入关于DeepFake攻击和反取证攻击的先验信息，增加训练模型的准确性和鲁棒性。D6的损失函数
Figure 310428DEST_PATH_IMAGE055
和D7的损失函数
Figure 745302DEST_PATH_IMAGE056
损失描述如下：
Figure 789481DEST_PATH_IMAGE057
因此，三个额外判别器的损失函数
Figure 594626DEST_PATH_IMAGE058
可以描述为：
Figure 116874DEST_PATH_IMAGE059
综上所述，整个深度学习检测模型的完全损失
Figure 691075DEST_PATH_IMAGE060
可以推导出为：
Figure 906156DEST_PATH_IMAGE061
步骤S440：响应于确定深度学习检测模型的损失函数，利用深度学习检测模型对输出后的电子数据进行优化。
其中本步骤中对输出后的电子数据进行优化具体为，通过深度学习检测模型中的额外监督模块，来优化对抗扰动的消除。
具体地，其中作为额外监督模块的判别器D5是一个分类器用于区分本步骤S420中两个通道的输出，此外，在这个判别器D5中学习的参数也可以进一步细化G1。其中作为额外监督模块的判别器D6和D7分别从消除对抗噪声的图像
Figure 182285DEST_PATH_IMAGE003
和对抗伪造假脸图像
Figure 508224DEST_PATH_IMAGE002
来预测原始图像
Figure 936932DEST_PATH_IMAGE062
，从而完成通过深度学习检测模型对输出电子数据的优化。
作为额外监督模块的判别器D5在空间中学习到的梯度被反向传输到G1中，用于细化所需的对抗性噪声以进行中和原来的反取证对抗噪声。作为额外监督模块的判别器D6和D7在G1在训练期间提供额外的监督。
以下通过实际实验数据来分析本发明的有效性。
因为DeepFake有两代，所以本实施例在每一代选择了一个典型数据集进行评估。FaceForensics++现在被广泛认为是第一代中最具代表性的数据集。因此，使用的第一个数据集是来自FaceForensics++的977个真实视频。Celeb-DF是评估第二代Deepfake的理想选择，因此第二个数据集是来自Celeb-DF的590个真实视频。
在评估之前，需要准备几个取证探测器。选择了四个模型来检测DeepFake图像，分别是DenseNet、ResNet-50、XceptionNet和DefakeHop。以上四个模型都可以被视为深度学习中的经典模型。此外，许多研究人员证明这三个模型也是DeepFake取证的最先进模型，特别是XceptionNet。在每个数据集上分别训练了四个模型，一共训练好八个检测器进行评估。所有检测器都经过随机梯度下降训练至少20个epoch。批量大小为64，而学习率为0.0002。训练一个探测器通常需要20个小时。如果模型较早收敛，训练可能会终止。此外，在训练期间，DefakeHop花费更少的时间来达到收敛。这与DefakeHop论文的描述一致，因为DefakeHop的参数数量明显少于其他参数。在研究的初始阶段，尝试将两个数据集混合为一个来训练检测器。但是，所有模型的分类性能都很低。正如许多工作所证明的那样，这是因为DNN泛化性有限的影响。因此，最终选择在单独的数据集上训练取证检测器。
在训练过程中，注意到即使没有注入对抗性扰动，一些DeepFake样本也可能被错误地标记为原始样本。这是不能容忍的，因为反取证攻击应该基于成功的取证检测。此外，在一些反取证样本上也会发生同样的情况，因为即使经过伪装，它们仍然可以被检测到。这样的样本是不可接受的，因为期望在对抗性扰动中和的情况下检测到纯化的图像。在上面的任何一种情况下，图像的训练都是无效的，它们可能会污染训练数据。因此，需要手动选择样本，并从训练集中提取了它们对应的原始样本。
最终，准备好所有具有足够性能的检测器，如表1所示。评估检测器的指标是分类准确度。
表1 检测器分类准确率
Figure 588493DEST_PATH_IMAGE063
为了全面呈现评估结果，采用CycleGAN、Defense-GAN、Cap-GAN作为基准进行比较。CycleGAN是2017年提出的一种无需配对图像输入的图像风格迁移方法。Defense-GAN被广泛认为是防御对抗性攻击的启发式工作。尽管它们都没有被提议用于保护面部生物信息，但可以修改它们以净化反取证DeepFake图像。
为了比较，用10万个样本训练了所有生成对抗网络，以保证足够的训练输入。GAN模型的学习率为0.0001，而生成器和判别器的初始权重由Xavier确定。如果生成器和判别器的损失函数趋于稳定，则对抗性训练可能会提前终止。此外，由于计算资源有限，有时可能会在服务器上运行多个并行任务。因此，不同模型的训练时间差异很大。训练后，将每个模型处理的10k图像作为测试数据集。然后，通过预先训练的取证检测器发送要预测的测试数据集来研究净化性能。以预测精度评估了这些模型，实验结果见表2。
表2 两个数据集的净化性能精度
Figure 837072DEST_PATH_IMAGE064
从表2中观察到，几乎所有检测器都无法在不应用防御性操作的情况下预测反取证图像。然而，无论净化模型如何，在消除对抗性扰动后，大多数反取证图像都可以被检测为假的。其中，CycleGAN的净化性能总体偏低，因为 CycleGAN是用于输入图像不配对时图像风格转换任务，而不适合用于消除对抗性扰动。尽管所有其他模型都可以实现高净化性能，本发明相比其他方法性能更加优越。与其他基准不同，本发明旨在消除面部图像中的对抗性扰动。尽管在某些情况下效果不佳，但鉴于基线已经超过90%，平均提高约4%可以被视为明显的优势。因此，实验结果表明，与其他基准相比，本发明在中和DeepFake反取证图像中的对抗性扰动方面更为优越。此外，数据集之间没有任何差异，因为可以忽略每种方法的偏差。
因此，实验表明数据驱动的DNN对对抗性攻击高度敏感，这与许多研究人员报告的发现一致。再者，当对抗性扰动被中和时，检测器的取证性能可以显着提高。其次，实验还通过报告所有模型的计算时间来分析算法复杂性。处理一张图像所消耗的平均时间见表3。
表3 处理一张图像所消耗的平均时间
Figure 966702DEST_PATH_IMAGE065
从表3中可以看出，这些方法的处理效率非常接近，包括所提出的模型。因为在测试时，只有生成模块被提取并应用于净化对抗性扰动。由于生成器在结构上相似，它造成了相似的处理效率。此外，图像的内容会影响计算效率，从而导致时间消耗的波动。另请注意，如果能够提供足够的计算资源，则可以进一步提高处理效率。
除了反取证图像，相应的原始图像和DeepFake造假图像也为模型训练提供来自潜在空间的额外信息，否则，所提出的方法可能无法抵抗DeepFake反取证。综上所述，尽管所提出的方法需要更多的样本进行训练，但它可以在对抗大多数应用的DeepFake反取证的过程中，实现更高的净化性能的同时，使计算效率不至于明显下降。
本申请具有以下有益效果：
（1）本申请所提出的深度学习检测模型能够用于训练具有强大鲁棒性的取证检测器，以抵御反取证攻击。训练后的深度学习检测模型可以直接检测反取证图像数据而无需纯化，使得反取证图像数据的检测过程更加直接和便利。
（2）本申请率先研究针对攻击性DeepFake反取证攻击的对策。提出消除在反取证图像数据中注入的对抗性扰动，以暴露潜在的面部数据伪造。
虽然当前申请参考的示例被描述，其只是为了解释的目的而不是对本申请的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本申请的范围。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习检测模型的数据检测方法，其特征在于，具体包括以下子步骤：
获取原始电子数据；
将原始电子数据输入深度学习检测模型中，获取输出后的电子数据；
响应于获取输出后的电子数据，确定深度学习检测模型的损失函数；
响应于确定深度学习检测模型的损失函数，利用深度学习检测模型对输出后的电子数据进行优化。
2.如权利要求1所述的基于深度学习检测模型的数据检测方法，其特征在于，深度学习检测模型具体包括先验模块、双通道生成对抗网络以及额外监督模块。
3.如权利要求2所述的基于深度学习检测模型的数据检测方法，其特征在于，额外监督模块包括判别器D5、D6以及D7。
4.如权利要求3所述的基于深度学习检测模型的数据检测方法，其特征在于，通过先验模块获取原始电子数据，原始电子数据包括伪造假脸图像
Figure 531858DEST_PATH_IMAGE001
和对抗伪造假脸图像
Figure 395909DEST_PATH_IMAGE002
。
5.如权利要求4所述的基于深度学习检测模型的数据检测方法，其特征在于，将原始电子数据输入深度学习检测模型的双通道生成对抗网络中，通过该网络得到输出后的电子数据。
6.如权利要求5所述的基于深度学习检测模型的数据检测方法，其特征在于，双通道生成对抗网络包括两个通道，每个通道包含一个生成器和两个判别器。
7.如权利要求6所述的基于深度学习检测模型的数据检测方法，其特征在于，在双通道生成对抗网络中的两个通道中，第一通道输入为由先验网络生成的对抗伪造假脸图像
Figure 413543DEST_PATH_IMAGE002
，第一通道输出由生成器G1输出的消除对抗噪声的图像
Figure 485273DEST_PATH_IMAGE003
。
8.如权利要求7所述的基于深度学习检测模型的数据检测方法，其特征在于，第二通道的输入为先验模块中生成的伪造假脸图像
Figure 486727DEST_PATH_IMAGE001
，第二通道输出为由生成器G2输出的反取证假脸图像
Figure 888890DEST_PATH_IMAGE004
。
9.如权利要求8所述的基于深度学习检测模型的数据检测方法，其特征在于，G1的输出
Figure 292189DEST_PATH_IMAGE005
和G2的输出
Figure 285553DEST_PATH_IMAGE006
的具体描述如下：
Figure 243145DEST_PATH_IMAGE007
其中
Figure 232354DEST_PATH_IMAGE008
表示给输入的对抗伪造假脸图像
Figure 490160DEST_PATH_IMAGE002
加入的扰动，
Figure 123267DEST_PATH_IMAGE009
表示给输入的伪造假脸图像
Figure 99313DEST_PATH_IMAGE001
加入的扰动。
10.如权利要求6所述的基于深度学习检测模型的数据检测方法，其特征在于，确定深度学习检测模型的损失函数包括，确定第一通道判别器的损失函数
Figure 374436DEST_PATH_IMAGE010
和第二通道的判别器损失函数
Figure 486749DEST_PATH_IMAGE011
，具体表示为：
Figure 805604DEST_PATH_IMAGE012
其中E表示期望的符号，
Figure 3367DEST_PATH_IMAGE013
表示使用生成器G1给输入对抗伪造假脸图像
Figure 82181DEST_PATH_IMAGE002
的输出和对抗伪造假脸图像
Figure 49000DEST_PATH_IMAGE002
之间的交叉熵损失，
Figure 289489DEST_PATH_IMAGE014
表示使用生成器G1给输入对抗伪造假脸图像
Figure 974548DEST_PATH_IMAGE002
的输出和伪造假脸图像
Figure 840742DEST_PATH_IMAGE015
之间的交叉熵损失。
CN202310015602.3A 2023-01-06 2023-01-06 一种基于深度学习检测模型的数据检测方法 Active CN115937994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310015602.3A CN115937994B (zh) 2023-01-06 2023-01-06 一种基于深度学习检测模型的数据检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310015602.3A CN115937994B (zh) 2023-01-06 2023-01-06 一种基于深度学习检测模型的数据检测方法

Publications (2)

Publication Number Publication Date
CN115937994A true CN115937994A (zh) 2023-04-07
CN115937994B CN115937994B (zh) 2023-05-30

Family

ID=85823605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310015602.3A Active CN115937994B (zh) 2023-01-06 2023-01-06 一种基于深度学习检测模型的数据检测方法

Country Status (1)

Country Link
CN (1) CN115937994B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194805A (zh) * 2023-11-08 2023-12-08 南昌大学 基于深度图神经网络的多特征空间融合推荐方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN111275638A (zh) * 2020-01-16 2020-06-12 湖南大学 基于多通道注意力选择生成对抗网络的人脸修复方法
CN111368764A (zh) * 2020-03-09 2020-07-03 零秩科技(深圳)有限公司 一种基于计算机视觉与深度学习算法的虚假视频检测方法
CN112115963A (zh) * 2020-07-30 2020-12-22 浙江工业大学 一种基于迁移学习生成无偏见深度学习模型的方法
CN112215780A (zh) * 2020-10-28 2021-01-12 浙江工业大学 基于类特征修复融合的图像取证对抗性攻击防御方法
CN112580782A (zh) * 2020-12-14 2021-03-30 华东理工大学 基于通道增强的双注意力生成对抗网络及图像生成方法
US20210150279A1 (en) * 2019-11-14 2021-05-20 Zoox, Inc. Depth data model training with upsampling, losses, and loss balancing
CN113378949A (zh) * 2021-06-22 2021-09-10 昆明理工大学 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN114757342A (zh) * 2022-06-14 2022-07-15 南昌大学 一种基于对抗训练的电子数据信息反取证方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
US20210150279A1 (en) * 2019-11-14 2021-05-20 Zoox, Inc. Depth data model training with upsampling, losses, and loss balancing
CN111275638A (zh) * 2020-01-16 2020-06-12 湖南大学 基于多通道注意力选择生成对抗网络的人脸修复方法
CN111368764A (zh) * 2020-03-09 2020-07-03 零秩科技(深圳)有限公司 一种基于计算机视觉与深度学习算法的虚假视频检测方法
CN112115963A (zh) * 2020-07-30 2020-12-22 浙江工业大学 一种基于迁移学习生成无偏见深度学习模型的方法
CN112215780A (zh) * 2020-10-28 2021-01-12 浙江工业大学 基于类特征修复融合的图像取证对抗性攻击防御方法
CN112580782A (zh) * 2020-12-14 2021-03-30 华东理工大学 基于通道增强的双注意力生成对抗网络及图像生成方法
CN113378949A (zh) * 2021-06-22 2021-09-10 昆明理工大学 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN114757342A (zh) * 2022-06-14 2022-07-15 南昌大学 一种基于对抗训练的电子数据信息反取证方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FENG DING, ET.AL: "Anti-Forensics for Face Swapping Videos via Adversarial Training", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
杨懿男;齐林海;王红;苏林萍;: "基于生成对抗网络的小样本数据生成技术研究", 电力建设 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194805A (zh) * 2023-11-08 2023-12-08 南昌大学 基于深度图神经网络的多特征空间融合推荐方法及系统

Also Published As

Publication number Publication date
CN115937994B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN108549940B (zh) 基于多种对抗样例攻击的智能防御算法推荐方法及系统
Xu et al. Detecting ai trojans using meta neural analysis
Jia et al. Badencoder: Backdoor attacks to pre-trained encoders in self-supervised learning
Trivedi et al. An efficient credit card fraud detection model based on machine learning methods
Zhang et al. Malicious codes detection based on ensemble learning
Halim et al. Recurrent neural network for malware detection
CN112565261B (zh) 基于多生成器AugGAN的对抗动态恶意API序列生成方法
CN115937994A (zh) 一种基于深度学习检测模型的数据检测方法
Yahya et al. Detection of phising websites using machine learning approaches
CN116962047A (zh) 一种可解释的威胁情报生成方法、系统及装置
Yuan et al. Trustworthy anomaly detection: A survey
Asani et al. A maximum entropy classification scheme for phishing detection using parsimonious features
Bensaoud et al. CNN-LSTM and transfer learning models for malware classification based on opcodes and API calls
Li et al. Enhancing robustness of deep neural networks against adversarial malware samples: Principles, framework, and application to AICS’2019 challenge
Zhu et al. FocusedCleaner: Sanitizing Poisoned Graphs for Robust GNN-based Node Classification
Dilhara Phishing URL detection: A novel hybrid approach using long short-term memory and gated recurrent units
CN115659387A (zh) 一种基于神经通路的用户隐私保护方法、电子设备、介质
Zhong et al. A deep convolutional generative adversarial network-based fake fingerprint generation method
CN115438751A (zh) 一种基于图神经网络的区块链钓鱼诈骗识别的方法
Ma et al. DIHBA: Dynamic, invisible and high attack success rate boundary backdoor attack with low poison ratio
Sulaiman et al. Credit Card Fraud Detection Challenges and Solutions: A Review.
Songa et al. Credit Card Fraud Detection using Various Machine Learning Algorithms
Khattri et al. Plastic card circumvention an infirmity of authenticity and authorization
Dai et al. Towards robust stacked capsule autoencoder with hybrid adversarial training
Rugangazi et al. Detecting Phishing Attacks Using Feature Importance-Based Machine Learning Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant