CN115879516B

CN115879516B - 一种数据取证方法

Info

Publication number: CN115879516B
Application number: CN202310188408.5A
Authority: CN
Inventors: 丁峰; 范冰; 朱小刚; 李向军; 罗铭
Original assignee: Nanchang University
Current assignee: Nanchang University
Priority date: 2023-03-02
Filing date: 2023-03-02
Publication date: 2023-05-16
Anticipated expiration: 2043-03-02
Also published as: CN115879516A

Abstract

本申请公开了一种数据取证方法，具体包括以下子步骤：获取原始电子数据；对原始电子数据进行处理；将处理后的原始电子数据输入取证网络，输出高质量图像数据；在视觉增强网络中对高质量图像数据进行重建，得到重建后的图像数据，完成数据取证。本申请在确保数据不可检测性的前提下，不仅能够保存数据的视觉质量，还提升了数据的视觉质量，从而能够生成具有高不可检测性和视觉质量的反取证图像数据。

Description

一种数据取证方法

技术领域

本申请涉及数据处理领域，具体地，涉及一种数据取证方法。

背景技术

图像和视频数据已经成为我们日常生活中传达视觉信息的重要媒体。然而，这些数据信息很容易被伪造、制造和篡改。伪造的图像数据如果被恶意地用于科学研究发现，新闻媒体报道，社交网络等时，便可能会导致灾难性的后果。更加严重的是，在大多数情况下，伪造的图像数据都是生动的，以至于我们不能依靠我们的眼睛来区分。因此，每年都有许多的取证工具被开发出来，以保护数字数据的真实性和完整性。将这些工具应用于图像，来跟踪图像的来源，暴露伪造痕迹等。研究人员过去常常建立数学模型和手动选择特征，用于分析图像的统计数据以进行取证。然而，如今大多数取证工具都是用深度学习模型构建的。自2017年问世以来，DeepFake（深伪技术,deep learning fake）被广泛认为是一项存在巨大潜在威胁的技术。如果它被恶意攻击者使用，可能会引发社会安全和隐私问题。为了解决这些问题，许多研究人员参与了与DeepFake的斗争。目前已经有数百种取证算法被提出来揭示面部伪造。这些方法大多是使用二分法区分DeepFake伪造数据与原始数据。此外，近年来提出的大多数方法都是深度神经网络（DNN），它们是端到端的数据驱动模型。其中的许多方法都可以在多个基准数据集上实现出色的取证性能。尽管如此，DeepFake也取得了巨大的进步，其合成效率，视觉质量和不可检测性也得到了显着提高。特别是，狡猾的攻击者可能会试图通过发起反取证攻击来将DeepFake图像数据伪装成原始图像数据。DeepFake的反取证是对抗性攻击，可以通过在图像中注入对抗性扰动来实现。扰动可以被视为伪装蒙版。叠加这些蒙版，取证检测器无法再正确检测DeepFake图像数据。尽管检测器的不可检测性很高，但人们普遍认为对抗性样品可能会遭受更严重的视觉质量下降，例如明显的伪影，视觉缺陷，不一致的内容等。这对于反取证，特别是面部图像来说是不可接受的，因为人眼很容易感知到脸上的任何不自然内容和视觉伪影，反取证图像必须欺骗取证算法以及人眼。因此，对于DeepFake的反取证，一个原则是在注入对抗性扰动后保持令人满意的视觉质量。为此，取证研究人员提出了许多GAN模型来解决这个问题。在大多数相关作品中，研究人员试图减轻对抗性扰动带来的视觉效果。然而，这种操作可能导致检测器有较高的准确率。在不可检测性和视觉质量之间达成平衡是现在DeepFake反取证的挑战。因此在现有技术中提供的取证方法中，基本上只针对图像的不可检测性进行研究，而没有注重图像的视觉质量上的要求。而完美的反取证攻击，应该是可以同时欺骗取证算法和人眼。

因此，如何提供一种解决上述挑战的方法，来取证并处理图像数据从而增强视觉质量，是本领域技术人员急需解决的问题。

发明内容

本申请提供了一种数据取证方法，其特征在于，包括以下步骤：获取原始电子数据；对原始电子数据进行处理，原始电子数据为未经过处理的原始图像；将处理后的原始电子数据输入取证网络，输出高质量图像数据；在视觉增强网络中对高质量图像数据进行重建，得到重建后的图像数据，完成数据取证；取证网络包括第一判别器D1和第一生成器G1，视觉增强网络包括第二生成器G2和第二判别器D2；其中在视觉增强网络中对高质量图像数据进行重建，得到重建后的图像数据，完成数据取证的过程中，使用U型网络作为视觉增强网络的骨干网络。

如上的，其中，将处理后的原始电子数据输入取证网络，输出高质量图像数据，具体包括以下子步骤：对第一生成器G1进行预训练，确定第一生成器G1的损失函数；响应于确定第一生成器G1的损失函数后，确定第一判别器D1的损失函数；根据第一生成器G1的损失函数和第一判别器D1的损失函数，确定取证网络的损失函数。

如上的，其中，第一生成器G1的损失函数包括生成器损失和重建损失，生成器损失和重建损失具体表示为：

，

其中E表示期望符号，表示伪造图像，表示给第一生成器G1输入后的输出的合成图像，表示第一生成器 G1 输入伪造图像的输出，表示对原始图像锐化后的图像，表示当第一判别器 D1 输入伪造图像与合成图像后的交叉熵损失，表示第一判别器 D1 输入伪造图像与输出的合成图像的交叉熵损失。

如上的，其中，第一生成器G1的损失函数定义为表示为：

，其中是权重因子，第一生成器G1的参数。

如上的，其中，第一判别器D1的损失函数定义为：

，

其中表示第一判别器D1的参数，表示第一生成器G1输入伪造图像的输出，表示当第一判别器D1输入伪造图像与锐化图像拼接图像后的交叉熵损失。

如上的，其中，令第一判别器 D1 不收敛，第一生成器 G1 收敛，并将第一判别器D1 的损失函数和第一生成器 G1 的损失函数进行加和，得到取证网络的总损失函数，具体表示为：

，

其中表示取证网络的总损失，表示第一判别器D1的损失函数，表示第一生成器G1的损失函数。

如上的，其中，响应于获取取证网络的总损失函数后，将第一生成器G1的输出，以及输入至取证网络的第一判别器D1中，第一判别器D1输出高质量的图像数据。

如上的，其中，在视觉增强网络中引入了移动视觉模块，通过引入移动视觉模块后的视觉增强网络进行高质量图像数据重建。

如上的，其中，在视觉增强网络中对高质量图像数据进行重建，得到重建后的图像数据的过程包括，确定第二生成器G2的损失函数。

本申请具有以下有益效果：

本申请在确保数据不可检测性的前提下，不仅能够保存数据的视觉质量，相比于DeepFake图像，还提升了数据的视觉质量，从而能够生成具有高不可检测性和视觉质量的反取证图像，对现有图像数据的反取证技术进行了进一步的优化和补充。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例提供的数据取证框架图；

图2是根据本申请实施例提供的数据取证框架图中第一判别器D1的结构示意图；

图3是根据本申请实施例提供的数据取证框架图中第一生成器G1的结构示意图；

图4是根据本申请实施例提供的数据取证框架图中第二生成器G2的结构示意图；

图5是根据本申请实施例提供的数据取证框架图中第二生成器G2中的MobileViT块的结构示意图；

图6是根据本申请实施例提供的数据取证方法的流程图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提出了一种数据取证方法，与许多现有方法不同，注入这种扰动，DeepFake图像可以实现高反取证性能，同时表现出令人满意的锐化视觉效果。

实施例一

如图1所示，为本申请提供的进行数据取证的框架，该框架具体包括取证网络FDN以及视觉增强网络VEN。

其中取证网络包括第一判别器D1和第一生成器G1，D1作为FDN中与G1博弈的判别器，视觉增强网络包括第二生成器G2和第二判别器D2。

其中如图2所示，判别器D1和D2的结构相同，均由5个卷积块组成，判别器D1和D2的所有卷积层的内核大小，步幅和填充分别为4，2和1。其中A1 表示卷积(k4s2p1)+激活函数(0.2)；A2表示卷积(k4s2p1)+归一化+激活函数(0.2)；A3表示卷积(k4s2p1)。

具体地，其中取证网络FDN主要是为了从不可检测性方面提高DeepFake图像的反取证性能。但是，减少视觉质量损失也很重要。在许多已发表的著作中，U-Net适合生成高质量的图像，并保留更多细节和纹理。

因此，本实施例采用U-Net（U 型网络）作为第一生成器G1的基础架构，所有卷积层和转置卷积层的内核大小、步幅和填充分别为4、2和1。编码器中的每个视觉组都与解码器中的对称对应视觉组连接在一起，G1的具体结构如图3所示，其中T1表示经过下采样后的特征图，T2表示卷积(K4s2p1)+Instan归一化+Leak激活函数，T3表示转置卷积(K4s2p1)+Instans归一化+激活函数，T4表示经过上采样后的特征图，T5表示上采用(2倍)+卷积(k4s1p1)+Tanh激活函数，其中每两个T1连接表示将经过下采样后的特征图进行拼接。

其中本实施例还在视觉增强网络VEN的生成器G2中引入了MobileVit（A mobile-friendly Transformer-based model for image classification，移动视觉模块）块和MV2块。其中MobileVit块是一个轻量级的通用型网络模块。MV2为MobileNetV2（InvertedResiduals and Linear Bottlenecks）的核心模块。基于MobileViT和U-Net的生成器G2的结构如图4所示，G2其中所有卷积层、转置卷积层、串联结构与图中的G1相同。在图4中，Q1表示卷积(k3s2p1)+MV2块，Q2表示经过下采样后的特征图，Q3表示MV2(2倍下采样)+MV2块+MV2块，Q4表示MV2(2倍下采样)，Q5表示经过MV2 块后的特征图，Q6表示MobileViT块，Q7表示卷积(k1s1p0)，Q8表示转置卷积(k4s2p1)+归一化+激活函数，Q9表示经过上采样后的特征图，Q10表示上采样(2倍)+卷积(k4s1p1)+Tanh激活函数。

其中MV2（2倍下采样）表示MV2块中的深度卷积步幅为2，MV2表示步幅为1。

进一步地，图5为MobileViT块的具体结构，包括多个窗口，各窗口的尺寸分别为（C，H，W）、（d，H，W）、（d，N，P）以及（2C，H，W），其中MobileViT块中具有相同类型输入和输出（CXHXW）的残余结构。卷积层-nxn（Con-nxn）用于对局部空间信息进行编码，而卷积层-1x1（Con-1x1）将张量投影到高维空间（dXHXW）。张量展开成N个不重叠的扁平化补丁，并将每个新部分（类型：1XNXd）输入transformer以学习补丁间的关系。之后张量将被折叠并与输入张量融合作为MobileViT块的输出。

如图6所示，为本申请提供的基于上述数据取证框架的数据取证方法，该方法的应用场景是信号处理过的图像的反取证场景，该方法具体包括以下步骤：

步骤S610：获取原始电子数据。

其中原始电子数据可以理解为获取的原始图像，具体可以理解为未经过任何处理的 raw 图像。

步骤S620：对原始电子数据进行处理。

具体地，使用现有技术中的USM锐化方式对原始电子数据（原始图像）进行锐化处理，得到锐化后的原始电子数据（锐化后的原始图像）。

优选地，锐化后的原始电子数据可以为锐化后的原始图像。

步骤S630：将处理后的原始电子数据输入取证网络，输出高质量图像数据。

其中具体将处理后的原始电子数据作为部分输入，输入至判别器D1中，D1的输入为和。

其中将处理后的原始电子数据输入取证网络前，还包括对第一生成器G1进行预训练以及确定取证网络的损失函数，因此步骤S6301具体包括以下子步骤：

步骤S6301：对第一生成器G1进行预训练，确定第一生成器G1的损失函数。

其中在预训练的过程中，第一生成器G1从潜在空间中学习梯度用于合成反取证蒙版m。通过叠加m，输出在信号统计上接近。为了追求较高的反取证性能图像数据，将第一生成器G1的损失函数定义为。

第一生成器G1的损失函数包括生成器损失和重建损失。生成器损失和重建损失具体表示为：

，

其中E表示期望符号，表示DeepFake生成的伪造图像，表示给第一生成器G1输入后的输出的合成图像，表示给G1输入后的输出的合成图像即，表示真是图像使用现有USM锐化方法生成的图像。

采用L1-norm来测量重建误差，以最小化和之间的像素值的差异，综上所述，第一生成器G1的损失函数定义为可表示为：

,

其中是权重因子，是的参数。

步骤S6302：响应于确定第一生成器G1的损失函数，确定第一判别器D1的损失函数。

其中第一判别器D1的损失函数定义为：

，

其中表示判别器D1的参数，表示生成器G1输入伪造图像的输出，表示当判别器输入伪造图像与锐化图像拼接图像后的交叉熵损失。

步骤S6303：根据第一生成器G1的损失函数和第一判别器D1的损失函数，确定取证网络的损失函数。

令第一判别器 D1 不收敛，第一生成器 G1 收敛，并将第一判别器 D1 的损失函数和第一生成器 G1 的损失函数进行加和，得到取证网络FDN的总损失目标函数，具体表示为：

，

步骤S6304：响应于确定取证网络的损失函数，将DeepFake图像输入至第一判别器D1，第一生成器G1生成合成图像数据。

具体地，将和输入至取证网络的第一判别器D1中，第一判别器D1针对上述输入，指导第一生成器G1输出具有高不可检测性的合成图像，即第一生成器G1的输出为。

步骤S640：在视觉增强网络中对高质量图像数据进行重建，得到重建后的图像数据，完成数据取证。

其中，在通过取证网络FDN进行图像数据转换期间，产生信息数据丢失是不可避免的，因此，有必要重建高质量的反取证图像。此外，本实施例除了恢复更多细节外，还将在反取证图像中增加锐化的视觉效果。因此，本实施例将取证网络中预训练后的第一生成器G1作为视觉增强网络的一部分，并在视觉增强网络VEN中设计了另一个生成器G2，通过更新反取证掩码m来合成对抗性锐化掩码m'。并进一步通过叠加对抗性锐化掩码m'，DeepFake图像可以转换为具有高不易检测性和视觉质量的重新合成图像。

具体地，本实施例使用了U-Net作为视觉增强网络的骨干网络，并在视觉增强网络中引入了MobilVit块，MobilVit块是一个轻量级的通用型网络模块。

其中步骤S640具体包括以下子步骤：

步骤S6401：确定第二生成器G2的损失函数。

将生成器损失和重建损失作为第二生成器G2的损失。确保VEN的输出在内容上类似于，这有利于恢复的细节。其中定义为：

其中E表示期望符号，表示判别器D2输入再合成图像输出的交叉熵，表示把伪造图像输入G2的输出再输入G1后的输出图像即再合成图像，表示第二判别器输入伪造图像输出的交叉熵。

重建损失也是通过改进锐化效果来优化对抗性锐化掩码m'，重建损失定义为：

因此，第二生成器G2的损失函数具体表示为：

，

其中是加权因子，是G2在VEN网络的对抗训练中学习到的梯度（参数）。

由于第一生成器G1在取证网络FDN中进行了预训练，在FDN中学习的参数被冻结以用于训练视觉增强网络VEN。因此，第二生成器G2的完整形式可以用以下公式表示：

，

这里的表示G1表示取证网络FDN的对抗训练中学习到的梯度（参数），其中p表示G1中的固定参数，固定参数p是从FDN网络中学习到的，视觉增强网络在VEN训练期间通过最小化来推导参数。表示第二生成器G2输入的输出，表示把伪造图像输入G2的输出再输入G1后的输出图像即再合成图像，表示判别器D2输入伪造图像输出的交叉熵。

步骤S6402：响应于确定第二生成器G2的损失函数，确定第二判别器D2的损失函数。

第二判别器D2的损失函数可以定义为：

。

其中表示判别器D2输入真实锐化图像输出的交叉熵。

步骤S6403：根据第二生成器G2的损失函数和第二判别器D2的损失函数，确定视觉增强网络的损失函数。

其中整个视觉增强网络VEN的损失目标函数具体表示为：

，

其中表示视觉增强网络的损失，表示第二生成器G2的损失函数，表示第二判别器D2的损失函数。

步骤S6404：响应于确定视觉增强网络的损失函数，获得重建后的图像数据。

此时第二判别器D2指导第二生成器G2更新反取证掩码m来合成对抗性锐化掩码m'，并进一步通过叠加对抗性锐化掩码m'，DeepFake图像经过第二生成器G2得到输出后，再将输出输入第一生成器G1，最终得到具有高不易检测性和视觉质量的重新合成图像，即为重建后的图像数据。

本申请具有以下有益效果：

虽然当前申请参考的示例被描述，其只是为了解释的目的而不是对本申请的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本申请的范围。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种数据取证方法，其特征在于，包括以下步骤：

获取原始电子数据，原始电子数据为未经过处理的原始图像；

对原始电子数据进行处理；

将处理后的原始电子数据输入取证网络，输出高质量图像数据；

在视觉增强网络中对高质量图像数据进行重建，得到重建后的图像数据，完成数据取证；

其中取证网络包括第一判别器D1和第一生成器G1，视觉增强网络包括第二生成器G2和第二判别器D2；

其中在视觉增强网络中对高质量图像数据进行重建，得到重建后的图像数据，完成数据取证的过程中，使用U型网络作为视觉增强网络的骨干网络；

将处理后的原始电子数据输入取证网络，输出高质量图像数据，具体包括以下子步骤：

对第一生成器G1进行预训练，确定第一生成器G1的损失函数；

响应于确定第一生成器G1的损失函数后，确定第一判别器D1的损失函数；

根据第一生成器G1的损失函数和第一判别器D1的损失函数，确定取证网络的损失函数；

第一生成器G1的损失函数包括生成器损失和重建损失，生成器损失和重建损失具体表示为：

，

其中E表示期望符号，表示伪造图像，表示给第一生成器G1输入后的输出的合成图像，表示第一生成器G1输入伪造图像的输出，表示对原始图像锐化后的图像，表示当第一判别器D1输入伪造图像与合成图像后的交叉熵损失，表示当第一判别器D1输入伪造图像与后的交叉熵损失；

第一生成器G1的损失函数定义为表示为：

，

其中是权重因子，是第一生成器G1的参数；

在视觉增强网络中对高质量图像数据进行重建，得到重建后的图像数据，完成数据取证具体包括以下子步骤：

确定第二生成器G2的损失函数；

响应于确定第二生成器G2的损失函数，确定第二判别器D2的损失函数；

根据第二生成器G2的损失函数和第二判别器D2的损失函数，确定视觉增强网络的损失函数；

响应于确定视觉增强网络的损失函数，获得重建后的图像数据；

第二生成器G2的完整形式可以用以下公式表示：

表示G1表示取证网络FDN的对抗训练中学习到的梯度，其中p表示G1中的固定参数，固定参数p是从FDN网络中学习到的，视觉增强网络在VEN训练期间通过最小化来推导参数，表示第二生成器G2输入的输出，表示把伪造图像输入G2的输出再输入G1后的输出图像即再合成图像，表示判别器D2输入伪造图像输出的交叉熵。

2.如权利要求1所述的数据取证方法，其特征在于，第一判别器D1的损失函数定义为：

，其中表示第一判别器D1的参数，表示第一生成器G1输入伪造图像的输出，表示当第一判别器D1输入伪造图像与锐化图像拼接图像后的交叉熵损失。

3.如权利要求2所述的数据取证方法，其特征在于，令第一判别器D1不收敛，第一生成器G1收敛，并将第一判别器D1的损失函数和第一生成器G1的损失函数进行加和，得到取证网络的总损失函数，具体表示为：

，其中表示取证网络的总损失，表示第一判别器D1的损失函数，表示第一生成器G1的损失函数。

4.如权利要求3所述的数据取证方法，其特征在于，响应于获取取证网络的总损失函数后，将第一生成器G1的输出，以及输入至取证网络的第一判别器D1中，第一判别器D1输出高质量的图像数据。

5.如权利要求1所述的数据取证方法，其特征在于，在视觉增强网络中引入了移动视觉模块，通过引入移动视觉模块后的视觉增强网络进行高质量图像数据重建。

6.如权利要求5所述的数据取证方法，其特征在于，在视觉增强网络中对高质量图像数据进行重建，得到重建后的图像数据的过程包括，确定第二生成器G2的损失函数。