CN114093013B - 一种深度伪造人脸逆向溯源方法及系统 - Google Patents

Abstract

本发明公开了一种深度伪造人脸逆向溯源方法及系统，包括视频预处理、构建逆向映射网络及训练、梯度下降优化求解等。本发明考虑伪造模型未知和伪造模型已知这两种情况，分别采用基于逆向映射网络预测原始人脸、基于梯度下降优化求解原始人脸这两种方案，通过学习伪造人脸图像与原始人脸图像共享潜在空间中包含身份信息的隐码，将伪造人脸图像重构为具有原始人脸身份信息的溯源图像。本发明得到的溯源图像在视觉效果和身份特征两个方面都与原始人脸图像十分相似，具有较高的可信度，能解决实际应用场景中伪造人脸身份溯源的需求。

Description

一种深度伪造人脸逆向溯源方法及系统

技术领域

本发明属于人工智能安全技术领域，涉及一种深度伪造人脸逆向溯源方法及系统，具体涉及一种基于逆向映射网络及迭代优化的深度伪造人脸逆向溯源方法及系统。

背景技术

深度伪造是一种基于深度学习等智能化方法创建或合成伪造内容（如图像、视频）的技术。近年来，深度伪造图像视频生成技术依托于深度学习，正在以前所未有的速度发展，不仅可以生成换脸图像、模仿真人说话的动作表情，还可以创造出现实中不存在的人物，真正意义上实现了“以假乱真”。恶意的深度伪造图像视频内容借助互联网快速传播，对个人隐私、社会和国家安全等造成了潜在威胁。以“深度伪造”为技术支撑的政治人物及公众人物的“换脸”视频恶搞事件层出不穷，在世界范围内引起广泛关注，并且对“当事人”造成了非常恶劣的影响。

现阶段对深度伪造技术的防御工作主要集中于真伪的判别。微软亚洲研究院提出给换脸图像做“X-Ray”，检测图像是否是合成图片，并指出合成的边界，兼备了识别和解释两种特性。Face X-Ray 会识别换脸图像融合的边界，如果是真实图像，则不反馈边界。加州大学伯克利分校研究人员发现伪像在频域中表现为频谱的复制，真实照片的信号主要集中在中心区域，而GAN生成的图像，频谱图上出现了四个小点，据此设计的方法能识别ProGAN、StyleGAN、BigGAN、GauGAN、CycleGAN、StarGAN等12种AI模型的伪造。还有专门针对伪造人脸视频的检测技术，比如基于眨眼来鉴别深度伪造视频的方法，首先在视频帧层面提取出面部区域与眼睛区域，进而将其分配至长期循环卷积网络中实现对睁眼和闭眼状态的动态预测；基于眼睛和牙齿区域中缺失的反射和细节、面部区域的纹理特征和面部标志等生成特征向量，采用逻辑回归和全连接网络实现对深度伪造真伪视频的判别。

尽管这些先进的深度伪造检测算法在众多大型深度伪造人脸数据集上表现出极高的准确率，但这些鉴别算法只能核验人脸图像是否系伪造，而不能追溯伪造人脸的真实来源，即由哪个真实人物的人脸替换而来, 难以实现“知其然并知其所以然”的主动取证。然而在司法取证中，仅仅给出伪造结论是不具备司法公信力，因而需要研究具有溯源能力的鉴别技术，将真伪鉴别进一步拓展到伪造模式归因，解决实际场景中身份溯源的需求。

发明内容

为了解决上述技术问题，本发明基于多尺度全卷积神经网络及梯度下降优化求解，提供了一种基于逆向映射网络及迭代优化的深度伪造人脸逆向溯源方法及系统。

本发明的方法所采用的技术方案是：一种深度伪造人脸逆向溯源方法，包括以下步骤：

步骤1：收集伪造人脸-原始人脸图像对数据；

步骤2：构建并训练从伪造人脸到原始人脸的逆向映射网络；

所述逆向映射网络，整体由下采样路径和上采样路径构成，包括第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块、和1个1×1卷积块组成；所述第一3×3卷积块、第二3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块顺序连接，共同构成下采样路径，输入一张伪造人脸图像，经过下采样路径，得到包含原始人脸图像与伪造人脸图像共同身份信息的高维潜在特征；所述第四下采样块输出上采样后与所述第三下采样块输出进行拼接后输入所述第三3×3卷积块，所述第三3×3卷积块输出上采样后与所述第二下采样块输出进行拼接后输入所述第四3×3卷积块，所述第四3×3卷积块输出上采样后与所述第一下采样块输出进行拼接后输入所述第五3×3卷积块，所述第五3×3卷积块输出上采样后与所述第二3×3卷积块输出进行拼接后输入所述第六3×3卷积块，所述第六3×3卷积块输出输入所述1×1卷积块后输出，这个过程共同构成上采样路径，从包含原始人脸图像身份信息的高维潜在特征中重构出原始人脸图像；

所述第一下采样块、第二下采样块、第三下采样块、第四下采样块均由一个2×2最大池化层和两个连续的3×3卷积块构成；所述第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块均由一个3×3卷积层、一个批归一化层和一个修正线性单元层构成；所述1×1卷积块由一个1×1卷积层、一个批归一化层和一个修正线性单元层构成；

步骤3：若深度伪造模型未知，则将待溯源的伪造人脸图像输入训练好的逆向映射网络中，得到具有原始人脸图像身份信息的溯源图像；

若深度伪造模型已知，则基于已知的深度伪造模型和初始人脸图像，得到预测的伪造人脸图像，并与给定的伪造人脸图像计算损失；通过梯度下降迭代优化该损失函数，求解伪造来源人脸图像。

本发明的系统所采用的技术方案是：一种深度伪造人脸逆向溯源系统，包括以下模块：

模块1，用于收集伪造人脸-原始人脸图像对数据；

模块2，用于构建并训练从伪造人脸到原始人脸的逆向映射网络；

所述逆向映射网络，整体由下采样路径和上采样路径构成，包括第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块、和1个1×1卷积块组成；所述第一3×3卷积块、第二3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块顺序连接，共同构成下采样路径，输入一张伪造人脸图像，经过下采样路径，得到包含原始人脸图像与伪造人脸图像共同身份信息的高维潜在特征；所述第四下采样块输出上采样后与所述第三下采样块输出进行拼接后输入所述第三3×3卷积块，所述第三3×3卷积块输出上采样后与所述第二下采样块输出进行拼接后输入所述第四3×3卷积块，所述第四3×3卷积块输出上采样后与所述第一下采样块输出进行拼接后输入所述第五3×3卷积块，所述第五3×3卷积块输出上采样后与所述第二3×3卷积块输出进行拼接后输入所述第六3×3卷积块，所述第六3×3卷积块输出输入所述1×1卷积块后输出，这个过程共同构成上采样路径，从包含原始人脸图像身份信息的高维潜在特征中重构出原始人脸图像；

所述第一下采样块、第二下采样块、第三下采样块、第四下采样块均由一个2×2最大池化层和两个连续的3×3卷积块构成；所述第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块均由一个3×3卷积层、一个批归一化层和一个修正线性单元层构成；所述1×1卷积块由一个1×1卷积层、一个批归一化层和一个修正线性单元层构成；

模块3，用于若深度伪造模型未知，则将待溯源的伪造人脸图像输入训练好的逆向映射网络中，得到具有原始人脸图像身份信息的溯源图像；

若深度伪造模型已知，则基于已知的深度伪造模型和初始人脸图像，得到预测的伪造人脸图像，并与给定的伪造人脸图像计算损失；通过梯度下降迭代优化该损失函数，求解伪造来源人脸图像。

本发明的优点和积极效果：

（1）本发明采用逆向映射网络预测原始人脸、以及基于梯度下降优化求解原始人脸这两种方案，通过学习伪造人脸图像与原始人脸图像共享潜在空间中包含身份信息的隐码，将伪造人脸图像重构为具有原始人脸身份信息的溯源图像。不论是视觉效果，还是人脸识别模型输出的身份信息，本发明得到的溯源图像都能充分还原原始人脸图像，具有较高的可信度。

（2）本发明将深度伪造的真伪鉴别进一步拓展到深度伪造模式归因，能实现“知其然并知其所以然”的主动取证，解决实际应用场景中伪造人脸身份溯源的需求。

附图说明

图1为本发明实施例的方法原理图；

图2为本发明实施例构建的逆向映射网络示意图；

图3为本发明实施例的深度伪造人脸逆向溯源实验结果示意图，从左到右依次是伪造人脸、原始人脸和溯源人脸。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的深度伪造人脸逆向溯源方法，包括以下步骤：

步骤1：针对收集到的视频数据进行数据预处理，获取伪造人脸-原始人脸图像对数据；

步骤1.1：将伪造人脸视频和原始人脸视频进行下采样，选取视频中从特定帧开始的、固定帧数间隔的帧图像，保持伪造人脸视频与其来源的原始人脸视频下采样得到的视频帧一一对应。本发明选取从0秒开始、每秒一帧、每个视频共10帧图像作为原始数据集；

步骤1.2：在步骤1.1获取的帧图像中检测人脸区域，裁剪人脸图像，提取面部特征点，包括眼睛、鼻子和嘴巴位置；通过面部特征点将面部对齐，使得对齐后的人脸位于图像中心；将处理后的人脸图像组织为伪造人脸-原始人脸图像对数据。

步骤2：构建并训练从伪造人脸到原始人脸的逆向映射网络；

设

分别表示原始人脸图像空间与伪造人脸图像空间，

表示原始人脸图像，

表示伪造后的人脸图像。两个图像空间S和T之间共享一个潜在 的空间，对于任意一对图像s和t，存在一个共享潜在空间中的隐码z，该隐码z包含了原始人 脸图像与伪造人脸图像的身份信息。可以通过这两个图像计算出这个隐码，也可以通过该 隐码还原出这两个图像。也就是说，存在映射函数E ₁，E ₂，D ₁和D ₂，对于一个给定的图像对(s,t)，有：

，并且

。那么，从S到T的映射可以表示 为：

。DeepFake模型要解决的基本问题就是如何学习函数

。 基本DeepFake生成方法用编码器学习函数E ₁的映射，用解码器学习函数D ₁的映射，从而学习 到函数

的映射。而进行DeepFake逆向溯源的基本问题则是逆向学习DeepFake的生成过 程，即学习从T到S的映射。依据循环一致性原则，也能将T到S的映射表示为：

。这就意味着，如果能用神经网络模拟函数D ₂和E ₂的映 射，那么就能从伪造人脸图像t中重构出原始人脸图s。本实施例构建一个多尺度全卷积神 经网络，作为逆向映射网络。多尺度网络架构能使图像感知损失更小，生成更真实的人脸图 像，同时使用较少的参数，加快训练速度。

请见图2，本实施例的逆向映射网络，整体由下采样路径和上采样路径构成，包括第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块、和1个1×1卷积块组成；第一3×3卷积块、第二3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块顺序连接；共同构成下采样路径，模拟函数E ₂的映射。输入一张伪造人脸图像，经过下采样路径，得到包含原始人脸图像与伪造人脸图像共同身份信息的高维潜在特征；第四下采样块输出上采样后与第三下采样块输出进行拼接后输入第三3×3卷积块，第三3×3卷积块输出上采样后与第二下采样块输出进行拼接后输入第四3×3卷积块，第四3×3卷积块输出上采样后与第一下采样块输出进行拼接后输入第五3×3卷积块，第五3×3卷积块输出上采样后与第二3×3卷积块输出进行拼接后输入第六3×3卷积块，第六3×3卷积块输出输入1×1卷积块后输出，这个过程共同构成上采样路径，用来模拟函数D ₂的映射，从包含原始人脸图像身份信息的高维潜在特征中重构出原始人脸图像；

第一下采样块、第二下采样块、第三下采样块、第四下采样块均由一个2×2最大池化层和两个连续的3×3卷积块构成；第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块均由一个3×3卷积层、一个批归一化层和一个修正线性单元层构成；1×1卷积块由一个1×1卷积层、一个批归一化层和一个修正线性单元层构成；

本实施例以步骤1中获取的伪造人脸图像及原始人脸图像数据分别作为输入和监督样本，学习逆向映射网络的逆向映射过程；将待溯源的伪造人脸图像输入训练好的逆向映射网络中，得到具有原始人脸图像身份信息的溯源图像；

步骤2.1：读取步骤1得到的伪造人脸图像，使用两个连续的3×3卷积块提取边缘特征和简单的形状特征；

步骤2.2：将步骤2.1得到的基础特征输入下采样路径中，从基础特征中进一步提取出高维潜在特征。整个下采样路径由4个连续的下采样块构成，每个下采样块由一个2×2最大池化层和两个连续的3×3卷积块构成。在每个下采样步骤中，将特征通道的数量增加一倍；

步骤2.3：将步骤2.2得到的高维潜在特征输入上采样路径中，从高维潜在特征中重构出原始人脸图像。上采样路径与下采样路径完全对称。每经过上采样路径中的一步，先将下采样得到的特征图进行3×3上卷积，特征通道的数量减半。接着与同尺度（每经过一次下采样或一次上采样算作一个尺度）的下采样路径中的特征图进行拼接，从而保证最后恢复出来的特征图融合了更多浅层特征，且可以进行多尺度预测和更高维的监督。4次连续的上采样使得最后得到的原始人脸图像重构人脸信息更加精细。最后，使用一个1×1的卷积块将每个64分量特征向量映射为原始人脸图像；

本实施例使用随机梯度下降法（SGD）优化损失函数。每轮迭代中，SGD抽取一小批 伪造人脸图像，输入全卷积神经网络进行前向传播，并获得相应的溯源图像。计算溯源图像 与原始人脸图像的

距离作为损失项，反向传播损失并使用随机梯度下降法SGD更新参数。

步骤3：若深度伪造模型未知，则将待溯源的伪造人脸图像输入训练好的逆向映射网络中，得到具有原始人脸图像身份信息的溯源图像；

若深度伪造模型已知，则基于已知的深度伪造模型和初始人脸图像，得到预测的伪造人脸图像，并与给定的伪造人脸图像计算损失；通过梯度下降迭代优化该损失函数，求解伪造来源人脸图像。具体包括以下子步骤：

步骤3.1：对于输入的原始人脸图像I _src ，深度伪造模型

将其伪造为I _fak ，即

。那么对于给定的伪造人脸I _fak ，估计其对应的原始人脸I _src 的过程可转化为 如下全变差正则化的L2优化问题：

其中， TV（）表示全变差，求得原始人脸图像I _src 经过一个伪造过程后得到的伪造 图像与给定伪造人脸图像I _fak 之间的l ₂ 距离，并配合一个I _src 的全变差损失，以约束其噪声，

为两个损失项的平衡参数，

为溯源图像；

步骤3.2：基于梯度下降法迭代优化求解

：

其中，

表示[0, 255]间的嵌位运算，

代表梯度运算符，

为学习率参数， 随着优化次数的增加而衰减，

的迭代初值设为步骤3.1得到的I _fak 。

请见图3，为本实施例的深度伪造人脸逆向溯源实验结果，从左到右依次是伪造人脸、原始人脸和溯源人脸。可以看出本实施例得到的溯源人脸图像基本能还原出原始人脸图像。

上述试验证明了本发明能通过伪造人脸图像溯源得到原始人脸图像，且溯源结果具有较高的可信度。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种深度伪造人脸逆向溯源方法，其特征在于，包括以下步骤：

步骤1：收集伪造人脸-原始人脸图像对数据；

步骤2：构建并训练从伪造人脸到原始人脸的逆向映射网络；

所述逆向映射网络，整体由下采样路径和上采样路径构成，包括第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块、和1个1×1卷积块组成；所述第一3×3卷积块、第二3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块顺序连接，共同构成下采样路径，输入一张伪造人脸图像，经过下采样路径，得到包含原始人脸图像与伪造人脸图像共同身份信息的高维潜在特征；所述第四下采样块输出上采样后与所述第三下采样块输出进行拼接后输入所述第三3×3卷积块，所述第三3×3卷积块输出上采样后与所述第二下采样块输出进行拼接后输入所述第四3×3卷积块，所述第四3×3卷积块输出上采样后与所述第一下采样块输出进行拼接后输入所述第五3×3卷积块，所述第五3×3卷积块输出上采样后与所述第二3×3卷积块输出进行拼接后输入所述第六3×3卷积块，所述第六3×3卷积块输出输入所述1×1卷积块后输出，这个过程共同构成上采样路径，从包含原始人脸图像身份信息的高维潜在特征中重构出原始人脸图像；

所述第一下采样块、第二下采样块、第三下采样块、第四下采样块均由一个2×2最大池化层和两个连续的3×3卷积块构成；所述第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块均由一个3×3卷积层、一个批归一化层和一个修正线性单元层构成；所述1×1卷积块由一个1×1卷积层、一个批归一化层和一个修正线性单元层构成；

步骤3：若深度伪造模型未知，则将待溯源的伪造人脸图像输入训练好的逆向映射网络中，得到具有原始人脸图像身份信息的溯源图像；

若深度伪造模型已知，则基于已知的深度伪造模型和初始人脸图像，得到预测的伪造人脸图像，并与给定的伪造人脸图像计算损失；通过梯度下降迭代优化损失函数，求解伪造来源人脸图像。

2.根据权利要求 1所述的深度伪造人脸逆向溯源方法，其特征在于，步骤1的具体实现包括以下子步骤：

步骤1.1：将伪造人脸视频和原始人脸视频进行下采样，选取视频中从指定帧开始的、固定帧数间隔的帧图像，保持伪造人脸视频与其来源的原始人脸视频下采样得到的视频帧一一对应；

步骤1.2：在步骤1.1获取的帧图像中检测人脸区域，裁剪人脸图像，提取面部特征点，包括眼睛、鼻子和嘴巴位置；通过面部特征点将面部对齐，使得对齐后的人脸位于图像中心；将处理后的人脸图像组织为伪造人脸-原始人脸图像对数据。

3.根据权利要求 1所述的深度伪造人脸逆向溯源方法，其特征在于：步骤2中所述训练从伪造人脸到原始人脸的逆向映射网络，使用随机梯度下降法SGD优化损失函数；每轮迭代中，SGD抽取一批伪造人脸图像，输入逆向映射网络进行前向传播，并获得相应的溯源图像；计算溯源图像与原始人脸图像的l ₂ 距离作为损失项，反向传播损失并使用随机梯度下降法SGD更新参数。

4.根据权利要求 1-3任意一项所述的深度伪造人脸逆向溯源方法，其特征在于：步骤3中，若深度伪造模型已知，则具体实现过程包括以下子步骤：

步骤3.1：对于给定的伪造人脸

，其中

为深度伪造模型， I _src 为原始人脸图像；估计I _fak 对应的原始人脸I _src 的过程转化为如下全变差正则化的L2优化问题：

其中， TV（）表示全变差，求得原始人脸图像I _src 经过一个伪造过程后得到的伪造图像与给定伪造人脸图像I _fak 之间的l ₂ 距离，并配合一个I _src 的全变差损失，以约束其噪声，

为两个损失项的平衡参数，

为溯源图像；

步骤3.2：基于梯度下降法迭代优化求解

：

其中，

表示[0, 255]间的嵌位运算，

代表梯度运算符，

为学习率参数，随着优化次数的增加而衰减，

的迭代初值设为步骤3.1得到的I _fak 。

5.一种深度伪造人脸逆向溯源系统，其特征在于，包括以下模块：

模块1，用于收集伪造人脸-原始人脸图像对数据；

模块2，用于构建并训练从伪造人脸到原始人脸的逆向映射网络；

所述逆向映射网络，整体由下采样路径和上采样路径构成，包括第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块、和1个1×1卷积块组成；所述第一3×3卷积块、第二3×3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块顺序连接，共同构成下采样路径，输入一张伪造人脸图像，经过下采样路径，得到包含原始人脸图像与伪造人脸图像共同身份信息的高维潜在特征；所述第四下采样块输出上采样后与所述第三下采样块输出进行拼接后输入所述第三3×3卷积块，所述第三3×3卷积块输出上采样后与所述第二下采样块输出进行拼接后输入所述第四3×3卷积块，所述第四3×3卷积块输出上采样后与所述第一下采样块输出进行拼接后输入所述第五3×3卷积块，所述第五3×3卷积块输出上采样后与所述第二3×3卷积块输出进行拼接后输入所述第六3×3卷积块，所述第六3×3卷积块输出输入所述1×1卷积块后输出，这个过程共同构成上采样路径，从包含原始人脸图像身份信息的高维潜在特征中重构出原始人脸图像；

所述第一下采样块、第二下采样块、第三下采样块、第四下采样块均由一个2×2最大池化层和两个连续的3×3卷积块构成；所述第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块、第六3×3卷积块均由一个3×3卷积层、一个批归一化层和一个修正线性单元层构成；所述1×1卷积块由一个1×1卷积层、一个批归一化层和一个修正线性单元层构成；

模块3，用于若深度伪造模型未知，则将待溯源的伪造人脸图像输入训练好的逆向映射网络中，得到具有原始人脸图像身份信息的溯源图像；

若深度伪造模型已知，则基于已知的深度伪造模型和初始人脸图像，得到预测的伪造人脸图像，并与给定的伪造人脸图像计算损失；通过梯度下降迭代优化损失函数，求解伪造来源人脸图像。

Images