CN113822377B - 基于对比自学习的伪造人脸检测方法 - Google Patents

Abstract

本发明公开了一种基于对比自学习的伪造人脸检测方法，首先进行多级正样本对的构建；对输入图像的特征表示；利用映射网络将特征映射至超球面；计算并更新当前批次中真实类别特征的中心；计算当前批次中所有特征与中心的相似度；选取与真实类别中心相似度最低的真实类别特征以及相似度最高的伪造类别特征并组合得到新的特征；将新的特征与原始批次中所有特征反向传播优化编码器参数；然后利用编码器和分类器得到最终的预测类别。本发明利用对比学习以无监督自学习的形式约束网络从相同类别提取到互信息最大特征的特性，并利用类别标签对类内的平均相似度加以约束，提升网络学习特征的准确性与鲁棒性，实现折损条件下对伪造人脸的有效检测。

Description

基于对比自学习的伪造人脸检测方法

技术领域

本发明涉及深度伪造检测，特别是一种基于对比自学习的伪造人脸检测方法。

背景技术

深度伪造技术通常是借助生成对抗网络或变分自编码器将图片或视频叠加到源图片或视频上，将个人的声音、面部表情及身体动作拼接合成虚假内容的人工智能技术。尽管深度伪造技术存在许多正面的应用，但也不应忽视对其滥用可能导致的个人权益以及公共安全乃至国家安全层面的危害。因此深度伪造检测技术也就应运而生。

目前针对人脸替换的深度伪造检测技术主要可以分为基于传统图像取证方法的检测、基于图像篡改痕迹的检测、基于GAN图像特征的检测与基于生物特征的检测。基于传统图像取证方法的检测传统的图像取证初始主要是基于传统的信号处理方法，大多数依赖于特定篡改的证据，利用图像的频域特征和统计特征进行区分；基于图像篡改痕迹的检测识别伪造过程中在合成的人脸在细节上由于技术的局限性产生的不足；基于GAN图像特征的检测识别GAN在生成伪造图像时对图像的修改，如图像的像素、色度等空间统计特征；而基于生物信号的检测通过判断视频中面部眨眼、嘴唇的移动、毛细血管的血液流动等微表情是否符合真实面部的变化进行基于生理信息合理性的伪造人脸的检测，由于生物信号为时序信号，因此面向生物信号的检测是基于视频的检测方法。

发明内容

本发明解决的技术问题：提供一种利用对比学习固有特性针对深度伪造视频进行通用的深度伪造检测工具。

技术方案：为了解决上述技术问题，本发明采用的技术方案如下：

一种基于对比自学习的伪造人脸检测方法，其特征在于，首先构建多级正样本对；对输入图像进行特征表示；利用映射网络将特征映射至超球面；然后，计算并更新当前批次中真实类别特征的中心；计算当前批次中所有特征与中心的相似度；选取与真实类别中心相似度最低的真实类别特征以及相似度最高的伪造类别特征并组合得到新的特征；将新的特征与原始批次中所有特征反向传播优化编码器参数；最后，冻结编码器参数训练得到分类器；利用不包含映射网络的编码器与分类器得到最终的预测类别。具体包括如下步骤：

步骤1：构建多级正样本对；

步骤2：将正样本对分别输入编码器，得到特征表示对；

步骤3：将特征表示输入映射网络，得到映射至超球面的特征对；

步骤4：选取当前批次中所有真实类别的特征，计算真实类别特征的中心；

步骤5：计算当前批次中所有特征与真实类别中心的相似度；

步骤6：选取与真实类别中心相似度最低的真实类别特征，以及相似度最高的伪造类别特征并组合得到融合的特征；

步骤7：利用融合的特征与原始特征反向传播优化编码器参数，当迭代次数未达到设定值时，重复步骤2-7；

步骤8：冻结编码器参数，训练分类器；

步骤9：将输入图像依次输入编码器、分类器，得到预测类别。

进一步地，步骤1中，构建多级正样本对的方法如下：根据帧内、视频内、相同源人物内、相同目标人物内四种关系，针对同一帧、一段视频内的前后帧、相同源人物视频的对应帧以及相同目标人物视频的对应帧构建正样本对（x ^q ，x ^k ），x ^q 表示查询样本，x ^k 表示键值样本。

进一步地，步骤2中，将正样本对分别输入编码器，得到特征表示对的方法如下：对每一对样本对进行由随机裁剪、随机翻转、随机色彩变换和随机灰度变换构成的数据增广操作，得到输入正样本对；然后将输入正样本对输入编码器，得到特征表示对。

进一步地，步骤3中，将特征表示输入映射网络，得到映射至超球面的特征对的方法如下：

步骤3.1：令(v ^q ，v ^k )为特征表示对，h为映射网络，(h(v ^q )，h(v ^k ))为映射得到的特征对；

步骤3.2：通过2范数将映射得到的特征对归一化至单位超球面，将归一化后的特征表示为（z ^q ，z ^k ）

。

进一步地，步骤4中，选取当前批次中所有真实类别的特征，计算真实类别特征的中心，方法如下：

步骤4.1：令c _i 为当前批次的真实类别特征中心，c为当前真实类别特征中心，i=0时，c _i-1 取0；

步骤4.2：统计当前批次内真实类别特征数量n _i ，n为至上一个批次为止累计真实类别特征数量，当i=0时，n _i-1 取0；

步骤4.3：记

为当前批次内所有真实类别样本特征，计算当前批次内真实样本特征的中心c _i

步骤4.4：通过当前批次的真实类别特征中心c _i 更新当前真实类别特征中心c,

λ为系数，确保真实类别的中心尽量逼近真实值，当前批次的真实类别特征需保持较大的贡献，λ=0.6。

进一步地，步骤5中，计算当前批次中所有特征与真实类别中心的相似度，方法如下：

步骤5.1：记

为当前批次内所有真实类别样本特征，通过点乘计算当前批次内所有真实类别样本特征与真实类别特征中心的相似度

步骤5.2：记m _i 为当前批次内所有伪造样本的数量，记

为当前批次内所有伪造类别样本特征，通过点乘计算当前批次内所有伪造类别样本特征与真实类别特征中心的相似度

。

进一步地，步骤6中，选取与真实类别中心相似度最低的真实类别特征，以及相似度最高的伪造类别特征并通过组合得到融合的特征，方法如下：

步骤6.1：对于当前批次内所有真实类别查询样本特征、所有真实类别键值样本特征、所有伪造类别查询样本特征、所有伪造类别键值样本特征，分别根据相似度为四类样本特征排序，并分别选取相似度最低与相似度最高的前k个特征作为候选难样本特征；

步骤6.2：记

为当前批次内候选真实类别查询难样本特征，

为当前批次内候选真实类别键值难样本特征，

为当前批次内候选伪造类别查询难样本特征，

为当前批次内候选伪造类别键值难样本特征，α为组合系数，通过线性组合得到融合的特征

。

进一步地，步骤7中，利用融合的特征与原始特征反向传播优化编码器参数，当迭代次数未达到设定值时，重复步骤2-7，方法如下：首先将融合的特征添加至键值样本特征，记

为经融合特征扩充后的输入正样本特征对；然后将输入正样本特征对输入有监督InfoNCE损失优化网络参数。

进一步地，利用融合的特征与原始特征反向传播优化编码器参数具体实现方法如下：

步骤7.1：记批次大小为a，

为所有特征的集合，对应的序号集为

；

步骤7.2：记

为有监督InfoNCE损失函数，将正样本特征输入损失函数优化网络参数，

式中，z _i 为序号集I的对应特征，A(i)=I\{i}表示当前批次中去除所有样本特征集合与融合的特征集合Z ^mix 并集的序号，z _a 为对应特征，P(i)={p∈A(i)|y_p=y_i}表示当前批次中所有与第i个样本属于相同类别的特征的序号集合，z _p 为对应特征，

为温度系数。

有益效果：与现有技术相比，本发明具有以下优点：

（1）本发明将深度伪造人脸检测看作异常检测问题，以无监督自学习的形式约束真实样本特征与伪造样本特征类内的一致性，并利用类别标签对类内的平均相似度加以约束，实现伪造人脸的检测，相对于其他看作一般分类问题的方法，能够更为有效地约束提取到特征的准确性与鲁棒性。

（2）本发明通过与真实类别样本中心特征相似度的比较发现难样本并进行特征的融合加大难样本的困难性，是对对比学习方法的深入改进。

（3）本发明将对比学习应用到伪造人脸检测上，拓宽了方法的应用范围，给深度伪造检测方法提供另一种参考。

附图说明

图1是本发明群智能单像素生成扰动与攻击方法的流程示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

本发明的基于对比自学习的伪造人脸检测方法，首先构建多级正样本对；对输入图像进行特征表示；利用映射网络将特征映射至超球面；然后，计算并更新当前批次中真实类别特征的中心；计算当前批次中所有特征与中心的相似度；选取与真实类别中心相似度最低的真实类别特征以及相似度最高的伪造类别特征并组合得到新的特征；将新的特征与原始批次中所有特征反向传播优化编码器参数；最后，冻结编码器参数训练得到分类器；利用不包含映射网络的编码器与分类器得到最终的预测类别，具体包括如下步骤1-步骤9共九大步骤：

步骤1：构建多级正样本对，具体方式如下：

根据帧内、视频内、相同源人物内、相同目标人物内四种关系，针对同一帧、一段视频内的前后帧、相同源人物视频的对应帧以及相同目标人物视频的对应帧构建正样本对（x ^q ，x ^k ），x ^q 表示查询样本，x ^k 表示键值样本。

步骤2：将正样本对分别输入编码器，得到特征表示对，具体方式如下：

步骤2.1：对每一对样本对进行由随机裁剪、随机翻转、随机色彩变换（包括亮度、对比度、饱和度与色相等）和随机灰度变换构成的数据增广操作，得到输入正样本对；

步骤2.2：将输入正样本对输入编码器，得到特征表示对。

输入到编码器得到特征表示对之后，判断是否达到编码器最大迭代次数，如果达到最大迭代次数，则执行步骤8；如果没有达到编码器最大迭代次数，则执行步骤3。

步骤3：将特征表示输入映射网络，得到映射至超球面的特征对，具体方式如下：

步骤3.1：令(v ^q ，v ^k )为特征表示对，h为映射网络，(h(v ^q )，h(v ^k ))为映射得到的特征对；

步骤3.2：通过2范数将映射得到的特征对归一化至单位超球面，将归一化后的特征表示为（z ^q ，z ^k ）：

。

步骤4：选取当前批次中所有真实类别的特征，计算真实类别特征的中心，具体方式如下：

步骤4.1：令c _i 为当前批次的真实类别特征中心，c为当前真实类别特征中心，当i=0时，c _i-1 取0；

步骤4.2：统计当前批次内真实类别特征数量n _i ，n为至上一个批次为止累计真实类别特征数量，当i=0时，n _i-1 取0；

步骤4.3：记

为当前批次内所有真实类别样本特征，计算当前批次内真实样本特征的中心c _i

步骤4.4：通过当前批次的真实类别特征中心c _i 更新当前真实类别特征中心c,

λ为系数，确保真实类别的中心尽量逼近真实值，当前批次的真实类别特征需保持较大的贡献，λ=0.6。

步骤5：计算当前批次中所有特征与真实类别中心的相似度，具体方式如下：

步骤5.1：记

为当前批次内所有真实类别样本特征，通过点乘计算当前批次内所有真实类别样本特征与真实类别特征中心的相似度

；

步骤5.2：记m _i 为当前批次内所有伪造样本的数量，记

为当前批次内所有伪造类别样本特征，通过点乘计算当前批次内所有伪造类别样本特征与真实类别特征中心的相似度

。

步骤6：选取与真实类别中心相似度最低的真实类别特征，以及相似度最高的伪造类别特征并组合得到融合的特征，具体方式如下：

步骤6.1：对于当前批次内所有真实类别查询样本特征、所有真实类别键值样本特征、所有伪造类别查询样本特征、所有伪造类别键值样本特征，分别根据相似度为四类样本特征排序，并分别选取相似度最低与相似度最高的前k个特征作为候选难样本特征；

步骤6.2：记

为当前批次内候选真实类别查询难样本特征，

为当前批次内候选真实类别键值难样本特征，

为当前批次内候选伪造类别查询难样本特征，

为当前批次内候选伪造类别键值难样本特征，α为组合系数，通过线性组合得到融合的特征

。

进一步地，步骤7中，利用融合的特征与原始特征反向传播优化编码器参数，当迭代次数未达到设定值时，重复步骤2-7，方法如下：首先将融合的特征添加至键值样本特征，记

为经融合特征扩充后的输入正样本特征对；然后将输入正样本特征对输入有监督InfoNCE损失优化网络参数。

进一步地，利用融合的特征与原始特征反向传播优化编码器参数具体实现方法如下：

步骤7.1：记批次大小为a，

为所有特征的集合，对应的序号集为

；

步骤7.2：记

为有监督InfoNCE损失函数，将正样本特征输入损失函数优化网络参数，

式中，z _i 为序号集I的对应特征，A(i)=I\{i}表示当前批次中去除所有样本特征集合与融合的特征集合Z ^mix 并集的序号，z _a 为对应特征，P(i)={p∈A(i)|y_p=y_i}表示当前批次中所有与第i个样本属于相同类别的特征的序号集合，z _p 为对应特征，

为温度系数。

步骤8：冻结编码器参数，训练分类器；

编码器采用去除最后一个全连接层的Xception，映射网络采用单层MLP，分类器应用线性分类器。

步骤9：将输入图像依次输入编码器、分类器，如果达到分类器最大迭代次数，则输出预测类别真实或伪造，如果分类器没有达到最大迭代次数，则开始重复执行步骤2。

通过以下实验验证本发明的方法有效性和效率：

评估标准为准确率，该度量表示被成功识别的样本占所有样本的比例。

首先选定数据集，Celeb-DF-v2数据集。Celeb-DF-v2数据集包括890段真实视频和5639段伪造视频。真实视频中，590段为来自Youtube的名人视频，300段为来自Youtube的附加视频，其中，名人视频包含61位名人的10-16个视频片段，而伪造视频通过对这61位名人的交叉伪造得到。用于训练的视频共6011段，包括5299段伪造视频与712段真实视频；用于测试的视频共518段，包括340段伪造视频与178段真实视频。此外，以23与40作为压缩比对视频进行压缩。通过dlib进行人脸识别，并对识别结果的上边界扩充扩充60%，下边界扩充20%，左右边界分别扩充30%，得到实际作为输入的人脸图像。

实验的编码器采用去除最后一个全连接层的Xception，映射网络采用单层MLP，分类器应用线性分类器，验证对比学习在深度伪造检测领域中可应用性。

用Celeb-real表示对名人真实视频的识别准确率，Youtube-real表示对附加真实视频的检测准确率，Celeb-synthesis表示对伪造视频的识别准确率， Celeb-DF-v2数据集实验结果如下：

表1本发明方法在Celeb-DF-v2数据集上的检测结果

表1的结果表示，对于Celeb-DF-v2数据集的伪造人脸检测，本发明方法的检测准确率显示了方法的总体有效性。对于原始数据集与压缩比为23的模拟高折损形式下，本发明方法表现出较高的准确率与鲁棒性，而对于压缩比为40的模拟高折损形式下，由于伪造特征的高度折损，本发明方法表现出一定的有效性。总体而言，本发明方法能够有效识别图像的原始特征与深度伪造造成的伪造特征。根据上面提到的结果，利用基于对比自学习的伪造人脸检测方法创建了通用的深度伪造检测工具。

本发明将对比学习与深度伪造检测相结合，对比学习学习类内的一致性，通过最大化相同类别样本间的互信息，以无监督自学习的形式拉近类内距，拉大类间距，更为有效进行表示学习，与通常的直接训练分类网络的方法相比，具有鲁棒性强，通用性高的特点。

对比学习假设同一类别的样本具有相似的特征，属于无监督自学习范畴。本发明利用对比学习以无监督自学习的形式约束网络从相同类别提取到互信息最大特征的特性，并利用类别标签对类内的平均相似度加以约束，辅以基于单中心的难样本生成策略，提升网络学习到特征的准确性与鲁棒性，以有监督方式实现折损条件下对伪造人脸的有效检测。本发明将对比学习应用到伪造人脸检测领域，给伪造人脸检测方法提供另一种参考。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于对比自学习的伪造人脸检测方法，其特征在于，包括如下步骤：

步骤1，首先构建多级正样本对；

步骤2，对输入图像进行特征表示：将正样本对分别输入编码器，得到特征表示对；

步骤3，利用映射网络将特征映射至超球面：将特征表示输入映射网络，得到映射至超球面的特征对；

步骤4，选取当前批次中所有真实类别的特征，计算并更新真实类别特征的中心；

步骤5，计算当前批次中所有特征与真实类别中心的相似度；

步骤6，选取与真实类别中心相似度最低的真实类别特征，以及相似度最高的伪造类别特征并组合得到融合的特征；

步骤7：利用融合的特征与原始批次中所有特征反向传播优化编码器参数，当迭代次数未达到设定值时，重复步骤2-7；

步骤8：冻结编码器参数，训练得到分类器；

步骤9：将输入图像依次输入编码器、分类器，利用不包含映射网络的编码器与分类器得到最终的预测类别。

2.根据权利要求1所述的基于对比自学习的伪造人脸检测方法，其特征在于，步骤1中，构建多级正样本对的方法如下：根据帧内、视频内、相同源人物内、相同目标人物内四种关系，针对同一帧、一段视频内的前后帧、相同源人物视频的对应帧以及相同目标人物视频的对应帧构建正样本对（x ^q ，x ^k ），x ^q 表示查询样本，x ^k 表示键值样本。

3.根据权利要求1所述的基于对比自学习的伪造人脸检测方法，其特征在于，步骤2中，将正样本对分别输入编码器，得到特征表示对的方法如下：对每一对样本对进行由随机裁剪、随机翻转、随机色彩变换和随机灰度变换构成的数据增广操作，得到输入正样本对；然后将输入正样本对输入编码器，得到特征表示对。

4.根据权利要求1所述的基于对比自学习的伪造人脸检测方法，其特征在于，步骤3中，将特征表示输入映射网络，得到映射至超球面的特征对的方法如下：

步骤3.1：令(v ^q ，v ^k )为特征表示对，h为映射网络，(h(v ^q )，h(v ^k ))为映射得到的特征对；

步骤3.2：通过2范数将映射得到的特征对归一化至单位超球面，将归一化后的特征表示为（z ^q ，z ^k ）：

。

5.根据权利要求1所述的基于对比自学习的伪造人脸检测方法，其特征在于，步骤4中，选取当前批次中所有真实类别的特征，计算真实类别特征的中心，方法如下：

步骤4.1：令c _i 为当前批次的真实类别特征中心，c为当前真实类别特征中心，当i=0时，c _i-1 取0；

步骤4.2：统计当前批次内真实类别特征数量n _i ，n为至上一个批次为止累计真实类别特征数量，当i=0时，n _i-1 取0；

步骤4.3：记

为当前批次内所有真实类别样本特征，计算当前批次内 真实样本特征的中心c _i

步骤4.4：通过当前批次的真实类别特征中心c _i 更新当前真实类别特征中心c,

λ为系数，确保真实类别的中心尽量逼近真实值，当前批次的真实类别特征需保持较大的贡献，λ=0.6。

6.根据权利要求1所述的基于对比自学习的伪造人脸检测方法，其特征在于，步骤5中，计算当前批次中所有特征与真实类别中心的相似度，方法如下：

步骤5.1：记

为当前批次内所有真实类别样本特征，通过点乘计算当前 批次内所有真实类别样本特征与真实类别特征中心的相似度

步骤5.2：记m _i 为当前批次内所有伪造样本的数量，记

为当前批次内所 有伪造类别样本特征，通过点乘计算当前批次内所有伪造类别样本特征与真实类别特征中 心的相似度

。

7.根据权利要求1所述的基于对比自学习的伪造人脸检测方法，其特征在于，步骤6中，选取与真实类别中心相似度最低的真实类别特征，以及相似度最高的伪造类别特征并通过组合得到融合的特征，方法如下：

步骤6.1：对于当前批次内所有真实类别查询样本特征、所有真实类别键值样本特征、所有伪造类别查询样本特征、所有伪造类别键值样本特征，分别根据相似度为四类样本特征排序，并分别选取相似度最低与相似度最高的前k个特征作为候选难样本特征；

步骤6.2：记

为当前批次内候选真实类别查询难样本特征，

为当前批次内候选真实类别键值难样本特征，

为当前批次内候选伪造类别查询难样本特征，

为当前批次内候选伪造 类别键值难样本特征，α为组合系数，通过线性组合得到融合的特征

。

8.根据权利要求1所述的基于对比自学习的伪造人脸检测方法，其特征在于，步骤7中， 利用融合的特征与原始特征反向传播优化编码器参数，当迭代次数未达到设定值时，重复 步骤2-7，方法如下：首先将融合的特征添加至键值样本特征，记

为经融合特征扩充 后的输入正样本特征对；然后将输入正样本特征对输入有监督InfoNCE损失优化网络参数。

9.根据权利要求8所述的基于对比自学习的伪造人脸检测方法，其特征在于，利用融合的特征与原始特征反向传播优化编码器参数具体实现方法如下：

步骤7.1：记批次大小为a，

为所有特征的集 合，对应的序号集为

；

步骤7.2：记

为有监督InfoNCE损失函数，将正样本特征输入损失函数优化网络参数，

式中，z _i 为序号集I的对应特征，A(i)=I\{i}表示当前批次中去除所有样本特征集合与 融合的特征集合Z ^mix 并集的序号，z _a 为对应特征，P(i)={p∈A(i)|y_p=y_i}表示当前批次中所 有与第i个样本属于相同类别的特征的序号集合，z _p 为对应特征，

为温度系数。

Images