CN117238015A - 一种基于生成模型的通用深度伪造检测方法 - Google Patents

Abstract

本发明公开了一种基于生成模型的深度伪造检测方法，能够根据不同类型伪造数据的检测模型知识，有效捕捉通用伪造表征，并利用条件生成模型作为不同检测模型知识间的门限函数，高效地捕捉伪造痕迹，减少模型训练量，提高伪造检测模型的可扩展性，从而提升深度伪造检测模型的通用性。按照伪造算法的类型划分数据集，提高训练专家模型的精度，并利用生成模型高效地学习多种伪造算法的伪造特征，缩小了检测模型表征和视觉伪造痕迹之间的差异，提高深度伪造检测模型的通用性，采用生成模型融合多组伪造检测模型表征，提高了表征融合的效率，方法仅使用一层线性层融合，大大降低了模型的训练参数量，降低了训练通用深度伪造模型的训练开销。

Description

一种基于生成模型的通用深度伪造检测方法

技术领域

本发明涉及基于人工智能(AI)的图像分类领域，具体涉及一种基于生成模型的深度伪造检测方法。

背景技术

随着计算机视觉，深度学习技术的发展，使用人工智能手段合成与编辑图像逐渐兴起并日趋成熟，其中，人脸合成与编辑技术的发展使得人脸伪造问题更为突出，伪造人脸往往会引起网络舆论风暴、当事人名誉侵害等诸多社会问题。为了抵御人脸深度伪造算法的滥用，深度伪造检测算法旨在鉴别输入图像是否经过深度伪造算法篡改。

然而不同类型深度伪造数据分布差异大，现有检测算法存在过拟合问题，导致检测算法通用性差。现有研究表明联合从不同类型伪造数据训练得到的检测模型可以有效捕捉多样化的伪造痕迹，实现对深度伪造检测通用性的提升。现有提升深度伪造检测模型通用性的方法分为联合模型输出和联合模型表征两种方法，联合模型输出方法将所有检测模型的输出取平均得到最终的预测，该方法由于并未解决深度伪造的过拟合问题，导致检测效果差；联合模型表征方法利用门限函数融合来自不同类型伪造数据的伪造特征，现有门限函数由线性层构成，联合不同检测模型的表征，然而特定类型伪造检测模型无法正确刻画其他伪造类型数据的分布，往往包含冗余的噪声特征，并未有效放大不同类型伪造算法的伪造痕迹，在检测模型数量多的情况下检测效果差，从而导致检测方法的通用性和可扩展性差。因此，亟需设计数据与模型可扩展的深度伪造检测模型专用门限函数，以提高深度伪造检测模型的通用性和可扩展性。

本发明存在如下技术问题：

1)现有提升深度伪造检测模型通用性的方法并不能解决模型对不同伪造类型数据的过拟合现象，导致通用性不强；

2)现有提升深度伪造检测模型通用性的方法缺乏对深度伪造数据分布的有效刻画，包含冗余的噪声特征，在检测模型数量多的情况下，通用性差；

3)现有提升深度伪造检测模型通用性的方法无法联合表征大小不一致的模型以获得通用伪造表征，不适用于检测模型异构场景下模型通用性的提升；

4)现有提升深度伪造检测模型通用性的方法需调整来自不同伪造数据的检测模型的权重，训练开销大。

发明内容

本发明就是针对现有技术的不足，提供了一种基于生成模型的通用深度伪造检测方法，能够根据不同类型伪造数据的检测模型知识，有效捕捉通用伪造表征，并利用条件生成模型作为不同检测模型知识间的门限函数，高效地捕捉伪造痕迹，减少模型训练量，提高伪造检测模型的可扩展性，从而提升深度伪造检测模型的通用性。

为了实现上述目的，本发明所采用的技术方案如下：

本发明公开了一种基于生成模型的通用深度伪造检测方法，包括：

1)人脸数据集收集：获得至少2种以上伪造算法生成的伪造人脸图像数据集，并根据伪造算法类型划分为子数据集D＝D₁,…,D_k；

2)特定类型伪造算法表征模型训练：利用子数据集D分别训练得到多个特定类型伪造算法表征模型E＝E₁,…,E_k；

3)通用深度伪造检测模型训练：分别对子数据集D的人脸图像，通过特定类型伪造算法表征模型E提取表征e₁,…,e_k，并将提取到的表征e₁,…,e_k通过表征重采样器，线性组合各个特定类型伪造检测模型的表征得到融合伪造检测表征，将融合伪造检测表征作为条件向量训练伪造人脸生成模型G，将子数据集D人脸图像通过人脸生成模型G得到融合深度伪造人脸图像，训练通用深度伪造检测模型M；

4)通用深度伪造检测模型推理:对待测人脸图像x，通过特定类型伪造算法表征模型E提取不同伪造类型表征e_1,x,…,e_k,x，将多组表征作为条件向量通过人脸生成模型G得到融合深度伪造人脸图像x'，通过通用深度伪造检测模型M得到深度伪造检测的分类结果。

作为进一步地改进，本发明所述的对子数据集的人脸图像，通过特定类型伪造检测模型E提取表征，并将提取到的表征作为条件向量训练伪造人脸生成模型G，用于从视觉上刻画特定类型伪造检测模型的分布，捕捉不同伪造算法之间的微小差异，具体为：

伪造生成模型根据给定视频帧与对应类别伪造检测模型的表征重构该视频帧：

其中，D_i,j表示当前视频帧，e_i,j表示当前视频帧对应伪造类型检测模型的表征，G表示伪造生成模型；通过图像重构损失训练伪造生成模型：

L_rec＝MSE(D_i,j,G(e_i,j,D_i,j))

其中，MSE表示均方误差，在训练完上述任务后，得到伪造生成模型G。

作为进一步地改进，本发明所述的通过特定类型深度伪造算法检测模型得到的多组特定类型伪造检测模型表征的方法，以过滤无效信息，放大伪造痕迹，具体为:

通过表征重采样器，线性组合各个特定类型伪造检测模型的表征得到融合伪造检测表征，计算方法如下所示：

e_j＝MLP(E₁(D_j),…,E_k(D_j))

其中，MLP表示多层感知机，E₁(D_j),…,E_k(D_j)表示来自不同特定类型伪造检测模型的表征，e_j表示融合伪造检测表征。

作为进一步地改进，本发明通过得到的伪造人脸生成模型，将多组特定类型伪造检测模型的表征线性融合，生成融合深度伪造图像，利用融合深度伪造图像训练深度伪造分类任务，得到通用深度伪造检测模型具体为：

伪造生成模型依据融合伪造检测表征e_j，生成融合深度伪造图像以放大伪造痕迹：

给定融合深度伪造图像，训练通用深度伪造检测模型；通过交叉熵损失和图像重构损失训练深度伪造检测模型，并微调伪造生成模型：

本发明的有益效果如下：

1)按照伪造算法的类型划分数据集，提高训练专家模型的精度，并利用生成模型高效地学习多种伪造算法的伪造特征，缩小了检测模型表征和视觉伪造痕迹之间的差异，提高深度伪造检测模型的通用性；

2)通过生成模型，将不同类型伪造检测模型的表征融合，有效刻画不同伪造类型数据的分布，避免了直接从不同模型表征线性组合而导致的过拟合问题，使得在检测模型数量多的情况下提高检测准确率；

3)通过特征重采样模块，有效提取不同伪造检测模型的有效信息，避免了表征大小不一致的问题，并能够适用于检测模型异构场景，提高深度伪造检测方法的通用性。

4)采用生成模型融合多组伪造检测模型表征，提高了表征融合的效率，方法仅使用一层线性层融合，大大降低了模型的训练参数量，降低了训练通用深度伪造模型的训练开销。

附图说明

图1是本发明中的基于生成模型的通用深度伪造检测方法的训练示意图；

图2是本发明中的基于生成模型的通用深度伪造检测方法的推理示意图。

具体实施方式

本发明公开了一种基于生成模型的通用深度伪造检测方法，包括：

1)人脸数据集收集：获得至少2种以上伪造算法生成的伪造人脸图像数据集，并根据伪造算法类型划分为子数据集D＝D₁,…,D_k；

2)特定类型伪造算法表征模型训练：利用子数据集D分别训练得到多个特定类型伪造算法表征模型E＝E₁,…,E_k；

3)通用深度伪造检测模型训练：分别对子数据集D的人脸图像，通过特定类型伪造算法表征模型E提取表征e₁,…,e_k，并将提取到的表征e₁,…,e_k通过表征重采样器，线性组合各个特定类型伪造检测模型的表征得到融合伪造检测表征，将融合伪造检测表征作为条件向量训练伪造人脸生成模型G，将子数据集D人脸图像通过人脸生成模型G得到融合深度伪造人脸图像，训练通用深度伪造检测模型M；

4)通用深度伪造检测模型推理:对待测人脸图像x，通过特定类型伪造算法表征模型E提取不同伪造类型表征e_1,x,…,e_k,x，将多组表征作为条件向量通过人脸生成模型G得到融合深度伪造人脸图像x'，通过通用深度伪造检测模型M得到深度伪造检测的分类结果。

对子数据集的人脸图像，通过特定类型伪造检测模型E提取表征，并将提取到的表征作为条件向量训练伪造人脸生成模型G，用于从视觉上刻画特定类型伪造检测模型的分布，捕捉不同伪造算法之间的微小差异，具体为：

伪造生成模型根据给定视频帧与对应类别伪造检测模型的表征重构该视频帧：

其中，D_i,j表示当前视频帧，e_i,j表示当前视频帧对应伪造类型检测模型的表征，G表示伪造生成模型；通过图像重构损失训练伪造生成模型：

L_rec＝MSE(D_i,j,G(e_i,j,D_i,j))

其中，MSE表示均方误差，在训练完上述任务后，得到伪造生成模型G。

通过特定类型深度伪造算法检测模型得到的多组特定类型伪造检测模型表征的方法，以过滤无效信息，放大伪造痕迹，具体为:

通过表征重采样器，线性组合各个特定类型伪造检测模型的表征得到融合伪造检测表征，计算方法如下所示：

e_j＝MLP(E₁(D_j),…,E_k(D_j))

其中，MLP表示多层感知机，E₁(D_j),…,E_k(D_j)表示来自不同特定类型伪造检测模型的表征，e_j表示融合伪造检测表征。

通过得到的伪造人脸生成模型，将多组特定类型伪造检测模型的表征线性融合，生成融合深度伪造图像，利用融合深度伪造图像训练深度伪造分类任务，得到通用深度伪造检测模型，具体为：

伪造生成模型依据融合伪造检测表征e_j，生成融合深度伪造图像以放大伪造痕迹：

给定融合深度伪造图像，训练通用深度伪造检测模型；通过交叉熵损失和图像重构损失训练深度伪造检测模型，并微调伪造生成模型：

为了便于本领域普通技术人员理解和实施本发明，下面结合说明书附图及具体实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明的目的是针对现有的深度伪造检测方法存在通用性差，无法解决对单一类型深度伪造数据的过拟合现象的问题，提出了一种基于生成模型的通用深度伪造检测方法，图1是本发明的数据流程图；

本发明的具体实施方法如下：

1)获得至少2种以上伪造算法生成的伪造人脸图像数据集，根据人脸伪造算法的类别将伪造人脸图像数据集划分为子数据集，并做人脸裁剪操作。

将训练数据集按照数据对应的伪造算法将数据集划分为k个子数据集，本实施例中为4个子数据集，从序号为i的子数据集D_i，利用切帧技术得到D_i的逐帧图像D_i,j，并利用dlib人脸裁剪算法裁减人脸区域到指定尺寸以供后续步骤训练特定类型伪造检测模型，伪造人脸生成模型。

2)利用子数据集分别训练得到多个特定类型伪造算法检测模型。

给定步骤1处理好的子数据集D_i(i＝1,2,3,4)的视频帧D_i,j(j＝1,2,…,N)作为特定类型伪造模型的输入，N表示子数据集D_i对应的总帧数，特定类型伪造检测模型由表征提取器E_i和深度伪造分类头H_i组成；E_i由视觉骨干网络构成，本实施例中采用ConvNext-base主干网络，训练采用余弦优化器训练，学习率为0.002，从视频帧D_i,j提取伪造表征向量深度伪造分类头H_i由多层感知机(MLP)构成，本实施例采用1层线性层构成深度伪造分类头/>H_i根据表征e_i,j得到分类向量/>作为该输入为假的概率。为了训练特定类型伪造检测模型，根据该帧的真伪标签/>利用交叉熵(Cross Entropy)损失学习子数据集D_i的伪造分布，因此，训练特定类型伪造检测模型的损失函数如下：

在训练完上述任务后，冻结特定类型伪造检测模型表征提取器E_i的参数，遍历所有子数据集得到4个检测模型表征提取器E₁,E₂,E₃,E₄。

3)将子数据集人脸图像通过特定类型伪造检测模型提取表征，并将提取到的表征作为条件向量训练伪造人脸生成模型从视觉上学习特定类型伪造检测模型的分布,具体地，G根据给定视频帧与对应类别伪造检测模型的表征重构该视频帧：

其中，表示输入的图像，/>表示条件向量，用于描述伪造生成结果需要满足的语义条件，/>表示伪造生成模型的输出图像，即融合深度伪造图像。对步骤1处理好的每一个子数据集的视频帧D_i,j，提取对应的检测模型表征e_i,j作为伪造生成模型G的条件向量，G根据条件向量e_i,j重构视频帧D_i,j，并基于图像重构损失优化生成模型：

其中，MSE表示均方误差，在训练完上述任务后，得到伪造生成模型G。

4)通过得到的伪造人脸生成模型，将多组特定类型伪造检测模型的表征线性融合，生成融合深度伪造图像，利用该图像训练深度伪造分类任务，得到通用深度伪造检测模型，具体地，基于得到的特定类型伪造类型检测模型E₁,E₂,…,E₄，重新访问整个数据集D，给定视频帧D_j输入至各个检测模型表征提取器得到对应表征E₁(D_j),…,E₄(D_j)。

表征重采样网络将多组特定类型伪造检测模型的表征线性融合，将k组向量重新采样得到1组条件向量e_j，以过滤无效信息，放大伪造痕迹，本实施例对4组向量重新采样，重采样网络由一层线性层构成：通过表征重采样器，线性组合各个特定类型伪造检测模型的表征得到融合伪造检测表征/>计算方法如下所示：

e_j＝MLP(E₁(D_j),…,E_k(D_j))

其中，MLP表示多层感知机，e_j表示融合伪造检测表征。

伪造生成模型依据融合伪造检测表征e_j，生成融合深度伪造图像以放大伪造痕迹：

给定融合深度伪造图像，训练通用深度伪造检测模型；通过交叉熵损失和图像重构损失训练深度伪造检测模型，并微调伪造生成模型：

其中，r_j表示当前训练帧的实际真伪标签，表示通用深度伪造检测模型预测的真伪标签。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于生成模型的通用深度伪造检测方法，其特征在于，包括：

1)人脸数据集收集：获得至少2种以上伪造算法生成的伪造人脸图像数据集，并根据伪造算法类型划分为子数据集D＝D₁,…,D_k；

2)特定类型伪造算法表征模型训练：利用子数据集D分别训练得到多个特定类型伪造算法表征模型E＝E₁,…,E_k；

3)通用深度伪造检测模型训练：分别对子数据集D的人脸图像，通过特定类型伪造算法表征模型E提取表征e₁,…,e_k，并将提取到的表征e₁,…,e_k通过表征重采样器，线性组合各个特定类型伪造检测模型的表征得到融合伪造检测表征，将融合伪造检测表征作为条件向量训练伪造人脸生成模型G，将子数据集D人脸图像通过人脸生成模型G得到融合深度伪造人脸图像，训练通用深度伪造检测模型M；

4)通用深度伪造检测模型推理:对待测人脸图像x，通过特定类型伪造算法表征模型E提取不同伪造类型表征e_1,x,…,e_k,x，将多组表征作为条件向量通过人脸生成模型G得到融合深度伪造人脸图像x'，通过通用深度伪造检测模型M得到深度伪造检测的分类结果。

2.根据权利要求1所述的基于生成模型的通用深度伪造检测方法，其特征在于，所述的对子数据集的人脸图像，通过特定类型伪造检测模型E提取表征，并将提取到的表征作为条件向量训练伪造人脸生成模型G，用于从视觉上刻画特定类型伪造检测模型的分布，捕捉不同伪造算法之间的微小差异，具体为：

伪造生成模型根据给定视频帧与对应类别伪造检测模型的表征重构该视频帧：

其中，D_i,j表示当前视频帧，e_i,j表示当前视频帧对应伪造类型检测模型的表征，G表示伪造生成模型；通过图像重构损失训练伪造生成模型：

L_rec＝MSE(D_i,j,G(e_i,j,D_i,j))

其中，MSE表示均方误差，在训练完上述任务后，得到伪造生成模型G。

3.根据权利要求1所述的基于生成模型的通用深度伪造检测方法，其特征在于，所述的通过特定类型深度伪造算法检测模型得到的多组特定类型伪造检测模型表征的方法，以过滤无效信息，放大伪造痕迹，具体为:

通过表征重采样器，线性组合各个特定类型伪造检测模型的表征得到融合伪造检测表征，计算方法如下所示：

e_j＝MLP(E₁(D_j),…,E_k(D_j))

其中，MLP表示多层感知机，E₁(D_j),…,E_k(D_j)表示来自不同特定类型伪造检测模型的表征，e_j表示融合伪造检测表征。

4.根据权利要求1所述的基于生成模型的通用深度伪造检测方法，其特征在于，通过得到的伪造人脸生成模型，将多组特定类型伪造检测模型的表征线性融合，生成融合深度伪造图像，利用融合深度伪造图像训练深度伪造分类任务，得到通用深度伪造检测模型，具体为：

伪造生成模型依据融合伪造检测表征e_j，生成融合深度伪造图像以放大伪造痕迹：

给定融合深度伪造图像，训练通用深度伪造检测模型；通过交叉熵损失和图像重构损失训练深度伪造检测模型，并微调伪造生成模型：