CN115880203A

CN115880203A - 图像真伪检测方法、图像真伪检测模型训练方法

Info

Publication number: CN115880203A
Application number: CN202111127134.6A
Authority: CN
Inventors: 姚太平; 陈阳; 丁守鸿; 李季檩
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-09-26
Filing date: 2021-09-26
Publication date: 2023-03-31

Abstract

本申请涉及人工智能领域，具体涉及一种图像真伪检测方法。所述方法包括：根据待检测图像中的部分频域信息得到频域缺失图，根据部分色彩信息得到色彩缺失图；根据频域缺失图中的第一图像特征生成频域重建图，根据色彩缺失图中的第二图像特征生成色彩重建图；根据频域重建图与待检测图像之间的差异，确定频域差异掩码，通过频域差异掩码对第一图像特征进行处理，得到频域疑似伪造特征；根据色彩重建图与待检测图像之间的差异，确定色彩差异掩码，通过色彩差异掩码对第二图像特征进行处理，得到色彩疑似伪造特征；综合频域疑似伪造特征和色彩疑似伪造特征，确定待检测图像的真伪检测结果。采用本方法能够提升真伪检测结果的准确性。

Description

图像真伪检测方法、图像真伪检测模型训练方法

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像真伪检测方法、图像真伪检测模型训练方法。

背景技术

目前随着图像编辑技术的发展，人们可以随意编辑图像中的内容，从而导致越来越多以假乱真的高质量伪造图像涌现出来，这将严重影响目前落地的图像识别系统的安全性。因此，检测输入图像是否经过了编辑，日趋成为网络安全中的重要环节。

目前，主要是通过机器学习模型来检测图像中的某些特定伪造痕迹，通过检测出的特定伪造痕迹来判定待检测图像是否为伪造图像。比如，可以通过检测图像中的全局光照和局部光照的匹配程度，来对图像的真伪进行判断。但是通过检测某些特定伪造痕迹来判断待检测图像是否为伪造图像，容易导致机器学习模型的泛化性低，从而使得基于低泛化性的机器学习模型输出的真伪检测结果的准确性低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升检测准确定的图像真伪检测方法、装置、计算机设备和存储介质。

一种图像真伪检测方法，所述方法包括：

获取待检测图像，并根据所述待检测图像中的部分频域信息得到频域缺失图，以及根据所述待检测图像中的部分色彩信息得到色彩缺失图；

根据所述频域缺失图中的第一图像特征生成频域重建图，及根据所述色彩缺失图中的第二图像特征生成色彩重建图；

根据所述频域重建图与所述待检测图像之间的差异，确定频域差异掩码，并通过所述频域差异掩码对所述第一图像特征进行自注意力处理，得到频域疑似伪造特征；

根据所述色彩重建图与所述待检测图像之间的差异，确定色彩差异掩码，并通过所述色彩差异掩码对所述第二图像特征进行自注意力处理，得到色彩疑似伪造特征；

综合所述频域疑似伪造特征和色彩疑似伪造特征，确定所述待检测图像的真伪检测结果。

在一个实施例中，所述获取待检测图像，包括：

获取待检测视频，并根据采样频率，提取所述待检测视频中的多个视频帧；

将提取出的每个视频帧均作为待检测图像；

所述方法还包括：

综合每个所述待检测图像分别对应的真伪检测结果，确定所述待检测视频的真伪检测结果。

一种图像真伪检测装置，所述装置包括：

重建图像生成模块，用于获取待检测图像，并根据所述待检测图像中的部分频域信息得到频域缺失图，以及根据所述待检测图像中的部分色彩信息得到色彩缺失图；根据所述频域缺失图中的第一图像特征生成频域重建图，及根据所述色彩缺失图中的第二图像特征生成色彩重建图；

疑似特征确定模块，用于根据所述频域重建图与所述待检测图像之间的差异，确定频域差异掩码，并通过所述频域差异掩码对所述第一图像特征进行自注意力处理，得到频域疑似伪造特征；根据所述色彩重建图与所述待检测图像之间的差异，确定色彩差异掩码，并通过所述色彩差异掩码对所述第二图像特征进行自注意力处理，得到色彩疑似伪造特征；

结果输出模块，用于综合所述频域疑似伪造特征和色彩疑似伪造特征，确定所述待检测图像的真伪检测结果。

在一个实施例中，所述重建图像生成模块还用于获取待检测视频，并根据采样频率，提取所述待检测视频中的多个视频帧；将提取出的每个视频帧均作为待检测图像。所述图像真伪检测装置还用于综合每个所述待检测图像分别对应的真伪检测结果，确定所述待检测视频的真伪检测结果。

在一个实施例中，所述重建图像生成模块还包括缺失图生成模块，用于将所述待检测图像从图像空间域转换至频率域，得到频域图像；过滤所述频域图像中的空间频率大于预设频率阈值的频域信息，得到所述待检测图像中的目标频域信息；将所述目标频域信息从频率域转换至图像空间域，得到频域缺失图。

在一个实施例中，所述缺失图生成模块，还用于对所述待检测图像进行切分处理，得到包括有多个图像切片的图像网格；将所述图像网格中的至少一个图像切片转换为灰度图像，得到对应的色彩缺失图。

在一个实施例中，所述疑似特征确定模块还包括频域掩码生成模块，用于确定所述频域重建图与所述待检测图像之间的第一图像差异，并对所述第一图像差异进行卷积和激活处理，得到频域差异掩码；通过自注意力机制，将所述频域差异掩码应用于所述第一图像特征中，得到频域疑似伪造特征。

在一个实施例中，所述频域掩码生成模块，还用于根据所述频域差异掩码，确定所述第一图像特征中每个第一特征元素各自对应的注意力权重；将每个第一特征元素分别乘以各自对应的注意力权重，得到频域融合特征；综合所述频域融合特征和第一图像特征，得到频域疑似伪造特征。

在一个实施例中，所述疑似特征确定模块还包括色彩掩码生成模块，用于确定所述色彩重建图与所述待检测图像之间的第二图像差异，并对所述第二图像差异进行卷积和激活处理，得到色彩差异掩码；通过自注意力机制，将所述色彩差异掩码应用于所述第二图像特征中，得到色彩疑似伪造特征。

在一个实施例中，所述色彩掩码生成模块还用于根据所述色彩差异掩码，确定所述第二卷积特征中每个第二特征元素各自对应的注意力权重；将每个第二特征元素分别乘以各自对应的注意力权重，得到色彩融合特征；综合所述色彩融合特征和第二图像特征，得到色彩疑似伪造特征。

在一个实施例中，所述结果输出模块还用于通过所述色彩疑似伪造特征对所述频域疑似伪造特征进行特征补充处理，得到对应的频域补充特征；通过所述频域疑似伪造特征对所述色彩疑似伪造特征进行特征补充处理，得到对应的色彩补充特征；综合所述频域补充特征和所述色彩补充特征，得到所述待检测图像的真伪检测结果。

在一个实施例中，所述结果输出模块还包括特征融合模块，用于确定与所述频域疑似伪造特征相对应的第一向量序列；对所述色彩伪造特征进行卷积处理，得到色彩伪造卷积特征；确定所述第一向量序列中的每个第一向量元素的位置信息、以及所述色彩伪造卷积特征中的每个第三特征元素的位置信息；分别对具有相应位置信息的第一向量元素和第三特征元素进行融合，得到频域向量融合特征；合并所述频域向量融合特征和所述频域疑似伪造特征，得到频域补充特征。

在一个实施例中，所述特征融合模块还用于确定与所述色彩疑似伪造特征相对应的第二向量序列；对所述频域伪造特征进行卷积处理，得到频域伪造卷积特征；确定所述第二向量序列中的每个第二向量元素的位置信息、以及所述频域伪造卷积特征中的每个第四特征元素的位置信息；分别对具有相应位置信息的第二向量元素和第四特征元素进行融合，得到色彩向量融合特征；合并所述色彩向量融合特征和所述色彩疑似伪造特征，得到色彩补充特征。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的任一种图像真伪检测方法中的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一种图像真伪检测方法中的步骤。

一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行实现本申请实施例提供的任一种图像真伪检测方法中的步骤。

上述图像真伪检测方法、装置、计算机设备、存储介质和计算机程序，通过获取待检测图像，可过滤待检测图像中的部分信息，得到频域缺失图和色彩缺失图。通过生成频域缺失图，可基于频域缺失图中的第一图像特征进行图像重建，得到频域重建图；通过色彩缺失图，可基于色彩缺失图中的第二图像特征进行图像重建，得到色彩重建图。通过生成频域重建图，可基于频域重建图得到频域差异掩码，从而可基于频域差异掩码得到频域空间中的频域疑似伪造特征；通过生成色彩重建图，可基于色彩重建图得到色彩差异掩码，从而可基于色彩差异掩码得到色彩空间中的色彩疑似伪造特征，如此，便可综合频域空间中的频域疑似伪造特征和色彩空间中的色彩疑似伪造特征，输出真伪检测结果。由于是综合频域空间中的频域疑似伪造特征和色彩空间中的色彩疑似伪造特征，来得到真伪检测结果，因此，相比于传统的通过检测某些特定伪造痕迹来对待检测图像进行检测，本申请可不受特定伪造痕迹的限制，从而提升了图像真伪检测模型的泛化性，进而提升了真伪检测结果的准确性。

一种图像真伪检测模型训练方法，所述方法包括：

获取样本图像集、及所述样本图像集中每个样本图像各自对应的样本标签；

根据所述样本图像中的部分频域信息得到频域预测缺失图，以及根据所述样本图像中的部分色彩信息，得到色彩预测缺失图；

根据所述频域预测缺失图中的第一预测特征生成频域预测重建图，及根据所述色彩预测缺失图中的第二预测特征生成色彩预测重建图；

根据所述频域预测重建图与所述样本图像之间的差异，确定频域预测掩码，并通过所述频域预测掩码对所述第一预测特征进行自注意力处理，得到频域预测伪造特征；

根据所述色彩预测重建图与所述样本图像之间的差异，确定色彩预测掩码，并通过所述色彩预测掩码对所述第二预测特征进行自注意力处理，得到色彩预测伪造特征；

综合所述频域预测伪造特征和色彩预测伪造特征，得到所述样本图像的真伪预测结果，并根据所述真伪预测结果与相应样本标签确定分类损失；

根据所述分类损失确定目标损失函数，通过所述目标损失函数对所述图像真伪检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的图像真伪检测模型；其中，所述训练完成的图像真伪检测模型用以对待检测图像进行图像真伪检测，得到相应的真伪检测结果。

在一个实施例中，所述获取样本图像集，包括：

获取多个真实视频、以及每个所述真实视频各自对应的至少一个伪造视频；

对于多个真实视频中的每个视频，均从与当前真实视频对应的至少一个伪造视频中筛选出目标伪造视频；

分别提取各真实视频和各目标伪造视频中的视频帧，得到样本图像集。

一种图像真伪检测模型训练装置，所述装置包括：

预测重建图生成模块，用于获取样本图像集、及所述样本图像集中每个样本图像各自对应的样本标签；根据所述样本图像中的部分频域信息得到频域预测缺失图，以及根据所述样本图像中的部分色彩信息，得到色彩预测缺失图；根据所述频域预测缺失图中的第一预测特征生成频域预测重建图，及根据所述色彩预测缺失图中的第二预测特征生成色彩预测重建图；

预测特征确定模块，用于根据所述频域预测重建图与所述样本图像之间的差异，确定频域预测掩码，并通过所述频域预测掩码对所述第一预测特征进行自注意力处理，得到频域预测伪造特征；根据所述色彩预测重建图与所述样本图像之间的差异，确定色彩预测掩码，并通过所述色彩预测掩码对所述第二预测特征进行自注意力处理，得到色彩预测伪造特征；

训练模块，用于综合所述频域预测伪造特征和色彩预测伪造特征，得到所述样本图像的真伪预测结果，并根据所述真伪预测结果与相应样本标签确定分类损失；根据所述分类损失确定目标损失函数，通过所述目标损失函数对所述图像真伪检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的图像真伪检测模型；其中，所述训练完成的图像真伪检测模型用以对待检测图像进行图像真伪检测，得到相应的真伪检测结果。

在一个实施例中，所述预测重建图生成模块还用于获取多个真实视频、以及每个所述真实视频各自对应的至少一个伪造视频；对于多个真实视频中的每个视频，均从与当前真实视频对应的至少一个伪造视频中筛选出目标伪造视频；分别提取各真实视频和各目标伪造视频中的视频帧，得到样本图像集。

在一个实施例中，所述图像真伪检测模型训练装置还用于当所述训练样本为真实图像时，基于所述训练样本与相应频域预测重建图之间的差异，构造第一重构损失，及基于所述训练样本与相应色彩预测重建图之间的差异，构造第二重构损失；通过所述第一重构损失、第二重构损失和分类损失，确定目标损失函数。

在一个实施例中，所述图像真伪检测模型训练装置还用于确定所述训练样本集中第一训练样本对和第二训练样本对；所述第一训练样本对中包括两个具有相同真伪类别的训练样本；所述第二训练样本对中包括两个具有不同真伪类别的训练样本；确定所述第一训练样本对中两个训练样本各自对应的第一预测特征之间的第一图像距离，及两个训练样本各自对应的第二预测特征之间的第二图像距离；确定所述第二训练样本对中两个训练样本各自对应的第一预测特征之间的第三图像距离，及两个训练样本各自对应的第二预测特征之间的第四图像距离；根据所述第一图像距离和第三图像距离，确定第一约束损失；根据所述第二图像距离和第四图像距离，确定第二约束损失；通过所述第一约束损失、第二约束损失、第一重构损失、第二重构损失和分类损失，确定目标损失函数。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的任一种图像真伪检测模型训练方法中的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一种图像真伪检测模型训练方法中的步骤。

一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行实现本申请实施例提供的任一种图像真伪检测模型训练方法中的步骤。

上述图像真伪检测模型训练方法、装置、计算机设备、存储介质和计算机程序，通过获取样本图像，可生成与样本图像相对应的频域预测缺失图和色彩预测缺失图，并基于频域预测缺失图生成相应的频域预测重建图，以及基于色彩预测缺失图生成相应的色彩预测重建图。通过生成频域预测重建图，可基于频域预测重建图与相应样本图像之间的差异，得到频域预测伪造特征；通过生成色彩预测重建图，可基于色彩预测重建图与相应样本图像之间的差异，得到色彩预测伪造特征，如此，便可综合频域空间中的频域预测伪造特征以及色彩空间中的色彩预测伪造特征，得到真伪预测结果。通过得到真伪预测结果，可基于真伪预测结果与相应样本标签之间的差异，确定目标损失函数，从而可基于目标损失函数对图像真伪检测模型进行训练，得到训练好的图像真伪检测模型。由于是综合频域预测伪造特征以及色彩预测伪造特征对图像真伪检测模型进行训练的，因此训练好的图像真伪检测模型可以输出更为准确的频域疑似伪造特征和色彩疑似伪造特征，进而使得基于更为准确的频域疑似伪造特征和色彩疑似伪造特征所得到的真伪检测结果也更为准确。

附图说明

图1为一个实施例中图像真伪检测方法的应用环境图；

图2为一个实施例中图像真伪检测方法的流程示意图；

图3为一个实施例中频域缺失图像的生成示意图；

图4为一个实施例中色彩缺失图像的生成示意图；

图5为一个实施例中第一差异注意力模块输出频域疑似伪造特征的示意图；

图6为一个实施例中真伪检测结果的输出示意图；

图7为一个实施例中协作融合模块的示意图；

图8为一个实施例中图像真伪检测模型的整体框架示意图；

图9为一个实施例中图像真伪检测模型训练的流程示意图；

图10为一个实施例中样本图像集的示意图；

图11为一个具体实施例中图像真伪检测方法的流程示意图；

图12为一个具体实施例中图像真伪检测模型训练方法的流程示意图；

图13为一个实施例中图像真伪检测装置的结构框图；

图14为一个实施例中图像真伪检测模型训练装置的结构框图；

图15为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中描述图像真伪检测方法的应用环境图。参照图1，该图像真伪检测方法应用于图像真伪检测系统100。该图像真伪检测系统100包括终端102和服务器104。终端102和服务器104均可单独用于执行本申请实施例中提供的图像真伪检测方法。终端102和服务器104也可协同用于执行本申请实施例中提供的图像真伪检测方法。以终端102和服务器104协同用于执行本申请实施例中提供的图像真伪检测方法为例，终端102可获取待检测图像，并将待检测图像发送至服务器104，以使服务器104调用图像真伪检测模型对待检测图像进行图像真伪检测，得到真伪检测结果，并将真伪检测结果返回至终端102进行展示。

其中，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

本申请还涉及人工智能领域，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。容易立即地，本申请具体涉及人工智能领域中的计算机视觉技术(Computer Vision,CV)。计算机视觉是一门研究如何使机器“看”的科学，通过计算机视觉技术可对图像进行活体检测。

为了更好地理解本申请实施例中的图像真伪检测方法，下面对本申请的整体构思进行介绍：

现有的伪造图像会在色彩空间与频域空间中残留部分伪造痕迹。因此，本申请提出了一种基于自监督重建学习的图像真伪检测技术，通过在色彩空间和频域空间中分别对部分信息丢失的图像进行图像重建，以确定重建后的图像与原始图像之间的差异，从而捕获有关原始图像的全面信息。由于在图像真伪检测模型的训练过程中，只计算了真实样本图像的重建损失，因此，在模型使用过程中，真实图像与对应重建图像之间的差异会小于伪造图像与对应重建图像之间的差异，从而差异较大的区域即表示可能存在伪造痕迹。基于此，本申请的图像真伪检测模型中包括有差异注意力模块(Difference AttentionModule,DAM)和协作融合模块(Collaborative Fusion Module,CFM)。通过DAM模块，可确定待检测图像与相应重建图之间的差异，并通过所确定的差异得到差异掩码，将该差异掩码以注意力机制的方式应用于用以进行图像重建的图像特征上，来迫使模型聚焦于可能的伪造区域上。进一步地，为了促进基于色彩空间和频域空间所提取的特征进行交融互补，本申请通过CFM模块融合两个空间的信息，以进行协作学习，挖掘到更全面的伪造痕迹，从而输出更为准确的真伪检测结果。

在一个实施例中，如图2所示，提供了一种图像真伪检测方法，以该方法应用于计算机设备进行说明，该计算机设备具体可以是图1中的终端或服务器。

其中，该图像真伪检测方法包括以下步骤：

步骤S202，获取待检测图像，并根据待检测图像中的部分频域信息得到频域缺失图，以及根据待检测图像中的部分色彩信息得到色彩缺失图。

其中，频域缺失图指的是丢失有部分频域信息的图像。相应的，色彩缺失图像指的是丢失有部分色彩信息的图像。通过频域缺失图和色彩缺失图，可对待检测图像进行真伪检测。

其中，图像真伪检测指的是在一些图像验证、图像识别场景中，确定待识别图像或待识别视频是否为真实图像，或者是否为真实视频的方法。待检测图像的真伪检测结果可以包括待检测图像为真实图像、以及待检测图像为伪造图像。当真伪检测结果表征待检测图像为真实图像时，可以认为该待检测图像中的图像内容未被编辑；当真伪检测结果表征待检测图像为伪造图像时，可以认为该待检测图像中的部分或全部图像内容已被编辑。

具体地，由于在对图像进行内容编辑后，在色彩空间和频域空间中都可能残留部分的伪造痕迹，因此，本申请用于进行图像真伪检测的图像真伪检测模型中可包括有频域处理分支和色彩处理分支。通过频域处理分支可生成频域缺失图，并基于频域缺失图生成频域重建图，通过色彩处理分支可生成色彩缺失图，并基于色彩缺失图生成色彩重建图。

当获取得到待检测图像时，计算机设备可将待检测图像分别输入至频域处理分支和色彩处理分支，由频域处理分支随机去除待检测图像中的部分频域信息，并基于剩余频域信息进行图像重建，得到与待检测图像对应的频域缺失图。相应的，色彩处理分支也可随机去除待检测图像中的部分色彩信息，并基于剩余色彩信息进行图像重建，得到色彩缺失图。

在一个实施例中，计算机设备可获取用以进行真伪检测的视频片段，从视频片段中随机抽取出待检测视频帧，并将抽取出的待检测视频帧作为待检测图像。

在一个实施例中，将待检测图像从图像空间域转换至频率域，得到频域图像；过滤频域图像中的空间频率大于预设频率阈值的频域信息，得到待检测图像中的目标频域信息；将目标频域信息从频率域转换至图像空间域，得到频域缺失图。

其中，图像空间域指的是由图像像元组成的空间，图像空间域又可称作色彩空间。频率域指的是以空间频率(即波数)为自变量来描述图像特征的空间。

具体地，当频域处理分支获取得到待检测图像时，频域处理分支可将待检测图像从图像空间域转换至频率域，得到频域图像。比如，频域处理分支可对待检测图像进行离散余弦变换，以将待检测图像从图像空间域转换至频率域。进一步地，频域处理分支过滤频域图像中的部分频域信息，得到待检测图像中的目标频域信息。其中，频域处理分支可随机过滤频域图像中的部分频域信息，也可根据预设规则过滤频域图像中的部分频域信息。比如，频域处理分支可过滤空间频率高于预设频率阈值的频域信息，将空间频率低于或等于预设频率阈值的频域信息作为目标频域信息。进一步地，频域处理分支将目标频域信息从频率域转换至图像空间域，得到频域缺失图像。比如，频域处理分支对目标频域信息进行逆离散余弦变换，得到频域缺失图。

在其中一个实施例中，频域处理分支可利用离散傅里叶或者快速傅里叶变换，将待检测图像转换为频域图像。

在其中一个实施例中，参考图3，频域处理分支可将待检测图像转换为频域图像，并确定频域图像中空间频率大于预设频率阈值的高频信息，通过随机过滤部分高频信息，得到剩余高频信息。频域处理分支综合剩余高频信息、和空间频率小于或等于预设频率阈值的低频信息，得到目标频域信息，并通过目标频域信息得到频域缺失图像。图3示出了一个实施例中频域缺失图像的生成示意图。

上述实施例中，通过过滤频域图像中的部分频域信息，可基于剩余的目标频域信息得到频域缺失图，从而后续可基于频域缺失图进行图像重建处理，得到相应的频域重建图。

在一个实施例中，根据待检测图像中的部分色彩信息得到色彩缺失图，包括：对待检测图像进行切分处理，得到包括有多个图像切片的图像网格；将图像网格中的至少一个图像切片转换为灰度图像，得到对应的色彩缺失图。

具体地，当色彩处理分支获取得到待检测图像时，色彩处理分支可对待检测图像进行切分，以得到包括有多个图像切片的图像网格。容易理解的，色彩处理分支可将待检图像分割为尺寸相同的多个图像切片，也可将待检测图像分割为尺寸不同的多个图像切片。本实施在此不做限定。进一步地，色彩处理分支随机将图像网格中的至少一个图像切片转换为灰度图像，得到色彩缺失图像。

在其中一个实施例中，由于任何颜色都由红、绿、蓝三原色组成，因此，可通过浮点算法、整数方法、移位方法或者平均值法对图像切片中的像素点的三原色进行处理，以将图像切片转换为灰度图像。

在其中一个实施例中，参考图4，图4示出了一个实施例中色彩缺失图像的生成示意图。待检测图像经过切片操作后，可转换为包括有多个图像切片的图像网格，比如，色彩处理分支可将待检测图像分割为一个五行五列的图像网格，从而色彩处理分支可随机将图像网格中的至少一个图像切片的色彩进行过滤，得到相应的灰度图像，进而色彩处理分支可将图像网格中的所有切片整合为与待检测图像尺寸相同的色彩缺失图像。

上述实施例中，通过将部分图像切片转换为灰度图像，可以过滤待检测图像中的部分色彩信息，从而后续可基于缺失了部分信息的色彩缺失图像进行图像重建，得到色彩重建图。

步骤S204，根据频域缺失图中的第一图像特征生成频域重建图，及根据色彩缺失图中的第二图像特征生成色彩重建图。

其中，频域重建图指的是根据第一图像特征生成的相应图像，相应的，色彩重建图指的是根据第二图像特征生成的相应图像。

具体地，频域处理分支中还可包括有第一编码器和第一解码器。当生成频域缺失图时，第一编码器可对频域缺失图像进行编码处理，得到频域缺失图中的第一图像特征，第一解码器可对第一图像特征进行解码处理，得到对应的频域重建图。相应的，色彩处理分支中也包括有第二编码器和第二解码器，当生成色彩缺失图时，第二编码器可对色彩缺失图进行编码处理，得到第二图像特征，第二解码器可对第二图像特征进行解码处理，得到对应的色彩重建图。其中，第一编码器和第二编码器均可包括有多个卷积层。

在一个实施例中，第一编码器的结构可与第二编码器的结构一致，第一解码器的结构也可与第二解码器的结构一致。但是，由于第一编码器与第二编码器分别对应的输入不同，因此，经模型训练后所得到的第一编码器中的模型参数与第二编码器的模型参数并不相同，相应的，经模型训练后所得到的第一解码器中的模型参数与第二解码器的模型参数也并不相同。

步骤S206，根据频域重建图与待检测图像之间的差异，确定频域差异掩码，并通过频域差异掩码对第一图像特征进行自注意力处理，得到频域疑似伪造特征。

其中，频域差异掩码指的是对第一图像特征进行部分遮挡，以控制第一图像特征中的处理区域的图像掩码。频域疑似伪造特征指的是通过频域重建图预测得到的、用以标明待检测图像中的伪造区域的特征。

具体地，频域处理分支还可包括有第一差异注意力模块，通过第一差异注意力模块可生成频域差异掩码，并根据频域差异掩码对第一图像特征进行自注意力处理，得到频域疑似伪造特征。其中，自注意力处理指的通过频域差异掩码突出第一图像特征中的疑似为标明伪造区域的特征区域，去除无关特征区域的处理过程。

在一个实施例中，根据频域重建图与待检测图像之间的差异，确定频域差异掩码，并通过频域差异掩码对第一图像特征进行自注意力处理，得到频域疑似伪造特征，包括：确定频域重建图与待检测图像之间的第一图像差异，并对第一图像差异进行卷积和激活处理，得到频域差异掩码；通过自注意力机制，将频域差异掩码应用于第一图像特征中，得到频域疑似伪造特征。

其中，注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制，而自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉特征的内部相关性。

具体地，当获取得到频域重建图时，第一差异注意力模块还可将频域重建图与待检测图像进行相减，得到频域重建图与待检测图像之间的第一图像差异。为了得到频域差异掩码中各掩码元素的元素值，第一差异注意力模块还需要对第一图像差异进行卷积处理和激活处理，得到相应的频域差异掩码。其中，第一差异注意力模块可先对第一图像差异进行卷积处理，得到相应的卷积结果，再对卷积结果进行激活处理，得到频域差异掩码。

进一步地，由于频域重建图可以认为是图像真伪检测模型输出的更贴近真实图像的图像，而待检测图像中可能包括有伪造区域，因此，待检测图像中的与频域重建图具有差异的区域就可能为伪造区域，从而，基于频域重建图与待检测图像之间的第一图像差异所确定的频域差异掩码，就可以增加第一图像特征中的用以标明伪造区域的目标特征的观察精细度，减低非目标特征的观察精细度。当获取得到频域差异掩码时，第一差异注意力模块可通过自注意力机制，将频域差异掩码应用于第一图像特征中，得到频域疑似伪造特征。比如，第一差异注意力模块可通过频域差异掩码中的各掩码元素的元素值重新计算第一图像特征中各第一特征元素的元素值，以实现通过自注意力机制将频域差异掩码应用于第一图像特征中。

在其中一个实施例中，第一差异注意力模块可确定频域重建图中各像素点的第一像素值，以及确定待检测图像中各像素点的第二像素值，并将第一像素值与第二像素值相减，得到第一差异像素值，综合各第一差异像素值，得到第一图像差异。

在其中一个实施例中，参考图5，图5示出了一个实施例中，第一差异注意力模块输出频域疑似伪造特征的示意图。当对第一图像差异进行卷积和激活处理，以得到频域差异掩码的同时，第一差异注意力模块还可对第一图像特征进行卷积处理，得到第一图像卷积特征。第一差异注意力模块将频域差异掩码应用于第一图像卷积特征中，得到第一图像中间特征，并将第一图像特征与第一图像中间特征相加，得到最终输出的频域疑似伪造特征。若直接将频域差异掩码应用于第一图像卷积特征中，当模型层数较深时，可能导致模型性能下降，因此可将第一图像特征与第一图像中间特征进行相加，以得到具有更多特征信息的频域疑似伪造特征，从而基于具有更多特征信息的频域疑似伪造特征提升模型的性能。

本实施例中，只需将频域差异掩码应用于第一图像特征中，即可得到频域疑似伪造特征，从而提升了频域疑似伪造特征的提取效率。

步骤S208，根据色彩重建图与待检测图像之间的差异，确定色彩差异掩码，并通过色彩差异掩码对第二图像特征进行自注意力处理，得到色彩疑似伪造特征。

其中，色彩差异掩码指的是对第二图像特征进行部分遮挡，以控制第二图像特征中的处理区域的图像掩码。色彩疑似伪造特征指的是通过色彩重建图预测得到的、用以标明待检测图像中的伪造区域的特征。

具体地，色彩处理分支还可包括有第二差异注意力模块，通过第二差异注意力模块可生成色彩差异掩码，并根据色彩差异掩码对第二图像特征进行自注意力处理，得到色彩疑似伪造特征。其中，自注意力处理指的通过色彩差异掩码突出第二图像特征中的疑似为标明伪造区域的特征区域，去除无关特征区域的处理过程。

在一个实施例中，根据色彩重建图与待检测图像之间的差异，确定色彩差异掩码，并通过色彩差异掩码对第二图像特征进行自注意力处理，得到色彩疑似伪造特征，包括：确定色彩重建图与待检测图像之间的第二图像差异，并对第二图像差异进行卷积和激活处理，得到色彩差异掩码；通过自注意力机制，将色彩差异掩码应用于第二图像特征中，得到色彩疑似伪造特征。

具体地，当获取得到色彩重建图时，第二差异注意力模块还可将色彩重建图与待检测图像进行相减，得到色彩重建图与待检测图像之间的第二图像差异。为了得到色彩差异掩码中各掩码元素的元素值，第二差异注意力模块还需要对第二图像差异进行卷积处理和激活处理，得到相应的色彩差异掩码。其中，第二差异注意力模块可先对第二图像差异进行卷积处理，得到相应的卷积结果，再对卷积结果进行激活处理，得到频域差异掩码。

进一步地，由于色彩重建图可以认为是图像真伪检测模型输出的更贴近真实图像的图像，而待检测图像中可能包括有伪造区域，因此，待检测图像中的与色彩重建图具有差异的区域就可能为伪造区域，从而，基于色彩重建图与待检测图像之间的第二图像差异所确定的色彩差异掩码，就可以增加第二图像特征中的用以标明伪造区域的目标特征的观察精细度，减低非目标特征的观察精细度。当获取得到色彩差异掩码时，第二差异注意力模块可通过自注意力机制，将色彩差异掩码应用于第二图像特征中，得到色彩疑似伪造特征。比如，第二差异注意力模块可通过色彩差异掩码中的各掩码元素的元素值重新计算第二图像特征中各第二特征元素的元素值，以实现通过自注意力机制将色彩差异掩码应用于第二图像特征中。

在其中一个实施例中，第二差异注意力模块也可确定色彩重建图中各像素点的第三像素值，及确定待检测图像中各像素点的第二像素值，并将第三像素值与第二像素值相减，得到第二差异像素值，综合各第二差异像素值，得到第二图像差异。

上述实施例中，由于只需将色彩差异掩码应用于第二图像特征中，即可得到色彩疑似伪造特征，从而提升了色彩疑似伪造特征的确定效率。

步骤S210，综合频域疑似伪造特征和色彩疑似伪造特征，确定待检测图像的真伪检测结果。

具体地，由于频域疑似伪造特征反映了待检测图像在频域空间中可能存在伪造的区域，色彩疑似伪造特征反映了待检测图像在色彩空间中可能存在伪造的区域，因此，图像真伪检测模型可综合频域疑似伪造特征和色彩疑似伪造特征，得到待检测图像为真实图像的概率值，并根据该概率值确定待检测图像的真伪检测结果。比如，当为真实图像的概率值高于预设概率阈值时，确定待检测图像为真实图像。通过综合频域维度的频域疑似伪造特征和色彩维度的色彩疑似伪造特征来确定待检测图像的真伪检测结果，可提升真伪检测结果的准确性。

在一个实施例中，当基于频域疑似伪造特征确定待检测图像中存在伪造区域时，图像真伪检测模型可确定该伪造区域在待检测图像中的位置信息，记作第一位置信息。以及，当基于色彩疑似伪造特征确定待检测图像中存在伪造区域时，图像真伪检测模型可确定该伪造区域在待检测图像中的位置信息，记作第二位置信息。当第一位置信息与第二位置信息相匹配时，比如，当第一位置信息与第二位置信息相同时，可认为该图像区域即在频域空间中被判定为伪造区域，又在色彩空间中被判定为伪造区域，从而图像真伪检测模型确定待检测图像中确实存在伪造的图像区域，并判定待检测图像为伪造图像。又比如，当第一位置信息与第二位置信息部分重叠时，也可认为图像真伪检测模型确定待检测图像中确实存在伪造的图像区域，从而判定待检测图像为伪造图像。

上述图像真伪检测方法中，通过获取待检测图像，可过滤待检测图像中的部分信息，得到频域缺失图和色彩缺失图。通过生成频域缺失图，可基于频域缺失图中的第一图像特征进行图像重建，得到频域重建图；通过色彩缺失图，可基于色彩缺失图中的第二图像特征进行图像重建，得到色彩重建图。通过生成频域重建图，可基于频域重建图得到频域差异掩码，从而可基于频域差异掩码得到频域空间中的频域疑似伪造特征；通过生成色彩重建图，可基于色彩重建图得到色彩差异掩码，从而可基于色彩差异掩码得到色彩空间中的色彩疑似伪造特征，如此，便可综合频域空间中的频域疑似伪造特征和色彩空间中的色彩疑似伪造特征，输出真伪检测结果。由于是综合频域空间中的频域疑似伪造特征和色彩空间中的色彩疑似伪造特征，来得到真伪检测结果，因此，相比于传统的通过检测某些特定伪造痕迹来对待检测图像进行检测，本申请可不受特定伪造痕迹的限制，从而提升了图像真伪检测模型的泛化性，进而提升了真伪检测结果的准确性。

在一个实施例中，获取待检测图像，包括：获取待检测视频，并根据采样频率，提取待检测视频中的多个视频帧；将提取出的每个视频帧均作为待检测图像；上述图像真伪检测方法还包括：综合每个待检测图像分别对应的真伪检测结果，确定待检测视频的真伪检测结果。

具体地，计算机设备可对待检测视频进行真伪检测，以确定待检测视频中是否存在伪造痕迹。比如，为了提升应用程序的安全性，在登录应用程序或者通过应用程序进行资源转移之前，可通过图像采集设备采集相应用户的活体验证视频，并判断活体验证视频中是否存在伪造人脸，根据检测出的伪造人脸来确定最终的活体验证结果。

当获取得到待检测视频时，计算机设备可按照预设采样频率从待检测视频中提取出多个视频帧，并将提取出的视频帧均作为待检测图像。进一步地，针对多张待检测图像中的每张待检测图像，计算机设备均可将当前待检测图像输入至图像真伪检测模型中，通过图像真伪检测模型输出与当前待检测图像相对应的真伪检测结果。其中，图像真伪检测模型可依次对各待检测图像进行检测，也可对多张待检测图像进行并行检测，本实施例在此不做限定。

当得到每张待检测图像各自对应的真伪检测结果时，计算机设备可综合各待检测图像各自对应的真伪检测结果，得到待检测视频的真伪检测结果。比如，图像真伪检测模型可输出每张待检测图像为真实图像的概率值，计算机设备对各待检测图像各自对应的概率值进行叠加后求平均处理，得到每张待检测图像为真实图像的平均概率值，并在平均概率值高于预设概率阈值时，确定待检测视频为真实视频；在平均概率值低于或等于预设概率阈值时，确定待检测视频为伪造视频。当待检测视频为真实视频时，可认为该待检测视频中的视频内容未经过图像编辑处理，当待检测视频为伪造视频时，可认为该待检测视频中的至少部分视频内容已经过图像编辑处理。

在其中一个实施例中，计算机设备还可以从待检测视频中等间隔地采样，得到预设数量的视频帧，比如，从待检测视频中等间隔地采样50帧。

在其中一个实施例中，当对待检测视频中的人脸进行真伪检测时，以确定待检测视频中的人脸是否为伪造人脸时，针对多帧视频帧中的每帧视频帧，计算机设备均通过预设的人脸识别算法识别当前视频帧中的人脸，并通过检测框框选当前视频帧中的人脸区域。计算机设备以该人脸区域中心为基准，将检测框所框选的图像区域扩大预设倍数，比如，扩大1.2倍，使得检测框最终框选的区域能够包括完整的人脸以及部分背景区域。计算机设备对检测框最终框选的图像区域进行剪裁处理，得到待检测图像。其中，伪造人脸指的是图像中的人脸已经过图像编辑，比如，已对图像中的人脸进行瘦脸、大眼处理等。相应的，真实人脸指的是图像中的人脸未经过图像编辑。

在其中一个实施例中，当获取得到各待检测图像各自对应的真伪检测结果时，计算机设备可根据真伪检测结果统计待检测图像中的真实图像的数量值、以及伪造图像的数量值，当真实图像的数量值大于伪造图像的数量值，则判定待检测视频为真实视频；当真实图像的数量值小于或等于伪造图像的数量值，则判定待检测视频为伪造视频。

上述实施例中，由于是对提取出的预设数量的图像帧进行图像真伪检测，相比于对待检测视频中的每一帧均进行图像真伪检测，本申请实施例可以减少检测次数，从而提升检测效率。由于是通过综合各待检测图像分别对应的真伪检测结果，来确定待检测视频的真伪检测结果，因此，还可以提升待检测视频的真伪检测结果的准确性。

在一个实施例中，通过自注意力机制，将频域差异掩码应用于第一图像特征中，得到频域疑似伪造特征，包括：根据频域差异掩码，确定第一图像特征中每个第一特征元素各自对应的注意力权重；将每个第一特征元素分别乘以各自对应的注意力权重，得到频域融合特征；综合频域融合特征和第一图像特征，得到频域疑似伪造特征。

具体地，当获取得到频域差异掩码时，第一差异注意力模块可根据频域差异掩码确定第一图像特征中每个第一特征元素各自对应的注意力权重。比如，第一差异注意力模块可将频域差异掩码中的掩码元素的元素值，作为具有相同位置信息的第一特征元素的注意力权重。又比如，第一差异注意力模块还可以根据当前第一特征元素的位置信息，确定频域差异掩码中具有相同或邻近位置信息的多个掩码元素，综合多个掩码元素的元素值，得到与当前第一特征元素相对应的注意力权重。

进一步地，第一差异注意力模块将每个第一特征元素分别乘以各自对应的注意力权重，以通过频域差异掩码中的各掩码元素的元素值重新计算第一图像特征中各第一特征元素的元素值，得到相应的频域融合特征。为了得到具有更为丰富信息的特征，第一差异注意力模块还可综合频域融合特征和第一图像特征，得到频域疑似伪造特征，比如，第一差异注意力模块将频域融合特征与第一图像特征进行相加，得到频域疑似伪造特征。

在其中一个实施例中，可通过公式H_i，c(x)＝M_i，c(x)*T_i，c(x)来得到频域融合特征，其中，x为输入数据，i为空间位置，c为通道的下标，T_i，c(x)为输入为x、空间位置为i、通道下标为c时的第一特征元素，M_i，c(x)为与T_i，c(x)相对应的注意力权重。容易理解的，频域差异掩码的尺寸大小可与第一图像特征的尺寸大小一致，M_i，c(x)可为频域差异掩码中的掩码元素的元素值。

上述实施例中，通过频域差异掩码可确定各第一特征元素各自对应的注意力权重，从而可基于注意力权重突出第一图像特征中的疑似为标明伪造区域的特征区域，去除无关特征区域，使得后续可基于更为突出的特征区域快速、准确地确定相应的真伪检测结果。

在一个实施例中，通过自注意力机制，将色彩差异掩码应用于第二图像特征中，得到色彩疑似伪造特征，包括：根据色彩差异掩码，确定第二卷积特征中每个第二特征元素各自对应的注意力权重；将每个第二特征元素分别乘以各自对应的注意力权重，得到色彩融合特征；综合色彩融合特征和第二图像特征，得到色彩疑似伪造特征。

具体地，当获取得到色彩差异掩码时，第二差异注意力模块可根据色彩差异掩码确定第二图像特征中每个第二特征元素各自对应的注意力权重。比如，第二差异注意力模块可将频域差异掩码中的掩码元素的元素值，作为具有相同位置信息的第二特征元素的注意力权重。进一步地，第二差异注意力模块将每个第二特征元素分别乘以各自对应的注意力权重，以通过色彩差异掩码中的各掩码元素的元素值重新计算第二图像特征中各第二特征元素的元素值，得到相应的色彩融合特征。第二差异注意力模块综合色彩融合特征和第二图像特征，得到色彩疑似伪造特征，比如，第二差异注意力模块将色彩融合特征与第二图像特征进行相加，得到色彩疑似伪造特征。

在其中一个实施例中，当M_i，c(y)的取值范围在(0，1]时，可通过公式H_i，c(y)＝(1+M_i，c(y))*T_i，c(y)来得到色彩疑似伪造特征，其中，y为输入数据，i为空间位置，c为通道的下标，T_i，c(y)为输入为y、空间位置为i、通道下标为c时的第二特征元素，M_i，c(y)为与T_i，c(y)相对应的注意力权重。容易理解的，M_i，c(y)可为色彩差异掩码中的掩码元素的元素值。

上述实施例中，通过色彩差异掩码可确定各第二特征元素各自对应的注意力权重，从而可基于注意力权重突出第二图像特征中的疑似为标明伪造区域的特征区域，去除无关特征区域，使得后续可基于更为突出的特征快速、准确地确定相应的真伪检测结果。

在一个实施例中，综合频域疑似伪造特征和色彩疑似伪造特征，确定待检测图像的真伪检测结果，包括：通过色彩疑似伪造特征对频域疑似伪造特征进行特征补充处理，得到对应的频域补充特征；通过频域疑似伪造特征对色彩疑似伪造特征进行特征补充处理，得到对应的色彩补充特征；综合频域补充特征和色彩补充特征，得到待检测图像的真伪检测结果。

具体地，为了促进色彩空间与频域空间提取的特征交融互补，图像真伪检测模型还可以融合两个空间的信息以进行协作学习，从而挖掘到更全面的伪造信息。当获取得到频域疑似伪造特征和色彩疑似伪造特征时，图像真伪检测模型可通过色彩疑似伪造特征对频域疑似伪造特征进行特征补充处理，得到对应的频域补充特征，以及通过频域疑似伪造特征对色彩疑似伪造特征进行特征补充处理，得到对应的色彩补充特征，并综合频域补充特征和色彩补充特征，得到待检测图像的真伪检测结果。比如，图像真伪检测模型分别对频域补充特征和色彩补充特征进行卷积处理，得到频域补充卷积特征和色彩补充卷积特征，并沿通道维度将频域补充卷积特征和色彩补充卷积特征进行合并，得到合并特征，将合并特征输入至全局平均池化层和全连层，得到最终输出的真伪检测结果。

在其中一个实施例中，图像真伪检测模型中可包括有协作融合模块，该协作融合模块可基于色彩疑似伪造特征对频域疑似伪造特征进行特征补充处理，得到对应的频域补充特征，以及基于频域疑似伪造特征对色彩疑似伪造特征进行特征补充处理，得到对应的色彩补充特征。容易理解地，协作融合模块中可包括有频域融合结构和色彩融合结构，通过频域融合结构，可对频域疑似伪造特征进行特征补充处理，得到频域补充特征；通过色彩融合结构，可对色彩疑似伪造特征进行特征补充处理，得到色彩补充特征。

在其中一个实施例中，参考图6，图6示出了一个实施例中真伪检测结果的输出示意图。当获取得到频域疑似伪造特征和色彩疑似伪造特征时，图像真伪检测模型可分别对频域疑似伪造特征和色彩疑似伪造特征进行多层卷积处理，并将卷积处理后的频域疑似伪造特征和色彩疑似伪造特征输入至协作融合模块，通过协作融合模块输出频域补充特征和色彩补充特征。进一步地，图像真伪检测模型分别对频域补充特征和色彩补充特征进行卷积处理，得到频域补充卷积特征和色彩补充卷积特征，并沿通道维度将频域补充卷积特征和色彩补充卷积特征进行合并，得到合并特征，将合并特征输入至全局平均池化层和全连层，得到最终输出的真伪检测结果。

上述实施例中，通过对频域疑似伪造特征和色彩疑似伪造特征进行特征补充以及特征合并处理，使得图像真伪检测模型可以融合两个空间的信息以进行协作学习，从而挖掘到更全面的伪造信息，通过更全面的伪造信息得到更为准确的真伪检测结果。

在一个实施例中，通过色彩疑似伪造特征对频域疑似伪造特征进行特征补充处理，得到对应的频域补充特征，包括：确定与频域疑似伪造特征相对应的第一向量序列；对色彩伪造特征进行卷积处理，得到色彩伪造卷积特征；确定第一向量序列中的每个第一向量元素的位置信息、以及色彩伪造卷积特征中的每个第三特征元素的位置信息；分别对具有相应位置信息的第一向量元素和第三特征元素进行融合，得到频域向量融合特征；合并频域向量融合特征和频域疑似伪造特征，得到频域补充特征。

具体地，当获取得到频域疑似伪造特征和色彩疑似伪造特征时，协作融合模块对频域疑似伪造特征进行卷积和全局平均池化处理，得到与该频域疑似伪造特征相对应的第一向量序列。与此同时，协作融合模块对色彩疑似伪造特征进行卷积处理，得到色彩伪造卷积特征。协作融合模块确定第一向量序列中每个第一向量元素的位置信息，以及确定色彩伪造卷积特征中的每个第三特征元素的位置信息。其中，第一向量元素的位置信息可包括第一向量元素在第一向量序列中的排列顺序。第三特征元素的位置信息可包括第三特征元素在色彩伪造卷积特征中的排列顺序。

进一步地，协作融合模块将具有对应位置信息的第一向量元素和第三特征元素进行融合，得到频域向量融合特征。比如，参考图7，协作融合模块将具有相同位置信息的第一向量元素和第三向量元素进行相乘，得到频域向量融合特征。为了得到包括有丰富信息的特征，协作融合模块合并频域向量融合特征和频域疑似伪造特征，得到频域补充特征。比如，如图7所示，协作融合模块将频域向量融合特征和频域疑似伪造特征沿特征通道维度进行合并，得到频域补充特征。图7示出了一个实施例中协作融合模块的示意图。

本实施例中，只需对第一向量元素和第三特征元素进行融合，即可实现将频域空间中的信息与色彩空间中的信息进行综合，从而提升了信息综合的效率。

在一个实施例中，通过频域疑似伪造特征对色彩疑似伪造特征进行特征补充处理，得到对应的色彩补充特征，包括：确定与色彩疑似伪造特征相对应的第二向量序列；对频域伪造特征进行卷积处理，得到频域伪造卷积特征；确定第二向量序列中的每个第二向量元素的位置信息、以及频域伪造卷积特征中的每个第四特征元素的位置信息；分别对具有相应位置信息的第二向量元素和第四特征元素进行融合，得到色彩向量融合特征；合并色彩向量融合特征和色彩疑似伪造特征，得到色彩补充特征。

具体地，当获取得到频域疑似伪造特征和色彩疑似伪造特征时，协作融合模块对色彩疑似伪造特征进行卷积和全局平均池化处理，得到与该色彩疑似伪造特征相对应的第二向量序列。与此同时，协作融合模块对频域疑似伪造特征进行卷积处理，得到频域伪造卷积特征。协作融合模块确定第二向量序列中每个第二向量元素的位置信息，以及确定频域伪造卷积特征中的每个第四特征元素的位置信息，将具有对应位置信息的第二向量元素和第四特征元素进行融合，得到色彩向量融合特征。其中，第二向量元素的位置信息可包括第二向量元素在第二向量序列中的排列顺序。第四特征元素的位置信息可包括第四特征元素在频域伪造卷积特征中的排列顺序。比如，参考图7，协作融合模块将具有相同位置信息的第二向量元素和第四向量元素进行相乘，得到色彩向量融合特征。进一步地，协作融合模块合并色彩向量融合特征和色彩疑似伪造特征，得到色彩补充特征。比如，如图7所示，协作融合模块将色彩向量融合特征和色彩疑似伪造特征沿特征通道维度进行合并，得到色彩补充特征。

本实施例中，只需对第二向量元素和第四特征元素进行融合，即可实现将频域空间中的信息与色彩空间中的信息进行综合，从而提升了信息综合的效率。

在一个实施例中，图像真伪检测方法由图像真伪检测模型执行，图像真伪检测模型通过模型训练步骤训练获得，模型训练步骤包括：获取样本图像集、及样本图像集中每个样本图像各自对应的样本标签；根据样本图像中的部分频域信息得到频域预测缺失图，以及根据样本图像中的部分色彩信息，得到色彩预测缺失图；根据频域预测缺失图中的第一预测特征生成频域预测重建图，及根据色彩预测缺失图中的第二预测特征生成色彩预测重建图；根据频域预测重建图与样本图像之间的差异，确定频域预测掩码，并通过频域预测掩码对第一预测特征进行自注意力处理，得到频域预测伪造特征；根据色彩预测重建图与样本图像之间的差异，确定色彩预测掩码，并通过色彩预测掩码对第二预测特征进行自注意力处理，得到色彩预测伪造特征；综合频域预测伪造特征和色彩预测伪造特征，得到样本图像的真伪预测结果，并根据真伪预测结果与相应样本标签确定分类损失；根据分类损失确定目标损失函数，通过目标损失函数对图像真伪检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的图像真伪检测模型。

具体地，在基于图像真伪检测模型进行真伪检测之前，还可对该模型进行训练，通过构造目标损失函数来调整模型参数，得到训练好的图像真伪检测模型。

在一个实施例中，图像真伪检测模型的训练步骤还包括：当训练样本为真实图像时，基于训练样本与相应频域预测重建图之间的差异，构造第一重构损失，以及基于训练样本与相应色彩预测重建图之间的差异，构造第二重构损失；通过第一重构损失、第二重构损失和分类损失，确定目标损失函数。

具体地，为了使得图像真伪检测模型能够学到真实图像的本质信息，并通过学习到的真实图像的本质信息较好地重建真实样本，以达到图像真伪检测模型无法很好重建的区域即为包括有伪造痕迹的区域的目的，计算机还可构建第一重构损失和第二重构损失，通过重构损失来提升模型对真实图像的重建能力。

在一个实施例中，参考图8，图8示出了一个实施例中图像真伪检测模型的整体框架示意图。如图8所示，图像真伪检测模型中包括有频域处理分支、色彩处理分支和协作融合模块，其中，频域处理分支中包括有第一差异注意力模块，色彩处理分支中包括有第二差异注意力模块。通过频域处理分支，可生成频域缺失图，并通过频域缺失图中的第一图像特征生成频域重建图。通过色彩处理分支可生成色彩缺失图，并通过色彩缺失图中的第二图像特征生成色彩重建图。通过第一差异注意力模块，可生成频域差异掩码，并基于频域差异掩码得到频域疑似伪造特征，通过第二差异注意力模块，可生成色彩差异掩码，并基于色彩差异掩码得到色彩疑似伪造特征。通过协作融合模块可对频域疑似伪造特征进行特征补充处理，得到频域补充特征，以及对色彩疑似伪造特征进行特征补充处理，得到色彩补充特征，从而图像真伪检测模型可基于频域补充特征和色彩补充特征得到待检测图像的真伪检测结果。

在一个实施例中，如图9所示，提供了一种图像真伪检测模型训练方法，以该方法应用于计算机设备进行说明，该计算机设备具体可以是图1中的终端或服务器。其中，该图像真伪检测模型训练方法包括以下步骤：

S902，获取样本图像集、及样本图像集中每个样本图像各自对应的样本标签。

具体地，在通过图像真伪检测模型对待检测图像进行图像真伪检测之前，还需对该图像真伪检测模型进行训练。计算机设备可获取大量的样本图像、以及各样本图像各自对应的样本标签，从而计算机设备可基于获取得到的样本图像和相应的样本标签，对待训练的图像真伪检测模型进行迭代训练。

S904，根据样本图像中的部分频域信息得到频域预测缺失图，以及根据样本图像中的部分色彩信息，得到色彩预测缺失图。

S906，根据频域预测缺失图中的第一预测特征生成频域预测重建图，及根据色彩预测缺失图中的第二预测特征生成色彩预测重建图。

S908，根据频域预测重建图与样本图像之间的差异，确定频域预测掩码，并通过频域预测掩码对第一预测特征进行自注意力处理，得到频域预测伪造特征。

S910，根据色彩预测重建图与样本图像之间的差异，确定色彩预测掩码，并通过色彩预测掩码对第二预测特征进行自注意力处理，得到色彩预测伪造特征。

S912，综合频域预测伪造特征和色彩预测伪造特征，得到样本图像的真伪预测结果，并根据真伪预测结果与相应样本标签确定分类损失。

具体地，当获取得到样本图像时，计算机设备可将样本图像输入至待训练的图像真伪检测模型中，通过待训练的图像真伪检测模型输出样本图像的真伪预测结果。其中，图像真伪检测模型输出真伪预测结果的具体过程，可参考上述对待检测图像进行真伪检测以得到真伪检测结果的过程。由于图像中的伪造痕迹一般存在于频域空间的高频成分中，因此通过过滤一些高频信息，并约束模型能够基于过滤后的信息重建出原频域，可以使得模型学习如何更好地恢复频域，即对真实人脸的频域分布进行学习，从而后续可基于学习结果输出更为准确的真伪检测结果。

进一步地，由于样本标签中可包括有分类标签，比如，可包括有“真实图像”以及“伪造图像”字样的分类标签，从而当获取得到真伪预测结果时，计算机设备还可根据真伪预测结果与相应分类标签之间的差异，确定相应的分类损失。

S914，根据分类损失确定目标损失函数，通过目标损失函数对图像真伪检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的图像真伪检测模型；其中，训练完成的图像真伪检测模型用以对待检测图像进行图像真伪检测，得到相应的真伪检测结果。

具体地，计算机设备可根据分类损失确定相应的目标损失函数，并通过目标损失函数对图像真伪检测模型进行训练，以调整图像真伪检测模型中的模型参数，直至达到训练停止条件时停止，得到训练完成的图像真伪检测模型。其中，训练停止条件可根据需求自由设定，比如，可在达到预设迭代次数时，确定达到训练停止条件。当获取得到训练完成的图像真伪检测模型时，计算机设备即可通过该模型对待检测图像进行图像真伪检测。

上述图像真伪检测模型训练方法中，通过获取样本图像，可生成与样本图像相对应的频域预测缺失图和色彩预测缺失图，并基于频域预测缺失图生成相应的频域预测重建图，以及基于色彩预测缺失图生成相应的色彩预测重建图。通过生成频域预测重建图，可基于频域预测重建图与相应样本图像之间的差异，得到频域预测伪造特征；通过生成色彩预测重建图，可基于色彩预测重建图与相应样本图像之间的差异，得到色彩预测伪造特征，如此，便可综合频域空间中的频域预测伪造特征以及色彩空间中的色彩预测伪造特征，得到真伪预测结果。通过得到真伪预测结果，可基于真伪预测结果与相应样本标签之间的差异，确定目标损失函数，从而可基于目标损失函数对图像真伪检测模型进行训练，得到训练好的图像真伪检测模型。由于是综合频域预测伪造特征以及色彩预测伪造特征对图像真伪检测模型进行训练的，因此训练好的图像真伪检测模型可以输出更为准确的频域疑似伪造特征和色彩疑似伪造特征，进而使得基于更为准确的频域疑似伪造特征和色彩疑似伪造特征所得到的真伪检测结果也更为准确。

在一个实施例中，获取样本图像集，包括：获取多个真实视频、以及每个真实视频各自对应的至少一个伪造视频；对于多个真实视频中的每个视频，均从与当前真实视频对应的至少一个伪造视频中筛选出目标伪造视频；分别提取各真实视频和各目标伪造视频中的视频帧，得到样本图像集。

具体地，计算机设备可获取多个真实视频，以及每个真实视频各自对应的多个伪造视频。为了提升样本图像集中正负样本图像的平衡，对于多个真实视频中的每个视频，计算机设备均从与当前真实视频对应的多个伪造视频中筛选出一个目标伪造视频，并按照预设的采集频率，分别从真实视频和目标伪造视频中提取出多个视频帧，得到样本图像集。

在一个实施例中，参考图10，当获取得到真实视频时，计算机设备可通过多种图像编辑应用分别对该真实视频中的视频内容进行编辑，得到多个伪造视频。比如，计算机设备可通过第一图像编辑应用对真实视频中的人脸进行替换，得到与该真实视频相对应的第一伪造视频，通过第二图像编辑应用对真实视频中的人脸进行磨皮、瘦脸，得到与该真实视频相对应的第二伪造视频。从而计算机设备可从第一伪造视频和第二伪造视频中筛选出目标伪造视频，并从真实视频以及目标伪造视频中提取出视频帧，得到样本图像集。图10示出了一个实施例中样本图像集的示意图。

在其中一个实施例中，当获取得到样本图像时，计算机设备还可对样本图像进行数据增强处理，以基于数据增强后的样本图像提升图像真伪检测模型的泛化性。比如，计算机设备可对样本图像进行随机水平翻转、随机模型或者随机压缩等处理，以对样本图像进行数据增强处理。

上述实施例中，通过从多个伪造视频中筛选出目标伪造视频，可使得基于真实视频和目标伪造视频所得到的样本图像集中的正负样本数量大致相同，从而使得通过正负样本平衡的样本图像集训练得到的图像真伪检测模型更为准确。

在一个实施例中，在根据分类损失确定目标损失函数之前，上述图像真伪检测模型训练方法还包括：当训练样本为真实图像时，基于训练样本与相应频域预测重建图之间的差异，构造第一重构损失，以及基于训练样本与相应色彩预测重建图之间的差异，构造第二重构损失；根据分类损失确定目标损失函数，包括：通过第一重构损失、第二重构损失和分类损失，确定目标损失函数。

具体地，为了使得图像真伪检测模型能够学到真实图像的本质信息，并通过学习到的真实图像的本质信息较好地重建真实样本，以达到图像真伪检测模型无法很好重建的区域即为包括有伪造痕迹的区域的目的，计算机还可构建重构损失，通过重构损失来提升模型对真实图像的重建能力。

当训练样本为真实图像时，计算机设备可确定训练样本与相应的频域预测重建图之间的差异，并根据训练样本与相应的频域预测重建图之间的差异构建第一重构损失。当训练样本为真实图像时，计算机设备也可确定训练样本与相应色彩预测重建图之间的差异，并根据训练样本与相应色彩预测重建图之间的差异构建第二重构损失。计算机设备通过第一重构损失、第二重构损失和分类损失，确定相应目标损失函数，并通过目标损失函数对图像真伪检测模型进行训练。

在一个实施例中，计算机设备可通过下述公式确定第一重构损失：

其中，R为样本图像集中的真实图像，

为频域预测重建图，x_i为训练样本。容易理解地，计算机设备也可通过该公式确定第二重构损失，当基于该公式确定第二重构损失时，

即为色彩预测重建图。

上述实施例中，通过构建重构损失，可使得图像真伪检测模型学到真实图像的本质信息，进而使得当待检测图像为真实图像时，基于学习到的本质信息重建得到的频域重建图和色彩重建图能够更为准确，当待检测图像为伪造图像时，基于学习到的本质信息重建得到的频域重建图和色彩重建图能够反映出伪造区域。

在一个实施例中，上述图像真伪检测模型训练方法还包括：确定训练样本集中第一训练样本对和第二训练样本对；第一训练样本对中包括两个具有相同真伪类别的训练样本；第二训练样本对中包括两个具有不同真伪类别的训练样本；确定第一训练样本对中两个训练样本各自对应的第一预测特征之间的第一图像距离，及两个训练样本各自对应的第二预测特征之间的第二图像距离；确定第二训练样本对中两个训练样本各自对应的第一预测特征之间的第三图像距离，及两个训练样本各自对应的第二预测特征之间的第四图像距离；根据第一图像距离和第三图像距离，确定第一约束损失；根据第二图像距离和第四图像距离，确定第二约束损失；通过第一重构损失、第二重构损失和分类损失，确定目标损失函数，包括：通过第一约束损失、第二约束损失、第一重构损失、第二重构损失和分类损失，确定目标损失函数。

具体地，为了提升图像真伪检测模型对真伪图像的判别性，计算机设备还可设置约束损失，通过约束损失提升图像真伪检测模型所输出的第一图像特征和第二图像特征的准确性。计算机设备确定训练样本集中第一训练样本对和第二训练样本对，其中，第一训练样本对中包括两个具有相同真伪类别的训练样本；第二训练样本对中包括两个具有不同真伪类别的训练样本，比如，第一训练样本对中的两个训练样本均为真实图像，第二训练样本对中的一个训练样本为真实图像、另一个为伪造图像。对于第一训练样本对，计算机设备确定第一训练样本对中的每个训练样本各自对应的第一预测特征，并确定每个训练样本各自对应的第一预测特征之间的第一图像距离。相应的，计算机设备确定第一训练样本对中每个训练样本各自对应的第二预测特征，并确定每个训练样本各自对应的第二训练特征之间的第二图像距离。

进一步地，对于第二训练样本对，计算机设备确定第二训练样本对中每个训练样本各自对应的第一预测特征，并确定每个训练样本各自对应的第一预测特征之间的第三图像距离。相应的，计算机设备确定第二训练样本对中每个训练样本各自对应的第二预测特征，并确定每个训练样本各自对应的第二预测特征之间的第四图像距离。其中，第一图像距离、第二图像距离、第三图像距离和第四图像距离均可为余弦距离。

进一步地，计算机设备根据第一图像距离和第三图像距离，确定第一约束损失；根据第二图像距离和第四图像距离，确定第二约束损失，根据通过第一约束损失、第二约束损失、第一重构损失、第二重构损失和分类损失，确定目标损失函数，并通过目标损失函数对图像真伪检测模型进行训练。比如，计算机设备可确定第一约束损失、第二约束损失、第一重构损失、第二重构损失和分类损失各自对应的权重，并通过所确定的权重对第一约束损失、第二约束损失、第一重构损失、第二重构损失和分类损失进行加权求和处理，得到目标损失函数。

在其中一个实施例中，计算机设备可通过下述公式确定第一约束损失：

其中，S为第一训练样本对，D为第二训练样本对，F_*为与*训练样本相对应的第一预测特征。容易理解地，计算机设备也可通过上述公式确定第二约束损失，当基于上述公式确定第二约束损失时，F_*为与*训练样本相对应的第二预测特征。

上述实施例中，通过生成约束损失，使得基于约束损失训练得到的图像真伪检测模型能够输出更为准确的图像特征。

本申请还提供一种应用场景，该应用场景应用上述的图像真伪检测方法。具体地，该图像真伪检测方法在该应用场景的应用如下：

在某些多媒体平台上，用户可随意上传经过编辑的换脸视频。换脸视频的广泛传播使得媒体的公信力不断下降，容易对用户产生误导。当用户上传视频至多媒体平台时，多媒体平台可通过图像真伪检测模型对接收到的视频进行视频筛查，从视频中筛选出多个图像帧，得到多张待检测图像，并针对每一张待检测图像进行真伪检测，得到各待检测图像各自对应的检测结果。当多张待检测图像中具有预设数量的伪造图像时，则确定该视频为位置视频，并对检测出来的伪造视频加上显著标记，如“由Deepfakes制作”，如此，来确保视频内容的可信度，保证社会公信力。

本申请还另外提供一种应用场景，该应用场景应用上述的图像真伪检测方法。具体地，该图像真伪检测方法在该应用场景的应用如下：

当基于账号管理应用对用户账号进行冻结之前，为了保证账号安全，账号管理应用可以通过调用图像采集装置采集当前用户的人脸图像，并将当前用户的人脸图像发送至服务器，由服务器对当前用户的人脸图像进行人脸验证。当服务器接收到当前用户的人脸图像，服务器将当前用户的人脸图像输入至图像真伪检测模型中，通过图像真伪检测模型输出真伪检测结果，从而在当前用户的人脸图像为伪造图像时，账号管理应用拒绝对用户账号进行冻结；在当前用户的人脸图像为真实图像时，账号管理应用对用户账号进行冻结。

上述应用场景仅为示意性的说明，可以理解，本申请各实施例所提供的图像真伪检测方法的应用不局限于上述场景，比如，还可应用于人脸核身、司法验证等场景中。

在一个具体实施例中，参考图11，提供了一种图像真伪检测方法，包括以下步骤：

S1102，获取样本图像集、及样本图像集中每个样本图像各自对应的样本标签；根据样本图像中的部分频域信息得到频域预测缺失图，以及根据样本图像中的部分色彩信息，得到色彩预测缺失图；根据频域预测缺失图中的第一预测特征生成频域预测重建图，及根据色彩预测缺失图中的第二预测特征生成色彩预测重建图。

S1104，根据频域预测重建图与样本图像之间的差异，确定频域预测掩码，并通过频域预测掩码对第一预测特征进行自注意力处理，得到频域预测伪造特征；根据色彩预测重建图与样本图像之间的差异，确定色彩预测掩码，并通过色彩预测掩码对第二预测特征进行自注意力处理，得到色彩预测伪造特征。

S1106，综合频域预测伪造特征和色彩预测伪造特征，得到样本图像的真伪预测结果，并根据真伪预测结果与相应样本标签确定分类损失；当训练样本为真实图像时，基于训练样本与相应频域预测重建图之间的差异，构造第一重构损失，以及基于训练样本与相应色彩预测重建图之间的差异，构造第二重构损失。

S1108，通过目标损失函数对图像真伪检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的图像真伪检测模型。

S1110，获取待检测视频，并根据采样频率，提取待检测视频中的多个视频帧，比如，从待检测视频中等间隔地采样50帧；将提取出的每个视频帧均作为待检测图像。

S1112，将待检测图像从图像空间域转换至频率域，得到频域图像，比如，对待检测图像进行离散余弦变换，得到频域图像；过滤频域图像中的空间频率大于预设频率阈值的频域信息，得到待检测图像中的目标频域信息，比如，过滤高频信息，得到目标频域信息；将目标频域信息从频率域转换至图像空间域，比如，对目标频域信息进行逆离散余弦变换，得到频域缺失图。

S1114，对待检测图像进行切分处理，得到包括有多个图像切片的图像网格；将图像网格中的至少一个图像切片转换为灰度图像，得到对应的色彩缺失图。

S1116，基于频域缺失图中的第一图像特征生成频域重建图，比如，对频域缺失图进行编码处理，得到第一图像特征，对第一图像特征进行解码处理，得到频域重建图；及根据色彩缺失图中的第二图像特征生成色彩重建图，比如，对色彩缺失图进行编码处理，得到第二图像特征，对第二图像特征进行解码处理，得到色彩重建图。

S1118，确定频域重建图与待检测图像之间的第一图像差异，比如，将频域重建图与待检测图像进行相减，得到第一图像差异，并对第一图像差异进行卷积和激活处理，得到频域差异掩码。

S1120，基于频域差异掩码，确定第一图像特征中每个第一特征元素各自对应的注意力权重，比如，将频域差异掩码中的掩码元素的元素值作为相应位置的第一特征元素的注意力权重；将每个第一特征元素分别乘以各自对应的注意力权重，得到频域融合特征；综合频域融合特征和第一图像特征，得到频域疑似伪造特征，比如将频域融合特征和第一图像特征进行相加，得到频域疑似伪造特征。

S1122，确定色彩重建图与待检测图像之间的第二图像差异，并对第二图像差异进行卷积和激活处理，得到色彩差异掩码。

S1124，基于色彩差异掩码，确定第二卷积特征中每个第二特征元素各自对应的注意力权重；将每个第二特征元素分别乘以各自对应的注意力权重，得到色彩融合特征；综合色彩融合特征和第二图像特征，得到色彩疑似伪造特征。

S1126，确定频域疑似伪造特征相对应的第一向量序列，比如，对频域疑似伪造特征进行卷积、全局平均池化处理，得到第一向量序列；对色彩伪造特征进行卷积处理，得到色彩伪造卷积特征。

S1128，确定第一向量序列中的每个第一向量元素的位置信息、以及色彩伪造卷积特征中的每个第三特征元素的位置信息；分别对具有相应位置信息的第一向量元素和第三特征元素进行融合，得到频域向量融合特征；合并频域向量融合特征和频域疑似伪造特征，得到频域补充特征，比如，将频域向量融合特征与频域疑似伪造特征沿通道维度进行合并，得到频域补充特征。

S1130，确定与色彩疑似伪造特征相对应的第二向量序列；对频域伪造特征进行卷积处理，得到频域伪造卷积特征。

S1132，确定第二向量序列中的每个第二向量元素的位置信息、以及频域伪造卷积特征中的每个第四特征元素的位置信息；分别对具有相应位置信息的第二向量元素和第四特征元素进行融合，得到色彩向量融合特征；合并色彩向量融合特征和色彩疑似伪造特征，得到色彩补充特征。

S1134，综合频域补充特征和色彩补充特征，得到待检测图像的真伪检测结果，比如，对频域补充特征和色彩补充特征进行合并，得到合并特征，并基于合并特征得到真伪检测结果；综合每个待检测图像分别对应的真伪检测结果，确定待检测视频的真伪检测结果。

上述图像真伪检测方法通过获取待检测图像，可过滤待检测图像中的部分信息，得到频域缺失图和色彩缺失图。通过生成频域缺失图，可基于频域缺失图中的第一图像特征进行图像重建，得到频域重建图；通过色彩缺失图，可基于色彩缺失图中的第二图像特征进行图像重建，得到色彩重建图。通过生成频域重建图，可基于频域重建图得到频域差异掩码，从而可基于频域差异掩码得到频域空间中的频域疑似伪造特征；通过生成色彩重建图，可基于色彩重建图得到色彩差异掩码，从而可基于色彩差异掩码得到色彩空间中的色彩疑似伪造特征，如此，便可综合频域空间中的频域疑似伪造特征和色彩空间中的色彩疑似伪造特征，输出真伪检测结果。由于是综合频域空间中的频域疑似伪造特征和色彩空间中的色彩疑似伪造特征，来得到真伪检测结果，因此，相比于传统的通过检测某些特定伪造痕迹来对待检测图像进行检测，本申请可不受特定伪造痕迹的限制，从而提升了图像真伪检测模型的泛化性，进而提升了真伪检测结果的准确性。

在一个具体实施例中，参考图12提供了一种图像真伪检测模型训练法，包括以下步骤：

S1202，获取多个真实视频、以及每个真实视频各自对应的至少一个伪造视频；对于多个真实视频中的每个视频，均从与当前真实视频对应的至少一个伪造视频中筛选出目标伪造视频；分别提取各真实视频和各目标伪造视频中的视频帧，比如，分别从真实测视频和目标伪造视频中等间隔地采样50帧，得到样本图像集，并获取样本图像集中每个样本图像各自对应的样本标签。

S1204，根据样本图像中的部分频域信息得到频域预测缺失图，以及根据样本图像中的部分色彩信息，得到色彩预测缺失图。

S1206，根据频域预测缺失图中的第一预测特征生成频域预测重建图，及根据色彩预测缺失图中的第二预测特征生成色彩预测重建图。

S1208，根据频域预测重建图与样本图像之间的差异，确定频域预测掩码，通过频域预测掩码对第一预测特征进行自注意力处理，得到频域预测伪造特征。

S1210，根据色彩预测重建图与样本图像间的差异，确定色彩预测掩码，并通过色彩预测掩码对第二预测特征进行自注意力处理，得到色彩预测伪造特征。

S1212，综合频域预测伪造特征和色彩预测伪造特征，得到样本图像的真伪预测结果，并根据真伪预测结果与相应样本标签确定分类损失，比如，根据真伪预测结果与分类标签之间的差异，确定分类损失。

S1214，当训练样本为真实图像时，基于训练样本与相应频域预测重建图之间的差异，构造第一重构损失，比如，将频域预测重建图减去训练样本，得到第一重构损失，以及基于训练样本与相应色彩预测重建图之间的差异，构造第二重构损失，比如，将色彩预测重建图减去训练样本，得到第二重构损失。

S1216，确定训练样本集中第一训练样本对和第二训练样本对；第一训练样本对中包括两个具有相同真伪类别的训练样本；第二训练样本对中包括两个具有不同真伪类别的训练样本；比如，第一训练样本对中的两个训练样本均为真实图像，第二训练样本对中的一个训练样本为真实图像、另一个为伪造图像。

S1218，确定第一训练样本对中两个训练样本各自对应的第一预测特征之间的第一图像距离，及两个训练样本各自对应的第二预测特征之间的第二图像距离；确定第二训练样本对中两个训练样本各自对应的第一预测特征之间的第三图像距离，及两个训练样本各自对应的第二预测特征之间的第四图像距离，其中，第一图像距离、第二图像距离、第三图像距离和第四图像距离均可为余弦距离。

S1220，根据第一图像距离和第三图像距离，确定第一约束损失，比如，根据第一图像距离和第三图像距离之间的差异，确定第一约束损失；根据第二图像距离和第四图像距离，确定第二约束损失，根据第二图像距离和第四图像距离之间的差异，确定第二约束损失。

S1222，通过第一约束损失、第二约束损失、第一重构损失、第二重构损失和分类损失，确定目标损失函数，比如，对第一约束损失、第二约束损失、第一重构损失、第二重构损失和分类损失进行加权求和，得到目标损失函数。

S1224，通过目标损失函数对图像真伪检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的图像真伪检测模型；其中，训练完成的图像真伪检测模型用以对待检测图像进行图像真伪检测，得到相应的真伪检测结果。

上述图像真伪检测模型训练方法，通过获取样本图像，可生成与样本图像相对应的频域预测缺失图和色彩预测缺失图，并基于频域预测缺失图生成相应的频域预测重建图，以及基于色彩预测缺失图生成相应的色彩预测重建图。通过生成频域预测重建图，可基于频域预测重建图与相应样本图像之间的差异，得到频域预测伪造特征；通过生成色彩预测重建图，可基于色彩预测重建图与相应样本图像之间的差异，得到色彩预测伪造特征，如此，便可综合频域空间中的频域预测伪造特征以及色彩空间中的色彩预测伪造特征，得到真伪预测结果。通过得到真伪预测结果，可基于真伪预测结果与相应样本标签之间的差异，确定目标损失函数，从而可基于目标损失函数对图像真伪检测模型进行训练，得到训练好的图像真伪检测模型。由于是综合频域预测伪造特征以及色彩预测伪造特征对图像真伪检测模型进行训练的，因此训练好的图像真伪检测模型可以输出更为准确的频域疑似伪造特征和色彩疑似伪造特征，进而使得基于更为准确的频域疑似伪造特征和色彩疑似伪造特征所得到的真伪检测结果也更为准确。

应该理解的是，虽然图2、图9、图11-图12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图9、图11-图12中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图13所示，提供了一种图像真伪检测装置1300，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：重建图像生成模块1302、疑似特征确定模块1304和结果输出模块1306，其中：

重建图像生成模块1302，用于获取待检测图像，并根据待检测图像中的部分频域信息得到频域缺失图，以及根据待检测图像中的部分色彩信息得到色彩缺失图；根据频域缺失图中的第一图像特征生成频域重建图，及根据色彩缺失图中的第二图像特征生成色彩重建图。

疑似特征确定模块1304，用于根据频域重建图与待检测图像之间的差异，确定频域差异掩码，并通过频域差异掩码对第一图像特征进行自注意力处理，得到频域疑似伪造特征；根据色彩重建图与待检测图像之间的差异，确定色彩差异掩码，并通过色彩差异掩码对第二图像特征进行自注意力处理，得到色彩疑似伪造特征。

结果输出模块1306，用于综合频域疑似伪造特征和色彩疑似伪造特征，确定待检测图像的真伪检测结果。

在一个实施例中，重建图像生成模块1302还用于获取待检测视频，并根据采样频率，提取待检测视频中的多个视频帧；将提取出的每个视频帧均作为待检测图像。图像真伪检测装置还用于综合每个待检测图像分别对应的真伪检测结果，确定待检测视频的真伪检测结果。

在一个实施例中，重建图像生成模块1302还包括缺失图生成模块1321，用于将待检测图像从图像空间域转换至频率域，得到频域图像；过滤频域图像中的空间频率大于预设频率阈值的频域信息，得到待检测图像中的目标频域信息；将目标频域信息从频率域转换至图像空间域，得到频域缺失图。

在一个实施例中，缺失图生成模块1321，还用于对待检测图像进行切分处理，得到包括有多个图像切片的图像网格；将图像网格中的至少一个图像切片转换为灰度图像，得到对应的色彩缺失图。

在一个实施例中，疑似特征确定模块1304还包括频域掩码生成模块1341，用于确定频域重建图与待检测图像之间的第一图像差异，并对第一图像差异进行卷积和激活处理，得到频域差异掩码；通过自注意力机制，将频域差异掩码应用于第一图像特征中，得到频域疑似伪造特征。

在一个实施例中，频域掩码生成模块1341，还用于根据频域差异掩码，确定第一图像特征中每个第一特征元素各自对应的注意力权重；将每个第一特征元素分别乘以各自对应的注意力权重，得到频域融合特征；综合频域融合特征和第一图像特征，得到频域疑似伪造特征。

在一个实施例中，疑似特征确定模块1304还包括色彩掩码生成模块1342，用于确定色彩重建图与待检测图像之间的第二图像差异，并对第二图像差异进行卷积和激活处理，得到色彩差异掩码；通过自注意力机制，将色彩差异掩码应用于第二图像特征中，得到色彩疑似伪造特征。

在一个实施例中，色彩掩码生成模块1342还用于根据色彩差异掩码，确定第二卷积特征中每个第二特征元素各自对应的注意力权重；将每个第二特征元素分别乘以各自对应的注意力权重，得到色彩融合特征；综合色彩融合特征和第二图像特征，得到色彩疑似伪造特征。

在一个实施例中，结果输出模块1306还用于通过色彩疑似伪造特征对频域疑似伪造特征进行特征补充处理，得到对应的频域补充特征；通过频域疑似伪造特征对色彩疑似伪造特征进行特征补充处理，得到对应的色彩补充特征；综合频域补充特征和色彩补充特征，得到待检测图像的真伪检测结果。

在一个实施例中，结果输出模块1306还包括特征融合模块1361，用于确定与频域疑似伪造特征相对应的第一向量序列；对色彩伪造特征进行卷积处理，得到色彩伪造卷积特征；确定第一向量序列中的每个第一向量元素的位置信息、以及色彩伪造卷积特征中的每个第三特征元素的位置信息；分别对具有相应位置信息的第一向量元素和第三特征元素进行融合，得到频域向量融合特征；合并频域向量融合特征和频域疑似伪造特征，得到频域补充特征。

在一个实施例中，特征融合模块1361还用于确定与色彩疑似伪造特征相对应的第二向量序列；对频域伪造特征进行卷积处理，得到频域伪造卷积特征；确定第二向量序列中的每个第二向量元素的位置信息、以及频域伪造卷积特征中的每个第四特征元素的位置信息；分别对具有相应位置信息的第二向量元素和第四特征元素进行融合，得到色彩向量融合特征；合并色彩向量融合特征和色彩疑似伪造特征，得到色彩补充特征。

在一个实施例中，如图14所示，提供了一种图像真伪检测模型训练装置1400，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：预测重建图生成模块1402、预测特征确定模块1404和训练模块1406，其中：

预测重建图生成模块1402，用于获取样本图像集、及样本图像集中每个样本图像各自对应的样本标签；根据样本图像中的部分频域信息得到频域预测缺失图，以及根据样本图像中的部分色彩信息，得到色彩预测缺失图；根据频域预测缺失图中的第一预测特征生成频域预测重建图，及根据色彩预测缺失图中的第二预测特征生成色彩预测重建图。

预测特征确定模块1404，用于根据频域预测重建图与样本图像之间的差异，确定频域预测掩码，并通过频域预测掩码对第一预测特征进行自注意力处理，得到频域预测伪造特征；根据色彩预测重建图与样本图像之间的差异，确定色彩预测掩码，并通过色彩预测掩码对第二预测特征进行自注意力处理，得到色彩预测伪造特征。

训练模块1406，用于综合频域预测伪造特征和色彩预测伪造特征，得到样本图像的真伪预测结果，并根据真伪预测结果与相应样本标签确定分类损失；根据分类损失确定目标损失函数，通过目标损失函数对图像真伪检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的图像真伪检测模型；其中，训练完成的图像真伪检测模型用以对待检测图像进行图像真伪检测，得到相应的真伪检测结果。

在一个实施例中，预测重建图生成模块1402还用于获取多个真实视频、以及每个真实视频各自对应的至少一个伪造视频；对于多个真实视频中的每个视频，均从与当前真实视频对应的至少一个伪造视频中筛选出目标伪造视频；分别提取各真实视频和各目标伪造视频中的视频帧，得到样本图像集。

在一个实施例中，图像真伪检测模型训练装置1400还用于当训练样本为真实图像时，基于训练样本与相应频域预测重建图之间的差异，构造第一重构损失，以及基于训练样本与相应色彩预测重建图之间的差异，构造第二重构损失；通过第一重构损失、第二重构损失和分类损失，确定目标损失函数。

在一个实施例中，图像真伪检测模型训练装置1400还用于确定训练样本集中第一训练样本对和第二训练样本对；第一训练样本对中包括两个具有相同真伪类别的训练样本；第二训练样本对中包括两个具有不同真伪类别的训练样本；确定第一训练样本对中两个训练样本各自对应的第一预测特征之间的第一图像距离，及两个训练样本各自对应的第二预测特征之间的第二图像距离；确定第二训练样本对中两个训练样本各自对应的第一预测特征之间的第三图像距离，及两个训练样本各自对应的第二预测特征之间的第四图像距离；根据第一图像距离和第三图像距离，确定第一约束损失；根据第二图像距离和第四图像距离，确定第二约束损失；通过第一约束损失、第二约束损失、第一重构损失、第二重构损失和分类损失，确定目标损失函数。

关于图像真伪检测装置、图像真伪检测模型训练装置的具体限定可以参见上文中对于图像真伪检测方法、图像真伪检测模型训方法的限定，在此不再赘述。上述图像真伪检测装置、图像真伪检测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像真伪检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像真伪检测方法和图像真伪检测模型训练方法。

本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种图像真伪检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测图像中的部分频域信息得到频域缺失图，包括：

将所述待检测图像从图像空间域转换至频率域，得到频域图像；

过滤所述频域图像中的空间频率大于预设频率阈值的频域信息，得到所述待检测图像中的目标频域信息；

将所述目标频域信息从频率域转换至图像空间域，得到频域缺失图。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待检测图像中的部分色彩信息得到色彩缺失图，包括：

对所述待检测图像进行切分处理，得到包括有多个图像切片的图像网格；

将所述图像网格中的至少一个图像切片转换为灰度图像，得到对应的色彩缺失图。

4.根据权利要求1所述的方法，其特征在于，所述根据所述频域重建图与所述待检测图像之间的差异，确定频域差异掩码，并通过所述频域差异掩码对所述第一图像特征进行自注意力处理，得到频域疑似伪造特征，包括：

确定所述频域重建图与所述待检测图像之间的第一图像差异，并对所述第一图像差异进行卷积和激活处理，得到频域差异掩码；

通过自注意力机制，将所述频域差异掩码应用于所述第一图像特征中，得到频域疑似伪造特征。

5.根据权利要求4所述的方法，其特征在于，所述通过自注意力机制，将所述频域差异掩码应用于所述第一图像特征中，得到频域疑似伪造特征，包括：

根据所述频域差异掩码，确定所述第一图像特征中每个第一特征元素各自对应的注意力权重；

将每个第一特征元素分别乘以各自对应的注意力权重，得到频域融合特征；

综合所述频域融合特征和第一图像特征，得到频域疑似伪造特征。

6.根据权利要求1所述的方法，其特征在于，所述根据所述色彩重建图与所述待检测图像之间的差异，确定色彩差异掩码，并通过所述色彩差异掩码对所述第二图像特征进行自注意力处理，得到色彩疑似伪造特征，包括：

确定所述色彩重建图与所述待检测图像之间的第二图像差异，并对所述第二图像差异进行卷积和激活处理，得到色彩差异掩码；

通过自注意力机制，将所述色彩差异掩码应用于所述第二图像特征中，得到色彩疑似伪造特征。

7.根据权利要求6所述的方法，其特征在于，所述通过自注意力机制，将所述色彩差异掩码应用于所述第二图像特征中，得到色彩疑似伪造特征，包括：

根据所述色彩差异掩码，确定所述第二卷积特征中每个第二特征元素各自对应的注意力权重；

将每个第二特征元素分别乘以各自对应的注意力权重，得到色彩融合特征；

综合所述色彩融合特征和第二图像特征，得到色彩疑似伪造特征。

8.根据权利要求1所述的方法，其特征在于，所述综合所述频域疑似伪造特征和色彩疑似伪造特征，确定所述待检测图像的真伪检测结果，包括：

通过所述色彩疑似伪造特征对所述频域疑似伪造特征进行特征补充处理，得到对应的频域补充特征；

通过所述频域疑似伪造特征对所述色彩疑似伪造特征进行特征补充处理，得到对应的色彩补充特征；

综合所述频域补充特征和所述色彩补充特征，得到所述待检测图像的真伪检测结果。

9.根据权利要求8所述的方法，其特征在于，所述通过所述色彩疑似伪造特征对所述频域疑似伪造特征进行特征补充处理，得到对应的频域补充特征，包括：

确定与所述频域疑似伪造特征相对应的第一向量序列；

对所述色彩伪造特征进行卷积处理，得到色彩伪造卷积特征；

确定所述第一向量序列中的每个第一向量元素的位置信息、以及所述色彩伪造卷积特征中的每个第三特征元素的位置信息；

分别对具有相应位置信息的第一向量元素和第三特征元素进行融合，得到频域向量融合特征；

合并所述频域向量融合特征和所述频域疑似伪造特征，得到频域补充特征。

10.根据权利要求8所述的方法，其特征在于，所述通过所述频域疑似伪造特征对所述色彩疑似伪造特征进行特征补充处理，得到对应的色彩补充特征，包括：

确定与所述色彩疑似伪造特征相对应的第二向量序列；

对所述频域伪造特征进行卷积处理，得到频域伪造卷积特征；

确定所述第二向量序列中的每个第二向量元素的位置信息、以及所述频域伪造卷积特征中的每个第四特征元素的位置信息；

分别对具有相应位置信息的第二向量元素和第四特征元素进行融合，得到色彩向量融合特征；

合并所述色彩向量融合特征和所述色彩疑似伪造特征，得到色彩补充特征。

11.根据权利要求1至10中任一项所述的方法，其特征在于，所述图像真伪检测方法由图像真伪检测模型执行，所述图像真伪检测模型通过模型训练步骤训练获得，所述模型训练步骤包括：

根据所述分类损失确定目标损失函数，通过所述目标损失函数对所述图像真伪检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的图像真伪检测模型。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

当所述训练样本为真实图像时，基于所述训练样本与相应频域预测重建图之间的差异，构造第一重构损失，以及基于所述训练样本与相应色彩预测重建图之间的差异，构造第二重构损失；

所述根据所述分类损失确定目标损失函数，包括：

通过所述第一重构损失、第二重构损失和分类损失，确定目标损失函数。

13.一种图像真伪检测模型训练方法，其特征在于，所述方法包括：

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

所述根据所述分类损失确定目标损失函数，包括：

15.根据权利要求14所述的方法，其特征在于，所述方法还包括：

确定所述训练样本集中第一训练样本对和第二训练样本对；所述第一训练样本对中包括两个具有相同真伪类别的训练样本；所述第二训练样本对中包括两个具有不同真伪类别的训练样本；

确定所述第一训练样本对中两个训练样本各自对应的第一预测特征之间的第一图像距离，及两个训练样本各自对应的第二预测特征之间的第二图像距离；

确定所述第二训练样本对中两个训练样本各自对应的第一预测特征之间的第三图像距离，及两个训练样本各自对应的第二预测特征之间的第四图像距离；

根据所述第一图像距离和第三图像距离，确定第一约束损失；

根据所述第二图像距离和第四图像距离，确定第二约束损失；

所述通过所述第一重构损失、第二重构损失和分类损失，确定目标损失函数，包括：

通过所述第一约束损失、第二约束损失、第一重构损失、第二重构损失和分类损失，确定目标损失函数。

16.一种图像真伪检测装置，其特征在于，所述装置包括：

17.一种图像真伪检测模型训练装置，其特征在于，所述装置包括：

18.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述的方法的步骤。

19.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。

20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。