CN115984178A - 伪造图像检测方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种伪造图像检测方法、电子设备和计算机可读存储介质，该方法包括：获得参考图像集；其中，参考图像集包含多个参考残差图像，参考残差图像基于相应的真实的样本图像和参考重构图像获得，参考重构图像基于对应的样本图像经过变分自编码器后生成，变分自编码器基于多个样本图像训练后获得；将待测图像输入至变分自编码器，得到待测图像对应的待测重构图像，确定待测图像和待测重构图像之间的待测残差图像；基于待测残差图像与参考图像集中的至少部分参考残差图像之间的相似度，得到待测残差图像对应的目标相似度，利用目标相似度确定待测图像是否属于伪造图像。上述方案，能够提高伪造图像检测的准确率。

Description

伪造图像检测方法、电子设备和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种伪造图像检测方法、电子设备和计算机可读存储介质。

背景技术

随着图像合成等技术的兴起，信息安全受到了极大的冲击，现有技术中通常是利用伪造图像和真实图像对二分类模型进行训练，得到训练后的二分类模型，将待测图像输入至二分类模型得到待测图像是否为伪造图像的检测结果，但是在对二分类模型进行训练时很难收集到足够的伪造图片，以致难以对多种类型的伪造图像尤其是深度伪造的图像进行准确识别，泛化性能较差。有鉴于此，如何提高伪造图像检测的准确率成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种伪造图像检测方法、电子设备和计算机可读存储介质，能够提高伪造图像检测的准确率。

为解决上述技术问题，本申请第一方面提供一种伪造图像检测方法，包括：获得参考图像集；其中，所述参考图像集包含多个参考残差图像，所述参考残差图像基于相应的真实的样本图像和参考重构图像获得，所述参考重构图像基于对应的所述样本图像经过变分自编码器后生成，所述变分自编码器基于多个所述样本图像训练后获得；将待测图像输入至所述变分自编码器，得到所述待测图像对应的待测重构图像，确定所述待测图像和所述待测重构图像之间的待测残差图像；基于所述待测残差图像与所述参考图像集中的至少部分所述参考残差图像之间的相似度，得到所述待测残差图像对应的目标相似度，利用所述目标相似度确定所述待测图像是否属于伪造图像。

为解决上述技术问题，本申请第二方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面所述的方法。

为解决上述技术问题，本申请第三方面提供一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面所述的方法。

上述方案，获得包括多个参考残差图像的参考图像集，其中，参考残差图像是基于真实的样本图像及其对应的参考重构图像之间的差值所获得的，参考重构图像是基于样本图像经过变分自编码器后所生成的，变分自编码器基于多个样本图像训练后获得，因此，在训练变分自编码器时只需要使用真实的样本图像，降低了训练样本的准备难度，样本图像输入训练完成后的变分自编码器进行图像重构得到参考重构图像，多个样本图像对应的参考残差图像共同组成参考图像集，将待测图像输入至变分自编码器进行图像重构，得到待测图像对应的待测重构图像，从而基于待测图像和待测重构图像之间的差值得到待测残差图像，基于待测残差图像与参考图像集中的至少部分参考残差图像之间的相似度，确定待测残差图像对应的目标相似度，从而降低单一比对的偶然性，提高目标相似度的准确率，利用目标相似度对待测图像是否属于伪造图像进行判断，从而借助伪造图像与真实图像在经过变分自编码器重构后与原始图像的差异性，提高伪造图像检测的便捷性和准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请伪造图像检测方法一实施方式的流程示意图；

图2是本申请伪造图像检测方法另一实施方式的流程示意图；

图3是图2中步骤S201之前对应的一实施方式的流程示意图；

图4是图3中步骤S302对应的一实施方式的应用场景示意图；

图5是本申请电子设备一实施方式的结构示意图；

图6是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

本申请所提供的伪造图像检测方法用于对图像进行检测，其中，图像可以直接获取图片或者从视频中提取，本申请所提供的伪造图像检测方法对应的执行主体为能够调用图像或视频的处理器。

请参阅图1，图1是本申请伪造图像检测方法一实施方式的流程示意图，该方法包括：

S101：获得参考图像集，其中，参考图像集包含多个参考残差图像，参考残差图像基于相应的真实的样本图像和参考重构图像获得，参考重构图像基于对应的样本图像经过变分自编码器后生成，变分自编码器基于多个样本图像训练后获得。

具体地，获得包括多个参考残差图像的参考图像集，其中，参考残差图像是基于真实的样本图像及其对应的参考重构图像之间的差值所获得的，参考重构图像是基于样本图像经过变分自编码器后所生成的，变分自编码器基于多个样本图像训练后获得。

进一步地，在训练变分自编码器时只需要使用真实的样本图像，样本图像输入训练完成后的变分自编码器进行图像重构得到参考重构图像，多个样本图像对应的参考残差图像共同组成参考图像集，将待测图像输入至变分自编码器进行图像重构，得到待测图像对应的待测重构图像。

在一应用方式中，参考残差图像的生成过程包括：获得预先训练后的变分自编码器，将样本图像输入至变分自编码器，以使变分自编码器对样本图像进行特征提取得到图像特征，进而基于图像特征进行图像重构得到参考重构图像，求取参考重构图像与对应的样本图像之间的差值得到参考残差图像，将多个样本图像对应的参考残差图像作为参考图像集。其中，变分自编码器在训练过程中基于图像特征进行图像重构，并基于训练过程中重构出的训练残差图像与对应的样本图像的差值对变分自编码器的参数进行调整。

在另一应用方式中，参考残差图像的生成过程包括：获得预先训练后的变分自编码器，将样本图像输入至变分自编码器，以使变分自编码器对样本图像进行特征提取得到图像特征，对图像上的目标进行特征提取得到目标特征，进而基于图像特征和目标特征进行图像重构得到参考重构图像，求取参考重构图像与对应的样本图像之间的差值得到参考残差图像，将多个样本图像对应的参考残差图像作为参考图像集。其中，变分自编码器在训练过程中基于图像特征和目标特征进行图像重构，并基于训练过程中重构出的训练残差图像与对应的样本图像的差值对变分自编码器的参数进行调整。

S102：将待测图像输入至变分自编码器，得到待测图像对应的待测重构图像，确定待测图像和待测重构图像之间的待测残差图像。

具体地，将待测图像输入至变分自编码器进行图像重构，得到待测图像对应的待测重构图像，从而基于待测图像和待测重构图像之间的差值得到待测残差图像。

在一应用方式中，将待测图像输入至变分自编码器，对待测图像进行特征提取，得到待测图像对应的图像特征，进而基于图像特征对待测图像进行重构，得到待测重构图像，求取待测图像与待测重构图像之间的差值，得到待测残差图像。

在另一应用方式中，将待测图像输入至变分自编码器，对待测图像进行特征提取，得到待测图像对应的图像特征，对待测图像中的目标进行特征提取，得到待测图像中的目标对应的目标特征，进而基于图像特征和目标特征对待测图像进行重构，得到待测重构图像，求取待测图像与待测重构图像之间的差值，得到待测残差图像。

S103：基于待测残差图像与参考图像集中的至少部分参考残差图像之间的相似度，得到待测残差图像对应的目标相似度，利用目标相似度确定待测图像是否属于伪造图像。

具体地，将待测残差图像与参考图像集中的至少部分参考残差图像进行比对，确定待测残差图像与参考图像集中的至少部分参考残差图像之间的相似度，从而基于多个相似度得到待测残差图像对应的目标相似度，降低单一比对的偶然性，提高目标相似度的准确率，将目标相似度与目标相似度对应的相似度阈值进行比对，以确定待测图像是否属于伪造图像，从而借助伪造图像与真实图像在经过变分自编码器重构后与原始图像的差异性，提高伪造图像检测的便捷性和准确率。

在一应用方式中，基于待测图像的图像类型，从参考图像集中选择图像类型相匹配的参考残差图像与待测残差图像进行比对，得到待测残差图像与至少部分参考残差图像之间的相似度，并作为参考相似度，将所有参考相似度的均值作为待测残差图像对应的目标相似度，若目标相似度达到相似度阈值，则判定待测图像为真实图像，若目标相似度未达到相似度阈值，则判定待测图像为伪造图像。

在另一应用方式中，将待测残差图像与参考图像集中的所有参考残差图像进行比对，确定待测残差图像与参考图像集中的所有参考残差图像之间的相似度，从所有相似度中选择至少部分相似度作为参考相似度，将所有参考相似度的均值作为待测残差图像对应的目标相似度，若目标相似度达到相似度阈值，则判定待测图像为真实图像，若目标相似度未达到相似度阈值，则判定待测图像为伪造图像。

在一应用场景中，样本图像中的目标为人脸，变分自编码器在训练过程中基于图像特征和人脸特征进行图像重构，并基于训练过程中重构出的训练残差图像与对应的样本图像的差值对变分自编码器的参数进行调整，得到训练后的变分自编码器，将样本图像输入至训练后的变分自编码器，得到参考重构图像，从而基于样本图像和参考重构图像得到参考残差图像组成的参考图像集。

进一步地，将包括人脸的待测图像输入至训练后的变分自编码器，得到待测图像对应的图像特征和人脸特征，并基于图像特征和人脸特征进行图像重构得到待测重构图像，利用待测图像与待测重构图像之间的差值确定待测残差图像，将待测残差图像与参考图像集中的所有参考残差图像进行比对，确定待测残差图像与参考图像集中的所有参考残差图像之间的相似度，按相似度数值大小排序并去除相似度排在前预设比例和后预设比例的相似度，得到参考相似度，将所有参考相似度的均值作为待测残差图像对应的目标相似度，若目标相似度达到相似度阈值，则判定待测图像中的人脸为真实人脸，若目标相似度未达到相似度阈值，则判定待测图像中的人脸为伪造人脸。

上述方案，获得包括多个参考残差图像的参考图像集，其中，参考残差图像是基于真实的样本图像及其对应的参考重构图像之间的差值所获得的，参考重构图像是基于样本图像经过变分自编码器后所生成的，变分自编码器基于多个样本图像训练后获得，因此，在训练变分自编码器时只需要使用真实的样本图像，降低了训练样本的准备难度，样本图像输入训练完成后的变分自编码器进行图像重构得到参考重构图像，多个样本图像对应的参考残差图像共同组成参考图像集，将待测图像输入至变分自编码器进行图像重构，得到待测图像对应的待测重构图像，从而基于待测图像和待测重构图像之间的差值得到待测残差图像，基于待测残差图像与参考图像集中的至少部分参考残差图像之间的相似度，确定待测残差图像对应的目标相似度，从而降低单一比对的偶然性，提高目标相似度的准确率，利用目标相似度对待测图像是否属于伪造图像进行判断，从而借助伪造图像与真实图像在经过变分自编码器重构后与原始图像的差异性，提高伪造图像检测的便捷性和准确率。

请参阅图2，图2是本申请伪造图像检测方法另一实施方式的流程示意图，该方法包括：

S201：获得参考图像集，其中，参考图像集包含多个参考残差图像，参考残差图像基于相应的真实的样本图像和参考重构图像获得，参考重构图像基于对应的样本图像经过变分自编码器后生成，变分自编码器基于多个样本图像训练后获得。

具体地，变分自编码器基于多个样本图像训练后获得，样本图像输入至变分自编码器获得参考重构图像，样本图像与对应的参考重构图像之间的差值对应为参考残差图像，多个参考残差图像组成参考图像集。

进一步地，至少部分样本图像之间的清晰度相互区别，至少部分样本图像之间的亮度相互区别，至少部分样本图像中目标的角度相互区别。

具体地，多个样本图像中存在清晰度相互区别、亮度相互区别以及目标的角度相互区别的样本图像，从而让不同的影响因素所对应的图像相对均衡地分布于样本图像中，收集足够的样本图像用于训练以及用作生成参考图像集，以提高伪造图像检测的准确率。其中，清晰度对应样本图像的图像质量，亮度对应样本图像中背景的光照，目标的角度对应样本图像中目标的位置，以充分利用影响图像重构结果的多个维度的因素，提高训练精度和检测效果。

在一应用方式中，变分自编码器包括编码器和解码器，请参阅图3，图3是图2中步骤S201之前对应的一实施方式的流程示意图，变分自编码器的训练过程包括：

S301：将样本图像输入至编码器，得到样本图像对应的图像特征和目标特征，其中，图像特征与样本图像相关，目标特征与样本图像上的目标相关。

具体地，将样本图像输入至编码器，对样本图像进行特征提取得到样本图像对应的图像特征，对样本图像中的目标进行特征提取得到目标特征，其中，图像特征与样本图像上多个基础维度的特征相关，目标特征与样本图像上的目标的特征相关，从而在训练阶段添加除了图像特征之外的与目标相关的目标特征，提高检测精度。

在一实施方式中，将样本图像输入至编码器，得到样本图像对应的图像特征和目标特征，包括：将样本图像输入至编码器，基于样本图像的纹理、清晰度、频谱图像和边缘区域，得到样本图像对应的图像基础特征；对样本图像进行卷积操作，得到样本图像对应的图像深度特征；从样本图像中提取包括目标的指定区域，基于指定区域，得到样本图像对应的目标特征；其中，图像特征包括图像基础特征和图像深度特征。

具体地，样本图像对应的多个基础维度包括图像的纹理、清晰度、频谱图像、边缘区域以及图像的整体，将样本图像输入至编码器，对样本图像基于纹理、清晰度、频谱图像和边缘区域四个基础维度进行特征提取，得到样本图像对应的图像基础特征，对样本图像整体进行卷积操作，得到样本图像对应的图像深度特征，其中，图像特征包括图像基础特征和图像深度特征，从而提高图像特征的精度和准确率。

进一步地，从样本图像中提取包括目标的指定区域，也就是对样本图像中的目标进行目标识别，并将目标所处的区域作为指定区域，其中，目标识别可以利用已训练过的目标识别模块，或者将目标识别模块与变分自编码器一通训练，进而从指定区域中提取样本图像中的目标对应的目标特征，以便在图像特征的基础上添加与目标相关的目标特征。

在一应用场景中，目标为人脸，从样本图像中提取包括目标的指定区域，基于指定区域，得到样本图像对应的目标特征，包括：在指定区域内提取人脸对应的关键点，基于人脸对应的关键点，得到样本图像上人脸对应的人脸关键点特征；其中，目标特征包括人脸关键点特征。

具体地，样本图像中的目标具体为人脸，在对样本图像中的目标进行目标检测时提取包括人脸的区域作为指定区域，进而在指定区域内提取人脸对应的关键点，利用人脸关键点得到样本图像上目标对应的目标特征，也就是确定人脸对应的人脸关键点特征，其中，人脸关键点至少包括人脸上关键部位对应的部位关键点，以及人脸轮廓处对应的轮廓关键点，从而在图像特征的基础上融合人脸关键点特征，对编码器和解码器进行训练，提高变分自编码器对人脸尤其是伪造人脸的检测精度。

在另一应用场景中，基于样本图像的纹理、清晰度、频谱图像和边缘区域，得到样本图像对应的图像基础特征，包括：提取样本图像的纹理，并基于纹理得到样本图像对应的纹理特征；以及，基于样本图像上的指定区域和指定区域之外的其他区域各自对应的清晰度，得到样本图像对应的清晰度特征；以及，将样本图像从空域转换至频域得到频谱图像，并基于频谱图像得到样本图像对应的频域特征；以及，提取样本图像的边缘区域，并基于边缘区域得到样本图像对应的边缘特征。

具体地，在样本图像上提取样本图像的纹理，得到纹理特征图，对纹理特征图进行卷积计算得到样本图像对应的纹理特征，在样本图像上将包括目标的指定区域和不包括目标的其他区域进行区分，比对指定区域和非指定区域的清晰度，确定样本图像的清晰度特征，基于傅里叶变换或离散余弦变换将空域的样本图像转换至频域，得到频谱图像，对频谱图像进行卷积计算，得到样本图像对应的频域特征，在样本图像上提取样本图像的边缘区域，得到边缘提取图，对边缘提取图进行卷积计算得到样本图像对应的边缘特征，以便从多个基础维度获得与图像相关的图像基础特征。

在一具体应用场景中，样本图像中的目标为人脸，利用局部二值模式算法(LocalBinary Pattern，LBP)提取样本图像的纹理，得到图像的纹理特征图，采用纹理特征网络卷积块对纹理特征图进行卷积计算，得到样本图像对应的纹理特征，利用方差函数和图像清晰度评价函数分别对包括人脸的指定区域及不包括人脸的非指定区域的清晰度特征进行提取，采用清晰度特征提取网络卷积块对提取结果进行卷积计算，得到样本图像的清晰度特征，基于傅里叶变换或离散余弦变换将空域的样本图像转换至频域的频谱图像，采用频域特征网络卷积块对频谱图像进行卷积计算，得到样本图像对应的频域特征，基于边缘提取算法canny算子得到图像的边缘提取图，采用边缘特征网络卷积块对边缘提取图进行卷积计算，得到样本图像对应的边缘特征。

S302：基于图像特征和目标特征，得到样本图像对应的融合特征，将融合特征输入至解码器，得到样本图像对应的训练重构图像。

具体地，将图像特征和目标特征进行融合，得到样本图像对应的融合特征，将融合特征输入至解码器，得到样本图像对应的训练重构图像。

在一应用场景中，请参阅图4，图4是图3中步骤S302对应的一实施方式的应用场景示意图，将图像特征和目标特征进行融合，其中，图像特征包括图像基础特征和图像深度特征，图像基础特征包括纹理特征、清晰度特征、频域特征和边缘特征，将纹理特征、清晰度特征、频域特征、边缘特征、目标特征和图像深度特征进行融合，得到融合特征，将融合特征输入至解码器，以使解码器基于融合特征进行图像重构，得到训练重构图像，提高训练重构图像的精度。

S303：基于样本图像和训练重构图像之间的差值，对编码器和解码器的参数进行调整，直至满足预设收敛条件，得到训练后的变分自编码器。

具体地，请再次参阅图4，比对样本图像与对应的训练重构图像，得到样本图像和训练重构图像之间的差值，确定本次训练的损失，对编码器和解码的参数进行调整以约束编码器和解码器的损失，直至满足预设的收敛条件，得到训练后的变分自编码器。其中，预设收敛条件与样本图像和训练重构图像之间的差值相关。

S202：将待测图像输入至变分自编码器，得到待测图像对应的待测重构图像，确定待测图像和待测重构图像之间的待测残差图像。

具体地，将待测图像输入至变分自编码器，以使编码器对待测图像进行特征提取，得到待测图像对应的图像特征和目标特征，进而解码器基于图像特征和目标特征对待测图像进行图像重构，得到待测图像对应的待测重构图像。

进一步地，基于待测图像和待测重构图像之间的差值得到待测残差图像。

可选地，图像特征包括图像基础特征和图像深度特征，图像基础特征包括纹理特征、清晰度特征、频域特征和边缘特征，样本图像中的目标为人脸，则目标特征对应为人脸关键点特征。

S203：基于待测残差图像与参考图像集中所有参考残差图像之间的相似度，生成初始相似度集合。

具体地，比对待测残差图像和参考图像集中所有参考残差图像，从而将待测残差图像与参考图像集中所有参考残差图像之间的相似度，组成初始相似度集合。

S204：基于初始相似度集合中的至少部分相似度的均值，得到待测残差图像对应的目标相似度。

具体地，从初始相似度集合中提取至少部分相似度并求取均值，从而得到待测残差图像对应的目标相似度，降低单一比对的偶然性，提高目标相似度的准确率。

需要说明的是，传统的比对方式主要是直接比对待测重构图像与待测图像之间的相似度的方式，但是如果待测重构图像与待测图像之间的相似度较高，则基于传统的比对方式便会将待测图像判定为真实图像，这种单一比较的方式忽略了真实图像经过重构后所对应的参考残差图像所对应的普遍规律，即使待测重构图像与待测图像相似度较高，但是两种之间对应的待测残差图像可能与大部分基于真实图像获得的参考残差图像的相似度较低，则对应的待测图像为伪造图像的概率是极大的。

进一步地，获得待测残差图像，并将待测残差图像与参考图像集中的所有参考残差图像进行比对后，得到初始相似度集合，也就是说，初始相似度集合中包括待测残差图像与所有基于真实图像得到参考残差图像之间的相似度，相较于直接比对待测重构图像与待测图像之间的相似度的方式，通过从初始相似度集合中提取至少部分相似度求取均值，从而确定待测残差图像的目标相似度的方式，能够有效降低因单一比较时待测重构图像与待测图像相似度较高时造成的检测误差，以提高伪造图像检测的鲁棒性和稳定性。

在一应用方式中，对初始相似度集合中的相似度按相似度数值从大大小排列，从初始相似度集合中提取排在前列的部分相似度求取均值，从而得到待测残差图像对应的目标相似度，以滤除相似度较低的结果，提高目标相似度的准确率。

在另一应用方式中，将初始相似度集合中的相似度按数值大小排序，得到修正相似度集合；至少基于修正相似度集合中预设位置区间处的相似度的均值，得到待测残差图像对应的目标相似度；其中，预设位置区域介于修正相似度集合中头部位置区间和尾部位置区间之间，头部位置区间包括修正相似度集合中前第一比例的相似度，尾部位置区间包括修正相似度集合中后第二比例的相似度。

具体地，将初始相似度集合中的相似度按数值大小排序，得到修正相似度集合，从修正相似度集合中至少提取预设位置区间处的相似度并求取均值，得到待测残差图像对应的目标相似度。

进一步地，预设位置区域介于修正相似度集合中头部位置区间和尾部位置区间之间，头部位置区间包括修正相似度集合中前第一比例的相似度，尾部位置区间包括修正相似度集合中后第二比例的相似度，也就是说，在修正相似度集合中的相似度按数值排序的前提下，从修正相似度集合中至少提取位于中段的相似度求取均值，从而提高目标相似度的准确率。

在一具体应用场景中，将初始相似度集合中的相似度按数值从大到小排序，得到修正相似度集合，将修正相似度集合中前25％的相似度对应的区间作为头部位置区间，将修正相似度集合中后25％的相似度对应的区间作为尾部位置区间，提取修正相似度集合中头部位置区间和尾部位置区间之间的相似度并求取均值，得到待测残差图像对应的目标相似度。其中，在其他具体应用场景中，第一比例和第二比例可以是其他任一介于0-1之间的数值，本申请对此不做具体限制。

S205：基于目标相似度及其对应的相似度阈值，确定待测图像是否属于伪造图像。

具体地，将所有参考相似度的均值作为待测残差图像对应的目标相似度，若目标相似度达到相似度阈值，则判定待测图像为真实图像，若目标相似度未达到相似度阈值，则判定待测图像为伪造图像。

在本实施例中，对样本图像基于纹理、清晰度、频谱图像和边缘区域四个基础维度进行特征提取，得到样本图像对应的图像基础特征，对样本图像整体进行卷积操作，得到样本图像对应的图像深度特征，从指定区域中提取样本图像中的目标对应的目标特征，以便在图像特征的基础上添加与目标相关的目标特征，利用多个维度的图像基础特征和图像深度特征，以及与目标相关的目标特征对应变分自编码器进行训练，并将训练后的变分自编码器用于对待测图像进行检测，得到多个样本图像对应的参考残差图像组成的参考图像集，以及待测图像对应的待测残差图像，基于待测残差图像与参考图像集中所有参考残差图像之间的相似度，生成初始相似度集合，通过从初始相似度集合中提取至少部分相似度求取均值，从而确定待测残差图像的目标相似度的方式，降低因单一比较时待测重构图像与待测图像相似度较高时造成的检测误差，以提高伪造图像检测的鲁棒性和稳定性。

请参阅图5，图5是本申请电子设备一实施方式的结构示意图，该电子设备50包括相互耦接的存储器501和处理器502，其中，存储器501存储有程序数据(图未示)，处理器502调用程序数据以实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。

请参阅图6，图6是本申请计算机可读存储介质一实施方式的结构示意图，该计算机可读存储介质60存储有程序数据600，该程序数据600被处理器执行时实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。

需要说明的是，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种伪造图像检测方法，其特征在于，所述方法包括：

获得参考图像集；其中，所述参考图像集包含多个参考残差图像，所述参考残差图像基于相应的真实的样本图像和参考重构图像获得，所述参考重构图像基于对应的所述样本图像经过变分自编码器后生成，所述变分自编码器基于多个所述样本图像训练后获得；

将待测图像输入至所述变分自编码器，得到所述待测图像对应的待测重构图像，确定所述待测图像和所述待测重构图像之间的待测残差图像；

基于所述待测残差图像与所述参考图像集中的至少部分所述参考残差图像之间的相似度，得到所述待测残差图像对应的目标相似度，利用所述目标相似度确定所述待测图像是否属于伪造图像。

2.根据权利要求1所述的伪造图像检测方法，其特征在于，所述基于所述待测残差图像与所述参考图像集中的至少部分所述参考残差图像之间的相似度，得到所述待测残差图像对应的目标相似度，利用所述目标相似度确定所述待测图像是否属于伪造图像，包括：

基于所述待测残差图像与所述参考图像集中所有所述参考残差图像之间的相似度，生成初始相似度集合；

基于所述初始相似度集合中的至少部分相似度的均值，得到所述待测残差图像对应的目标相似度；

基于所述目标相似度及其对应的相似度阈值，确定所述待测图像是否属于伪造图像。

3.根据权利要求2所述的伪造图像检测方法，其特征在于，所述基于所述初始相似度集合中的至少部分相似度的均值，得到所述待测残差图像对应的目标相似度，包括：

将所述初始相似度集合中的相似度按数值大小排序，得到修正相似度集合；

至少基于所述修正相似度集合中预设位置区间处的相似度的均值，得到所述待测残差图像对应的目标相似度；其中，所述预设位置区域介于所述修正相似度集合中头部位置区间和尾部位置区间之间，所述头部位置区间包括所述修正相似度集合中前第一比例的相似度，所述尾部位置区间包括所述修正相似度集合中后第二比例的相似度。

4.根据权利要求1所述的伪造图像检测方法，其特征在于，至少部分所述样本图像之间的清晰度相互区别，至少部分所述样本图像之间的亮度相互区别，至少部分所述样本图像中目标的角度相互区别。

5.根据权利要求1或4所述的伪造图像检测方法，其特征在于，所述变分自编码器包括编码器和解码器，所述变分自编码器的训练过程包括：

将所述样本图像输入至所述编码器，得到所述样本图像对应的图像特征和目标特征；其中，所述图像特征与所述样本图像相关，所述目标特征与所述样本图像上的目标相关；

基于所述图像特征和所述目标特征，得到所述样本图像对应的融合特征，将所述融合特征输入至所述解码器，得到所述样本图像对应的训练重构图像；

基于所述样本图像和所述训练重构图像之间的差值，对所述编码器和所述解码器的参数进行调整，直至满足预设收敛条件，得到训练后的所述变分自编码器。

6.根据权利要求5所述的伪造图像检测方法，其特征在于，所述将所述样本图像输入至所述编码器，得到所述样本图像对应的图像特征和目标特征，包括：

将所述样本图像输入至所述编码器，基于所述样本图像的纹理、清晰度、频谱图像和边缘区域，得到所述样本图像对应的图像基础特征；以及，

对所述样本图像进行卷积操作，得到所述样本图像对应的图像深度特征；以及，

从所述样本图像中提取包括所述目标的指定区域，基于所述指定区域，得到所述样本图像对应的目标特征；

其中，所述图像特征包括所述图像基础特征和所述图像深度特征。

7.根据权利要求6所述的伪造图像检测方法，其特征在于，所述目标为人脸，所述从所述样本图像中提取包括所述目标的指定区域，基于所述指定区域，得到所述样本图像对应的目标特征，包括：

在所述指定区域内提取所述人脸对应的关键点，基于所述人脸对应的关键点，得到所述样本图像上所述人脸对应的人脸关键点特征；其中，所述目标特征包括所述人脸关键点特征。

8.根据权利要求6所述的伪造图像检测方法，其特征在于，所述基于所述样本图像的纹理、清晰度、频谱图像和边缘区域，得到所述样本图像对应的图像基础特征，包括：

提取所述样本图像的纹理，并基于所述纹理得到所述样本图像对应的纹理特征；以及，

基于所述样本图像上的所述指定区域和所述指定区域之外的其他区域各自对应的清晰度，得到所述样本图像对应的清晰度特征；以及，

将所述样本图像从空域转换至频域得到频谱图像，并基于所述频谱图像得到所述样本图像对应的频域特征；以及，

提取所述样本图像的边缘区域，并基于所述边缘区域得到所述样本图像对应的边缘特征。

9.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-8中任一项所述的方法。

Images