CN113673568A

CN113673568A - 篡改图像的检测方法、系统、计算机设备和存储介质

Info

Publication number: CN113673568A
Application number: CN202110817515.0A
Authority: CN
Inventors: 陆璐; 钟文煜; 朱鸿军; 冼允廷
Original assignee: Guangdong Yousuan Technology Co ltd; South China University of Technology SCUT
Current assignee: Guangdong Yousuan Technology Co ltd; South China University of Technology SCUT
Priority date: 2021-07-19
Filing date: 2021-07-19
Publication date: 2021-11-19
Anticipated expiration: 2041-07-19
Also published as: CN113673568B

Abstract

本发明公开了一种篡改图像的检测方法、系统、计算机设备和存储介质，所述方法包括：构建篡改图像数据集；其中，所述篡改图像数据集包括带标签的篡改图像和无标签的篡改图像；构建残差增强的循环生成对抗神经网络模型；利用所述篡改图像数据集对所述残差增强的循环生成对抗神经网络模型进行训练，并生成伪标签和假图像；根据所述伪标签和所述假图像，设计所述残差增强的循环生成对抗神经网络模型的损失函数；将待测图像输入所述残差增强的循环生成对抗神经网络模型，确定待测图像的篡改区域。本发明利用构建的生成器的模型结构，提高了篡改区域定位准确度；利用设计的损失函数，通过生成器和判别器的博弈学习，使模型具有较好的鲁棒性和泛化能力。

Description

篡改图像的检测方法、系统、计算机设备和存储介质

技术领域

本发明涉及篡改图像的检测定位的技术领域，特别是涉及一种篡改图像的检测方法、系统、计算机设备和存储介质。

背景技术

当前网络图片的传播变得非常容易，与此同时，随着Photoshop、美颜相机、美图秀秀等图像编辑软件迅速发展，大大降低对图像进行加工和修改难度，人类难以用肉眼进行辨别图像是否被篡改。图像篡改中，对图像进行拷贝、剪切、移动、删除是常见的操作。随着图像篡改技术的发展，依靠人力辨别海量伪造图像成为巨大的挑战。被人为恶意篡改的虚假图像，容易对人民群众造成误导，对社会和国家带来不良的影响。因此，高效准确定位图像篡改区域成为当今社会亟需解决的问题之一。

现有的图像篡改技术可以分为两大类：依靠手工特征的传统方法和基于深度学习的篡改定位技术。基于传统手工特征的检测方法，常常只能检测出特定篡改类型。随着深度学习在计算机视觉领域的发展，利用深度学习方法解决篡改图像的检测问题成为研究的热点。生成对抗网络(GAN))在图像生成领域取得了巨大的成功，将GAN应用到图像篡改领域，有望提高图像篡改区域定位的准确度。

现有技术中，基于卷积神经网络的检测算法依赖大量带标签数据进行训练，数据打标签需要耗费大量人力物力。目前缺乏高质量、丰富的训练集，模型容易产生过拟合现象。大多数基于卷积神经网络篡改图像的检测算法对图像块进行分类预测，缺少对图像全局特征的建模，导致最终图像篡改区域定位不正确。

发明内容

为了解决上述现有技术的不足，本发明提供了一种篡改图像的检测方法、系统、计算机设备和存储介质，该方法构建的残差增强的循环生成对抗神经网络模型，能够在少量带标签的数据集下，精确定位篡改图像的篡改区域。

本发明的第一个目的在于提供一种篡改图像的检测方法。

本发明的第二个目的在于提供一种篡改图像的检测系统。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种篡改图像的检测方法，所述方法包括：

构建篡改图像数据集；其中，所述篡改图像数据集包括带标签的篡改图像和无标签的篡改图像；

构建残差增强的循环生成对抗神经网络模型；

利用所述篡改图像数据集对所述残差增强的循环生成对抗神经网络模型进行训练，并生成伪标签和假图像；

根据所述伪标签和所述假图像，设计所述残差增强的循环生成对抗神经网络模型的损失函数；

将待测图像输入所述残差增强的循环生成对抗神经网络模型，确定待测图像的篡改区域。

进一步的，所述利用所述篡改图像数据集对所述残差增强的循环生成对抗神经网络模型进行训练，并生成伪标签和假图像；具体包括：

根据所述篡改图像数据集，对循环生成对抗神经网络模型进行训练；

根据所述篡改图像数据集和训练好的循环生成对抗神经网络模型，生成伪标签和假图像。

进一步的，所述构建残差增强的循环生成对抗神经网络模型，具体包括：

所述残差增强的循环生成对抗网络模型包括伪标签生成器和假图像生成器；其中，

所述伪标签生成器和假图像生成器均由级联的自反馈Unet网络构成，后两级级联的自反馈Unet网络作为第一级自反馈Unet网络预测输出的残差增强模块；

残差增强模块是在传统Unet模块中加入前向残差传播和后向残差传播，形成环路构成自反馈系统；

前两级级联的自反馈Unet网络的预测输出用于计算bce损失，最后一级级联的自反馈Unet网络预测输出用于计算BCE损失、SSIM损失以及IoU损失之和。

进一步的，所述残差增强的循环生成对抗网络模型还包括标签辨别器和图像判别器；

所述根据伪标签和假图像，设计所述残差增强的循环生成对抗神经网络模型的损失函数，具体包括：

所述残差增强的循环生成对抗神经网络模型的损失函数包括生成器的损失、辨别器的损失以及循环对抗损失，其中：

生成器损失：伪标签生成器的损失为伪标签与带标签的篡改图像的标签之间的BCE损失、SSIM损失以及IoU损失之和；假图像生成器的损失为假图像和带标签篡改图像的MSE均方误差；

判别器损失：标签判别器的损失为无标签篡改图像以及假图像经标签判别器的预测输出与带标签的篡改图像的标签之间的MSE均方误差；

循环对抗损失：图像生成器重构图像与篡改图像的MSE均方误差与标签生成器重构标签的MSE均分误差。

进一步的，所述将待测图像输入所述残差增强的循环生成对抗神经网络模型，确定待测图像的篡改区域，具体为：

将待测图像输入所述残差增强的循环生成对抗神经网络模型中的伪标签生成器，将输出预测结果大于0.5的区域作为待测图像的篡改区域，将输出预测结果小于0.5的区域作为待测图像的背景。

进一步的，所述构建篡改图像数据集，具体包括：

获取原始图像并进行处理，得到篡改图像；

对篡改图像进行标签绘制，得到带标签的篡改图像和无标签的篡改图像；

根据带标签的篡改图像和无标签的篡改图像，构建篡改图像数据集。

进一步的，所述获取原始图像并进行处理，得到篡改图像，具体为：

对所述原始图像进行移动、拼接、删除操作中的至少一种，生成篡改图像。

本发明的第二个目的可以通过采取如下技术方案达到：

一种篡改图像的检测系统，所述系统包括：

数据处理模块，用于构建篡改图像数据集；其中，所述篡改图像数据集包括带标签的篡改图像和无标签的篡改图像；

构建模型模块，用于构建残差增强的循环生成对抗神经网络模型；

训练模型模块，用于利用所述篡改图像数据集对所述残差增强的循环生成对抗神经网络模型进行训练，并生成伪标签和假图像；

设计损失函数模块，用于根据所述伪标签和所述假图像，设计所述残差增强的循环生成对抗神经网络模型的损失函数；

确定篡改区域模块，用于将待测图像输入所述残差增强的循环生成对抗神经网络模型，确定待测图像的篡改区域。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的篡改图像的检测方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的篡改图像的检测方法。

本发明相对于现有技术具有如下的有益效果：

1、本发明将循环生成对抗网络应用到篡改图像的检测领域中，设计符合篡改图像区域定位特性的生成器的模型结构，提高了图像篡改区域定位准确度。

2、本发明利用伪标签生成器对无标签篡改图像打标签，缓解现有深度学习技术依靠大量带篡改标签训练集的问题。

3、本发明设计了损失函数，通过生成器和判别器的博弈学习，使模型具有较好的鲁棒性和泛化能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的篡改图像的检测方法的流程图。

图2为本发明实施例1的残差增强的循环生成对抗神经网络模型的结构示意图。

图3为本发明实施例2的篡改图像的检测系统的框架图。

图4为本发明实施例3的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

实施例1：

如图1所示，本实施例提供了一种篡改图像的检测方法，具体包括以下步骤：

S101、构建篡改图像数据集。

进一步的，步骤S101具体包括：

(1)获取原始图像并进行处理，得到篡改图像。

利用Photoshop、美颜相机、美图秀秀等图像编辑软件对图像进行拷贝、剪切、移动、拼接、删除等操作中的至少一种操作，生成篡改图像。

(2)对部分篡改图像进行Ground Truth标签绘制。

Ground Truth标签篡改区域以黑色填充，未篡改区域使用白色背景填充；带标签和不带标签的数据比例为1:1。

(3)带标签的篡改图像和无标签的篡改图像，构建篡改图像数据集。

篡改图像数据集由带标签的篡改图像和不带标签的篡改图像构成。

S102、构建残差增强的循环生成对抗神经网络模型。

如图2所示，残差增强的循环生成对抗网络模型包括两个生成器、两个判别器，两个生成器分别为伪标签生成器和假图像生成器，两个判别器分别为标签判别器和图像判别器，其中：

(1)伪标签生成器用于将无标签的篡改图像生成篡改区域图像作为伪标签；

(2)假图像生成器用于将篡改区域图像生成假图像；

(3)标签判别器用于判别标签是由伪标签生成器生成的伪标签还是带标签的篡改图像的标签；

(4)图像判别器用于判别是假图像生成器生成的假图像还是真实的篡改图像。

两个生成器均由三级级联的自反馈Unet网络构成，后两级作为第一级自反馈Unet网络预测输出的残差增强模块；自反馈Unet残差增强模块是在传统Unet模块中加入前向残差传播和后向残差传播形成环路，即后两级级联的自反馈Unet网络是在传统Unet模块中加入前向残差传播和后向残差传播，构成自反馈系统，前两级的预测输出用于计算bce损失，最后一级预测输出计算bce损失，SSIM损失与IoU损失之和。

两个判别器均包括两个卷积层和一个输出层，其中：第一层为卷积层，卷积核大小为1x1，步长为1，后接LeakyReLu激活函数，第二层为卷积层，卷积核大小为1x1，步长为1，后接BN归一化层和LeakyReLu激活函数，最后，将卷积核大小为1，步长为1的卷积层作为判别器的输出层。

S103、利用篡改图像数据集对残差增强的循环生成对抗神经网络模型进行训练，并生成伪标签和假图像。

(1)根据篡改图像数据集，对循环生成对抗神经网络模型进行训练。

将带标签的篡改图像输入到伪标签生成器，进行有监督学习。将无标签的篡改图像输入到伪标签生成器，生成伪标签，再利用生成的伪标签输入到假图像生成器，生成假图像，进行无监督学习，计算图像重构损失。将带标签的篡改图像的标签(手工标注)输入到假图像生成器，进行无监督学习，计算标签重构损失。

将不带标签篡改图像和假图像输入图像辨别器，将带标签的篡改图像的标签和伪标签输入到标签判别器，训练半监督残差增强循环生成对抗网络模型。

在半监督残差增强循环生成对抗网络训练过程中，为了提高性能，使用具有Nesterov动量项的自适应估计(Adam)作为模型训练过程中的优化算法。

(2)根据篡改图像数据集和训练好的循环生成对抗神经网络模型，生成伪标签和假图像。

利用训练好的循环生成对抗神经网络模型，将无标签的篡改图像输入到伪标签生成器，生成伪标签；将带标签的篡改图像的标签，输入到假图像生成器，生成假图像。

S104、根据伪标签和假图像，设计循环生成对抗神经网络模型的损失函数。

利用伪标签和假图像设计损失函数，端到端优化循环生成对抗神经网络模型参数。

循环生成对抗神经网络模型的损失函数包括生成器的损失函数、判别器的损失函数以及循环对抗损失函数。

生成器损失函数：伪标签生成器的损失函数为伪标签与带标签的篡改图像的标签之间的BCE损失、SSIM损失以及IoU损失之和；假图像生成器的损失为假图像和带标签篡改图像的MSE均方误差；

判别器损失函数：标签判别器的损失为无标签篡改图像以及假图像经标签判别器的预测输出与带标签的篡改图像的标签之间的MSE均方误差；

循环对抗损失函数：图像生成器重构图像与篡改图像的MSE均方误差与标签生成器重构标签的MSE均分误差。

S105、将待测图像输入循环生成对抗神经网络模型，确定待测图像的篡改区域。

从篡改图像数据集中选取任意一张图像作为待测图像，输入残差增强的循环生成对抗神经网络模型中的伪标签生成器，使用sigmoid函数作为最后预测结果(为伪标签生成器输出的结果)输出，输出大于0.5的区域作为篡改图像的篡改区域，小于0.5的区域作为待测图像的背景。

本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。

应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2：

如图3所示，本实施例提供了一种篡改图像的检测系统，包括数据处理模块301、构建模型模块302、训练模型模块303、设计损失函数模块304和确定篡改区域模块305，其中：

数据处理模块301，用于构建篡改图像数据集；其中，所述篡改图像数据集包括带标签的篡改图像和无标签的篡改图像。

对获取的原始图像利用移动、拼接、删除等操作生成篡改图像；对部分篡改图像进行Ground Truth标签绘制，生成带标签的篡改图像；由带标签的篡改图像和无标签的篡改图像构成数据集。

构建模型模块302，用于构建残差增强的循环生成对抗神经网络模型。

具体的，残差增强的循环生成对抗神经网络包括两个生成器和两个判别器。

两个生成器均由三级级联的自反馈Unet网络构成，后两级作为第一级自反馈Unet网络预测输出的残差增强模块；自反馈Unet模块在传统Unet模块中加入前向残差传播和后向残差传播形成环路构成自反馈系统。

训练模型模块303，用于利用篡改图像数据集对残差增强的循环生成对抗神经网络模型进行训练，并生成伪标签和假图像。

根据篡改图像数据集，对循环生成对抗神经网络模型进行训练；根据篡改图像数据集和训练好的循环生成对抗神经网络模型，生成伪标签和假图像。

带标签的篡改图像和无标签的篡改图像输入伪标签生成器，将带标签的篡改图像的标签输入到假图像生成器，将不带标签篡改图像和假图像输入图像判别器，将带标签的篡改图像的标签和伪标签输入到标签判别器，训练半监督残差增强循环生成对抗网络模型，精确篡改区域。

设计损失函数模块304，用于根据伪标签和假图像，设计所述残差增强的循环生成对抗神经网络模型的损失函数。

确定篡改区域模块305，用于将待测图像输入所述残差增强的循环生成对抗神经网络模型，确定待测图像的篡改区域。

本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例3：

本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图4所示，其通过系统总线401连接的处理器402、存储器、输入系统403、显示器404和网络接口405，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质406和内存储器407，该非易失性存储介质406存储有操作系统、计算机程序和数据库，该内存储器407为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器402执行存储器存储的计算机程序时，实现上述实施例1的篡改图像的检测方法，如下：

构建残差增强的循环生成对抗神经网络模型；

实施例4：

本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的篡改图像的检测方法，如下：

构建残差增强的循环生成对抗神经网络模型；

需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

综上所述，本发明构建的残差增强的循环生成对抗神经网络模型包括两个生成器和两个判别器。两个生成器分别为伪标签生成器和假图像生成器，伪标签生成器和假图像生成器均由级联的自反馈Unet网络构成，后两级级联的自反馈Unet网络作为第一级自反馈Unet网络预测输出的残差增强模块；残差增强模块是在传统Unet模块中加入前向残差传播和后向残差传播，形成环路构成自反馈系统。本发明设计的生成器的模型结构，提高了篡改图像的篡改区域定位准确度。同时本发明还设计了损失函数，通过生成器和判别器的博弈学习，使模型具有较好的鲁棒性和泛化能力。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims

1.一种篡改图像的检测方法，其特征在于，所述方法包括：

构建残差增强的循环生成对抗神经网络模型；

2.根据权利要求1所述的篡改图像的检测方法，其特征在于，所述利用所述篡改图像数据集对所述残差增强的循环生成对抗神经网络模型进行训练，并生成伪标签和假图像；具体包括：

3.根据权利要求1所述的篡改图像的检测方法，其特征在于，所述构建残差增强的循环生成对抗神经网络模型，具体包括：

4.根据权利要求3所述的篡改图像的检测方法，其特征在于，所述残差增强的循环生成对抗网络模型还包括标签辨别器和图像判别器；

5.根据权利要求3所述的篡改图像的检测方法，其特征在于，所述将待测图像输入所述残差增强的循环生成对抗神经网络模型，确定待测图像的篡改区域，具体为：

6.根据权利要求1-5任一项所述的篡改图像的检测方法，其特征在于，所述构建篡改图像数据集，具体包括：

获取原始图像并进行处理，得到篡改图像；

7.根据权利要求6所述的篡改图像的检测方法，其特征在于，所述获取原始图像并进行处理，得到篡改图像，具体为：

8.一种篡改图像的检测系统，其特征在于，所述系统包括：

9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的篡改图像的检测方法。

10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的篡改图像的检测方法。