CN118279913B - 基于语义分割的域内建模复制移动篡改检测方法 - Google Patents

Abstract

本发明属于图像篡改检测技术领域，公开了基于语义分割的域内建模复制移动篡改检测方法，步骤1、初步预测，输出篡改区域初步预测图像S；步骤2、获取篡改域边缘Tb：步骤3、基于语义分割方法获取源域边缘Ob：步骤4、特征融合，将得到的篡改区域初步预测图像S、篡改域边缘Tb和源域边缘Ob，将三者和篡改域St、结构完整源域Ow五部分输入特征融合模块，得到包含边缘，对象，背景的图像L；步骤5、构建密集图，在背景域内、边缘域内以及篡改域域内分别建模，得到最终篡改检测图像。通过本发明解决复制移动图像篡改检测中源域和源域边缘获取困难的问题和全局建模特征混乱的问题。

Description

基于语义分割的域内建模复制移动篡改检测方法

技术领域

本发明属于图像篡改检测技术领域，特别涉及基于语义分割的域内建模复制移动篡改检测方法。

背景技术

图像作为人们获取信息的重要途径之一，时常面临着被恶意篡改的问题，复制-移动篡改操作是常见的图像篡改方式之一，该操作复制图像中的一个区域（源域），并粘贴到同一图像的其他区域（篡改域），以改变整个图像的含义。由于在复制移动篡改检测图像中，被篡改的区域和源域来自同一图像，因此二者的亮度和对比度高度相似，这无疑给复制移动篡改检测带来了挑战。此外，对被篡改的图像进行后处理操作，如模糊、缩放等，这也成为复制移动检测的一大难题。

目前，前沿的篡改检测方法在本质上仅通过计算像素间的相关性获得相似区域特征实现篡改区域定位，并通过后续细化方法提高篡改区域的准确度。但是，该方法存在以下问题：第一，通过对图像进行的自相关计算方法无法精准获得对象完整的相似区域和边缘特征。篡改区域是由原域复制到图像的其他位置获得，因此源域和篡改域的周围像素存在差异。篡改者为了隐藏篡改痕迹，通常对篡改图像进行模糊等后处理操作。经过模糊处理后，源域和篡改域的周围像素的差异将导致相似目标对象的边缘区域信息产生差异，这时，仅通过逐像素点的相似性计算检测像素区域极易造成目标边缘区域检测的误差，无法保证检测相似对象的完整性。其次，源域并没有经过任何操作，就是原图中的一部分区域，对源域的检测和边缘提取更容易造成误差。第二，对特征进行全局建模的方式容易造成特征混乱，无法获得准确的检测结果。具体来说，现有方法未能从对象的角度考虑区域内部建模，包括篡改域域内建模、篡改边缘域内建模和背景域内建模，以细化检测结果。现有方法Two-stageNet通过增加一个特有的卷积结构对通过相似性计算获得的粗相似区域进行细化，其仅仅是对粗略特征进一步进行了特征提取，并未从相关区域的本质上对不同对象进行建模和优化。

发明内容

针对现有技术存在的不足，本发明提供基于语义分割的域内建模复制移动篡改检测方法，将语义分割引入复制移动篡改检测来获得结构完整的源域，并在背景域内、边缘域内以及篡改域域内建模，不用全局建模。

为了解决上述技术问题，本发明采用的技术方案是：

基于语义分割的域内建模复制移动篡改检测方法，包括以下步骤：

步骤1、初步预测：

输入复制移动篡改图像，并进行预处理，输出篡改区域初步预测图像S；其中在篡改区域初步预测图像S中只包含粗略源域对象So、篡改域St和背景三部分；

步骤2、边缘检测，获取篡改域边缘Tb：

将篡改域St取出，使用基于小波变换的图像边缘检测算法，获取篡改域边缘Tb，并计算边缘损失；

步骤3、基于语义分割方法获取源域边缘Ob：

将输入的复制移动篡改图像输入SAM语义分割模块中，得到完整的分割图像G；将S中的粗略源域对象So取出，用So和分割图像G使用代理注意力，得到结构完整的源域Ow，再使用基于小波变换的图像边缘检测算法，获取源域边缘Ob；

步骤4、特征融合，获得融合后的图像L：

将得到的篡改区域初步预测图像S、篡改域边缘Tb和源域边缘Ob，将三者和篡改域St、结构完整源域Ow五部分输入特征融合模块，得到包含边缘，对象，背景的图像L；

步骤5、构建密集图：

获得图像L后，将图像L的所有特征作为节点表示，构建密集图；同时，密集图的每条边构建任意成对节点之间的相互作用，而不考虑它们的位置距离；其中，在构建密集图的时候并不是全局一块建模，而是在背景域内、边缘域内以及篡改域域内分别建模；最后进行卷积上采样，得到最终篡改检测图像。

进一步的，步骤S1，具体的是，首先将图像输入编码器对其进行特征提取，然后通过空洞卷积增加感受野，然后对其分别进行三个不同卷积率大小的卷积操作，获得特征F1、F2、F3；将F1记作Z1，使用F3减去F2得到B2，使用F2减去F1得到B1，再将F3和B2相乘得到Z3，F2和B1相乘得到Z2；接下来将获得的Z1、Z2和Z3进行拼接，然后依次进行L2归一化操作、位置注意力计算、自相关计算、Relu激活、L2归一化，最后上采样，得到和输入图像大小一样的篡改区域初步预测图像S。

进一步的，步骤4中，在图像L中不同对象之间，对象边界之间相互是不联系的，特征融合具体是：

通过篡改域边缘Tb和源域边缘Ob相加得到对象边界N；

对于对象特征Obj，用篡改域St减去篡改域边缘Tb得到去除边缘后篡改域Stb，同理用结构完整源域Ow减去源域边缘Ob得到去除边缘后源域Owb，然后再分别用Stb和Owb与篡改区域初步预测图像S相乘得到去除边缘后篡改域特征Stf和去除边缘后源域特征Sof，再将Stf和Sof相加得到对象特征Obj；

用S减去对象边界N再减去对象特征Obj得到背景域对象特征M；

图像L包含了对象边界N、对象特征Obj和背景域对象特征M。

进一步的，步骤5中，构建密集图是对对象边界N，对象特征Obj和背景域对象特征M分别建模。

进一步的，总损失包括边缘损失和检测损失两部分，总损失函数为：

；

其中，Ledg表示使用样本相似性度量函数计算的边缘损失，Ldet表示使用交叉熵计算的检测损失，α和β为可学习参数；

其中，y_i∈{0,1}表示图像中的第i个像素是否是被篡改区域的边缘像素，表示像素i被预测为被篡改边缘的概率，W和H分别表示图像的宽和高包含的像素个数；

；其中，p_i∈{0,1}表示第i 个像素是否属于要检测的区域，表示该像素被预测为属于目标区域的概率，w1和w2为超参数。

与现有技术相比，本发明优点在于：

（1）在特征提取阶段，采用不同卷积率来进行特征提取，得到特征以后，高阶与低阶做差以消除高阶中的冗余信息，做差以后的结果再与高阶信息相乘，防止丢失重要信息特征。

（2）在源域边缘获取的过程中，采用语义分割模型对输入的复制移动图像进行分割，以此来得到准确的源域和源域边缘，从而解决复制移动图像篡改检测中源域和源域边缘获取困难的问题。

（3）提出了域内建模方法，将传统的复制移动图像篡改检测在全局建模的方式，变为分别在背景域内、边缘域内以及篡改域域内三个区域的内部建模方法，解决全局建模特征混乱的问题，从而通过聚合域内特征，分离域间特征准确检测源域、篡改域和背景域。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明实施例中的边界感知图；

图3为本发明的特征融合模块示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

结合图1所示，本实施例设计了基于语义分割的域内建模复制移动篡改检测方法，网络的输入为复制移动篡改图像，大小为H*W。包括以下步骤：

步骤1、初步预测：

输入复制移动篡改图像，并进行预处理，输出篡改区域初步预测图像S。

具体的是，首先将图像输入编码器对其进行特征提取，然后通过空洞卷积增加感受野，然后对其分别进行三个不同卷积率大小的卷积操作（比如采用6，12，18不同卷积率），获得特征F1、F2、F3。为了便于表示和理解，将F1记作Z1。为了消除特征中的冗余信息，使用F3减去F2得到B2，使用F2减去F1得到B1，再将F3和B2相乘得到Z3，F2和B1相乘得到Z2，来抑制可能的重要信息丢失问题。接下来将获得的Z1、Z2和Z3进行拼接，然后依次进行L2归一化操作、位置注意力计算、自相关计算、Relu激活、L2归一化，最后上采样，得到和输入图像大小一样的篡改区域初步预测图像S。

需要注意的是，在篡改区域初步预测图像S中只包含粗略源域对象So、篡改域对象St和背景对象三部分。

步骤2、边缘检测，获取篡改域边缘Tb：

将篡改域St取出，使用基于小波变换的图像边缘检测算法（该算法为现有技术，此处不再赘述），获取篡改域边缘Tb。并在此处增加边缘损失，来提升篡改域边缘的准确度。

步骤3、基于语义分割方法获取源域边缘Ob：

源域对于篡改检测来说，获取是十分困难的，所以本发明创新性的引入了语义分割的方法，将输入的复制移动篡改图像输入SAM语义分割模块中，得到完整的分割图像G。在前一步中，已经得到了包含源域的预测图像S，但是其所包含的源域是模糊的不够精确的，将S中的粗略源域对象So取出，用So和分割图像G使用代理注意力（现已有方法，此处不再详细赘述），得到结构完整的源域Ow，再使用基于小波变换的图像边缘检测算法，获取源域边缘Ob。

步骤4、特征融合，获得融合后的图像L：

将得到的篡改区域初步预测图像S、篡改域边缘Tb和源域边缘Ob，将三者和篡改域St、结构完整源域Ow五部分输入特征融合模块，得到包含边缘，对象，背景的图像L。在这里面不同对象之间，对象边界之间相互是不联系的，如图2所示的边界感知图，图中的圆表示对象1像素，方块表示边界像素，三角表示对象2像素。

对于特征融合，具体是：

通过篡改域边缘Tb和源域边缘Ob相加得到对象边界N（图像L中方块部分）。

对于对象特征Obj（图像L中三角部分），用篡改域St减去篡改域边缘Tb得到去除边缘后篡改域Stb，同理用结构完整源域Ow减去源域边缘Ob得到去除边缘后源域Owb，然后再分别用Stb和Owb与篡改区域初步预测图像S相乘得到去除边缘后篡改域特征Stf和去除边缘后源域特征Sof，再将Stf和Sof相加得到对象特征Obj；详细流程如图3所示。

用S减去对象边界N再减去对象特征Obj得到背景域对象特征M（图像L中圆部分）。

图像L包含了对象边界N、对象特征Obj和背景域对象特征M。

步骤5、构建密集图：

获得图像L后，将图像L的所有特征作为节点表示，构建密集图；同时，密集图的每条边构建任意成对节点之间的相互作用，而不考虑它们的位置距离，从而很好地捕获远程对应关系。因此，无需任何后处理，可以在统一的框架下，通过特征在图上的传播，共同完成图内显著性检测，其中P1、P2为两个可学习的矩阵，目的是给节点降低维度。

其中，需要注意的是，在构建密集图的时候并不是全局一块建模，而是在背景域内、边缘域内以及篡改域域内分别建模，即构建密集图是对对象边界N，对象特征Obj和背景域对象特征M分别建模。如图2所示，实线表示两节点之间有联系，虚线表示两节点之间分属不同区域相互不联系。最后进行卷积上采样，得到最终篡改检测图像，即图1中的最终输出。

与以往的复制移动篡改检测不同的是，本申请引入了语义分割的方法来获取源域以及源域边缘，并通过域内建模的方法在对象内部使用图卷积进行建模来解决全局建模特征混乱的问题。

总损失包括边缘损失和检测损失两部分，总损失函数为：

；

其中，Ledg表示使用样本相似性度量函数计算的边缘损失，Ldet表示使用交叉熵计算的检测损失，α和β为可学习参数；

其中，y_i∈{0,1}表示图像中的第i个像素是否是被篡改区域的边缘像素，表示像素i被预测为被篡改边缘的概率，W和H分别表示图像的宽和高包含的像素个数；

；

其中，p_i∈{0,1}表示第i 个像素是否属于要检测的区域，表示该像素被预测为属于目标区域的概率，w1和w2为超参数。

本发明的网络模型使用PyTorch深度学习框架实现，使用USC-ISI CMFD数据集进行实验，将数据集划分为6：2：2分别进行训练、验证以及测试。训练过程中将批处理大小设置为16，使用Adam优化器进行优化，初始学习率设为1e-2。所有实验均在NVIDIA TeslaP100 GPU服务器上进行。

综上所述，本申请（1）在图像特征提取过程中，采用不同大小的三个卷积率，进行特征做差（大卷积率特征减上一级低卷积率特征做差）和跳跃相乘（大卷积率特征减上一级低卷积率特征做差得到的结果，再与大卷积率特征相乘），解决特征提取过程中信息冗余的问题，而跳跃相乘保证特征中的重要信息不会丢失。因为在源域和篡改域存在尺度鸿沟的篡改图像中，仅通过一个卷积率进行特征提取，无法保证信息提取充分，而采用三个卷积率又会造成信息的大量冗余，因此采用特征做差可以有效消除特征中的冗余信息。盲目的进行特征做差，也会丢失许多重要信息，跳跃相乘可以保证消除冗余信息的同时保证重要特征不会丢失。因此，通过特征做差和跳跃相乘，解决特征提取过程中信息冗余的问题，同时保证特征中的重要信息不会丢失。

（2）在源域和源于边缘信息提取中，采用语义分割的方法，以获得结构完整信息准确的源域特征。在复制移动篡改图像中是将图像中的一部分区域移动到另一部分，由于源区域并没有经过任何操作，所以直接对复制移动篡改图像进行源域提取是十分困难的。语义分割模型可以将输入的图像进行准确的分割，再融合得到的篡改区域初步预测图像中的源域特征，我们便可以获得准确的源域，从而解决源域特征、源域边缘无法准确获取的问题。

（3）提出对象域内建模的方法。在获得了篡改区域初步预测图像特征、篡改域边缘特征和源域边缘特征以后，将三者特征进行融合，然后再在篡改对象域（源域和篡改域）内，边缘域（源域和篡改域边缘）以及背景域（篡改对象域和边缘域以外的图像中其他区域）分别构建图模型建模，相互之间不联系。解决全局建模特征混乱的问题，从而通过聚合域内特征，分离域间特征准确检测源域、篡改域和背景域。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (4)

1.基于语义分割的域内建模复制移动篡改检测方法，其特征在于，包括以下步骤：

步骤1、初步预测：

输入复制移动篡改图像，并进行预处理，输出篡改区域初步预测图像S；其中在篡改区域初步预测图像S中只包含粗略源域对象So、篡改域St和背景三部分；

步骤2、边缘检测，获取篡改域边缘Tb：

将篡改域St取出，使用基于小波变换的图像边缘检测算法，获取篡改域边缘Tb；

步骤3、基于语义分割方法获取源域边缘Ob：

将输入的复制移动篡改图像输入SAM语义分割模块中，得到完整的分割图像G；将S中的粗略源域对象So取出，用So和分割图像G使用代理注意力，得到结构完整的源域Ow，再使用基于小波变换的图像边缘检测算法，获取源域边缘Ob；

步骤4、特征融合，获得融合后的图像L：

将得到的篡改区域初步预测图像S、篡改域边缘Tb和源域边缘Ob，将三者和篡改域St、结构完整源域Ow五部分输入特征融合模块，得到包含边缘、对象、背景的图像L；

步骤4中，在图像L中不同对象之间，对象边界之间相互是不联系的，特征融合具体是：

通过篡改域边缘Tb和源域边缘Ob相加得到对象边界N；

对于对象特征Obj，用篡改域St减去篡改域边缘Tb得到去除边缘后篡改域Stb，同理用结构完整源域Ow减去源域边缘Ob得到去除边缘后源域Owb，然后再分别用Stb和Owb与篡改区域初步预测图像S相乘得到去除边缘后篡改域特征Stf和去除边缘后源域特征Sof，再将Stf和Sof相加得到对象特征Obj；

用S减去对象边界N再减去对象特征Obj得到背景域对象特征M；

图像L包含了对象边界N、对象特征Obj和背景域对象特征M；

步骤5、构建密集图：

获得图像L后，将图像L的所有特征作为节点，构建密集图；同时，密集图的每条边构建任意成对节点之间的相互作用，而不考虑它们的位置距离；其中，在构建密集图的时候并不是全局一块建模，而是在背景域内、边缘域内以及篡改域域内分别建模；最后进行卷积上采样，得到最终篡改检测图像。

2.根据权利要求1所述的基于语义分割的域内建模复制移动篡改检测方法，其特征在于，步骤S1，具体的是，首先将图像输入编码器对其进行特征提取，然后通过空洞卷积增加感受野，然后对其分别进行三个不同卷积率大小的卷积操作，获得特征F1、F2、F3；将F1记作Z1，使用F3减去F2得到B2，使用F2减去F1得到B1，再将F3和B2相乘得到Z3，F2和B1相乘得到Z2；接下来将获得的Z1、Z2和Z3进行拼接，然后依次进行L2归一化操作、位置注意力计算、自相关计算、Relu激活、L2归一化，最后上采样，得到和输入图像大小一样的篡改区域初步预测图像S。

3.根据权利要求1所述的基于语义分割的域内建模复制移动篡改检测方法，其特征在于，步骤5中，构建密集图是对对象边界N，对象特征Obj和背景域对象特征M分别建模。

4.根据权利要求1所述的基于语义分割的域内建模复制移动篡改检测方法，其特征在于，总损失包括边缘损失和检测损失两部分，总损失函数为：

L_s＝αL_edg+βL_det；

其中，Ledg表示使用样本相似性度量函数计算的边缘损失，Ldet表示使用交叉熵计算的检测损失，α和β为可学习参数；

其中，y_i∈{0,1}表示图像中的第i个像素是否是被篡改区域的边缘像素，表示像素i被预测为被篡改边缘的概率，W和H分别表示图像的宽和高包含的像素个数；

其中，p_i∈{0,1}表示第i个像素是否属于要检测的区域，表示该像素被预测为属于目标区域的概率，w1和w2为超参数。