CN116091907B - 一种基于非互斥三元对比学习的图像篡改定位模型及方法 - Google Patents

Abstract

本发明属于图像篡改识别技术领域，尤其涉及一种基于非互斥三元对比学习的图像篡改定位模型及方法；本发明采用编码器‑解码器结构，并提出了三种图像块之间的非互斥三元对比学习，对单个轮廓块作为枢纽，之后在编码器的浅层上构建了一个bob网络，bob网络有两个对称的分支，在正负之间来回摆动枢纽以构成对比对；使用三个成对对比损失的总和作为TCL Loss。此外，为了确保像素级空间关系被编码器的更深层捕获和保存，在解码器端，本方法设计了带有辅助分类器的枢纽一致性损失Pivot‑Consistent (PC) Loss。本发明所提出的图像篡改定位方法不需要额外的数据集即可训练得到鲁棒、准确的图像篡改定位模型。

Description

一种基于非互斥三元对比学习的图像篡改定位模型及方法

技术领域

本发明属于图像篡改识别技术领域，尤其涉及一种基于非互斥三元对比学习的图像篡改定位模型及方法。

背景技术

人们曾无比相信“眼见为实、有图有真相”，但随着数字媒体技术的快速发展，我们能够轻易的处理、修改和生成图像，修改图像所带来的图像伪造和篡改引发的信息安全隐患、版权纠纷已经成为广泛关注的社会问题；为积极解决图像篡改识别难题，研究人员提出了一系列端到端的图像篡改识别方法；然而，数据不足仍旧是最突出的问题，这是由于训练图像篡改识别所使用的数据集的注释密集且对专业知识要求过高，可利用的公共数据集数据量极小（仅有几百到几千张图像），不足以训练可使用的深度卷积神经网络。

目前现有技术中大概分为两种类型的方式来实现图像篡改定位，其一为，通过对刚过程训练判别分割模型的新框架，同事训练了四个模型：一个生成修饰模型GR，将处理后的图像转换为真实图像域，一个生成注释模型GA，用于鉴别图像块真伪的像素级概率，以及两个鉴别器DR和DA；但采用上述技术方案，对于图像篡改操作类型敏感，仅适用于拼接操作。

另外一种为通过一个具有双阶注意力模型的生成对抗网络来检测和定位复制移动伪造；在生成器中，一阶注意力旨在捕获复制移动位置信息，而二阶注意力则从块级贡献利用更多的判别特征；采用上述方式对于图像篡改操作类型敏感，仅适用于复制移动的图像。

因此，如何寻找一个可靠、准确、鲁棒性强的少样本图像篡改定位方法，从而对图像的篡改部分进行判断定位，对于信息安全行业中的防御性信息读取证来说是不可或缺的；因此本发明提出了一种基于非互斥三元对比学习的图像篡改定位模型及方法，来解决上述技术问题。

发明内容

为了解决上述现有技术中存在的技术问题，本发明提供了一种基于非互斥三元对比学习的图像篡改定位模型及方法，至少解决目前需要大量数据集进行训练模型的问题。

为解决上述技术问题，本发明采用的技术方案如下：

一种基于非互斥三元对比学习的图像篡改定位模型，包括图像篡改定位网络、bob网络以及损失函数；

所述图像篡改定位网络为采用DeepLabV3+网络作为基础的编码器-解码器结构，所述编码器的浅层包括所述bob网络；所述编码器的骨干网络包括末层设置的空洞卷积层和空洞空间金字塔池化块；

所述解码器两个上采样模块，将编码器输出的特征扩张到四倍，直到达到与输入编码器中的图像相同的大小；

所述bob网络包括两个相互对称的分支，每个分支均包括卷积层、批归一化BN层以及ReLU激活层；

所述损失函数包括枢纽一致性损失函数、非互斥三元损失函数以及总损失函数；

在所述解码器端采用所述枢纽一致性损失函数加强轮廓块像素之间的空间链接；

在所述bob网络中加入所述非互斥三元损失函数，用于非互斥三元对比学习监督与非互斥三元损失计算；

所述总损失函数基于枢纽一致性损失函数和非互斥三元损失函数得到，用于优化整个模型。

优选的，所述空洞空间金字塔池化块的扩张率分别为1,12,24,36，输出步幅为8。

优选的，所述bob网络的每个分支均包含一个1*1的卷积层、一个批归一化BN层和一个ReLU激活层。

优选的，所述枢纽一致性损失函数的表达式如下：

;

式中：表示轮廓块像素分配的权重；/>表示真实图像中的像素；/>表示轮廓块中的像素；/>表示像素的真实标签；/>表示像素的预测标签。

优选的，所述非互斥三元损失函数的表达式如下：

；

式中：表示图像中的篡改块；/>为正样本中不同于/>的块；/>为负样本，/>为求和参数，/>表示神经网络对某一图像块所学习的特征，/>，，/>，/>表示枢纽特征正部分，表示枢纽特征负部分，/>为超参数。

优选的，所述总损失函数的表达式如下：

；

式中：为编码器浅层中非互斥对比学习的权重；/>表示非互斥三元损失函数；/>表示枢纽一致性损失函数。

一种非互斥三元对比学习的图像篡改定位方法，采用本发明所述的图像篡改定位模型，包括以下步骤：

将待查图像输入编码器-解码器网络中，经过编码器编码后得到尺寸为64*64的特征图，并将所述特征图送入到解码器；

解码器使用两个上采样模块将编码器输出的特征图扩张四倍，直到达到与待查图像相同的大小；

基于解码器端加入的枢纽一致性损失函数进行像素级别的图像篡改定位监督。

优选的，在所述编码器中，通过bob网络在图像块级别进行非互斥三元对比学习监督；

将一张图像的所有轮廓块特征拼接到一个大小为的枢纽特征中；其中/>为轮廓块数量，/>分别为一个轮廓块的通道数、宽度和高度；

将拼接好的枢纽特征依次通过1*1的卷积层、批归一化BN层和ReLU激活层后，分别得到大小为/>的枢纽特征正部分/>和枢纽特征负部分/>，用于非互斥三元对比学习监督与非互斥三元损失计算。

优选的，所述bob网络将正样本、负样本和枢纽之间的非互斥三元对比关系分解为三个二元的、互斥的对比关系。

优选的，采用所述图像篡改定位模型进行图像篡改定位之前，还包括对所述图像篡改定位模型进行训练，所述训练方法如下：

在每个数据集上将批处理大小设置为4，裁剪图像大小为512*512，采用随机梯度下降优化器，学习率采用poly策略，初始学习率为0.007，动量0.9，权重衰减为5e^-4。

本发明的有益效果包括：

1. 实验表明所提出方法即便使用低质量的训练数据进行训练，依旧可以训练出具有高鲁棒性、低过拟合的模型，在真实数据集中达到较好效果；

2.本发明所提出的非互斥三元对比学习框架将对学习方式扩展到三元集的非互斥关系，其思想可用于其他任务，如语义分割或细粒度对象检测任务。

3.本发明在通用图像篡改数据集如NIST16，CASIA，Coverage，Columbia中的与AUC等指标表现优异，定位结果准确。

附图说明

图1为非互斥三元对比学习示意图。

图2为本发明的图像篡改定位网络示意图。

图3为本发明的bob网络结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合附图1-附图3对本发明作进一步的详细说明：

参见图1所示在图像篡改定位任务中，整个图像按照篡改程度可以被划分为三种图像块，分别是：真实块、篡改块和轮廓块；其中，真实块中所有像素均为未篡改的真实像素，而篡改块中的每个像素均为进过篡改的，轮廓块则是篡改块与真实块的分界轮廓，即轮廓块中部分像素经过篡改，而部分像素未经篡改。

需要说明的是，本发明中所述的bob网络为本发明所提出的相应网络结构所对应的自定义名词，由于本发明中所述的枢纽像单摆上的球一样在正负之间来回摆动枢轴，构成对比对，因此本发明将相应的网络结构称为bob网络。

参见图2和图3所示，一种基于非互斥三元对比学习的图像篡改定位模型，包括图像篡改定位网络、bob网络以及损失函数；

所述图像篡改定位网络为采用DeepLabV3+网络作为基础的编码器-解码器结构，所述编码器的浅层包括所述bob网络；所述编码器的骨干网络包括末层设置的空洞卷积层和空洞空间金字塔池化块；所述空洞空间金字塔池化块的扩张率分别为1, 12, 24,36，输出步幅为8；

所述解码器两个上采样模块，将编码器输出的特征扩张到四倍，直到达到与输入编码器中的图像相同的大小；

所述bob网络的结构示意图参见图3所示，其中图3中包括真实块特征图、篡改块特征图以及轮廓块特征图；通过bob网络在图像块级别进行非互斥三元对比学习监督，其输入为真实篡改标注，bob网络包括两个相互对称的分支，每个分支均包括卷积层、批归一化BN层以及ReLU激活层；

所述损失函数包括枢纽一致性损失函数、非互斥三元损失函数以及总损失函数；

在所述解码器端采用所述枢纽一致性损失函数加强轮廓块像素之间的空间链接；

所述bob网络的每个分支均包含一个1*1的卷积层、一个批归一化BN层和一个ReLU激活层。

在所述bob网络中加入所述非互斥三元损失函数，用于非互斥三元对比学习监督与非互斥三元损失计算；

所述总损失函数基于枢纽一致性损失函数和非互斥三元损失函数得到，用于优化整个模型。

所述枢纽一致性损失函数的表达式如下：

;

式中：表示轮廓块像素分配的权重；/>表示真实图像中的像素；/>表示轮廓块中的像素；/>表示像素的真实标签；/>表示像素的预测标签。

所述非互斥三元损失函数的表达式如下：

；

式中：表示图像中的篡改块；/>为正样本中不同于/>的块；/>为负样本，/>为求和参数，/>表示神经网络对某一图像块所学习的特征，/>，，/>，/>表示枢纽特征正部分，/>表示枢纽特征负部分，/>为超参数。

所述总损失函数的表达式如下：

；

式中：为编码器浅层中非互斥对比学习的权重；/>表示非互斥三元损失函数；/>表示枢纽一致性损失函数。

一种非互斥三元对比学习的图像篡改定位方法，采用本发明所述的图像篡改定位模型，包括以下步骤：

将待查图像输入编码器-解码器网络中，在所述编码器中，通过bob网络在图像块级别进行非互斥三元对比学习监督；所述bob网络将正样本、负样本和枢纽之间的非互斥三元对比关系分解为三个二元的、互斥的对比关系；

将一张图像的所有轮廓块特征拼接到一个大小为的枢纽特征中；其中/>为轮廓块数量，/>分别为一个轮廓块的通道数、宽度和高度；

将拼接好的枢纽特征依次通过1*1的卷积层、批归一化BN层和ReLU激活层后，分别得到大小为/>的枢纽特征正部分/>和枢纽特征负部分/>，用于非互斥三元对比学习监督与非互斥三元损失计算；

经过编码器编码后得到尺寸为64*64的特征图，并将所述特征图送入到解码器；

解码器使用两个上采样模块将编码器输出的特征图扩张四倍，直到达到与待查图像相同的大小；

基于解码器端加入的枢纽一致性损失函数进行像素级别的图像篡改定位监督。

本方法在解码器端使用枢纽一致性损失（Pivot-Consistent Loss, PC Loss）来加强轮廓块像素之间的空间链接，确保轮廓块的空间相关性在通过bob网络后仍然存在。PCLoss在基础的像素级BCE损失的基础上，引入额外为轮廓块像素分配的权重，以/>表示真实图像中的像素，/>表示轮廓块中的像素，/>为像素的真实标签，/>为像素的预测标签，则枢纽一致性损失/>为：

；

本方法利用bob网络将正样本、负样本和枢纽之间的非互斥三元对比关系分解为三个二元的、互斥的对比关系，即 [正样本，负样本]，[正样本，枢纽]，[负样本，枢纽]。其中，正样本与自身相似，与负样本不同。枢纽的正（负）部分类似于正（负）样本，但不同于负（正）样本。非互斥三元损失可表示为：

；

式中：表示图像中的篡改块；/>为正样本中不同于/>的块；/>为负样本，/>为求和参数，/>表示神经网络对某一图像块所学习的特征，/>，，/>，/>表示枢纽特征正部分，/>表示枢纽特征负部分，/>为超参数。

总损失函数

；

式中：为编码器浅层中非互斥对比学习的权重；/>表示非互斥三元损失函数；/>表示枢纽一致性损失函数。

采用所述图像篡改定位模型进行图像篡改定位之前，还包括对所述图像篡改定位模型进行训练，所述训练方法如下：

在每个数据集上将批处理大小设置为4，裁剪图像大小为512 × 512，采用随机梯度下降（SGD）优化器，学习率采用 “poly”策略，初始学习率0.007，动量0.9，权重衰减5e^-4。方法所提出的模型是端到端的训练，不需要对每个组件进行分阶段的预训练，总损失作为一个整体反向传播。中/>的权重/>为0.01，/>中权重/>为0.9。

本发明将三个图像块（真实块、篡改块和轮廓块）之间的非互斥关系称为非互斥三元对比，故而提出非互斥三元对比学习（Ternary Contrastive Learning, TCL）框架来应对IML中数据量不足的问题；由于本发明中所使用的IML网络为深度学习中广泛采用的编码器-解码器结构，不能直接以轮廓块带来的非互斥关系建立对比；因此，对于单个图像，本发明将其所有轮廓块作为枢纽，之后在编码器的浅层上构建一个bob网络，bob网络有两个对称的分支，在正负之间来回摆动枢纽以构成对比对，如图1所示，正样本、负样本以及枢纽之间的非互斥三元对比关系被分解为三个两元的、互斥的对比关系，即[正样本，负样本]，[正样本，枢纽]，[负样本，枢纽]。其中，正样本与自身相似，与负样本不同；枢纽的正（负）部分类似于正（负）样本，但不同于负（正）样本；使用三个成对对比的损失的总和作为TCL Loss；此外为了确保像素级空间关系被编码器的更深层捕获和保存，在解码器端，本发明设计了带有辅助分类器的枢纽一致性损失函数Pivot-Consistent (PC) Loss。

以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (10)

1.一种基于非互斥三元对比学习的图像篡改定位模型，其特征在于，包括图像篡改定位网络、bob网络以及损失函数；

所述图像篡改定位网络为采用DeepLabV3+网络作为基础的编码器-解码器结构，所述编码器的浅层包括所述bob网络；所述编码器的骨干网络包括末层设置的空洞卷积层和空洞空间金字塔池化块；

所述解码器两个上采样模块，将编码器输出的特征扩张到四倍，直到达到与输入编码器中的图像相同的大小；

所述bob网络包括两个相互对称的分支，每个分支均包括卷积层、批归一化BN层以及ReLU激活层；

所述损失函数包括枢纽一致性损失函数、非互斥三元损失函数以及总损失函数；

在所述解码器端采用所述枢纽一致性损失函数加强轮廓块像素之间的空间链接；

在所述bob网络中加入所述非互斥三元损失函数，用于非互斥三元对比学习监督与非互斥三元损失计算；

所述总损失函数基于枢纽一致性损失函数和非互斥三元损失函数得到，用于优化整个模型。

2.根据权利要求1所述的一种基于非互斥三元对比学习的图像篡改定位模型，其特征在于，所述空洞空间金字塔池化块的扩张率分别为1, 12, 24,36，输出步幅为8 。

3.根据权利要求1所述的一种基于非互斥三元对比学习的图像篡改定位模型，其特征在于，所述bob网络的每个分支均包含一个1*1的卷积层、一个批归一化BN层和一个ReLU激活层。

4.根据权利要求1所述的一种基于非互斥三元对比学习的图像篡改定位模型，其特征在于，所述枢纽一致性损失函数的表达式如下：

;

式中：表示轮廓块像素分配的权重；/>表示真实图像中的像素；/>表示轮廓块中的像素；/>表示像素的真实标签；/>表示像素的预测标签。

5.根据权利要求1所述的一种基于非互斥三元对比学习的图像篡改定位模型，其特征在于，所述非互斥三元损失函数的表达式如下：

；

式中：表示图像中的篡改块；/>为正样本中不同于/>的块；/>为负样本，/>为求和参数，/>表示神经网络对某一图像块所学习的特征，/>，，/>，/>表示枢纽特征正部分，表示枢纽特征负部分，/>为超参数。

6.根据权利要求1所述的一种基于非互斥三元对比学习的图像篡改定位模型，其特征在于，所述总损失函数的表达式如下：

；

式中：为编码器浅层中非互斥对比学习的权重；/>表示非互斥三元损失函数；/>表示枢纽一致性损失函数。

7.一种非互斥三元对比学习的图像篡改定位方法，其特征在于，采用权利要求1到6任意一项所述的图像篡改定位模型，包括以下步骤：

将待查图像输入编码器-解码器网络中，经过编码器编码后得到尺寸为64*64的特征图，并将所述特征图送入到解码器；

解码器使用两个上采样模块将编码器输出的特征图扩张四倍，直到达到与待查图像相同的大小；

基于解码器端加入的枢纽一致性损失函数进行像素级别的图像篡改定位监督。

8.根据权利要求7所述的一种非互斥三元对比学习的图像篡改定位方法，其特征在于，在所述编码器中，通过bob网络在图像块级别进行非互斥三元对比学习监督；

将一张图像的所有轮廓块特征拼接到一个大小为的枢纽特征/>中；其中/>为轮廓块数量，/>分别为一个轮廓块的通道数、宽度和高度；

将拼接好的枢纽特征依次通过1*1的卷积层、批归一化BN层和ReLU激活层后，分别得到大小为/>的枢纽特征正部分/>和枢纽特征负部分/>，用于非互斥三元对比学习监督与非互斥三元损失计算。

9.根据权利要求8所述的一种非互斥三元对比学习的图像篡改定位方法，其特征在于，所述bob网络将正样本、负样本和枢纽之间的非互斥三元对比关系分解为三个二元的、互斥的对比关系。

10.根据权利要求7所述的一种非互斥三元对比学习的图像篡改定位方法，其特征在于，采用所述图像篡改定位模型进行图像篡改定位之前，还包括对所述图像篡改定位模型进行训练，所述训练方法如下：

在每个数据集上将批处理大小设置为4，裁剪图像大小为512*512，采用随机梯度下降优化器，学习率采用poly策略，初始学习率为0.007，动量0.9，权重衰减为5e^-4。