CN114331974A - 一种基于特征融合的图像篡改检测方法 - Google Patents

Abstract

本发明公开了一种基于特征融合的图像篡改检测方法，目的在于解决复杂场景下图像篡改检测泛化能力不足的问题,在该场景下，每一类篡改方式的参数都是随机选择的，较于之前的场景仅检测使用固定参数的篡改难度加大且更符合日常生活，具有较大的实际应用价值。网络分为三部分：特征提取网络、特征融合模块和分类器。特征提取网络采用ResNetV2‑50为基础结构，灰度图像正向传播依次经过四个模块，提取四个阶段的特征图输入到特征融合模块中。在特征融合的过程中，按特征提取的顺序依次将低级的纹理特征迭代地与高级的语义特征相融合，加强篡改痕迹的特征信息，并将融合后的特征输入到分类器中，完成对目标图像篡改方式的预测。

Description

一种基于特征融合的图像篡改检测方法

技术领域

本发明专利应用于解决复杂场景下图像篡改检测泛化能力不足的问题，复杂场景中的每一类篡改方式的参数都是随机选择的，具体涉及一种基于特征融合的图像篡改检测方法。

背景技术

身处互联网高速发展的时代，具有形象而直观的信息传递能力的数字图像逐渐成为人们生活中必不可少的信息载体，应运而生的图像编辑软件(如Photoshop，美图秀秀等)也随之进入了大众的视野中，成为了人们日常拍照后十分喜爱的修图软件。人们若是怀揣着赤诚之心去使用这些软件，那么会给自己拍摄的图像锦上添花。然而，人们若是用误用或滥用这些修图软件的话，会给社会乃至整个国家造成严重的后果和不良影响。如今，我们“眼见”的不一定“为实”了，数字图像的真实性不停地在被质疑和被挑战。于是，为了证实图像的真实性，图像篡改检测技术应运而生。

当前对数字图像篡改的检测分两个方向。一是针对特定的单一的图像篡改方式的检测方法，它可以通过研究图像篡改方式的性质，分析特定的篡改方式在数字图像上留下的特定的统计痕迹，进一步去设计针对特定的统计痕迹进行检测的方法，从而检测数字图像是否经过相应的篡改。但是在实际应用中，使用针对特定的图像篡改方式的检测方法去检测其它的图像篡改方式的时候，会发现检测效果会出现明显下降的情况，甚至还可能出现无法检测的情况。另一个方向是针对多种图像篡改方式的通用检测方法，可以通过借鉴图像分类的深度学习网络结构，实现端到端的图像篡改检测。但该方法在复杂的场景下图像篡改检测的泛化能力欠缺，影响整体的检测情况。

发明内容

为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于特征融合的图像篡改检测的方法。在特征融合的过程中，按特征提取的顺序依次将低级的纹理特征迭代地与高级的语义特征相融合，加强篡改痕迹的特征信息，并将融合后的特征输入到分类器中，完成对目标图像篡改方式的预测，有效解决复杂场景下图像篡改检测泛化能力不足的问题。

为达到上述发明创造目的，本发明的构思是：

图像篡改检测可以当成图像分类任务来解决。整体搭建了一个深度学习网络模型，将模型分为特征提取网络、特征融合模块和分类器三个部分。首先使用八种篡改方式对图像进行预处理，每一种篡改方式使用随机的参数。将图像输入到特征提取网络中，得到每一阶段的特征输出。接着在特征融合模块中将低级的纹理特征迭代地与高级的语义特征相融合，加强篡改痕迹的特征信息。最后将融合的特征输入到分类器中，进行篡改方式的识别。

根据上述发明构思，本发明采用如下技术方案：

一种基于特征融合的图像篡改检测方法，包括以下操作步骤：

(1)首先需要对图像进行篡改，原始图像使用BossBase V1.01数据集，篡改方式主要分为八种：

JPEG压缩、重采样、中值滤波、高斯滤波、添加白噪声、锐化、均值滤波；

为了模拟真实场景，每一类方式在进行篡改的时候所使用的参数都是随机选择的； BossBase V1.01一共有10000张图像，对其进行篡改后共产生80000张图像，10000张×8类，篡改图像和原始图像共同构成数据集共90000张图像，10000张×9类；

(2)目标图像的像素是1024×1024，需要将图像分块处理；

使用上一步得到的数据集进行中心裁剪，每一张图像裁剪出两张32×32的图像；每一类使用6000张图像生成96000张图片，12000张×8类，用作训练集；使用2000张生成32000 张图片，4000张×8类，用作验证集；使用剩下的2000张生成32000张图片，4000张×8类，用作测试集；

(3)进行特征提取：

特征提取网络以ResNetV2-50为基础结构，该模型由四个模块组成，每个模块由不同数量的残差单元所构成；ResNetV2改变了ResNet原有的残差结构，将BN层作为pre-activation，起到正则化的作用；灰度图像正向传播依次经过四个模块，提取四个阶段的特征图输入到特征融合模块中；

(4)特征融合：

在特征融合的过程中，按特征提取的顺序依次将低级的纹理特征迭代地与高级的语义特征相融合，加强篡改痕迹的特征信息；在特征融合的过程中，图像篡改所留下的痕迹十分微小，经过多次下采样之后，这些微弱的痕迹会消失不见，给后续的分类带来一定困难，特征融合模块就是为解决这个问题所设计的；

(5)篡改分类：

对特征融合模块输出的特征执行全局平均池化的操作，将四维特征转换为二维特征，随之输入到分类器中进行分类；分类器由两层全连接层构成，最后一层全连接层由八个神经元组成，用以生成目标图像被识别为某一类篡改方式的概率值，取概率值最大的一类作为目标图像的篡改方式，然后进行输出。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1.本发明用于解决复杂场景下图像篡改检测泛化能力不足的问题,在该场景下，每一类篡改方式的参数都是随机选择的，该问题的选择具有较大的实际应用价值；

2.本发明基于特征融合的方法进行图像篡改检测，目的在于将低级的纹理特征迭代地和高级的语义特征进行融合，加强篡改痕迹的特征信息，性能同只使用了ResNetV2-50网络的结果相比有较大的提升。

附图说明

图1为本发明优选实施例基于特征融合的图像篡改检测方法流程图。

图2为本发明选实施例方法整体网络结构图。

图3为本发明选实施例特征融合模块结构图。

具体实施方式

以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：

实施例一：

在本实施例中，参见图1，一种基于特征融合的图像篡改检测方法，包括以下操作步骤：

(1)首先需要对图像进行篡改，原始图像使用BossBase V1.01数据集，篡改方式主要分为八种：

JPEG压缩、重采样、中值滤波、高斯滤波、添加白噪声、锐化、均值滤波；

为了模拟真实场景，每一类方式在进行篡改的时候所使用的参数都是随机选择的； BossBase V1.01一共有10000张图像，对其进行篡改后共产生80000张图像，10000张×8类，篡改图像和原始图像共同构成数据集共90000张图像，10000张×9类；

(2)目标图像的像素是1024×1024，需要将图像分块处理；

使用上一步得到的数据集进行中心裁剪，每一张图像裁剪出两张32×32的图像；每一类使用6000张图像生成96000张图片，12000张×8类，用作训练集；使用2000张生成32000 张图片，4000张×8类，用作验证集；使用剩下的2000张生成32000张图片，4000张×8类，用作测试集；

(3)进行特征提取：

特征提取网络以ResNetV2-50为基础结构，该模型由四个模块组成，每个模块由不同数量的残差单元所构成；ResNetV2改变了ResNet原有的残差结构，将BN层作为pre-activation，起到正则化的作用；灰度图像正向传播依次经过四个模块，提取四个阶段的特征图输入到特征融合模块中；

(4)特征融合：

在特征融合的过程中，按特征提取的顺序依次将低级的纹理特征迭代地与高级的语义特征相融合，加强篡改痕迹的特征信息；在特征融合的过程中，图像篡改所留下的痕迹十分微小，经过多次下采样之后，这些微弱的痕迹会消失不见，给后续的分类带来一定困难，特征融合模块就是为解决这个问题所设计的；

(5)篡改分类：

对特征融合模块输出的特征执行全局平均池化的操作，将四维特征转换为二维特征，随之输入到分类器中进行分类；分类器由两层全连接层构成，最后一层全连接层由八个神经元组成，用以生成目标图像被识别为某一类篡改方式的概率值，取概率值最大的一类作为目标图像的篡改方式，然后进行输出。

本实施例基于特征融合的图像篡改检测方法，目的在于解决复杂场景下图像篡改检测泛化能力不足的问题,在该场景下，每一类篡改方式的参数都是随机选择的，较于之前的场景仅检测使用固定参数的篡改难度加大且更符合日常生活，具有较大的实际应用价值。网络分为三部分：特征提取网络、特征融合模块和分类器。特征提取网络采用ResNetV2-50为基础结构，灰度图像正向传播依次经过四个模块，提取四个阶段的特征图输入到特征融合模块中。在特征融合的过程中，按特征提取的顺序依次将低级的纹理特征迭代地与高级的语义特征相融合，加强篡改痕迹的特征信息，并将融合后的特征输入到分类器中，完成对目标图像篡改方式的预测。

实施例二：

本实施例与实施例一基本相同，特别之处在于：

在本实施例中，如图1所示，本基于特征融合的图像篡改检测方法，具体步骤如下：

首先需要对图像进行篡改，原始图像使用BossBase V1.01数据集，篡改方式主要分为八种：JPEG压缩、重采样、中值滤波、高斯滤波、添加白噪声、锐化、均值滤波。为了模拟真实场景，每一类方式在进行篡改的时候所使用的参数都是随机选择的。BossBase V1.01一共有10000张图像，对其进行篡改后共产生80000张图像(10000张×8类)，篡改图像和原始图像共同构成数据集共90000张图像(10000张×9类)；

目标图像的像素是1024×1024，需要将图像分块处理。使用上一步得到的数据集进行中心裁剪，每一张图像裁剪出两张32×32的图像。每一类使用6000张图像生成96000张图片 (12000张×8类)用作训练集；使用2000张生成32000张图片(4000张×8类)用作验证集；使用剩下的2000张生成32000张图片(4000张×8类)用作测试集；

图2所示就是整体网络结构图。模型包括特征提取模块、特征融合模块和分类器。特征提取网络以ResNetV2-50为基础结构，该模型由四个模块组成，每个模块由不同数量的残差单元所构成。ResNetV2改变了ResNet原有的残差结构，主要是因为将BN层作为 pre-activation，会更好地起到正则化的作用。灰度图像正向传播依次经过四个模块，提取四个阶段的特征图输入到特征融合模块中。

图3所示就是特征融合模块结构图。图像篡改所留下的痕迹十分微小，经过多次下采样之后，这些微弱的痕迹会消失不见，给后续的分类带来一定困难，特征融合模块就是为解决这个问题所设计的。在特征融合的过程中，按特征提取的顺序依次将低级的纹理特征迭代地与高级的语义特征相融合，加强篡改痕迹的特征信息。

对特征融合模块输出的特征执行全局平均池化的操作，将四维特征转换为二维特征，随之输入到分类器中进行分类。分类器由两层全连接层构成，最后一层全连接层由八个神经元组成，用以生成目标图像被识别为某一类篡改方式的概率值，取概率值最大的一类作为目标图像的篡改方式，然后进行输出。

本实施例基于特征融合的图像篡改检测方法，目的在于解决复杂场景下图像篡改检测泛化能力不足的问题,在该场景下，每一类篡改方式的参数都是随机选择的，较于之前的场景仅检测使用固定参数的篡改难度加大且更符合日常生活，具有较大的实际应用价值。网络分为三部分：特征提取网络、特征融合模块和分类器。特征提取网络采用ResNetV2-50为基础结构，灰度图像正向传播依次经过四个模块，提取四个阶段的特征图输入到特征融合模块中。在特征融合的过程中，按特征提取的顺序依次将低级的纹理特征迭代地与高级的语义特征相融合，加强篡改痕迹的特征信息，并将融合后的特征输入到分类器中对目标图像进行分类预测。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (1)

1.一种基于特征融合的图像篡改检测方法，其特征在于，包括以下操作步骤：

(1)首先需要对图像进行篡改，原始图像使用BossBase V1.01数据集，篡改方式主要分为八种：

JPEG压缩、重采样、中值滤波、高斯滤波、添加白噪声、锐化、均值滤波；

为了模拟真实场景，每一类方式在进行篡改的时候所使用的参数都是随机选择的；BossBase V1.01一共有10000张图像，对其进行篡改后共产生80000张图像，10000张×8类，篡改图像和原始图像共同构成数据集共90000张图像，10000张×9类；

(2)目标图像的像素是1024×1024，需要将图像分块处理；

使用上一步得到的数据集进行中心裁剪，每一张图像裁剪出两张32×32的图像；每一类使用6000张图像生成96000张图片，12000张×8类，用作训练集；使用2000张生成32000张图片，4000张×8类，用作验证集；使用剩下的2000张生成32000张图片，4000张×8类，用作测试集；

(3)进行特征提取：

特征提取网络以ResNetV2-50为基础结构，该模型由四个模块组成，每个模块由不同数量的残差单元所构成；ResNetV2改变了ResNet原有的残差结构，将BN层作为pre-activation，起到正则化的作用；灰度图像正向传播依次经过四个模块，提取四个阶段的特征图输入到特征融合模块中；

(4)特征融合：

在特征融合的过程中，按特征提取的顺序依次将低级的纹理特征迭代地与高级的语义特征相融合，加强篡改痕迹的特征信息；

(5)篡改分类：

对特征融合模块输出的特征执行全局平均池化的操作，将四维特征转换为二维特征，随之输入到分类器中进行分类；分类器由两层全连接层构成，最后一层全连接层由八个神经元组成，用以生成目标图像被识别为某一类篡改方式的概率值，取概率值最大的一类作为目标图像的篡改方式，然后进行输出。

Images