CN111553916A - 基于多种特征和卷积神经网络的图像篡改区域检测方法 - Google Patents

Abstract

本发明涉及一种基于多种特征和卷积神经网络的图像篡改区域检测方法。本发明的目的是提供一种基于多种特征和卷积神经网络的图像篡改区域检测方法。本发明的技术方案是：一种基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于：获取待检测图像：对待检测图像进行基于双重压缩痕迹特征的篡改检测；将待检测图像输入具有RGB流和噪声流双流输入的双流卷积篡改检测网络模型进行检测；对待检测图像进行基于图像匹配的复制‑粘帖检测；输出检测结果。本发明适用于数字图像取证领域。

Description

基于多种特征和卷积神经网络的图像篡改区域检测方法

技术领域

本发明涉及一种基于多种特征和卷积神经网络的图像篡改区域检测方法，适用于数字图像取证领域。

背景技术

图像是信息传输的重要媒介，以前，人们相信“眼见为实”，对自己亲眼看见的东西深信不疑。然而，随着Photoshop、GIMG等图像编辑软件技术的进步，图像编辑变得越来越容易，区分正常图像和修改过的图像不再简单，“眼见为实”不再适用于当今社会。大部分篡改的图像给社会带来的还只是良性的影响，但一些图像如果被恶意使用，会给社会稳定和国家安全带来严重的不良影响。如何检测图像是否经历过篡改成为当今社会亟待解决的问题。

一般来说，现有的图像篡改检测的方式主要包括基于手工特征和基于深度学习的篡改检测两种。基于手工特征的篡改检测方法大多基于篡改图像底层特征的分析，包括双重JPEG压缩痕迹、CFA色彩矩阵特征和局部噪声特征等，其中：基于双重JPEG压缩痕迹的方法通过预测DCT系数和量化因子的概率模型，可以发现不同区域的压缩程度的差异来检测局部的篡改区域；基于CFA的方法则基于篡改区域与未篡改区域来自不同的相机的假设，通过分析不同区域存在的不同相机的滤波阵列的统计特性来定位篡改区域；近年来，基于局部噪声特征的方法，如隐写丰富模型(Spatial Rich Model，SRM)在图像取证任务上展现了良好的性能。这些方法通过捕捉篡改区域和非篡改区域之间邻接像素的噪声特征的不连续性定位篡改区域。

基于手工特征的检测方法大多只能检测特定类型的篡改，随着深度学习在计算机视觉和图像处理任务中成功运用，人们也开始尝试用深度学习的方法来解决图像篡改检测的问题。应用于篡改检测的深度学习技术主要包括卷积神经网络、自编码器和长短期记忆网络(Long Short Term Memory，LSTM)等。Cozzolino等人在《Anewblind image splicingdetector》中将SRM特征与卷积神经网络融合，进一步发掘了SRM特征在篡改检测上的优良性能，他们也尝试将图像篡改任务作看异常检测任务，用基于自编码器的方法将编码器难以重建的部分定位为篡改区域，在文献《Single-image splicing localization throughautoencoder-based anomaly detection》提出了无监督的篡改检测。Salloum等人使用全卷积网络(Fully ConvolutionalNetworks，FCN)的框架来自动预测图像中的篡改区域，在文献《Image splicing localization using amulti-task fully convolutionalnetwork》中提出了用边界块引导FCN去关注篡改的边缘。Bappy等人在文献《Exploitingspatial structure for localizing manipulated image regions》中第一次将LSTM运用于篡改检测网络，将图像块划分成图像块输入网络，检测篡改图像块和非篡改图像块之间的篡改痕迹。除此之外，Peng等人在文献《Learning Rich Features forImageManipulation Detection》中提出了一个双流篡改检测模型，该模型从RGB流和噪声流提取到了丰富的篡改特征的表达，实现了拼接、复制-粘贴和局部去除多种图像篡改类型的检测。

在现有技术中，基于手工特征的方法大多只能检测特定类型的篡改，因此无法适用于实际检测的需求，基于深度学习的方法可以直接从像素层提取通用的特征，可以检测多种类型的图像篡改，但由于其依赖于训练数据，在检测的精确率上低于一些鲁棒的手工特征。

发明内容

本发明要解决的技术问题是：针对上述存在的问题，提供一种基于多种特征和卷积神经网络的图像篡改区域检测方法。

本发明所采用的技术方案是：一种基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于：

获取待检测图像：

对待检测图像进行基于双重压缩痕迹特征的篡改检测；

将待检测图像输入具有RGB流和噪声流双流输入的双流卷积篡改检测网络模型进行检测；

对待检测图像进行基于图像匹配的复制-粘帖检测；

输出检测结果。

所述对待检测图像进行基于双重压缩痕迹特征的篡改检测，包括：

生成待检测图像的DCT系数直方图；

估计直方图周期性变换的周期；

采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率；根据直方图索引到待检测图像中每个图像块，估计每个图像块属于篡改区域的概率，将待检测图像中所有图像块篡改概率组成篡改后验概率图；

将篡改后验概率图中高于设定阈值的部分划分为篡改区域，低于设定阈值的部分划分为未篡改区域；

基于篡改区域和未篡改区域的概率值的方差之和判断是否有显著的连通区域，若有，则根据连通区域与篡改后验概率图的面积比值筛选确定篡改区域；若没有，判断待检测图像未经篡改。

所述估计直方图周期性变换的周期，包括：

设周期为p，S_min和S_max为直方图左右边界的索引值，S₀为直方图最大值对应的索引值，对p取1到S_max/20之间的值，计算下式：

式中，i_max＝[(S_max-S₀)/p]，i_min＝[(S_min-S₀)/p]，h为直方图；

周期的最佳估计为：

p＝argmax_pH(p)。

采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率，包括：

计算先验概率，未篡改图像块DCT变换后对应的直方图索引值为S₀+i的概率为

经过篡改的图像块DCT变换后对应的直方图索引值为S₀+i的概率为P_t(S₀+i)＝1/p；

根据贝叶斯公式，如果一个图像块对应到直方图的索引值S₀+i，则该图像块来自篡改区域和未篡改区域的概率分别为：

P(tampered|s₀+i)＝P_t/(P_t+P_u)

P(unchanged|s₀+i)＝P_u/(P_t+P_u)

所述对待检测图像进行基于图像匹配的复制-粘帖检测，包括：

采用基于球谐波变换的特征作为图像匹配的特征；

采用Patch Match进行特征匹配；

对检测结果图进行中值滤波，根据匹配区域与结果图面积的比值及匹配对中匹配区域之间的距离筛选确定篡改区域。

所述获取待检测图像，包括：

采用最高的质量因子将取待检测图像的格式转换为JPEG。

所述双流卷积篡改检测网络模型，包括：

获取待检测图像的RGB流和噪声流；

采用卷积网络提取RGB流特征和噪声流特征，并用噪声流特征对RGB流特征进行加注意力加权，在RGB流特征图中对在同样深度的噪声流特征图上表现显著的特征维度赋予更多的注意力，引导RGB流在不同层次的特征图中更全面地关注篡改区域；

RGB流特征提取到的特征图输入RPN网络，RPN网络在特征图上提取建议框，传输给ROI Pooling层；

ROI Pooling层接收RGB流和噪声流提取得到的两个特征图和RPN网络输出的建议框，ROI Pooling层用建议框在两个特征图上裁剪池化，分别得到RGB流和噪声流的建议框特征；

对RGB流建议框特征回归得到预测框位置，采用双线性汇合对RGB流和噪声流的建议框特征进行融合得到融合特征，然后对融合特征分类得到预测框类别。

一种计算机设备，包括存储器和处理器，存储器上存储有计算机程序，其特征在于：所述计算机程序被所述处理器执行时实现所述基于多种特征和卷积神经网络的图像篡改区域检测方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现所述基于多种特征和卷积神经网络的图像篡改区域检测方法的步骤。

一种双流卷积篡改检测网络模型，其特征在于：

获取待检测图像的RGB流和噪声流；

采用卷积网络提取RGB流特征和噪声流特征，并用噪声流特征对RGB流特征进行加注意力加权，在RGB流特征图中对在同样深度的噪声流特征图上表现显著的特征维度赋予更多的注意力，引导RGB流在不同层次的特征图中更全面地关注篡改区域；

RGB流特征提取到的特征图输入RPN网络，RPN网络在特征图上提取建议框，传输给ROI Pooling层；

ROI Pooling层接收RGB流和噪声流提取得到的两个特征图和RPN网络输出的建议框，ROI Pooling层用建议框在两个特征图上裁剪池化，分别得到RGB流和噪声流的建议框特征；

对RGB流建议框特征回归得到预测框位置，采用双线性汇合对RGB流和噪声流的建议框特征进行融合得到融合特征，然后对融合特征分类得到预测框类别。

本发明的有益效果是：本发明首先采用基于双重压缩痕迹的手工特征进行篡改区域的初步检测，由于双重压缩痕迹特征能够保证较高的精确度，因此若双重压缩痕迹特征检测出篡改区域，则输出检测结果；若没有检测出篡改区域，将图像继续输入双流卷积篡改检测网络模型进一步检测，完成上述检测后，继续采用图像匹配的方法对图像中可能存在的复制-粘贴区域进行检测，若检测到图像经历过复制-粘贴，输出复制-粘贴区域的检测结果。

本发明中检测策略之间互补，可以从不同方面检测图像中可能存在复制-粘贴、拼接、去除等多种篡改痕迹，可对图像篡改区域的全面检测，具有通用性；图像在经过多次压缩、重采样等后处理操作后，一些篡改痕迹往往会消失，本发明采用的多种手工特征和卷积神经网络提取的高层特征，能够给篡改区域的检测提供足够的线索，保证了检测的鲁棒性。

本发明中基于注意力机制的双流卷积篡改检测网络模型，模型有RGB流和噪声流双流输入，RGB流主要捕捉篡改区域颜色和对比度的异常变化，噪声流提取的特征主要关注于篡改边界的噪声模式的差异，本发明在不同深度的特征图上用噪声流特征对RGB流特征进行加注意力加权，使双流特征在不同特征维度充分融合，实现卷积神经网络对图像篡改区域色彩和噪声不连续特征的有效提取。

附图说明

图1为本发明实施例流程图。

图2为本发明实施例中双流卷积神经网络的结构框架。

具体实施方式

本实施例为一种基于多种特征和卷积神经网络的图像篡改区域检测方法，具体步骤如下：

1、获取待检测图像，采用最高的质量因子将其格式转换为JPEG。

2、采用双重压缩痕迹进行篡改区域初步检测

1)生成DCT系数直方图

对待检测图像进行图像块划分，每个图像块的大小为8×8，然后对每个8×8的图像块进行离散余弦变换，得到每个图像块64个频率的表达，这64个频率从(0,0)到(7,7)，最后将所有图像块64个频率中相同频率的系数组合成直方图，64个频率共得到64个直方图。

2)估计直方图周期性变换的周期

设周期为p，S_min和S_max为直方图左右边界的索引值，S₀为直方图最大值对应的索引值，对p取1到S_max/20之间的值，计算下式：

式中，i_max＝[(S_max-S₀)/p]，i_min＝[(S_min-S₀)/p]，h为直方图，则周期的最佳估计为

p＝argmax_pH(p)。

3)估计篡改后验概率图

采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率，首先计算先验概率，未篡改图像块DCT变换后对应的直方图索引值为S₀+i的概率为

经过篡改的图像块DCT变换后对应的直方图索引值为S₀+i的概率为P_t(S₀+i)＝1/p。根据贝叶斯公式，如果一个图像块对应到直方图的索引值S₀+i，那么这个图像块来自篡改区域和未篡改区域的概率为：

P(tampered|s₀+i)＝P_t/(P_t+P_u)

P(unchanged|s₀+i)＝P_u/(P_t+P_u)

根据直方图的索引到待检测图像中的每个8×8的图像块，估计每个8×8图像块属于篡改区域的概率，将所有图像块篡改概率组成篡改后验概率图；

4)篡改概率图后处理操作

选取一个阈值T_p，将篡改后验概率图中高于阈值的部分划分为篡改区域，低于阈值的部分划分为未篡改区域；

计算篡改区域和未篡改区域的概率值的方差之和δ_p，方差的大小反映了篡改区域检测的显著程度，根据方差的大小判断是否检测到了显著的连通区域，设置一个阈值T_d，若δ_p小于T_d，则说明检测到了显著的连通区域，对二值化的篡改后验概率图进一步处理，设置阈值T_s，计算所有连通区域与篡改概率图面积的比值，找出面积比大于T_s的连通区域的最小外接矩形，然后采用非极大值抑制的方法对这些矩形框进行筛选和合并，最终得到篡改区域的检测结果；若若δ_p大于T_d，则说明没有检测到显著的连通区域，判断没有经历过篡改，则采用双流卷积篡改检测网络模型继续检测篡改区域。

3、采用双流卷积神经网络检测篡改区域

本实施例中双流卷积篡改检测网络模型采用了目标检测网络Faster RCNN的基本结构，主要包括特征提取、特征之间的注意力机制、区域候选网络(RegionProposalNetwork，RPN)、ROI Pooling层和预测框的回归和分类五个部分：

特征提取：模型有两个流的输入，分别是RGB流和噪声流。RGB流的输入为RGB图像，噪声流的输入为RGB图像的局部噪声特征图，采用SRM滤波器对RGB图像进行滤波得到。本例采用ResNet101的卷积网络提取RGB流和噪声流特征。

特征之间的注意力机制：

现有技术中的模型仅在建议框特征提取完成之后进行了特征融合，在RPN网络提取建议框阶段和预测框回归阶段都没有融入噪声流的特征，这样导致在整个预测框的位置回归过程中，噪声流并没有起到作用。

由于输入RPN网络的特征是后续的预测框位置回归的基础，本实施例在模型的特征提取阶段对双流特征进行了融合。RGB流主要捕捉篡改区域颜色和对比度的异常变化，而噪声流提取的特征主要关注于篡改边界的噪声模式的差异，由于RGB流和噪声流提取的特征存在差异性，这两种特征在不同深度的卷积层中对于篡改检测任务的重要程度也不同，因此本实施例采用一种注意力机制，在不同深度的特征图上用噪声流特征对RGB流特征进行加注意力加权，在RGB流特征图中对在同样深度的噪声流特征图上表现显著的特征维度赋予更多的注意力，从而引导RGB流在不同层次的特征图中更全面地关注篡改区域，以达到双流特征在不同特征维度的有效融合。

噪声流和RGB流都采用ResNet101的网络结构，所以相同卷积层输出的特征维度是一样的，ResNet101的卷积神经网络可以分为conv1，conv2_x，conv3_x，conv4_x和conv5_x五个部分，每个部分的最后一个卷积层位于特征提取网络的不同深度。

设RGB流和噪声流在卷积层第i(i＝1,2,3,4,5)个部分的输出特征图为R_i和N_i，将N_i输入一个1×1的卷积层f_i和一个Softmax层，输出得到注意力向量A_i，用A_i对RGB层特征进行注意力加权，得到新的RGB流特征

用注意力加权后的特征

取代R_i作为下一个卷积层的输入。

RPN网络：RPN网络的输入是RGB流特征提取得到的特征图，RPN网络在特征图上提取建议框，然后传输给ROI Pooling层。

ROI Pooling层：ROI Pooling层接收三个输入：RGB流和噪声流提取得到的两个特征图和RPN网络输出的建议框。ROI Pooling层用建议框在两个特征图上裁剪池化，分别得到RGB流和噪声流的建议框特征。

预测框的回归和分类：对RGB流建议框特征回归得到预测框位置，采用双线性汇合对RGB流和噪声流特征进行融合得到融合特征，然后对融合特征分类得到预测框类别。

4、采用图像匹配检测复制-粘贴区域

1)特征提取

本发明使用基于球谐波变换(Circular Harmonic Transforms，CHT)的特征作为图像匹配的特征，假设I(ρ,θ)是图像在球坐标系的表示，球谐波变换为：

式中，

是基函数，基函数的形式如下：

这样，球谐波变换系数也可以写作，

使用不同的径向函数可以得到不同的球谐波变换特征，本实施例选用泽尼克矩(Zernike Moments,ZM)、极坐标余弦变换(Polar Cosine Transform,PCT)和傅立叶梅林变换(Fourier-Mellin Transform)三种特征：

泽尼克矩的径向函数为：

极坐标余弦变换的径向函数为：

R_n(ρ)＝C_ncos(πnρ²)

傅里叶梅林变换的径向函数为：

2)采用Patch Match进行特征匹配

初始化：采用如下公式对每个像素点初始化一个随机的偏置δ(s)，

d(S)＝U(S)-S

式中，U(s)是一个随机的二维向量，s是像素点的坐标，由于需要寻找一个远离像素点的匹配点，因此设置一个阈值T_s，剔除所有模值小于阈值T_s的偏置；

邻域搜索：对图像从上到下、从左到右进行扫描，将每个像素的偏置更新为：

式中，Δ^P(s)＝{δ(s)，δ(s^r)，δ(s^c)}，s^r和s^c表示沿行和列扫描时s之前的像素，这样使得每次搜索得到的偏置都能使匹配的质量提高。

随机搜索：为了防止上述搜索陷入局部极小值，在邻域搜索之后，再进行一次随机搜索，随机搜索的更新策略为：

式中，Δ^R(s)＝{δ(s),δ_i(s),…,δ_L(s)}，δ_i(s)＝δ(s)+R_i，R_i是一个二维的随机向量。扫描完所有的像素后停止更新。

3)后处理

特征匹配的结果往往受到噪声、压缩、光线变化以及几何形变的干扰，因此还需要对匹配的结果进一步处理。先对检测结果图进行中值滤波；然后设置阈值T_s，计算所有匹配区域与图像面积的比值，去除面积比小于T_s的匹配区域；设置阈值T_d，去除匹配区域距离小于T_d的匹配对；最后，对检测结果图进行开运算操作，对匹配区域进行边缘检测，在结果图上显示复制-粘贴的检测结果。

Claims (10)

1.一种基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于：

获取待检测图像：

对待检测图像进行基于双重压缩痕迹特征的篡改检测；

将待检测图像输入具有RGB流和噪声流双流输入的双流卷积篡改检测网络模型进行检测；

对待检测图像进行基于图像匹配的复制-粘帖检测；

输出检测结果。

2.根据权利要求1所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，所述对待检测图像进行基于双重压缩痕迹特征的篡改检测，包括：

生成待检测图像的DCT系数直方图；

估计直方图周期性变换的周期；

采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率；根据直方图索引到待检测图像中每个图像块，估计每个图像块属于篡改区域的概率，将待检测图像中所有图像块篡改概率组成篡改后验概率图；

将篡改后验概率图中高于设定阈值的部分划分为篡改区域，低于设定阈值的部分划分为未篡改区域；

基于篡改区域和未篡改区域的概率值的方差之和判断是否有显著的连通区域，若有，则根据连通区域与篡改后验概率图的面积比值筛选确定篡改区域；若没有，判断待检测图像未经篡改。

3.根据权利要求2所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，所述估计直方图周期性变换的周期，包括：

设周期为p，S_min和S_max为直方图左右边界的索引值，S₀为直方图最大值对应的索引值，对p取1到S_max/20之间的值，计算下式：

式中，i_max＝[(S_max-S₀)/p]，i_min＝[(S_min-S₀)/p]，h为直方图；

周期的最佳估计为：

p＝argmax_pH(p)。

4.根据权利要求3所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率，包括：

计算先验概率，未篡改图像块DCT变换后对应的直方图索引值为S₀+i的概率为

经过篡改的图像块DCT变换后对应的直方图索引值为S₀+i的概率为P_t(S₀+i)＝1/p；

根据贝叶斯公式，如果一个图像块对应到直方图的索引值S₀+i，则该图像块来自篡改区域和未篡改区域的概率分别为：

P(tampered|s₀+i)＝P_t/(P_t+P_u)

P(unchanged|s₀+i)＝P_u/(P_t+P_u)

5.根据权利要求1所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，所述对待检测图像进行基于图像匹配的复制-粘帖检测，包括：

采用基于球谐波变换的特征作为图像匹配的特征；

采用Patch Match进行特征匹配；

对检测结果图进行中值滤波，根据匹配区域与结果图面积的比值及匹配对中匹配区域之间的距离筛选确定篡改区域。

6.根据权利要求1所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，所述获取待检测图像，包括：

采用最高的质量因子将取待检测图像的格式转换为JPEG。

7.根据权利要求1所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，所述双流卷积篡改检测网络模型，包括：

获取待检测图像的RGB流和噪声流；

采用卷积网络提取RGB流特征和噪声流特征，并用噪声流特征对RGB流特征进行加注意力加权，在RGB流特征图中对在同样深度的噪声流特征图上表现显著的特征维度赋予更多的注意力，引导RGB流在不同层次的特征图中更全面地关注篡改区域；

RGB流特征提取到的特征图输入RPN网络，RPN网络在特征图上提取建议框，传输给ROIPooling层；

ROI Pooling层接收RGB流和噪声流提取得到的两个特征图和RPN网络输出的建议框，ROI Pooling层用建议框在两个特征图上裁剪池化，分别得到RGB流和噪声流的建议框特征；

对RGB流建议框特征回归得到预测框位置，采用双线性汇合对RGB流和噪声流的建议框特征进行融合得到融合特征，然后对融合特征分类得到预测框类别。

8.一种计算机设备，包括存储器和处理器，存储器上存储有计算机程序，其特征在于：所述计算机程序被所述处理器执行时实现权利要求1～7任意一项所述基于多种特征和卷积神经网络的图像篡改区域检测方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任意一项所述基于多种特征和卷积神经网络的图像篡改区域检测方法的步骤。

10.一种权利要求1所述的双流卷积篡改检测网络模型，其特征在于：

获取待检测图像的RGB流和噪声流；

采用卷积网络提取RGB流特征和噪声流特征，并用噪声流特征对RGB流特征进行加注意力加权，在RGB流特征图中对在同样深度的噪声流特征图上表现显著的特征维度赋予更多的注意力，引导RGB流在不同层次的特征图中更全面地关注篡改区域；

RGB流特征提取到的特征图输入RPN网络，RPN网络在特征图上提取建议框，传输给ROIPooling层；

ROI Pooling层接收RGB流和噪声流提取得到的两个特征图和RPN网络输出的建议框，ROI Pooling层用建议框在两个特征图上裁剪池化，分别得到RGB流和噪声流的建议框特征；

对RGB流建议框特征回归得到预测框位置，采用双线性汇合对RGB流和噪声流的建议框特征进行融合得到融合特征，然后对融合特征分类得到预测框类别。

Images