CN111275687B - 一种基于连通区域标记的细粒度图像拼接检测方法 - Google Patents

Abstract

本发明公开了一种基于连通区域标记的细粒度图像拼接检测方法，其具体按照以下步骤实施：步骤1、将图像分割成非重叠均匀的图像块；步骤2、对步骤1中所有图像块进行噪声估计并计算噪声估计值；步骤3、提取步骤1中所有图像块的DCT系数的主成分特征；步骤4、对由步骤2和步骤3组成的数据集进行分类，找出可疑图像块；步骤5、对可疑图像块进行精确鉴别；步骤6；使用连通区域标记法将可疑图像块标记为区域；步骤7、计算每一区域的面积，面积最大的区域即为拼接区域，其中区域中图像块的数目即为区域的面积。本发明的检测方法具有较高的检测精度，对不同质量因子的JPEG压缩、伽马矫正、高斯模糊、重采样等具有较强的鲁棒性。

Description

一种基于连通区域标记的细粒度图像拼接检测方法

技术领域

本发明属于图像篡改检测技术领域，涉及一种基于连通区域标记的细粒度图像拼接检测方法。

背景技术

近年来，随着图像采集设备的快速发展和社交媒体的普及，数字图像已经成为我们获取信息的主要载体，这使得数字图像越来越广泛地应用于社会、生活的方方面面。但是，随着功能强大的图像编辑工具和图像处理软件的广泛使用，在不留下明显视觉痕迹的情况下修改图像内容变得越来越容易，这导致了图像恶意篡改事件层出不穷，严重影响了图像信息的可信度，并造成了恶劣的负面影响，甚至导致了一些犯罪行为。

图像拼接/合成(splicing/compositing)技术是指将图像的部分内容拼接到其他图像生成一幅合成图像，其目的是隐藏或添加一些虚假内容来伪造不存在的场景。如今，图像拼接篡改是篡改图像最常用的方法之一，针对图像的拼接检测已经引起了极大的关注，并得到了广泛的研究。

图像拼接检测技术通常是基于这样的事实：图像拼接/合成会改变图像的底层模式，导致图像中不同区域的底层特征的不一致性。因此，如果在图像中检测到了某种不一致性特征，就能检测到拼接区域的存在。基于这一事实，近年来许多学者致力于图片拼接区域检测的研究，并涌现出许多检测方法。现存的主要方法包括文献：J Zuo,S Pan,BLiu.Tampering detection for composite images based on re-sampling and JPEGcompression.Pattern Recognition.2012中提出的基于JPEG图片中原始压缩质量与拼接区域压缩质量不一致性的检测方法，文献：Q Liu,X Cao,D Chao.Identifying ImageComposites Through Shadow Matte Consistency.IEEE Transactions on InformationForensics&Security,2011,6(3):1111-1122中提出的基于图像中局部区域光照不一致性的检测方法，文献：A.C.Popescu,H.Farid.Exposing digital forgeries in colorfilter array interpolated images[J].IEEE Transactions on Signal Processing,2005,53(10):3948-3959中提出的基于CFA插值模式不一致性的检测方法以及文献：K.Bahrami,A.C.Kot,L.Li.Blurred Image Splicing Localization by Exposing BlurType Inconsistency.IEEE Transactions on Information Forensics and Security,2015,10(5):999-1009中提出的基于局部模糊类型不一致性的拼接检测方法。

大多数数字图像中包含了在图像采集过程或后续处理期间引入的噪声。对于未被篡改的自然图像，整幅图像的噪声水平通常相对一致。但是，对于拼接图像，由于拼接区域可能来自不同的图像，不同来源的拼接区域可能有不同的噪声水平，这种不一致性可以被作为拼接篡改的证据。基于这一事实，文献：B Mahdian,S Saic.Using noiseinconsistencies for blind image forensics.Image&Vision Computing,2009,27(10):1497-1503中提出了一种基于局部噪声不一致的图像拼接检测方法，该方法将一级离散小波变换(Discrete Wavelet Transform，DWT)应用于合成图像以获得HH子带图像，并将HH子带图像分割成非重叠的块，计算每个块的噪声标准偏差；最后用给定的阈值找到篡改区域。文献：S.Lyu,X.Pan,X.Zhang.Exposing Region Splicing Forgeries with Blind LocalNoise Estimation.International Journal of Computer Vision,2014,110(2):202-2的作者根据带通域峰度统计量，提出了一种基于盲局部方差噪声估计的拼接检测方法，该方法不适用于相对复杂的噪声模型，并且对于未篡改照片的不同强度，噪声方差可能也有差异。文献：H.Zeng,Y.Zhan,X.Kang.Image splicing localization using PCA-basednoise level estimation.Multimedia Tools and Applications,2017,76(4):4783-4799中将图像分割成不同区域，通过主成分分析(Principal Component Analysis，PCA)估计图像局部噪声方差，该方法能够有效地检测篡改区域。文献：H.Yao,S.Wang,X.Zhang.Detecting Image Splicing Based on Noise LevelInconsistency.Multimedia Tools and Applications,2017,76(10):12457-12479将图像分成非重叠的块，利用PCA算法对图像噪声水平估计，并通过K-mean聚类对原始区域和篡改区域进行区分，该方法可以检测噪声差异很小的篡改图像。文献：B.Liu,C.M.Pun.Multi-object splicing forgery detection using noise level difference.IEEEConference on Dependable&Secure Computing.IEEE,2017中揭示了噪声水平函数(NoiseLevel Function,NLF)与相机响应函数之间的关系，并将NLF拟合到相机响应函数下，通过贝叶斯优化估计NLF，该方法对图像拼接检测是有效的并且可以从相对不完整的样本中估计噪声。文献：Z.Nan,L.Zhao.Blind image splicing detection via noise levelfunction.Signal Processing:Image Communication,2018,68:181-192中提出了一种多目标拼接检测方法，该方法揭示了图像噪声与像素强度之间的关系，证实其对多目标拼接检测的有效性和鲁棒性。文献：Rao Y,Ni J.A deep learning approach to detection ofsplicing and copy-move forgeries in images.IEEE International Workshop onInformation Forensics&Security.IEEE,2017中提出了一种基于噪声水平函数的图像拼接检测方法，该方法首先对测试图像进行分块，将每个图像块的噪声方差拟与锐利度拟合成噪声水平函数，通过计算距离拟合曲线的远近确定篡改区域，该算法具有很好的鲁棒性。近年来，随着深度学习在模式识别领域的成功应用，出现了基于深度学习的图像拼接篡改检测方法。最新的研究是通过训练一个深度网络，从图像中提取噪声残差信息，并应用基于块的分类方法对图像中的篡改区域进行定位。

纵观近年来图像拼接检测领域的最新研究和发展动态，尽管涌现出不少优秀的算法，但依然存在许多具有挑战性的问题：

(1)检测精度不高；

(2)误检测较大或对目标区域检测失败。

发明内容

本发明的目的是提供一种基于连通区域标记的细粒度图像拼接检测方法，解决了现有技术中存在的：(1)检测精度不高；(2)误检测较大或对目标区域检测失败的问题。

本发明所采用的技术方案是，一种基于连通区域标记的细粒度图像拼接检测方法，具体按照以下步骤实施：

步骤1、将图像分割成非重叠均匀的图像块；

步骤2、对步骤1中所有图像块进行噪声估计并计算噪声估计值；

步骤3、提取步骤1中所有图像块的DCT系数的主成分特征；

步骤4、对由步骤2和步骤3组成的数据集进行分类，找出可疑图像块；

步骤5、对可疑图像块进行精确鉴别；

步骤6；使用连通区域标记法将可疑图像块标记为区域；

步骤7、计算每一区域的面积，面积最大的区域即为拼接区域，其中区域中图像块的数目即为区域的面积。

本发明的特点还在于：

步骤1具体为，将大小为M×N的图像Im(u,v)分割成大小为d×d的非重叠均匀图像块D_i(i＝1,2,...,q)，q＝(M×N)/(d×d)，

Im(u,v)＝Im₁(u,v)+g(u,v)

其中，Im₁(u,v)表示理想的无噪声图像，g(u,v)表示高斯噪声，Im₁(u,v)与g(u,v)相互独立，d＝18。

步骤2具体按照以下步骤实施：

步骤2.1、利用峰度统计量对步骤1得到的图像块进行噪声水平估计，计算所有图像块的噪声估计值，并对得到的估计值进行归一化处理；

步骤2.2、基于拉普拉斯算子构造新的算子模板，对步骤1得到的图像块进行噪声水平估计，计算图像块的噪声估计值，并对得到的估计值进行归一化处理；

步骤2.3、对步骤2.1和步骤2.2得到的经过归一化处理的噪声估计值进行处理，得到所有图像块的新的噪声估计值。

步骤2.1具体按照以下步骤实施：

步骤2.1.1、将图像Im(u,v)经过DCT变换后得到的频域图像定义为G(α,β)，G(α,β)＝W(α,β)+h(α,β)，其中W(α,β)和h(α,β)分别对应于Im₁(u,v)和g(u,v)；

步骤2.1.2、G(α,β)的方差和峰度分别为：

var²(G)＝var²(W)+var²(h)

其中p_k(W)表示原始图像的峰度，p_k(h)表示高斯噪声的峰度，

像素域中的噪声g呈高斯分布，由中心极限定理可知，频域噪声h也呈高斯分布，因此p_k(h)＝0，则可得到：

提取特征向量T的峰度噪声：

其中

表示带有噪声的图像的峰度，

表示带有噪声的图像的方差；

估计的噪声标准差为

所有图像块的噪声估计值var_i(i＝1,2,...,q)。

步骤2.1.3、对步骤2.1.2得到的估计值进行归一化处理：

得到归一化向量γ＝(γ₁,γ₂,...,γ_q)。

步骤2.2具体按照以下步骤实施：

步骤2.2.1、利用拉普拉斯算子H₁和H₂构造新的拉普拉斯算子模板H₃：

用

表示图像块D_i的噪声方差，则：

步骤2.2.2、对每一图像块的估计值

进行归一化处理：

得到归一化向量

步骤2.3具体为：对于步骤2.1得到的向量γ＝(γ₁,γ₂,...,γ_q)和步骤2.3得到的向量

做如下处理，得到新的噪声估计值φ_i：

令

得到所有图像块的噪声估计值为Φ＝{φ₁,φ₂,...,φ_q}。

步骤3具体按照以下步骤实施：

步骤3.1、将每个18×18的图像块D_i细分为4个9×9大小的图像块D_ij(j＝1,2,3,4)，即D_i＝(D_i1,D_i2,D_i3,D_i4)；

步骤3.2、对每个9×9大小的图像块D_ij进行DCT变换得到9×9的系数矩阵，以系数矩阵的中心点为交叉点，提取上下左右4个垂直方向的DCT系数矩阵的系数T_ij(j＝1,2,3,4)：T_ij＝(t_ij1,t_ij2,t_ij3,t_ij4)，则18×18的图像块D_i的DCT系数矩阵为：

步骤3.3、对矩阵T_i求主成分：Ω_i＝(v_i1,v_i2,...,v_iR)＝PCA(T_i)，i＝1,2,...,q；

其中，PCA(·)表示主成分分析算法，v_ig(g＝1,2,...,R)表示第i个图像块的DCT系数的主成分分量，R表示获得的主成分分量的总个数；

步骤3.4、用Ω_i的均值来表示整个图像块的信息，则每个图像块的DCT系数的主成分特征为：

则得到所有图像块的DCT系数的主成分特征π＝{ω₁,ω₂,...,ω_q}。

步骤4具体按照以下步骤实施：

步骤4.1、设数据集ζ＝{Φ,π}，其中Φ是噪声估计值集合，π表示DCT系数的主成分特征集合；

步骤4.2、用Fuzzy C-means聚类将步骤4.1的数据集进行分类，设图像块分为X和Y两类，令b₁，b₂分别表示X和Y中图像块的数量，即

b₁＝||X||,b₂＝||Y||

其中，||·||表示集合的基数；

步骤4.3、设B为可疑区域，则B的定义为：

若b₁/(b₁+b₂)≤0.5，那么区域B为由X中包含的图像块组成的区域，X中包含的图像块称为可疑图像块；反之，区域B为由Y中包含的图像块组成的区域，Y中包含的图像块称为可疑图像块。

步骤5具体为：若一个图像块的周围全为可疑图像块，则定义该图像块为可疑图像块，并把该图像块移入可疑图像块集合，即对于B_lk，若B_l+1,k,B_l-1,k,B_l,k+1,B_l,k-1∈B，则B_lk∈B。

步骤6具体为，使用标签将可疑图像块逐行标记为区域，当后一行标记的区域与前一行相邻接时，使用前一行的区域标签，当后一行标记的区域与前一行不邻接时，使用新的区域标签，当标记区域产生闭合的区域时，使用该区域内的最小标签进行标记，直至将所有图像块标记完。

本发明的有益效果是：

(1)本发明一种基于连通区域标记的细粒度图像拼接检测方法结合局部噪声特征和主成分特征形成取证特征，该特征对于拼接篡改区域具有较强的敏感性，能够区分拼接区域与真实图像区域的特异性；

(2)本发明一种基于连通区域标记的细粒度图像拼接检测方法使用区域标记法把可疑篡改块标记为连通区域，通过计算并比较连通区域的面积，定义其中面积最大的区域为拼接篡改区域；

(3)本发明一种基于连通区域标记的细粒度图像拼接检测方法可以检测出拼接区域的位置和形状，与现有的图像拼接检测方法相比，具有较高的检测精度；

(4)本发明一种基于连通区域标记的细粒度图像拼接检测方法对于内容保持的图像处理操作，如不同质量因子的JPEG压缩、伽马矫正、高斯模糊、重采样等具有较强的鲁棒性。

附图说明

图1是本发明一种基于连通区域标记的细粒度图像拼接检测方法的流程图；

图2是本发明一种基于连通区域标记的细粒度图像拼接检测方法中DCT系数特征选择方式图，其中a表示DCT系数矩阵，b表示以矩阵中心点为交叉点，选择上下左右4个垂直方向和4个对角方向的DCT矩阵系数的示意图，c表示以矩阵中心点为交叉点，选择上下左右4个垂直方向的DCT矩阵系数的示意图，d表示以矩阵中心点为交叉点，选择4个对角方向的DCT矩阵系数的示意图；

图3是本发明一种基于连通区域标记的细粒度图像拼接检测方法中基于峰度统计量的噪声水平估计示例，第二行左图对应于原始图像的噪声水平估计，第二行右图对应于拼接图像的噪声水平估计；

图4是本发明一种基于连通区域标记的细粒度图像拼接检测方法中通过聚类对待测图像进行分类的结果示意图，其中a为待测图像，b为分类结果；

图5是本发明一种基于连通区域标记的细粒度图像拼接检测方法中将相邻闭合的可疑图像块中的所有图像判定为可疑图像块的具体操作示意图；

图6是本发明一种基于连通区域标记的细粒度图像拼接检测方法中使用连通区域标记法将可疑图像块标记为区域的示意图；

图7是通过本发明的方法对拼接图像进行检测所得到的视觉效果图，(a1)-(d1)表示篡改图像，(a2)-(d2)表示与(a1)-(d1)相对应的检测结果图；

图8是通过本发明的方法和文献(1)和文献(2)的方法对拼接图像进行检测的对比图；

图9是对不同图像进行拼接形成拼接图像；

图10是通过本发明的方法和文献(1)和文献(2)的方法对拼接图像进行下采样操作后的检测结果；

图11是通过本发明的方法和文献(1)和文献(2)的方法对不同质量因子的JPEG压缩图像的拼接检测结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

由图像拼接的原理可知，图像拼接会改变图像的底层模式，导致图像中不同区域的特征模式的不一致性。对于未被篡改的自然图像，不同区域的噪声水平通常只有轻微的差异，而对于不同来源的拼接区域可能有不同的噪声水平。因此，如果在图像中发现不同区域的噪声水平有显著差异，则该图像的真实性将受到质疑。

本发明一种基于连通区域标记的细粒度图像拼接检测方法，如图1所示，具体按照以下步骤实施：

步骤1、特征选择：

对于大小为M×N的图像Im(u,v)：Im(u,v)＝Im₁(u,v)+g(u,v)，

其中Im₁(u,v)表示理想的无噪声图像，g(u,v)表示高斯噪声，Im₁(u,v)与g(u,v)相互独立；

步骤1.1、从BSDS图像数据库中随机选择200幅图像，分别加入均值为0，方差为var²＝3的高斯噪声。

步骤1.2、将测试图像Im(u,v)分割成大小为s×s(s＝9,17,25)的非重叠均匀图像块K_i,i＝1,2,...,Q，Q＝(M×N)/(s×s)，对每一块进行离散余弦变换，其DCT系数矩阵为：

步骤1.3、选择系数矩阵的不同方向的值，如图2所示，利用峰度统计量进行噪声水平估计，计算所有图像块的平均噪声方差，结果如表1所示。

表1利用不同尺寸的图像分块和不同方向的DCT系数所估计的噪声均值和方差

从表1可以看出，当s＝9时，利用DCT系数矩阵的上下左右4个垂直方向的分量进行噪声估计所得到的图像块噪声方差平均值为2.90，最接近3，这意味着，取图像块的大小为s＝9，利用DCT系数矩阵的上下左右4个垂直方向的分量进行噪声估计所得到的估计结果最准确，因此选用s＝9，DCT系数矩阵的上下左右4个垂直方向的分量进行估计噪声，见图2(c)所示。

步骤1.4对于每个图像块K_i的DCT系数特征可以表示为：

T_i＝(t_i1,t_i2,t_i3,t_i4)

其中t_ij(j＝1,2,3,4)表示从4个方向提取的DCT系数矩阵的分量，

表示DCT系数矩阵中的第i行，k列的系数，如图2(c)所示；

步骤2、将图像分割成非重叠均匀的图像块，具体为，将大小为M×N的图像Im(u,v)分割成大小为d×d的非重叠均匀图像块D_i(i＝1,2,...,q)，q＝(M×N)/(d×d)，

Im(u,v)＝Im₁(u,v)+g(u,v)

其中，Im₁(u,v)表示理想的无噪声图像，g(u,v)表示高斯噪声，Im₁(u,v)与g(u,v)相互独立，d＝18；

对所有图像块进行噪声估计并计算噪声估计值，按照以下步骤实施：

步骤2.1、利用峰度统计量对图像块进行噪声水平估计，结果如图3所示，计算所有图像块的噪声估计值，并对估计值进行归一化处理，具体包括：

步骤2.1.1、将图像Im(u,v)经过DCT变换后得到的频域图像定义为G(α,β)，G(α,β)＝W(α,β)+h(α,β)，其中W(α,β)和h(α,β)分别对应于Im₁(u,v)和g(u,v)；

步骤2.1.2、由于W(α,β)和h(α,β)相互独立，则G(α,β)的方差和峰度分别为：

var²(G)＝var²(W)+var²(h)

其中p_k(W)表示原始图像的峰度，p_k(h)表示高斯噪声的峰度，

像素域中的噪声g呈高斯分布，由中心极限定理可知，频域噪声h也呈高斯分布，因此p_k(h)＝0，则可得到：

提取特征向量T的峰度噪声：

其中

表示带有噪声的图像的峰度，

表示带有噪声的图像的方差；

利用微分求极值的方法对上式求解，首先对上式进行变形并构造函数：

对上述函数分别求p_k ^1/2(W)，var²(h)的偏导，可得：

求解可以得到：

所以估计的噪声标准差为

所有图像块的噪声估计值var_i(i＝1,2,...,q)；

步骤2.1.3、对步骤2.1.2得到的估计值进行归一化处理：

得到归一化向量γ＝(γ₁,γ₂,...,γ_q)；

步骤2.2、基于拉普拉斯算子构造新的算子模板，对图像块进行噪声水平估计，并对得到的估计值进行归一化处理，具体包括；

步骤2.2.1、由于图像的边缘结构具有很强的二阶差分特性，所以，利用Laplace算子H₁和H₂对图像进行噪声估计的效果不够理想，

为了估计噪声，利用H₁和H₂构造新的Laplace算子模板H₃：

对每个像素来说，新模板H₃能够保证其均值为零且有相同的方差；

用

表示图像块D_i的噪声方差，则：

步骤2.2.2、对每一图像块的估计值

进行归一化处理：

得到归一化向量

步骤2.3、对步骤2.1和步骤2.2得到的经过归一化处理的噪声估计值进行处理，得到所有图像块的新的噪声估计值，具体为：对于步骤2.1得到的向量γ＝(γ₁,γ₂,...,γ_q)和步骤2.3得到的向量

做如下处理，得到新的噪声估计值φ_i：

令

得到所有图像块的噪声估计值为Φ＝{φ₁,φ₂,...,φ_q}；

步骤3、提取步骤2中所有图像块的DCT系数的主成分特征，具体按照以下步骤实施：

步骤3.1、根据步骤1中的结论，当图像块大小为s＝9时，用DCT系数矩阵的上下左右4个垂直方向的系数进行噪声估计所得到的结果是有效的，因此，将每个18×18的图像块D_i细分为4个9×9大小的图像块D_ij(j＝1,2,3,4)，即D_i＝(D_i1,D_i2,D_i3,D_i4)；

步骤3.2、对每个图像块进行DCT变换得到9×9的系数矩阵；以系数矩阵的中心点为交叉点，提取上下左右4个垂直方向的DCT系数矩阵的系数T_ij(j＝1,2,3,4)：T_ij＝(t_ij1,t_ij2,t_ij3,t_ij4)，则18×18的图像块D_i的DCT系数矩阵为：

步骤3.3、为了在DCT系数中提取起主要作用的因素，对矩阵T_i求主成分：Ω_i＝(v_i1,v_i2,...,v_iR)＝PCA(T_i)，i＝1,2,...,q；

其中，PCA(·)表示主成分分析算法，v_ig(g＝1,2,...,R)表示第i个图像块的DCT系数的主成分分量，R表示获得的主成分分量的总个数；

步骤3.4、用Ω_i的均值来表示整个图像块的信息，则每个图像块的DCT系数的主成分特征为：

则得到所有图像块的DCT系数的主成分特征π＝{ω₁,ω₂,...,ω_q}；

步骤4、对由步骤2和步骤3组成的数据集进行分类，找出可疑图像块，具体按照以下步骤实施：

步骤4.1、设数据集ζ＝{Φ,π}，其中Φ是噪声估计值集合，π表示DCT系数的主成分特征集合；

步骤4.2、用Fuzzy C-means聚类将步骤4.1的数据集进行分类，图4所示为一个分类结果示例，图4b中黑色为可疑图像块，灰色为真实图像块，图像中的拼接篡改区域通常只是图像的部分内容，因此，假设分类结果中数目少的一类为图像篡改区域，设图像块分为X和Y两类，令b₁，b₂分别表示X和Y中图像块的数量，即

b₁＝||X||,b₂＝||Y||

其中，||·||表示集合的基数；

步骤4.3、设B为可疑区域，则B的定义为：

若b₁/(b₁+b₂)≤0.5，那么区域B为由X中包含的图像块组成的区域；反之，区域B为由Y中包含的图像块组成的区域；

步骤5、对可疑图像块进行精确鉴别，具体为：若一个图像块的周围全为可疑图像块，则定义该图像块为可疑图像块，并把该图像块移入可疑图像块集合，即对于B_lk，若B_l+1,k,B_l-1,k,B_l,k+1,B_l,k-1∈B，则B_lk∈B，如图5所示；

步骤6；使用连通区域标记法将可疑图像块标记为区域，具体为，使用标签将可疑图像块逐行标记为区域，当后一行标记的区域与前一行相邻接时，使用前一行的区域标签，当后一行标记的区域与前一行不邻接时，使用新的区域标签，当标记区域产生闭合的区域时，使用该区域内的最小标签进行标记，直至将所有图像块标记完，如图6所示，以黑色表示要标记的图像块，从第一行开始逐行扫描每一行的每个图像块，第一行有两个区域，各包含一个图像块，其位置分别记为(4)和(8)，分别给它们标记区域标签为1，2；接着扫描第二行，也有两个区域，所包含的图像块的位置分别为：(4，5)，(7，8)，但它们分别与上一行的两个区域邻接，所以可以沿用上一行的区域标签，即1和2；第三行有两个区域(2)和(6)，因为(6)与上一行的两个区域都有邻接，所以把之前的两个区域合并为一个区域，标记为两者中最小的标签号，即1，(2)为新产生的独立区域，所以赋予新的标号2，对测试图像进行上述过程，直至将所有图像块标记完，并把各区域标签记为J₁,J₂...J_V，其中V表示总的区域数；

步骤7、计算每一区域的面积，面积最大的区域即为拼接区域，其中区域中图像块的数目即为区域的面积，

假设M₁＝area(J₁)，M₂＝area(J₂),…,M_V＝area(J_V)分别表示每一区域的面积，其中area(E)表示区域E的面积，则面积最大的区域记为M，即

M＝max(M₁,M₂,…,M_V)

M即为拼接的区域。

本发明方法的仿真实验如下：

为了检测本文发明方法的性能，选用了BSDS300和哥伦比亚IPDED两个图像库中的图像进行测试。

(1)有效性

①篡改定位视觉效果测试

为了检验本发明方法的有效性，我们首先从BSDS300图像库中随机选取20张图像并手动创建了拼接图像，如图7所示，白色区域为检查出的拼接区域，从图7可以看出，本发明方法能够准确地检查出拼接区域的位置和形状。

②篡改区域的检测精度

为了量化分析本发明方法的性能，我们计算像素级检测精度。为此，把拼接像素看作正样本数，原始像素作为负样本数，利用真阳性率和假阳性率来评估检测性能。真阳性率(TPR)是指检测到的正样本数占实际正样本数的比率，假阳性率(FPR)是指将负样本检测为正样本的数目占负样本数的比率。

以图7中的测试图像为例，为了能够更直观的体现上述4幅图的改定位性能，我们在表2中计算了其真阳性率和假阳性率。

表2利用本发明的方法对图7中4幅图像检测的真阳性率和假阳性率(％)

	a	b	c	d
					TPR	99.8	97.8	99.5	97.7
FPR	0.03	2.01	0.03	1.09

从表2中可以看出，本发明方法具有较高的检测精度。

(2)与其它拼接检测方法的比较

为了实验的公平性，我们选择公共的标准图像库哥伦比亚IPDED作为测试数据集。在实验中，我们从哥伦比亚IPDED库中随机选取原始图像和相应的拼接图像，分别使用本发明方法以及文献(1)：H.Zeng,Y.Zhan,X.Kang.Image splicing localization using PCA-based noise level estimation.Multimedia Tools and Applications,2017,76(4):4783-4799.和文献(2)Z.Nan,L.Zhao.Blind image splicing detection via noiselevel function.Signal Processing:Image Communication,2018,68:181-192.中的方法进行测试。图8给出了检测结果。在图8中，第一列为来自哥伦比亚IPDED库中的拼接图像，第二列是通过本发明的方法进行检测的结果，第三、四列分别为文献(1)和(2)的检测结果。从图8可以看出，文献(1)所提出的方法可以获得定位结果，但定位精度不高且误检测区域较大，而本发明方法与文献(2)所提出的方法相比具有更好的拼接定位效果且误检测区域更小，其像素级检测精度如表3所示。

表3对图8中第一列所示的拼接图像进行检测的像素级检测精度比较

从表中可以看出，对于4幅测试图像，本发明方法的检查结构都优于文献(1)和(2)中的方法。为了更全面地测试本发明方法的性能，我们对整个哥伦比亚拼接图像数据库中的图像进行检测，并计算其平均真阳性率和假阳性率，结果如表4所示。

表4量化比较结果(％)

	本发明的方法	文献(1)	文献(2)
				TPR	72.2	47.9	67.3
FPR	25.3	18.5	38.1

从表4可以看出，文献(1)的误检测率比本发明方法稍低一点，但是本发明方法检测的真阳性率要远超文献(1)中的方法，与文献(2)相比，本发明方法具有较高的检查精度。

(3)鲁棒性

对于图像拼接检测算法来说，另一个评价算法性能的重要指标是算法的鲁棒性。在本节中，我们通过量化指标评估算法的鲁棒性，并与其他相关方法作比较。鲁棒性是指对图像进行内容保持操作(如不同质量因子的JPEG压缩，高斯模糊，伽马矫正，重采样等等)以后，所提出的算法对图像的检测结果依然是稳定的。

①对下采样操作的鲁棒性

为了研究对图像下采样后本发明方法的鲁棒性，我们首先创建拼接图像，然后对拼接图像进行20％的下采样，最后用本发明的方法对其进行检测并与文献(1)和文献(2)中的方法进行比较。

我们从哥伦比亚图像库中随机选择4张图像组成图9所示的2个拼接图像C1和C2的例子。把图像B中的一部分插入到图像A中形成拼接图像C。然后对拼接图像进行20％的下采样操作，图10显示的是拼接图像及下采样操作后的检测结果。第一列显示的是拼接图像，第二列是本发明算法对下采样操作后的检测结果，第三列是文献(1)中的方法所检测的结果，第四列是文献(2)中的方法所检测的结果。

如图10中所示的结果，当拼接图像进行20％的下采样操作后，第一列中本发明的方法仍然可以对篡改图像进行准确定位，第二列文献(1)中的方法虽然可以对篡改区域进行定位，但定位效果较差，而第三列文献(2)中的方法可以对图像进行定位，但误检测较高。为了定量分析对拼接图像进行20％的下采样操作后，算法的检测性能，我们仍然选择对整个哥伦比亚图像库上进行操作后的图像检测并与文献(1)和(2)作比较。

表5下采样后的检测结果比较(％)

	本发明的方法	文献[8]	文献[11]
				TPR	62.2	46.0	60.3
FPR	30.2	23.5	39.8

从表5中我们可以看到，本发明的方法在对其经过下采样操作后，检测结果也是有效的。与文献(1)和(2)的结果相比，我们的检测结果更精确。

②对JPEG压缩的鲁棒性

为了检验在不同质量因子下JPEG压缩对图像拼接检测的影响，我们从哥伦比亚拼接图像库中随机地选择两幅图像，并对拼接图像做不同质量因子的JPEG压缩，我们选择的质量因子分别为95,85,75。图11显示的是不同质量因子的JPEG压缩图像以及拼接检测结果。第一行为拼接篡改图像，第二行为本发明的方法的检测结果，第三行为文献(1)中所提方法的检测结果，最后一行为文献(2)中所提方法的检测结果。a,b,c分别表示质量因子为95,85,75的JPEG压缩图像以及其相对应的检测结果。

从图11中可以看出，对于不同质量因子JPEG压缩的拼接图像，本发明的方法的检测效果明显优于其他两种方法。文献(1)中的方法对于经过JPEG压缩后的图像检测效果不明显。文献(2)中的方法对于JPEG压缩后的图像具有鲁棒性，但是误检率较高。为了量化分析JPEG压缩对于检测结果的影响，我们在整个哥伦比亚图像库上进行精度计算，如表6所示。

表6不同质量因子JPEG压缩下拼接图像检测结果(％)

从表6中可以看出，本发明的方法的检测结果明显优于文献(1)的检测结果，与文献(2)相比，虽然只是在JPEG压缩质量因子95时，检测精度高于文献(2)，但是本发明的方法的误检率明显比文献(2)低，所以本发明的方法对不同质量因子JPEG压缩的图像具有较好的鲁棒性。

③对高斯模糊和伽马矫正的鲁棒性

为了更好地体现本发明方法的鲁棒性，我们还研究了本发明的方法对于高斯模糊伽和马矫正后图像的鲁棒性。同样，我们在整个哥伦比亚拼接图像数据集上评估高斯模糊，伽马矫正(Gamma＝1)后本发明方法的检测性能，并且以平均像素级量化分析检测结果，如表7所示。

表7伽马矫正，高斯模糊后的检测结果比较(％)

Gamma＝1,3×3窗口高斯模糊σ＝1

从表7中可以看出，本发明的的检测方法对于高斯模糊，伽马矫正等后处理操作后的图像仍然具有较好的鲁棒性。

Claims (10)

1.一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，具体按照以下步骤实施：

步骤1、将图像分割成非重叠均匀的图像块；

步骤2、对步骤1中所有图像块进行噪声估计并计算噪声估计值；

步骤3、提取步骤1中所有图像块的DCT系数的主成分特征；

步骤4、对由步骤2和步骤3组成的数据集进行分类，找出可疑图像块；

步骤5、对可疑图像块进行精确鉴别；

步骤6；使用连通区域标记法将可疑图像块标记为区域；

步骤7、计算每一区域的面积，面积最大的区域即为拼接区域，其中区域中图像块的数目即为区域的面积。

2.根据权利要求1所述的一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，所述步骤1具体为，将大小为M×N的图像Im(u,v)分割成大小为d×d的非重叠均匀图像块D_i(i＝1,2,...,q)，q＝(M×N)/(d×d)，

Im(u,v)＝Im₁(u,v)+g(u,v)

其中，Im₁(u,v)表示理想的无噪声图像，g(u,v)表示高斯噪声，Im₁(u,v)与g(u,v)相互独立，d＝18。

3.根据权利要求2所述的一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，所述步骤2具体按照以下步骤实施：

步骤2.1、利用峰度统计量对步骤1得到的图像块进行噪声水平估计，计算所有图像块的噪声估计值，并对得到的估计值进行归一化处理；

步骤2.2、基于拉普拉斯算子构造新的算子模板，对步骤1得到的图像块进行噪声水平估计，计算图像块的噪声估计值，并对得到的估计值进行归一化处理；

步骤2.3、对步骤2.1和步骤2.2得到的经过归一化处理的噪声估计值进行处理，得到所有图像块的新的噪声估计值。

4.根据权利要求3所述的一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，所述步骤2.1具体按照以下步骤实施：

步骤2.1.1、将图像Im(u,v)经过DCT变换后得到的频域图像定义为G(α,β)，G(α,β)＝W(α,β)+h(α,β)，其中W(α,β)和h(α,β)分别对应于Im₁(u,v)和g(u,v)；

步骤2.1.2、G(α,β)的方差和峰度分别为：

var²(G)＝var²(W)+var²(h)

其中p_k(W)表示原始图像的峰度，p_k(h)表示高斯噪声的峰度，

像素域中的噪声g呈高斯分布，由中心极限定理可知，频域噪声h也呈高斯分布，因此p_k(h)＝0，则可得到：

提取特征向量T的峰度噪声：

其中

表示带有噪声的图像的峰度，

表示带有噪声的图像的方差；

估计的噪声标准差为

所有图像块的噪声估计值var_i(i＝1,2,...,q)；

步骤2.1.3、对步骤2.1.2得到的估计值进行归一化处理：

得到归一化向量γ＝(γ₁,γ₂,...,γ_q)。

5.根据权利要求4所述的一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，所述步骤2.2具体按照以下步骤实施：

步骤2.2.1、利用拉普拉斯算子H₁和H₂构造新的拉普拉斯算子模板H₃：

用

表示图像块D_i的噪声方差，则：

步骤2.2.2、对每一图像块的估计值

进行归一化处理：

得到归一化向量

6.根据权利要求5所述的一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，所述步骤2.3具体为：对于步骤2.1得到的向量γ＝(γ₁,γ₂,...,γ_q)和步骤2.3得到的向量

做如下处理，得到新的噪声估计值φ_i：

令

得到所有图像块的噪声估计值为Φ＝{φ₁,φ₂,...,φ_q}。

7.根据权利要求2所述的一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，所述步骤3具体按照以下步骤实施：

步骤3.1、将每个18×18的图像块D_i细分为4个9×9大小的图像块D_ij(j＝1,2,3,4)，即D_i＝(D_i1,D_i2,D_i3,D_i4)；

步骤3.2、对每个9×9大小的图像块D_ij进行DCT变换得到9×9的系数矩阵，以系数矩阵的中心点为交叉点，提取上下左右4个垂直方向的DCT系数矩阵的系数T_ij(j＝1,2,3,4)：T_ij＝(t_ij1,t_ij2,t_ij3,t_ij4)，则18×18的图像块D_i的DCT系数矩阵为：

步骤3.3、对矩阵T_i求主成分：Ω_i＝(v_i1,v_i2,...,v_iR)＝PCA(T_i)，i＝1,2,...,q；

其中，PCA(·)表示主成分分析算法，v_ig(g＝1,2,...,R)表示第i个图像块的DCT系数的主成分分量，R表示获得的主成分分量的总个数；

步骤3.4、用Ω_i的均值来表示整个图像块的信息，则每个图像块的DCT系数的主成分特征为：

则得到所有图像块的DCT系数的主成分特征π＝{ω₁,ω₂,...,ω_q}。

8.根据权利要求1所述的一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，所述步骤4具体按照以下步骤实施：

步骤4.1、设数据集ζ＝{Φ,π}，其中Φ是噪声估计值集合，π表示DCT系数的主成分特征集合；

步骤4.2、用Fuzzy C-means聚类将步骤4.1的数据集进行分类，设图像块分为X和Y两类，令b₁，b₂分别表示X和Y中图像块的数量，即

b₁＝||X||,b₂＝||Y||

其中，||·||表示集合的基数；

步骤4.3、设B为可疑区域，则B的定义为：

若b₁/(b₁+b₂)≤0.5，那么区域B为由X中包含的图像块组成的区域，X中包含的图像块称为可疑图像块；反之，区域B为由Y中包含的图像块组成的区域，Y中包含的图像块称为可疑图像块。

9.根据权利要求1所述的一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，所述步骤5具体为：若一个图像块的周围全为可疑图像块，则定义该图像块为可疑图像块，并把该图像块移入可疑图像块集合，即对于B_lk，若B_l+1,k,B_l-1,k,B_l,k+1,B_l,k-1∈B，则B_lk∈B。

10.根据权利要求1所述的一种基于连通区域标记的细粒度图像拼接检测方法，其特征在于，所述步骤6具体为，使用标签将可疑图像块逐行标记为区域，当后一行标记的区域与前一行相邻接时，使用前一行的区域标签，当后一行标记的区域与前一行不邻接时，使用新的区域标签，当标记区域产生闭合的区域时，使用该区域内的最小标签进行标记，直至将所有图像块标记完。

Images