CN111881938B - 一种基于盲取证技术的图像真伪鉴别的方法 - Google Patents

Abstract

本发明公开了一种基于盲取证技术的图像真伪鉴别的方法：针对拼接篡改图像，先提取得到模糊的边缘点集，根据失焦模糊和人工模糊点的区别筛选出模糊点集中的人工模糊点，根据人工模糊点的数量来判断图像是否经过了拼接篡改；针对复制‑粘贴篡改图像，先通过提取不变矩特征的方式来确定两个疑似相同的区块的坐标，得到区块后提取Sift特征点，来获取两个区块相同的细节点，根据匹配成功的细节点数量来判断图像是否经过复制‑粘贴篡改。本发明在在对拼接篡改图像进行检测时可以一定程度上减少阈值设置带来的误判点的干扰并且可以较好地区分人工模糊于失焦模糊边缘，在对复制‑粘贴篡改图像进行检测时可以排除部分Sift误匹配对篡改区域分辨的干扰。

Description

一种基于盲取证技术的图像真伪鉴别的方法

技术领域

本发明属于图像识别处理技术领域，更具体地，涉及一种基于盲取证技术的图像真伪鉴别的方法。

背景技术

互联网信息技术高速发展是一把双刃剑，在计算机技术发展迅速的同时，一些图像篡改软件也随之产生，出于各种目的生成的篡改图片遍布互联网的各个角落。恶意篡改的图片会对社会舆论、科学研究、司法取证甚至国家安全产生重大威胁。一张篡改图片甚至可以在国际上掀起轩然大波，并影响世界政治军事格局，对国际社会产生误导。因此图片篡改检测已是网络空间安全领域的重要分支，开展图片篡改检测的研究是有着重大前景并且迫在眉睫的重要工作。如今的对于图片篡改检测研究成果已经有了一些突破，但是仍然存在一些问题：(1)在图片复制-粘贴篡改检测方面，有很多基于Sift特征匹配的算法，但是它们对于图中篡改区域的定位并没有很明确，并且Sift误匹配现象会对篡改区域分辨造成干扰，最后导致定位效果不清晰、不明确，并且该匹配算法未清晰划定篡改区域；(2)在图片拼接篡改方面，很多算法通过识别模糊边缘来确定篡改区域，但是采取的筛选方法太过武断，没有考虑照片本身质量和失焦模糊对图像边缘的影响，并且存在误判边缘点的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于盲取证技术的图像真伪鉴别的方法，能够针对拼接篡改图像以及复制-粘贴篡改图像进行真伪鉴别。

为实现上述目的，本发明提供了一种基于盲取证技术的图像真伪鉴别的方法，所述方法包括：

针对拼接篡改图像，先提取得到模糊的边缘点集，根据失焦模糊和人工模糊点的区别筛选出模糊点集中的人工模糊点，根据人工模糊点的数量来判断图像是否经过了拼接篡改；

针对复制-粘贴篡改图像，先通过提取不变矩特征的方式来确定两个疑似相同的区块的坐标，得到区块后提取Sift特征点，来获取两个区块相同的细节点，根据匹配成功的细节点数量来判断图像是否经过复制-粘贴篡改。

本发明的一个实施例中，针对拼接篡改图像的检测方法的步骤包括：

S11、采用USM增强算法对图像进行预处理；

S12、基于每个像素类似度判定模糊边缘，得到模糊边缘点集；

S13、区分模糊边缘点集中的点是人工模糊边缘点还是失焦模糊边缘点，提取人工模糊边缘点集；

S14、基于线性回归对伪人工模糊边缘点进行过滤，去除人工模糊边缘点集中的误判点，得到可信度较高的人工模糊边缘点集；

S15、根据人工模糊边缘点集中的人工模糊边缘点的数量来判断该图片是否经过拼接篡改。

本发明的一个实施例中，所述步骤S11具体为：

采用USM增强算法对图像进行锐化提高图片的锐化程度，USM增强的算法表达式为：g(x,y)＝f(x,y)+λ[4f(x,y)-f(x-1,y)-f(x+1,y)-f(x,y-1)-f(x,y+1)]，其中(x,y)为像素点位置，f(x,y)为原图(x,y)位置的像素灰度值，g(x,y)为原图(x,y)位置经过USM增强后的像素灰度值，λ是缩放因子。

本发明的一个实施例中，所述步骤S13具体为：

在模糊边缘点的一个较大邻域内计算像素之间的灰度差异，通过设定阈值区分人工模糊边缘点和失焦模糊边缘点，若相互之间差异较大则是人工模糊，若差异较小则为失焦模糊；其中结合图像局部灰度标准差和图像局部灰度偏导计算像素之间的灰度差异的计算公式为：

其中，点(m,n)为模糊边缘点的位置即范围中心，区域半径为r，G(m,n)为区域内各个像素点偏导数的平均值，σ₂(m,n)为该范围灰度值标准差。

本发明的一个实施例中，所述步骤S14具体为：

令图像高为M宽为N，将图片划分成d×d的小块区域，d为预设值，每个区域Ω₂对应的筛选前的边缘点个数为s₁，筛选后的边缘点个数为s₂，若s₂/s₁大于设定最佳阈值λ_th，那么该区域Ω₂内的点被认为是真人工模糊边缘点，否则为伪人工模糊边缘点；设定最佳阈值λ_th为

其训练方式为：

选取50张篡改图片的数据进行线性回归训练，最后训练得出η和ε的值，

其中X为50张图片|Ψ2|/|Ψ1|的值组成的向量，y为50张图片各自的阈值λ_th1组成的向量。

本发明的一个实施例中，针对复制-粘贴篡改图像检测方法的步骤包括：

S21、对图片进行特征提取，找出所有关键点的位置；

S22、基于欧式距离对特征描述子进行两两匹配，按匹配关键点的位置形成图像块，形成块匹配，并根据块匹配来对篡改区域进行粗略的定位；

S23、在匹配完成后，去除冗余匹配块，只保留最大的匹配区块作为疑似篡改区块；

S24、在这对匹配区块中提取Sift特征点，形成Sift特征描述子；

S25、对Sift特征描述子进行降维处理后进行两两匹配，得到匹配的细节点对；

S26、根据匹配的细节点对数量来判断图像是否发生复制-粘贴篡改。

本发明的一个实施例中，所述步骤S21具体为：

①在尺度空间上进行极值检测，首先对原图像进行高斯模糊处理，然后构造高斯金字塔，使用高斯差分算子DOG构造高斯差分金字塔，最后寻找出空间极值点；

②对图像特征关键点进行定位，上一步已经确定了若干个极值点的侯选位置，通过泰勒展开式来拟合DOG函数，之后跟据偏移量剔除不符合条件的候选点；

③确定图像梯度方向，对于图像的局部区域，计算区域内各个点的梯度幅值和方向，把它们归为8类；

④形成特征点描述子，在关键点周围的邻域内，在关键点尺度空间内定义一个4×4的小型窗口，窗口内每一个元素都包含8个方向的信息，最后形成一个128维的特征描述子向量。

本发明的一个实施例中，所述步骤S23具体为：

在匹配完成后，通过数学形态学方法进行处理，保留最大的两个连通分量，将其余部分认为是冗余匹配块，把它们去除；

将连通分量对应的疑似区域定义为一个面积为该连通分量4倍的正方形，正方形的质心(Centroid₁,Centroid₂)为原连通分量的质心，形成疑似篡改区块对(Suspect₁,Suspect₂)。

本发明的一个实施例中，所述步骤S25具体为：

将疑似篡改区块对中两块区域的Sift特征描述子进行两两匹配，对Sift描述子矩阵进行PCA降维处理，用主成分分析的方法使向量维度减少50％左右；匹配程度采用欧氏距离来描述，欧氏距离越小表示两个特征点匹配度越好，依次寻找两区域内欧氏距离最短的特征点对(p_i,p_j)。

本发明的一个实施例中，所述方法还包括，采用相关系数法设置阈值θ，并按下式对匹配的特征点对进行“提纯”：

提纯后形成n个特征点对((x_1i,y_1i),(x_2i,y_2i))，若n<10则认为该图片没有被篡改；若n≥10，则该图被篡改，需要进行重定位来精确复制粘贴区域；

对于疑似区域Suspect₁，4个顶点的坐标从上至下从左至右令其为(u₁₁,v₁₁)、(u₁₂,v₁₁)、(u₁₁,v₁₂)、(u₁₂,v₁₂)；对于疑似区域Suspect₂，4个顶点的坐标从上至下从左至右令其为(u₂₁,v₂₁)、(u₂₂,v₂₁)、(u₂₁,v₂₂)、(u₂₂,v₂₂)，修正系数为ξ∈(0,1)，按照下式进行区域重定位修正：

最后确定复制粘贴区域F1,F2，对于最终区域F₁，4个顶点的坐标从上至下从左至右令其为(u₁₁’,v₁₁’)、(u₁₂’,v₁₁’)、(u₁₁’,v₁₂’)、(u₁₂’,v₁₂’)；对于最终区域F₂，4个顶点的坐标从上至下从左至右令其为(u₂₁’,v₂₁’)、(u₂₂’,v₂₁’)、(u₂₁’,v₂₂’)、(u₂₂’,v₂₂’)。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：

在对在对拼接篡改图像进行检测时可以一定程度上减少阈值设置带来的误判点的干扰并且可以较好地区分人工模糊于失焦模糊边缘，在对复制-粘贴篡改图像进行检测时可以排除部分Sift误匹配对篡改区域分辨的干扰，并且较为准确的定位篡改区域。

附图说明

图1是本发明中针对拼接篡改图像检测方法的流程示意图；

图2是本发明中针对复制-粘贴篡改图像检测方法的流程示意图；

图3是两种模糊抽象示意图，其中图3(a)是人工模糊，图3(b)是失焦模糊；

图4是模糊边缘点表现示意图，图4(a)是σ₂(m,n)和G(m,n)在人工模糊边缘点，图4(b)是σ₂(m,n)和G(m,n)在失焦模糊边缘点的表现示意图；

图5是算法筛选前后的边缘图像，图5(a)是筛选前的边缘图像，图5(b)是筛选后的边缘图像；

图6是Sift误匹配示意图；

图7是copy-move图像篡改示意图；

图8是粗略确定疑似区域示意图；

图9是Sift误匹配点对示意图；

图10是真实图片的检测效果示意图，图10(a)是原图，图10(b)是边缘检测的结果，图10(c)是人工模糊边缘(即篡改区域)的定位结果；

图11是背景简单的拼接篡改图片的检测效果，图11(a)是原图，图11(b)是边缘检测的结果，图11(c)是人工模糊边缘(即篡改区域)的定位结果；

图12是背景简单且失焦模糊的拼接篡改图片的检测效果，图12(a)是原图，图12(b)是边缘检测的结果，图12(c)是人工模糊边缘(即篡改区域)的定位结果；

图13是背景复杂的拼接篡改图片的检测效果，图13(a)是原图，图13(b)是边缘检测的结果，图13(c)是人工模糊边缘(即篡改区域)的定位结果；

图14是一幅背景复杂且失焦模糊的拼接篡改图片的检测效果，图14(a)是原图，图14(b)是边缘检测的结果，图14(c)是人工模糊边缘(即篡改区域)的定位结果；

图15是背景简单的复制粘贴篡改图片的检测效果，图15(a)是Learning RichFeatures for Image Manipulation Detection中的算法运行结果，图15(b)是传统的sift匹配盲检测结果，图15(c)是本发明定位方法的结果；

图16是背景复杂的复制粘贴篡改图片的检测效果，图16(a)是Learning RichFeatures for Image Manipulation Detection中的算法运行结果，图16(b)是传统的sift匹配盲检测结果，图16(c)是本发明定位方法的结果；

图17是背景简单且进行了旋转缩放的复制粘贴篡改图片的检测效果，图17(a)是Learning Rich Features for Image Manipulation Detection中的算法运行结果，图17(b)是传统的sift匹配盲检测结果，图17(c)是本发明定位方法的结果；

图18是一幅背景复杂且进行了旋转缩放的复制粘贴篡改图片的检测效果，图18(a)是Learning Rich Features for Image Manipulation Detection中的算法运行结果，图18(b)是传统的sift匹配盲检测结果，图18(c)是本发明定位方法的结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

首先说明本发明所采用的技术方案，本发明提出了基于盲取证技术的图像真伪鉴别的方法，分别针对拼接篡改图像和复制-粘贴篡改图像，具体方案如下：

针对拼接篡改图像，先提取得到模糊的边缘点集，根据失焦模糊和人工模糊点的区别筛选出模糊点集中的人工模糊点，根据人工模糊点的数量来判断图像是否经过了拼接篡改；

针对复制-粘贴篡改图像，先通过提取不变矩特征的方式来确定两个疑似相同的区块的坐标，得到区块后提取Sift(Scale-invariant feature transform，尺度不变特征变换)特征点，来获取两个区块相同的细节点，根据匹配成功的细节点数量来判断图像是否经过复制-粘贴篡改。

具体地，针对拼接篡改图像检测方法的步骤如下：

S11、采用USM(Unsharpen Mask，虚光蒙版)增强算法对图像进行预处理；

S12、基于每个像素类似度判定模糊边缘，得到模糊边缘点集；

S13、区分模糊边缘点集中的点是人工模糊边缘点还是失焦模糊边缘点，提取人工模糊边缘点集；

S14、基于线性回归对伪人工模糊边缘点进行过滤，去除人工模糊边缘点集中的误判点，得到可信度较高的人工模糊边缘点集；

S15、根据人工模糊边缘点集中的人工模糊边缘点的数量来判断该图片是否经过拼接篡改。

具体地，针对复制-粘贴篡改图像检测方法的步骤如下：

S21、对图片进行特征提取，找出所有关键点的位置；

S22、基于欧式距离对特征描述子进行两两匹配，按匹配关键点的位置形成图像块，形成块匹配，并根据块匹配来对篡改区域进行粗略的定位；

S23、在匹配完成后，去除冗余匹配块，只保留最大的匹配区块作为疑似篡改区块；

S24、在这对匹配区块中提取Sift特征点，形成Sift特征描述子；

S25、对Sift特征描述子进行降维处理后进行两两匹配，得到匹配的细节点对；

S26、根据匹配的细节点对数量来判断图像是否发生复制-粘贴篡改。

其次，结合具体的算法设计来说明本发明技术方案：本发明分别针对两种最常见的图像篡改方式进行盲取证方法设计。实现对疑似篡改区域的定位。分别提出基于人工模糊边缘的定位方法和基于图像匹配的定位方法。

1.1图像拼接篡改盲取证

(1.1.1)图像预处理

采用USM增强算法可以对图像进行锐化，提高图片的锐化程度，并且USM增强算法对图像模糊边缘的增强程度和对未经模糊处理的边缘的增强程度存在差异，可以进一步帮助我们区分边缘是否经过模糊处理。

未经模糊边缘在USM增强中，随着缩放因子λ的增大，边缘增强幅度较大，而模糊边缘在USM增强中，随着缩放因子λ的增大，边缘增强幅度较小。所以选定合适的缩放因子λ的值，可以在模糊边缘增强不多的情况下大幅增强清晰的边缘，可以一定程度上减少被算法误判为模糊边缘点的个数。

USM增强的表达式为式(3-1)所示：

g(x,y)＝f(x,y)+λ[4f(x,y)-f(x-1,y)-f(x+1,y)-f(x,y-1)-f(x,y+1)] (3-1)

其中(x,y)为像素点位置，f(x,y)为原图(x,y)位置的像素灰度值，g(x,y)为原图(x,y)位置经过USM增强后的像素灰度值。

(1.1.2)基于像素类似度判定模糊边缘

由于人工模糊处理边缘时，是对模糊邻域内的像素值进行运算，压缩像素值的范围区间，产生平滑的过渡效果。因此，在模糊边缘点的一定范围的邻域内，各个像素点具有一定程度的相似性，而较清晰的边缘则不具有这种相似性。所以如果选择合适的特征，可以衡量某边缘点和周围点的相似性指标，那么就可以设定一定的阈值对清晰边缘和模糊边缘进行区分。本发明采用类似度判定方法对清晰边缘和模糊边缘进行区分。

(1.1.3)区分人工模糊与失焦模糊的

在对边缘点集合进行筛选后，得到疑似模糊的边缘点集合，由此可以定位模糊边缘的位置。但是在实际应用中这还不够，因为我们在拍摄照片时，有时候会用摄像头聚焦某一个特定的区域，而非聚焦区域有可能会产生失焦现象，景物的边缘有可能会因此也变得模糊。所以在实际应用中，区别人工模糊和失焦模糊是必要的环节。

本发明提出用结合图像局部灰度标准差和图像局部灰度偏导来从模糊边缘中筛选人工模糊处理的边缘点。

人工模糊和失焦模糊可以抽象简化成图3：

其中左图为人工模糊，右图为失焦模糊。可以发现，在使用Photoshop等修图软件进行模糊处理时，有着清晰的模糊半径，模糊处理只在一个特定的区域内进行；而失焦模糊则没有清晰的模糊边界，呈扩散状模糊。根据这个特点，可以在模糊边缘点的一个较大邻域内计算像素之间的灰度差异，若相互之间差异较大，那么是人工模糊，若差异较小，则为失焦模糊。结合图像局部灰度标准差和图像局部灰度偏导的计算公式如式(3-2)：

点(m,n)为模糊边缘点的位置，即范围中心。区域半径为r，G(m,n)为区域内各个像素点偏导数的平均值，σ₂(m,n)为该范围灰度值标准差。

σ₂(m,n)和G(m,n)在人工模糊边缘点和失焦模糊边缘点的表现如图4所示，其中左图为σ₂(m,n)，右图为G(m,n)。其中横坐标1-1390为人工模糊，之后为失焦模糊。

我们可以发现，在图中二者差距是比较明显的，通过设定合适的阈值，可以有效区分人工模糊边缘点和失焦模糊边缘点。

(1.1.4)基于线性回归对伪人工模糊边缘点进行过滤

在根据(1.1.2)和(1.1.3)中的方法筛选出候选人工模糊边缘点集合后，会残留少部分伪人工模糊边缘点。在执行完毕后会残留一部分没有篡改过的边缘(误判点)这会对我们产生误导。

为了避免这种情况发生，使用传统数学形态学中的膨胀腐蚀法来消除伪人工模糊边缘，但是由于对边缘进行腐蚀操作会导致真正的人工模糊边缘收到损失，并且损失较大，最后导致篡改区域定位不清晰。所以我们需要在去除伪人工模糊边缘的同时，尽可能多的保留真正的人工模糊边缘。

观察原图像边缘和根据(1.1.3)和(1.1.4)中的方法筛选出候选人工模糊边缘，如图5。左图为筛选前，右图为筛选后。其中“大雁”部分为拼接篡改的区域，其余部分为原图区域。可以发现，人工模糊边缘部分损失比例较小，而非人工模糊边缘损失比例很大，所以可以根据一定区域Ω₂内边缘的保留比例来判断该区域的边缘为何种边缘。

令图像高为M，宽为N，我们可以将图片划分成d×d的小块，d为预设值，每个区域Ω₂对应的筛选前的边缘点个数为s₁，筛选后的边缘点个数为s₂，若s₂/s₁大于某个特定的阈值λ_th，那么该区域Ω₂内的点被认为是真人工模糊边缘点，否则为伪人工模糊边缘点。对于不同的图片，选定的最佳阈值λ_th是不同的(最佳阈值就是指能去掉所有伪模糊边缘点的最小阈值，即保留最多的真人工模糊边缘点)。经过分析发现，最佳阈值的确定与筛选前后的边缘点数目存在一定的关系。令筛选前的边缘点集合为Ψ₁，筛选后的边缘点集合为Ψ₂。选取若干幅图片实验可以发现|Ψ₂|/|Ψ₁|的值与最佳阈值λ_th是大致成线性关系因此可以采用线性回归的方法来训练出一个拟合度最高的线性方程，如式(3-2)：

选取50张篡改图片的数据进行线性回归训练，最后训练得出η和ε的值，如式(3-4)：

其中X为50张图片|Ψ2|/|Ψ1|的值组成的向量，y为50张图片各自的阈值λ_th1组成的向量。这样，算法就可以跟据输入图片的实际情况，自适应地约定阈值来筛选伪人工模糊边缘点。

1.2图像copy-move篡改盲取证

目前有一些基于Sift算法的图像copy-move盲取证算法，它们普遍存在较多误匹配现象(如图6)，最后导致定位效果不清晰、不明确，并且未清晰划定篡改区域。接下来本发明提出的方法可以一定程度上较清晰地定位篡改区域。

图像复制-粘贴(copy-move)篡改是最常见的图像篡改方式之一。修图者通过复制原图像中的某个区域并将它粘贴到图像中的另一个区域，从而达到掩盖原图像某一重要特征的目的。

图像区域复制粘贴篡改的模型认为篡改之后存在两个等大面积相似区域，且假设复制区域和粘贴区域对应位置的位移矢量相等。这样一来会导致基于该模型的算法对于图像copy-move篡改后可能会进行的旋转、略微缩放等操作不具有适应性，所以该模型的普适价值还不够高，本发明对区域复制图像篡改检测技术中的图像copy-move篡改模型进行改进，使得基于此模型的算法可以适应复制粘贴篡改后可能会进行的旋转、缩放操作，如图7。

首先进行模型假设：

①假设篡改区域是连通区域，且连通域面积不算太小；

②假设复制区域和粘贴区域有一定的距离，距离不算太近并且两区域不重合；

③假设在复制粘贴后可以适当在粘贴区域旋转、缩放复制的图像部分。

模型的数学表达如式(3-5)，在一幅被篡改图像f’(picture)中，存在区域(picture_k,picture’_k)，picture_k，picture’_k∈picture(k＝1,2……)。

S_th为最小面积阈值，向量(th_x,th_y)为位移矢量阈值，向量(m_k,n_k)为位移矢量，f₁(i,j)是原图像的灰度值函数，picture_k’是被复制的图像部分，picture_k是遮盖部分，得到f₂(i,j)：

(1)对图片进行特征提取，找出所有关键点地位置。主要分为4步：①在尺度空间上进行极值检测。首先对原图像进行高斯模糊处理，然后构造高斯金字塔，使用高斯差分算子DOG(Difference Of Gaussian)构造高斯差分金字塔，最后寻找出空间极值点。②对图像特征关键点进行定位。上一步已经确定了若干个极值点的侯选位置，通过泰勒展开式来拟合DOG函数，之后跟据偏移量剔除不符合条件的候选点。③确定图像梯度方向。对于图像的局部区域，计算区域内各个点的梯度幅值和方向，把它们归为8类(8个方向)。④形成特征点描述子。在关键点周围的邻域内，David Lowe提出在关键点尺度空间内定义一个4×4的小型窗口，窗口内每一个元素都包含8个方向的信息，所以最后形成一个128维的特征描述子向量。

(2)基于欧式距离对特征描述子进行两两匹配，按匹配关键点的位置形成图像块，形成块匹配，并根据块匹配来进行篡改区域粗略定位。由于一般情况下，复制粘贴篡改的区域(即高度相似的区域)中特征点应该比较集中，因此基于关键点的图像块之间可以相互连接形成一个较大的连通分量，而误匹配的特征点一般相对分散，较难形成较大的连通分量，所以可以根据这一点排除部分误匹配特征点的干肉，粗略地确定复制粘贴篡改地区域。

(3)在匹配完成后，通过数学形态学方法进行处理，保留最大的两个连通分量，将其余部分认为是冗余匹配块，把它们去除。

为了最后确定的区域定位可以较完整地包括复制粘贴地区域，将连通分量对应的疑似区域定义为一个面积为该连通分量4倍的正方形。正方形的质心(Centroid₁,Centroid₂)为原连通分量的质心(可使用数学形态学方法求出)。形成疑似区域对(Suspect₁,Suspect₂)，接下去仅仅对疑似区域对进行分析即可，粗定位结果如图8所示。

(4)基于Sift特征的细节匹配和区域重定位。在(1.2.4)中，得到了疑似区域对(Suspect₁,Suspect₂)，因为疑似区域对只是对疑似复制粘贴区域的粗略定位，所以定位面积较大，而且实际复制粘贴区域可能并不位于疑似区域粗定位的中心，若不进行后续处理，区域定位效果较差。所以我们需要对定位区域进行矫正，并且对疑似区域对中两个区域的部分细节点进行匹配，使定位更加清晰。使用Sift算法提取疑似区域的特征点，形成Sift特征描述子(128维向量)，由于疑似区域面积一般不会太大，所以Sift算法的特征提取执行时间较短。

然后将疑似区域对中两块区域的Sift特征描述子进行两两匹配。为了解决Sift描述子维度过高的问题，可以对Sift描述子矩阵进行PCA(Principal Components Analysis，主成分分析)降维处理，用主成分分析的方法，可以使向量维度减少50％左右，一定程度上减少了匹配时间，并且可以提高匹配精度。匹配程度采用欧氏距离来描述，欧氏距离越小，表示两个特征点匹配度越好。依次寻找两区域内欧氏距离最短的特征点对(p_i,p_j)。

在实验中会发现，Sift算法偶尔会存在“误匹配现象”，如图6，这会使定位效果和可视化效果欠佳，虽然先对图像进行粗匹配可以大大减少这种情况发生，但是有时还是会存在误匹配现象，如图9中的小猫左上角圈出的特征点对。

衡量两个向量的相似程度，通常通过距离度量方式和相似性函数方式。基于最小欧氏距离的特征点匹配是距离测度方式。欧氏距离只单纯考虑了两向量的距离，但未考虑向量各个分量之间的相关性。本发明采用相关系数法设置阈值θ，并按式(3-8)对匹配的特征点对进行“提纯”：

提纯后形成n个特征点对((x_1i,y_1i),(x_2i,y_2i))，若n<10则认为该图片没有被篡改；若n≥10，则该图被篡改，需要进行重定位来精确复制粘贴区域。

对于疑似区域Suspect₁，4个顶点的坐标从上至下从左至右令其为(u₁₁,v₁₁)、(u₁₂,v₁₁)、(u₁₁,v₁₂)、(u₁₂,v₁₂)；对于疑似区域Suspect₂，4个顶点的坐标从上至下从左至右令其为(u₂₁,v₂₁)、(u₂₂,v₂₁)、(u₂₁,v₂₂)、(u₂₂,v₂₂),修正系数为ξ∈(0,1),按照公式(3-9)进行区域重定位修正：

最后确定复制粘贴区域F1,F2，对于最终区域F₁，4个顶点的坐标从上至下从左至右令其为(u₁₁’,v₁₁’)、(u₁₂’,v₁₁’)、(u₁₁’,v₁₂’)、(u₁₂’,v₁₂’)；对于最终区域F₂，4个顶点的坐标从上至下从左至右令其为(u₂₁’,v₂₁’)、(u₂₂’,v₂₁’)、(u₂₁’,v₂₂’)、(u₂₂’,v₂₂’)。

2仿真实验

在Windows10和Matlab R2016a的实验环境下，对以上两种篡改区域盲检测方法进行仿真实验。

2.1图像拼接篡改区域定位仿真

选取极具有代表性的一些图片用1.1中的方法进行检测，分别为真实图片、背景简单的拼接篡改图片、背景简单且失焦的拼接篡改图片、背景复杂的拼接篡改图片、背景复杂且失焦的拼接篡改图片。并和改进之前的基于边缘特征的伪造图像盲检测算法进行对比，可以看出二者在篡改区域定位方面的差异。

图10是一幅真实图片的检测效果，第一列为原图，第二列为边缘检测的结果，第三列为人工模糊边缘(即篡改区域)的定位结果。第一行为基于边缘特征的伪造图像盲检测算法执行的效果，第二行为改进后的本发明算法执行的效果。可以看出，基于边缘特征的伪造图像盲检测算法执行后，虽然去除了大部分的清晰边缘，但仍有部分误判的边缘点给我们造成干扰；而本发明算法可以较好地避免误判边缘的干扰。

图11是一幅背景简单的拼接篡改图片的检测效果，第一列为原图(月亮边缘被人工模糊处理)，第二列为边缘检测的结果，第三列为人工模糊边缘(即篡改区域)的定位结果。第一行为基于边缘特征的伪造图像盲检测算法执行的效果，第二行为改进后的本发明算法执行的效果。可以看出，基于边缘特征的伪造图像盲检测算法虽然检测出了大部分模糊边缘，但月亮内部仍有部分非人工模糊边缘点给我们造成干扰；而本发明算法可以较好地提取人工模糊边缘点。

图12是一幅背景简单且失焦模糊的拼接篡改图片的检测效果，第一列为原图(花朵边缘被人工模糊处理)，第二列为边缘检测的结果，第三列为人工模糊边缘(即篡改区域)的定位结果。第一行为基于边缘特征的伪造图像盲检测算法执行的效果，第二行为改进后的本发明算法执行的效果。可以看出，基于边缘特征的伪造图像盲检测算法将许多失焦模糊的边缘勿当成了人工模糊边缘；而本发明算法可以较好地提取人工模糊边缘点，避免失焦模糊的干扰。

图13是一幅背景复杂的拼接篡改图片的检测效果，第一列为原图(大雁边缘被人工模糊处理)，第二列为边缘检测的结果，第三列为人工模糊边缘(即篡改区域)的定位结果。第一行为基于边缘特征的伪造图像盲检测算法执行的效果，第二行为改进后的本发明算法执行的效果。可以看出，基于边缘特征的伪造图像盲检测算法可以较好地检测出模糊边缘，但是仍有许多未经人工模糊处理的边缘被检测出来；而本发明算法可以较好地提取人工模糊边缘点，避免误判点的干扰。

图14是一幅背景复杂且失焦模糊的拼接篡改图片的检测效果，第一列为原图(小猫边缘被人工模糊处理)，第二列为边缘检测的结果，第三列为人工模糊边缘(即篡改区域)的定位结果。第一行为基于边缘特征的伪造图像盲检测算法执行的效果，第二行为改进后的本发明算法执行的效果。可以看出，基于边缘特征的伪造图像盲检测算法不光把许多清晰边缘误判成了模糊边缘，并且还将失焦模糊边缘误判成了人工模糊边缘；而本发明算法可以较好地提取人工模糊边缘点，尽量避免了两种误判的干扰。

综上可以看出，该算法在各种背景下都可以对人工模糊边缘进行筛选，从而对拼接篡改中的人工模糊区域进行定位，在一定程度上该算法的定位较改进前的基于边缘特征的伪造图像盲检测算法更清晰明确。较好地避免了失焦模糊和误判点的干扰。

2.2图像复制粘贴篡改区域定位仿真

选取极具有代表性的一些图片用1.2中的方法进行检测，在简单复制粘贴和加入旋转缩放攻击的图片上进行试验。并和Learning Rich Features for ImageManipulation Detection中的基于神经网络算法、传统的Sift匹配进行对比，可以看出三者在篡改区域定位方面的差异。

如图15所示，第一幅为Learning Rich Features For Image ManipulationDetection中的算法运行结果，第二幅为传统的Sift匹配盲检测结果，第三幅为本发明定位方法的结果。可以看出，Learning Rich Features For Image Manipulation Detection中的算法未能正确定位篡改区域；传统的Sift匹配盲检测方法在本幅图中误匹配较少，虽然没有明确篡改区域，但易于分辨大致的篡改区域；本发明算法较清晰地标出了复制粘贴区域。

如图16所示，第一幅为Learning Rich Features For Image ManipulationDetection中的算法运行结果，第二幅为传统的Sift匹配盲检测结果，第三幅为本发明定位方法的结果。可以看出，Learning Rich Features For Image Manipulation Detection中的算法未能正确定位篡改区域；传统的Sift匹配盲检测方法在本幅图中误匹配较多，很难分辨大致的篡改区域位置；本发明算法排除了误匹配的干扰，较清晰准确地标出了复制粘贴区域。

如图17所示，本图为单一背景加入了旋转缩放攻击。第一幅为Learning RichFeatures For Image Manipulation Detection中的算法运行结果，第二幅为传统的Sift匹配盲检测结果，第三幅为本发明定位方法的结果。可以看出，Learning Rich FeaturesFor Image Manipulation Detection中的算法可以定位篡改区域；传统的Sift匹配盲检测方法在本幅图中误匹配较多，干扰对篡改区域位置的判断；本发明算法较好排除了误匹配的干扰，较清晰准确地标出了复制粘贴区域。

如图18所示，本图为复杂背景加入了旋转缩放攻击。第一幅为Learning RichFeatures For Image Manipulation Detection中的算法运行结果，第二幅为传统的Sift匹配盲检测结果，第三幅为本发明定位方法的结果。可以看出，Learning Rich FeaturesFor Image Manipulation Detection中的算法未能正确定位篡改区域；传统的Sift匹配盲检测方法在本幅图中误匹配很多，干扰对篡改区域位置的判断；本发明算法较好排除了误匹配的干扰，较清晰准确地标出了复制粘贴区域。

综上所述，Learning Rich Features For Image Manipulation Detection中的方法在定位区域上经常会出现定位不准确的现象，而传统的Sift匹配盲检测算法中误判点较多，容易干扰人们对篡改区域的分辨，本发明算法在区域的定位效果上看是比较清晰准确的。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于盲取证技术的图像真伪鉴别的方法，其特征在于，所述方法包括：

针对拼接篡改图像，先提取得到模糊的边缘点集，根据失焦模糊和人工模糊点的区别筛选出模糊点集中的人工模糊点，根据人工模糊点的数量来判断图像是否经过了拼接篡改；其中，针对拼接篡改图像的检测方法的步骤包括：

S11、采用USM增强算法对图像进行预处理；

S12、基于每个像素类似度判定模糊边缘，得到模糊边缘点集；

S13、区分模糊边缘点集中的点是人工模糊边缘点还是失焦模糊边缘点，提取人工模糊边缘点集；

S14、基于线性回归对伪人工模糊边缘点进行过滤，去除人工模糊边缘点集中的误判点，得到可信度较高的人工模糊边缘点集；

S15、根据人工模糊边缘点集中的人工模糊边缘点的数量来判断该图片是否经过拼接篡改；

针对复制-粘贴篡改图像，先通过提取不变矩特征的方式来确定两个疑似相同的区块的坐标，得到区块后提取Sift特征点，来获取两个区块相同的细节点，根据匹配成功的细节点数量来判断图像是否经过复制-粘贴篡改，其中，针对复制-粘贴篡改图像检测方法的步骤包括：

S21、对图片进行特征提取，找出所有关键点的位置；

S22、基于欧式距离对特征描述子进行两两匹配，按匹配关键点的位置形成图像块，形成块匹配，并根据块匹配来对篡改区域进行粗略的定位；

S23、在匹配完成后，去除冗余匹配块，只保留最大的匹配区块作为疑似篡改区块；

S24、在这对匹配区块中提取Sift特征点，形成Sift特征描述子；

S25、对Sift特征描述子进行降维处理后进行两两匹配，得到匹配的细节点对；

S26、根据匹配的细节点对数量来判断图像是否发生复制-粘贴篡改。

2.如权利要求1所述的基于盲取证技术的图像真伪鉴别的方法，其特征在于，所述步骤S11具体为：

采用USM增强算法对图像进行锐化提高图片的锐化程度，USM增强的算法表达式为：g(x,y)＝f(x,y)+λ[4f(x,y)-f(x-1,y)-f(x+1,y)-f(x,y-1)-f(x,y+1)]，其中(x,y)为像素点位置，f(x,y)为原图(x,y)位置的像素灰度值，g(x,y)为原图(x,y)位置经过USM增强后的像素灰度值，λ是缩放因子。

3.如权利要求1或2所述的基于盲取证技术的图像真伪鉴别的方法，其特征在于，所述步骤S13具体为：

在模糊边缘点的一个较大邻域内计算像素之间的灰度差异，通过设定阈值区分人工模糊边缘点和失焦模糊边缘点，若相互之间差异较大则是人工模糊，若差异较小则为失焦模糊；其中结合图像局部灰度标准差和图像局部灰度偏导计算像素之间的灰度差异的计算公式为：

其中，点(m,n)为模糊边缘点的位置即范围中心，区域半径为r，G(m,n)为区域内各个像素点偏导数的平均值，σ₂(m,n)为该范围灰度值标准差。

4.如权利要求1或2所述的基于盲取证技术的图像真伪鉴别的方法，其特征在于，所述步骤S14具体为：

令图像高为M宽为N，将图片划分成d×d的小块区域，d为预设值，每个区域Ω₂对应的筛选前的边缘点个数为s₁，筛选后的边缘点个数为s₂，若s₂/s₁大于设定最佳阈值λ_th，那么该区域Ω₂内的点被认为是真人工模糊边缘点，否则为伪人工模糊边缘点；设定最佳阈值λ_th为

其训练方式为：

选取50张篡改图片的数据进行线性回归训练，最后训练得出η和ε的值，

其中X为50张图片|Ψ2|/|Ψ1|的值组成的向量，y为50张图片各自的阈值λ_th1组成的向量。

5.如权利要求1所述的基于盲取证技术的图像真伪鉴别的方法，其特征在于，所述步骤S21具体为：

①在尺度空间上进行极值检测，首先对原图像进行高斯模糊处理，然后构造高斯金字塔，使用高斯差分算子DOG构造高斯差分金字塔，最后寻找出空间极值点；

②对图像特征关键点进行定位，上一步已经确定了若干个极值点的侯选位置，通过泰勒展开式来拟合DOG函数，之后跟据偏移量剔除不符合条件的候选点；

③确定图像梯度方向，对于图像的局部区域，计算区域内各个点的梯度幅值和方向，把它们归为8类；

④形成特征点描述子，在关键点周围的邻域内，在关键点尺度空间内定义一个4×4的小型窗口，窗口内每一个元素都包含8个方向的信息，最后形成一个128维的特征描述子向量。

6.如权利要求1或5所述的基于盲取证技术的图像真伪鉴别的方法，其特征在于，所述步骤S23具体为：

在匹配完成后，通过数学形态学方法进行处理，保留最大的两个连通分量，将其余部分认为是冗余匹配块，把它们去除；

将连通分量对应的疑似区域定义为一个面积为该连通分量4倍的正方形，正方形的质心(Centroid₁,Centroid₂)为原连通分量的质心，形成疑似篡改区块对(Suspect₁,Suspect₂)。

7.如权利要求1或5所述的基于盲取证技术的图像真伪鉴别的方法，其特征在于，所述步骤S25具体为：

将疑似篡改区块对中两块区域的Sift特征描述子进行两两匹配，对Sift描述子矩阵进行PCA降维处理，用主成分分析的方法使向量维度减少50％左右；匹配程度采用欧氏距离来描述，欧氏距离越小表示两个特征点匹配度越好，依次寻找两区域内欧氏距离最短的特征点对(p_i,p_j)。

8.如权利要求7所述的基于盲取证技术的图像真伪鉴别的方法，其特征在于，还包括，采用相关系数法设置阈值θ，并按下式对匹配的特征点对进行“提纯”：

提纯后形成n个特征点对((x_1i,y_1i),(x_2i,y_2i))，若n<10则认为该图片没有被篡改；若n≥10，则该图被篡改，需要进行重定位来精确复制粘贴区域；

对于疑似区域Suspect₁，4个顶点的坐标从上至下从左至右令其为(u₁₁,v₁₁)、(u₁₂,v₁₁)、(u₁₁,v₁₂)、(u₁₂,v₁₂)；对于疑似区域Suspect₂，4个顶点的坐标从上至下从左至右令其为(u₂₁,v₂₁)、(u₂₂,v₂₁)、(u₂₁,v₂₂)、(u₂₂,v₂₂)，修正系数为ξ∈(0,1)，按照下式进行区域重定位修正：

最后确定复制粘贴区域F1,F2，对于最终区域F₁，4个顶点的坐标从上至下从左至右令其为(u₁₁’,v₁₁’)、(u₁₂’,v₁₁’)、(u₁₁’,v₁₂’)、(u₁₂’,v₁₂’)；对于最终区域F₂，4个顶点的坐标从上至下从左至右令其为(u₂₁’,v₂₁’)、(u₂₂’,v₂₁’)、(u₂₁’,v₂₂’)、(u₂₂’,v₂₂’)。

Images