CN103093195A - 基于边界能量的数字图像区域克隆识别技术 - Google Patents

Abstract

本发明涉及数字图像区域克隆识别技术。为提供基于区域边界能量的图片区域克隆辨别技术，为达到上述目的，本发明采取的技术方案是，基于边界能量的数字图像区域克隆识别技术，包括如下步骤：步骤一：定位边界像素点；步骤二：计算边界像素点能量；步骤三：分析边界像素点能量；步骤四：自动辨别伪造区域和真实区域。训练出一个人工神经网络，实现伪造和真实区域的自动辨别。本发明主要应用于数字图像区域克隆识别。

Description

基于边界能量的数字图像区域克隆识别技术

技术领域

本发明涉及数字图像区域克隆识别技术，具体讲，涉及基于边界能量的数字图像区域克隆识别技术。

背景技术

21世纪以来，以Photoshop、iPhoto、ACDSee等为代表的图像处理软件的功能越来越强大，使得人们可以轻而易举地篡改别人的数字作品，其中复制、粘贴方法是最容易也是最流行的方法。人们往往利用这种方法隐藏图片中的目标物体，或者在图片中添加一些失实信息，使得人的肉眼很难辨别图像内容的真伪。

虽然图像复制粘贴这种区域克隆伪造手段既简便又迅速，但由于这种图片中包含着相同或极相似的部分，人们很难分辨出伪造区域和真实区域。尽管人们可以借助从图片中得到的一些预测和先验信息，找出一张克隆伪造图片的伪造区域和真实区域，但是分不清哪块是伪造区域哪块是真实区域，这就只能确定一张图片是伪造的，是怎么伪造的却不清楚。现在通过研究者们的大量研究，已经产生了各种区域克隆伪造取证方法，他们通常使用块匹配方法找到真实区域，然后使用聚合方法找到伪造区域【4】、【6】、【8】、【9】，或者使用信号峰值方法去定位伪造区域【3】【5】【7】，然而在几何变化和压缩等更复杂情形下，这些方法或者失效或者只能处理一些特殊状况，并不能很好的找出真假区域。

对于一张区域克隆伪造图片，真实区域在图片中没有经过任何修改，显然它的边界和图片中的其他区域的边界很规整的吻合，而伪造区域是复制其他区域粘贴到这个区域的，它的边界不能和这个区域的边界吻合的天衣无缝。

发明内容

本发明旨在克服现有技术的不足，提供基于区域边界能量的图片区域克隆辨别技术，为达到上述目的，本发明采取的技术方案是，基于边界能量的数字图像区域克隆识别技术，包括如下步骤：

步骤一：定位边界像素点

使用平面单应性和图形分割技术找到区域的边界，而且为下一步计算每个边界上像素点的能量做准备，还需要找到构成边界上每个像素点在图像中的位置坐标；

步骤二：计算边界像素点能量

利用步骤一中得到的边界上像素点在图像中的位置，计算每个像素点的能量，这个能量是利用每个边界像素点周围邻近像素点的梯度值求得的，它是邻近像素点梯度值之和，计算公式如下：

$\mathrm{\ϵ}(i,j)=\underset{(x,y)\∈N(i,j)}{\mathrm{\Σ}}|\▿F(x,y)\·\stackrel{\→}{n}(i,j)|---\left(1\right)$

上式中N(i,j)是边界像素点(i,j)的8个邻近像素点集合，

是8个邻近像素点之一(x,y)的梯度值，

是像素点(i,j)所在边界法线方向单位向量；

在8个邻近区域像素点中，如果有两个像素点正好也是边界像素点，那么各种情况下边界上的法线方向可以提前计算出来并存储在表格中，如果有多余两个像素点也是边界像素点，那么就假定当前正在计算的这个边界像素点的能量为0，从而得到计算边界上像素点能量值的快速算法：

ε(i,j)＝aF_x(x_i,y_j)+bF_y(x_i,y_j)      (2)

F_x(x_i,y_j)，和F_y(x_i,y_j)，分别表示像素点(x_i,y_j)处x方向偏导数值y方向偏导数值；

步骤三：分析边界像素点能量

边界上像素点能量计算出来之后，利用改进的五数概括法对两个轮廓上所有像素点能量应用统计方法进行分析，五数概括法是用五个关键数据对一个大数据集做总结，这五个数据分别是这个数据集的最小值、第1四分位数Q1、中位数Q2、第3四分位数Q3和最大值，在这个数据集中会产生异常值，即比大部分数据值小很多的值或者大很多的值，如下公式作为判断x是否是异常值的标准：

x>Q3+1.5*IQR，      (1)

x<Q1-1.5*IQR，      (2)

（1）式作为大数异常值的判断标准，（2）式作为小数异常值的判断标准，其中IQR=Q3-Q1，数据集中的最大值和最小值不能是这些异常值；

步骤四：自动辨别伪造区域和真实区域

训练出一个人工神经网络，实现伪造和真实区域的自动辨别，在第三步中对于伪造区域和真实区域分别得到三个值，能量最大值、平均值和中位数，这两个区域总共产生6个值，在此步骤中将把第三步中得到的6个值作为输入，建立一个含有两层隐含层的人工神经网络，开始时权重全部设为1，偏差也设为1，隐含层函数f的功能是将输入值压缩到一定的范围之内，隐含层函数g的功能是将输入值转换成1或2，代表两个区域的编号，自动区分出伪造区域和真实区域，具体过程如下：

（1）根据已知的输入和输出训练出一个人工神经网络；

（2）将得到的6个值输入到训练成功的神经网络中，检测图片的真伪区域并给出结果。

采用轮廓能量的最大值、平均值和中位数值代替所述的五数概括法，计算方法如下：

（1）遍历这两个轮廓的像素点能量值，排除其中的异常值，并且将非异常值求和为sum，记录下非异常值的个数n，得到最终的轮廓像素点能量值集合；

（2）将第1步骤中最终的像素点能量集合由小到大排序或者由大到小排序；

（3）由第1步骤中的能量和sum以及像素点个数n得到能量均值为mean，由第2步骤中有序值序列得到能量的最大值和中位数。

本发明的技术特点及效果：

通过计算边界上各个像素点的能量构建出整个边界轮廓的能量，伪造区域和真实区域轮廓的能量明显不同，从而在已经识别出图片的伪造区域和真实区域后，进一步明确指出哪一个区域是真的，哪一个区域是假的，并且自动给出判断结果，方法简单，直观，时间复杂度低，易于应用。

附图说明

图1图像中的伪造区域和与其对应的真实区域示意图，（a）一个区域是另一个区域的克隆，（b）根据区域找到区域边界的中间过程输出图。

图2轮廓能量的统计。

图3五数概括法的分析结果。

图4检测图片的真伪区域并给出结果，图中：p、w、b、n、a、y、t分别代表神经输入、权重、偏差、隐含层f的激化值、隐含层f的输出、隐含层g的激化值、目标输出。

图5平行四边形伪造区域。

图6圆形伪造区域。

图7边界相对规整的伪造区域。

图8边界很不规整的伪造区域。

图9伪造区域被缩小。

图10伪造区域被放大。

图11伪造区域经过旋转。

图12伪造区域经过模糊。

具体实施方式

本发明利用伪造区域和真实区域的边界粗糙程度来区分出两区域的真伪，边界粗糙程度表示图片上某个区域的边界和其他区域的边界融合程度。粗糙程度通过统计方法定义的边界能量来衡量。首先，计算构成伪造区域和真实区域边界的像素点。然后，计算边界上每个像素点的能量，它是通过这个像素点邻近的像素点在边界法线方向上梯度求和得到。其次，利用改进的五数概括法（Five-Number-Summary）分析这些像素点的能量，得到整个边界轮廓的能量。最后，利用训练得到的人工神经网络（Artificial Neural Network）自动判断出伪造区域和真实区域。

基于区域边界能量的图片区域克隆识别技术共有四个步骤。下面是对这四个步骤的详细描述：

步骤一：定位边界像素点

定位边界像素点的前提是已经找到了图像中的伪造区域和与其对应的真实区域，见图1（a）（一个区域是另一个区域的克隆）。本发明就是在利用已有技术【10】找到伪造区域和真实区域的基础上做出真假判断，来实现伪造-真实区域对的定位。这种经过复制粘贴生成的伪造图片，在克隆区域内部，图片的各种特征都基本相同，因而很难利用区域内部的特征完成区域真伪辨别，但是对于区域边界，一个边界是与图像自然吻合的，一个边界是人工插入到图像中的，两者存在着很大的差异，这为两区域的区分提供了可靠依据。为了辨别出两个区域的真伪，首先就需要找到区域的边界，而且为下一步计算每个边界上像素点的能量做准备，还需要找到构成边界上每个像素点在图像中的位置坐标，见图1（b）（根据区域找到区域边界的中间过程输出图）。

步骤二：计算边界像素点能量

利用步骤一中得到的边界上像素点在图像中的位置，计算每个像素点的能量。这个能量是利用每个边界像素点周围邻近像素点的梯度值求得的，它是邻近像素点梯度值之和，计算公式如下(1)：

$\mathrm{\&epsiv;}(i,j)=\underset{(x,y)\&Element;N(i,j)}{\mathrm{\&Sigma;}}|\&dtri;F(x,y)\&CenterDot;\stackrel{\&RightArrow;}{n}(i,j)|---\left(1\right)$

上式中N(i，j)是边界像素点(i,j)的8个邻近像素点集合，

是8个邻近像素点之一(x,y)的梯度值，

是像素点(i,j)所在边界法线方向单位向量。

在8个邻近区域像素点中，如果有两个像素点正好也是边界像素点，如图2（b）左图所示，那么各种情况下边界上的法线方向可以提前计算出来并存储在如图2（a）所示的表格中，如果有多余两个像素点也是边界像素点，那么就假定当前正在计算的这个边界像素点的能量为0，这样就避免了伪造过程中产生的不规整边界造成的影响。从而得到了计算边界上像素点能量值的快速算法(2)：

ε(i,j)＝aF_x(x_i,y_j)+bF_y(x_i,y_j)      (2)

上式中的F_x(x_i,y_j)，和F_y(x_i,y_j)，分别表示像素点(x_i,y_j)处x方向偏导数值y方向偏导数值，a和b通过图2（a）查询得到，图2（a）中索引值是通过图2（b）得到，在图2（b）左图中1表示边界像素点，0表示非边界像素点，表示了这个边界像素点邻近8个像素点的情况，图2（b）左图和图2（b）右图对应值乘积之和即为索引值，根据索引查图2（a），得到系数a和b，把边界轮廓上各个像素点的能量统计后得到图2（c），蓝色为伪造区域统计结果，红色为真实区域统计结果，这两个统计结果明显不同，即伪造区域和真实区域轮廓的能量不同。

步骤三：分析边界像素点能量

边界上像素点能量计算出来之后，我们利用改进的五数概括法对两个轮廓上所有像素点能量应用统计方法进行分析。五数概括法是用五个关键数据对一个大数据集做总结，这五个数据分别是这个数据集的最小值、第1四分位数（Q1）、中位数（Q2）、第3四分位数（Q3）和最大值。在这个数据集中会产生异常值，即比大部分数据值小很多的值或者大很多的值，通常情况下我们把如下的公式作为判断x是否是异常值的标准，公式为：

x>Q3+1.5*IQR，      (1)

x<Q1-1.5*IQR，      (2)

(1)式作为大数异常值的判断标准，（2）式作为小数异常值的判断标准，其中IQR=Q3-Q1。数据集中的最大值和最小值不能是这些异常值。

在本发明中，对以上的五数概括法做了改进，没有使用原始的五个数据，而是使用轮廓能量的最大值、平均值和中位数值，这明显提高了本发明所提出方法的效果，计算方法如下：

1、遍历这两个轮廓的像素点能量值，排除其中的异常值，并且将非异常值求和为sum，记录下非异常值的个数n，得到最终的轮廓像素点能量值集合。

2、将第1步骤中最终的像素点能量集合由小到大排序或者由大到小排序。

3、由第1步骤中的能量和sum以及像素点个数n得到能量均值为mean，由第2步骤中有序值序列得到能量的最大值和中位数。

通过使用改进的五数概括法分析边界点能量，边界点的个数可以不同，即轮廓长度可以不同，这不会影响结果的正确性，省去了将轮廓规范为等长的繁琐过程，如图3是改进的五数概括法分析的结果，左侧是伪造区域的分析结果，右侧是真实区域的分析结果，从图3可以看出伪造区域的能量与真实区域的能量明显不同，利用这一点能够区分开伪造区域和真实区域。

步骤四：自动辨别伪造区域和真实区域

本发明使用35张克隆伪造图片训练出一个人工神经网络，实现伪造和真实区域的自动辨别。在第三步中对于伪造区域和真实区域分别得到三个值，能量最大值、平均值和中位数，这两个区域总共产生6个值，在此步骤中将把第三步中得到的6个值作为输入，建立一个含有两层隐含层的人工神经网络如图4，开始时权重全部设为1，偏差也设为1，隐含层函数f的功能是将输入值压缩到一定的范围之内，隐含层函数g的功能是将输入值转换成1或2，代表两个区域的编号，自动区分出伪造区域和真实区域。具体过程如下：

1、根据已知的输入和输出训练出一个人工神经网络。

2、将第三步得到的6个值输入到训练成功的神经网络中，检测图片的真伪区域并给出结果。提前为图片的两个区域作好标记，比如标记为1和2，若结果为1表示区域1是假的，若结果为2表示区域2是假的。

本发明中通过计算边界上各个像素点的能量构建出整个边界轮廓的能量，伪造区域和真实区域轮廓的能量明显不同，从而在已经识别出图片的伪造区域和真实区域后，进一步明确指出哪一个区域是真的，哪一个区域是假的，并且自动给出判断结果，方法简单，直观，时间复杂度低，易于应用。

为了实施本发明的方法，首先利用软件或者程序检测得到图片的伪造区域和真实区域，然后运用本发明所提出的方法，辨别区域的真伪。对于多种克隆伪造的图片，比如几何变形、旋转和压缩等，本发明的方法都可以给出真伪判断，为了使实验结果更加清晰，下面将用图片说明5种处理方式下的测试结果。

说明：

以下是编号为（1）～（8）的八张图片测试结果，每张图片测试流程如箭头所示，第一张是未经区域克隆的原图片，第二张是经过区域克隆处理的伪造图片，第三张两个红色框分别是伪造区域和真实区域，但是不能分辨出那个是伪造区域那个是真实区域，第四张是伪造和真实区域的边界，最后一张找到了图片中的真伪区域，其中红色框是伪造区域，蓝色框是真实区域。

1、将图片的一个区域用规整的形状复制粘贴到图片的另一个区域

（1）平行四边形伪造区域

（2）圆形伪造区域

2、将图片的一个区域用不规整的形状复制粘贴到图片的另一个区域

（3）边界相对规整的伪造区域

（4）边界很不规整的伪造区域

3、将图片的一个区域复制后进行尺度变换再粘贴到图片的另一个区域

（5）伪造区域被缩小

（6）伪造区域被放大

4、将图片的一个区域复制后进行旋转再粘贴到图片的另一个区域

（7）伪造区域经过旋转

5、将图片的一个区域复制后进行模糊再粘贴到图片的另一个区域

（8）伪造区域经过模糊

结论：在区分区域克隆真假方面，本发明提出一种基于区域轮廓能量的新方法，这种方法对于多种克隆伪造图片都能分辨出真假区域，特别是对于几何变形、旋转、尺度变换和模糊这种复杂的克隆伪造图片也能做出很好的真假判断。

主要参考文献

【1】W.Hardle and L.Simar，“多元统计分析。”Springer Verlag，2007.

【2】C.Bishop，“模式识别与机器学习。”Springer，2006,vol.4.

【3】A.Popescu and H.Farid，“基于图像复制区域检测的数字防伪技术。”Dept.Comput.Sci.，DartmouthCollege，Tech.Rep.TR2004-515，2004.

【4】B.Mahdian and S.Saic，“图像近邻复制区域的检测。”Computer Recognition Systems2，pp.187–195，2007.

【5】A.Popescu and H.Farid，“基于重采样的迹的检测的数字防伪技术。”IEEE Transactions on SignalProcessing，vol.53，no.2，pp.758–767，2005.

【6】S.Bayram，H.Sencar，and N.Memon，“一种有效的检测复制粘贴伪造的鲁棒的方法。”in Proc.IEEE International Conference on Acoustics，Speech and Signal Processing，2009，pp.1053–056.

【7】W.Wang and H.Farid，“视频中复制区域检测的数字防伪技术。”inProc.ACM Workshop onMultimedia & Security，2007，pp.35–42.

【8】A.Fridrich，B.Soukal，and A.Luk′aˇs，“数字图像中复制粘贴伪造的检测。”in Proc.DigitalForensic Research Workshop，2003.

【9】Y.Sutcu，B.Coskun，H.Sencar，and N.Memon，“基于小波变换系数规则化的篡改检测技术。”inProc.IEEE International Conference on Image Processing，vol.1，2007，p.397.

【10】Wei Zhang，Xiaochun Cao，Yanling Qu，Yuexian Hou，Handong Zhao，Chenyang Zhang：“利用平面单应矩阵和图切检测和提取照片合成。”IEEE Transa ctions on Information Forensics and Security5(3)：544-555(2010)

Claims (2)

1.一种基于边界能量的数字图像区域克隆识别技术，其特征是，包括如下步骤：

步骤一：定位边界像素点

使用平面单应性和图形分割技术找到区域的边界，而且为下一步计算每个边界上像素点的能量做准备，还需要找到构成边界上每个像素点在图像中的位置坐标；

步骤二：计算边界像素点能量

利用步骤一中得到的边界上像素点在图像中的位置，计算每个像素点的能量，这个能量是利用每个边界像素点周围邻近像素点的梯度值求得的，它是邻近像素点梯度值之和，计算公式如下：

$\mathrm{\&epsiv;}(i,j)=\underset{(x,y)\&Element;N(i,j)}{\mathrm{\&Sigma;}}|\&dtri;F(x,y)\&CenterDot;\stackrel{\&RightArrow;}{n}(i,j)|---\left(1\right)$

上式中N(i,j)是边界像素点(i,j)的8个邻近像素点集合，

是8个邻近像素点之一(x,y)的梯度值，

是像素点(i,j)所在边界法线方向单位向量；

在8个邻近区域像素点中，如果有两个像素点正好也是边界像素点，那么各种情况下边界上的法线方向可以提前计算出来并存储在表格中，如果有多余两个像素点也是边界像素点，那么就假定当前正在计算的这个边界像素点的能量为0，从而得到计算边界上像素点能量值的快速算法：

ε(i,j)＝aF_x(x_i,y_j)+bF_y(x_i,y_j)      (2)

F_x(x_i,y_j)，和F_y(x_i,y_j)，分别表示像素点(x_i,y_j)处x方向偏导数值y方向偏导数值；

步骤三：分析边界像素点能量

边界上像素点能量计算出来之后，利用改进的五数概括法对两个轮廓上所有像素点能量应用统计方法进行分析，五数概括法是用五个关键数据对一个大数据集做总结，这五个数据分别是这个数据集的最小值、第1四分位数Q1、中位数Q2、第3四分位数Q3和最大值，在这个数据集中会产生异常值，即比大部分数据值小很多的值或者大很多的值，如下公式作为判断x是否是异常值的标准：

x>Q3+1.5*IQR，      (1)

x<Q1-1.5*IQR，      (2)

（1）式作为大数异常值的判断标准，（2）式作为小数异常值的判断标准，其中IQR=Q3-Q1，数据集中的最大值和最小值不能是这些异常值；

步骤四：自动辨别伪造区域和真实区域

训练出一个人工神经网络，实现伪造和真实区域的自动辨别，在第三步中对于伪造区域和真实区域分别得到三个值，能量最大值、平均值和中位数，这两个区域总共产生6个值，在此步骤中将把第三步中得到的6个值作为输入，建立一个含有两层隐含层的人工神经网络，开始时权重全部设为1，偏差也设为1，隐含层函数f的功能是将输入值压缩到一定的范围之内，隐含层函数g的功能是将输入值转换成1或2，代表两个区域的编号，自动区分出伪造区域和真实区域，具体过程如下：

（1）根据已知的输入和输出训练出一个人工神经网络；

（2）将得到的6个值输入到训练成功的神经网络中，检测图片的真伪区域并给出结果。

2.如权利要求1所述的一种基于边界能量的数字图像区域克隆真假混淆辨别方法，其特征是，采用轮廓能量的最大值、平均值和中位数值代替所述的五数概括法，计算方法如下：

（1）遍历这两个轮廓的像素点能量值，排除其中的异常值，并且将非异常值求和为sum，记录下非异常值的个数n，得到最终的轮廓像素点能量值集合；

（2）将第1步骤中最终的像素点能量集合由小到大排序或者由大到小排序；

（3）由第1步骤中的能量和sum以及像素点个数n得到能量均值为mean，由第2步骤中有序值序列得到能量的最大值和中位数。

Images