CN101527041B - 基于shadow matte一致性的图片伪造检测方法 - Google Patents

Abstract

本发明属于数字图像真实性鉴定和图像处理技术领域，涉及一种基于shadow matte一致性的图片伪造检测方法，包括下列步骤：在待检图像中选取两处或两处以上待判定的影子区域；对每个待判定的影子区域，提取影子所有边缘点；对每个影子边缘点，以其为中心，向外延伸形成一个M×M的矩形区域，框内的点分为两类：阴影内的点和阴影外的点，计算影子边缘点的shadow matte值；统计每个影子区域的shadow matte值的分布情况；计算不同区域间shadow matte值的分布相似度并定位伪造区域。本发明不需要对图像进行预处理，具有计算复杂度低的优点，并具有更高的可行性和适用性。

Description

基于shadow matte一致性的图片伪造检测方法

技术领域

本发明涉及数字图像真实性鉴定和图像处理技术领域。本发明属于数字图像真实性鉴定和图像处理技术领域，具体涉及一种图片伪造检测方法。

背景技术

随着图像编辑处理工具的高速发展，甚至非专业的普通用户也能轻易地通过在原始图像中插入来自其它图像的内容来篡改图像，并且做到人眼难以辨别的程度，达到以假乱真的目的，给我们带来许多不便。数字图像真实性鉴定技术对图像证据的可信度做出评价，辅助新闻、军事、法律、经济等决策，可以广泛应用于军事领域和民用领域。本发明以物体影子为切入点，从几何、物理的角度分析阴影属性，鉴定图像真实性。

本发明中涉及到的背景技术有：(1)数字水印。数字水印技术【1】通过事先在图片中加入水印信息来鉴别图像伪造，由于伪造过程会破坏水印的完整性，因此可以用来鉴定图像真实性。(2)基于区域相似度比较的鉴别算法。如【2】中Fridrich通过估计区域相似度判断复制区域。(3)基于成像原理的判断方法。如【3】中Johnson和Farid通过估计相机主点位置来判断人像合成。

目前，图像伪造检测技术主要分为数字水印技术和盲检测技术。数字水印技术在原始图像中加入“水印”以防止篡改者对图像进行修改。然而，数字水印技术具有两个有难以克服的缺陷。首先，它需要图像提供者在图像拍摄时对图像进行预处理以加入水印，但这在很多实际情况下是不可能的，通常得到的图像是没有经过“预处理”的图片；其次，水印信息很容易被像JPEG、MPEG4这样的有损压缩毁坏，导致鉴定失败。另一类检测技术为盲检测技术，即不依赖任何预签名或预嵌入信息来鉴别图像真伪和来源的技术，具有很高的适用性。Fridrich的方法【2】通过比较图像各区域的相似度来查找复制伪造区域，但该方法需要从已知图像或视频中提取待比较区域以进行比较，所以不能识别未知来源的图像伪造，另外，此类方法的时间复杂度太高，不适合大规模应用。Johnson和Farid【3】采用相片中人眼的特征估计相机主点的位置，如果从同一个照片中两个人眼睛估计出的主点位置差异很大，说明必然有一个人是从另外的相片中复制过来的。该方法在眼睛区域足够大的情况下才有比较高的精度，考虑到目前主流相机分辨率的大小，拍的照片中人眼区域通常都是不可测量的，同时，该方法在人眼不可见时也会失效，如人戴着太阳镜的情况。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种时间复杂度低，并具有较广适用性的数字媒体(数字图像或视频)真实性的验证方法。为此，本发明采用如下的技术方案：

一种基于shadow matte一致性的图片伪造检测方法，包括下列步骤：

第一步：在待检图像I(x，y)中选取两处或两处以上待判定的影子区域；

第二步：对每个待判定的影子区域，提取影子所有边缘点B_i＝{x_ij}，其中x_ij为第i片影子区域中第j个影子边缘点；

第三步：对每个影子边缘点x_ij，以其为中心，向外延伸形成一个M×M的矩形区域，框内的点分为两类：阴影内的点N_in和阴影外的点N_out，设： $\hat{I}(x,y)=\mathrm{median}(I(m,n):(m,n)\∈N_{\mathrm{in}}),$ $\hat{R}(x,y)=\mathrm{median}(I(m,n):(m,n)\∈N_{\mathrm{out}})$ (median是中值)；根据公式 $\hat{S}(x,y)=\hat{I}(x,y)/\hat{R}(x,y)$ 计算影子边缘点x_ij的shadow matte值；

第四步：统计每个影子区域的shadow matte值的分布情况，用直方图H_i(m)表示第i个区域shadow matte值为m的点的个数，其中i＝1，…，n，m∈[0，1]；

第四步：计算不同区域间shadow matte值的分布相似度并定位伪造区域。

上述基于shadow matte一致性的图片伪造检测方法，可以分别计算每个影子边缘点x_ij的红、绿、蓝颜色通道的shadow matte值；可以采用Canny边缘检测方法提取影子所有边缘点。

作为进一步的优选实施方式，第四步按下列步骤进行：

(1)对于每个影子区域的shadow matte值分布情况，计算归一化直方图

${\stackrel{\‾}{H}}_i\left(m\right)=H_i\left(m\right)/\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{H}_i\left(m\right);$

(2)对于i，j两片影子区域shadow matte值分布，计算归一化后直方图之间的巴氏系数： $B({\stackrel{\‾}{B}}_i,{\stackrel{\‾}{H}}_j)=\underset{m=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{h_i\left(m\right)h_j\left(m\right)},$ 当巴氏数小于某一阈值时，可以判断出区域i，j中至少一个是伪造的；

(3)对不同区域，按照步骤(2)进行巴氏系数的两两比较，从而对伪造区域进行定位。

本发明依据图像中影子的特征进行数字取证，首先用shadow matte一致性进行估计图像真实性，在物体垂直于地面的物体存在时，进而由平面同源性约束鉴定图像真实性。本发明相比数字水印方法不需要对图像进行预处理，相比Fridrich的基于区域相似度比较的方法具有计算复杂度低的优点，相比Johnson和Farid采用人眼估计相机主点的方法，采用了更容易出现、面积更大的影子作为特征物体，具有更大的可行性和适用性。

附图说明

图1基于影子的图像伪造检测技术总体流程图；

图2(左)为原始图像，图2(右)为对虚线矩形的影子区域提取边界点的结果；

图3(a)、(b)、(c)分别为R、G、B颜色通道下shadow matte值的分布直方图；

图4(a列)为一张伪造图片；图4(b列)、(c列)、(d列)分别为对相应的伪造图片找出的3个影子区域分析其红色、绿色、蓝色通道shadow matte值的统计直方图。(b列)、(c列)、(d列)的第一行、第二行和第三行分别为(a列)图像中用矩形标出的区域R1、R2和R3。

具体实施方式

本发明的基于阴影的图片伪造检测方法采取如下步骤进行图像伪造检测。

对得到的图像或者视频帧，采用阴影的物理特征：shadow matte判断图像真实性。具体来说，对图像中不同物体的影子，先提取影子边界，再分别计算影子边缘上每一个点的shadow matte值，最后统计所有shadow matte值的分布情况，并用Bhattacharyya系数【5】作为相似程度的评价标准，相似程度很低的两个影子至少有一个是伪造的，多对不同物体影子的比较即可判断出哪个物体是伪造的。

1.选择影子区域。

在图像中任选n处待判定的影子区域R1，R2，…，Rn，n＞1。

2.提取阴影边缘点。

对第i片影子区域(i＝1，…，n)，采用Canny边缘检测算法【4】，提取影子所有边缘点B_i＝{x_ij}，其中x_ij为第i片影子区域中第j个影子边缘点。

3.计算shadow matte值。

根据本征图像理论(intrinsic image)，所观察的图像I(x，y)，可抽象成这样的模型：

I(x，y)＝S(x，y)R(x，y)            (1)

其中I(x，y)为观察到的图像，S(x，y)为本色图像，R(x，y)为耀斑图像。我们的需要从输入I(x，y)中还原本色图像S(x，y)。

对某一影子边界点x_ij，以其为中心，向外延伸形成一个M×M的矩形区域。框内的点分为两类：阴影内的点N_in和阴影外的点N_out，有：

$\hat{I}(x,y)=\mathrm{median}(I(m,n):(m,n)\∈N_{\mathrm{in}})---\left(2\right)$

$\hat{R}(x,y)=\mathrm{median}(I(m,n):(m,n)\∈N_{\mathrm{out}})---\left(3\right)$

计算x_ij点的shadow matte值：

$\hat{S}(x,y)=\hat{I}(x,y)/\hat{R}(x,y)---\left(4\right)$

如果分别处理不同颜色通道的颜色信息，可以分别计算x_ij点R(红)，G(绿)，B(蓝)颜色通道的shadow matte值。

4.统计影子区域阴影边界点shadow matte值的分布。

本发明采用直方图来描述某一影子区域中阴影边界点的shadow matte值的分布情况。用H_i(m)表示第i个区域shadow matte值为m的点的个数，其中i＝1，…，n，m∈[0，1]。

5.计算不同区域间shadow matte值的分布相似度并定位伪造区域。

本发明采用Bhattacharyya系数估计两片影子区域shadow matte值分布的相关程度。首先得到归一化后的 ${\stackrel{\‾}{H}}_i\left(m\right)=H_i\left(m\right)/\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{H}_i\left(m\right),$ 然后计算归一化后直方图之间的巴氏系数：

$B({\stackrel{\‾}{H}}_i,{\stackrel{\‾}{H}}_j)=\underset{m=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{h_i\left(m\right)h_j\left(m\right)}---\left(5\right)$

其中H_x＝(h_x(1)，h_x(2)，…，h_x(N))是第x个阴影区域的阴影边缘点shadow matte值归一化后的直方图。当巴氏数小于某一阈值时，可以判断出区域i，j中至少一个是伪造的，多个不同区域的两两比较可以对伪造区域进行定位。

对于一张图片，不满足上述步骤中所描述的任何约束的图像，都可以判定其为伪造图像，并且，伪造区域可以由本发明的具体判断方法给出。

本发明主要采用基于物理特性的shadow matte一致性和基于几何特性的平面同源性判断技术进行图像伪造检测，图1为总体流程图，具体包括以下步骤：

步骤1：用shadow matte一致性约束鉴别图像真实性

1.选择影子区域

如图2所示，在图像中任选n处待判定的影子区域，对选择的影子区域编号为R1，R2，R3，…，Rn。

2.提取所有影子区域中影子边缘点

图2(左)为原始图像，图2(右)为对虚线矩形的影子区域提取边界点的结果。阴影边缘的小点即为使用Canny边缘检测算法得到的阴影边界点。

3.计算每个边界点的shadow matte值

对某一影子边界点x_ij(图2(右)中的较大的圆点)，计算其shadow matte值的过程如下：以其为中心，向外延伸形成一个M×M的矩形区域(图2(右)中的矩形框)。按照公式(4)，即可计算出该点R(红)，G(绿)，B(蓝)颜色通道的shadow matte值分别为0.23，0.36，0.46。

4.统计影子区域阴影边界点shadow matte值的分布

图3为图3(右)影子区域阴影边缘shadow matte值的分布情况，横坐标为shadowmatte值，纵坐标为shadow matte值为特定值的点的个数，其中(a)、(b)、(c)分别为红、绿、蓝色通道下的shadow matte值统计图。

5.计算不同区域间shadow matte值的分布相似程度

图4(a)为两张伪造图片，分别找出3个影子区域(R1~R3)分析其红色、绿色、蓝色通道shadow matte值的统计直方图(图4(b)、(c)、(d))，表1为图4中不同影子区域shadow matte值分布之间的巴氏系数。其中区域R1与其他两个区域之间的巴氏系数很小，而其余区域之间的巴氏系数很大，因此可以断定区域R1及其相应物体为伪造区域。

表1图4中两两区域之间的巴氏系数

图像	B(R1，R2)	B(R1，R3)	B(R2，R3)
				图3(上)	0.0440	0.0823	0.7555
图3(下)	0.0035	0.0023	0.7688

参考文献

【1】I.Cox，M.Miller，and J.Bloom.“数字水印技术Digital Watermarking”.The Morgan KaufmannSeries in Multimedia and Information Systems.Morgan Kaufmann，2001.

【2】J.Fridrich，D.Soukal，and J.Lukas，“数字图像的拷贝移动检测技术Detection of copy-moveforgery in digital images，”Proceedings of Digital Forensic Research Workshop，2003.

【3】M.K.Johnson and H.Farid，“人像的合成检测技术Detecting photographic composites of people，”Proc.IWDW，2007.

【4】Canny，John，″一种可计算的边缘检测方法A Computational Approach to Edge Detection，″IEEETransactions on Pattern Analysis and Machine Intelligence，Vol.PAMI-8，No.6，1986，pp.679-698.

【5】T.Kailath，“信号选择中的离散度和巴氏系数测量The Divergence and Bhattacharyya DistanceMeasures in Signal Selection”，IEEE Trans.Comm.Technology，vol.15，pp.52-60，1967.

【6】M.F.Tappen，W.T.Freeman，and E.H.Adelson，“从单一图像移除本征图像技术Recoveringintrinsic images from a single image，”Advances in Neural Information Processing Systems，2003.

Claims (4)

1.一种基于shadow matte一致性的图片伪造检测方法，包括下列步骤：

第一步：在待检图像I(x，y)中选取两处或两处以上待判定的影子区域；

第二步：对每个待判定的影子区域，提取影子所有边缘点B_i＝{x_ij}，其中x_ij为第i片影子区域中第j个影子边缘点；

第三步：对每个影子边缘点x_ij，以其为中心，向外延伸形成一个M×M的矩形区域，框内的点分为两类：阴影内的点N_in和阴影外的点N_out，设： 

median( )是取中值；根据公式 

计算影子边缘点x_ij的shadow matte值；

第四步：统计每个影子区域的shadow matte值的分布情况，用直方图H_i(m)表示第i个区域shadow matte值为m的点的个数，其中i＝1，…，n，m∈[0，1]；

第五步：计算不同区域间shadow matte值的分布相似度并定位伪造区域。

2.根据权利要求1所述的基于shadow matte一致性的图片伪造检测方法，其特征在于，分别计算每个影子边缘点x_ij的红、绿、蓝颜色通道的shadow matte值。

3.根据权利要求1所述的基于shadow matte一致性的图片伪造检测方法，其特征在于，采用Canny边缘检测方法提取影子所有边缘点。

4.根据权利要求1所述的基于shadow matte一致性的图片伪造检测方法，其特征在于，第四步按下列步骤进行：

(1)对于每个影子区域的shadow matte值分布情况，计算归一化直方图

(2)对于i，j两片影子区域shadow matte值分布，计算归一化后直方图之间的巴氏系数： 

当巴氏系数小于某一阈值时，则判断区域i，j中至少一个是伪造的；

(3)对不同区域，按照步骤(2)进行巴氏系数的两两比较，从而对伪造区域进行定位。 

Images