CN101661619A

CN101661619A - 基于单视图测量的图片伪造检测方法

Info

Publication number: CN101661619A
Application number: CN200910070596A
Authority: CN
Inventors: 操晓春; 朱淑义; 武琳; 孙美君
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2009-09-25
Filing date: 2009-09-25
Publication date: 2010-03-03
Anticipated expiration: 2029-09-25
Also published as: CN101661619B

Abstract

本发明属于图像处理技术，涉及一种基于单视图测量的图片伪造检测方法，包括下列步骤：对于给定的图像，找出水平消失线l_∞和互相垂直的两个消失点v_x、v_y；在图像上分别手动标出参考物体和目标物体的两个端点；求取目标物体的高度；通过判断此高度是否可信、是否在可接受的范围内来判断目标物体是否为伪造区域。本发明能够利用较少的几何信息实现数字媒体(数字图像或视频)真实性验证。

Description

基于单视图测量的图片伪造检测方法

技术领域

本发明属于图像处理技术领域，涉及一种数字图像真实性鉴定方法。

背景技术

在数字网络与多媒体技术高速发展的大背景下，图像处理软件的功能也越来越强大，操作越来越简单。伪造者可以不留明显痕迹地在一幅图像中添加重要信息，实现对图像的伪造篡改。而数字图像篡改和伪造如被用于正式媒体、科学发现和法庭证物等，将会对政治和社会稳定产生重要的影响。因此，开展针对数字图像篡改的数字图像取证研究，对于确保公共信任秩序、打击犯罪、维护司法公正和新闻诚信具有十分重要的意义。

数字图像伪造检测技术主要包括盲检测和非盲检测两种。传统的非盲检测包含易碎数字水印技术和数字签名技术等多种验证数字篡改的方法，但这些方法都必须提前向原始数字照片中嵌入验证信息，因此容易受到应用条件的限制，现在数字图像取证更注重对盲检测方法的研究。

目前，已经存在多种盲检测技术，在此列举如下几种：(1)基于区域相似度比较的鉴别算法。如Fridrich的方法【3】通过比较图像各区域的相似度来查找复制伪造区域，但该方法需要从已知图像或视频中提取待比较区域以进行比较，所以不能识别未知来源的图像伪造。另外，此类方法的时间复杂度太高，不适合大规模应用。(2)基于成像原理的判断方法。Johnson和Farid【4】采用相片中人眼的特征估计相机主点的位置，如果从同一个照片中两个人眼睛估计出的主点位置差异很大，说明必然有一个人是从另外的相片中复制过来的。该方法在眼睛区域足够大的情况下才有比较高的精度，考虑到目前主流相机分辨率的大小，拍的照片中人眼区域通常都是不可测量的，同时，该方法在人眼不可见时也会失效，如人戴着太阳镜的情况。(3)基于物理特征的鉴别方法。Wei Zhang和Xiaochun Cao等【2】通过比较图像上不同影子的阴影着色一致性来判断伪造区域。但是该方法要求影子必须投影在一个平面上，当物体位于高低不平的地面上(如台阶)时，检测效果就会很不理想，而且当有多个点光源存在时，检测效果也会大打折扣。(4)基于双视几何的检测方法。Wei Zhang和Xiaochun Cao等【1】将H约束和F约束应用到两幅图像中的一幅图像上，然后通过比较其相似性判断伪造区域。但是该方法要求必须至少有两幅图像，只有一幅伪造图像的情况下，不能达到检测目的。(5)基于平面同源性的检测技术。Wei Zhang和Xiaochun Cao等【2】通过分析物体的头、脚及影子的头三点满足的几何约束(三线共点约束和交比一致性约束)来进行检测。该方法同样要求影子位于平面上，而且当图像上根本没有影子时，该方法就会完全失效，如阴天或在室内拍摄的照片。(6)基于矫正测量的盲检测技术。Johnson和Farid【5】通过对图像消除射影影响和仿射影响，也就是将图像矫正到相似变换这一层上，来判断其真伪。但是，该方法只能应用到某一平面上，比如墙面或地面等。对于没有依附在这些平面上的物体则无法进行检测。

Criminisi、Reid和Zisserman【6】提出的单视测量技术，要通过图像上的三组平行线(两组与参考平面平行，一组与参考平面垂直)来获得三个消失点，然后进行下一步测量。

发明内容

本发明的目的在于克服现有技术的不足，改进Criminisi、Reid和Zisserman【6】提出的单视测量技术，利用较少的几何信息实现数字媒体(数字图像或视频)真实性验证。本发明的技术方案如下：

一种基于单视图测量的图片伪造检测方法，包括下列步骤：

(5)对于给定的图像，找出水平消失线l_∞和互相垂直的两个消失点v_x、v_y；

(6)计算摄像机焦距f：

f = \sqrt{- v_{x} (1) v_{y} (1) - v_{x} (2) v_{y} (2) + v_{x} (1) u_{0} + v_{x} (2) v_{0} + v_{y} (1) u_{0} + v_{y} (2) v_{0} - {u_{0}}^{2} - {v_{0}}^{2}}

式中，v_x、v_y用齐次坐标表示，且坐标第三维为1，(u₀，v₀)是相机主点在图像上的坐标；

(7)根据公式

ω = \frac{1}{f^{2}} [\begin{matrix} 1 & 0 & - u_{0} \\ 0 & 1 & - v_{0} \\ - u_{0} & - v_{0} & {u_{0}}^{2} + {v_{0}}^{2} + f^{2} \end{matrix}]

求得ω；

(8)根据公式l_∞＝ωv_z求得v_z；

(5)在图像上分别手动标出参考物体和目标物体的两个端点，x′、x分别对应目标物体的头和脚，x′_r、x_r分别对应参考物体的头和脚；

(6)根据

Z = \frac{| | x \times x^{'} | |}{(l_{\infty}^{-} \cdot x) | | v_{z} \times x^{'} | |} * Z_{r} * \frac{(l_{\infty}^{-} \cdot x_{r}) | | v_{z} \times {x_{r}}^{'} | |}{| | x_{r} \times {x_{r}}^{'} | |}

求得目标物体的高度，式中，l_∞ ^-是l_∞的单位向量；

(7)通过判断此高度是否可信、是否在可接受的范围内来判断目标物体是否为伪造区域。

作为优选实施方式，上述的基于单视图测量的图片伪造检测方法，步骤1中，以地面做参考平面，在图像上选取与参考平面平行且互相垂直的两个方向的两组平行线，每组平行线的交点即为该方向的消失点，两个消失点的连线便是所述的图像的消失线。

其中的步骤1还可以采用如下的四种方法：

方法1：

a.从图像上找出与参考平面平行的两组平行线，计算每组平行线的交点，得到一条水平消失线l_∞＝[l₁ l₂ l₃]，设

H_{P} = [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ l_{1} & l_{2} & l_{3} \end{matrix}];

b.由参考平面上的两个不同方向的已知角得到两个圆，求解两圆的交点(α，β)，得到

H_{A} = [\begin{matrix} \frac{1}{β} & - \frac{α}{β} & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{matrix}] .

c.求解

H = H_{P}^{- 1} H_{A}^{- 1},

H的前两列分别为所要求的两个消失点v_x、v_y。

方法2：

H_{P} = [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ l_{1} & l_{2} & l_{3} \end{matrix}];

b.由参考平面上的两个线段长度比得到两个圆，求解两个圆的交点(α，β)，得到

H_{A} = [\begin{matrix} \frac{1}{β} & - \frac{α}{β} & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{matrix}] .

c.求解

H = H_{P}^{- 1} H_{A}^{- 1},

H的前两列分别为所要求的两个消失点v_x、v_y。

方法3：

H_{P} = [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ l_{1} & l_{2} & l_{3} \end{matrix}];

b.由参考平面上的两组未知的相等角得到两个圆，求解两个圆的交点(α，β)，得到

H_{A} = [\begin{matrix} \frac{1}{β} & - \frac{α}{β} & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{matrix}] .

c.求解

H = H_{P}^{- 1} H_{A}^{- 1},

H的前两列分别为所要求的两个消失点v_x、v_y。

方法4：

H_{P} = [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ l_{1} & l_{2} & l_{3} \end{matrix}];

b.在一个已知角、一个长度比、一对未知相等角三个约束中任意选取两个组合在一起，得到两个圆，求解两个圆的交点(α，β)，得到

H_{A} = [\begin{matrix} \frac{1}{β} & - \frac{α}{β} & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{matrix}] .

c.求解

H = H_{P}^{- 1} H_{A}^{- 1},

H的前两列分别为所要求的两个消失点v_x、v_y。

本发明中的单视测量方法，只需要从图像上得到两个互相垂直的消失点即可，而且，本发明给出了多种获得消失点的约束条件。因此，本发明的方法属于适用性更广的盲检测技术。本发明所需要的几何信息在现实生活中也随处可见，比如建筑物、广场，马路等。本发明相比Fridrich的基于区域相似度比较的方法具有计算复杂度低的优点，且可以检测未知来源的伪造图像；相比Johnson和Farid采用人眼估计相机主点的方法，采用了具有一定高度、面积更大的物体作为参考物体；相比Wei Zhang和Xiaochun Cao的基于阴影的方法，可用于室内及各种天气条件下拍摄的照片；相比Wei Zhang和Xiaochun Cao的基于双视几何的方法，可以用于单幅图像的伪造区域检测；相比Johnson和Farid的单视矫正测量技术，可以检测不依附于任何平面的独立存在的目标物体。另外，由于提出了多种求取v_x、v_y的方法，且不用从图像上获得v_z，因此可应用于更多的场景，具有更大的可行性和适用性。

附图说明

图1由已知角求H_A的示意图，其中，(a)从图像上要提取的信息(b)需要求解的两个圆的交点。

图2由线段长度比求H_A的示意图，其中，(a)从图像上要提取的信息(b)需要求解的两个圆的交点。

图3由未知相等角求H_A的示意图，其中，(a)从图像上要提取的信息(b)需要求解的两个圆的交点。

图4由已知角与长度比求H_A的示意图，其中，(a)从图像上要提取的信息(b)需要求解的两个圆的交点。

图5对应点几何示意图。

图6由垂直平行线求v_x、v_y及l_∞的示意图。

图7基于单视测量的图像伪造检测技术总体流程图。

图8单视图测量实施例1，其中(a)原图，(b)求消失线，(c)求H_A，(d)检测伪造区域。

图9单视图测量实施例2，其中(a)原图，(b)求消失线，(c)检测伪造区域。

具体实施方式

对得到的图像或视频帧，本发明采用几何测量的方法检测伪造区域。

本发明需要求出图像的一条水平消失线和垂直方向(与参考平面垂直)的消失点，再由一个已知参考高度计算出目标物体的高度，由此便能估计目标物体是否是伪造的。

本发明采取如下步骤进行图像伪造检测。

1.求水平消失线l_∞及H_P

首先从图像上找出与参考平面平行但可以是任意不同方向的两组平行线，计算每组平行线的交点，得到一条水平消失线l_∞＝[l₁ l₂ l₃]，有

H_{P} = [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ l_{1} & l_{2} & l_{3} \end{matrix}] .

2.求解H_A

本发明给出了如下4种求解H_A的方法。

(1)由参考平面上的两个不同方向的已知角(每个已知角构成一个圆约束)得到两个圆，两圆的交点为(α，β)(如图1)，有

H_{A} = [\begin{matrix} \frac{1}{β} & - \frac{α}{β} & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{matrix}] .

(2)由参考平面上的两个线段长度比(每个长度比构成一个圆约束)得到两个圆(如图2)，其中形成每个长度比的两个线段不平行。通过解得两个圆的交点(α，β)求得H_A。

(3)由参考平面上的两组未知的相等角(每组未知相等角构成一个圆约束)得到两个圆(如图3)，其中每组的两个相等角不同向。通过解得两个圆的交点(α，β)求得H_A。

(4)在一个已知角、一个长度比、一对未知相等角三个约束中任意选取两个组合在一起，得到两个圆(如图4)，求得H_A。

3.计算互相垂直的两个消失点v_x、v_y

H = H_{P}^{- 1} H_{A}^{- 1} - - - (1)

由(1)解得H，H的前两列分别为所要求的v_x、v_y。

4.计算摄像机焦距f及绝对二次曲线ω

K = [\begin{matrix} f & 0 & u_{0} \\ 0 & f & v_{0} \\ 0 & 0 & 1 \end{matrix}] - - - (2)

其中，K是摄像机校准矩阵，f是摄像机的焦距，(u₀，v₀)是相机主点在图像上的坐标，对于给定的图像，u₀，v₀是已知的。

ω＝(KK^T)^-1 (3)

{v_{x}}^{T} ω v_{y} = 0 - - - (4)

将(2)代入(3)，可得

ω = \frac{1}{f^{2}} [\begin{matrix} 1 & 0 & - u_{0} \\ 0 & 1 & - v_{0} \\ - u_{0} & - v_{0} & {u_{0}}^{2} + {v_{0}}^{2} + f^{2} \end{matrix}],

然后将ω、v_x、v_y一起代入(4)，便得到了一个关于f的一元二次等式，解得：

f = \sqrt{- v_{x} (1) v_{y} (1) - v_{x} (2) v_{y} (2) + v_{x} (1) u_{0} + v_{x} (2) v_{0} + v_{y} (1) u_{0} + v_{y} (2) v_{0} - {u_{0}}^{2} - {v_{0}}^{2}}

(v_x、v_y用齐次坐标表示，且坐标第三维为1)，进而可求得K及ω。

5.求解v_z

l_∞＝ωv_z (5)

将第1步求得的l_∞与第4步求得的ω代入(5)，即解得了v_z。

6.在图像上分别标出参考物体及目标物体的两个端点

为了计算目标物体的高度，我们需要在图像上分别手动标出参考物体和目标物体的两个端点，即头和脚的位置，如图5所示(x′、x分别对应目标物体的头和脚，x′_r、x_r分别对应参考物体的头和脚)。在这里，两个物体的脚必须处于参考平面上，并且参考物体的实际高度也要是已知或可估计的。

7.用高度测量判断图像伪造

αZ = - \frac{| | x \times x^{'} | |}{(l_{\infty}^{-} \cdot x) | | v_{z} \times x^{'} | |} - - - (6)

其中，l_∞ ^-是l_∞的单位向量，即

l_{\infty}^{-} = l_{\infty} / | | l_{\infty} | | .

将参考物体的两个端点及参考高度应用于(6)，求得α；再将目标物体的两个端点及α代入(6)，即可解出目标物体的高度。

事实上，为了减小误差，完全可以不用解出α，而是将以上两个步骤简化为：

Z = \frac{| | x \times x^{'} | |}{(l_{\infty}^{-} \cdot x) | | v_{z} \times x^{'} | |} * Z_{r} * \frac{(l_{\infty}^{-} \cdot x_{r}) | | v_{z} \times {x_{r}}^{'} | |}{| | x_{r} \times {x_{r}}^{'} | |} - - - (7)

这样，将所有已知参数代入(7)，便可直接得出目标物体的高度。通过判断此高度是否可信、是否在可接受的范围内来判断目标物体是否为伪造区域。

另外，我们给出另一种求解v_x、v_y及l_∞的方法。在可以从图像上提取出其所需要的几何信息的情况下，可以替换上面的1、2、3步。其技术方案如下：

对于给定的图像，找出与参考平面(本发明中指地面)平行且互相垂直的两个方向的两组平行线，每组有两条平行线即可，每组平行线的交点即为该方向的消失点，两个消失点的连线便是图像的消失线，如图6。

图7为总体流程图。下面结合实施例对本发明做进一步说明。

实施例1

1.求水平消失线l_∞及H_P

在图像上找到两组任意方向的平行线，分别求其交点，两个交点的连线即为消失线l_∞，进而可得H_P。如图8(b)，选取交叉路口网状线中的两组平行线，由于消失线位于较远位置，未在图中标出。

2.求H_A

在图像上找到一个已知角与一个已知的线段长度比，可得到α-β平面上的两个圆，求其交点，即可解得H_A。如图8(c)，右边线(交叉路口网状线的两条直角边)标出的是一个90°的角，左边线(下水道铁盖的两条边)标出的是一个长度比，下水道铁盖的长宽比约为8∶5。

3.计算互相垂直的两个消失点v_x、v_y

通过公式

H = H_{P}^{- 1} H_{A}^{- 1}

求得H，H的前两列分别为所要求的v_x、v_y。

4.计算f、ω，进而计算v_z

根据(五)中的第4步可求得f及ω，再由公式l_∞＝ωv_z解得v_z。

5.标出参考物体与目标物体的端点

如图8(d)，左边垂直线标出的为参考物体，其高度为230cm，右边垂直线标出的为目标物体，头部端点用“○”标出，脚部端点用“□”标出。

6.计算目标物体的高度并判断是否为伪造区域

如图8(d)，计算所得的目标物体(人)的高度为216.8cm。通常情况下，一个普通人的身高是不会有这么大的，由此，我们判定这个目标物体是伪造的。

实施例2：

1.求两个互相垂直的消失点v_x、v_y及消失线l_∞

从图像上找到两组互相垂直的平行线，其中一组平行线的交点为v_x，另一组的交点为v_y，两个交点的连线为l_∞。如图9(b)，选取建筑物北洋大学堂顶部的四条边为两组平行线，最上方的水平线是求得的消失线。

2.计算f、ω，进而计算v_z

根据(五)中的第4步可求得f及ω，再由公式l_∞＝ωv_z解得v_z。

3.标出参考物体与目标物体的端点

如图9(c)，左边的垂直线标出的为参考物体，其高度为340cm，右边垂直线标出的为目标物体，头部端点用“○”标出，脚部端点用“□”标出。

4.计算目标物体的高度并判断是否为伪造区域

如图9(c)，计算所得的目标物体(人)的高度为211.6cm，与一个普通人的身高相差很大。所以，我们判定这个目标物体是伪造的。

参考文献

【1】Wei Zhang，Xiaochun Cao，Zhiyong Feng，Jiawan Zhang and Ping Wang，“基于双视几何的图片伪造检测技术Detecting Photographic Composites Using Two-view Geometrical Constraints，”IEEE International Conference on Multimedia and Expo，2009.

【2】Wei Zhang，Xiaochun Cao，Jiawan Zhang，Jigui Zhu and Ping Wang，“用影子检测相片合成的技术Detecting Photographic Composites Using Shadows，”IEEE International Conference onMultimedia and Expo，2009.

【3】J.Fridrich，D.Soukal，and J.Lukas，“数字图像的复制移动伪造检测技术Detection of copy-moveforgery in digital images，”Proceedings of Digital Forensic Research Workshop，2003.

【4】M.K.Johnson and H.Farid，“检测相片中的人物合成技术Detecting photographic composites ofpeople，”Proc.IWDW，2007.

【5】M.K.Johnson and H.Farid，“单视图的平面矫正测量Metric Measurements on a Plane from aSingle Image，”Technical Report，TR2006-579.

【6】A.Criminisi，I.Reid and A.Zisserman，“单视图测量Single View Metrology”，Proceedings of the7th International Conference on Computer Vision，Kerkyra，Greece，1999.