CN101533513B - 基于双视几何的图片伪造检测方法 - Google Patents

Abstract

本发明属于数字图像真实性鉴定和图像处理技术领域，涉及一种基于双视几何的图片伪造检测方法，该方法以摄像机成像时的双视几何理论为基础，分别用强几何约束(H约束)和另一种弱几何约束(F约束)作为特征约束，对图像真实性作出评价。本发明只需找到有重叠部分的多张图片即可进行鉴定，具有很广的适用性。

Description

基于双视几何的图片伪造检测方法

技术领域

本发明属于数字图像真实性鉴定和图像处理技术领域，具体涉及一种图片伪造检测方法。

背景技术

数字图像广泛应用于我们日常生活和工作当中，已经成为人们存贮和交换信息的重要工具和方式。与此同时，随着图像和视频编辑工具的发展完善，将具有真实感的物体插入到图片序列和视频中变得越来越简单，这使得鉴别图像和视频的真实性变得越来越重要。本发明涉及的数字图像真实性鉴定技术能对图像证据的可信度做出评价，揭示视频帧之间、同一场景照片之间的内在差异，找出其中伪造的区域，为新闻、军事、法律、经济等提供决策支持，并且能够广泛应用于军事领域和民用领域。本发明以成像的双视几何原理为切入点，分别从平面单应性约束和极几何约束两方面鉴定图像真实性。

本发明中涉及到的背景技术有：(1)数字水印技术。数字水印技术【1】通过事先在图片中加入水印信息来识别修改过的图像。(2)基于区域相似度比较的鉴别算法。如【2】中Wang和Farid通过估计区域相似度判断视频中的复制伪造。(3)通过矫正图像序列或视频帧之间几何形变的方法。如【3】中Johnson和Farid描述了一种通过矫正扭曲的方法来判断伪造。

目前，图像伪造检测技术主要分为数字水印技术和盲检测技术。数字水印技术在原始图像中加入“水印”以防止篡改者对图像进行修改。然而，数字水印技术有两个难以克服的缺陷。首先，它需要图像提供者在图像拍摄时对图像进行预处理以加入水印，但这在很多实际情况下是不可能的，通常得到的图像是没有经过“预处理”的图片；其次，水印信息很容易被像JPEG、MPEG4这样的有损压缩毁坏，导致鉴定失败。另一类为盲检测技术，即不依赖任何预签名提取或预嵌入信息来鉴别图像真伪和来源的技术，具有较高适用性。Wang和Farid【2】通过比较视频中各帧之间、帧内各区域之间的相似度来查找复制伪造区域，即使在摄像机运动的情况下也能进行伪造检测，但只能处理视频帧之间小幅度的移动。并且随着相机的运动，同一物体形状和大小都会发生扭曲和变化，这种方法的性能也会随着扭曲程度的加深而剧烈退化，另外，此类方法的时间复杂度太高，不适合大规模应用。Johnson和Farid【3】采用图像序列中已知特定形状的物体矫正几何形变，经过矫正的图像应该一致，不一致的地方即为伪造区域，但该方法必须使用特定的已知形状的物体去矫正变形，如多边形和圆形。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种数字媒体(数字图像序列或视频)真实性的验证技术。本发明以摄像机成像时的双视几何理论为基础，分别用强几何约束(H约束)和另一种弱几何约束(F约束)作为特征约束，对图像真实性作出评价。本发明只需找到有重叠部分的多张图片即可进行鉴定，具有很广的适用性。

本发明采用如下的技术方案：

一种基于双视几何的图片伪造检测方法，包括下列步骤：

第一步：在需要鉴定的图像序列或视频中若能找出两张图像(I，I′)，这两张图像满足如下条件之一，则采用如下的方法检测图像序列或视频是否存在伪造区域，否则，直接执行第二步：(I)摄像机位置保持不动。具体包括相机纯转动和纯缩放的情况；(II)成像物体在同一个平面上或在某一局部范围内待鉴定物体在同一个平面上

(1)采用SIFT(Scale Invariant Feature Transform，具有尺度不变性的特征转换)方法查找两幅图像上相对应的特征点。

(2)使用Bucketing方法和RANSAC方法对查找到的相对应的特征点进行两次筛选，得到至少4组相对应的特征点；

(3)采用黄金准则法估计平面单应性矩阵H；

(4)采用反向映射的方法，利用计算得到的平面单应性矩阵H还原I到I′；

(5)采用像素差异的方法计算差异程度，公式为 $D(\stackrel{\→}{u},\stackrel{\→}{v})=1-C(\stackrel{\→}{u},\stackrel{\→}{v}),$ $C(\stackrel{\→}{u},\stackrel{\→}{v})=\frac{{\mathrm{\Σ}}_i(u_i-{\mathrm{\μ}}_u)(v_i-{\mathrm{\μ}}_v)}{\sqrt{{\mathrm{\Σ}}_i{(u_i-{\mathrm{\μ}}_u)}^2}\sqrt{{\mathrm{\Σ}}_i{(v_i-{\mathrm{\μ}}_v)}^2}}$ 其中

是从图像中抽象出来的作为局部特征描述的向量，

是分别与

对应的第i项，μ_u，μ_v分别是对应于

的平均值；

(6)利用阈值切割差异图，得到伪造区域的二值掩模图像；

(7)对得到的二值掩模图像，去除离散的小区域，得到指示伪造区域的二值图像。

第二步：在需要鉴定的图像序列或视频中找出两张图像(I，I′)，这两张图像为同一个物体的图像，则采用如下的方法检测图像序列或视频是否存在伪造区域：

(1)采用SIFT(Scale Invariant Feature Transform，具有尺度不变性的特征转换)方法查找两幅图像上相对应的特征点。

(2)使用Bucketing方法和RANSAC方法对查找到的相对应的特征点进行两次筛选；

(3)采用因子化线性算法估计基本矩阵F；

(4)定义点和直线的距离为 $d(x_2,{\mathrm{Fx}}_1)=\sqrt{\frac{{\left(x_2^T{\mathrm{Fx}}_1\right)}^2}{({\left({\mathrm{Fx}}_1\right)}_x^2+{\left({\mathrm{Fx}}_1\right)}_y^2)}},$ 采用点和直线距离作为评判标准，找出所有距离大于某一阈值的对应点，形成伪造点的二值掩模图像；

(5)利用形态学操作，得到伪造区域的二值图像。

本发明以有重叠区域的图像组作为输入进行数字取证，首先用平面单应性矩阵约束(H约束)还原一张图片到另一张图片，然后进行像素级别的比较以找出图像中伪造的部分，然后用极几何的基本矩阵约束(F约束)来计算对应点与其极线之间的距离来找出图像中的伪造部分。本发明相比数字水印方法不需要对图像进行预处理，相比Wang和Farid的方法具有计算复杂度低、能处理摄像机剧烈运动的情况等优点，相比Johnson和Farid的方法，具有不依赖已知特定形状的物体的优势，具有更强的可行性和适用性。

附图说明

图1H约束示意图(a)为纯转动和纯缩放情况(b)为局部共面情况。(a)中的c为相机，π₁和π₂为相机转动前后的成像面，x₁和x₂为X在相机转动前后的成像点。π₁和π₃为相机缩放前后的成像面，x₁和x₃为X在相机缩放前后的成像点。(b)中c₁和c₂为两个相机的位置，x₁和x₂为X点在这两个相机上的成像点。

图2 Bucketing技术原理。Bucketing技术采取全局优化的策略减轻由伪造区域造成的污染，图2(a)、(b)分别为相机转动前后的一组图像，图像上的特征点用矩形和三角形和标出，其中实心矩形代表原始图像真实区域的特征点，而空心三角形表示伪造区域的特征点，较大的矩形和三角形表示经过Bucketing技术选择出来对应点。

图3极几何约束原理。其中c₁和c₂为两个相机，x₁和x₂为X在这两个相机上的成像点，e₁和e₂为极点，l₁为极线。

图4基于双视几何的图像真实性鉴别方法总体流程图。

图5用SIFT查找对应特征点与用Bucketing技术过滤对应点。(a列)为两张有伪造区域的图像，伪造区域用虚线椭圆标出。(b列)为两张原始图像不使用Bucketing技术时对应点的分布。(c列)为两张原始图像使用了Bucketing技术后对应点的分布。

图6采用H约束鉴定图像真伪实验结果。第一行和第二行分别为相机转动和相机缩放的情况。(a列)、(b列)为两张输入的原始图像。(c列)为对(a列)的图像用计算得到的H矩阵进行变换得到的图像，经过变换，(b列)和(c列)图像在共有区域应该是一致的。(d列)伪造区域检测结果，其中白色区域为伪造区域，虚线框内的图像为放大的局部图像。

图7采用F约束鉴定图像真实性的实验结果。(a)列为两张带有伪造区域的原始图像。(b)列为使用F约束的图像，其中画出的点和线为不满足F约束的点和其极线。(c)列为对两张图像分别进行检测的结果，其中白色区域为伪造区域，虚线内矩形框为白色区域在原始图像中位置区域的图像，白色区域覆盖的区域用较深的颜色标出。

具体实施方式

本发明主要采用平面单应性约束和极几何约束进行图像伪造检测。具体步骤如下：

第一步，对得到的图像序列或视频帧，采用平面单应性约束：H约束，判断图像真实性。

首先，对得到的图像对，先提取对应特征点，然后计算平面单应性矩阵H，再由计算得到的H矩阵还原一张图像到另一张图像，最后进行像素级别的差异比较来定位图像中的伪造区域，经过矫正，差异明显的点即可判断为伪造区域的点，因此可以精确定位伪造区域。

具体如下：

1.选择图像或视频帧序列。

在需要鉴定的图像序列或视频中找出两张图像，这两张图像需要满足如下条件之一：(I)摄像机位置保持不动。具体包括相机纯转动和纯缩放的情况；(II)成像物体在同一个平面上或在某一局部范围内待鉴定物体在同一个平面上。满足上述两个条件之一的图片可以用本步骤中一一对应的强几何约束来鉴定真伪。在针孔摄像机模型下，由相机成像原理【5】知世界坐标系下的3D点X及其在相机成像面上的2D投影点x满足如下关系：

x＝PX＝KR[I|-C]X        (1)

其中K为相机内参数矩阵：

$K=\left[\begin{array}{ccc}f& s& c_1\\ 0& \mathrm{af}& c_2\\ 0& 0& 1\end{array}\right]---\left(2\right)$

R为相机的旋转矩阵，I为单位矩阵，C为相机所在的位置。

在相机纯转动的情况下(如图1(a))，记X分别在相机转动前后的成像面上的投影点为x₁和x₂，有：x₁＝K[I|0]X和x₂＝K[R|0]X，进而有：

x₂＝K[R|0]X＝KRK^-1x₁＝H_∞x₁        (3)

所以，x₁和x₂之间可以用一个3×3的平面单应性矩阵H_∞来转换。

在相机纯缩放的情况下(如图1(a))，相机缩放前后X在成像面上的投影x₁和x₃满足：x₁＝K[I|0]X和x₃＝K′[I|0]X，于是：

x₃＝K′[I|0]X＝K′K^-1x₁＝H_zx₁            (4)

理想情况下K和K′只有焦距f不同。

在待鉴定区域局部共面时(如图1(b))，不管相机是否保持位置不变，成像面上的点总满足平面单应性约束：

x₂＝H_πx₁                (5)

需要注意的是在这种情况下，虽然要求点共面，但对摄像机没有要求，焦距，旋转角度以及位置均可随意变化。

综上所述，挑选出满足条件(I)或(II)的成对图像，然后进行本发明的后续判断。

2.查找两幅图像上的对应特征点

找到图像对(I，I′)后，需要提取两帧图像上的对应点。本发明采用SIFT【4】方法进行对应点的查找，SIFT是一种具有尺度、旋转不变性的特征描述方法，用来查找两幅图像上相对应的特征点。

3.筛选对应点以提高准确率

我们需要用查找到的对应点计算平面单应性矩阵以还原这两张图像，查找到的对应点都可以用来计算平面单应性矩阵，但是在图像存在伪造部分的情况下，查找到的对应点有可能大量分布在伪造区域，而来自真实区域的正确的对应点的比例可能较小，导致计算的平面单应性矩阵误差很大。本发明使用Bucketing技术【6】和RANSAC技术【5】对查找到的对应点进行两次筛选。

如图2所示，Bucketing技术采取全局优化的策略减轻由伪造区域造成的污染，(a)、(b)为一对标注了特征点的图像，它们可以看作是相机转动前后的。黑色方框代表原始图像真实区域的特征点，而空心三角形表示伪造区域的点，经过Bucketing技术，我们从这些特征点中选择出的特征点用大尺寸的相应形状表示。图像首先被划分为M×N块，对应的特征点位于每个小块。在选择特征点时，采取如下原则：(1)只从至少拥有一个对应点的小块中选择特征点；(2)当需要一对相应点时，随机挑选一个小块，然后从这一块中随机挑选一个特征点；(3)选出过特征点的小块不能再一次被选择。经过Bucketing技术，极大增加了来自真实区域特征点的比例。

在实际情况下，SIFT算法找出的对应特征点也不是完全正确的，总会得到一些非对应点的外点，这些外点可以使用RANSAC技术移除。RANSAC是一种鲁棒的参数估计方法，通过完全移除外点的策略估计数学模型，彻底消除外点对估计的影响，而不是通过更多的内点来减小外点对估计的影响。

4.计算平面单应性矩阵H

找到了正确率较高的对应特征点对{x，x′}，接下来采用黄金准则【5】去估计平面单应性矩阵H。计算H最少需要4组对应点，在只有4组对应点的情况下，采用直接线性方法(DLT)【5】计算H，使x′_i＝Hx。给定一组对应特征点x_i，x′_i，把x′_i写成其次坐标的形式x′_i＝(x′_i，y′_i，w′_i)^T，有：

$\left[\begin{array}{ccc}{0}^T& -w_i^{\′}{x}_i^T& y_i^{\′}{x}_i^T\\ w_i^{\′}{x}_i^T& 0^T& -x_i^{\′}{x}_i^T\end{array}\right]\left(\begin{array}{c}{h}^1\\ h^2\\ h^3\end{array}\right)=0---\left(6\right)$

4组对应点可以提供8个这样的约束方程，即可解出自由度为8的平面单应性矩阵H。

当对应点大于4组时，先用RANSAC算法移除外点，然后对于所有的内点，用黄金准则估计最小化全局误差的H矩阵。

5.还原图片并进行区域相似度比较

用计算得到的平面单应性矩阵H还原I到I′，这样，两幅图像在同一个位置上的信息才具有可比性。由x′＝Hx知，用H直接乘以I上的点即可完成还原，但会出现镂空点的情况，为了解决这一问题，本发明采用反向映射的方法，对I′上的每个点，反向在I上寻找与之相对应的点，这样，除了在图像上确实找不到的点，I′上每一个点都能被填充。

经过H变换，真实区域的像素被准确地映射到正确的点，而伪造区域的点通常很难以合适的尺寸、合适的几何畸变插入到合适的位置，尤其是旋转角度、缩放比例比较大的时候，特别的，对于不要求摄像机位置保持不变的局部共面情况，两幅图像可以用不同的角度、不同的焦距进行拍摄，导致更大的变形，更难使伪造区域精确映射。依据此原理，对矫正完的图像组，本发明采用像素差异的方法计算差异程度：

$D(\stackrel{\→}{u},\stackrel{\→}{v})=1-C(\stackrel{\→}{u},\stackrel{\→}{v})---\left(7\right)$

其中：

$C(\stackrel{\→}{u},\stackrel{\→}{v})=\frac{{\mathrm{\Σ}}_i(u_i-{\mathrm{\μ}}_u)(v_i-{\mathrm{\μ}}_v)}{\sqrt{{\mathrm{\Σ}}_i{(u_i-{\mathrm{\μ}}_u)}^2}\sqrt{{\mathrm{\Σ}}_i{(v_i-{\mathrm{\μ}}_v)}^2}}---\left(8\right)$

其中

是从图像中抽象出来的作为局部特征描述的向量，是分别与

对应的第i项，μ_u，μ_v分别是对应于

的平均值。我们用一个阈值去切割这个差异图即可得到伪造区域的二值掩模图像，考虑到通用性，本发明采用的阈值为：

t＝max(D)-c              (9)

对得到的二值图像，去除离散的小区域，即可得到指示伪造区域的二值掩模图像。

第二步，对得到的图像序列或视频帧，采用极几何约束：F约束来找出伪造区域。

首先，对得到的图像对，先提取对应特征点，然后计算它们之间的基本矩阵F，再由计算得到的F矩阵计算对应点与其极线之间的距离，距离较大的点即属于伪造区域，最后，对得到的伪造点进行形态学操作，形成连通区域来指示图像中的伪造区域。

具体如下：

1.选择图像或视频帧序列。

在需要鉴定的图像序列或视频中找出两张图像，这两张图像只需照到同一个物体即可，不需要像H约束一样有特殊要求，因此具有很广的适用性，比如不同游客在不同时间不同角度拍到的同一个天安门，采用本发明的方法即可对其真实性作出判定。本约束采用的原理如图3所示，C₁和C₂为两个相机，也可看作同一个相机在不同位置拍摄3D世界中的点X两次，X分别在两个相机上成像为x₁和x₂，C₁、C₂两个点的连线交成像面于极点e₁和e₂。令 $\{x_j={[x_j,y_j,1]}^T\↔x_j^{\′}={[x_j^{\′},y_j^{\′},1]}^T,j=\mathrm{1,2},\·\·\·,n\}$ 是两幅图像间的一组点对应，根据两幅图像间的极几何理论【5】，它们必关联于一个3×3的基本矩阵：

$F=\left[\begin{array}{ccc}{F}_{11}& F_{12}& F_{13}\\ F_{21}& F_{22}& F_{23}\\ F_{31}& F_{32}& F_{33}\end{array}\right]$

即，当测量数据无误差时，有

$x_j^{\′T}{\mathrm{Fx}}_j=0---\left(10\right)$

在此极几何约束下，对应点之间受到基本矩阵F的约束，F把一个成像面上的点x₁映射到另一个成像面上的一条线l₁(如图3)，正常情况下，x₂必然在l₁上，但伪造的区域不会很精确地满足此约束，于是，我们可以用此约束来判断两幅图像上对应点之间的关系，当x₂点到l₁的距离大于一定阈值时，即可判断此点属于伪造区域。

2.查找两幅图像上的对应特征点

本步骤与H约束中查找对应点的方法类似，均使用SIFT算法实现对应点的查找，在这里不再详述。详见第一步中查找对应点部分。

3.筛选对应点

本步骤与H约束中筛选对应点的方法类似，均使用两阶段的筛选方法：(1)Bucketing技术进行全局最优化选择特征点以降低来自伪造区域的稠密特征点对估计F的影响；(2)采用RANSAC算法移除外点来消除错误对应点对估计F的影响，在这里均不再详述。详见第一步中的筛选对应点部分。需要注意的是，本步骤的方法对摄像机的运动没有任何要求，可以处理更多情况，具有更广的适用性，对于拍摄角度差异很大的照片组，SIFT可能产生比H约束中更多的外点，因此需要RANSAC算法参数条件更加苛刻一点以尽可能多地移除外点，以提高估计基本矩阵F的精确度。

4.计算基本矩阵F

给定相对应的特征点组，本发明采用因子化线性算法估计基本矩阵F，记f＝[F₁₁，F₁₂，F₁₃，F₂₁，F₂₂，F₂₃，F₃₁，F₃₂，F₃₃]^T，估计基本矩阵的直接线性方法是在约束条件||f||²＝1下，求下述方程组的最小二乘解：

M_n×9f＝0                                   (11)

其中M_n×9是测量矩阵：

$M_{n\×9}=\left[\begin{array}{ccccccccc}{x}_1^{\′}{x}_1& x_1^{\′}{y}_1& x_1^{\′}& y_1^{\′}{x}_1& y_1^{\′}{y}_1& y_1^{\′}& x_1& y_1& 1\\ x_2^{\′}{x}_2& y_2^{\′}{x}_2& y_2^{\text{\′}}& y_2^{\′}{x}_2& y_2^{\′}{x}_2& y_2^{\′}& x_2& y_2& 1\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ x_n^{\′}{x}_n& x_n^{\′}{y}_n& x_n^{\′}& y_n^{\′}{x}_n& y_n^{\′}{y}_n& y_n^{\′}& x_n& y_n& 1\end{array}\right]\text{---}\left(12\right)$

首先，将测量矩阵M_n×9分解成

M_n×9＝A_n×3nB_3n×9                         (13)

其中：

然后引进辅助变量g＝B_3n×9f，构造新测量矩阵：

$M_{4n\×(3n+9)}=\left[\begin{array}{cc}{B}_{3n\×9}& -I_{3n}\\ 0_{n\×9}& A_{n\×3n}\end{array}\right]---\left(15\right)$

随后，求在约束条件下 $\left|\right|\tilde{f}\left|\right|=1$ 下，求下述方程组的最小二乘解：

$M_{4n\×(3n+9)}\tilde{f}=0,(\tilde{f}=\left[\begin{array}{c}f\\ g\end{array}\right])---\left(16\right)$

计算f^*得到对应的矩阵F^*，并对F^*进行奇异值分解：F^*＝Udiag(σ₁，σ₂，σ₃)V，最后得到基本矩阵的估计：F^*＝Udiag(σ₁，σ₂，0)V。

5.找出伪造区域

由于此极几何约束把图像I上的点映射到图像I′上的一条线，而不是一个点，所以，不能用还原整张图像的方法对比图像以找到伪造区域。本发明采用点和直线距离作为评判标准，对I上的一点x，用得到的基本矩阵F，把它映射到I′上的一条直线l₁，而x在I′上的对应点x′应该经过l₁，如果x′到l₁距离过大，即可判断x和x′为伪造区域上的点。由此原理，即可找到图像上的伪造区域，本发明采用的距离定义如下：

$d(x_2,{\mathrm{Fx}}_1)=\sqrt{\frac{{\left(x_2^T{\mathrm{Fx}}_1\right)}^2}{({\left({\mathrm{Fx}}_1\right)}_x^2+{\left({\mathrm{Fx}}_1\right)}_y^2)}}---\left(17\right)$

找出所有距离大于某一阈值的对应点，形成伪造点的二值掩模图像，运用形态学操作后，即可得到伪造区域的二值图像。

第三步，依据本发明中提到的所有几何约束做出真实性判断。

对于上述两个步骤，不满足任何一步中所描述的几何约束的图像序列，都可以判定其为伪造的图像，并且，伪造区域可以由本发明的具体判断方法给出。

本发明的基于双视几何的图片伪造检测技术主要采用H约束和F约束进行鉴别，图4为总体流程图，具体包括以下几个步骤：

步骤1：用平面单应性约束鉴别图像真实性(H约束)

1.选择图像或视频帧序列。

从输入的图片序列或视频中选择摄像机位置变化或待鉴定物体局部共面的图像组，如图5、图6中的图像组。

2.查找两幅图像上的对应特征点

采用SIFT【4】方法进行对应点的查找，结果如图5所示，(a)列上、下两幅图像为摄像机转动前后的照片(大小：800×600像素)，其中用虚线椭圆标出的部分为伪造区域，(b)列两幅图像为在原图上标注出SIFT查找的特征点的结果，可以看出大部分对应点都是正确的。

3.筛选对应点以提高准确率

如图5(c)所示，经过Bucketing技术挑选出的特征点分布均匀了很多，从原始SIFT找到的467对特征点中挑出的67对特征点中，来自真实区域的特征点的比例比未经过Bucketing技术筛选前提高了很多。

如图5(c)所示，固体胶棒上的点明显是查找到的外点，经过RANSAC，这样的不真实点被进一步移除，提高了数据的准确率。

4.计算平面单应性矩阵H

以经过筛选的对应点作为输入，使用黄金法则，计算图5中(c)图像对到转换矩阵H如下：

$H=\left[\begin{array}{ccc}-0.5404& -0.0031& -159.4605\\ 0.0179& -0.5757& -5.3825\\ 0.0001& 0.0000& -0.6039\end{array}\right]$

5.还原图片并进行区域相似度比较

如图6所示，(a)、(b)两列为原始输入图片，(c)列为用计算得到的平面单应性矩阵H还原(a)列图像的结果，可以看到，当(a)被还原后，(b)、(c)在相同位置上的图像信息具有了可比性。

图6(d)为伪造区域的二值掩模图像，虚线框里为放大了的伪造区域的二值掩模图像。可以看到，不论对于相机转动的情况(图6第一行)，还是对于相机缩放的情况(图6第二行)，本发明采用的方法都能正确地找到图像中的伪造区域。

步骤2：用极几何约束鉴别图像真实性(F约束)

1.选择图像或视频帧序列

从输入的图片序列或视频中选择彼此有重合区域的图像组，如图7中的图像组。

2.查找两幅图像上的对应特征点

本步骤与H约束中查找对应点的方法类似，详见步骤1中的查找对应点部分。

3.筛选对应点

本步骤与H约束中筛选对应点的方法类似，在这里均不再详述。详见步骤1中的筛选对应点部分。

4.计算基本矩阵F

对图7中的图像组，采用因子化线性算法估计左图到有图的基本矩阵F，得到：

$F=\left[\begin{array}{ccc}5.0101e-007& 4.5835e-006& -0.00105106\\ 1.6817e-006& 2.2052e-008& -0.0100171\\ 0.00042236& 0.00729938& 0.56502343\end{array}\right]$

5.找出伪造区域

图7为F约束的两组实验结果，(a)为带有伪造区域的原始输入图像组，(b)为用公式(17)判断的结果，其中只画出了距离大于5的点和线，(c)为得到的伪造区域二值掩模图像，其中虚线方框中为放大了点伪造区域视图，并加深了二值图像指示的伪造区域，可以看到，本发明的方法基本上找到了伪造区域，需要注意的是，以上所述的方法都能自动完成，如果采用手动的方法，定位伪造区域可以精确到像素级别。

步骤3：综合评价图像真实性

经过步骤1和步骤2中的两种基于双视几何的约束：H约束和F约束，违反任何一条约束的图像组可以立即判定为伪造图像，并且依据相应方法给出具体的伪造区域，如图6(d)、图7(c)所示。

主要参考文献

【1】H.Liu，J.Rao，and X.Yao，“Feature based watermarking scheme for imageauthentication基于特征的图像认证水印机制”in Proceedings of the 2007IEEE International Conference on Multimedia and Expo，2008，pp.229-232.

【2】W.Wang and H.Farid，“Exposing digital forgeries in video by detectingduplication，通过检测视频中的复制部分来检测数字伪造”ACM Multimedia andSecurity Workshop，2007.

【3】M.K.Johnson and H.Farid，“Metric measurements on a plane from a singleimage，用单幅图像中的平面进行度量测量”Technical Report TR2006-579，Department of Computer Science，Dartmouth College，2006.

【4】D.G.Lowe，“Distinctive image features from scale-invariant keypoints具有比例不变性关键点的图像特征”International Journal of Computer Vision，2004，pp.91-110.

【5】R.Hartley and A.Zisserman，“Multiple view geometry in computer vision计算机视觉中的多视几何”Cambridge University Press，2004.

【6】Z.Zhang，“Determining the epipolar geometry and its uncertainty：A review回顾极几何与其不确定性”International Journal of Computer Vision，1998，vol.27，pp.161-198.

Claims (1)

1.一种基于双视几何的图片伪造检测方法，包括下列步骤：

第一步：在需要鉴定的图像序列或视频中若能找出两张图像I和I’，这两张图像满足如下条件之一，则采用如下的方法检测图像序列或视频是否存在伪造区域，否则，直接执行第二步：

(I)摄像机位置保持不动，具体包括相机纯转动和纯缩放的情况；(II)成像物体在同一个平面上或在某一局部范围内待鉴定物体在同一个平面上；

(1)采用具有尺度不变性的特征转换SIFT方法查找两幅图像上相对应的特征点；

(2)使用Bucketing方法和RANSAC方法对查找到的相对应的特征点进行两次筛选，得到至少4组相对应的特征点；

(3)采用黄金准则法估计平面单应性矩阵H；

(4)采用反向映射的方法，利用计算得到的平面单应性矩阵H还原I到I′；

(5)采用像素差异的方法计算差异程度，公式为

$C(\stackrel{\→}{u},\stackrel{\→}{v})=\frac{{\mathrm{\Σ}}_i(u_i-{\mathrm{\μ}}_u)(v_i-{\mathrm{\μ}}_v)}{\sqrt{{\mathrm{\Σ}}_i{(u_i-{\mathrm{\μ}}_u)}^2}\sqrt{{\mathrm{\Σ}}_i{(v_i-{\mathrm{\μ}}_v)}^2}}$ 其中是从图像中抽象出来的作为局部特征描述的向量，

是分别与

对应的第i项，μ_u，μ_v分别是对应于

的平均值；

(6)利用阈值切割差异图，得到伪造区域的二值掩模图像；

(7)对得到的二值掩模图像，去除离散的小区域，得到指示伪造区域的二值图像；

第二步：在需要鉴定的图像序列或视频中找出两张图像I和I’，这两张图像为同一个物体的图像，则采用如下的方法检测图像序列或视频是否存在伪造区域：

(1)采用SIFT(Scale Invariant Feature Transform，具有尺度不变性的特征转换)方法查找两幅图像上相对应的特征点；

(2)使用Bucketing方法和RANSAC方法对查找到的相对应的特征点进行两次筛选；

(3)采用因子化线性算法估计基本矩阵F；

(4)定义点和直线的距离为 $d(x_2,{\mathrm{Fx}}_1)=\sqrt{\frac{{\left(x_2^T{\mathrm{Fx}}_1\right)}^2}{({\left({\mathrm{Fx}}_1\right)}_x^2+{\left({\mathrm{Fx}}_1\right)}_y^2)}},$ 采用点和直线距离作为评判标准，找出所有距离大于某一阈值的对应点，形成伪造点的二值掩模图像；

(5)利用形态学操作，得到伪造区域的二值图像。

Images