CN101630407A - 基于两视几何和图分割的伪造区域定位方法 - Google Patents

Abstract

本发明属于数字图像真实性鉴定和图像处理技术领域，涉及一种基于两视几何和图分割的伪造区域精确定位方法，该方法以摄像机成像时的双视几何理论为基础，分别用强几何约束(H约束)和另一种弱几何约束(F约束)作为特征约束，通过在线选择和图分割技术，对图像真实性作出准确评价。本发明只需找到有重叠部分的多张图片即可进行鉴定，具有很广的适用性。

Description

基于两视几何和图分割的伪造区域定位方法

技术领域

本发明属于数字图像真实性鉴定和图像处理技术领域，具体涉及一种图片伪造检测方法。

背景技术

伪造区域的准确定位在军事和民用中都有广泛的应用，在安全领域，也有着巨大的应用潜力。本发明使用包含同一场景的图像对来估计照片中伪造区域的准确位置。其输入是：(1)含有同一场景且相机中心不同的图像对，或者(2)相机共心或者场景共面的图像对，如图1所示。本发明技术的输出是：照片对中伪造区域的准确位置。

本发明中使用到的背景技术有：(1)Robert T.Collins和Yanxi Liu等【1】提出用于目标追踪的在线选择技术。(2)准确定位伪造区域的图分割技术。

随着图像和视频编辑工具的发展，在图像和视频中插入伪造物体变的越来越容易。目前使用的较为广泛的技术有：(1)数字水印。数字水印技术在原始图像中加入“水印”以防止篡改者对图像进行修改；或者加入数字指纹以实现数字取证功能。然而，数字水印需要图像提供者在图像拍摄时对图像进行预处理以加入水印，而且水印信息很容易被有损压缩毁坏，导致鉴定失败。(2)基于区域相似度比较的鉴别算法。如【2】中Wang和Farid通过估计区域相似度判断视频中的复制伪造。通过比较视频中各帧之间、帧内各区域之间的相似度来查找复制伪造区域，但此方法只能处理视频帧之间小幅度的移动，其性能也会随着扭曲程度的加深而剧烈退化，另外，此类方法的时间复杂度高，不适合大规模应用。(3)通过矫正视频帧或图像对之间几何形变的方法。如【3】中Johnson和Farid采用图像序列中已知特定形状的物体矫正几何形变，经过矫正的图像应该一致，不一致的地方即为伪造区域，但该方法必须使用特定的已知形状的物体去矫正变形，如多边形和圆形。

目前使用较为广泛的图分割技术有：(1)最大流最小割方法。如【5】中Y.Boykov和V.Kolmogorov提出的图分割方法，该方法首先将M×N的图像用一个含有M×N个结点的有向带权图表示，用一个源点一个汇点分别表示前景和背景区域，然后根据图中最大流对应有向图的最小割原理，得到图分割结果。但是该方法对图片的依赖性较强，同时需要用户选择“硬约束”，因此不适用于伪造检测领域。(2)基于参数选择的图分割方法。如【6】中Bo Peng和O.Veksler提出的参数选择的方法。该方法通过Adaboost的方法来训练由各种评价函数组成的弱分类器，来得到图分割的参数。但是该方法需要较大的训练样本和较长的训练时间。并且该方法也需要用户手动干预，因此在伪造区域检测领域并不适用。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种适用性广且可大规模使用的数字媒体(数字视频帧或图像对)伪造区域的自动准确定位方法。

为此，本发明采用如下的技术方案：

一种基于两视几何和图分割的伪造区域精确定位方法，包括下列步骤：

步骤1：获取含有同一场景的视频帧或图像对；

步骤2：基于两视几何方法获取伪造区域二值图

在上述的视频帧或图像对中若能找出两张图像(I，I′)，这两张图像满足如下条件之一，则采用如下的第一种方法检测视频帧或图像对是否存在伪造区域，否则，采用第二种的方法检测视频帧或图像对是否存在伪造区域，从而获取伪造区域二值图：(I)摄像机位置保持不动。具体包括相机纯转动和纯缩放的情况；(II)成像物体在同一个平面上或在某一局部范围内待鉴定物体在同一个平面上，

第一种：

(8)采用SIFT方法查找两幅图像上相对应的特征点。

(9)使用Bucketing方法和RANSAC方法对查找到的相对应的特征点进行两次筛选，得到至少4组相对应的特征点；

(10)采用黄金准则法估计平面单应性矩阵H；

(11)采用反向映射的方法，利用计算得到的平面单应性矩阵H还原I到I′；

(12)采用像素差异的方法计算差异程度，公式为 $D(\stackrel{\→}{u},\stackrel{\→}{v})=1-C(\stackrel{\→}{u},\stackrel{\→}{v}),$ $C(\stackrel{\→}{u},\stackrel{\→}{v})=\frac{{\mathrm{\Σ}}_i(u_i-{\mathrm{\μ}}_u)(v_i-{\mathrm{\μ}}_v)}{\sqrt{{\mathrm{\Σ}}_i{(u_i-{\mathrm{\μ}}_u)}^2}\sqrt{{\mathrm{\Σ}}_i{(v_i-{\mathrm{\μ}}_v)}^2}}$ 其中

是从图像中抽象出来的作为局部特征描述的向量，是分别与

对应的第i项，μ_u，μ_v分别是对应于

的平均值；

(13)利用阈值切割二值图，得到伪造区域的二值掩模图像；

(14)对得到的二值掩模图像，去除离散的小区域，得到指示伪造区域的二值图D。

第二种：在需要鉴定的视频帧或图像对中找出两张图像(I，I′)，这两张图像为同一个物体的图像，则采用如下的方法检测视频帧或图像对是否存在伪造区域：

(6)采用SIFT方法查找两幅图像上相对应的特征点。

(7)使用Bucketing方法和RANSAC方法对查找到的相对应的特征点进行两次筛选；

(8)采用因子化线性算法估计基本矩阵F；

(9)定义点和直线的距离为 $d(x_2,{\mathrm{Fx}}_1)=\sqrt{\frac{{\left(x_2^T{\mathrm{Fx}}_1\right)}^2}{({\left(F{x}_1\right)}_x^2+{\left(F{x}_1\right)}_y^2)}},$ 采用点和直线距离作为评判标准，找出所有距离大于某一阈值的对应点，形成伪造点的二值掩模图像；

(10)利用形态学操作，得到伪造区域的二值图D；

步骤3：根据图像的RGB颜色、梯度、轮廓、纹理中的任何一种或者几种信息的映射，从原始图像I和二值图D中提取得到特征图像；

步骤4：对于H约束的情况，前景区域为在二值图D上采用水平集方法得到的轮廓内的连通区域；对于F约束的情况，前景区域通过对伪造点进行形态学操作，形成的连通区域；两种约束的背景区域都是通过以下方法获得的：对连通区域获取其外接矩形(w，h)，以此外切矩形为基础，向外扩0.5×max(w，h)大小的边界，得到两个同心矩形，两个矩形之间的部分即为背景区域；

步骤5：对于特征图像中的前景和背景区域，计算组数为16的直方图，得到前景和背景区域组频率分别为p(i)，q(i)(i＝1，2，3...16)，计算对数似然L(i)(i＝1，2，3...16)： $L\left(i\right)=\log \frac{\max (p\left(i\right),\mathrm{\δ})}{\max (q\left(i\right),\mathrm{\δ})},$ 其中，δ是任意小的正数，利用 $\mathrm{var}(x;r)=\underset{i}{\mathrm{\Σ}}r\left(i\right)\left[x^2\left(i\right)\right]-{[\underset{i}{\mathrm{\Σ}}r\left(i\right)[x\left(i\right)\left]\right]}^2$ ，计算概率分布r的方差var(x；r)；利用 $\mathrm{VR}(L;p,q)=\frac{\mathrm{var}(L;(p+q)/2)}{\mathrm{var}(L;p)+\mathrm{var}(L;q)},$ 计算方差率VR；

步骤6：，选取最大方差率VR所对应的前景和背景，采用最大流最小割的图分割方法进行自动图分割。

作为优选实施方式，本发明的基于两视几何和图分割的伪造区域精确定位方法，其特征在于，其中的步骤3：根据图像的RGB颜色提取特征图像，所采用的特征函数为，F＝{ω₁×R+ω₂×G+ω₃×B|ω_i∈{-2，-1，0，1，2}}，用公式 $F=(F-255\×\mathrm{\Σ\ω}\_)/\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\left|{\mathrm{\ω}}_i\right|$ 进行标准化，其中，ω_是ω_i中为负的元素。

本发明利用两视几何知识得到粗略定位伪造区域的二值图，只需找到有重叠部分的多张图片即可进行鉴定，得到准确的伪造区域位置，时间复杂度低，可以处理畸变较大的情况，适用性广。在此基础上提出在线特征/参数选择和图分割技术，实现不需要手动设置参数的自动伪造区域的检测技术。本发明的方法能够自动准确的定位伪造区域的位置。本发明相比【5】提出的方法，不需要用户手动干预选取“硬约束”和源点汇点的值。相比【6】提出的方法，不需要大训练样本和长训练时间以及用户的干预。本发明仅通过在线特征/参数选择技术，即可达到自动的参数选择。

附图说明

图1本发明的系统流程图。

图2H约束示意图(a)为纯转动和纯缩放情况(b)为局部共面情况。(a)中的c为相机，π₁和π₂为相机转动前后的成像面，x₁和x₂为X在相机转动前后的成像点。π₁和π₃为相机缩放前后的成像面，x₁和x₃为X在相机缩放前后的成像点。(b)中c₁和c₂为两个相机的位置，x₁和x₂为X点在这两个相机上的成像点。

图3Bucketing技术原理。Bucketing技术采取全局优化的策略减轻由伪造区域造成的污染，图2(a)、(b)分别为相机转动前后的一组图像，图像上的特征点用矩形和三角形和标出，其中实心矩形代表原始图像真实区域的特征点，而空心三角形表示伪造区域的特征点，较大的矩形和三角形表示经过Bucketing技术选择出来对应点。

图4极几何约束原理。其中c₁和c₂为两个相机，x₁和x₂为X在这两个相机上的成像点，e₁和e₂为极点，l₁为极线。

图5基于双视几何的图像真实性鉴别方法总体流程图。

图6(1a，1b)、(2a，2b)、(3a，3b)、(4a，4b)、(5a，5b)、(6a，6b)为含有相同场景的6对图像对。

图7(a)和(c)分别为采用错误！未找到引用源。方法所得到H约束情况下的图像和F约束情况下的图像；(b)，(d)分别是(a)(c)的放大图。

图8为特征选择效果图。其中(a)是灰度图(0.3R+0.6G+0.1B)。(b)为经过在线特征选择后的结果。(c)是灰度图(a)图分割的结果图。(d)是经过在线特征选择的(b)图的分割结果图。

图9中的各个图是在线参数选择效果图，每个图下方的参数分别代表[λ，F_i，F_g]。虚线框内的一组结果是通过本发明的在线参数选择得到的最佳结果。

图10多组实验结果的比较图。(a)(b)是原始图像对。(c)是错误！未找到引用源。的方法所得到的结果。(d)是没有经过在线特征/参数的选择结果，即常特征(灰度：0.3R+0.6G+0.1B)常参数λ(取的是λ搜索空间的均值0.05)。(e)是本发明提出的方法所得到的实验结果。

具体实施方式

本发明基于两视几何和图分割的伪造区域精确定位技术，采用两视几何约束获得伪造区域二值图，并利用在线特征/参数选择技术来精确定位伪造区域。图1为本发明的系统流程图。

下面首先详细说明采用两视几何约束获得伪造区域二值图的方法。具体步骤如下，可参见图5：

第一步，对得到的视频帧或图像对，采用平面单应性约束：H约束，判断图像真实性。

首先，对得到的图像对，先提取对应特征点，然后计算平面单应性矩阵H，再由计算得到的H矩阵还原一张图像到另一张图像，最后进行像素级别的差异比较来定位图像中的伪造区域，经过矫正，差异明显的点即可判断为伪造区域的点，因此可以精确定位伪造区域。具体如下：

1.选择视频帧或图像对。

在需要鉴定的视频帧或图像对中找出两张图像，这两张图像需要满足如下条件之一：(I)摄像机位置保持不动。具体包括相机纯转动和纯缩放的情况；(II)成像物体在同一个平面上或在某一局部范围内待鉴定物体在同一个平面上。满足上述两个条件之一的图片可以用本步骤中一一对应的强几何约束来鉴定真伪。在针孔摄像机模型下，由相机成像原理知世界坐标系下的3D点X及其在相机成像面上的2D投影点x满足如下关系：

x＝PX＝KR[I|-C]X    (1)

其中K为相机内参数矩阵：

$K=\left[\begin{array}{ccc}f& s& c_1\\ 0& \mathrm{af}& c_2\\ 0& 0& 1\end{array}\right]---\left(2\right)$

R为相机的旋转矩阵，I为单位矩阵，C为相机所在的位置。

在相机纯转动的情况下(如图2(a))，记X分别在相机转动前后的成像面上的投影点为x₁和x₂，有：x₁＝K[I|0]X和x₂＝K[R|0]X，进而有：

x₂＝K[R|0]X＝KRK^-1x₁＝H_∞x₁            (3)

所以，x₁和x₂之间可以用一个3×3的平面单应性矩阵H_∞来转换。

在相机纯缩放的情况下(如图2(a))，相机缩放前后X在成像面上的投影x₁和x₃满足：x₁＝K[I|0]X和x₃＝K′[I|0]X，于是：

x₃＝K′[I|0]X＝K′K^-1x₁＝H_zx₁                (4)

理想情况下K和K′只有焦距f不同。

在待鉴定区域局部共面时(如图2(b))，不管相机是否保持位置不变，成像面上的点总满足平面单应性约束：

x₂＝H_πx₁                          (5)

需要注意的是在这种情况下，虽然要求点共面，但对摄像机没有要求，焦距，旋转角度以及位置均可随意变化。

综上所述，挑选出满足条件(I)或(II)的成对图像，然后进行本发明的后续判断。

2.查找两幅图像上的对应特征点找到图像对(I，I′)后，需要提取两帧图像上的对应点。本发明采用SIFT【7】方法进行对应点的查找，SIFT(Scale Invariant Feature Transform，具有尺度不变性的特征转换)是一种具有尺度、旋转不变性的特征描述方法，用来查找两幅图像上相对应的特征点。

3.筛选对应点以提高准确率

我们需要用查找到的对应点计算平面单应性矩阵以还原这两张图像，查找到的对应点都可以用来计算平面单应性矩阵，但是在图像存在伪造部分的情况下，查找到的对应点有可能大量分布在伪造区域，而来自真实区域的正确的对应点的比例可能较小，导致计算的平面单应性矩阵误差很大。本发明使用Bucketing技术【9】和RANSAC技术【8】对查找到的对应点进行两次筛选。

如图3所示，Bucketing技术采取全局优化的策略减轻由伪造区域造成的污染，(a)、(b)为一对标注了特征点的图像，它们可以看作是相机转动前后的。黑色方框代表原始图像真实区域的特征点，而空心三角形表示伪造区域的点，经过Bucketing技术，我们从这些特征点中选择出的特征点用大尺寸的相应形状表示。图像首先被划分为M×N块，对应的特征点位于每个小块。在选择特征点时，采取如下原则：(1)只从至少拥有一个对应点的小块中选择特征点；(2)当需要一对相应点时，随机挑选一个小块，然后从这一块中随机挑选一个特征点；(3)选出过特征点的小块不能再一次被选择。经过Bucketing技术，极大增加了来自真实区域特征点的比例。

在实际情况下，SIFT算法找出的对应特征点也不是完全正确的，总会得到一些非对应点的外点，这些外点可以使用RANSAC技术移除。RANSAC是一种鲁棒的参数估计方法，通过完全移除外点的策略估计数学模型，彻底消除外点对估计的影响，而不是通过更多的内点来减小外点对估计的影响。

4.计算平面单应性矩阵H

找到了正确率较高的对应特征点对{x，x′}，接下来采用黄金准则【8】去估计平面单应性矩阵H。计算H最少需要4组对应点，在只有4组对应点的情况下，采用直接线性方法(DLT)【8】计算H，使x′_i＝Hx。给定一组对应特征点x_i，x′_i，把x′_i写成其次坐标的形式x′_i＝(x′_i，y′_i，w′_i)^T，有：

$\left[\begin{array}{ccc}{0}^T& -w_i^{\′}{x}_i^T& y_i^{\′}{x}_i^T\\ w_i^{\′}{x}_i^T& 0^T& -x_i^{\′}{x}_i^T\end{array}\right]\left(\begin{array}{c}{h}^1\\ h^2\\ h^3\end{array}\right)=0---\left(6\right)$

4组对应点可以提供8个这样的约束方程，即可解出自由度为8的平面单应性矩阵H。

当对应点大于4组时，先用RANSAC算法移除外点，然后对于所有的内点，用黄金准则估计最小化全局误差的H矩阵。

5.还原图片并进行区域相似度比较

用计算得到的平面单应性矩阵H还原I到I′，这样，两幅图像在同一个位置上的信息才具有可比性。由x′＝Hx知，用H直接乘以I上的点即可完成还原，但会出现镂空点的情况，为了解决这一问题，本发明采用反向映射的方法，对I′上的每个点，反向在I上寻找与之相对应的点，这样，除了在图像上确实找不到的点，I′上每一个点都能被填充。

经过H变换，真实区域的像素被准确地映射到正确的点，而伪造区域的点通常很难以合适的尺寸、合适的几何畸变插入到合适的位置，尤其是旋转角度、缩放比例比较大的时候，特别的，对于不要求摄像机位置保持不变的局部共面情况，两幅图像可以用不同的角度、不同的焦距进行拍摄，导致更大的变形，更难使伪造区域精确映射。依据此原理，对矫正完的图像组，本发明采用像素差异的方法计算差异程度：

$D(\stackrel{\→}{u},\stackrel{\→}{v})=1-C(\stackrel{\→}{u},\stackrel{\→}{v})---\left(7\right)$

其中：

$C(\stackrel{\→}{u},\stackrel{\→}{v})=\frac{{\mathrm{\Σ}}_i(u_i-{\mathrm{\μ}}_u)(v_i-{\mathrm{\μ}}_v)}{\sqrt{{\mathrm{\Σ}}_i{(u_i-{\mathrm{\μ}}_u)}^2}\sqrt{{\mathrm{\Σ}}_i{(v_i-{\mathrm{\μ}}_v)}^2}}---\left(8\right)$

其中

是从图像中抽象出来的作为局部特征描述的向量，

是分别与

对应的第i项，μ_u，μ_v分别是对应于

的平均值。我们用一个阈值去切割这个二值图即可得到伪造区域的二值掩模图像，考虑到通用性，本发明采用的阈值为：

t＝max(D)-c                    (9)

对得到的二值图像，去除离散的小区域，即可得到指示伪造区域的二值掩模图像。

第二步，对得到的视频帧或图像对，采用极几何约束：F约束来找出伪造区域。

首先，对得到的图像对，先提取对应特征点，然后计算它们之间的基本矩阵F，再由计算得到的F矩阵计算对应点与其极线之间的距离，距离较大的点即属于伪造区域，最后，对得到的伪造点进行形态学操作，形成连通区域来指示图像中的伪造区域。

具体如下：

1.选择视频帧或图像对。

在需要鉴定的视频帧或图像对中找出两张图像，这两张图像只需照到同一个物体即可，不需要像H约束一样有特殊要求，因此具有很广的适用性，比如不同游客在不同时间不同角度拍到的同一个天安门，采用本发明的方法即可对其真实性作出判定。本约束采用的原理如图4所示，C₁和C₂为两个相机，也可看作同一个相机在不同位置拍摄3D世界中的点X两次，X分别在两个相机上成像为x₁和x₂，C₁、C₂两个点的连线交成像面于极点e₁和e₂。令 $\{x_j={[x_j,y_j,1]}^T\↔x_j^{\′}={[x_j^{\′},y_j^{\′},1]}^T,$ j＝1，2，…，n}是两幅图像间的一组点对应，根据两幅图像间的极几何理论【8】，它们必关联于一个3×3的基本矩阵：

$F=\left[\begin{array}{ccc}{F}_{11}& F_{12}& F_{13}\\ F_{21}& F_{22}& F_{23}\\ F_{31}& F_{32}& F_{33}\end{array}\right]$

即，当测量数据无误差时，有

$x_j^{\′T}{\mathrm{Fx}}_j=0---\left(10\right)$

在此极几何约束下，对应点之间受到基本矩阵F的约束，F把一个成像面上的点x₁映射到另一个成像面上的一条线l₁(如图4)，正常情况下，x₂必然在l₁上，但伪造的区域不会很精确地满足此约束，于是，我们可以用此约束来判断两幅图像上对应点之间的关系，当x₂点到l₁的距离大于一定阈值时，即可判断此点属于伪造区域。

2.查找两幅图像上的对应特征点

本步骤与H约束中查找对应点的方法类似，均使用SIFT算法实现对应点的查找，在这里不再详述。详见第一步中查找对应点部分。

3.筛选对应点

本步骤与H约束中筛选对应点的方法类似，均使用两阶段的筛选方法：(1)Bucketing技术进行全局最优化选择特征点以降低来自伪造区域的稠密特征点对估计F的影响；(2)采用RANSAC算法移除外点来消除错误对应点对估计F的影响，在这里均不再详述。详见第一步中的筛选对应点部分。需要注意的是，本步骤的方法对摄像机的运动没有任何要求，可以处理更多情况，具有更广的适用性，对于拍摄角度差异很大的照片组，SIFT可能产生比H约束中更多的外点，因此需要RANSAC算法参数条件更加苛刻一点以尽可能多地移除外点，以提高估计基本矩阵F的精确度。

4.计算基本矩阵F

给定相对应的特征点组，本发明采用因子化线性算法估计基本矩阵F，记f＝[F₁₁，F₁₂，F₁₃，F₂₁，F₂₂，F₂₃，F₃₁，F₃₂，F₃₃]^T，估计基本矩阵的直接线性方法是在约束条件||f||²＝1下，求下述方程组的最小二乘解：

M_n×9f＝0                    (11)

其中M_n×9是测量矩阵：

$M_{n\×9}=\left[\begin{array}{ccccccccc}{x}_1^{\′}{x}_1& x_1^{\′}{y}_1& x_1^{\′}& y_1^{\′}{x}_1& y_1^{\′}{y}_1& y_1^{\′}& x_1& y_1& 1\\ x_2^{\′}{x}_2& y_2^{\′}{x}_2& y_2^{\′}& y_2^{\′}{x}_2& y_2^{\′}{x}_2& y_2^{\′}& x_2& y_2& 1\\ .& .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .& .\\ x_n^{\′}{x}_n& x_n^{\′}{y}_n& x_n^{\′}& y_n^{\′}{x}_n& y_n^{\′}{y}_n& y_n^{\′}& x_n& y_n& 1\end{array}\right]---\left(12\right)$

首先，将测量矩阵M_n×9分解成

M_n×9＝A_n×3nB_3n×9            (13)

其中：

然后引进辅助变量g＝B_3n×9f，构造新测量矩阵：

$M_{4n\×(3n+9)}=\left[\begin{array}{cc}{B}_{3n\×9}& -I_{3n}\\ 0_{n\×9}& A_{n\×3n}\end{array}\right]---\left(15\right)$

随后，求在约束条件下 $\left|\right|\tilde{f}\left|\right|=1$ 下，求下述方程组的最小二乘解：

$\begin{array}{cc}{M}_{4n\×(3n+9)}\tilde{f}=0& \left(\begin{array}{c}\tilde{f}=\left[\begin{array}{c}f\\ g\end{array}\right]\end{array}\right)\end{array}---\left(16\right)$

计算f^*得到对应的矩阵F^*，并对F^*进行奇异值分解：F^*＝Udiag(σ₁，σ₂，σ₃)V，最后得到基本矩阵的估计：F^*Udiag(σ₁，σ₂，0)V。

5.找出伪造区域

由于此极几何约束把图像I上的点映射到图像I′上的一条线，而不是一个点，所以，不能用还原整张图像的方法对比图像以找到伪造区域。本发明采用点和直线距离作为评判标准，对I上的一点x，用得到的基本矩阵F，把它映射到I′上的一条直线l₁，而x在I′上的对应点x′应该经过l₁，如果x′到l₁距离过大，即可判断x和x′为伪造区域上的点。由此原理，即可找到图像上的伪造区域，本发明采用的距离定义如下：

$d(x_2,{\mathrm{Fx}}_1)=\sqrt{\frac{{\left(x_2^T{\mathrm{Fx}}_1\right)}^2}{({\left(F{x}_1\right)}_x^2+{\left(F{x}_1\right)}_y^2)}}---\left(17\right)$

找出所有距离大于某一阈值的对应点，形成伪造点的二值掩模图像，运用形态学操作后，即可得到伪造区域的二值图像。

第三步，依据本发明中提到的所有几何约束做出真实性判断。

对于上述两个步骤，不满足任何一步中所描述的几何约束的图像序列，都可以判定其为伪造的图像，并且，伪造区域可以由本发明的具体判断方法给出。

在介绍了两视几何约束方法的基础上，下面的内容详细说明本发明的伪造区域定位方法。本发明具体包括以下几步：

步骤1：获取视频帧。

从输入的图片序列或视频中选择摄像机位置变化或待鉴定物体局部共面，抑或有重合区域的图像对。如图6所示的6对图像对，分别标记为((1a，1b)，(2a，2b)，(3a，3b)，(4a，4b)，(5a，5b)，(6a，6b))。

步骤2：基于上述的两视几何方法获取伪造区域二值图。

采用错误！未找到引用源。方法获取指示伪造区域的二值图。如图7，图中，(a)和(c)分别为采用错误！未找到引用源。方法所得到H约束情况下的图像和F约束情况下的图像；(b)，(d)分别是(a)(c)的放大图。

步骤3：在线特征选择。

通过错误！未找到引用源。方法获取指示伪造区域的二值图，可以粗略的确定伪造区域的位置。为了检测效率和准确度，选取包含80％伪造区域点的子图作为后续处理的输入。本发明采用在线特征选择达到前景背景更好的分离。特征图像可以通过以下方式获得：

F(x，y)＝Φ(I，D，x，y)            (18)

其中，F是从原始图像I和二值图D中提取出来的特征图像。x，y为图像中对应的横纵坐标。其中特征函数Φ可以是图像中任何一种或者几种信息的映射：例如，RGB颜色，梯度，轮廓，纹理等。每一种信息都对伪造区域的精确定位产生一定的影响。由于RGB颜色的线性结合得到特征图像的方法有较低的计算复杂度，同时却能够产生较好的前景背景的分离效果，因此本发明特征函数采用颜色R，G，B信息的线性结合。

具体步骤如下：

1.特征函数的定义。

在本发明中，所使用的特征函数为：

F＝{ω₁×R+ω₂×G+ω₃×B|ω_i∈{-2，-1，0，1，2}}            (19)

注意，去掉形如(ω′₁，ω′₂，ω′₃)＝k(ω₁，ω₂，ω₃)中的重复组合和形如(ω₁，ω₂，ω₃)＝(0，0，0)没有意义的组合，一共有49组(ω₁，ω₂，ω₃)特征的组合。

2.特征图像的标准化。

RGB图像的每一个通道的取值范围为[0，255]，但是经过上一步的变换后，取值可能超出了这个范围，因此要对得到的特征图像进行标准化，以使得其取值范围在[0，255]之内。标准化的方法如下：

$F=(F-255\×\mathrm{\Σ\ω}\_)/\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\left|{\mathrm{\ω}}_i\right|---\left(20\right)$

其中ω_是ω_i中为负的元素。

3.前景背景区域的获取。

对于H约束的情况，二值图包含两个轮廓且每一个轮廓都是不完整的，但是，鉴于二值图所指示的伪造区域有较高的查全率，可以作为选取的前景区域的依据。

前景区域为在二值图上运用水平集【4】得到的轮廓内的连通区域。

对于F约束的情况，前景区域是通过对伪造点进行形态学操作，形成连通区域获得的。

不论是F约束和H约束的情况，背景区域都是通过以下方法获得的：对连通区域获取其外接矩形，大小为：(w，h)。以此外切矩形为基础，向外扩0.5×max(w，h)大小的边界，得到两个同心矩形。两个矩形之间的部分即为背景区域。

4.似然函数的计算。

对特征图像中的前景和背景区域，计算组数为16的直方图，得到前景和背景区域组频率分别为p(i)，q(i)(i＝1，2，3...16)。

计算对数似然L(i)(i＝1，2，3...16)：

$L\left(i\right)=\log \frac{\max (p\left(i\right),\mathrm{\δ})}{\max (q\left(i\right),\mathrm{\δ})}---\left(21\right)$

其中，δ是一个很小的正数，用来防止分子分母取0的无意义情况。

5.概率分布r的方差var(x；r)的计算。

$\mathrm{var}(x;r)=\underset{i}{\mathrm{\Σ}}r\left(i\right)\left[x^2\left(i\right)\right]-{[\underset{i}{\mathrm{\Σ}}r\left(i\right)[x\left(i\right)\left]\right]}^2---\left(22\right)$

6.方差率VR的计算。

$\mathrm{VR}(L;p,q)=\frac{\mathrm{var}(L;(p+q)/2)}{\mathrm{var}(L;p)+\mathrm{var}(L;q)}---\left(23\right)$

方差率VR表示前景和背景的分离程度。方差率VR越大，表示分离程度越大，是需要选择的特征。

如图8所示的实验结果。其中(a)是灰度图(0.3R+0.6G+0.1B)。(b)为经过在线特征选择后的结果，所选择图像就是公式(23)里方差率VR最大的，其对应的公式(19)中的(ω₁，ω₂，ω₃)的值分别为(-1，2，-1)。(c)是灰度图(a)图分割的结果图。(d)是经过在线特征选择的(b)图的分割结果图，很明显我们提出的方法的结果比灰度图(a)图分割结果(c)要好。

在线特征选择拉大了前景跟背景的区别，而图分割算法的好坏，极大程度上依赖于前景和背景的区分度，所以在线特征使得准确定位伪造区域得以实现。

步骤4：在线参数选择。

全自动的图分割技术，目前仍是一个极富挑战性的课题。其中的一种解决方法是，使用真实的分割结果训练样本，但是在伪造区域检测领域，并不知道哪些区域是伪造的，因此这种方法不可行。本发明采用在线参数选择来达到自动图分割的效果。

在图分割过程中，有很多参数需要选择。源点和汇点(本别代表伪造物体和背景)的选择，可以通过分别选取步骤3里前景和背景像素值的中值来得到。其中最重要的一个参数就是衡量基于最大流最小割的图分割【5】里一元约束与二元约束之间权重比率λ的选择。然而【5】提出的方法并不能够自动的获取图分割的参数，本发明解决了这一问题。经实验验证，λ在动态选择过程中只需一个很小的范围，例如[0，0.1]，就可以达到较好的效果。λ在一个小范围[a，b]内以步长d增长，这样就对应于个图分割结果。

对于图分割质量的衡量，有很多标准，例如：像素强度特征，梯度方向特征，纹理特征等。我们采用如下两个特征衡量函数来判定

个图分割效果的好坏。相应的分割效果好的对应的参数即为我们要选择的参数。

1.像素强度特征衡量函数：

$F_i(I,S)=\frac{{\mathrm{\Σ}}_{(a,b)\∈B}|I_a-I_b|}{\left|B\right|}-\frac{{\mathrm{\Σ}}_{(a,b)\∈O}|I_a-I_b|}{\left|O\right|}---\left(24\right)$

2.梯度方向特征衡量函数：

$F_g(I,S)=\underset{(a,b)\∈8}{\mathrm{\Σ}}\frac{|\stackrel{\→}{G\left(a\right)}-\stackrel{\→}{G\left(b\right)}|}{\left|B\right|}---\left(25\right)$

其中，I是经过步骤3在线特征选择后得到的特征图像。S是经过图分割后得到的二值图像，值为1表示前景，值为0表示背景。B是在分割物体边界上的相邻像素的集合，亦即满足如下关系：B＝{(a，b)|S_a＝1，S_b＝0∨S_a＝0，S_b＝1}。O分割物体内的相邻像素的集合，满足关系：O＝{(a，b)|S_a＝1，S_b＝1}。|B|和|O|表示两集合的长度。

表示标准化后x点处的梯度。

对于理想的分割结果，F_i应该是正的且值越大表明分割效果越好，而对于F_g，其值越小表明边界越平滑，分割效果越好。对于这两种衡量函数的融合，我们选择，索引策略，来减少计算复杂度，同时又避免了两种衡量函数融合时比率的选择。因此最好分割效果衡量函数可以定义为：

其中，rank(F，idx，M)表示个图分割结果中的第idx张，在衡量函数F下以模式M(A升序，D降序)排列所得到的次序结果。

如图9所示是在线参数选择的结果，其中每个图下方的参数分别代表[λ，F_i，F_g]。虚线框内的一组结果是通过公式(26)得到的最佳结果，这个结果是权衡了像素强度特征和梯度方向特征两个特征而得出的最优结果。

如图10，所有实验结果的中间参数都是在线选择的，不需要人工设置。由实验结果可见，本发明采用的方法，比错误！未找到引用源。的方法(c)更好，也比未经过在线特征/参数的选择的方法(d)更好。

主要参考文献

【1】Robert T.Collins and Yanxi Liu.在线选择有区别性的追踪特征“OnlineSelection of Discriminative Tracking Features，”IEEE Transactions onPattern Analysis and Machine Intelligence，2005.

【2】W.Wang and H.Farid，“Exposing digital forgeries in video by detectingduplication，”ACM Multimedia and Security Workshop，2007.

【3】M.K.Johnson and H.Farid，“Metric measurements on a plane from a singleimage，”Technical Report TR2006-579，Department of Computer Science，Dartmouth College，2006.

【4】Chunming Li and Chenyang Xu.无初始的水平集演化方法：一种全新的变分公式化方法“Level Set Evolution without Re-initialization：A New VariationalFormulation，”CVPR，2005.

【5】Y.Boykov and V.Kolmogorov.计算机视觉中基于能量最小化的最大流最小割算法的比较“An Experimental comparison of min-cut/max-fow algorithms forenergy minimization in vision，”PAMI，2004.

【6】B.Peng and O.Veksler.基于图像分割的参数选择“Parameter selection forgraph cut based image segmentation，”BMVC，2008.

【7】D.G.Lowe，“Distinctive image features from scale-invariant keypoints具有比例不变性关键点的图像特征”International Journal of Computer Vision，2004，pp.91-110.

【8】R.Hartley and A.Zisserman，“Multiple view geometry in computer vision计算机视觉中的多视几何”Cambridge University Press，2004.

【9】Z.Zhang，“Determining the epipolar geometry and its uncertainty：A review回顾极几何与其不确定性”International Journal of Computer Vision，1998，vol.27，pp.161-198.

Claims (2)

1.一种基于两视几何和图分割的伪造区域精确定位方法，包括下列步骤：

步骤1：获取含有同一场景的视频帧或图像对；

步骤2：基于两视几何方法获取伪造区域二值图

在上述的视频帧或图像对中若能找出两张图像(I，I′)，这两张图像满足如下条件之一，则采用如下的第一种方法检测视频帧或图像对是否存在伪造区域，否则，采用第二种的方法检测视频帧或图像对是否存在伪造区域，从而获取伪造区域二值图：(I)摄像机位置保持不动。具体包括相机纯转动和纯缩放的情况；(II)成像物体在同一个平面上或在某一局部范围内待鉴定物体在同一个平面上，

第一种：

(1)采用SIFT方法查找两幅图像上相对应的特征点。

(2)使用Bucketing方法和RANSAC方法对查找到的相对应的特征点进行两次筛选，得到至少4组相对应的特征点；

(3)采用黄金准则法估计平面单应性矩阵H；

(4)采用反向映射的方法，利用计算得到的平面单应性矩阵H还原I到I′；

(5)采用像素差异的方法计算差异程度，公式为 $D(\stackrel{\→}{u},\stackrel{\→}{v})=1-C(\stackrel{\→}{u},\stackrel{\→}{v}),$ $C(\stackrel{\→}{u},\stackrel{\→}{v})=\frac{{\mathrm{\Σ}}_i(u_i-{\mathrm{\μ}}_u)(v_i-{\mathrm{\μ}}_v)}{\sqrt{{\mathrm{\Σ}}_i{(u_i-{\mathrm{\μ}}_u)}^2\sqrt{{{\mathrm{\Σ}}_i(v_i-{\mathrm{\μ}}_v)}^2}}}$ 其中

是从图像中抽象出来的作为局部特征描述的向量，

是分别与

对应的第i项，μ_u，μ_v分别是对应于

的平均值；

(6)利用阈值切割二值图，得到伪造区域的二值掩模图像；

(7)对得到的二值掩模图像，去除离散的小区域，得到指示伪造区域的二值图D。

第二种：在需要鉴定的视频帧或图像对中找出两张图像(I，I′)，这两张图像为同一个物体的图像，则采用如下的方法检测视频帧或图像对是否存在伪造区域：

(1)采用SIFT方法查找两幅图像上相对应的特征点。

(2)使用Bucketing方法和RANSAC方法对查找到的相对应的特征点进行两次筛选；

(3)采用因子化线性算法估计基本矩阵F；

(4)定义点和直线的距离为 $d(x_2,{\mathrm{Fx}}_1)=\sqrt{\frac{{\left(x_2^T{\mathrm{Fx}}_1\right)}^2}{({\left({\mathrm{Fx}}_1\right)}_x^2+{\left({\mathrm{Fx}}_1\right)}_y^2)}},$ 采用点和直线距离作为评判标准，找出所有距离大于某一阈值的对应点，形成伪造点的二值掩模图像；

(5)利用形态学操作，得到伪造区域的二值图D；

步骤3：根据图像的RGB颜色、梯度、轮廓、纹理中的任何一种或者几种信息的映射，从原始图像I和二值图D中提取得到特征图像；

步骤4：对于H约束的情况，前景区域为在二值图D上采用水平集方法得到的轮廓内的连通区域；对于F约束的情况，前景区域通过对伪造点进行形态学操作，形成的连通区域；两种约束的背景区域都是通过以下方法获得的：对连通区域获取其外接矩形(w，h)，以此外切矩形为基础，向外扩0.5×max(w，h)大小的边界，得到两个同心矩形，两个矩形之间的部分即为背景区域；

步骤5：对于特征图像中的前景和背景区域，计算组数为16的直方图，得到前景和背景区域组频率分别为p(i)，q(i)(i＝1，2，3...16)，计算对数似然L(i)(i＝1，2，3...16)： $L\left(i\right)=\log \frac{\max (p\left(i\right),\mathrm{\δ})}{\max (q\left(i\right),\mathrm{\δ})},$ 其中，δ是任意小的正数，利用 $\mathrm{var}(x;r)=\underset{i}{\mathrm{\Σ}}r\left(i\right)\left[x^2\left(i\right)\right]-{\left[\underset{i}{\mathrm{\Σ}}r\left(i\right)\right[x\left(i\right)\left]\right]}^2,$ 计算概率分布r的方差var(x；r)；利用 $\mathrm{VR}(L;p,q)=\frac{\mathrm{var}(L;(p+q)/2)}{\mathrm{var}(L;p)+\mathrm{var}(L;q)},$ 计算方差率VR；

步骤6：，选取最大方差率VR所对应的前景和背景，采用最大流最小割的图分割方法进行自动图分割。

2.根据权利要求1所述的基于两视几何和图分割的伪造区域精确定位方法，其特征在于，其中的步骤3：根据图像的RGB颜色提取特征图像，所采用的特征函数为，F＝{ω₁×R+ω₂×G+ω₃×B|ω_i∈{-2，-1，0，1，2}}，用公式 $F=(F-255\×\mathrm{\Σ\ω}\_)/\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\left|{\mathrm{\ω}}_i\right|$ 进行标准化，其中，ω_是ω_i中为负的元素。

Images