CN102930529B - 一种基于非对称模板搜索的快速伪造区域盲检测方法 - Google Patents

Abstract

本发明公开了一种基于非对称模板搜索的快速伪造区域盲检测方法，属媒体认证领域。本发明包括如下步骤：首先运用SIFT算法提取图像特征点及特征点特征向量；然后把所有SIFT特征点的特征向量进行比较，滤除小于特征点相似阈值的点对，形成疑似复制区域和粘贴区域的初始点集；最后利用非对称模板匹配搜索算法对疑似复制区域和粘贴区域的初始点集进行扩展搜索疑似区域，对疑似复制/粘贴区域进行精确检测定位，实现了最小匹配误差的求解。本发明相比现有技术，能够准确快速地检测出疑似复制/粘贴伪造区域，且具有高抗噪能力。

Description

一种基于非对称模板搜索的快速伪造区域盲检测方法

技术领域

本发明涉及一种基于非对称模板搜索的快速伪造区域盲检测算法，属媒体认证领域，尤其涉及一种用于检测复制粘贴伪造图像的方法。

背景技术

数字图像编辑技术的发展促进了照片级数字图像在虚拟现实、数字娱乐、动漫、影视制作等领域的应用，也为图像伪造提供了技术支持，伪造图像越来越多地出现在博客、互联网、新闻、出版、摄影、法律证据、文档等方面，严重扰乱了人们正常的信息交流环境、降低了人们对大众媒介的公信度，因此伪造图像鉴定有着重大的现实需求和研究意义。图像的复制粘贴伪造是图像伪造的基本操作，直接把一幅图片的部分区域通过复制粘贴方式覆盖至另一区域，用于掩盖图像的某些信息，一般很难被人眼直接识别出来，其检测方法是当前国内外伪造图像盲检测研究的重点。由于复制区域多来自于源图像，其颜色直方图、噪音特征、获取相机参数等与源图像相一致，因而通过寻找图像中相似区域是目前复制粘贴伪造检测的主要方法。下面简单介绍已有的检测方法，即传统的复制粘贴伪造检测方法。

传统的复制粘贴伪造检测采用逐像素或逐块比较方式搜索相似区域。逐像素的暴力搜索法是典型的匹配搜索方法，其优点是算法简单，易于实现，但运算量太大且非常耗时，仅适合小尺寸图象处理，因而一些算法集中在搜索效率改善方面。Fridrich等人把对像素的比较转化为对图像块的操作，对图像块的DCT量化系数按字典排序并进行匹配比较，减少了伪造检测的时间消耗。Popescu等人把图像分块，对图像块进行主成分分析，用滑窗法对图像块的主成分比较，提高了伪造检测效率。Li等人用SVD分解提取小波低频图像特征，把图像块奇异值矩阵按行进行字典排序，也减少了搜索伪造块的运算量。通过把图像分块，提取图像块特征，比较块的相关性检测复制粘贴伪造的方法在一定程度上提高检测效率，但容易忽略块与块边界以及边界与邻域像素点的相关性，且不能检测经过仿射变换后的复制粘贴伪造区域，Pan等人基于SIFT关键点发现疑似伪造区域，利用相关系数检测仿射变换区域，但搜索效率仍有待于改善。

以下是本发明涉及的现有技术特征的介绍：

1、SIFT描述符

SIFT描述符是一种尺度无关、旋转不变和光照无关的局部图像特征描述算子。SIFT描述符提取包括极值点检测和特征向量描述符计算。

2、极值点检测

极值点检测涉及高斯尺度空间和DOG (Difference of Gaussians，高斯差分尺度)空间。高斯尺度空间是由一系列不同尺度的高斯平滑图像构成的高斯金字塔，同层相邻不同尺度的高斯卷积核的比为

高阶图像由低阶图像进行下采样生成。图像I(x,y)对应的高斯尺度图像L由式(1)生成。

L(x,y,δ)=G(x,y,δ)*I(x,y)                            (1)

其中G(x,y,δ)为高斯核函数，δ为尺度因子。

高斯差分尺度空间由高斯尺度空间的图像经差分运算构建而成，DOG空间中的每一幅图像由同一阶内相邻两层高斯尺度图像做差值运算生成。高斯差分尺度图像由式(2)计算得到。

D(x,y,δ)=(G(x,y,kδ)-G(x,y,δ))*I(x,y)                  (2)

=L(x,y,kδ)-L(x,y,δ)

DOG空间用来检测极值点，如图2所示，图中标记为叉号的像素为待检测点。检测原理是：把该像素点与其所在阶上下相邻层图像的9×2个像素值以及该像素点周围的8个像素值进行比较，若该待检测点的像素值大于或小于所有与其比较的26个像素值，那么该待检测点为极值点。

SIFT算法在多数情况下检测的极值点稳定，但由于DOG值对噪声和边缘比较敏感，因而有必要对检测的局部极值点进行过滤，去除对比度低的极值点和不稳定的边缘响应极值点。对比度低的极值点一般位于图像平滑区域，不稳定的边缘响应极值点多位于图像边界，采用拟合法对局部极值点进行滤除。

3、SIFT特征向量

SIFT特征向量描述符是基于梯度的直方图描述子，包括主方向和特征向量。

SIFT算法利用局部极值点所在圆形区域内的邻域像素来计算该点的梯度幅值m(x,y)和方向θ(x,y)。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(3\right)$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right)---\left(4\right)$

局部极值点的主方向通过梯度直方图确定。直方图以每10度圆周向间隔为一个单元，整个圆周共36个单元。圆形区域中所有像素点的梯度按大小范围归类至直方图的相应单元中。像素点对单元直方图桶的贡献权值为该点梯度幅值m(x,y)和对应的高斯权值的乘积。直方图的最大峰值方向为该点的主方向。

一个点可能具有一个主方向和多个辅方向，一个主方向辅以多个辅方向的方式增强了特征的方向性描述能力。辅方向的检测方法是把最大峰值与其它方向值做比较，若某一方向的值大于或等于峰值的80%，则定义该方向为该点的辅方向。

极值点的SIFT特征向量是对以极值点为中心的区域特征的抽取，把区域的特征综合起来作为局部极值点的描述符。为了保证局部特征的旋转不变性，把局部区域旋转主方向角度后进行特征处理。

发明内容

本发明所要解决的技术问题是针对现有技术存在的缺陷提供一种基于非对称模板搜索的快速伪造区域盲检测算法，该方法能够准确快速地检测出图像中的复制粘贴伪造区域，且具有高抗噪能力。

本发明为解决上述技术问题采用以下技术方案：

一种基于非对称模板搜索的快速伪造区域盲检测方法，包括如下步骤：

步骤(1)：通过SIFT算法检测出待检测图像的SIFT特征点集，计算这些特征点集的SIFT特征向量；

步骤(2)：将步骤(1)所述的SIFT特征点集采用RANSAC算法进行匹配，滤除相似度小于特征点相似度阈值的特征点对，分别形成疑似复制区域的初始点集和疑似粘贴区域的初始点集，疑似复制区域初始点集中的每个特征点在疑似粘贴区域的初始点集中均存在一个唯一对应的特征点；

步骤(3)：将步骤(2)所述的疑似复制区域的初始点集和疑似粘贴区域的初始点集，利用非对称模板匹配搜索进行疑似区域定位，具体如下：

步骤001，在疑似复制区域初始点集中选取一个特征点P作为第一检测点，以该检测点P为中心点，在该检测点P的圆周范围内平均构造相互对称的4对椭圆，形成第一检测点的非对称模板；该非对称模板中椭圆的长轴取疑似复制区域所有特征点之间距离的平均值的1/2，椭圆的长轴、短轴之比为2：1；

步骤002，在疑似粘贴区域初始点集选取与当前检测点P相对应的特征点P₁作为第二检测点，以该检测点P₁为中心点，在该检测点P₁的圆周范围内平均构造相互对称的4对椭圆，形成第二检测点的非对称模板；该非对称模板中椭圆的长轴取粘贴区域所有特征点之间距离的平均值的1/2，椭圆的长轴、短轴之比为2：1；

上述非对称模板中的每一对椭圆构成一个检测方向；非对称模板所覆盖区域即为非对称区域；第一检测点P与第二检测点P₁构成一个检测点对；

步骤003，判断该检测点对所在非对称区域中的相似椭圆个数，根据匹配椭圆数目判定当前检测点对类型：

a，若该检测点对所对应的两个非对称区域中同时有一个以上、三个以下数量的椭圆完全包含在该检测点对各自所处的疑似复制区域或疑似粘贴区域中时，该检测点对为边界点匹配类型；

b，若该检测点对所对应的两个非对称区域中同时有三个以上、八个以下数量的椭圆完全包含在该检测点对各自所处的疑似复制区域或疑似粘贴区域中时，该检测点对为半内点匹配类型；

c，若该检测点对所对应的两个非对称区域中的所有椭圆同时均完全包含在该检测点对各自所处的疑似复制区域或疑似粘贴区域中时，该检测点对为全内点匹配类型；

d，若该检测点对所对应的两个非对称区域中的所有椭圆均不完全包含在该检测点对各自所处的疑似复制区域或疑似粘贴区域中时，该检测点对为非疑似伪造区域的特征点类型；

步骤004，当该检测点对的类型属于全内点匹配、半内点匹配或边界点匹配时，将该检测点对所对应的两个非对称区域中的所有特征点分别加入该检测点对各自所处的疑似复制区域或疑似粘贴区域，然后在疑似复制区域初始点集中选择与第一检测点距离最远的特征点作为下一个待检测点，返回执行步骤001；

当该检测点对的类型属于非疑似伪造区域的特征点类型时，将该检测点对分别从疑似复制区域、疑似粘贴区域初始点集中剔除，然后在疑似复制区域初始点集中选择与第一检测点距离最近的特征点作为下一个检测点，返回执行步骤001；

步骤(4)：重复步骤001至004，直至疑似复制区域的初始点集和疑似粘贴区域的初始点集中的所有特征点均完成检测，形成复制粘贴区域特征点集，最终确定伪造区域。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明基于非对称模板搜索的快速伪造区域盲检测算法容易理解，算法复杂度较低，能够准确快速地检测出图像中的复制粘贴伪造区域，具有很好的抗噪性。

附图说明

图1是本发明的流程图。

图2是本发明的特征点检测图。

图3是本发明所述的非对称模板图。

图4是本发明所述的边界点、半内点以及全内点示意图。其中图4(a)是边界点示意图，图4(b)是半内点示意图，图4(c)是全内点示意图。

图5是本发明所述的非对称模板匹配的四种情况示意图。图5（a）是全内点匹配示意图，图5（b）是半内点匹配示意图，图5（c）是边界点匹配示意图，图5（d）是非伪造区域特征点示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示，本发明首先在对SIFT特征算子的尺度不变性、旋转不变性及仿射不变性的特点充分研究的基础上，考虑在加入噪声以及改变亮度的情况下，提出一种基于非对称模板搜索的快速伪造区域盲检测算法，以更快速更精确地搜索出伪造区域。首先根据SIFT算法提取图像的SIFT特征点集，形成疑似复制区域和粘贴区域的初始点集，参考图2所示；其次，利用非对称模板对当前检测点进行判定，根据当前检测点对在非对称区域中的相似椭圆个数来判断该点对是否为疑似复制粘贴伪造区域的点，当当前检测点对是全内点匹配、半内点匹配以及边界点匹配时，将所有椭圆覆盖点加入伪造区域；然后将与当前检测点对距离最远的点作为下一个待检测点，最后形成伪造区域。通过仿真模拟与比较，我们发现非对称模版匹配搜索能够准确地从纹理区域、光滑区域以及纹理和光滑混合型区域检测出伪造区域，当在图像中加入噪声以及改变图像亮度，本发明的非对称模板搜索仍能够从疑似区域有效地搜索出整个伪造区域。

具体步骤如下：

步骤(1)：通过SIFT算法检测出图像的SIFT特征点集，计算这些点集的SIFT特征向量；

步骤(2)：将步骤(1)所述的SIFT特征点集采用RANSAC算法进行匹配，滤除小于特征点相似阈值的点对，形成疑似复制区域和疑似粘贴区域的初始点集；

步骤(3)：运用步骤(2)所述的疑似复制区域和疑似粘贴区域的初始点集，进行疑似区域定位；

步骤(4)：将步骤(2)所述的疑似复制区域和疑似粘贴区域的初始点集利用非对称模板匹配搜索，判断当前检测点在非对称区域中的相似椭圆个数，根据匹配椭圆数目判定当前检测点类型，根据当前检测点的位置判定决定下一个待检测点的选取。

步骤(5)：将步骤(4)所述当前检测点的类型是全内点匹配、半内点匹配以及边界点匹配的点形成点集，确定伪造区域。

非对称模板

如图3所示，非对称模板由以当前检测点P为中心点的4对椭圆(A1，A2)、(B1，B2)、(C1，C2)、(D1，D2)的特征构成。非对称模板的每一对椭圆构成一个检测方向，当前检测点P的四个检测方向的特征判定决定了下一检测位置如何选取。本发明把非对称模板所覆盖区域称为非对称区域。

复制粘贴伪造检测需要根据待检测像素点对在非对称区域中的相似椭圆个数来判断该点对是否为复制粘贴伪造区域的点、以及该点对在疑似复制粘贴区域中的位置。本发明把待检测点分为内点和边界点，内点又分为半内点和全内点，如图4所示。设黑色边界线为复制粘贴区域的边界，阴影区域为疑似复制粘贴区域，非对称区域的中心点为待检测像素点。若非对称区域中至少有一个椭圆、至多有三个椭圆完全在疑似复制粘贴区域中，则该中心点称为边界点（图4(a)）；若非对称区域中至少有三个且少于八个椭圆完全包含在疑似复制粘贴区域中，则该中心点称为半内点（图4(b)）；若所有椭圆都包含在疑似复制粘贴区域时，则称P点为全内点(图4(c))。

非对称模板匹配

非对称搜索根据当前检测点的位置判定决定下一个待检测点的选取，包括根据非对称模板的相似椭圆数目判定当前检测点类型，评估非对称模板中哪些椭圆位于复制粘贴伪造区域，及搜索扩展方向。

设P1、P2为待检测点，其非对称区域为M1、M2，非对称模板进行匹配时会出现全内点、半内点、边界点和非伪造区域特征点四种情况，如图5所示。

图5（a）是全内点匹配示意图，条件：M1、M2中所有椭圆的相似度均大于阈值。检测点扩展：与P1、P2距离最远的点对作为下一个待检测点。伪造区域：M1所有椭圆覆盖点加入Mc，M2所有椭圆覆盖点加入M_p。

图5（b）是半内点匹配示意图，条件：存在多于三个且少于八个椭圆的相似度大于阈值。检测点扩展：与P₁、P₂距离最远的点对作为下一个待检测点。伪造区域：M₁中相似椭圆覆盖点加入M_c，M₂中相似椭圆覆盖点加入M_p。

图5（c）是边界点匹配示意图，条件：存在多于一个并且少于三个椭圆的相似度都大于阈值。检测点扩展：与P₁、P₂距离最远的点对作为下一个待检测点。伪造区域：M₁中相似椭圆覆盖点加入M_c，M₂中相似椭圆覆盖点加入M_p。

图5（d）是非伪造区域特征点示意图，条件：M₁、M₂中不存在相似度都大于阈值的椭圆。检测点扩展：空。伪造区域：M_c和M_p中不加入任何像素。

非对称模板匹配搜索是具有方向性的搜索，只需给定相似度阈值T_s，就能够准确定位检测点类型及哪些像素位于伪造区域，相似度阈值一般取大于0.5的数值；且只需确定疑似复制区域初始点集C中少量点，就可找到完整的复制粘贴伪造区域。Mc和Mp分别是检测的疑似复制和疑似粘贴区域的掩码图像。

非对称模板匹配和搜索算法

非对称模板匹配和搜索算法在输入图像I中搜索复制粘贴伪造区域，输出检测结果掩码图像I_m。算法主要包括SIFT特征点检测、疑似伪造区域定位和复制粘贴区域确定。

算法1：非对称模板匹配和搜索算法

输入：图像I，特征点相似阈值T₁，非对称模板椭圆相似阈值T_s。

输出：复制、粘贴伪造检测结果图像I_m。

1.检测SIFT极值点，计算SIFT特征向量。

2.用RANSAC算法匹配I的SIFT特征点，滤除<T₁的点对，形成复制区域初始点集C和粘帖区域初始点集P。把复制区域初始点集C的所有点加入到搜索队列L。

3.while L非空

3.1.P₁←取L首元素；

3.2.P₂←P₁在P内的对应点；

3.3.判断P₁和P₂的非对称模板的匹配椭圆个数

If全内点匹配或半内点匹配

Ⅰ.把每个匹配椭圆中与P₁最远的点加入L；

Ⅱ.在I_m中标记P₁和P₂的非对称模板匹配椭圆的覆盖区域；

Ⅲ.从L中移除P₁；

End if

If边界点匹配

Ⅰ.在I_m中标记P₁和P₂的非对称模板匹配椭圆的覆盖区域；

Ⅱ.从L中移除P₁；

End if

If非复制粘贴区域点

Ⅰ.从L中移除P₁；

End if

End while

算法中疑似区域C和P是根据SIFT算法生成的匹配点集，L是用于存放SIFT特征点及其扩展点的临时队列。算法根据非对称模板的匹配从四种搜索方式中选择其一进行扩展，标记复制粘贴区域，直到L为空为止。

Claims (1)

1.一种基于非对称模板搜索的快速伪造区域盲检测方法，其特征在于包括如下步骤：

步骤(1)：通过SIFT算法检测出待检测图像的SIFT特征点集，计算这些特征点集的SIFT特征向量；

步骤(2)：将步骤(1)所述的SIFT特征点集采用RANSAC算法进行匹配，滤除相似度小于特征点相似度阈值的特征点对，分别形成疑似复制区域的初始点集和疑似粘贴区域的初始点集，疑似复制区域初始点集中的每个特征点在疑似粘贴区域的初始点集中均存在一个唯一对应的特征点；

步骤(3)：将步骤(2)所述的疑似复制区域的初始点集和疑似粘贴区域的初始点集，利用非对称模板匹配搜索进行疑似区域定位，具体如下：

步骤001，在疑似复制区域初始点集中选取一个特征点P作为第一检测点，以该检测点P为中心点，在该检测点P的圆周范围内平均构造相互对称的4对椭圆，形成第一检测点的非对称模板；该非对称模板中椭圆的长轴取复制区域所有特征点之间距离的平均值的1/2，椭圆的长轴、短轴之比为2：1；

步骤002，在疑似粘贴区域初始点集选取与当前检测点P相对应的特征点P₁作为第二检测点，以该检测点P₁为中心点，在该检测点P₁的圆周范围内平均构造相互对称的4对椭圆，形成第二检测点的非对称模板；该非对称模板中椭圆的长轴取疑似粘贴区域所有特征点之间距离的平均值的1/2，椭圆的长轴、短轴之比为2：1；

上述非对称模板中的每一对椭圆构成一个检测方向；非对称模板所覆盖区域即为非对称区域；第一检测点P与第二检测点P₁构成一个检测点对；

步骤003，判断该检测点对所在非对称区域中的相似椭圆个数，根据匹配椭圆数目判定当前检测点对类型：

a，若该检测点对所对应的两个非对称区域中同时有一个以上、三个以下数量的椭圆完全包含在该检测点对各自所处的疑似复制区域或疑似粘贴区域中时，该检测点对为边界点匹配类型；

b，若该检测点对所对应的两个非对称区域中同时有三个以上、八个以下数量的椭圆完全包含在该检测点对各自所处的疑似复制区域或疑似粘贴区域中时，该检测点对为半内点匹配类型；

c，若该检测点对所对应的两个非对称区域中的所有椭圆同时均完全包含在该检测点对各自所处的疑似复制区域或疑似粘贴区域中时，该检测点对为全内点匹配类型；

d，若该检测点对所对应的两个非对称区域中的所有椭圆均不完全包含在该检测点对各自所处的疑似复制区域或疑似粘贴区域中时，该检测点对为非疑似伪造区域的特征点类型；

步骤004，当该检测点对的类型属于全内点匹配、半内点匹配或边界点匹配时，将该检测点对所对应的两个非对称区域中的所有点分别加入该检测点对各自所处的疑似复制区域或疑似粘贴区域，然后在疑似复制区域初始点集中选择与第一检测点距离最远的特征点作为下一个待检测点，返回执行步骤001；

当该检测点对的类型属于非疑似伪造区域的特征点类型时，将该检测点对分别从疑似复制区域、疑似粘贴区域初始点集中剔除，然后在疑似复制区域初始点集中选择与第一检测点距离最近的特征点作为下一个检测点，返回执行步骤001；

步骤(4)：重复步骤001至004，直至疑似复制区域的初始点集和疑似粘贴区域的初始点集中的所有特征点均完成检测，形成复制粘贴区域特征点集，最终确定伪造区域。

Images