CN108335290B - 一种基于liop特征与块匹配的图像区域复制篡改检测方法 - Google Patents

Abstract

本发明主要针对数字图像的取证领域，更具体地，涉及一种基于LIOP特征与块匹配的图像区域复制篡改检测方法。本发明将基于特征点及基于分块两类方法相结合，融合两类方法的优势；首先选取LIOP特征作为图像特征提取算法，相比其他特征，能够更好地应对旋转、缩放、JPEG压缩、添加噪声等情况；特征匹配之后，使用新的匹配对表达模型对匹配对进行表达并筛选，去除冗余的匹配对，使得精确度提高，计算复杂度降低。根据匹配对进行图像切割并分块提取特征后，使用了块匹配算法对篡改进行匹配，最后进行精确定位；本算法检测精度高，同时对各种类型图像复制粘贴篡改如旋转、缩放、加噪声、压缩等，都有着很好的效果。

Description

一种基于LIOP特征与块匹配的图像区域复制篡改检测方法

技术领域

本发明主要针对数字图像的取证领域，更具体地，涉及一种基于LIOP特征与块匹配的图像区域复制篡改检测方法。

背景技术

数字图像是作为现今最重要的一种数字媒体资源，在当今社会扮演着重要的角色。在各种领域中，包括网络、新闻媒体以及法庭证据等，都大量的使用着数字图像。而随着各种图像编辑软件变得越来越易用，即使在没有很多专业知识的情况下，人们依然能够便捷的编辑或修改数字图像。如果这些被编辑或修改的图像在大众中传播或用于重要场合，很可能会误导人们，造成不良的后果。所以数字图像取证技术成为了一种热门的研究领域。

图像区域复制粘贴篡改检测作为数字图像取证中一个重要的分支，吸引了不少学者进行研究。图像区域复制粘贴篡改是通过复制图像中的一个或多个区域，粘贴到同一张图像中的其他区域，以达到遮盖或者修改原有图像中的信息的目的。同时为了使得篡改难以发现及检测，复制粘贴区域还很可能经过缩放、旋转、加噪声以及压缩等处理，使得检测的难度大大增加。

现有的图像区域复制粘贴篡改检测的技术路线主要分为两类：基于分块的检测算法和基于特征点的检测算法。基于分块的检测算法的时间复杂度都一般更高，因为图像重叠分块使得计算量大增，但其通过选用不同的特征，对于加噪声以及JPEG压缩等有比较好的效果。相反的，基于特征点的检测算法的时间复杂度相对更低，同时对旋转、缩放等有着很好的效果。无论是哪一类检测算法，其核心都在特征的选取、匹配策列以及后处理等问题上。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于LIOP特征与块匹配的图像区域复制篡改检测方法，能够精确定位篡改区域，同时对旋转、缩放、多重复制等都有着良好的效果。

为解决上述问题，本发明提供的技术方案为：一种基于LIOP特征与块匹配的图像区域复制篡改检测方法，其中，包括以下步骤：

S1.检测DoG关键点：对于待检测的图像，构造DoG尺度空间，在DoG尺度空间中找寻极值点作为关键点，并把关键点定位于图像上；

S2.提取LIOP特征向量：把步骤S1获取的每个关键点区域规范化成圆形区域，根据像素值将区域分割为B个子区间，每个子区间的所有像素的像素值都在相应区间段之内，区域内每个像素的描述子通过该像素周围采样点的灰度信息来计算得到，通过将局部顺序区间内所有像素点的描述子串联起来构成LIOP特征向量；

S3.匹配特征：对于步骤S2中提取出来的每个特征向量，计算其与其它所有特征向量之间的欧式距离，并按照从小到大排序；计算最近邻d₁和次近邻d₂之间的比值，如果比值小于ε，其中∈的取值可根据实际情况设定为0.5至0.7之间的数值，则认为距离为d₁的两个特征匹配，构成匹配对；

S4.转换匹配对模型并过滤：在匹配对的两个特征点中，确定其中的一个特征点为起始点(x₁,y₁)，对应特征点为终点(x₂,y₂)，将匹配对表达为四维空间M∈{x₁,y₁,x₂-x₁,y₂-y₁|x₁,x₂,y₁,y₂∈R}中的点，并确保相邻的匹配对使用相同一侧的特征点作为起始点，将四维空间M的每一维都划分为相同大小的区间，大小取为μ，则各维度上不同区间的组合将四维空间M划分为相同大小的矩形四维子空间集，对于落在同一子空间的点的数量σ，若σ>1，则随机选择其中的一个点进行保留，去除掉其他的点；

S5.切割图像并分块提取Zernike特征：若存在有效的匹配对，则对于每一个匹配对，以匹配对的两个特征点坐标为中心点，切割出两个α×α大小的矩形图像，以b×b为窗口，其中b小于α，以1为步进，遍历图像并将分割出的图像有重叠的进行分块，对每个分块，计算其5阶Zernike矩系数，生成一个12维特征向量作为该分块的特征；

S6.进行块匹配：以Zernike矩系数为准，对切割出的两个对应的图像块A和B进行匹配，首先随机初始化匹配，A中的点随机匹配到B中的点，然后通过迭代的传播以及随机搜索对匹配进行不断优化，每一次迭代方向为从左上到右下以及从右下到左上交替进行，最后获得A到B的匹配结果，通过相同的方式获得B到A的匹配，最终获得两个不同方向的块匹配结果；

S7.定位复制区域：以每个像素为中心，m×m为大小，计算矩阵方差D_e，对于矩阵方差D_e小于Δ的像素，则认为是属于待选篡改区域；对两个块匹配结果，可分别获得A中的待选篡改区域Γ_A以及B中的区域Γ_B，然后根据块匹配算法的结果，将待选篡改区域的点一一映射到对应区域，得到B中的Γ′_A以及A中的Γ′_B，最后定位区域为Γ_A∩Γ′_B以及Γ_B∩Γ′_A，将所有匹配对的结果进行整合，并应用形态学操作以滤除杂乱点，生成最终的检测结果图。

在本发明中，首次使用了LIOP特征作为图像特征点的提取方法来进行复制粘贴篡改检测。LIOP特征是一种图像局部像素顺序特征，通过对像素值进行划分，并使用旋转不变的方式构造特征向量，使得LIOP特征具有良好的匹配性能，同时对关键点区域的预先处理，也使得LIOP特征对噪声或模糊有不错的效果。

进一步地，所述的S2步骤中特征向量构造过程包括以下步骤：

S21.在每一个区间中，以关键点O为中心，半径为R＝6的圆内，对像素值进行采样来构造特征向量；对于圆内某任一坐标点x，以x为中心，r＝2为半径再做一个小圆，并以

方向为y轴，过点x并垂直

的方向为x轴，x为原点构造直角坐标系，以小圆中远离关键点O并与y轴相交的点作为起始点，按顺时针方向在圆上均匀采样N个点；

S22.用以上方式采样N个点得到像素值序列P(x)＝{I₁，I₂，...，I_N}，将像素值从小到大进行排序并标上序号，然后可得到序列P_γ(x)＝{γ(I₁)，γ(I₂)，...，γ(I_N)}，γ(i)表示像素值为i的像素点在像素值序列P(x)中的序号；

S23.将所有种可能的序列进行编号，一共有N！种可能的序列，根据P_γ的值得到其编号Index(P_γ)，将Index(P_γ)按照以下公式向量化为一个N！维的向量，

公式(1)中，

是只有第Index(P_γ)位为1，其余均为0的N！维的向量，则点x的描述子构造为：

S24.将各个子区间内的所有点的描述子进行相加，得到子区间的描述子，最后将所有子区间的描述子按顺序排列构成LIOP特征向量：

公式(3)中，B表示子区间的数量，des_i表示第i个子区间的描述子，bin_i表示第i个子区间。

进一步地，所述的S6步骤中块匹配的每一次迭代的传播过程包括以下步骤：

S601.对于图像块A中的任意坐标a，a匹配到了B中的坐标f(a)，其中f为匹配的映射函数，为a准备的新备选匹配为f(a-Δ_p)+Δ_p，其中Δ_p的值为(0，1)、(1，0)、(-1，0)、(0，-1)、(-1，-1)、(1，1)、(-1，1)以及(-1，1)；

S602.定义以下距离函数D(Z(a)，Z(f(a)))，其中Z(x)为取相应坐标的Zernike系数，D(x，y)为求Zernike系数x与y的欧式距离；

S603.以距离函数D为依据，选取备选匹配中与坐标a的Zemike系数欧式距离最小的作为新的匹配。

进一步地，所述的S6步骤中块匹配的每一次迭代的随机搜索过程包括以下步骤：

S611.以a匹配到的B中的坐标f(a)为中心，r^k(k＝1，2，3，...，n)为圆半径，且n为使得rⁿ为B中可容纳的圆的最大半径，然后随机在圆中选取点；

S612.以距离函数D为依据，如果坐标a与随机点的Zemike系数欧式距离小于当前匹配点，则a更新为匹配到随机点。

进一步地，所述的S7步骤中矩阵方差的计算方法为：

S71.在m×m大小的矩阵下，分别按行和按列将矩阵值进行相加，得到长度相同的一个列向量和一个行向量，分别对向量的值按以下公式计算方差：

在公式(4)中，X_i为向量中的值，

为该向量的均值；

S72.将x分量以及y分量上的方差再进行加和平均，得到最后总的方差。

与现有技术相比，有益效果是：本发明将基于特征点及基于分块两类方法相结合，融合两类方法的优势；首先选取LIOP特征作为图像特征提取算法，相比其他特征，能够更好地应对旋转、缩放、JPEG压缩、添加噪声等情况；特征匹配之后，使用新的匹配对表达模型对匹配对进行表达并筛选，去除冗余的匹配对，使得精确度提高，计算复杂度降低。根据匹配对进行图像切割并分块提取特征后，使用了块匹配算法对篡改进行匹配，最后进行精确定位；本算法检测精度高，同时对各种类型图像复制粘贴篡改如旋转、缩放、加噪声、压缩等，都有着很好的效果。

附图说明

图1为本发明的方法流程图。

图2为本发明实施例中待检测的图像。

图3为本发明实施例中检测效果图。

具体实施方式

如图1所示，一种基于LIOP特征与块匹配的图像区域复制篡改检测方法，其中，包括以下步骤：

步骤1.检测DoG关键点：对于待检测的图像，构造DoG尺度空间，在DoG尺度空间中找寻极值点作为关键点，并把关键点定位于图像上；

步骤2.提取LIOP特征向量：把步骤S1获取的每个关键点区域规范化成圆形区域，根据像素值将区域分割为B个子区间，每个子区间的所有像素的像素值都在相应区间段之内，区域内每个像素的描述子通过该像素周围采样点的灰度信息来计算得到，通过将局部顺序区间内所有像素点的描述子串联起来构成LIOP特征向量；

其中，特征向量构造过程包括以下步骤：

S21.在每一个区间中，以关键点O为中心，半径为R＝6的圆内，对像素值进行采样来构造特征向量；对于圆内某任一坐标点x，以x为中心，r＝2为半径再做一个小圆，并以

方向为y轴，过点x并垂直

的方向为x轴，x为原点构造直角坐标系，以小圆中远离关键点O并与y轴相交的点作为起始点，按顺时针方向在圆上均匀采样N个点；

S22.用以上方式采样N个点得到像素值序列P(x)＝{I₁，I₂，...，I_N}，将像素值从小到大进行排序并标上序号，然后可得到序列P_γ(x)＝{γ(I₁)，γ(I₂)，...，γ(I_N)}，γ(i)表示像素值为i的像素点在像素值序列P(x)中的序号；

S23.将所有种可能的序列进行编号，一共有N！种可能的序列，根据P_γ的值得到其编号Index(P_γ)，将Index(P_γ)按照以下公式向量化为一个N！维的向量，

公式(1)中，

是只有第Index(P_γ)位为1，其余均为0的N！维的向量，则点x的描述子构造为：

S24.将各个子区间内的所有点的描述子进行相加，得到子区间的描述子，最后将所有子区间的描述子按顺序排列构成LIOP特征向量：

公式(3)中，B表示子区间的数量，des_i表示第i个子区间的描述子，bin_i表示第i个子区间。

步骤3.匹配特征：对于步骤S2中提取出来的每个特征向量，计算其与其它所有特征向量之间的欧式距离，并按照从小到大排序；计算最近邻d₁和次近邻d₂之间的比值，如果比值小于ε，其中∈的取值可根据实际情况设定为0.5至0.7之间的数值，则认为距离为d₁的两个特征匹配，构成匹配对；

步骤4.转换匹配对模型并过滤：在匹配对的两个特征点中，确定其中的一个特征点为起始点(x₁，y₁)，对应特征点为终点(x₂，y₂)，将匹配对表达为四维空间M∈{x₁，y₁，x₂-x₁，y₂-y₁|x₁，x₂，y₁，y₂∈R}中的点，并确保相邻的匹配对使用相同一侧的特征点作为起始点，将四维空间M的每一维都划分为相同大小的区间，大小取为μ，则各维度上不同区间的组合将四维空间M划分为相同大小的矩形四维子空间集，对于落在同一子空间的点的数量σ，若σ＞1，则随机选择其中的一个点进行保留，去除掉其他的点；

步骤5.切割图像并分块提取Zernike特征：若存在有效的匹配对，则对于每一个匹配对，以匹配对的两个特征点坐标为中心点，切割出两个α×α大小的矩形图像，以b×b为窗口，以1为步进，遍历图像并将分割出的图像有重叠的进行分块，对每个分块，其中b小于α，计算其5阶Zernike矩系数，生成一个12维特征向量作为该分块的特征；

步骤6.进行块匹配：以Zernike矩系数为准，对切割出的两个对应的图像块A和B进行匹配，首先随机初始化匹配，A中的点随机匹配到B中的点，然后通过迭代的传播以及随机搜索对匹配进行不断优化，每一次迭代方向为从左上到右下以及从右下到左上交替进行，最后获得A到B的匹配结果，通过相同的方式获得B到A的匹配，最终获得两个不同方向的块匹配结果；

其中，块匹配的每一次迭代的传播过程包括以下步骤：

S601.对于图像块A中的任意坐标a，a匹配到了B中的坐标f(a)，其中f为匹配的映射函数，为a准备的新备选匹配为f(a-Δ_p)+Δ_p，其中Δ_p的值为(0，1)、(1，0)、(-1，0)、(0，-1)、(-1，-1)、(1，1)、(-1，1)以及(-1，1)；

S602.定义以下距离函数D(Z(a)，Z(f(a)))，其中Z(x)为取相应坐标的Zernike系数，D(x，y)为求Zernike系数x与y的欧式距离；

S603.以距离函数D为依据，选取备选匹配中与坐标a的Zernike系数欧式距离最小的作为新的匹配。

另外，块匹配的每一次迭代的随机搜索过程包括以下步骤：

S611.以a匹配到的B中的坐标f(a)为中心，r^k(k＝1，2，3，...，n)为圆半径，且n为使得rⁿ为B中可容纳的圆的最大半径，然后随机在圆中选取点；

S612.以距离函数D为依据，如果坐标a与随机点的Zernike系数欧式距离小于当前匹配点，则a更新为匹配到随机点。

步骤7.定位复制区域：以每个像素为中心，m×m为大小，计算矩阵方差D_e，对于矩阵方差D_e小于Δ的像素，则认为是属于待选篡改区域；对两个块匹配结果，可分别获得A中的待选篡改区域Γ_A以及B中的区域Γ_B，然后根据块匹配算法的结果，将待选篡改区域的点一一映射到对应区域，得到B中的Γ′_A以及A中的Γ′_B，最后定位区域为Γ_A∩Γ′_B以及Γ_B∩Γ′_A，将所有匹配对的结果进行整合，并应用形态学操作以滤除杂乱点，生成最终的检测结果图。

在本发明中，首次使用了LIOP特征作为图像特征点的提取方法来进行复制粘贴篡改检测。LIOP特征是一种图像局部像素顺序特征，通过对像素值进行划分，并使用旋转不变的方式构造特征向量，使得LIOP特征具有良好的匹配性能，同时对关键点区域的预先处理，也使得LIOP特征对噪声或模糊有不错的效果。

本发明对基于特征点及基于分块两类方法相结合，融合两类方法的优势。首先选取LIOP特征作为图像特征提取算法，相比其他特征，能够更好地应对旋转、缩放、JPEG压缩、添加噪声等情况。特征匹配之后，使用新的匹配对表达模型对匹配对进行表达并筛选，去除冗余的匹配对，使得精确度提高，计算复杂度降低。根据匹配对进行图像切割并分块提取特征后，使用了块匹配算法对篡改进行匹配，最后进行精确定位。相比于传统的基于块检测算法，本算法检测精度高，同时对各种类型图像复制粘贴篡改如旋转、缩放、加噪声、压缩等，都有着很好的效果。

如图2、图3所示，该基于LIOP特征与块匹配相结合的图像区域复制粘贴篡改检测方法的实验效果，图2为待检测的图像，篡改区域在图中用粗线标出；图3为本发明算法的实际检测效果图，从图中可以明显地看出篡改区域被精确地标定出。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于LIOP特征与块匹配的图像区域复制篡改检测方法，其特征在于，包括以下步骤：

S1.检测DoG关键点：对于待检测的图像，构造DoG尺度空间，在DoG尺度空间中找寻极值点作为关键点，并把关键点定位于图像上；

S2.提取LIOP特征向量：把步骤S1获取的每个关键点区域规范化成圆形区域，根据像素值将区域分割为B个子区间，每个子区间的所有像素的像素值都在相应区间段之内，区域内每个像素的描述子通过该像素周围采样点的灰度信息来计算得到，通过将局部顺序区间内所有像素点的描述子串联起来构成LIOP特征向量；

S3.匹配特征：对于步骤S2中提取出来的每个特征向量，计算其与其它所有特征向量之间的欧式距离，并按照从小到大排序；计算最近邻d₁和次近邻d₂之间的比值，如果比值小于ε，其中∈的取值可根据实际情况设定为0.5至0.7之间的数值，则认为距离为d₁的两个特征匹配，构成匹配对；

S4.转换匹配对模型并过滤：在匹配对的两个特征点中，确定其中的一个特征点为起始点(x₁,y₁)，对应特征点为终点(x₂,y₂)，将匹配对表达为四维空间M∈{x₁,y₁,x₂-x₁,y₂-y₁|x₁,x₂,y₁,y₂∈R}中的点，并确保相邻的匹配对使用相同一侧的特征点作为起始点，将四维空间M的每一维都划分为相同大小的区间，大小取为μ，则各维度上不同区间的组合将四维空间M划分为相同大小的矩形四维子空间集，对于落在同一子空间的点的数量σ，若σ>1，则随机选择其中的一个点进行保留，去除掉其他的点；

S5.切割图像并分块提取Zernike特征：若存在有效的匹配对，则对于每一个匹配对，以匹配对的两个特征点坐标为中心点，切割出两个α×α大小的矩形图像，以b×b为窗口，其中b小于α，以1为步进，遍历图像并将分割出的图像有重叠的进行分块，对每个分块，计算其5阶Zernike矩系数，生成一个12维特征向量作为该分块的特征；

S6.进行块匹配：以Zernike矩系数为准，对切割出的两个对应的图像块A和B进行匹配，首先随机初始化匹配，A中的点随机匹配到B中的点，然后通过迭代的传播以及随机搜索对匹配进行不断优化，每一次迭代方向为从左上到右下以及从右下到左上交替进行，最后获得A到B的匹配结果，通过相同的方式获得B到A的匹配，最终获得两个不同方向的块匹配结果；

S7.定位复制区域：以每个像素为中心，m×m为大小，计算矩阵方差D_e，对于矩阵方差D_e小于Δ的像素，则认为是属于待选篡改区域；对两个块匹配结果，可分别获得A中的待选篡改区域Γ_A以及B中的区域Γ_B，然后根据块匹配算法的结果，将待选篡改区域的点一一映射到对应区域，得到B中的Γ′_A以及A中的Γ′_B，最后定位区域为Γ_A∩Γ′_B以及Γ_B∩Γ′_A，将所有匹配对的结果进行整合，并应用形态学操作以滤除杂乱点，生成最终的检测结果图。

2.根据权利要求1所述的一种基于LIOP特征与块匹配的图像区域复制篡改检测方法，其特征在于，所述的S2步骤中特征向量构造过程包括以下步骤：

S21.在每一个区间中，以关键点O为中心，半径为R＝6的圆内，对像素值进行采样来构造特征向量；对于圆内某任一坐标点x，以x为中心，r＝2为半径再做一个小圆，并以

方向为y轴，过点x并垂直

的方向为x轴，x为原点构造直角坐标系，以小圆中远离关键点O并与y轴相交的点作为起始点，按顺时针方向在圆上均匀采样N个点；

S22.用以上方式采样N个点得到像素值序列P(x)＝{I₁，I₂，...，I_N}，将像素值从小到大进行排序并标上序号，然后可得到序列P_γ(x)＝{γ(I₁)，γ(I₂)，...，γ(I_N)}，γ(i)表示像素值为i的像素点在像素值序列P(x)中的序号；

S23.将所有种可能的序列进行编号，一共有N！种可能的序列，根据P_γ的值得到其编号Index(P_γ)，将Index(P_γ)按照以下公式向量化为一个N！维的向量，

公式(1)中，

是只有第Index(P_γ)位为1，其余均为0的N！维的向量，则点x的描述子构造为：

S24.将各个子区间内的所有点的描述子进行相加，得到子区间的描述子，最后将所有子区间的描述子按顺序排列构成LIOP特征向量：

LIOP＝(des₁，des₂...，des_B)

公式(3)中，B表示子区间的数量，des_i表示第i个子区间的描述子，bin_i表示第i个子区间。

3.根据权利要求1或2所述的一种基于LIOP特征与块匹配的图像区域复制篡改检测方法，其特征在于，所述的S6步骤中块匹配的每一次迭代的传播过程包括以下步骤：

S601.对于图像块A中的任意坐标a，a匹配到了B中的坐标f(a)，其中f为匹配的映射函数，为a准备的新备选匹配为f(a-Δ_p)+Δ_p，其中Δ_p的值为(0，1)、(1，0)、(-1，0)、(0，-1)、(-1，-1)、(1，1)、(-1，1)以及(-1，1)；

S602.定义以下距离函数D(Z(a)，Z(f(a)))，其中Z(x)为取相应坐标的Zernike系数，D(x，y)为求Zernike系数x与y的欧式距离；

S603.以距离函数D为依据，选取备选匹配中与坐标a的Zemike系数欧式距离最小的作为新的匹配。

4.根据权利要求3所述的一种基于LIOP特征与块匹配的图像区域复制篡改检测方法，其特征在于，所述的S6步骤中块匹配的每一次迭代的随机搜索过程包括以下步骤：

S611.以a匹配到的B中的坐标f(a)为中心，r^k(k＝1，2，3，...，n)为圆半径，且n为使得rⁿ为B中可容纳的圆的最大半径，然后随机在圆中选取点；

S612.以距离函数D为依据，如果坐标a与随机点的Zernike系数欧式距离小于当前匹配点，则a更新为匹配到随机点。

5.根据权利要求4所述的一种基于LIOP特征与块匹配的图像区域复制篡改检测方法，其特征在于，所述的S7步骤中矩阵方差的计算方法为：

S71.在m×m大小的矩阵下，分别按行和按列将矩阵值进行相加，得到长度相同的一个列向量和一个行向量，分别对向量的值按以下公式计算方差：

在公式(4)中，X_i为向量中的值，

为该向量的均值；

S72.将x分量以及y分量上的方差再进行加和平均，得到最后总的方差。

Images