CN111008955B - 多尺度图像块匹配的快速复制粘贴篡改检测方法 - Google Patents

Abstract

本发明公开了一种多尺度图像块匹配的快速复制粘贴篡改检测方法，涉及数字图像处理技术领域。本文发明利用复制粘贴篡改的特点，在Patch‑Match上进行多尺度空间建模。在多尺度Patch‑Match中，不同尺度的输出被视为先验概率，用作引导下一个尺度检测中的初始化、反射偏移量和传播。由于利用复制粘贴篡改的特点，在多尺度Patch‑Match的过程中可以实现指导性搜索，保证了高效性，减少了单尺度Patch‑Match多次迭代所造成的时间浪费。本发明应用了多尺度Patch‑Match的优点，有效地减少了计算时间复杂度并适用于实际应用。

Description

多尺度图像块匹配的快速复制粘贴篡改检测方法

技术领域

本发明属于数字图像处理技术领域。具体是一种基于多尺度图像块匹配的快速复制粘贴篡改检测方法。

背景技术

随着数字图像处理工具的发展，例如，“Photoshop”、“3DS Max”等，都可以轻松篡改数字图像。篡改的主要目的是改变图像的内容，降低图像的可靠性。但在许多重要场合都不合适，例如法院和军方。因此，篡改检测方法有效且快速地将篡改图像与原始图像区分开来是至关重要的。近年来研究人员针对上述问题做出了大量的研究并取得了不俗成绩,但是仍然有不少问题需要解决。比如当检测高分辨率图像时，篡改检测的计算复杂度仍然很高。

复制粘贴篡改是指复制原始图像的一部分并将其粘贴在同一图像中。简单的复制粘贴篡改不足以使篡改区域与原始图像在颜色、纹理、亮度等方面保持一致。为了消除复制粘贴篡改的痕迹，经常应用一些后处理操作，例如对比度增强、旋转、缩放、压缩等方法。针对检测篡改图像，目前已经呈现了很多方法。所有检测方法大致分为三个步骤：a)特征提取，b)特征匹配，c)后处理。根据所使用的提取特征区域的类型，复制粘贴篡改检测方法一般分为三类：即基于块的方法，基于关键点的方法和基于分割的方法。

基于块的方法使用离散余弦变换(DCT,Discrete Cosine Transform)、离散小波变换(DWT,Discrete Wavelet Transform)、方向梯度直方图(HOG,Histogram ofOrientation Gradient)、主成分分析(PCA,Principle Component Analysis)、KrawtchoukMoment、Zernike moments、Fourier-Mellin Transform、Polar Complex ExponentialTransform Moment and YCbCr color以及DAISY descriptor来提取特征。然后进行特征匹配和后处理。最后，定位篡改区域。我们可以发现，上述所有方法都是通过减少特征向量的维度来降低计算复杂度，但特征匹配却采用穷举搜索。他们的实验结果表明，这些方法的计算复杂度不高，这是因为它们的图像分辨率相对较低。相反，如果在他们的方法中使用高分辨率图像，其计算复杂度并不理想。为了解决这个问题，许多研究人员提出了基于关键点的方法。他们主要采用尺度不变特征变换(SIFT，Scale-Invariant Feature Transform)和加速鲁棒特征(SURF，Speeded Up Robust Features)来提取关键点。由于SIFT和SURF只是提取特征点(即关键点)，故匹配的速度大大提高，但它们的匹配策略仍然采用的是穷举搜索。穷举搜索带来了计算复杂度的负担。为了弥补基于块的方法和基于关键点方法的不足，随后研究人员又提出了一些基于分割的方法。输入图像被分成超像素，然后从超像素中提取SIFT关键点以进行匹配。计算复杂度取决于分割算法和超像素的初始大小。现有基于分割的方法的匹配策略也使用穷举搜索。从上述方法中，我们可以得出结论：大多数现有的复制粘贴篡改检测方法采用的匹配策略是穷举搜索。尽管穷举搜索是有效的，但是篡改图像通常存在大量的像素对，当输入高分辨率图像时，穷举搜索太耗时。

发明内容

针对以上现有技术的不足，本发明提供了一种有效减少计算时间复杂度的多尺度图像块匹配的快速复制粘贴篡改检测方法。本发明的多尺度图像块匹配的快速复制粘贴篡改检测方法主要是在Patch-Match上进行多尺度建模。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

1)将输入图像进行下采样处理，得到三个尺度的图像，即小尺度图像，中尺度图像和大尺度图像；所述下采样采处理包括通过最大池化对输入图像进行二次下采样。

2)采用Patch-Match对小尺度图像进行预定位处理。

3)对中尺度图像和大尺度图像进行多尺度Patch-Match处理，获得可疑的篡改区域。

4)应用后处理定位最终的篡改区域。

具体地，所述步骤2)中的预定位处理包括以下步骤：

S21在初始化中，偏移量是随机初始化的，定义ANNF(Approximate NearestNeighbor Field近似最近邻域)为关于偏移量的函数O(a_n)→R²，R²为偏移量。其涉及图像I中的所有可能的块坐标；给定图像中的块坐标a₁(x,y)及其在同一图像中对应的最近邻域坐标a₂(x,y)，像素a₁当前偏移量O(a₁)，由下式给出：

O(a₁)＝a₂(x,y)-a₁(x,y)

S22搜索每个像素的所有邻域，通过与邻域进行比较来传播最佳偏移，像素a_n的当前偏移为O(a_n)，通过邻域z来更新当前偏移量，通过下式更新像素的当前偏移量：

O(a_n')＝argminD(O(a_n),O(z))

其中z∈{(x±1,y),(x,y±1)}，D(*)表示图像块的欧式距离，x,y分别表示图像块的横坐标和纵坐标。

进一步，所述多尺度Patch-Match处理包括以下步骤：

S31只初始化未出现在先前尺度图像中的像素；

S32计算反射偏移量，定义为：

其中，θ是偏移量O(a₁)和O(a₂)之间的夹角，ReO(a₁)是反射偏移量，表示O(a₁)与O(a₂)之间的相似度；

S33在特征匹配中，使用反射偏移量和偏移量来共同定位复制粘贴篡改区域，反射偏移量用于引导传播最佳偏移量来进行特征匹配；特征匹配中，使用反射偏移量来确定像素a_n的当前最佳偏移量，定义为:

CurrentO(a_n)＝argmin{ReO(a₁),ReO(a₂)}

其中，CurrentO(a_n)表示a_n的当前最佳偏移量，ReO(a₁),ReO(a₂)分别表示a₁，a₂的反射偏移量。

S34通过将已知的偏移量传播到邻域，来更新其最佳偏移。

上述方案中，在每次传播偏移量之后都进行随机搜索，通过下式选择新的候选邻域：

O_i＝O(a_n)+2^i-1R_i

其中，R_i是一个随机数，R_i∈[-1,1]×[-1,1]，2^i-1小于图像长度和宽度中的最大值；i＝1,2,...L，例如，输入图像的大小为3264×2448，则L＝11。O_i表示最终的最佳偏移量。

本发明的优点如下：

1.在Patch-Match上进行多尺度空间建模；Patch-Match仅用于小尺度图像,多尺度Patch-Match处理中尺度图像和大尺度图像。

2.适用于检测高分辨率的篡改图像。

3.Patch-Match通过与邻域进行比较来传播最佳偏移，即小尺度图像中的每个像素将被随机初始化。多尺度Patch-Match在初始化中尺度图像和大尺度图像时，保持在先前尺度上初始化的像素不变，只初始化未出现在在先前尺度的像素。有效减少计算时间复杂度。

附图说明

图1为本发明的处理过程示意图；

图2为本发明初始化的过程；

图3为本发明多尺度Patch-Match的传播过程。

具体实施方式

参见图1，本发明的处理过程包括以下步骤：

101、首先将输入图像进行下采样，得到三个尺度的图像，分别为小尺度图像，中尺度图像和大尺度图像；

102、Patch-Match应用于小尺度图像，此步骤称为预定位；

103、多尺度Patch-Match的方法用于中尺度图像和大尺度图像，此步骤获得可疑的篡改区域；

104、应用后处理定位最终的篡改区域。

所述步骤102中的Patch-Match，具体包括如下步骤：

1)、在初始化中，偏移量是随机初始化的。定义ANNF(Approximate NearestNeighbor Field)为关于偏移量的函数O(a_n)→R²，R²偏移量，其涉及图像I中的所有可能的块坐标(块中心的位置)，即O(a_n)∈R²，与每个像素。给定图像中的块坐标a₁(x,y)及其在同一图像中对应的最近邻域坐标a₂(x,y)，像素a₁当前偏移量，由下式给出：

O(a₁)＝a₂(x,y)-a₁(x,y)

2)、Patch-Match的主要目的是通过与邻域(邻域也称为候选者)进行比较来传播最佳偏移。从上到下和从左到右扫描图像，假设像素a_n的当前偏移量为O(a_n)，通过邻域z来更新当前偏移量，通过下式更新像素的当前偏移量：

O(a_n')＝argminD(O(a_n),O(z))

其中z∈{(x±1,y),(x,y±1)}，D(*)表示图像块的欧式距离。

3)、每次传播之后都进行随机搜索，以避免陷入局部极小值。通过下式选择新的候选邻域：

O_i＝O(a_n)+2^i-1R_i

其中，R_i是一个随机数，R_i∈[-1,1]×[-1,1]，2^i-1小于图像长度和宽度中的最大值；i＝1,2,...L，例如，输入图像的大小为3264×2448，则L＝11。O_i表示最终的最佳偏移量。

进一步的，所述步骤103中多尺度Patch-Match，具体包括如下步骤：

1)、在初始化阶段，Patch-Match(在步骤102中提到)仅用于小尺度图像,即小尺度图像中的每个像素将被随机初始化。在初始化中尺度图像和大尺度图像时，本发明采用的方法是保持在先前尺度上初始化的像素不变，只初始化未出现在在先前尺度的像素，初始化过程如图2所示在(a)中，假设菱形表示在最小尺度上需要初始化的像素，平行四边形表示最小尺度上的偏移。在(b)中，正方形表示在中尺度上需要初始化的像素，圆圈表示中尺度上的偏移(圆圈全部被初始化)。当前偏移量由下式定义：

O(x,y)→R²

其中，Ω表示前一个尺度的像素。类似地，在输入图像I中给定图像块的坐标a₁(x,y)和它相应的最近邻域a₂(x,y)。O(a₁)表示a₁当前的偏移量，由步骤102中的计算公式给出。在初始化阶段，大多数初始偏移量都是无用的，但是很可能有一定数量的偏移量是最佳的偏移量或接近最佳的偏移量。

2)、计算反射偏移量。首先，通过偏移量O计算反射偏移量ReO，计算反射偏移量的目的是更好地引导传播最佳偏移量，以便优化匹配特征对。给定像素a₁，通过公式O(a_n)→R²得到近似最近邻域(ANNF)为a₂。类似地，对于a₂，我们可以获得近似最近邻域(ANNF)a₃。反射偏移量定义为：

其中θ是偏移量O(a₁)和O(a₂)之间的夹角。反射偏移量ReO(a₁)表示O(a₁)与O(a₂)之间的相似度，ReO(a₁)的值越小表示相似度越高。

3)、然后，在特征匹配中，使用上式中的反射偏移量ReO和按步骤102中1)计算的偏移量O来共同定位复制粘贴篡改区域，反射偏移量用于引导传播最佳偏移量来进行特征匹配。假设a的偏移量为O(a₁),O(a₂)。使用反射偏移量来确定像素a_n的当前最佳偏移量，定义为:

CurrentO(a_n)＝argmin{ReO(a₁),ReO(a₂)}

其中，CurrentO(a_n)表示a_n的当前最佳偏移量，a₁,a₂表示图像块中的像素，(在我们的实验中图像块大小为4×4，像素位于图像块的左上角)。

4)、传播的目的是基于当前最佳的偏移量进行传播以便搜索到最终的最佳偏移量。在Patch-Match算法中，通过像素a与候选偏移量O(z)比较进行传播的，与Patch-Match算法不同的是，多尺度Patch-Match算法是通过已知的偏移量(小尺度图像)来传播到邻域，而不是通过搜索每个像素的所有邻域(从上到下，从左到右)来更新其最佳偏移。即，如果A与a匹配，则A的邻域B与a的邻域b匹配，如图3所示。类似地，其他邻域以相同的方式传播。在发明的方法中，用一个线性模型拟合最佳偏移量O(x,y)。假设O(x₁,y₁)为O(x,y)的最佳偏移量；

O(x,y)→O(x₁,y₁)

O(x±1,y)→O(x₁±1,y₁)

或者

O(x,y)→O(x₁,y₁)

O(x,y±1)→O(x₁,y₁±1)

104、应用后处理定位最终的篡改区域。应用形态学操作进行后处理。

在前面的实施例中，介绍了本发明提出的多尺度Patch-Match算法，通过计算偏移量和反射偏移量，该算法可以快速准确地实现复制粘贴篡改检测。一旦搜索到图像块当前的最佳偏移，则当前最佳偏移将快速传播到其他图像块，然后扩充到整个图像找到所有匹配的图像块，最后定位篡改区域。更重要的是，在每一次传播以后都会有随机搜索阶段，即使在传播阶段存在局部最优解，也可以进行优化。计算偏移量，反射偏移量，传播和随机搜索的目的是找到最佳偏移量。算法将迭代地执行这些步骤，直到程序收敛(在我们的实验中迭代次数＝4)。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.多尺度图像块匹配的快速复制粘贴篡改检测方法，其特征在于，包括以下步骤：

1)将输入图像进行下采样处理，得到三个尺度的图像，即小尺度图像，中尺度图像和大尺度图像；

2)采用Patch-Match对小尺度图像进行预定位处理；

3)对中尺度图像和大尺度图像进行多尺度Patch-Match处理，获得可疑的篡改区域；所述多尺度Patch-Match处理包括以下步骤：

S31只初始化未出现在先前尺度图像中的像素；

S32计算反射偏移量，定义为：

其中，θ是偏移量O(a₁)和O(a₂)之间的夹角，ReO(a₁)是反射偏移量，表示O(a₁)与O(a₂)之间的相似度；

S33在特征匹配中，使用反射偏移量和偏移量来共同定位复制粘贴篡改区域，反射偏移量用于引导传播最佳偏移量来进行特征匹配；

S34通过将已知的偏移量传播到邻域，来更新其最佳偏移；

4)应用后处理定位最终的篡改区域。

2.根据权利要求1所述多尺度图像块匹配的快速复制粘贴篡改检测方法，其特征在于：所述下采样处理包括通过最大池化对输入图像进行二次下采样。

3.根据权利要求1所述多尺度图像块匹配的快速复制粘贴篡改检测方法，其特征在于：所述步骤2)中的预定位处理包括以下步骤：

S21在初始化中，偏移量是随机初始化的，定义ANNF为关于偏移量的函数O(a_n)→R²，R²为偏移量，其涉及图像I中的所有可能的块坐标；给定图像中的块坐标a₁(x,y)及其在同一图像中对应的最近邻域坐标a₂(x,y)，像素a₁当前偏移量O(a₁)，由下式给出：

O(a₁)＝a₂(x,y)-a₁(x,y)

S22搜索每个像素的所有邻域，通过与邻域进行比较来传播最佳偏移量，像素a_n的当前偏移为O(a_n)，通过邻域z来更新当前偏移量，通过下式更新像素的当前偏移量：

O(a_n')＝arg min D(O(a_n),O(z))

其中z∈{(x±1,y),(x,y±1)}，D(*)表示图像块的欧式距离，x,y分别表示分别图像块的横坐标和纵坐标。

4.根据权利要求1所述多尺度图像块匹配的快速复制粘贴篡改检测方法，其特征在于：所述S33中的特征匹配，使用反射偏移量来确定像素a_n的当前最佳偏移量，定义为:

CurrentO(a_n)＝arg min{ReO(a₁),ReO(a₂)}

其中，CurrentO(a_n)表示a_n的当前最佳偏移量，ReO(a₁),ReO(a₂)分别表示a₁，a₂的反射偏移量。

5.根据权利要求3或4所述多尺度图像块匹配的快速复制粘贴篡改检测方法，其特征在于：在每次传播偏移量之后都进行随机搜索，通过下式选择新的候选邻域：

O_i＝O(a_n)+2^i-1R_i

其中，R_i是一个随机数，R_i∈[-1,1]×[-1,1]，2^i-1小于图像长度和宽度中的最大值；i＝1,2,...L；O_i表示最终的最佳偏移量。

Images