CN109903302A - 一种用于拼接图像的篡改检测方法 - Google Patents

Abstract

本申请公开了一种用于拼接图像的篡改检测方法，包括：第1步，将待检测图像分成多个图像块的预处理；第2步，估算原始图像模式；第3步，利用边缘检测算子进行篡改定位检测。本发明提供的拼接图像篡改检测方法能够基于颜色滤波阵列特性，利用颜色滤波阵列插值所引入的图像像素间的周期性相关模式的变化或差异性特点，进行拼接图像篡改检测，不仅能够检测出图像是否被拼接篡改，而且能够检测被篡改区域的位置；在篡改定位阶段由于引进了Canny算子，使算法具有较高的篡改定位精度，即可以精确地定位出被篡改区域的边缘，并有效地拟制了虚假边缘；对内容保持的图像处理操作如JPEG压缩、不同类型的滤波、加噪处理等，具有较好的鲁棒性。

Description

一种用于拼接图像的篡改检测方法

本申请是申请日为2015年6月25日，申请号为201510358703.6，发明名 称为“基于颜色滤波阵列特性的拼接图像篡改检测方法”的中国发明专利的分 案申请。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种用于拼接图像的篡改检测 方法，更具体地，涉及一种基于颜色滤波阵列特性的用于拼接图像的篡改检测 方法。

背景技术

在数字成像技术日新月异的发展过程中，数码照片被应用在我们的生活中 的各个方面。然而，各种各样图像处理软件的广泛应用，可以方便地对图像进 行一些处理操作，如局部修改、拼接、润饰等计算机处理，使得篡改图像无处 不在，造成了数字图像的内容真实性变得不再可靠，无法作为一些法律案件、 新闻传媒、科研成果、医疗诊断以及金融事件的强有力的证据。因此，如何检 测数字图像内容的真实性已成为近年来法律界和信息产业界所面临的一个重要 的热点问题和迫切需要解决的难点问题。展开对数字图像内容真实性的研究， 对维护互联网的公共信任秩序、维护法律公正、新闻诚信、科学诚信等，具有 十分重要的意义。

图像拼接是一种最普遍的图像篡改技术，是指把不同图像的部分内容拼接 在一起生成合成图像，以伪造不存在的场景。拼接后的图像往往进行了一些后 处理，如模糊、添加噪声、JPEG压缩，旋转/缩放等几何操作，以制造以假乱 真的效果，使得人眼根本无法辨别真伪，机器识别也变得更加困难。

对于数码相机获取的全彩色图像，颜色滤波阵列(Color Filter Array，简称CFA)的运用为拼接图像的检测提供了理论基础：即CFA插值操作使图像相邻 像素间具有相关性，拼接操作会破坏或者改变这种相关性模式。因此，可以通 过在图像中检测这种相关模式的改变来追踪拼接伪造的痕迹。

首次将CFA插值所引入的图像相邻像素之间的周期性应用于数字图像篡 改检测的方法出现在Popescu和Farid的文献中，作者首先估计了CFA插值模 型的系数及插值后验概率图，并对后验概率图进行二维离散傅里叶变换，实现 了空域到频域的转换，最后通过观察峰值的分布是否具有周期性实现篡改检测， 该方法能够检测图像是否经历了拼接篡改，但不能检测被拼接的区域，而且对 JPEG压缩不具有鲁棒性。除此之外，Dirik和Memon基于CFA的结构特征也 提出了两种篡改检测方法：第一种，由于不同模式结构的CFA，通过插值得到 的像素的残留误差不同，由此就可以判断待检测图像所使用的CFA模式结构， 进而实现篡改检测与定位；第二种，给定一种相同模式结构的CFA，计算与之 对应的由传感器直接获得的像素和由CFA插值得到的像素位置处的噪声强度 比，最终实现篡改检测定位。这两种方法的不足之处也在于对JPEG压缩不具 有鲁棒性。

通过大量调研我们发现，现有的基于CFA插值模式的图像拼接检测方法仍 存在许多缺点，主要体现在两个方面：一是一些算法只能检测出图像是否经过 了拼接操作，但无法确定被伪造区域的位置；二是一些算法虽然可以确定被伪 造区域的位置，但对于JPEG压缩的鲁棒性较差，而JPEG是一种常用的图像 压缩格式，目前使用的很多图像都是JPEG格式。因此，现存方法远远不能够 满足图像取证的实际需求，发明篡改检测率高，篡改定位准确并且鲁棒的取证 方法迫在眉睫。

发明内容

本发明的目的在于提供一种基于颜色滤波阵列特性的拼接图像篡改检测方 法，解决了现有技术中不能精确定位被拼接的图像区域以及算法不具有鲁棒性 的问题，其能够准确定位出拼接伪造的数字图像区域，并对于JPEG压缩、添 加噪声、滤波、伽马校正等内容保持的图像处理操作具有鲁棒性。

本发明提供了一种用于拼接图像的篡改检测方法，其特征在于，包括以下 步骤：

第1步，将待检测图像分成多个图像块的预处理；

第2步，估算原始图像模式；

第3步，利用边缘检测算子进行篡改定位检测；

其中，在所述第1步中将待检测图像分成多个图像块的预处理时，所述待 测图像按像素点分为M×N大小的矩阵I，采用CFA差值模型将待检测图像的 绿色分量记为I_CFA，将I_CFA划分为不重叠的64×64的图像块，即得到M×N/64²个图像块，用表示第k块：

所述第2步中估算原始图像模式时将I_CFA的像素分为M₁和M₂两类，其中M₁表示通过插值得到的像素值，M₂表示通过传感器直接获得的像素值，I_CFA(m,n)表 示插值点(m,n)处的像素值。

所述第2步包括：

第2.1步，对每一个图像块中插值点(m,n)处的像素值建立线 性插值模型：

其中，参数参数r(m,n)是服从均值为0、方差为σ²正态分布的残余误差；

第2.2步，对参数进行初始化，令N₀＝1，即与其相邻的8个像素 值相关，方差σ＝2，属于M₂的条件概率为P₀＝1/256，对每一个图像 块利用EM算法估算出其插值系数，记为计算所有的平均值，记为

第2.3步，利用构造最终的插值系数矩阵，记为H：

第2.4步，记绿色分量I_CFA插值点(m,n)的邻域矩阵为

第2.5步，利用最终的插值系数矩阵H和差值点(m,n)邻域矩阵得到原 始图像模式I'_CFA内的像素值I'_CFA(m,n)：

在所述第2.2步中，利用EM算法估算插值系数的步骤如下：

以两步迭代为过程，最终收敛为目的，分为E步和M步，E步估计插值点 (m,n)属于M₁或M₂的概率，M步估计和σ²，进而估计出相邻像素间相关性的 具体模式。

本发明的拼接图像篡改检测方法能够基于颜色滤波阵列特性，利用颜色滤 波阵列插值所引入的图像像素间的周期性相关模式的变化或差异性特点，进行 拼接图像篡改检测，解决了现有技术中不能精确定位被拼接的图像区域以及算 法不具有鲁棒性的问题，并具有以下有益效果：

(1)不仅能够检测出图像是否被拼接篡改，而且能够检测被篡改区域的位 置；

(2)在篡改定位阶段由于引进了Canny算子，使算法具有较高的篡改定 位精度，即可以精确地定位出被篡改区域的边缘，并有效地拟制了虚假边缘；

(3)对内容保持的图像处理操作如不同质量因子的JPEG压缩、不同类型 的滤波、加噪处理等，具有较好的鲁棒性。根据下文结合附图对本申请的具体 实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、 优点和特征。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分， 本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限 定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实 施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人 员应该理解的是，这些附图未必是按比例绘制的。在附图中：

图1a是本发明的一个实施例的原始测试图像；

图1b是图1a中拼接了其他图像部分内容生成的拼接篡改图像；

图1c是对图1b的检测结果图像；

图2a是本发明的另一实施例的原始测试图像；

图2b是图2a中拼接了其他图像部分内容生成的拼接篡改图像；

图2c是对图2b的检测结果图像；

图3a是来自CISDED图像库的原始图像；

图3b是在图3a中拼接了其他图像部分内容生成拼接篡改图像后再进行 JPEG(QF＝80)压缩后的图像；

图3c是对图3b的检测结果图像；

图4a是本发明的另一实施例的原始测试图像；

图4b是在图4a中拼接了其他图像部分内容生成拼接篡改图像后再进行 JPEG(QF＝60)压缩后的图像；

图4c是对图4b的检测结果图像；

图5a是本发明的另一实施例的原始测试图像；

图5b是在图5a中拼接了其他图像部分内容生成拼接篡改图像后再进行 JPEG(QF＝40)压缩后的图像；

图5c是对图5b的检测结果图像；

图6a是本发明的另一实施例的原始测试图像；

图6b是在图6a中拼接了其他图像部分内容生成拼接篡改图像后再进行 median(3×3)滤波后的图像；

图6c是对图6b的检测结果图像；

图7a是本发明的另一实施例的原始测试图像；

图7b是在图7a中拼接了其他图像部分内容生成拼接篡改图像后再进行 wiener(3×3)滤波后的图像；

图7c是对图7b的检测结果图像；

图8a是本发明的另一实施例的原始测试图像；

图8b是在图8a中拼接了其他图像部分内容生成拼接篡改图像后再加入椒 盐噪声(噪声因子为0.0006)后的图像；

图8c是对图8b的检测结果图像；

图9a是本发明的另一实施例的原始测试图像；

图9b是在图9a中拼接了其他图像部分内容生成拼接篡改图像后再加入椒 盐噪声(噪声因子为0.001)后的图像；

图9c是对图9b的检测结果图像；

图10a是本发明的另一实施例的原始测试图像；

图10b是在图10a中拼接了其他图像部分内容生成拼接篡改图像后再进行 伽马校正(校正因子为0.8)后的图像；

图10c是对图10b的检测结果图像。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施 例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申 请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、 “第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。 应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实 施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括” 和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了 一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那 些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或 设备固有的其它步骤或单元。

本发明提供的基于颜色滤波阵列特性的拼接图像篡改检测方法，包括以下 步骤：

第1步，将待检测图像分成多个图像块的预处理：

将待测图像按像素点分为M×N大小的矩阵I，采用CFA差值模型将待检 测图像的绿色分量记为I_CFA，将I_CFA划分为不重叠的64×64的图像块，即得到 M×N/64²个图像块，用表示第k块：

第2步，估算原始图像模式：

将I_CFA的像素分为M₁和M₂两类，其中M₁表示通过插值得到的像素值，M₂表 示通过传感器直接获得的像素值，I_CFA(m,n)表示插值点(m,n)处的像素值。具体 步骤如下：

第2.1步，对每一个图像块中插值点(m,n)处的像素值建立线 性插值模型：

其中，参数参数r(m,n)是服从均值为0、方差为σ²正态分布的残余误差。

第2.2步，对参数进行初始化，令N₀＝1，即与其相邻的8个像素 值相关，方差σ＝2，属于M₂的条件概率为P₀＝1/256，对每一个图像 块利用EM算法估算出其插值系数，记为具体地利用EM算法估算 插值系数的步骤如下：

由于上述模型的系数v和残余误差的方差σ²，一般用极大似然估计来估计， 为了解决极大似然估计的迭代问题，使用期望最大化(简称EM)算法求得。 该算法以两步迭代为过程，最终收敛为目的，分为E步和M步，E步估计插值 点(m,n)属于M₁或M₂的概率，M步估计和σ²，进而估计出相邻像素间相关性 的具体模式。

E步，已知插值点(m,n)处的像素值I_CFA(m,n)，由贝叶斯法则可以得到 I_CFA(m,n)属于M₁的后验概率表示如下：

这里假设先验概率Pr{I_CFA(m，n)∈M₁}和Pr{I_CFA(m，n)∈M₂}是常数并令初 始值为1/2，I_CFA(m,n)属于M₂的条件概率P₀≡Pr{I_CFA(m，n)|I_CFA(m，n)∈M₂}服从 均匀分布，即P₀等于I_CFA(m,n)可能取值范围的倒数，I_CFA(m,n)属于M₁的条件概 率P(m,n)≡Pr{I_CFA(m,n)|I_CFA(m,n)∈M₁}表示如下：

其中，该步在估计模型系数时，第一次迭代的模型系数是随机选取的；

M步，通过对下面的二次误差函数进行最小化，使用加权最小二乘法重新 估算出一组稳定的模型系数

其中，代表差值点像素值的残余误差，w(m,n)≡Pr{I_CFA(m,n)∈M₁|I_CFA(m,n)}，即I_CFA(m,n)属于M₁的后验概率。

对中的一个元素求偏导，并设得如下两个线性方程：

整理等式左边可得：

对中所有的元素求偏导，就可以得到由一系列线性方程构成的方程组， 对该方程组求解并带入初始化赋值即可重新得到一组系数。

为了得到稳定的系数，在E步和M步迭代过程中，对于第a次迭代，若则不稳定，令a＝a+1；否则，停止迭代，为最终求得 的稳定的插值系数

为了使插值系数更稳定、更精确，因此计算所有的平均值，记为

第2.3步，利用构造最终的插值系数矩阵，记为H：

第2.4步，记绿色分量I_CFA插值点(m,n)的邻域矩阵为

第2.5步，利用最终的插值系数矩阵H和差值点(m,n)邻域矩阵得到原 始图像模式I'_CFA内的像素值I'_CFA(m,n)：

第3步，由于图像拼接会引入来自其它图像的区域，不同图像的CFA插值 模式可能不尽相同，因此若测试图像为拼接图像，则其估算的原始图像模式I'_CFA中会存在不一致的区域。根据这一原理，结合I'_CFA和Canny算子检测拼接/合成 图像的篡改区域。所述第3步利用边缘检测算子进行篡改定位检测具体步骤如 下：

第3.1步，定义新矩阵I_C，其元素为I_CFA与I'_CFA的对应元素差的平方：

第3.2步，对I_C进行二值化处理得到I'_C，然后利用Canny边缘检测算子对I'_C进行边缘检测，得到初步篡改定位结果I_L：

I_L＝E(I'_C,'canny') (8)。

第3.3步，将初步篡改定位结果I_L使用形态学闭运算进行处理，得到最终 的篡改定位结果I_Lend：

I_Lend＝imclose(I_L，SE) (9)，

其中，其中，SE是结构元素。

本发明的实验验证过程及结果如下：

(1)篡改定位视觉效果

本实验的目的是测试本发明的基于颜色滤波阵列特性的拼接图像篡改检测 方法的准确性。实验所使用的图像选自国际通用的Columbia Image Splicing DetectionEvaluation Dataset[4](CISDED)图像数据库，用本发明的基于颜色滤波 阵列特性的拼接图像篡改检测方法对包含有不同大小拼接/合成区域的测试图 像进行检测，实验步骤如下：

①图像预处理：提取待检测图像的绿色通道，对绿色通过图像分块，得到 图像块

②估计图像模式：首先，对建立线性插值模型；然后，利用EM算法 计算每个的一组模型系数计算所有的平均值并作为最终的插值 系数；最后，通过对I_CFA进行双线性插值，估计得出I'_CFA；

③篡改定位：用I_CFA和I'_CFA建立矩阵I_C，接着用Canny算子对I_C进行边缘检 测，定位出拼接区域，最终利用形态学处理定位结果。

本实验的目的是为了展示本发明的基于颜色滤波阵列特性的拼接图像篡改 检测方法的效果，即检测被拼接区域的位置的能力。实验中测试了大量大小不 同的图像，图1a至图10c展示了实验结果，其中，用本发明的篡改定位方法检 测出的拼接区域用二值图标出(注：原图是彩色的，很醒目，目前不醒目的原因 是因为灰度图像造成的)。图1a为原始图像(来自CISDED)，图1b为图1a的拼 接/合成篡改图像(来自CISDED)，其中的拼接区域是人眼视觉容易识别的，图 1c为图1b的检测结果图像；图2b为图2a的拼接/合成篡改图像(其中，图2a 和图2b均来自CISDED)，图2c分别为图2b的检测结果。

由实验结果可以看出，本发明的基于颜色滤波阵列特性的拼接图像篡改检 测方法对恶意篡改很敏感，而且能够精确地检测被拼接区域的位置。

(2)对常规图像处理操作的鲁棒性实验

常规图像处理操作是指内容保持的图像处理操作。本实验目的是检测本发 明的基于颜色滤波阵列特性的拼接图像篡改检测方法对内容保持的图像处理操 作具有鲁棒性。

为此，我们选用CISDED数据库中的图像和部分自主获得的图像，选用的 图像的特点是其拼接/合成篡改不易被肉眼察觉，需要利用定位算法定位出拼接 区域。实验中对经历了不同的内容保持性图像处理操作的图像进行检测：

图3a是来自CISDED图像库的原始图像，图3b是在图3a中拼接了其它图 像的部分内容生成拼接篡改图像，再进行JPEG(QF＝80)压缩图像，图3c是图 3b的检测结果图像；

图4a是来自CISDED图像库的原始测试图像，图4b是在图4a中拼接了其 它图像的部分内容生成拼接篡改图像，再进行JPEG(QF＝60)压缩生成的图像， 图4c是图4b的检测结果图像；

图5a是自主获取的原始测试图像，图5b是在图5a中拼接了其它图像的部 分内容生成拼接篡改图像，再进行JPEG(QF＝40)压缩生成的图像，图5c是图 5b的检测结果图像；

图6a是来自CISDED图像库的原始测试图像，图6b是在图6a中拼接了其 它图像的部分内容生成拼接篡改图像，再进行median(3×3)滤波生成的图像， 图6c是图6b的检测结果图像；

图7a是自主获取的原始测试图像，图7b是在图7a中拼接了其它图像的部 分内容生成拼接篡改图像，再进行wiener(3×3)滤波后的图像，图7c是图7b 的检测结果图像；

图8a是来自CISDED图像库的原始测试图像，图8b是在图8a中拼接了其 它图像的部分内容生成拼接篡改图像，再加入椒盐噪声(噪声因子为0.0006)生 成的图像，图8c是图8b的检测结果图像；

图9a是自主获得的原始测试图像，图9b是在图9a中拼接了其它图像的部 分内容生成拼接篡改图像，再加入椒盐噪声(噪声因子为0.001)生成的图像，图 9c是图9b的测试结果图像；

图10a是来自CISDED图像库的原始测试图像，图10b是在图10a中拼接 了其它图像的部分内容生成拼接篡改图像，再进行伽马校正(矫正因子为0.8)生 成的图像，图10c是图10b的检测结果图像。

由实验结果可以看出，本发明的基于颜色滤波阵列特性的拼接图像篡改检 测方法具有较好的鲁棒性。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易 想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护 范围应该以权利要求的保护范围为准。

Claims (5)

1.一种用于拼接图像的篡改检测方法，其特征在于，包括以下步骤：

第1步，将待检测图像分成多个图像块的预处理；

第2步，估算原始图像模式；

第3步，利用边缘检测算子进行篡改定位检测；

其中，在所述第1步中将待检测图像分成多个图像块的预处理时，所述待测图像按像素点分为M×N大小的矩阵I，采用CFA差值模型将待检测图像的绿色分量记为I_CFA，将I_CFA划分为不重叠的64×64的图像块，即得到M×N/64²个图像块，用表示第k块：

所述第2步中估算原始图像模式时将I_CFA的像素分为M₁和M₂两类，其中M₁表示通过插值得到的像素值，M₂表示通过传感器直接获得的像素值，I_CFA(m,n)表示插值点(m,n)处的像素值。

所述第2步包括：

第2.1步，对每一个图像块中插值点(m,n)处的像素值建立线性插值模型：

其中，参数参数r(m,n)是服从均值为0、方差为σ²正态分布的残余误差；

第2.2步，对参数进行初始化，令N₀＝1，即与其相邻的8个像素值相关，方差σ＝2，属于M₂的条件概率为P₀＝1/256，对每一个图像块利用EM算法估算出其插值系数，记为计算所有的平均值，记为

第2.3步，利用构造最终的插值系数矩阵，记为H：

第2.4步，记绿色分量I_CFA插值点(m,n)的邻域矩阵为

第2.5步，利用最终的插值系数矩阵H和差值点(m,n)邻域矩阵得到原始图像模式I'_CFA内的像素值I'_CFA(m,n)：

在所述第2.2步中，利用EM算法估算插值系数的步骤如下：

以两步迭代为过程，最终收敛为目的，分为E步和M步，E步估计插值点(m,n)属于M₁或M₂的概率，M步估计和σ²，进而估计出相邻像素间相关性的具体模式。

2.根据权利要求1所述的方法，其特征在于，所述第3步利用边缘检测算子进行篡改定位检测具体步骤如下：

第3.1步，定义新矩阵I_C，其元素为I_CFA与I'_CFA的对应元素差的平方：

第3.2步，对I_C进行二值化处理得到I'_C，然后利用Canny边缘检测算子对I'_C进行边缘检测，得到初步篡改定位结果I_L：

I_L＝E(I'_C,'canny') (8)。

3.根据权利要求1或2所述的方法，其特征在于，所述第3步还包括：

第3.3步，将初步篡改定位结果I_L使用形态学闭运算进行处理，得到最终的篡改定位结果I_Lend：

I_Lend＝imclose(I_L，SE) (9)，

其中，其中，SE是结构元素。

4.根据权利要求1所述的方法，其特征在于，所述E步包括：

已知插值点(m,n)处的像素值I_CFA(m,n)，由贝叶斯法则得到I_CFA(m,n)属于M₁的后验概率表示如下：

假设先验概率Pr{I_CFA(m，n)∈M₁}和Pr{I_CFA(m，n)∈M₂}是常数并令初始值为1/2，I_CFA(m,n)属于M₂的条件概率P₀≡Pr{I_CFA(m，n)|I_CFA(m，n)∈M₂}服从均匀分布，即P₀等于I_CFA(m,n)可能取值范围的倒数，I_CFA(m,n)属于M₁的条件概率P(m,n)≡Pr{I_CFA(m,n)|I_CFA(m,n)∈M₁}表示如下：

其中，该步在估计模型系数时，第一次迭代的模型系数是随机选取的。

5.根据权利要求1所述的方法，其特征在于，所述M步包括：

通过对下面的二次误差函数进行最小化，使用加权最小二乘法重新估算出一组稳定的模型系数

其中，代表差值点像素值的残余误差，w(m,n)≡Pr{I_CFA(m,n)∈M₁|I_CFA(m,n)}，即I_CFA(m,n)属于M₁的后验概率；

对中的一个元素求偏导，并设得如下两个线性方程：

整理等式左边可得：

对中所有的元素求偏导，得到由一系列线性方程构成的方程组，对该方程组求解并带入初始化赋值即重新得到一组系数。