CN100481872C - 基于色调模式的检测多种篡改的数字图像取证方法 - Google Patents

Abstract

本发明属于信号与信息处理技术领域，涉及到一种检测多种数字图像篡改的取证方法。其特征在于基于数码相机内部的信号处理过程为图像各颜色通道的像素之间引入的独特的相关性，分析其造成的色调分布的独特模式，并量化色调模式的频谱特征，进而对一幅数码照片是否经过篡改进行检测。本发明的效果益处是能够有效地检测出数码照片所经过的各种篡改，并对遭到篡改的像素块进行局部定位。本发明适用于信息安全领域。

Description

基于色调模式的检测多种篡改的数字图像取证方法

技术领域

本发明属于信号与信息处理技术领域，涉及到检测数码照片原始性的数字图像取证方法，特别涉及到基于色调模式的检测多种篡改的数字图像取证方法。

背景技术

数字图像取证技术用来判断一幅图像来源的可靠性和内容的完整性与真实性。目前现有的数字图像取证技术可分为两大类：一类从篡改操作的属性出发，基于各种篡改操作为图像引入的新的特性设计算法，此类技术包括Hany Farid和Popescu提出的利用最大似然估计(Expectation Maximization，EM)检测重采样和CFA的方法[1]，基于PCA检测单幅图像中块复制粘贴的方法[2]，以及Shih-Fu Chang提出的利用信号高阶统计特征中的归一化的双一致性，暨双谱特征来检测不同图像中块复制粘贴的方法[3]。然而，一幅足以以假乱真的篡改作品往往会结合多种篡改操作，各种操作对图像的影响会相互制约，使得此类检测技术在实际应用中往往得不到好的效果。另一类技术从原始图像本身的属性出发，试图寻找原始图像所共有的、而在篡改操作中很难保持的统计特征作为算法设计的基础，如Hany Farid在[4]中提出的利用CFA特性鉴别原始未篡改图像的方法，在[5]中提出的利用高阶小波统计特性进行原始未篡改图像分类的方法，以及Jessica Fridrich提出的利用传感器模式噪声鉴别原始图像和篡改图像的方法[6]。由于后者的应用范围更加广泛，因此随着取证技术的发展，越来越多的研究者选择后一种着眼点，本方法属于后一类。

较有代表性的已公开的技术文献有以下6篇：

[1].Popescu A C.Statistical tools for digital forensics：[dissertation].Hanover：Dartmouth College，2004.

[2].Popescu A C，Farid H.Exposing digital forgeries by detecting duplicatedimage regions，regions.Technical Report TR2004-515，Department ofComputer Science，Dartmouth College，2004.

http://www.cs.dartmouth.edu/farid/publications/tr04.pdf

[3].Ng TT，Chang SF，Sun QB.Blind detection of photomontage using higherorder statistics.IEEE International Symposium on Circuits and Systems，Canada，2004：688-691.

[4].Popescu A C，Farid H.Exposing digital forgeries in color filter arrayinterpolated images.IEEE Transactions on Signal Processing，2005，vol 53，no.10：3948-3959.

[5].Lyu，SW.Natural image statistics for digital image forensics：[dissertation].Hanover：Dartmouth College，2005.

[6].Lukas J，Fridrich J，Goljan M.Detectingdigital image forgeries using sensorpattern noise.SPIE Electronic Imaging，Photonics West，2006.

发明内容

本发明的目的是利用原始数码照片特有的色调模式，通过提取色调模式的频域特征作为检测数字图像原始性的判决量，分析其变化规律来对数码照片进行取证。

本发明的技术方案如下：

1.数码相机的图像信号处理过程

虽然各厂商生产的数码相机的内部结构属于商业秘密而往往不予公开，而实际上数码相机中图像信号的处理流程大同小异，如图1所示。被拍摄场景的光首先通过相机镜头及光学滤波器，然后到达图像传感器。图像传感器是每一部数码相机的核心，传统相机和数码相机的主要区别从此开始。图像传感器的感光器件有CCD和CMOS两类(目前以CCD为主)，主要作用是将光信号转换成电信号，随即经由A/D转换器采样为数字信号。图像传感器被分成许多很小的整齐排列的图像单元(即像素)收集光子，器件本身只能接受光强灰度信息，数码相机接受的彩色信息则是通过彩色CCD或者CMOS感光器前的彩色滤波器阵列(Color Filter Array，简称CFA)来实现的。CFA是由彩色滤波器镶嵌而成，在每一像素位置，CFA都将阻挡某些频率的进入，而只允许一种颜色的光通过。下文将会对CFA做更多详细的说明。

如果传感器应用了CFA，在得到传感器输出的数字信号后，还将应用插值操作，从而在每个像素位置都能获得三基色的信息(有些数码相机使用的是其他基色，道理相同)。随后得到的图像信号还可能通过颜色修正和白平衡，从而进一步增强图像的视觉效果。最后，数字图像以用户指定的文件形式写入记忆设备中。这里可能还将进行另外的数据压缩操作等，比如JPEG压缩。

每一幅数码相机拍摄得到的数字图像都将经由上述信号处理过程，最终以数字形式保留在存储设备中。因此无论图像的内容如何千差万别，在图像数据中都会不可避免地存在数码相机内部信号处理过程所遗留下来的痕迹，其中CFA插值是对图像颜色的影响意义最大，因为CFA插值是几乎每幅照片必经的处理过程，而其他操作则是视具体情况而定的。

上面我们提到，在每个像素位置，只配有一个感光器件(CCD或CMOS)实际获得一种颜色通道内的像素值。每个像素位置通过什么颜色的光，取决于彩色滤波器阵列(CFA)在该位置的滤波器的种类，最常见的CFA结构如图2所示。

每个像素位置缺失的颜色将通过插值得到。一般地，像素单位面积远远小于图像重要的细节分量的面积，因此，可以认为在小的邻域范围内像素颜色是连续变化的，因此每个像素位置缺失的颜色可以利用局部邻域内其他像素颜色值插值得到。实际中不同的数码相应用的插值方法不同，遵循的原则不同，有基于色调缓慢变化的原则进行插值的，有根据梯度判断边缘走向从而沿边缘进行插值的，还有基于更复杂原则的自适应插值算法等。无论使用哪一种算法，当前像素位置缺失的某一颜色值都可看作是其邻域内传感器实际获得的各颜色像素值的某种组合，即

$X_{\mathrm{ij}}=f_{x_{\mathrm{ij}}}\left(\{r,g,b:r,g,b\∈N_{\mathrm{\δ}}(i,j)\}\right)---\left(1\right)$

上式中X_ij表示在像素位置i，j处缺失的颜色值，X可以为R，G或B，大写的RGB表示原本缺失通过插值得来的某一通道内的像素值，小写r，g，b表示感光器件实得像素值，N_δ(i，j)表示以i，j为中心的邻域，

是这一位置的插值函数。无疑，插值过程为邻域像素颜色值之间引入了相关性。另外，由于CFA的排列结构往往是具周期性的，如图2所示的三色Bayer CFA及其基本单元。在每一单元内部的各像素位置上所需的插值函数不同，但是每一单元对应的插值函数的集合是相同的。由于CFA插值函数周期作用于原始照片上，因此CFA插值过程为局部邻域内像素颜色值引入的相关性也具有周期性。

Farid等在文献[4]中通过EM算法探求CFA插值在RGB各通道内所引入的周期相关性，而没有考虑RGB各通道间邻域像素值的相关性。本文跳出常用的RGB模型，在色调域中讨论CFA插值所带来的相关性。对此申请人基于以下的考虑：

许多颜色模型都将颜色分为亮度信息和色度信息，如YUV，YCbCr，YSI等。其中色度(色调和饱和度)是与混合光谱中的主要光波长相联系的，而物体对哪些光谱反射较多，通常是由其物理属性所决定的。因此，在同一物体的内部，由于物理属性的连续性，其色调变化是缓慢的。事实上有如下公认的假设：自然图像的色调在景物内部是连续变化的，在小的局部邻域范围内可以认为变化很小，可以近似为零。正因为如此，色度信息在图像数据压缩和图像分割领域内有着广泛的应用。JPG图像压缩标准在对图像进行压缩前首先将图像转换到YCbCr空间，是因为图像在Cb，Cr空间中保存的色调信息变化缓慢，因此可以为每2*2或每1*2个相邻像素保留一个Cb和Cr值，作为减少图像数据量的手段之一。很多分割算法也利用物体内部色调变化缓慢这一事实，从而可以更容易找到有效的分割门限，如基于肤色的人脸提取[]。然而，本义利用色调域的目的与前述图像压缩与分割领域的应用目的不同，我们看到，既然自然景物的色调是缓慢变化的，并且像素单位面积远远小于图像较为重要的细节分量的面积，那么相邻像素色调值的微小的变化就应该不是图像内容造成的，而将主要反映了CFA插值对像素值的影响。

另外，由于像素单位面积远远小于图像较为重要的细节分量的面积，因此如果我们研究相邻像素的差值，那么大多数差值应该处于物体的内部，此时自然景物的色调变化对其影响一定不是主要的，由于大部分像显然，而是相机CFA插值造成的。因此，我们决定研究色调域内相邻像素差的分布，试图在其中寻找CFA插值留下的痕迹。

2.反映邻域像素颜色相关性的Cb域色调变化模式

在上一节中，申请人分析了CFA插值会为图像邻域像素值之间引入周期出现的相关性，另一方面分析了将色调域内像素差的分布作为研究手段的可行性。下面，我们就将以YCbCr颜色空间的Cb域为例，进行实验与理论分析。我们试图证明的是，Cb域内相邻像素的色调变化具有其特有的模式，它由相邻像素间的相关性造成，并且对于由一部相机拍摄的一组照片，这一分布的模式稳定，可以作为数字图像取证的证据。

在Cb域内进行研究之前，我们先进行一个简易的假设实验证明邻域像素值间的相关性。

首先我们知道，图像在RGB三通道内的相邻像素差值的概率分布可以用Laplace分布很好的拟合，图3是图像R通道内相邻像素差值的概率分布图，以及用Laplace分布拟合的结果(G、B通道分布类似)。拟合公式为：

$f\left(x\right)=L\left(x\right)=\frac{a}{2}{e}^{-a\left|x\right|}---\left(2\right)$

如果数码相机没有CFA插值过程，每个像素的三个通道内的像素值都由图像传感器直接获得，那么此时RGB三通道内相邻像素差的分布应该是彼此独立的，则根据概率公式，对于每一对相邻像素，三个通道内的值差的和Δs＝Δr+Δg+Δb的分布应该等于RGB域内值差分布的卷积¹：

$f\left(\mathrm{\Δs}\right)=f\left(\mathrm{\Δr}\right)*f\left(\mathrm{\Δg}\right)*f\left(\mathrm{\Δb}\right)=L\left(\mathrm{\Δr}\right)*L\left(\mathrm{\Δg}\right)*L\left(\mathrm{\Δb}\right)$

$=\∫\∫L\left(\mathrm{\Δr}\right)L\left(\mathrm{\Δg}\right)L(\mathrm{\Δs}-\mathrm{\Δr}-\mathrm{\Δg})\mathrm{d\Δrd\Δg}$

$=\frac{a^3}{8}\∫\∫e^{-a[\left|\mathrm{\Δr}\right|+\left|\mathrm{\Δg}\right|+|\mathrm{\Δs}-\mathrm{\Δr}-\mathrm{\Δg}|]}\mathrm{d\Δrd\Δg}$

$=\frac{1}{16}(a^3{\mathrm{\Δs}}^2+3a\left|\mathrm{\Δs}\right|+3-a)e^{-a\left|\mathrm{\Δs}\right|}---\left(3\right)$

¹实际中，RGB三通道的Laplace拟合参数a不完全相同，但是相差很小。因此此处认为近似相同。另外，实际上应该为卷积和，此处用积分近似。

如图4中红色曲线所示为卷积分布，而实际上，三通道内值差的和的分布如图中蓝色曲线所示。而两种分布出现如此大出入的主要原因即是实际中邻域像素具有CFA插值所造成的相关性，卷积操作的假设独立的条件不成立。

YCbCr颜色空间同RGB颜色空间的转换公式如(4)所示：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}0.2990& 0.5870& 0.1140\\ -0.1687& -0.3313& 0.5000\\ 0.5000& -0.4187& -0.0813\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(4\right)$

根据式(4)，容易得到Cb域内的值差与RGB域内的值差的函数关系如式(5)。

ΔCb_ij＝-0.1687ΔR_ij-0.3313ΔG_ij+0.5ΔB_ij

ΔX_ij＝X_ij-X_ij-1，X＝R，G，B，Cb                (5)

可见，Cb域内的相邻像素差值实际是RGB域内三通道相邻像素插值的加权和。由于权值为小数，所以Cb取值不再为整数。然而按照假设实验的思路，则如果我们假设三通道像素差值分布独立时，Cb域内的像素插值分布为：

f(ΔCb)＝f(c₁Δr)*f(c₂Δg)*f(c₃Δb)

＝f(ΔR)*f(ΔG)*f(ΔB)

其中，

$\left\{\begin{array}{c}\mathrm{\ΔR}=c_1\mathrm{\Δr},c_1=-0.1687\\ \mathrm{\ΔG}=c_2\mathrm{\Δg},c_2=-0.3313\\ \mathrm{\ΔB}=c_3\mathrm{\Δb},c_3=0.5000\end{array}\right.---\left(6\right)$

对比式(3)和式(6)，可见，两式自变量的定义域不同，函数关系相同，ΔCb的分布易见应与Δs的分布的基本形状相同，在横纵坐标的尺度上会有不同。

实际中，做一幅由KodakDC290拍摄的.GIF照片2的Cb域内相邻像素差值的实际典型概率分布h(ΔCb)，以及我们假设无关时得到的分布，如图5、图6所示。仔细观察两图，可见：

1)实际分布为零值差所占比例最大，验证了图像色调的连续变化性，在局部可以近似认为是不变的。

²实验显示，应用三色(RGB)CFA插值的相机拍摄的照片都有类似实验现象。而存储为三色(RGB)，实际CFA插值为四色时，没有此类现象，如SonyF828.

2)不管是实际分布还是假设独立分布，非零值差的分布是离散的，这主要是因为RGB的取值是离散的，所以色调域值差作为RGB各通道值差的线性组合也是离散的。

3)实际与假设分布的包络分布与假设实验对应的两种分布类似。实际值差分布的包络也呈现出某种特别的模式，这一特别的模式无疑也是同局部像素颜色的周期相关性有着密切的联系。

由唯一性定理我们知道，概率分布与特征函数相互唯一，并且特征函数的实质是分布函数的Fourier变换，本文计算h(ΔCb)的特征函数H(ω)，

$H\left(\mathrm{\ω}\right)={\∫}_{-\∞}^{\∞}{e}^{\mathrm{j\ωx}}h\left(x\right)\mathrm{dx}---\left(7\right)$

则图6中的两种分布的特征函数如图7所示。

图7中，红色曲线代表假设颜色值差独立时的特征函数的分布，在空域分布图中所表现的两个特征在此处也以另外一种形式得以体现。不管是实际分布还是假设独立的分布，由于其空域分布中都有周期性的下陷点，并且周期相同，因此在特征函数的d，e两处，都有频率峰值。除此之外，实际色调值差的特征函数在b，c两处的峰值就代表了实际色调分布的特有的模式，而这种分布在一种相机拍摄的照片中分布稳定，如图8所示，600张内容各异的照片，由于由同一相机拍摄而得，其色调值差分布的特征函数基本一致，再一次验了形成这一模式的原因是相机内部的信号处理流程造成的，而基本不受图像内容的影响。

3.利用色调分布模式的取证算法

可见，数码相机所拍摄的原始照片中的这种分布模式是非常精细和微妙的，对原始照片所做的任何修改都很难维持其原有的模式，从而留下了篡改的痕迹，成为指证的证据。

一幅篡改图像往往经历了各种修改操作，包括重采样(尺寸调整，几何变换)，直方图均衡(亮度对比度调整)，局部模板操作(各种润饰操作，如模糊，减淡)。上述几种操作我们都可以抽象为加在图像上的一种函数，而只要这一函数的定义与相机施加的不同，就必然会对像素原有的相关性造成影响。

因此可以利用一幅图像的b，c双峰强度辨别一幅图像是直接由数码相机拍摄得到的自然图像还是曾经过了某些修改操作。这里所说的修改操作，包括各种在三个颜色通道内独立进行的修改，我们已验证的包括尺寸调整(旋转)，对比度调整[注：亮度调整除外]、模糊等润饰操作以及隐密处理(各种空域内在RGB通道内进行的隐密算法。包括LSB，+-1，SSIS，像素差等)。

为了量化“双峰”强度，我们定义判别特征量F1，

$F1=\lg \left(\frac{f\left(a\right)}{f\left(b\right)*f\left(c\right)}\right)---\left(8\right)$

f(a)，f(b)，f(c)分别代表归一化特征函数分布中直流分量a上，以及b，c频率点上峰值的高度。由于我们对特征函数进行了归一化操作，因此，此时的特征函数具有了概率密度函数的特性，F1于是可以理解为a点与b，c点上概率分布的log距离。

得到特征量F1后，我们还需要确定F1特征取值的正常与异常范围，从而对待测图像的性质作出判断

在实际中，我们往往只能获得原图的数据，而并不具备有关篡改操作的先验知识，即图像经过了哪种操作或联合操作。因此在确定判断门限时，我们只能利用“正常”图像的信息以及我们在前节的分析中得到的有关其变化过程的知识。

因此对于每种相机，我们需要首先获得一批原始图像，估计其特征量F1的分布作为估计特征量F1正常分布的样本，然后衡量待测图像的特征量F1与训练图像特征量F1的距离，本文使用Mahalanobis距离，定义为

d²＝(x-μ)^TΣ^-1(x-μ)               (9)

其中μ和Σ分别代表原始图像特征量F1分布的均值和方差，可以通过训练样本估计得到。Mahalanobis距离的本质是提供了一种考虑分布方差下，在统计上某待测点距估计样本中心的距离。一般来说，Mahalanobis距离越远，待测样本的分布就越不符合已知的分布。可以根据实际可接受的虚警率确定d的判决门限。

因此利用色调分布模式的取证算法的步骤如下：

(1)首先需要获得某相机原始照片特征量F1的参考分布，根据参考分布以及可接受的虚警率确定Mahalanobis距离d的判决门限dth。

(2)计算待测照片的F1特征，并计算其与参考分布的Mahalanobis距离d，与门限dth比较；大于dth时，认为图像经过了篡改。

实际中，篡改操作往往只是局部进行的，计算整张照片的特征量F1往往不够准确，也不能对篡改区域进行定位。于是我们对图像进行分块检测，分块判断是否进行过修改。

本发明的效果益处是通过主动或者被动的手段，对数字图像的完整性和真实性进行鉴别，以保证执法机构证据链的完整和电子证据的真实。本发明基于原始照片的色调模式，通过定义和量化色调模式的频域特征，分析数字图像篡改对其的影响对数字图像进行取证，能够有效地检测和定位出在数字图像中篡改的痕迹。

本发明主要适用于信息安全领域，对数码照片的原始性进行取证，定位出数码照片中被伪造的部分。

附图说明

图1是数码相机中的图像信号处理流程示意图。

图2是基于RGB的Bayer CFA及其基本结构示意图。

图3是R通道相邻像素差的.Laplace拟合示意图。

图4是RGB三通道相邻像素差和的实际分布和假设独立分布示意图。

图5是tif照片相邻像素Cb域内值差的典型分布示意图。

图6是实际与假设独立时色调值差的分布曲线示意图。

图7是实际与假设独立时色调值差的特征函数示意图。

图8是600幅同一相机拍摄的照片的特征函数分布示意图。

图9是各类图像块的F1特征分布示意图。

图10是伪造图像样本示意图。图中，图像右侧的轿车为篡改伪造部分。

图11是伪造图像样本示意图。图中，图像左下角的小狗为篡改伪造部分。

图12是对图10中篡改伪造的图像样本检测的结果示意图。

图13是对图11中篡改伪造的图像样本检测的结果示意图。

具体实施方式

以下结合技术方案和附图，详细叙述本发明的具体实施方式。

为了实验算法的有效性，申请人以KodakDC290相机为例，对其拍摄的未压缩tif图的性质进行分析。首先将100幅分辨率为720*480的原始图像作为样本，出于对样本数据的数量和定位精确性的权衡，分为重叠的128*128块(重叠3/4块)。共可得到100*228＝22800个图像块，用来估计原始照片F1特征分布的μ和Σ。此时的特征量分布的离散程度我们认为是在正常范围内，如果待测图像的特征量F1的分布与已知分布距离太远时，我们就认为某图像块经过了篡改。

然后再取100幅照片作为测试图像，并用这100幅图像共生成5类待测图：

1.100幅待分类的原图；

2.100幅待分类的重采样图，图像重采样为原始图像大小的80％；

3.100幅待分类的对比度调整图，使用ACDSee将图像对比度调整至40；

4.100幅待分类的模糊图，使用3*3模板，高斯函数方差为4的高斯低通滤波器对图像进行模糊；

5.100幅待分类的隐密图，对图像使用SES隐密算法嵌入最大嵌入容量的20％的秘密信息。

对以上五类测试图仍然进行分块检测，每类待测图共可分为22800图像块，分别计算它们对应的F1特征以及与参考F1特征分布的Mahalanobis距离。

图9显示的是待测五类图F1特征的分布。当我们将Mahalanobis距离的门限设置为3时，虚警率为1.55％，各项检测结果如下表所示，总的正确率达到97.85％，可见我们的分类方法的性能较好。

检测结果

对联合篡改图的检测效果如下：

如在图10和图11中显示了两幅经过篡改伪造的样本图像，其中黄色的轿车和小狗分别为篡改的部分。篡改图像并不能通过简单的剪切粘贴完成，为了使加入的物体(小汽车和小狗)与背景协调一致，需要经过一系列操作，包括尺寸调整(小汽车和小狗)，对比度调整(小狗)以及边界润饰(小汽车和小狗)。只有经过各种技术的配合，才能使篡改图逼真。申请人利用本文提出的基于色调分布模式的方法对上述图像进行检测，篡改区域被识别出，如图12和图13所示。

Claims (3)

1.一种基于色调模式的检测多种篡改的数字图像取证方法，其特征在于：

在YCbCr空间的色调域Cb中提取反映CFA插值为自然图像色调频域分布所引入的F1特征量，通过多个样本的训练计算出F1特征量的Mahalanobis距离：对于每种相机，首先获得一批原始图像作为训练样本，计算其特征量F1的分布作为估计特征量F1的正常分布，然后衡量待测图像的特征量F1与训练图像特征量F1的Mahalanobis距离，其定义为d²＝(x-μ)^T∑^-1(x-μ)，其中μ和∑分别代表原始图像特征量F1分布的均值和方差，Mahalanobis距离提供了一种考虑分布方差下，在统计上某待测点距估计样本中心的距离，Mahalanobis距离越远，待测样本的分布就越不符合已知的分布；

根据实际设置可接受的虚警率确定判决门限d_th，利用该判决门限d_th和待测图像的Mahalanobis距离进行比较，以检测图像中存在的多种篡改伪造操作。

2.根据权利要求1所述的一种基于色调模式的检测多种篡改的数字图像取证方法，其特征是：图像I对应的F1特征量通过如下步骤得到：

(1)计算图像I在Cb域中的相邻色调值差的概率分布h(ΔCb)；

(2)计算h(ΔCb)的特征函数H(ω)， $H\left(\mathrm{\ω}\right)={\∫}_{-\∞}^{\∞}{e}^{\mathrm{j\ωx}}h\left(x\right)\mathrm{dx};$

(3)定义特征量F1， $F1=\lg \left(\frac{f\left(a\right)}{f\left(b\right)*f\left(c\right)}\right),$ 其中f(a)，f(b)，f(c)分别代表h(ΔCb)归一化特征函数分布中直流分量a以及具有波峰的两个频率点b、c上峰值的高度。

3.根据权利要求1所述的一种基于色调模式的检测多种篡改的数字图像取证方法，其特征是：在检测时，首先分块计算待测图像的F1特征量，并计算其与训练图像特征量F1的Mahalanobis距离d，将d与判决门限d_th比较；d大于d_th时，认为图像经过了篡改。

Images