CN102609948A - 一种针对复制粘贴篡改的数码照片伪造检测方法 - Google Patents

Abstract

本发明公开了一种针对复制粘贴篡改的数码照片伪造检测方法，包括：把彩色数码照片从RGB转换到HSV三基色编码空间并分成H、S、V三个基色平面分量，采用SIFT算法在每个基色平面分量上进行SIFT关键点提取，计算所有SIFT关键点特征向量两两之间的欧氏距离偏离均值程度，据此判决获取特征匹配点对，并进一步从其中选取稳定特征匹配点对来实施照片伪造检测。采用本发明方法，即便是针对照片篡改者把某一区域拷贝然后粘贴到同一照片的两处不同区域的情况，也同样能够检测出来。而且，采用本发明方法，可以得到更精确的伪造检测效果。

Description

一种针对复制粘贴篡改的数码照片伪造检测方法

技术领域

本发明属于数字图像取证技术领域，具体涉及一种针对复制粘贴(Copy-Move)篡改的数码照片伪造检测方法。 

背景技术

随着电子、计算机、信息等技术的发展，近些年来数码相机几乎已经完全取代了原有的胶片相机成为我们手中不可缺少的影像记录设备。数码相机所拍摄的数码照片不仅易于储存而且还易于修改，用户通过Photoshop，iPhoto，AcDsee等工具可以轻松的修改自己所拍摄的数码照片从而达到增强视觉效果的目的。然而数码照片的这种特性是一把双刃剑，在为我们的生活带来便捷和快乐的同时也带来了一个我们不得不面对的问题——数码照片的篡改伪造。例如，2006年CCTV评选出的年度十大新闻图片《青藏铁路为野生动物开辟生命通道》的图片被网友指出存在篡改疑点。后经调查，图片拍摄者承认该图确系使用Photoshop处理合成的。2007年10月，陕西省安康市镇坪县城关镇文彩村村民周正龙用数码相机记录了野生华南虎的存在，为此陕西省林业厅迅速组织有关专家进行鉴定，认为这组照片是真实的，并给予村民周正龙2万元奖励，然而随着照片的公布，公众质疑声四起，最后经过调查确认照片系伪造，2008年6月，陕西省监察机关对省林业厅和镇坪县13名相关公务人员做出了严肃处理。2010年在美国墨西哥湾漏油事件中，据英国《每日邮报》报道，英国石油公司位于得克萨斯州休斯敦市的清理漏油指挥中心，被谴责修改工作照片，制造工作人员繁忙的假象。更有甚者，在一些科学论文中也出现数据和图片的篡改，这成为学术不端行为的新现象。2006年美国科学家迈克尔·罗伯茨就承认自己发表在《科学》杂志上的一项研究报告中的老鼠胚胎照片属于造假。一次次虚假图片新闻以及学术造假的曝光，使得对包括数码照片在内的数字媒体信息进行真实性和完整性验证成为维护信息产 业健康持续发展所亟待解决的关键问题之一。 

数码照片伪造检测技术是指对数码照片的篡改伪造进行分析、鉴别和认证，是数字图像取证技术中的一个重要研究领域，该技术涉及信号处理、计算机应用、成像技术、模式识别等多个学科领域，是信息安全和多媒体处理的前沿研究课题。开展这一课题研究，不仅是对多学科交叉融合的促进，在技术上具有重大的理论意义和应用价值，同时也是对于确保当今信息社会公共信任秩序、打击犯罪、维护司法公正和人类诚信具有十分重要的政治、经济意义。 

由于现代数码照片伪造的方法很多，Hany Farid将伪造手段分成六类，其中合成篡改伪造(由两幅或多幅数码照片通过复制其中一幅中的某一部分粘贴到另一幅照片中以造成某种假象，通常称之为拼接篡改伪造；或者把一幅照片的某一部分复制-粘贴到这一幅照片的另一部分上，以此来隐藏重要目标，通常称之为复制粘贴(Copy-Move)篡改伪造)是数码照片伪造中最常用的手段，同时也是目前研究最多和最热的一个研究方向。 

在过去的几年中，国内外的高校和研究机构已经做了大量的研究，提出了许多不同的富有特色的数码照片伪造检测算法。总的来说，这些针对数码照片合成篡改伪造的检测算法可以分为以下三类： 

Copy-Move伪造检测算法。该检测算法针对的是非法者把一幅照片的某一部分复制-粘贴到同一幅照片另一部分的非法篡改伪造行为。Copy-Move篡改伪造的照片，其主要特点是照片中的复制区域和相对应的粘贴区域基本上相似。基于这个特点，可以通过寻找照片中存在的相似区域来检测照片的伪造痕迹。穷举搜索法是一个显然的解决方法，其特点是算法简单，易于实现，但是运算量大是它的缺点。针对此缺点，许多文献提出了各种数据降维的方法进行算法改进，如Fridrich在题为“Detection of copy-move forgery in digital images”(Proceedings of Digital Forensic Research Workshop，Cleveland，OH，USA，2003)的文中把对照片像素的点操作转化为块操作，提出了一种对照片块的DCT量化系数进行字典排序的算法来检测照片复制伪造区域。Popescu在题为“Exposing Digital Forgeries by Detecting Duplicated Image Regions”(Technical Report TR2004-515，Department of Computer Science，Dartmouth College，2004)的文中使用 主成分分析PCA(Principal Component Analysis)的特征向量作为照片块的描述，以减少特征空间的维数。骆伟祺等在题为“鲁棒的区域复制图像篡改检测技术”(计算机学报，2007，Vol.30(11)：1998-2007)一文中提出将照片分解为小块并比较它们的相似性，最后利用“主转移向量”方法去除错误的相似块对得到篡改的区域。吴琼等在题为“基于小波和奇异值分解的图像复制伪造区域检测”(小型微型计算机系统，2008，Vol.29(4)：730-733)一文中则提出了通过小波和奇异值分解进行特征降维的照片复制区域检测算法。张静等在题为“基于像素匹配的图像复制-粘贴篡改检测算法”(天津大学学报，2009，Vol.42(8)：713-720)一文中提出先对照片进行DWT分解再利用相位相关技术进行检测。Aaron Langille等在题为“An efficient match-based duplication  detection  algorithm”(Proceedings of the 3rd Canadian Conference on Computer and Robot Vision(CRV’06)，IEEE Computer Society，Washington，DC，USA，2006)一文中提出基于KD树的特征匹配快速搜索算法。Hwei J.Lin等在题为“Fast copy-move forgery detection”(WSEAS Transactions on Signal Processing，2009，Vol.5(5)：188-197)一文中提出基于基分类(radix sort)的检测算法。由于实际的Copy-Move篡改伪造操作中往往还伴随旋转、放大、缩小等各种变换，因此为了增加检测算法的鲁棒性，王睿等在题为“基于不变矩的Copy-Move型篡改图像盲检测方法”(中国图象图形学报，2008，Vol.13(10)：1938-1941)一文中提出一种具有旋转、镜像以及缩放不变性的不变矩特征进行照片篡改伪造检测。Hailing Huang等在题为“Detection of copy-move forgery In digital images using sift algorithm”(Proceedings of the 2008IEEE Pacific-Asia Workshop on Computational Intelligence and Industrial Application，Washington，DC，USA，2008，pp.272-276)一文中提出利用对旋转、尺度变换鲁棒的SIFT特征进行篡改伪造检测。Sevinc Bayram等在题为“An efficient and robust method for detecting copy-move forger”(Proceedings of the 2009IEEE International Conference on Acoustics，Speech and  Signal Processing，Washington，DC，USA，2009，pp.1053-1056)一文中采用Fourier-Mellin变换进行旋转、尺度变换鲁棒的特征提取实现数码照片的伪造检测。 

照片拼接伪造检测算法。该检测算法针对的是非法者把一幅照片的某 一部分复制-粘贴到另一幅照片中以造成某种假象的非法篡改行为。照片拼接伪造，其主要特点是照片中的拼接行为会造成照片中某种特征的不连续性。基于这个特点，通过识别照片特征不连续性行为就可以进行伪造检测。如魏为民等在题为“利用JPEG块效应不一致性的合成图像盲检测”(中国图象图形学报，2009，Vol.14(11)：2387-2390)一文中提出将照片图像与Laplacian模板卷积得到二阶差分照片图像，沿水平(垂直)方向平均后进行离散Fourier变换得到归一化的频谱，并基于频谱幅值构造JPEG块效应测度进行照片拼接检测。J.Dong等在题为“Run-length and edge statistics based approach for image splicing detection”(Digital Watermarking，IWDW 2008，Busan，Korea，November，2008，pp.76-87)一文中提出利用拼接照片像素之间的相关和一致性行为的缺失作为特征，然后利用SVM进行分类和伪造检测。Zhou Zhi-ping等在题为“Image Splicing detection based on image quality and analysis of variance”(Proceedings of the 2nd International Conforence on Education Technology and Computer(ICETC)，2010，pp.242-246)一文中提出利用拼接照片中照片质量的不一致性进行拼接篡改伪造检测。YuFeng Hsu等在题为“Image splicing detection using camera response function consistency and automatic segmentation”(ICME，2007，pp.28-31)一文中提出从几何不变量中估计相机响应函数(camera response function)进行检测。Johnson等在题为“Exposing digital forgeries by detecting inconsistencies in lighting”(Proc.ACM Multimedia and Security Workshop，New York，NY，2005，pp.1-10)一文中提出对照片图像提取闭合边界，沿着对象闭合边界分成若干局部块，估计局部块的二维光源方向，然后根据光源方向是否一致来检测照片伪造情况。Ng在题为“A model for image splicing”(Proceedings of 2004International Conference on Image Processing，Singapore，2004，pp.1169-1172)一文中首先使用双相干幅度和相位特征进行拼接照片伪造检测。 

数码照片伪造通用检测算法。虽然上面我们把数码照片伪造技术分为Copy-Move篡改伪造、照片拼接篡改伪造两类并介绍了相对应的一些篡改伪造检测算法，但在实际的篡改伪造中，不管是Copy-Move还是照片拼接篡改伪造都可能会导致一些照片特征出现变化。比如：为了消除照片 伪造在粘贴或拼接边缘产生的视觉或统计上的畸变，伪造者通常会在照片粘贴或拼接后采用模糊、淡化、渐变等润饰操作以消除伪造痕迹。另外照片伪造中旋转也会导致重采样操作的出现，粘贴或拼接也可能导致空间透视关系发生变化。针对这些特征的变化，有关研究人员提出了一些通用数码照片伪造检测算法，也就是说这些算法在Copy-Move和照片拼接伪造检测中均可适用。如周琳娜等在题为“基于数字图像边缘特性的形态学滤波取证技术”(电子学报，2008，Vol.36(6)：1047-1051)一文中利用同态滤波和数学形态学方法进行模糊处理检测来实现照片伪造识别。王俊文等在题为“基于非抽样Contourlet变换的图像模糊取证”(计算机研究与发展，2009，Vol.46(9)：1549-1555)一文中利用非抽样Contourlet变换对照片图像边缘点进行边缘点分类，通过引入局部清晰度来区分人工模糊与离焦模糊，从而最终标定人工篡改伪造边缘痕迹。YinCheng QI等在题为“Blind detection of eclosion forgeries based on Curvelet image enhancement edge detection”(Proceedings of International Conference on Multimedia and Signal Processing，2011，pp.316-320)一文中利用Curvelet变换进行照片增强，然后用Canny算子检测模糊边界实现伪造检测。依据照片伪造中重采样操作会对照片引入一种特殊的相关性或周期性特点，Popescu等在题为“Exposing digital forgeries by detecting traces of  resampling”(IEEE Transactions on Signal Processing，2005，Vol.53(2)：758-767)一文中采用期望最大化(expectation maximization，EM)算法来检测照片是否经历过重采样操作。汪然等在题为“基于图像纹理复杂度和奇异值分解的重采样检测”(计算机辅助设计与图形学学报，2010，Vol.22(9)：1606-1612)一文中针对纹理复杂程度不同的子像素块进行分析并以零奇异值个数和奇异值均值作为分类特征结合SVM进行重采样检测。王伟等在题为“基于有限差分的置换图像盲检测方法”(电子学报，2010，Vol.38(10)：2268-2272)一文中提出了一种利用有限差分算法来检测周期特性的方法，利用该特性的异同实现了不同插值因子放大照片的伪造检测。另外为了降低相机成本，目前大部分民用相机采用CFA插值方法实现RGB三色的获取，针对此特点，Popescu等在题为“Exposing digital forgeries in color filter array interpolated images”(IEEE Trans.on Signal Processing，2005，Vol.53(10)：3948-3959)一文中利 用EM方法检测CFA插值周期性在频谱中呈现的峰值点，并采用Fisher线性分类器进行分类实现伪造检测。王波等在题为“基于协方差矩阵的CFA插值盲检测方法”(电子与信息学报，2009，Vol.31(5)：1175-1179)一文中基于线性插值模型，利用协方差矩阵构建插值系数方程组，并将估计的插值系数构成特征向量空间，采用支持向量机作为分类工具，提出了一种对不同的CFA插值算法进行准确分类的检测方法。针对照片普遍采用的JPEG压缩，目前检查JPEG压缩格式的照片伪造主要途径有两个：双重JPEG压缩和JPEG压缩的块效应。J.Fridrich等在题为“Estimation of primary quantization matrix in double compressed JPEG images”(Proceedings of Digital Forensic Research Workshop，Cleveland，OH，USA，2003)一文中分析了DCT变换系数的直方图在单次和两次压缩下的不同，给出了估计第一次压缩时所使用的量化系数的两种方法。郑二功等在题为“针对一类JPEG图像伪造的被动盲取证”(电子与信息学报，2010，Vol.32(2)：394-399)一文中根据伪造区域与非伪造区域块效应的不一致性，提出了一种简单有效的伪造检测算法。Weimin Wei等在题为“Estimation of image rotation angle using interpolation-related spectral signatures with application to blind detection of image forgery”(IEEE Tran.on information forensics and security，2010，Vol.5(3)：507-517)一文中采用对伪造区域照片旋转角度的计算实现照片伪造检测。Matthew C.Stamm等在题为“Forensic detection of image manipulation using statistical intrinsic fingerprints”(IEEE Tran.on information forensics and security，2010，Vol.5(3)：492-506)一文中利用照片篡改伪造后的像素值映射图作为内部指纹实现了对对比度增强、直方图均衡、JPEG压缩导致的全局噪声增加等篡改伪造时发生的特征变化进行检测来判断数码照片伪造行为。 

发明内容

本发明提供了一种针对复制粘贴(Copy-Move)篡改的数码照片伪造检测方法，该方法可以避免目前其他基于SIFT特征提取与匹配的数码照片伪造检测算法在照片篡改者把某一区域拷贝然后粘贴到同一照片的两处不同区域(如用同一背景区域覆盖照片中两处前景区域)的情况下出现 检测失败的问题。 

一种针对复制粘贴(Copy-Move)篡改的数码照片伪造检测方法，包括以下步骤： 

(1)把彩色数码照片从RGB转换到HSV三基色编码空间； 

(2)把HSV三基色编码的彩色数码照片分成H、S、V三个基色平面分量； 

(3)采用图像匹配技术中的SIFT(scale invariant feature transform，尺度不变特征变换)算法对H、S、V三个基色平面分量分别进行SIFT关键点提取，每个SIFT关键点采用一个128维的特征向量T表示如下：T＝{t₁，t₂...t₁₂₈}； 

(4)在每个基色平面上采用穷尽搜索算法对所有SIFT关键点进行是否相似的匹配计算，即：对于步骤(3)中获取的每个SIFT关键点，分别计算该SIFT关键点的128维特征向量与同一基色平面中所有其他SIFT关键点的128维特征向量的欧式距离L，从而得到欧式距离L的集合S：S＝{L₁，L₂...L_i...}，其中，集合S中元素个数＝同一基色平面中所有SIFT关键点的个数-1，L_i为该SIFT关键点的128维特征向量与同一基色平面中另一个SIFT关键点的128维特征向量之间的欧式距离，其计算公式如下： 

$L_{T_1{T}_2}=\sqrt{\underset{i=1}{\overset{128}{\mathrm{\Σ}}}{(x_i-y_i)}^2}$

其中，T₁，T₂分别表示两个SIFT关键点的128维特征向量，T₁＝{x₁，x₂...x₁₂₈}，T₂＝{y₁，y₂...y₁₂₈}； 

(5)对集合S计算得到该集合中所有元素的平均值E和方差D； 

(6)如果该SIFT关键点的128维特征向量与同一基色平面中另一个关键点的128维特征向量之间的欧式距离L_i满足：L_i＜E-H×D，则认为这两个SIFT关键点构成特征匹配点对，其中，H为门限值，其取值满足：E-H×D＞0，通常H的取值为3-5； 

(7)从步骤(6)获取的特征匹配点对中选择稳定特征匹配点对，所述稳定特征匹配点对在H、S、V三个基色平面分量的至少两个基色平面 分量中均为特征匹配点对； 

(8)将步骤(7)获取的稳定特征匹配点对用点与点之间连线的形式在彩色数码照片中标记出来，如果所标记的线段两端明显集中于两个区域，并且两个区域均超过8×8点阵大小，则判决该数码照片是伪造的。 

步骤(3)中，所述采用图像匹配技术中的SIFT(scale invariant feature transform，尺度不变特征变换)算法对H、S、V三个基色平面分量分别进行SIFT关键点提取，可以采用现有技术实现，具体如下： 

A、把数码照片的H、S、V三个基色平面分量分别在DoG(Difference of Gaussians)尺度空间进行分解； 

B、在数码照片的尺度空间内遍历所有的点，将每个点与其所有邻域点进行比较，如果该点的值大于或小于所有邻域点的值，则该点为候选特征点；所述所有邻域点由与该点处于同一尺度的周围邻域8个点、在2个相邻尺度的对应位置以及周围邻域共9×2个点构成，所有领域点的数量共计26个； 

C、通过曲面拟合的方法对所述候选特征点进行进一步的精确定位，并剔除一些对比度较低的点以及边缘响应点以得到SIFT关键点。 

本发明中，在基于SIFT算法进行特征提取和匹配的基础上，通过建立匹配关键点特征向量欧氏距离偏离均值程度模型来判决并获取特征匹配点对，并进一步从其中选取稳定特征匹配点对来实施照片伪造检测。 

与现有技术相比，本发明具有以下有益的技术效果： 

1、通过建立匹配关键点特征向量欧氏距离偏离均值程度模型来判决获取特征匹配点对，这样，即便是照片篡改者把某一区域拷贝然后粘贴到同一照片的两处不同区域(如用同一背景区域覆盖照片中两处前景区域)，采用本发明方法同样能够检测出来。而对于这种情况，现有技术中其他基于SIFT特征提取与匹配的数码照片伪造检测算法均出现检测失败。 

2、选择在H、S、V三个基色平面分量的至少两个基色平面分量中均为特征匹配的点对作为稳定特征匹配点对，从而得到更精确的伪造检测效果。 

具体实施方式

下面结合实施例来详细说明本发明，但本发明并不仅限于此。 

一种针对复制粘贴(Copy-Move)篡改的数码照片伪造检测方法，包括以下步骤： 

(1)把彩色数码照片从RGB转换到HSV三基色编码空间； 

(2)把HSV三基色编码的彩色数码照片分成H、S、V三个基色平面分量； 

(3)采用图像匹配技术中的SIFT(scale invariant feature transform，尺度不变特征变换)算法对H、S、V三个基色平面分量分别进行SIFT关键点提取，每个SIFT关键点采用一个128维的特征向量T表示如下：T＝{t₁，t₂...t₁₂₈}； 

(4)在每个基色平面上采用穷尽搜索算法对所有SIFT关键点进行是否相似的匹配计算，即：对于步骤(3)中获取的每个SIFT关键点，分别计算该SIFT关键点的128维特征向量与同一基色平面中所有其他SIFT关键点的128维特征向量的欧式距离L，从而得到欧式距离L的集合S：S＝{L₁，L₂...L_i...}，其中，集合S中元素个数＝同一基色平面中所有SIFT关键点的个数-1，L_i为该SIFT关键点的128维特征向量与同一基色平面中另一个SIFT关键点的128维特征向量之间的欧式距离，其计算公式如下： 

$L_{T_1{T}_2}=\sqrt{\underset{i=1}{\overset{128}{\mathrm{\Σ}}}{(x_i-y_i)}^2}$

其中，T₁，T₂分别表示两个SIFT关键点的128维特征向量，T₁＝{x₁，x₂...x₁₂₈}，T₂＝{y₁，y₂...y₁₂₈}； 

(5)对集合S计算得到该集合中所有元素的平均值E和方差D； 

(6)如果该SIFT关键点的128维特征向量与同一基色平面中另一个关键点的128维特征向量之间的欧式距离L_i满足：L_i＜E-H×D，则认为这两个SIFT关键点构成特征匹配点对，其中，H为门限值，其取值满足：E-H×D＞0，通常H的取值为3-5； 

(7)从步骤(6)获取的特征匹配点对中选择稳定特征匹配点对，所述稳定特征匹配点对在H、S、V三个基色平面分量的至少两个基色平面 分量中均为特征匹配点对； 

(8)将步骤(7)获取的稳定特征匹配点对用点与点之间连线的形式在彩色数码照片中标记出来，如果所标记的线段两端明显集中于两个区域，并且两个区域均超过8×8点阵大小，则判决该数码照片是伪造的。 

步骤(3)中，所述采用图像匹配技术中的SIFT(scale invariant feature transform，尺度不变特征变换)算法对H、S、V三个基色平面分量分别进行SIFT关键点提取，可以采用现有技术实现，具体如下： 

A、把数码照片的H、S、V三个基色平面分量分别在DoG(Difference of Gaussians)尺度空间进行分解； 

B、在数码照片的尺度空间内遍历所有的点，将每个点与其所有邻域点进行比较，如果该点的值大于或小于所有邻域点的值，则该点为候选特征点；所述所有邻域点由与该点处于同一尺度的周围邻域8个点、在2个相邻尺度的对应位置以及周围邻域共9×2个点构成，所有领域点的数量共计26个； 

C、通过曲面拟合的方法对所述候选特征点进行进一步的精确定位，并剔除一些对比度较低的点以及边缘响应点以得到SIFT关键点。 

Claims (2)

1.一种针对复制粘贴篡改的数码照片伪造检测方法，其特征在于，包括以下步骤：

(1)把彩色数码照片从RGB转换到HSV三基色编码空间；

(2)把HSV三基色编码的彩色数码照片分成H、S、V三个基色平面分量；

(3)采用SIFT算法对H、S、V三个基色平面分量分别进行SIFT关键点提取，每个SIFT关键点采用一个128维的特征向量T表示如下：T＝{t₁，t₂...t₁₂₈}；

(4)对于步骤(3)中获取的每个SIFT关键点，分别计算该SIFT关键点的128维特征向量与同一基色平面中所有其他SIFT关键点的128维特征向量的欧式距离L，从而得到欧式距离L的集合S：S＝{L₁，L₂...L_i...}，其中，集合S中元素个数＝同一基色平面中所有SIFT关键点的个数-1，L_i为该SIFT关键点的128维特征向量与同一基色平面中另一个SIFT关键点的128维特征向量之间的欧式距离，其计算公式如下：

$L_{T_1{T}_2}=\sqrt{\underset{i=1}{\overset{128}{\mathrm{\Σ}}}{(x_i-y_i)}^2}$

其中，T₁，T₂分别表示两个SIFT关键点的128维特征向量，T₁＝{x₁，x₂...x₁₂₈}，T₂＝{y₁，y₂...y₁₂₈}；

(5)对集合S计算得到该集合中所有元素的平均值E和方差D；

(6)如果该SIFT关键点的128维特征向量与同一基色平面中另一个关键点的128维特征向量之间的欧式距离L_i满足：Li＜E-H×D，则认为这两个SIFT关键点构成特征匹配点对，其中，H为门限值，其取值满足：E-H×D＞0；

(7)从步骤(6)获取的特征匹配点对中选择稳定特征匹配点对，所述稳定特征匹配点对在H、S、V三个基色平面分量的至少两个基色平面分量中均为特征匹配点对；

(8)将步骤(7)获取的稳定特征匹配点对用点与点之间连线的形式在彩色数码照片中标记出来，如果所标记的线段两端明显集中于两个区域，并且两个区域均超过8×8点阵大小，则判决该数码照片是伪造的。

2.如权利要求1所述的针对复制粘贴篡改的数码照片伪造检测方法，其特征在于，H的取值为3-5。