CN101443785B

CN101443785B - 检测之前压缩过的图像中的合成

Info

Publication number: CN101443785B
Application number: CN2007800098826A
Authority: CN
Inventors: J·罗; A·C·加拉赫尔
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2006-03-21
Filing date: 2007-03-12
Publication date: 2012-11-14
Anticipated expiration: 2027-03-12
Also published as: US20070223838A1; US7720288B2; EP2016529A2; CN101443785A; WO2007109003A3; JP2009530975A; WO2007109003A2; JP4948593B2

Abstract

在检测数字图像合成的方法和系统中，在未经压缩的数字图像中检测第一伪像。第一伪像是之前用预定的压缩算法对数字图像压缩的特征。评估图像中的插值标记来提供插值结果。在该评估期间，抵消压缩算法的第二伪像。根据插值结果对图像分类。第一伪像可以是方块效应，而第二伪像和插值标记可以是图像中不同的周期性。

Description

检测之前压缩过的图像中的合成

技术领域

本发明一般涉及数字图像处理领域，更具体涉及检测之前压缩过的图像中的合成的方法和系统。

背景技术

在图像处理领域，经常发生必需为期望的应用调整图像大小的情况。例如，特定的打印机可能具有250dpi(每英寸的点数)的固定分辨率。为了在这种打印机上将由500x750像素构成的图像打印到4x6英寸的打印输出，必须用因子2调整图像的大小。类似地，很多显示器装置具有按每英寸像素数量的固定分辨率。换言之，必须确定图像在原始样本点之间的位置的值。确定不与图像的原始样本符合的位置处的图像信号的值的过程称为插值或重新采样。插值的因子N，指的是输出图像的采样率与输入图像的采样率的比值。在之前的示例中，插值因子N＝2。

插值过程产生期望数量的行和列像素的图像。然而，插值过程涉及在很多位置“猜测”信号值。结果，经过插值的图像通常质量没有以期望的分辨率原始地捕捉的图像那么高。例如，以500x750像素捕捉并接着插值到1000x1500像素的图像，通常看起来比从原始地以1000x1500像素捕捉同一场景得到的图像更柔和且质量差。

由于插值的图像通常较低的质量，会期望知道图像是已经经过插值以便在后续的数字处理和其它程序中更好地处理图像。授予Gallagher的美国专利No.6904180，结合在这里作为参考，揭示了确定数字成像信道是否使用与图像的相邻像素的值相关的信号进行了插值的方法。该方法查找从具有指示了插值的周期的提取信号计算的傅里叶变换信号中的峰值。该方法不处理过去的压缩-解压缩对图像的影响。

随着低成本和高分辨率数字相机和复杂的编辑软件的出现，可以容易地处理和改变数字图像。数字伪造品通常没有篡改的视觉迹象，并且不能与真正的照片区分开。结果，照片不再保持作为事件的确定记录的独特地位。例如，在2003年3月，Los Angeles Times在其首页上发表了一张戏剧性的照片，一名士兵指挥一个伊拉克市民来接管(takecover)。然而，该照片是伪造的，它是通过将两张照片拼接在一起而数字地创造的。这和类似的事件自然的使人想知道每天看到的图像有多少经过了数字修改。对于关于数字伪造品的更多。

尽管已经提出了数字水印技术来验证图像的真实性，这些技术产生的标记必须被预先植入到原始图像中。这些标记也容易受到图像处理的操作，这些操作可以将标记着色成不可检测。因此，需要这样一种技术，用于在完全没有任何形式的数字水印或签名的情况下检测数字篡改的痕迹。

尽管数字伪造品可能没有留下已经被篡改的视觉迹象，然而，它们可能改变图像的基本统计。例如，考虑在同一图像中显示一对脸的数字伪造品的创建。这种图像可能是通过合成制作的，例如，拼接来自一张原始照片的脸部，并对其重新采样来匹配目标图像的构成，并插入它。为了产生使人相信的匹配，通常需要对图像的各部分进行调整大小，旋转或者拉伸。该过程需要将原始图像重新采样或者插值到新的采样点阵上。尽管该重新采样通常是觉察不到的，但它改动了图像像素值的统计关系，这种改动在被检测到时可以作为数字篡改的证据。“Exposingdigital forgeries by detecting traces of resampling”，A.C.Popescuand H.Farid，IEEE Transactions on Signal Processing，Vol.53，No.2，pages 758-767，2005就是针对检测由于伪造产生的重新采样。

大部分数字图像或者以压缩形式存储，或者在其存在期限中的某个点处受过图像压缩。很多基于块的图像压缩技术是已知的。最常见的图像压缩形式为JPEG压缩。另一种基于块的图像压缩为矢量量化(参见R.M.Gray，“Vector Quantization”，IEEE ASSP Magazine，pages 4-29，(April 1984))。基于块的图像压缩产生伪像，这对数字水印的检测，以及具有被压缩过的历史的图像中插值的检测提出挑战。

授予Yu等的美国专利No.6643410，在这里引入作为参考，揭示了检测数字图像中块效应(blocking artifact)程度的方法。

从而期望提供检测合成的方法和系统，即使图像之前经过压缩也能检测到图像插值。

发明内容

本发明由权利要求定义。本发明在广的方面提供了用于检测数字图像合成的方法和系统，其中在未经压缩的数字图像中检测第一伪像。第一伪像是之前用预定的压缩算法对数字图像压缩的特征。评估图像中的插值标记来提供插值结果。在该评估期间，抵消(counteract)压缩算法的第二伪像。根据插值结果对图像分类。第一伪像可以是块效应，而第二伪像和插值标记可以是图像中不同的周期性。

本发明针对于克服上面提出的一个或多个问题。本发明的一个有益效果是提供了用于检测合成的改进的方法和系统，即使图像之前经过压缩该方法和系统也能检测到图像插值。

附图说明

通过参考结合附图做出的本发明的实施例的下列描述，本发明的上述和其它特征和目标以及获得它们的方式将变得明显，并且本发明本身将更容易理解，附图中：

图1是本方法的实施例的流程图。

图2是本系统的实施例的示意图。仅示出了对应于图1的方法的特征逻辑组件。

图3是图2的插值检测器用来检测插值的信号的曲线图。该信号是用于经JPEG压缩但是没有插值的图像。

图4是图2的插值检测器用来检测插值的信号的曲线图。该信号是用于经JPEG压缩并且用因子2.8插值的图像。

图5是图2的压缩检测器使用的程序的流程图。

图6是包括两张脸的图像的示例数字图像的部分图解(semi-diagrammatical view)图。

图7是与图6相同的图示，但是感兴趣的区域用方框示出。

图8是示出现有技术插值检测方法的概览的框图。

图9和图10是示出图8所示信号生成器的两个替代的框图。

图11是图8的插值确定器的框图。

图12是一图像处理链的框图，其具有几个分支并且使用图8的插值检测方法的输出。

图13是另一图像处理链的框图，其包括从图8所示的插值检测方法的输出中恢复原始的数字图像信号。

图14是示出图1的系统的物理组件的部分图解图。

具体实施方式

在本发明的方法和系统中，使用数字图像合成来检测数字图像是否用插值重新采样过，即使该重新采样在图像压缩之前发生。(除非明显与上下文内容相反，可以假定这里讨论的图像压缩是广意的，其包括编码和解码数字图像的步骤。)这使得在特定图像用插值重新采样过的情况下将该特定的图像分类为经过插值的，或者在该特定图像没有被重新采样过的情况下将其分类为没有经过插值的。在特定的使用中，在经过插值和没有经过插值之间分类等价于在“伪造品”和“非伪造品”之间分类。从而，除了用于识别由于之前的重新采样而不适合特定的图像处理技术的真实图像之外，该方法和系统可以应用于为了恶意的目的而准备的假冒品或者伪造图像的检测。

在下面的描述中，将本发明或者本发明的一部分描述为软件程序。本领域技术人员将容易理解也可以以硬件构造这种软件的等价体。由于图像处理算法和系统是熟知的，本描述将特别针对形成根据本发明的方法的一部分或者更直接与该方法协作的算法和系统。数字静态和视频摄像机以及数据库硬件特征同样也是熟知的，本说明书一般限于与本发明的方法直接相关的那些方面。这里没有具体说明或描述的这种算法和装置的其它方面，以及用于产生或者处理其中涉及的图像信号的硬件和/或软件，可以从本领域已知的这种系统，算法，组件和元件中选择。给出如在下面的说明书中呈现的描述，其所有的软件实施是传统的并且在该领域的普通技术之内。

本发明可以计算机硬件和计算机化的设备实施。例如，可以使用包括一个或多个扫描仪或者其它捕捉装置以及一个或多个个人计算机的系统执行该方法。参照图14，示出了用于实施本发明的计算机系统110。尽管为了示出优选实施例的目的示出了计算机系统110，本发明不限于示出的计算机系统110，而是可以与任何电子处理系统一起使用，诸如建立在数码相机，蜂窝摄像机电话以及其它移动设备，家用计算机，售货亭，零售或批发照片洗印服务中的电子处理系统，或者用于数字图像的处理的任何其它系统。计算机系统110包括基于微处理器的单元112(这里也称为数字图像处理器)，用于接收和处理软件程序并用于执行其它处理功能。显示器114电连接到基于微处理器的单元112，用于显示与软件关联的用户相关信息，例如通过图形用户界面。键盘116也连接到基于微处理器的单元112，用于允许用户输入信息到软件。作为使用键盘116来输入的替代，可以使用鼠标118在显示器114上移动选择器120并选择选择器120位于其上的项目，如本领域所熟知的。

可以包括任何形式的移动存储器，示出为光盘只读存储器(CD-ROM)124，其可以包括软件程序，该移动存储器被插入基于微处理器的单元，以便提供输入软件程序和其它信息到基于微处理器的单元112的手段。可以提供多种类型的移动存储器(这里用软盘126表示)，并且数据可以写到任何适合类型的移动存储器。存储器可以是外部的并且可以使用有线或者无线连接，或者直接或者经由局域网或者诸如因特网的广域网访问。更进一步，可以编程基于微处理器的单元112，如本领域所熟知的，来内部地存储软件程序。打印机128或者其它输出装置也可以连接到基于微处理器的单元112，用于打印从计算机系统110的输出的硬拷贝。基于微处理器的单元112可以具有网络连接127，诸如电话线或者无线链接，到外部网络，诸如局域网或者因特网。

图像也可以经由存储器卡，诸如个人计算机卡(PC卡)130显示在显示器114上，PC卡130诸如以前所知的PCMCIA卡(基于个人计算机存储卡国际协会的规定)，其包含电子地内含在卡130中的数字化的图像。PC卡130最终被插入到基于微处理器的单元112，以便允许在显示器114上可视地显示图像。替代的，可以将PC卡130插入连接到基于微处理器的单元112的位于外部的PC卡读卡器132。也可以经由光盘124，软盘126或者网络连接127输入图像。PC卡130，软盘126或者光盘124中存储的，或者通过网络连接127输入的任何图像，可以从各种源得到，诸如数码相机(未示出)或者扫描仪(未示出)。也可以经由连接到基于微处理器的单元112的摄像机对接端口136直接从数码相机134，或者经由到基于微处理器的单元112的电缆连接138或者经由到基于微处理器的单元112的无线连接140直接从数字相机134，输入图像。本发明可以与多个产生数字图像的捕捉装置一起使用。例如，图14可以代表数字照片冲洗系统或者具有扫描仪的售货亭。

输出装置提供最终的图像或者输出信号。输出装置可以是打印机或者是提供纸张或者其它硬拷贝最终图像的其它输出装置。输出装置也可以是作为数字文件提供最终图像的输出装置。输出装置也可以包括输出的组合，诸如打印的图像和在存储器单元，诸如CD或者DVD上的数字文件。

数字图像包括一个或多个数字图像通道或者色彩分量。每个数字图像通道是像素的二维阵列。尽管数字图像通道被描述为按照行和列布置的像素值的二维阵列，本领域技术人员将理解本发明可以应用于非直线阵列而具有同等的效果，并且本发明可以应用于但不限于这里提到的任何应用的数字图像通道。

作为这里所使用的，术语“数字图像”指的是所有通道的二维阵列，或者任何单独的阵列，或者单独地对待的阵列的任何部分。诸如视频序列的图像序列的每个帧也被认为是“数字图像”。

为了方便起见，这里一般或者关于红，绿和蓝像素值的二维阵列，或者对应于光强的单色值的阵列讨论数字图像。为了讨论方便的分辨率为1024行像素和1536线像素的图像，尽管本领域技术人员将理解可以使用不同分辨率和尺寸的数字图像而具有同等的或者至少可接受的成功。对于图像通道的其他组合也是一样。

关于命名法的问题，数字图像位于坐标(x，y)处的像素值，这里应当分别包括值[r(x，y)，g(x，y)，b(x，y)]的三元组，坐标(x，y)是指数字图像的第x行和第y列，[r(x，y)，g(x，y)，b(x，y)]分别指在位置(x，y)处红色，绿色和蓝色数字图像通道的值。在此方面，认为数字图像包括红色，绿色和蓝色二维阵列或者红色，绿色和蓝色通道。可以从色彩通道形成亮度通道p。数字图像通道n位于坐标(x，y)处的像素值这里应当是称为p(x，y)的单个值，坐标(x，y)指数字图像通道的第x行和第y列。

图14所示的通用控制计算机可以存储具有存储在计算机可读存储介质中的程序的计算机程序产品，计算机可读存储介质例如可以包括：诸如磁盘(诸如软盘)或磁带的磁存储介质；诸如光盘，光带或者机器可读条形码的光存储介质；诸如随机访问存储器(RAM)，或者只读存储器(ROM)的固态电子存储装置。相关的计算机程序也可以存储在由离线存储器装置表示的用来存储计算机程序的任何其它物理装置或介质上。

还应当注意，本发明可以软件和/或硬件的组合来实施，并且不限于物理地连接的和/或位于同一物理位置的装置。图3示出的一个或多个装置可以位于远程的位置并可以经由网络连接。一个或多个装置可以无线地连接，诸如或者直接地或者经由网络地通过射频链接。

本发明可以用于各种用户情境和环境。示例的情境和环境不限制地包括，批发数字照片冲洗(涉及诸如胶片进入，数字处理，印出的示例处理步骤或阶段)，零售数字照片冲洗(胶片进入，数字处理，印出)，家庭打印(家庭扫描的胶片或者数字图像，数字处理，打印出)，桌面软件(对数字打印输出应用算法以使它们更好或者甚至就是改变它们的软件)，数字实现(数字图像输入-从介质或者甚至在web上，数字处理，图像输出-以介质上的数字形式，web上的数字形式，或者打印在硬拷贝打印输出上)，售货亭(数字或扫描的输入，数字处理，数字或硬拷贝输出)，移动装置(例如可以用作处理单元，显示器单元，或者给出处理指令的单元的摄像机，PDA，或者蜂窝电话)，以及经由万维网提供的业务。

在每种情境中，本发明可以是独立的或者可以是较大系统解决方案中的一个组件。此外，人界面，例如扫描或输入、数字处理、显示给用户(如果需要)、用户请求或者处理指令的输入(如果需要)、输出，每个可以在相同或者不同的装置和物理位置上，这些装置和位置之间的通信可以是经由公用或者私人的网络连接，或者基于介质的通信。在符合本发明的前述揭示的情况下，本发明的方法可以是完全自动的，可以具有用户输入(完全或者部分手动)，可以让用户或操作员查看以便接受/拒绝结果，或者可以由元数据(可以是用户提供的，测量装置(例如在摄像机内)提供的，或者由算法确定的元数据)协助。此外，(多个)算法可以与各种工作流程用户界面方案相接口。

现在参考图1-2，在一特定实施例中，提供(10)数字图像给系统存储器的单元12，并做出确定(14)该数字图像当前是否被压缩。如果发现该数字图像是被压缩的，解压缩(16)该数字图像。用于确定图像当前是否被压缩的协议对于本领域技术人员是熟知的。例如，数字图像可以作为包括图像信息以及指示最终的状态是压缩的还是未压缩的元数据，以及解压缩该图像所需要的信息和与图像相关的其它元数据的数字文件被提供。

现在参考图2，可以将数字图像接着发送到兴趣区域选择器18，如下文将会详细讨论，兴趣区域选择器18确定感兴趣的区域。可以在用户的选择下绕开兴趣区域选择器，在此情况下使用整个图像。替代的，兴趣区域选择器可以从系统中省略，如图1的实施例所示的。

再次参考图1和2，接着将不知道之前被压缩过的数字图像发送到压缩检测器20，并确定(22)该图像是否在其历史上的某个点受过压缩。这通过确定是否存在第一压缩伪像而完成。该第一压缩伪像是由基于块的压缩技术造成的块效应。已知很多基于块的图像压缩技术。最常见的图像压缩格式为JPEG标准下的JPEG压缩。另一种基于块的图像压缩为矢量量化，诸如R.M.Gray，“Vector Quantization”，IEEE ASSPMagazine，4-29页，(1984年4月)中揭示的方法。

将数字图像直接发送到压缩检测(22)的替代路径(24)由图1中的虚线箭头指示。该替代路径(24)如果在提供的图像已知是未经压缩的情况下是有用的。例如，如果在解压缩图像或者排除压缩过的图像的的较早图像处理之后接收图像的情况下，替代路径可以是有用的。该替代路径可以作为选择提供，或者是自动的，基于较早的图像处理等，或者作为用户选项，例如当用户知道大的批次中的所有图像都是未经压缩的时。如果知道在接收的时候将要接收的所有图像都将是未经压缩的，那么可以省略确定图像是否被压缩以及解压缩该图像的步骤。

如果没有检测到压缩，数字图像被发送到第一插值检测器26。如果检测到压缩，数字图像被发送到第二专用插值检测器28。在两个插值检测器中都评估(30)数字图像中插值标记的存在。只有在第二插值检测器中，抵消(32)第二压缩伪像。插值评估的结果被发送到结果分析器-分类器34，其分析(36)该结果并接着分类该数字图像。

数字图像中块效应的存在可以用各种技术确定，诸如美国专利No.6427031和No.6643410中所揭示的(美国专利No.6427031结合在这里作为参考)。

授予Yu等的美国专利No.6643410中揭示了一种当前优选的方法，其联系具有亮度分量的灰阶图像或者具有RGB分量的彩色图像进行描述。对于彩色图像，可以在图像压缩之前进行色彩转换以利用人类视觉系统(HVS)在色彩感知上的冗余度。例如，在JPEG压缩中，首先用以下方程将彩色图像从RGB转换到YCbCr色空间：

Y＝16+65.481*R+128.553*G+24.966*B；

Cb＝128-37.797*R-74.203*G+112*B；

Cr＝128+112*R-93.786*G-18.214*B；

其中：

Y为亮度分量，

Cb和Cr为两个色度分量，并且

R，G和B都归一化到1。

图5示出使用美国专利No.6643410的程序来检测JPEG压缩块效应。该程序也可以用于检测其它基于块的图像压缩，诸如矢量量化。对于每个图像分量，首先在步骤1110通过计算两个相邻列之间的绝对差生成列差(column difference)图像。例如通过从图像的第一列的像素值减去图像的第二列的像素值以生成一差值列，并接着将列差图像的第一列的像素值设定为该差值列的绝对值，生成列差图像。重复同一程序来设定列差图像除了最后一列之外的其他列，最后一列的所有值被设为零。

进一步在步骤1112中在垂直方向平均该列差图像以生成一维列差阵列VA。假定原始图像具有M行和N列图像数据，列差阵列VA应当具有N个条目。为了防止图像边缘贡献于检测，在原始图像分量中的对应像素的亮度梯度的幅度大于阈值T的情况下放弃列差图像中的像素的贡献。使用Sobel算子作为亮度梯度算子来生成亮度梯度图像，其中亮度梯度等于来自水平和垂直Sobel算子的绝对值的和。在本发明的当前实施例中，计算亮度梯度图像的标准偏差(SD)，并且阈值T设定为标准偏差SD的两倍。

进一步在步骤1114中使用JPEG块宽度的周期性平均该列差阵列VA，以生成块平均列差阵列VAA，其具有8个条目。换言之，每八个列差阵列VA的条目将被平均，结果将被用于设定块平均列差阵列VAA的八个条目。根据JPEG图像压缩通常使用的，块尺寸为8x8个像素。替代的，可以使用16x16的块。类似地，在其它基于块的压缩方案中也可以使用其它块尺度。

首先在步骤1116中从块平均列差阵列VAA定位最大值，并将其定义为列峰值，接着在步骤1118计算块平均列差阵列VAA排除峰值的均值。该均值被定义为列基值。最后，在步骤1120计算列峰值和列基值之间的比率，以生成列比率。

类似地在步骤1110’-1120’的系列中计算行峰值，行基值和行比率，其中共用的附图标记表示对行进行的对应的操作类似于对列进行的那些操作。更具体地，分别在块1112’和1114’生成行差阵列HA和块平均行差阵列HAA，并且在块1116’-1120’中展开类似的基于这些阵列的度量。

列和行比率分别是列和行方向上存在一块效应的良好指示器。因此，块效应的程度的优选度量(在步骤1122中计算的)为，具有统计上平均分布的水平和垂直结构的图像的列和行比率的平均值。更积极的度量为列和行比率的最小值。

块效应的可见性会依赖于图像中的实际结构。例如，带有纹理的区域趋向于比平坦区域更好地隐藏块效应。列和行基值是纹理量的良好指示器。为了实现较高程度的稳健性，块效应程度的度量可以被定义为行/列比率和行/列基值两者的函数。一般，基值越高，表示越高程度的纹理活动(能够隐藏较大程度的块效应)，对于伪像度量应当使用较高的阈值。实际上，可以建立查找表以便量化地表征基值和阈值之间的关系。

如果块效应的程度的度量超过了预定阈值，则检测到JPEG压缩。此外，块平均列差阵列VAA和块平均行差阵列HAA中的峰值的索引，为图像分量的水平和垂直方向上JPEG块边界位置。例如，如果块平均列差阵列VAA的峰值的索引为4，那么假定JPEG块边界将在该图像分量中的第4，12，...列出现。(注意，在该实施例中，对于图像分量的列，以及对于块平均列差阵列VAA和块平均行差阵列HAA的索引从零开始)。

在数字图像在原始数据压缩操作之后不仅经过裁剪还经过缩放(收缩或放大)的情况下，块尺寸不再是原始的JPEG块尺寸8。对于可能经过放大的数字图像，上面的确定JPEG块效应的程度的过程可以被重复假定块宽度值的预定系列，以便产生一系列峰值和基值之间的比率。产生最大伪像度量的假定块宽度被选择为缩放之后的有效块尺寸。接着缩放因子被确定为有效块尺寸和原始块尺寸(即8)之间的比率。

具有压缩引起的块效应的数字图像还遭受到作为图像数据中的特定周期所呈现的第二伪像。两种伪像都是之前用在该数字图像上的特定压缩方案的特征。从而，检测到第一伪像证明图像中存在第二伪像。在本发明的方法和系统中，对特定压缩方案的第一伪像的存在的检测被假定为确定该数字图像中该压缩方案的使用以及相关的第二伪像的存在。认识到块效应可能潜在地由与压缩无关的其它程序产生；然而，已经确定作为大部分使用的事实，可以认为特定的压缩方案的块效应特征的存在是过去使用该压缩方案或者等同的压缩方案而不是与压缩无关的技术的决定性的证据。

插值检测器评估插值标记来提供插值结果。插值结果可以是二元的或者可以提供插值因子。特定数字图像的后续分类可以类似地为检测到或者未检测到的二元分类，或者可以提供多点尺度上的值，诸如该数字图像经过或没有经过插值的概率。JPEG压缩通常具有类似于在每个维度上以因子8插值图像的效果。当JPEG编码实施中等或者大的量化时，本发明常常会将该图像分类为用因子8插值过。

两个插值检测器都评估特定数字图像中的周期性。第二检测器还消除作为图像之前的压缩结果在数字图像中存在的周期性，即第二伪像的影响。该消除通过将由于第二伪像的周期性从插值的考虑中排除而执行。相对于第一检测器，这稍微损害(compromise)了第二检测器，但是消除了图像压缩而不是插值导致的伪信号。由于第二检测器的操作相对于第一检测器稍微受到了损害，不期望也不需要对从来没有被压缩过的图像使用第二插值检测器。

第一插值检测器可以美国专利6904180中揭示的方式工作，如图8-11所示。参照图8所示的插值检测器的概览，数字图像通道p(x，y)输入到信号生成器210。数字图像通道p(x，y)或者落在没有经过插值的图像范畴或者落在经过插值的图像的范畴。如果已经从一些其它的源数字图像通道m(x，y)得出(derive from)，并且如果p(x，y)的采样率高于m(x，y)的采样率，那么数字图像通道p(x，y)是经过插值的图像。此外，除非涉及裁剪步骤，一般地，数字图像通道p(x，y)的尺寸(在数字图像通道中的像素数量方面)将大于源数字图像通道m(x，y)。输入图像通道信号生成器210从输入的数字图像通道p(x，y)创建并输出一维信号mddp(k)。如果数字图像通道p(x，y)是在被输入到信号生成器210之前的插值操作的结果，那么信号mddp(k)包含对应于插值因子N和方法的周期性，如下文将进一步详细讨论的。然而，如果数字图像通道m(x，y)是没有经过插值的数字图像通道，那么信号mddp(k)将不包含任何特定的周期性。信号生成器210的用途是仅在输入的数字图像通道p(x，y)已被插值的情况下，产生包含对应于插值因子N的周期分量的信号。信号生成器210在下文将更详细地描述。注意输入的数字图像通道p(x，y)由R行像素和C列像素构成。

从信号生成器210输出的数字信号mddp(k)被输入到DFT计算机216来计算离散傅里叶变换。时间或空间信号的离散傅里叶变换是信号的频域表示。mddp(k)信号中的周期性可以通过查找DFT计算机216输出的DFT[mddp(k)]信号中的峰值而确定。mddp(k)信号的离散傅里叶变换DFT[mddp(k)]，被输入到插值确定器222来进行分析。离散傅里叶变换的计算是信号处理领域熟知的，从而不再进一步讨论。在该优选实施例中，用零填充mddp(k)信号直到其长度是2的幂。DFT的样本的数量这里将称为M，其中M是等于或大于C-2的最小的2的幂。

分析输入到插值确定器222的DFT[mddp(k)]信号来确定是否存在显著的峰。DFT[mddp(k)]信号中存在峰指示了数字图像通道p(x，y)是经过插值的数字图像通道。插值确定器的输出是图像p(x，y)是否是经过插值的数字图像通道的指示，并且是在p(x，y)是经过插值的数字图像通道的情况下的插值因子N的指示。下面描述插值确定器222的操作。

插值确定器222接受信号DFT[mddp(k)]作为输入。插值确定器222检查输入信号的幅度来确定是否存在任何峰。图11示出了插值确定器的详细视图，其中示出峰值检测器246，其定位输入的信号DFT[mddp(k)]的各峰，以及阈值检测器252，其将峰值检测器输出信号的幅度与特定的阈值比较。存在很多峰值检测方法。本领域技术人员将理解峰值检测器246可以使用任意数量的峰值检测算法来确定信号DFT[mddp(k)]的最大峰的位置k_o。在该优选实施例中，对于要分类为峰的位置k_o，k_o必须在M/x-1和M/2+1之间，其中在该优选实施例中x＝12。此外，信号DFT[mddp(k)]的幅度必须大于在k_o的(M)/12个样本中所有位置处的幅度。此外，阈值应用器252要求信号DFT[mddp(k)]的幅度必须大于Tσ，其中σ为DFT[mddp(k)]信号的幅度在(M)/12-1到(M)寥廖/2+1之间估值的标准偏差。σ的值由统计计算器258确定。本领域技术人员将理解统计计算器258的很多变化，例如平均绝对偏差而不是标准偏差，将得到可接受的结果。T为任意的常数。在一特定实施例中，T＝4。插值因子N的估计N_est的值，用对应于最大幅度的峰值k_o的位置确定。如果插值确定器222没有找到与信号DFT[mddp(k)]关联的峰，那么插值确定器输出指示相信数字图像通道p(x，y)没有经过插值的信息。或者，如果插值确定器222找到一个或多个峰，那么插值确定器222输出指示相信数字图像通道p(x，y)经过了插值的信息。此外，插值确定器222输出N_est。用下面的公式找到N_est的值，其中k_o是峰值的索引而M是DFT[mddp(k)]信号中样本的数量：

N_est＝k_o/M

注意关于DFT的索引，索引0指的是DFT的第一样本，从而是DC项。

图9示出信号生成器210的详细框图。如之前所说明的，信号生成器210的目的是，从仅在数字图像通道被插值的情况下会表现出周期属性的数字图像通道提取信号。数字图像通道p(x，y)被输入到1D差分器228₁。1D差分器228₁的用途是计算图像中局部的像素到像素变化。在一特定实施例中，这些像素到像素差异通过沿数字图像通道的每一行计算两个相继的导数来确定。注意处理可以沿图像列执行而获得同样的成功。1D差分器228₁计算数字图像通道每行的导数来建立导数数字图像通道dp(x，y)。1D差分器228₁使用下面的公式建立导数数字图像通道dp(x，y)。

dp(x，y)＝p(x+1，y)-p(x，y)

接着，将导数数字图像通道dp(x，y)输入到第二1D差分器228₂来第二次计算每行的导数。该第二1D差分器228₂的输出为代表数字图像通道p(x，y)的每一行的二阶导数的数字图像通道。1D差分器228₂使用下面的公式建立二阶导数数字图像通道ddp(x，y)：

ddp(x，y)＝dp(x+1，y)-dp(x，y)＝p(x+2，y)-2p(x+1，y)+p(x，y)

注意到可以组合1D差分器228的两级来直接从p(x，y)计算ddp(x，y)，如之前的等式所示。

1D差分器228的两级的用途是在平均起来的信号值在对应于原始数字图像通道m(x，y)(p(x，y)是从m(x，y)插值的)的样本的像素位置具有不同属性的情况下生成二维信号。该信号ddp(x，y)一般在对应于原始数字图像通道m(x，y)的样本的位置具有大的平均值，而在原始数字图像通道的样本之间的位置具有小的平均值。

ddp(x，y)信号接着被输入到1D痕迹提取器240。1D痕迹提取器的用途是从ddp(x，y)信号产生高信噪比一维痕迹，其表现出与插值因子N直接相关的周期性。在该优选实施例中，1D痕迹提取器240通过跨列对各值的大小进行平均来产生一维痕迹mddp(k)，如下面的公式所示：

mddp (k) = Σ_{y = 0}^{R} | ddp (k, y) |

本领域技术人员将理解信号生成器210的用途可以通过很多方法实现。本领域技术人员还将理解目的是从数字图像通道p(x，y)产生表现出与插值因子N相关的周期性的信号的方法，不偏离本发明的范围。

图10示出信号生成器210的替代实施例，其中仅使用单个1D差分器228。该实施例产生精确的结果，尽管不像优选实施例那么相当可靠。

对于1D痕迹提取器240同样存在很多替代实施例。例如，信号mddp(k)可以通过找到输入1D痕迹提取器240的信号的每行或每列的标准偏差(或方差)来计算。一般，输入1D痕迹提取器240的数字图像通道的列或行的方差，在该行或该列与从其插值p(x，y)的原始数字图像通道m(x，y)的样本一致时最高。从而1D痕迹提取器240可以用以下基于方差的公式计算mddp(k)信号：

mddp (k) = \frac{1}{R} Σ_{y = 0}^{R} ddp {(k, y)}^{2} - \frac{1}{R^{2}} {[Σ_{y = 0}^{R} ddp (k, y)]}^{2}

通过重新排列已经示出的框图还有其它替代实施例。例如，可以计算ddp(x，y)信号每行的DFT，并接着将这些DFT一起平均，以产生一维信号输入到插值确定器222。类似地，也可以计算ddp(x，y)信号每行的DFT，并接着输入每个DFT到插值确定器222进行峰值检测。从而数字图像通道p(x，y)的每行将具有N_est。接着可以用图案识别领域的技术人员熟悉的方法组合这些多个N_est的值，来获得整个图像的单个N_est值。

第一插值检测器即使在插值因子N不是整数值的情况下也能成功地检测N。插值检测的一种替代方法包括步骤：基本地选择数字图像通道p(x，y)的样本(以规则的间隔)，以及建议这些采样点构成原始图像通道。接着可以利用各种插值方法来从这些样本重构“高分辨率”图像。接着可以将该插值的版本与数字图像通道比较来进行相关。高的相关性将指示正确地确定了插值方法和因子。尽管该替代方法将直观地提供期望的结果，检测随机的非整数插值因子将是困难的。

第二插值检测器可以与第一插值检测器相同的方式操作，除了第二插值检测器包括抵消第二伪像第二压缩伪像的影响的特征。目前优选的是需要第二插值检测器一般以图8-11上描述的方式操作。在该情况下，抵消第二伪像可以通过修改从图像中提取的信号来去除与图像之前的压缩相关的周期性而执行。接着检查该修改过的信号查找插值的证据。在一特定实施例中，第二插值检测器中插值的估计包括步骤：从图像生成一维周期性信号；计算该周期性信号的离散傅里叶变换(DFT信号)；从DFT信号排除对应于第二伪像的峰来产生经过修改的DFT信号；以及评估该经过修改的DFT信号来查看与压缩的类型关联的第一组峰的存在，该压缩是由之前检测到的块效应证实的。

例如，当将利用8x8编码块的JPEG压缩应用到图像时，即使没有插值已被应用到该图像，得到的DFT[mddp(k)]信号(图3中所示)也具有位于频谱的1/8，1/4，3/8，5/8，3/4，和7/8处的峰。因此，为了避免可能通过检测这些伪峰而发生错误检测的问题，专门的插值检测器124首先确保信号mddp(k)的长度是2的幂，并且可以由8整除，从而这些峰的能量集中在DFT[]信号中的单个点上。接着，在频谱的位置1/8，1/4，3/8，5/8，3/4，和7/8处将DFT[mddp(k)]的值设定为0。这允许检测到与实际的插值关联的峰，而同时忽略与图像压缩关联的峰值。然而，这使得更难检测8，4，8/3，8/5，4/3和8/7的插值率。图4示出与用因子2.8插值，接着经过JPEG压缩的图像关联的示例DFT[mddp(k)]信号。通过忽略与JPEG压缩关联的峰，正确地识别了与插值关联的峰值(用箭头指示)。

在较少可能发生的其中JPEG编码块不是8x8，例如是16x16的情况中，这种信息可以通过压缩检测器110获得，并传送到专门的插值检测器124。在该示例中，得到的DFT[mddp(k)]信号将具有位于频谱的1/16，1/8，3/16，1/4，5/16，3/8，7/16，9/16，5/8，11/16，3/4，13/16，7/18和15/16处的峰。

如之前所讨论的，该方法中提供的分类可以是在真实的或者非伪造的图像和伪造图像之间进行。也可以提供其它分类。可以使用该分类以便在不同的参数组之间选择。例如，锐化算法会在输入图像是没有插值过的情况下要求一组参数，而在输入图像已插值过的情况下要求第二组参数。该分类可以确定将与图像关联的元数据。例如，如果数字图像通道p(x，y)用因子4插值过，那么该历史信息可以附加到与该数字图像通道关联的元数据上。元数据可以但不一定存储在与数字图像通道数据相同的文件中。

图12示出具有分支步骤的图像处理链，其中从两个分支中的一个选择(40)到图像转换程序42或44的图像处理路径，是基于相应的插值检测器的输出的。例如，很多web照片冲洗站点包含在顾客请求低于150dpi的分辨率的照片打印时的分辨率警告。不了解情况的顾客可能试图通过使用图像处理软件来插值图像并增加图像分辨率而避免该警告，相信引起“分辨率警告”的问题已经被解决了。本发明的方法将识别出图像经过了插值并允许系统发出分辨率警告给顾客。此外，本发明的方法允许系统教育顾客，以便解释尽管插值增加了数字图像通道中的像素数量，但一般并不引入新的信息。

检测插值图像的本方法的另一个应用示于图13中。如之前提到的，图像插值通常通过双三次和双线性插值来进行。然而，存在过多的声称提供改进的图像插值的算法。例如，很多时候，当或者使用双三次或者使用双线性插值时以整数因子N的插值在图像p(x，y)中保留数字图像通道m(x，y)的每个采样点的值。接着可以用本方法指示图像p(x，y)是插值过的图像的情况。在它是插值过的图像的情况下，那么当N是整数的时候通常可以确切地恢复原始数字图像通道m(x，y)。这通过用图像采样器46以N_est指示的比率采样图像p(x，y)来实现。接着可以用图像插值器48使用比之前用过的更先进的图像插值算法，将该低分辨率版本p(x，y)插值到p(x，y)的图像尺寸。

如之前提到过的，数字图像可以是较大的图像中感兴趣的区域。感兴趣的区域可以使用兴趣区域选择器自动确定或者由操作员手动确定。兴趣区域选择器可以替代地或者附加地选择并在图形用户界面上呈现一个或多个感兴趣的区域给用户，用户可以在呈现的区域中进行选择，手动地选择区域，或者选择整个图像。将区域呈现给用户的方式不重要。例如，可以可视地列出区域。

兴趣区域选择器可以对整个图像操作，或者各种尺寸的扫描窗口可以滑过数字图像以自动找到感兴趣的区域。可以使用各种兴趣区域选择器，诸如：脸部检测器，主题(main subject)检测器，皮肤区域检测器，天空检测器，其它目标(汽车，道路，草地，建筑等)检测器，或者这些检测器的组合。

兴趣区域选择器选择一个或多个感兴趣的区域，和，可选地，比较区域或多个比较区域。该比较区域或多个比较区域可以是或者可以不是较不感兴趣的或者在图像的背景中。在检测伪造品的使用中，有时候优选比较区域是背景，或者手动选择的、相比感兴趣的区域不太可能是插值过的区域。这一般是图像的背景的一部分。在一些使用中，将来自两个或多个选定的感兴趣的区域的插值进行比较是方便的。在对所有图像插值评估之后，单独地或者一起分析插值结果，或者都进行。在该分析中，可以将感兴趣的区域的插值结果与比较区域的插值结果比较，来确定结果中是否有差异。同样的插值检测器对来自同一大图像的两个不同的“图像指示”的响应的差异，是从超过一个源进行的图像合成存在的证据。

参考图6-7，在一特定实施例中，使用脸部检测来找到感兴趣的区域。伪造的图像通常涉及人脸。很多不同的脸部检测技术是已知的(参见Ming-Hsuan Yang，David Kriegman，和Narendra Ahuja，“DetectingFacesin Images：A Survey”，IEEE Transactions on Pattern Analysisand Machine Intelligence(PAMI)，Vol.24，no.1，pp.34-58，2002)。使用的特定脸部检测技术并不重要。

图6示出示例数字图像310，包含第一脸部330和第二脸部334。图7示出具有与两个脸部关联的两个感兴趣的区域340，341以及比较区域342的图像，感兴趣的区域340，341和比较区域342适合用于确定图像310是否是由来自其它源图像的内容构成的伪造品。尽管这些区域被示出为矩形，本领域技术人员将理解，可以使用包括任意形状的其它形状。检查数字图像310是否之前压缩过，接着使用两个插值检测器中的一个在不同的区域评估插值，得到对每个区域的插值的估计。如之前所述，插值检测器确定是否用另一个采样点阵对图像进行过重新采样。例如如果发现区域340插值过而确定区域341和342没有插值过，那么将该图像分类为伪造品。此外，可以辨别出伪造区域为区域340。然而，如果发现所有三个区域都插值过(例如，旋转10度)，那么该图像不被划分为伪造品，因为可以用在整个图像上一致地应用了重新采样格点而没有添加新内容，来解释该情况。

本发明适用于数字视频，数字视频是以快速的连续性，例如以每1/30秒一个图像的帧速率捕捉的各个的帧的序列。可以对视频序列中的每个帧执行该方法。如果对于帧的一部分检测到插值，那么该视频是合成过的或者伪造的。此外，物体趋向于在视频中逐渐移动，如果在多个帧的期间上的场景中的同一物体或区域的检测到插值，则是更合成或伪造的强烈的指示。

已经特别参照其特定的优选实施例详细描述了本发明，但是将理解在本发明的精神和范围内可以实现很多修改和变化。

部件列表

4 插值检测器

10 信号生成器

16 DFT计算器

22 插值确定器

28 1D差分器

40 1D痕迹提取器

46 峰值检测器

52 阈值应用器

58 统计计算器

70 图像采样器

76 图像插值器

110 数字图像

114 兴趣区域选择器

120 压缩检测器

124 专门的插值检测器

126 结果分析器

128 伪造品分类

130 第一脸部

134 第二脸部

140 示出感兴趣的区域的图像

142 与第一脸部关联的区域

144 与第二脸部关联的区域

146 背景区域

1110 形成列差图像

1112 产生列差阵列

1114 产生块平均的列差阵列

1116 定位列峰值

1118 计算列平均值

1120 计算列比率

1122 计算图像分量的块效应的程度的度量

1110’形成行差图像

1112’产生行差阵列

1114’产生块平均的行差阵列

1116’定位行峰值

1118’计算行平均值

1120’计算行比率

Claims

1.一种检测数字图像合成的方法，所述方法包括步骤：

在未经压缩的数字图像中检测第一伪像，所述第一伪像是之前用预定的压缩算法对所述数字图像压缩的特征；

评估所述图像中的插值标记来提供插值结果；

在所述评估期间，抵消所述压缩算法的第二伪像，其中所述第二伪像也是用所述压缩算法对所述数字图像压缩的特征；以及

响应所述插值结果对所述图像分类，

其中，评估所述图像中的插值标记来提供插值结果包括：

由兴趣区域选择器或手动地从所述图像中选择一个或多个感兴趣的区域以及一个或多个比较区域，所述比较区域在图像背景中；以及

评估所述一个或多个感兴趣的区域以及所述一个或多个比较区域中的插值标记；以及

其中响应所述插值结果对所述图像分类包括：

比较所述一个或多个感兴趣的区域以及所述一个或多个比较区域的插值结果，以及

在所述插值结果之间存在差异的情况下，将所述图像识别为具有图像合成。

2.根据权利要求1所述的方法，其中所述第二伪像和所述插值标记在所述图像中具有不同的周期性。

3.根据权利要求2所述的方法，其中所述第一伪像是块效应。

4.根据权利要求1所述的方法，其中所述第一伪像是块效应。

5.根据权利要求1所述的方法，其中所述一个或多个感兴趣的区域是使用兴趣区域检测器选择的，所述兴趣区域检测器选自包括脸部检测器、主题检测器、皮肤区域检测器、天空检测器、其它目标检测器的组。

6.根据权利要求1所述的方法，进一步包括以两个或更多另外的数字图像重复所述检测、评估、以及抵消步骤，并且未经压缩的数字图像和该另外的数字图像每个都是视频序列的帧。

7.根据权利要求1所述的方法，其中所述评估还包括：

从图像生成一维周期性信号；

计算所述周期性信号的离散傅里叶变换；以及

检测所述离散傅里叶变换中的第一组峰；以及

其中所述抵消还包括从所述检测排除所述离散傅里叶变换中的第二组峰。

8.一种检测数字图像合成的系统，所述系统包括：

在未经压缩的数字图像中检测第一伪像的装置，所述第一伪像是之前用预定的压缩算法对所述数字图像压缩的特征；

评估所述图像中的插值标记来提供插值结果的装置；

在所述评估期间抵消所述压缩算法的第二伪像的装置，其中所述第二伪像也是用所述压缩算法对所述数字图像压缩的特征；以及

响应于所述插值结果对所述图像分类的装置，

其中，评估所述图像中的插值标记来提供插值结果的装置进一步包括：

从所述图像中选择一个或多个感兴趣的区域以及在图像背景中的一个或多个比较区域的装置；以及

评估所述一个或多个感兴趣的区域以及所述一个或多个比较区域中的插值标记的装置；以及

其中响应所述插值结果对所述图像分类的装置进一步包括：

比较所述一个或多个感兴趣的区域以及所述一个或多个比较区域的插值结果的装置，以及

在所述插值结果之间存在差异的情况下将所述图像识别为具有图像合成的装置。

9.一种检测数字图像合成的方法，所述方法包括步骤：

提供未经压缩的数字图像；

在所述数字图像中检测第一伪像的存在，所述第一伪像是之前用预定的压缩算法对所述数字图像压缩的特征；

评估所述图像中两个或更多不同区域中的插值标记来提供每个所述区域的插值结果；

当所述第一伪像存在于所述数字图像中时，在所述评估期间抵消所述压缩算法的第二伪像，其中所述第二伪像也是用所述压缩算法对所述数字图像压缩的特征；以及

响应于所述插值结果对所述图像分类。

10.根据权利要求9所述的方法，其中所述第一伪像是块效应，所述第二伪像和所述插值标记在所述图像中具有不同的周期性。

11.根据权利要求9所述的方法，还包括使用兴趣区域检测器在所述未经压缩的数字图像中找到一个或多个所述区域。

12.根据权利要求9所述的方法，其中所述分类还包括比较每个所述区域的插值结果。

13.根据权利要求9所述的方法，其中对每个所述区域的所述评估还包括：

从图像生成一维周期性信号；

计算所述周期性信号的离散傅里叶变换；以及

检测所述离散傅里叶变换中的第一组峰；以及

14.一种检测数字图像合成的方法，所述方法包括步骤：

检测未经压缩的数字图像中的块效应；

确定与所述块效应关联的压缩导致的周期性伪像；

评估所述图像中的周期性来提供插值结果；

在所述评估期间，抵消所述压缩导致的周期性伪像；以及

响应于所述插值结果分类所述图像。

15.根据权利要求14所述的方法，其中所述未经压缩的数字图像是较大数字图像的一部分。

16.根据权利要求15所述的方法，还包括使用兴趣区域检测器在所述较大数字图像中找到所述未经压缩的数字图像。