CN111178166B - 一种基于图像内容自适应的相机源识别方法 - Google Patents

Abstract

本发明提供一种基于图像内容自适应的相机源识别方法。该方法包括：建立相机参考模式噪声库，其中，每个相机对应多个子类参考模式噪声，不同的子类参考模式噪声反映不同的图像质量和内容；对于待测图像，根据图像质量和内容判断其所属的子类，并计算待测图像的噪声残差；计算待测图像的噪声残差与所述相机参考模式噪声库中的每个相机的对应子类参考模式噪声之间的相关性，进而确定待测图像的相机源。本发明的方法能够有效减小相机源的识别误差。

Description

一种基于图像内容自适应的相机源识别方法

技术领域

本发明涉及相机源识别技术领域，尤其涉及一种基于图像内容自适应的相机源识别方法。

背景技术

随着现代数字产品的快速更新换代，数字图像在日常生活中应用变得日益广泛。数字图像编辑软件的开发与应用使得数字图像更容易被处理，甚至于伪造、恶意篡改等。例如一幅具有版权保护的图像在未得到版权所有者的授权被重新拍摄并发布时，相机源识别技术就可以用来取证，区分一幅传播的图像是原始图像还是经由其他相机翻拍的图像，从而判断该图像的版权。又如一幅图像中的某一部分被人通过图像处理软件用另一相机拍摄的照片中某一部分替换，导致图像中的场景发生变化，改变了事实，这使得相机源识别技术在法庭取证、学术造假以及保险索赔等案件中具有重要的意义。

相机从获取自然景物到输出数字图像通常要经过透镜、滤光片、色彩滤镜矩阵以及传感器几个部件才能生成原图像，其中传感器模式噪声是一种重要且稳定的相机指纹。根据传感器模式噪声，不仅可以区分出相机的品牌，还可以区分出同一品牌相机的不同型号。由于传感器模式噪声主要是由两个原因造成，一是传感器生产过程中不可避免的瑕疵，二是由于硅片的不均匀性导致各像素的感光差异性。正是因为传感器生产过程中的瑕疵以及每个像素可变的感光特性，使得即使是由同一种硅片制成的传感器也会有不相关的模式噪声。因此传感器模式噪声是一种鲁棒的相机指纹。

现有的相机源识别技术主要通过对数据库中所有已知相机源的原图像进行滤波处理，得到各个相机的参考模式噪声；而对于测试图像，用同样的滤波器滤波，得到噪声残差，然后计算相机参考模式噪声与待测图像的噪声残差之间的相关系数，根据相关系数的大小来确定待测图像的相机源，没有考虑到图像数据库中不同质量的图像对相机源识别的影响。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种基于图像内容自适应的相机源识别方法，考虑了图像数据库中图像内容及质量对相机源识别的影响，能够有效地减少相机源识别误差。

本发明提供一种基于图像内容自适应的相机源识别方法。该方法包括以下步骤：

建立相机参考模式噪声库，其中，每个相机对应多个子类参考模式噪声，不同的子类参考模式噪声反映不同的图像质量和内容；

对于待测图像，根据图像质量和内容判断其所属的子类，并计算待测图像的噪声残差；

计算待测图像的噪声残差与所述相机参考模式噪声库中的每个相机的对应子类参考模式噪声之间的相关性，进而确定待测图像的相机源。

在一个实施例中，所述建立相机参考模式噪声库包括：

对于已知相机源且不同质量的图像库，计算每幅图像的均值和方差；

根据均值和方差的大小，将图像库划分成多个子类；

对所述多个子类中的图像进行滤波，并对同一款相机拍摄的所有图像，分别计算其在所述多个子类中的参考模式噪声。

在一个实施例中，每个子类的参考模式噪声由该子类中该相机的所有图像的噪声残差取平均求得。

在一个实施例中，对于一副图像，根据图像的均值和方差确定其对应的子类，表示为：

其中，A_ij表示在图像A点(i,j)处的像素值，m表示图像均值，v表示图像方差，C₁、C₂、C₃是子类标识。

在一个实施例中，根据以下公式计算相机源的各子类的参考模式噪声：

N_ij＝A_ij-A_ij*F

其中，*表示卷积操作，A_ij表示在图像A点(i,j)处的像素值，F是滤波器模板，表示为：

在一个实施例中，对于待测图像P，通过以下公式计算噪声残差N_P与每个相机对应子类参考模式噪声之间的相关系数：

其中，

表示待测图像噪声残差图像中所有元素的均值，R_M表示相机M的子类参考模式噪声，/>

表示相机M的各子类参考模式噪声的均值。

与现有技术相比，本发明的优点在于：现有技术对已知相机源的图像库作统一滤波，得到相机源的参考模式噪声，没有考虑图像库中各种不同内容和质量的图像对相机源参考模式噪声提取的影响，而本发明根据图像的质量进行子类划分，对于每一个相机源，分别得到多个子类的参考模式噪声；在相机源识别过程中，现有技术只利用待检测图像的噪声残差和相机源参考模式噪声做相关计算，而本发明首先判定出待检测图像的子类，然后与对应的子类中参考模式噪声做相关性计算，利用了图像质量和内容，能够有效地减少相机源识别误差。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1是根据本发明一个实施例的基于图像内容自适应的相机源识别方法的流程图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

在本文示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在有大量已知相机源且不同质量的图像库的前提下，本发明提供的相机源识别方法主要包括：首先，根据图像的质量和内容，将每个相机拍摄的图片分为多个子类；然后，对每一个子类进行滤波，分别计算出各相机在多个子类下的参考模式噪声；对于给定的待测图像，先判断属于哪一个子类，然后对待测图像进行滤波，得到待测图像的噪声残差；最后，计算待测图像的噪声残差与对应子类的相机参考模式噪声之间的相关系数，进而判断出待测图像的相机源。

具体地，参见图1所示，本发明实施例的相机源识别方法包括：

步骤S110，基于图像质量和内容将各相机源所拍摄的图像划分为多个子类。

在一个实施例中，根据以下对图像进行子类划分：

首先，从大量已知相机源且不同质量的图像库C中，计算每幅图像的均值和方差。

假设一幅图像A∈R^H×W，其中H和W分别表示图像A的高度和宽度，则均值m和方差v分别可用下式计算：

其中，A_ij表示在图像A点(i,j)处的像素值。

然后，根据均值和方差的大小，将图像库分成多个子集(或称子类)。

例如，将图像库分为三个子集，分别表示为饱和、平滑和其他三个类别。由于方差越大，图像的像素点分布越分散；反之，方差越小，图像的像素点分布越集中。在一个实施例中，设定当方差v≤20时，均值0≤m≤5或250≤m≤255时，认为此图像属于饱和类别；当方差20＜v≤50，均值0≤m≤5或250≤m≤255以及方差0≤v≤50，均值5＜m＜250时，认为此图像属于平滑类别；剩余的则划分为其他类别。具体地，可用下式(3)表示：

其中C₁是饱和图像的集合，C₂是平滑图像的集合，C₃是其他类的集合。

利用上述方式，对于同一款相机M拍摄的所有图像组获得C_M＝{C_M1,C_M2,C_M3}，其中C_M1、C_M2和C_M3分别是相机M拍摄图片的饱和、平滑和其他三个子集。

需说明的是，本领域技术人员基于本发明的精神和原理可对本文的实施例作适当的改变或变型，例如根据均值和方差的大小可将图像分为更多子集，而不限于仅划分为三个子集，在实际应用中，所划分子集的数量可根据所拍摄图像的内容、相机分辨率技术的逐渐改善等因素确定。为清楚起见，下文仍以三个子集为例进行介绍。

步骤S120，对多个子类的图像进行滤波，获得各子类对应的参考模式噪声，进而建立相机参考模式噪声库。

具体地，分别对三个子集中的图像做高通去噪滤波，滤波器模板可采用高通滤波器，例如表示为：

这种高通去噪滤波器可以抑制由图像边缘和纹理给相机源参考噪声带来的干扰。

相机源参考模式噪声可以表示为：

N_ij＝A_ij-A_ij*F (5)

其中*表示卷积操作。

对于同一款相机M拍摄的所有图像组C_M＝{C_M1,C_M2,C_M3}，分别计算它在三个子集中的参考模式噪声。例如，每个子集的参考模式噪声由该子集中该相机的所有图片的噪声残差取平均求得。最终对每个相机M，得到三个参考模式噪声，即饱和子集的参考模式噪声R_M1、平滑子集的参考模式噪声R_M2以及其他子集的参考模式噪声R_M3，进而建立相机的指纹库(即相机参考模式噪声库)。

步骤S130，对于待测图像，基于图像质量和内容以及已建立的相机参考模式噪声库进行相机源识别。

具体地，给定一幅待测图像P，首先计算它的均值和方差，根据式(3)判断其属于哪一个子类；然后用式(4)表示的高通滤波器对其滤波，用式(6)计算待测图像的噪声残差N_P。

N_P＝P-P*F (6)

最后，计算噪声残差N_P与每个相机对应子类参考模式噪声(R_M1或R_M2或R_M3)之间的相关系数，表示为：

其中，

表示待测图像噪声残差图像中所有元素的均值，R_M表示相机M的参考模式噪声，它可能是R_M1，R_M2或R_M3中的任何一个，由待测图像P属于哪一个子类决定。例如，当P属于饱和子类时，R_M取R_M1；当P属于平滑子类时，R_M取R_M2；当P属于其他子类时，R_M取R_M3。/>

表示相机M的各子类参考模式噪声的均值。

进一步地，可以建立一个参数模型来确定相机源拍摄的所有图像噪声残差相关性的分布。为了使相机源的错误拒绝率(false rejection rate)最小，同时对错误接受率(false acceptance rate)强加一个约束，可以通过实验，利用Neyman-Pearson准则(探测概率-虚警概率)设计一个阈值从而确定一幅图像Q来自相机源M的ρ_M(Q)以及图像Q'不是来自相机源M的ρ_M(Q')的分布范围。比较相关性ρ_M(P)与该阈值的大小，从而判断待预测图像P是否来源于相机M。

应理解的是，对于相关系数的计算公式(7)，实际操作中也可从采用其他的评价指标如峰值相关能量(peak-to-correlation energy，PCE)或循环互相关范数(circularcross-correlation norm，CCN)等来代替，亦可实现本发明的目的。

为验证本发明的效果，可基于有大量已知相机源且不同质量图像库的前提，例如采用相机源识别的经典数据库the Dresden Image Database，该图像库提供了取自74个相机设备的超过16000张不同质量的图片。根据式(1)、(2)和(3)，按均值和方差的分布将图像分为三个子类，然后求出每一子类各相机源的参考模式噪声。最后对于待检测图像P，先计算其均值和方差分布，得到它所属类别，然后用式(4)表示的高通滤波器滤波，得到待检测图像的噪声残差。通过计算待检测图像的噪声残差与对应类别中相机源的参考模式噪声之间的相关系数，进而得到待测图像的相机源。这些均值、方差计算，以及相机源参考模式噪声，图像的噪声残差等均可以通过MATLAB函数实现。

经验证，与包含有限信息的饱和图像相比，本发明从平滑、明亮的图像中能够得到更为可靠的参考模式噪声，通过基于图像的质量和内容建立的包含多个子类参考模式噪声的相机指纹库，能够更准确地识别出待测图像的相机源。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (6)

1.一种基于图像内容自适应的相机源识别方法，包括以下步骤：

建立相机参考模式噪声库，其中，每个相机对应多个子类参考模式噪声，不同的子类参考模式噪声反映不同的图像质量和内容；

对于待测图像，根据图像质量和内容判断其所属的子类，并计算待测图像的噪声残差；

计算待测图像的噪声残差与所述相机参考模式噪声库中的每个相机的对应子类参考模式噪声之间的相关性，进而确定待测图像的相机源；

其中，所述建立相机参考模式噪声库包括：

对于已知相机源且不同质量的图像库，计算每幅图像的均值和方差；

根据均值和方差的大小，将图像库划分成多个子类；

对所述多个子类中的图像进行滤波，并对同一款相机拍摄的所有图像，分别计算其在所述多个子类中的参考模式噪声；

其中，每个子类的参考模式噪声由该子类中该相机的所有图像的噪声残差取平均求得。

2.根据权利要求1所述的基于图像内容自适应的相机源识别方法，其特征在于，对于一副图像，根据图像的均值和方差确定其对应的子类，表示为：

其中，A_ij表示在图像A点(i,j)处的像素值，m表示图像均值，v表示图像方差，C₁、C₂、C₃是子类标识。

3.根据权利要求1所述的基于图像内容自适应的相机源识别方法，其特征在于，根据以下公式计算相机源的各子类的参考模式噪声：

N_ij＝A_ij-A_ij*F

其中，*表示卷积操作，A_ij表示在图像A点(i,j)处的像素值，F是滤波器模板，表示为：

4.根据权利要求1所述的基于图像内容自适应的相机源识别方法，其特征在于，对于待测图像P，通过以下公式计算噪声残差N_P与每个相机对应子类参考模式噪声之间的相关系数：

其中，

表示待测图像噪声残差图像中所有元素的均值，R_M表示相机M的子类参考模式噪声，/>

表示相机M的各子类参考模式噪声的均值。

5.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至4中任一项所述方法的步骤。

6.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4中任一项所述的方法的步骤。

Images