CN102819831B - 基于模式噪声大分量的相机来源取证方法 - Google Patents

Abstract

本发明公开一种基于模式噪声大分量的相机来源取证方法，分为模式噪声大分量的提取和相关性的检测两部分，具体包括照片的选取、图像锐化、滤波处理、大分量的提取、相关系数的计算及来源判别等步骤。本发明使用拉普拉斯算子对图像进行预处理，有效地增强了高频模式噪声成分，消除了场景噪声等其他低频因素的影响。在保证检测准确率的同时也在很大程度上降低了算法的计算复杂度。利用模式噪声中的光响应敏感点集进行检测，开辟了基于模式识别的图像来源识别的新的理念，在实际应用中简单方便，具有较强的鲁棒性。

Description

基于模式噪声大分量的相机来源取证方法

技术领域

本发明属于数字图像被动取证领域，特别涉及一种基于模式噪声大分量的相机来源取证方法。

背景技术

成像传感器固有的模式噪声是由于材料的缺陷和工艺的不完善等因素造成的。它有两个重要部分组成：暗电流所引起的固定模式噪声（Fixed PatternNoise，FPN）和光敏材料的光子响应非均匀一致性噪声（Photo-ResponseNon-uniformity，PRNU）。其中，FPN是一种加性噪声，它无论是在快门开或关闭状态下都存在，但在中高档相机中通过减去一个暗帧就可以消除FPN，且随着温度的降低FPN也会减弱，故FPN不适合作为相机内部水印。而PRNU模式噪声主要由半导体晶片的非均匀性和不完美性产生，主要体现在传感器各个位置上的像素在光照下的差异，而图像的模式噪声主要来源于PRNU。PRNU一个重要的性质是其高频分量与所拍摄的场景无关，并在相机的生命期中相对稳定，故将其称为成像传感器固有的模式噪声。

一般而言，不同品牌、不同型号的相机使用的成像传感器皆不同，所具备的成像传感器固有模式噪声也不同，因此，模式噪声便成为了追溯相机来源的依据，在相机的来源取证中可将其看成一个扩频水印，并借助水印处理中的相关性检测器进行判断。

最初获得模式噪声的方法很简单，先将多幅原始图像减去其低通滤波图像得到差值图像，再将得到的插值图像进行叠加求平均，但以这种方法提取的模式噪声易受其他噪声的干扰，包括背景噪声、CFA插值噪声和JPEG压缩噪声等。因此，在之后的许多算法中都采用检测前先对模式噪声作预处理，以去除不相干的噪声，如利用最大似然估计器从多幅残差图像中估计出更精确的相机指纹，但这种估计要求在高斯白噪声的假设下，故需将图像进行分块并以假设，实现难度较高。之后，有文献提出一种利用模式噪声中大幅值信号并抑制场景噪声幅值的方法，有效降低了计算复杂度，其技术方案为：

（1）模式噪声（PRNU）的提取。由于模式噪声其中的一个重要性质是其高频分量与所拍摄的场景无关，并且在相机的生命期中相对稳定，因此，可将其看成一种高斯白噪声模型的随机扩频信号进行相关性检测。而获得这种高斯白噪声模型的方法即将图像通过一个低通滤波器得到，目前以小波滤波器的使用最为广泛，接着将得到的若干幅差值图像叠加求平均或者利用最大似然估计即可得到某种相机的模式噪声。对于某一图像I，其模式噪声可表示为：

W_I=I-F(I)=aIK+Θ，

其中F表示滤波器；K表示成像传感器的模式噪声系数，Θ表示各类随机噪声的综合影响，包括散粒噪声、读出噪声、数/模转换引起的量化噪声等；a表示与K维数相同的衰减因子。

而采用最大似然估计法计算某一相机的模式噪声系数K如下，

$K=\underset{i}{\overset{N}{\mathrm{\Σ}}}{W}_{I_i}{I}_i/\underset{i}{\overset{N}{\mathrm{\Σ}}}{\left(I_i\right)}^2,$

其中I₁，I₂，...，I_N表示来自该相机的N幅图像。

（2）基于模式噪声主分量的来源检测。将图像通过低通滤波器之后得到的差值图像进行去CFA插值处理，具体步骤为：将行向的均值减去行向上的每个像素值，然后再将列向的均值减去列向上的每个像素值。如此，残差图像在行向和列向上的均值都为0。然后选取去CFA插值后多幅图像叠加求平均得到的均值图像中m个大的元素构成大分量进行模式噪声的相关性检测。该方法能有效降低算法的计算复杂度，但是在检测效率上还有待提高。

有鉴于此，找寻一种有效的相机来源取证方法，已成为现实的需求。

发明内容

本发明的目的在于提供一种基于模式噪声大分量的相机来源取证方法，以改进现有算法的不足，提高相机来源的识别率，降低计算复杂度，提高取证算法的效率和鲁棒性。

本发明的技术方案如下：

一种基于模式噪声大分量的相机来源取证方法，包括如下步骤：

1）照片的选取：将待测相机拍摄得到的照片作为参考噪声提取照片，组成参考图像集｛I_i，i＝1，2，…，N}；将已经获得的待判别来源的照片作为测试照片，组成测试图像集｛J_i，i＝1，2，…，N₁}；

2）图像锐化：使用拉普拉斯算子分别对每张参考图像进行滤波预处理，即将图像与拉普拉斯算子进行二维离散卷积运算：

$H(X,Y)=\underset{X}{\mathrm{\Σ}}\underset{Y}{\mathrm{\Σ}}I(m_1,n_1)w(X-m_1,Y-n_1),$

其中I代表原图像，w代表拉普拉斯算子；取卷积计算结果H的维数与图像I相等；

3）滤波处理：将预处理后的参考图像通过低通滤波器进行去噪滤波处理，得到残差图像集对其进行最大似然估计：

$K=\underset{i}{\overset{N}{\mathrm{\Σ}}}{W}_{I_i}{I}_i/\underset{i}{\overset{N}{\mathrm{\Σ}}}{\left(I_i\right)}^2,W_f=I^{\′}K,$

求得粗糙的参考模式噪声W_f；其中K表示成像传感器的模式噪声系数，I₁，I₂，...，I_N表示来自同一相机的N幅图像，I′是假设没有经过任何几何变换的原图像；

4）大分量的提取：计算N幅残差图像对应的每个像素间的方差，得到方差矩阵D，对方差矩阵D中的所有元素进行降序排列，选取其中m个最大的元素组成大分量矩阵D′；采用粗糙的参考模式噪声W_f中对应的该m个元素构成新的参考模式噪声即得到待测相机的参考模式噪声；

5）针对每张测试图像，重复上述步骤2）、步骤3）、步骤4）对参考图像的操作，对测试图像进行拉普拉斯锐化处理和去噪滤波处理得到残差图像W，并根据大分量矩阵D′分离出残差图像W中对应的m个元素，得到新的模式噪声

6）相关系数的计算：将得到的待测相机的参考模式噪声与测试图像新的模式噪声进行相关性检测，相关系数corr的计算公式如下：

其中，I和J分别代表两幅图像，矩阵运算符⊙定义为： 和分别表示W_I和W_J的像素均值；

7）来源判别：根据最小错误率的Bayes决策规则求判别阈值t，通过比较相关系数corr与判别阈值t，得到判别结果；若corr≥t，则判断测试图像来源于待测相机；反之若corr<t，则判断测试图像来源于其他相机。

其进一步的技术方案为：所述步骤1）中，参考图像不少于80张。

本发明的有益技术效果是：

一、本发明使用拉普拉斯算子对图像进行预处理，有效地增强了高频模式噪声成分，消除了场景噪声等其他低频因素的影响。

二、本发明在保证检测准确率的同时也在很大程度上降低了算法的计算复杂度。

三、本发明利用模式噪声中的光响应敏感点集进行检测，开辟了基于模式识别的图像来源识别的新的理念，而且在实际应用中简单方便，具有较强的鲁棒性。

附图说明

图1是1％像素的模式噪声示意图。

图2是5％像素的模式噪声示意图。

图3是10％像素的模式噪声示意图。

图4是全部像素的模式噪声示意图。

图5是1％像素的相关性检测直方图。

图6是5％像素的相关性检测直方图。

图7是10％像素的相关性检测直方图。

图8是全部像素的相关性检测直方图。

图9是本发明的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本发明原理概述：

根据光响应非均匀性的原理可知，当成像传感器的各个像元在均匀光源照射下，具有光响应非均匀性（PRNU）。由于这种非均匀特性没有一定的规律，因器件而异，具有很大随机性，故不同相机中的成像传感器具有光响应非均匀特性都不同，而这种差异性和随机性正是由于每个成像传感器中光响应敏感像元和不敏感点像元的不同分布所导致，这两类点在PRNU中体现的特征和作用效果皆不同，通过对光响应非均匀特性的分析，光响应敏感点处的值会随着光照强度的不同而发生随机的、幅度较大的波动，反之，不敏感点处的值则一直处于相对较稳定的状态。而映射到模式噪声中则是各图像的模式噪声在光响应敏感点处的方差较大，而在不敏感点处的方差较小。根据这些特征便能将光响应敏感点从整个模式噪声中分离出来构成新的模式噪声用于相关性的检测。

与此同时，为了有效抑制提取的模式噪声中的低频分量，增强高频有效成分，本发明在提取图像的模式噪声之前首先使用拉普拉斯算子对其进行滤波预处理，以实现图像的锐化效果。

按照本发明提出的技术方案，基于模式噪声大分量的相机来源取证方法分为模式噪声大分量的提取和相关性的检测两部分。以下是本发明的具体步骤。

模式噪声大分量的提取步骤：

1）照片的选取：在大分量的提取中，首先要利用某种型号相机（例如某手机相机A）拍摄一定数量的照片，并将照片分为两部分：一部分作为参考噪声提取照片，组成参考图像集｛I_i，i＝1，2，…，N}；另一部分作为测试照片，组成测试图像集｛J_i，i＝1，2，…，N₁}。在实际应用中，参考图像亦是通过待测相机拍摄得到的照片，而测试图像则是已经获得的待判别来源的照片。为了使照片的来源取证更加准确，参考图像应不少于80张。

2）图像锐化：其次，使用拉普拉斯算子分别对每张参考图像进行滤波预处理操作，即将图像与拉普拉斯算子进行二维离散卷积运算：

$H(X,Y)=\underset{X}{\mathrm{\&Sigma;}}\underset{Y}{\mathrm{\&Sigma;}}I(m_1,n_1)w(X-m_1,Y-n_1),$

其中I代表原图像，w代表拉普拉斯算子。取卷积计算结果H的维数与图像I相等。

3）滤波处理：接着，将预处理后的参考图像通过低通滤波器进行去噪滤波处理，得到残差图像集并对其进行最大似然估计：

$K=\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{W}_{I_i}{I}_i/\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{\left(I_i\right)}^2,W_f=I^{\&prime;}K,$

求得粗糙的参考模式噪声W_f。其中K表示成像传感器的模式噪声系数，I₁，I₂，...，I_N表示来自同一相机的N幅图像，I′是假设没有经过任何几何变换的原图像。

4）大分量的提取：然后，根据光响应敏感点的特性，计算N幅残差图像对应的每个像素间的方差，得到一个方差矩阵D，接着对方差矩阵D中的所有元素进行降序排列，选取其中m个最大的元素组成大分量矩阵D′；采用粗糙的参考模式噪声W_f中对应的该m个元素构成新的参考模式噪声即得到待测相机的参考模式噪声。

根据m值的不同，求得的参考模式噪声也不同。图1至图4是不同m值对应的模式噪声示意图，图1、图2、图3、图4分别示出了m值为截取区域像素总点数的1％、5％、10％、100％所对应的模式噪声。

5）针对每张测试图像，重复上述步骤2）、步骤3）、步骤4）对参考图像的操作。对测试图像进行拉普拉斯锐化处理和去噪滤波处理得到残差图像W，并根据大分量矩阵D′分离出残差图像W中对应的m个元素，得到新的模式噪声

相关性检测的步骤：

6）相关系数的计算：在相关性检测中，将得到的待测相机的参考模式噪声与测试图像新的模式噪声进行相关性检测，相关系数corr的计算公式如下：

其中，I和J分别代表两幅图像，矩阵运算符⊙定义为： 和分别表示W_I和W_J的像素均值。

针对不同的m值，对应的相关性检测直方图也不同。图5至图8是不同m值对应的相关性检测直方图，图5、图6、图7、图8分别示出了m值像素总点数的1％、5％、10％、100％所对应的相关性检测直方图。

7）来源判别：求出相关系数corr之后，将对测试图像的来源进行判别。本发明根据最小错误率的Bayes决策规则求判别阈值t，通过比较相关系数corr与判别阈值t，得到判别结果。若corr≥t，则判断测试图像来源于该待测相机；反之若corr<t，则判断测试图像来源于其他相机。

图9示出了本发明的整个流程。

本发明算法分析：

a）时间和空间复杂度

对于不同的m值，所求的大分量信息中的像素点数也不同，随着m值的增大，所取的像素点数也随之增多。同时，选取像素点数的多少直接决定了算法占用的空间的大小和计算的复杂程度。如图1至图4所示，当选取的m值为总数的1％、5％、10％和100％时，算法占用的空间和计算量都分别为原算法的1％、5％、10％及100％。

b）相关性检测直方图比较

相关性检测是衡量图片与某相机的相关性程度的标尺，而它所对应的直方图则能直观地反映出相关性的分布情况。针对某一相机而言，利用本发明提出的方法将其与自身的N张照片进行相关性检测所得到的结果将不尽相同，图5至图8显示了针对不同m值，某一相机与其自身N张照片的相关性检测直方图比较。可以看出m值越大，相应的直方图便更接近原算法所对应的直方图。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (1)

1.一种基于模式噪声大分量的相机来源取证方法，其特征在于包括如下步骤：

1)照片的选取：将待测相机拍摄得到的照片作为参考噪声提取照片，组成参考图像集{I_i,i＝1,2,…,N}；将已经获得的待判别来源的照片作为测试照片，组成测试图像集{J_i,i＝1,2,…,N₁}；

2)图像锐化：使用拉普拉斯算子分别对每张参考图像进行滤波预处理，即将图像与拉普拉斯算子进行二维离散卷积运算：

$H(X,Y)=\underset{X}{\mathrm{\&Sigma;}}\underset{Y}{\mathrm{\&Sigma;}}I(m_1,n_1)w(X-m_1,Y-n_1),$

其中I代表原图像，w代表拉普拉斯算子；取卷积计算结果H的维数与图像I相等；

3)滤波处理：将预处理后的参考图像通过低通滤波器进行去噪滤波处理，得到残差图像集{W_Ii,i＝1,2,…,N}，对其进行最大似然估计：

$K=\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{W}_{I_i}{I}_i/\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{\left(I_i\right)}^2,W_f=I^{\&prime;}K,$

求得粗糙的参考模式噪声W_f；其中K表示成像传感器的模式噪声系数，I₁,I₂,...,I_N表示来自同一相机的N幅图像，I′是假设没有经过任何几何变换的原图像；

4)大分量的提取：计算N幅残差图像对应的每个像素间的方差，得到方差矩阵D，对方差矩阵D中的所有元素进行降序排列，选取其中m个最大的元素组成大分量矩阵D′；采用粗糙的参考模式噪声W_f中对应的该m个元素构成新的参考模式噪声即得到待测相机的参考模式噪声；

5)针对每张测试图像，重复上述步骤2)、步骤3)、步骤4)对参考图像的操作，对测试图像进行拉普拉斯锐化处理和去噪滤波处理得到残差图像W，并根据大分量矩阵D′分离出残差图像W中对应的m个元素，得到新的模式噪声

6)相关系数的计算：将得到的待测相机的参考模式噪声与测试图像新的模式噪声进行相关性检测，相关系数corr的计算公式如下：

其中，I和J分别代表两幅图像，矩阵运算符⊙定义为： 和分别表示W_I和W_J的像素均值；

7)来源判别：根据最小错误率的Bayes决策规则求判别阈值t，通过比较相关系数corr与判别阈值t，得到判别结果；若corr≥t，则判断测试图像来源于待测相机；反之若corr<t，则判断测试图像来源于其他相机。