CN105376506A - 图像模式噪声相关性预测器的设计 - Google Patents

Abstract

本发明属于图像取证与反取证领域，涉及到通过提取图像模式噪声来对图像来源进行检测时利用到的预测器技术，基于全面，高效的图像内容特征及训练出的BP神经网络对数字图像与其参考模式噪声的相关性进行预测，达到较好的效果。

Description

图像模式噪声相关性预测器的设计

一、技术领域

本发明涉及一种图像与其标准模式噪声相关性的预测器的设计，数字图像与其标准模式噪声的相关性数值进行估算预测，有助于图像的来源性取证与反取证。

二、背景技术

模式噪声是一种相机成像传感器的固有属性，无论是CCD(电荷耦合元件)还是CMOS(互补金属氧化物半导体)成像传感器，每个像素点的光电转换效率并非绝对均匀，部分像素点对入射光线的变化较为敏感，部分像素点则反之。这些细微的差异构成了特定相机拍摄的数字图像所固有有的非均一响应特征(photo-responsenonuniformity)。这些微弱的乘性噪声可以视其为非主动扩频水印，每个像素的非均一响应通过矩阵K记录下来，使得特定相机设备所拍的图像有了共同的特性，用于完成各种数字图像的来源性取证任务，如来源设备分类，识别区分等。例如，可以通过滤波提取模式噪声，然后与待测图像的残差计算相关度的方式来判定数字图像是否出自待测相机，通过对比的相关性系数预测器的理论估算值与实际值方式，可以以很高的正确率判断出图像是否来源于特定相机。反之，反取证篡改也会利用到相关性系数预测器，对伪造的模式噪声进行嵌入修改。无论是取证操作还是反取证篡改操作，模式噪声相关性预测器的准确性十分重要。

三、发明内容

设计了一种基于图像内容特征的相机内容相关性预测器，以便于数字相机所拍摄照片来源性取证和反取证。为了求出预测器模型，需收集一定数目的目标相机图片，计算它们的内容特征和与标准模式噪声的相关性数值，利用BP神经网络拟合这些数据，得出给相机的预测器模型参数。

图像内容特征：

(1)图像强度：由于计算得来的PRNU模式噪声系数K是倍乘的，即IK。所以在高图像强度的相关性系数会很高。强度表明成像传感器受到的光线强度大，由此对光线敏感的像素点和对光线不敏感的像素点对比性要比低强度图像强一点，整体图像所表现出的PRNU共性会随着图像强度增加，从而影响了相关性。但是，由于图像强度有限的范围[0，256]，所以需要考虑到靠近临界强度的像素对相关性的影响。所以将下式作为图像的强度特征：

$f_I=\frac{1}{\left|B_b\right|}\underset{i\∈B_b}{\mathrm{\Σ}}\mathrm{att}\left(I\right[i\left]\right)$

其中，att(x)是衰减函数：

$\mathrm{att}\left(I\right[i\left]\right)=\left\{\begin{array}{cc}{e}^{-{\left(I\right[i]-I_{\mathrm{crit}})}^{\frac{2}{\mathrm{\τ}}}}& I\left[i\right]>I_{\mathrm{crit}}\\ I\left[i\right]/I_{\mathrm{crit}}& I\left[i\right]\≤I_{\mathrm{crit}}\end{array}\right.$

上式中的τ和Icirt是个针对特定相机的常数，大致区域I_cirt∈[230，……，255]，τ＝[3，……，8]，可以根据穷举搜索的方法来确定。衰减函数就可以区分出图像强度的饱和范围与正常强度的区别。

(2)纹理：如果一个图像纹理较多，那么它与相机的PRNU的相关性较小。传感器的非均一响应在绝对均一光照的条件下表现的最明显，但是当图像纹理较多的时候，这说明了传感器本身受到的光线是不均匀的，在单一的图片中这种客观的不均匀光线强度与传感器固有的非均一响应相比，光线带来的非均一性要更明显些，扰乱了相关性检测器的判定。因此，必须考虑图像纹理对相关性系数的影响。由于在获得该图像残差时用的是小波滤波器，所以现在可以直接引用中间数据计算出高通滤波图像F(用LH，HH，HL等子带逆小波合成的)，这样就可以从图像的高频成分中计算出纹理特征f_T。

$f_T=\frac{1}{\left|B_b\right|}\underset{i\∈B}{\mathrm{\Σ}}\frac{1}{1+{\mathrm{var}}_5\left(F\right[i\left]\right)}$

其中，VAR₅的意思是像素i在邻域F的方差。因为图像纹理较多，数字图像的像素点值的方差就会变大，而为了防止分母出现零值的状态，将算出的方差值加1，保证其为正数。

(3)信号平整度：如果图像经过了低通滤波本质的后处理，比如JPEG压缩。那么PRNU噪声会受到抑制，并且降低了相关性。相对于取证者的权限来说，篡改者的可能没法像取证者那样获得最直接的传感器输出数据，篡改者得到的是经过CFA插值和压缩后的后处理图像，而这些后处理在数学上的达到的效果往往是低通滤波，这对一些平坦图像有着很大的改动，降低了成像传感器的带来的模式噪声的影响。然而，对于相对平坦和高强度但又不是靠近临界饱和的区域较多的图像，相关性会有很大变化。这些平坦区域方差较低。于是定义了第三个图像特征：

$f_s=\frac{1}{\left|B_b\right|}\left|\right\{i\&Element;B_b\left|{\mathrm{\&sigma;}}_I\right[i]<\mathrm{cI}[i\left]\right\}|$

其中，c是设定的常数，一般设为0.03。是像素i的图像强度在5×5的局部方差。该公式将数字图像中方差较小区域的像素点统计出来，以衡量图像平坦区域的比重。

(4)RGB纯色特征：当图像内容中有绿色，红色，蓝色等纯色区域时，说明了有相当一部分像素的取值主要是由CFA插值算法所得。在这些区域，在最后的成像图片上有相当一部分(对于大部分相机，如果是纯绿色是50％，如果是纯红色或蓝色是75％)的像素取值，可能与最初的传感器输出差别较大，不能反映出传感器本身的特性。这是由于该像素点上传感器的CFA只能接受一种颜色，而大多数得到四格矩阵为两绿一红一蓝。因此，在考虑相关性计算上，引入RGB纯色特征。(有些相机使用的是四色的滤光片阵列，特征计算与此类似。)

其中，R[i]、G[i]、B[i]分别为图像红色通道、绿色通道、蓝色通道的在某点的取值，β∈[30，……，50]，γ∈[0，……，10]。

(5)平坦色块特征：数字图片大多是JPEG格式的图片。由于色度量化表的量化步长较大，对于一些有着平坦灰度而又有着单调大色块的图片，JPEG在此情况压缩会造成较大扭曲失真，造成相关性的减小。因此，有必要考虑图片的平坦色块特征：

其中，彩色图片需由RGB转换成为YUV，Cr和Cb分别表示色度的矩阵。和是像素i的图像色度在5×5的局部方差。

(6)内容噪声特征：图像在拍摄过程中自身也会产生与PRNU模式噪声无关的噪音，比如一些弱光场合下拍摄的图片，曝光程不够的照片，图片中部分噪音与成像传感器没有关系，当这些噪音被小波滤波提取残差后，可能还会保留，影响了与PRNU矩阵相关性的计算。因此，加入了内容噪音特征：

f_PSNR＝PSNR(I-med(I))

公式中med表示中值滤波计算。

(7)图像正则性特征：数字图像的正则性也是影响模式噪声相关性估计的一个因素，即图像越光滑滤波所受到纹理内容的影响越小，对其模式噪声的估算也越准确。而对图像正则性的估算则采用TV(TotalVariation)模型，选择整体变分作为正则化函数：

$\mathrm{TV}\left(u\right)=\underset{\mathrm{\&Omega;}}{\&Integral;}|\&dtri;I|\mathrm{dxdy}$

其中，为哈密顿算子，I为图像矩阵。TV值即可反映图像的光滑程度。

预测器设计：

在计算得到这些特征后，通过智能学习的方式建立特征与模式噪声相关性的模型。拟神经网络中的BP网络进行拟合估算。

首先，建立一个7个特征输入，两个隐层，一个输出的神经网络模型。其中，第一层为输入层，第二层为5个结点的隐层，第三层为3个结点的隐层，第四为输出层。第Q层网络的输入输出变换关系为：

i＝1，2，…，n_q，j＝1，2，…，n_q-1，q＝1，2，…，q-2Q

收集P组的特征值与对应相关性系数样本，利用一阶梯度法，即最速下降法进行网络结构参数拟合。

总误差函数： $E=\frac{1}{2}\underset{p=1}{\overset{P}{\mathrm{\&Sigma;}}}{(\mathrm{\&rho;}-\widehat{\mathrm{\&rho;}})}^2$

对于输出层计算：

对于Q层计算：其中等为该组数据计算所得结果。

对于Q-1层计算： $\frac{{\&PartialD;E}_p}{{\&PartialD;w}_{\mathrm{ij}}^{Q-1}}=-\left(\underset{k=1}{\overset{n_Q}{\mathrm{\&Sigma;}}}({\mathrm{\&rho;}}_{\mathrm{pi}}-{\widehat{\mathrm{\&rho;}}}_{\mathrm{pi}}^Q)f^{\&prime;}\left(s_{\mathrm{pi}}^Q\right)w_{\mathrm{ki}}^Q\right)f^{\&prime;}\left(s_{\mathrm{pi}}^{Q-1}\right),$ 其中等为该组数据计算所得结果。

以此反向递推，最后算出BP网络结构参数。

具体实施方式：

下面结合附图表和实例对本发明作进一步的说明。

1求出源相机与伪造相机的PRNU噪声

收集100张以上的伪造相机拍出来的图片和尽可能多的源相机拍出来的图片。然后针对每组图像先利用小波去噪进行滤波处理，在得到每幅图像的样本噪声，最后根据公式：

$K=\frac{\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{W}_{I_I}}{\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{\left(I_i\right)}^2}$

得出了PRNU的矩阵K，其中W为相机参考模式噪声，I_i为相机拍摄的第i张图像。

2计算源相机与其PRNU矩阵的关系，建立相关性预测器

图像与其模式噪声的相关性分布与伪造图像的相关性分布的差异大小由嵌入强度影响着。因此，分别计算源相机所排出的一组图片的内容特征和对应的相关性，再通过BP神经网络拟合所得到的数据，得到该相机照片与其PRNU矩阵相关性的预测器。

3利用上一步得到的预测器，计算伪造图像预定的相关性系数，然后利用嵌入公式：

$J^{\&prime;}=[J+\mathrm{\&alpha;}\hat{K}]$

调整其中的参数α使实际的相关性系数等于预测器得出的值。这样就可以得到更加合理的分布。

Claims (2)

1.本发明设计了一种基于图像内容特征的模式噪声相关性预测器，并利用BP神经网络模型，基于最速下降法进行拟合算出网络结构参数，最终得到一个以7个特征值为输入的非线性相关性数值预测器。其中，利用到了与实际应用中相关的图像内容特征，这些内容特征比较符合低端相机的图像。

2.图像内容的RGB纯色特征、平坦色块特征、内容噪声特征和图像正则性特征的计算方法，其中RGB纯色特征：

其中，R[i]、G[i]、B[i]分别为图像红色通道、绿色通道、蓝色通道的在某点的取值，β∈[30，……，50]，γ∈[0，……，10]。平坦色块特征：

其中，彩色图片需由RGB转换成为YUV，Cr和Cb分别表示色度的矩阵。和是像素i的图像色度在5×5的局部方差。图像天然噪声的特征：

f_PSNR＝PSNR(I-med(I))

公式中med表示中值滤波计算。数字图像正则性特征的计算方法：

$\mathrm{TV}\left(u\right)=\underset{\mathrm{\&Omega;}}{\&Integral;}|\&dtri;I|\mathrm{dxdy}$

其中，为哈密顿算子，I为图像矩阵。TV值即可反映图像的光滑程度。