CN114066965A - 一种基于prnu的深度多尺度融合图像取证方法 - Google Patents

Abstract

本发明公开了一种基于PRNU的深度多尺度融合图像取证方法，首先，计算出待检测图像的噪声残差和相应的相机模型，将得到的相机PRNU进行预处理来抑制非唯一的噪声；其次，通过相机PRNU和待检测图像PRNU之间的相关性计算出不同尺度的篡改概率图；然后，构建并训练全连接神经网络，融合不同尺度的篡改概率图；最好，删除面积过小的连通区域并使用形态学膨胀来弥补边界的侵蚀。本发明能够在图像某区域的PRNU被篡改后，使得该区域的各种类型的篡改都有可能被检测出来，并且在像素级、图像级和鲁棒性实验中都有提升。

Description

一种基于PRNU的深度多尺度融合图像取证方法

技术领域

本发明属于多媒体取证领域，尤其涉及一种基于PRNU的深度多尺度融合图像取证方法。

背景技术

随着越来越多的篡改图像的软件产生，人们能够轻易的对图像进行篡改，并且不留明显痕迹，这个现象引发了社会对于图像安全的极大关注。因此，判断图像是否经过篡改变得很紧迫了。其中光响应非均匀性(PRNU)，就是一个较有前景的方向。PRNU形成的原因是相机传感器的硅晶在制造过程中的缺陷，通常PRNU也被称为相机指纹，可以用于进行图像篡改检测和定位。

基于PRNU的篡改定位算法大致分为以下几个步骤，首先将待检测图像的PRNU中的块与相机PRNU相对应的块进行比较，计算两者之间的归一化相关性，然后与一个阈值进行比较。最终，如果两者之间的相关性低于阈值，便判定该块所在区域是被篡改过的。

根据上面的PRNU进行定位的方法可以知道，其本质就是判断PRNU存在与否。因此，基于PRNU的技术可以用于检测多种不同篡改类型，比如复制粘贴、拼接、修复等。当然，如果篡改位置对应的PRNU未改变的话，这种篡改是不适用于使用PRNU来进行检测的，比如给图像中路上的汽车换了一个颜色。PRNU也是有局限性的，它是一个微弱的乘性噪声，在时间上不变并且独立于场景，在暗的、饱和的、有纹理的区域中PRNU往往会非常微弱以至于相关性十分的低，所以即使在没有篡改的区域中，也可能被误判为篡改区域。在使用PRNU进行篡改定位时，很难检测到小的篡改，这是因为PRNU进行篡改定位时是通过滑动窗口分析，因此滑动窗口的大小影响着篡改定位的分辨率。

为了弥补PRNU是一个弱噪声的缺陷，已经有很多研究人员对PRNU提取方面进行了研究。提取源相机的PRNU可以分为以下三个阶段，分别是过滤阶段、联合阶段、增强阶段。其中在过滤阶段，噪声残差可以通过滤波前后的图像差值求得，主要可以使用小波滤波、BM3D滤波、内容自适应滤波等。在联合阶段，将同一相机拍摄的多张图像中的噪声残差联合起来得到PRNU噪声，主要可以使用平均法、最大似然估计法、加权平均法等来进行联合。在增强阶段，将进一步去除图像中共有的且不可用于取证的噪声，从而进一步增强PRNU噪声，使用的方法有傅里叶变化域预处理、谱均衡化法等。有研究人员提出PRNU在暗的、饱和的、有纹理的区域中非常微弱的结论，同时为了减弱这一缺陷带来的影响，提出了使用检测器来预测相关性。然而，大多数算法中都是使用128*128的滑动窗口来进行所有的处理，这也就导致了这些算法不适用于检测小篡改。

为了检测小篡改，有算法提出先将图像分割然后转向面向对象的过程去统计相关性，这个方法的不足之处在于，论文中进行分割时是使用人工辅助的方法，并不是完全自动的方法，其次这个方法对于其他没有明显边界的篡改类型作用不大。还有研究者提出了多尺度融合篡改图像的方法，通过将小滑动窗口和大滑动窗口的结果相融合来定位篡改，这样做的好处就是既能使用小窗口检测小篡改的优势，又能使用大窗口来充分获得检测统计相关信息，但是这种方法具有较高的误报率并且设置了复杂的参数。除了进行不同大小的篡改概率图相融合，还有融合两种特征的方法，但都只针对单个篡改类型有用，对其他的篡改类型没有效果。可见，现有的篡改定位方法都存在一些问题。

发明内容

发明目的：针对现有技术存在的问题，本发明的目的是提供一种基于神经网络的PRNU多尺度融合篡改定位方法，能够提高现有技术的篡改定位的精确度，降低误报率，同时对于一些常见的后处理操作具有鲁棒性。

技术方案：本发明所述的一种基于PRNU的深度多尺度融合图像取证方法，包括以下步骤：

(1)计算出待检测图像的噪声残差和相应的相机模型，将得到的相机PRNU进行预处理来抑制非唯一的噪声；

(2)通过相机PRNU和待检测图像PRNU之间的相关性计算出不同尺度的篡改概率图；

(3)构建并训练全连接神经网络，融合不同尺度的篡改概率图；

(4)删除面积过小的连通区域并使用形态学膨胀来弥补边界的侵蚀。

进一步地，所述步骤(1)通过以下公式实现：

Y＝(1+K)X+θ

其中，Y表示含有PRNU噪声和其他随机噪声的相机输出图像，X表示不含任何噪声的纯净图像，K表示PRNU的乘性因子，并且θ表示除PRNU噪声外的所有随机噪声总和；

使用残差图像W来对主信号X进行抑制：

其中，

表示使用去噪滤波器获得的Y的去噪形式，一般使用的去噪滤波器有小波滤波或者BM3D,η表示去噪误差

小差异项(X-Y)K，和θ的总和；

对于待检测的图像直接用噪声残差W来近似代表该图像的PRNU；对于目标相机的参考PRNU，首先求出该相机拍摄的M张图像所对应的噪声残差W₁,…W_M,然后根据这些噪声残差的最大似然估计得到该相机的PRNU因子

其中，M表示图像的数量，W_i表示以像素i为中心的噪声残差块，Y_i表示以像素i为中心的图像块。

进一步地，所述步骤(2)通过以下公式实现：

其中，q_i为图像的PRNU块和相机的PRNU块的归一化相关性系数，r_w是以像素i为中心，大小为w*w的图像PRNU块，同样的，

是相机的PRNU块，

表示r_w的均值，

表示z_w的均值；

在计算出各个相机模型的参数之后，分别使用大小为32、48、64、96、128、192这六种窗口去计算待检测图像的篡改概率图C¹,C²,C³,C⁴,C⁵,C⁶：

其中，σ₀和σ₁分别表示为PRNU不存在的假设和PRNU存在的假设检测统计量的方差；

表示预测器预测出来的相关性。

进一步地，步骤(3)所述全连接神经网络为由一个输入层、三个隐藏层和一个输出层组成；其中输入层是6个神经单元，第一个隐藏层是64个单元，第二个隐藏层是32个单元，第三个隐藏层是16个单元，最后的输出层是一个单元；使用动态加权二元交叉熵作为损失函数，使用Adam优化算法来进行模型权值的调整。

进一步地，所述步骤(3)通过以下公式实现：

Y＝f₁(f₂(w₃*f₂(w₂*f₂(w₁*X+b₁)+b₂)+b₃))

其中，X表示以6个输入单元组成的向量，Y表示一个二进值，w_i表示的是相应的权值，b_i表示的是相应的偏置，f₁和f₂是激活函数，其定义为：

f₂(x)＝relu(x)＝max(0,x)。

进一步地，所述步骤(4)实现过程如下：

统计决策图中每一个连通的篡改区域的面积，将面积小于等于80像素的区域去除掉；使用半径为4的圆盘状结构单元补偿检测边界的侵蚀。

有益效果：与现有技术相比，本发明的有益效果：本发明实现了图像的篡改定位，由于神经网络相比于随机场模型有强大的数据学习能力，使得本发明能够更好的融合多尺度信息，实现更精确的决策，降低误报率；同时，本发明在图像级精度方面有了提升，对于一些常见的后处理操作也有良好的鲁棒性。

附图说明

图1是本发明的生成训练样本的策略图；

图2是本发明提车的神经网络框架图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本发明提出一种基于神经网络的PRNU多尺度融合篡改定位方法，包括计算篡改概率图和融合两部分，具体实现过程如下：

步骤1：计算出待检测图像的噪声残差和相应的相机模型，将得到的相机PRNU进行预处理来抑制非唯一的噪声。

从一个数字相机中获取一张图像的准确相机输出模型是十分复杂的，所以为了方便，给出一个简化的图像获取模型：

Y＝(1+K)X+θ

其中，Y表示含有PRNU噪声和其他随机噪声的相机输出图像，X表示不含任何噪声的纯净图像，K表示PRNU的乘性因子，并且θ表示除PRNU噪声外的所有随机噪声总和。

PRNU噪声、KX非常微弱。为了更好的提高信噪比，使用残差图像W来对主信号X进行抑制：

其中，

表示使用去噪滤波器获得的Y的去噪形式，一般使用的去噪滤波器有小波滤波或者BM3D,η表示去噪误差

小差异项(X-Y)K，和θ的总和。

对于待检测的图像来说，由于只有一张图像，可以直接用噪声残差W来近似代表该图像的PRNU。而对于目标相机的参考PRNU来说，首先求出该相机拍摄的M张图像所对应的噪声残差W₁,…W_M,然后根据这些噪声残差的最大似然估计得到该相机的PRNU因子

其中，M表示图像的数量，W_i表示以像素i为中心的噪声残差块，Y_i表示以像素i为中心的图像块。

估计出来的PRNU因子包含了每一张图片中都会有的系统信息，这些噪声对于传感器来说都不是唯一的，相同牌子的相机或者具有相同设计结构的成像传感器都共享这些噪声，所以两个不同相机估计出来的PRNU可能会有轻微的相关，这就会增加错误辨识率，所以在使用PRNU之前，需要对估计出来的相机PRNU进行预处理来抑制这些噪声。主要使用以下两种方法来进行预处理，第一种方法就是零均值操作ZM(K)，使得处理之后的PRNU因子每行每列的均值都为0。第二种方法就是将ZM(K)转换到傅里叶域，然后通过一个维纳滤波器，只保留噪声成分。

步骤2：通过相机PRNU和待检测图像PRNU之间的相关性计算出不同尺度的篡改概率图。

获得相机和待检测图像的PRNU并进行预处理之后，检测问题可以表述为一个二元假设检验：H₀表示PRNU不存在的假设，H₁表示PRNU存在的假设。

其中，σ₀和σ₁分别表示为H₀和H₁检测统计量的方差，q_i表示归一化相关性系数，

表示预测器预测出来的相关性。

然后，根据Neyman-Person方法选择出来阈值γ₁，以获得期望的误差接受率。由于PRNU噪声在暗的、饱和的、有纹理的区域中较少，所以在这些区域中容易产生误报。因此使用一个预测相关器去预测其相关性，来缓解这个缺陷。预测器主要是分析各个块的特征，设定阈值γ₂将可靠区域与问题区域分开。紧接着就可以将求出来的相关性q_i和预测器预测出来的相关性

和阈值比较，从而判断该块是否被篡改。在检测过程中，对于每一个滑动窗口，计算图像的PRNU块和相机的PRNU块的归一化相关性系数q_i：

其中，r_w是以像素i为中心，大小为w*w的图像PRNU块，同样的，

是相机的PRNU块，

表示r_w的均值，

表示z_w的均值。

在计算出各个相机模型的参数之后，分别使用大小为32、48、64、96、128、192这六种窗口去计算待检测图像的篡改概率图C¹,C²,C³,C⁴,C⁵,C⁶：

其中，σ₀和σ₁分别表示为PRNU不存在的假设和PRNU存在的假设检测统计量的方差。q_i表示归一化相关性系数，

表示预测器预测出来的相关性。

虽然将深度学习运用到多尺度融合已经是一个常规的技术了，但是在基于PRNU的多尺度篡改定位算法中，深度学习技术的使用还是一个创新的方法，这最大的可能的原因就是数据的缺少。对于基于PRNU进行篡改定位的算法来说，所使用的数据集不仅仅是篡改过后的图像，而且还需要的是已经知道源相机PRNU的篡改图像，正是因为这一前提条件的限制，所以导致篡改数据集的数量远远不能满足深度学习训练的要求。为了解决这一问题，如图1所示，本发明制作一些已知源相机和真实篡改定位的篡改图像，并且求出其6种不同尺度的篡改概率图C¹,C²,C³,C⁴,C⁵,C⁶。然后对每张篡改图像对应的篡改概率图和真实篡改定位使用2*2的不重叠的滑块分块，再将对应的小块都取其平均值作为数据，其中6张篡改概率图对应的6个平均值作为6个数据avg₁,avg₂,avg₃,avg₄,avg₅,avg₆。将真实篡改定位对应的平均值与255/2进行比较，将大于255/2的小块二分类为被篡改的块avg_gt＝1，将小于等于255/2的小块二分类为原始的块avg_gt＝0。最后将6个数据和一个标签作为了一个训练样本，即(avg₁,avg₂,avg₃,avg₄,avg₅,avg₆,avg_gt)。

步骤3：构建并训练全连接神经网络，融合不同尺度的篡改概率图。

搭建的全连接神经网络模型由一个输入层、三个隐藏层和一个输出层组成，其中输入层是6个神经单元，第一个隐藏层是64个单元，第二个隐藏层是32个单元，第三个隐藏层是16个单元，最后的输出层是一个单元；在本发明的算法中使用的是动态加权二元交叉熵作为损失函数，使用Adam优化算法来进行模型权值的调整，并且设置初始的学习率为0.001；设置了每3轮过去时，如果模型性能还不能提升时，学习率会减少50％。这个减少学习率的操作与早停搭配使用；其做法就是，当连续10轮中，验证集的准确率没有得到提升，就认为精度不再提高了，便执行早停；在使用训练好的网络进行测试时，输出的概率值需要与阈值0.75进行比较，如果大于0.75就认为是篡改区域，如果小于0.75就认为是真实区域。

如图2所示，本发明使用全连接神经网络模块来将6个篡改概率值进行融合。利用学习到的权重来计算相应的输出值，0表示真实的块，1表示被篡改的块。本发明用以下的融合公式来预测最终的输出值：

Y＝f₁(f₂(w₃*f₂(w₂*f₂(w₁*X+b₁)+b₂)+b₃))

其中，其中X表示以6个输入单元组成的向量，Y表示一个二进值，w_i表示的是相应的权值，b_i表示的是相应的偏置。f₁和f₂是激活函数，其定义为：

f₂(x)＝relu(x)＝max(0,x)

在全连接神经网络经过训练之后，需要使用它进行篡改概率图像的融合。使用神经网络的进行融合的过程和训练数据集的制作是相似的。对于每一个篡改概率图都使用2*2的窗口进行滑动，求出6个篡改概率图对应的6个均值，并将其作为神经网络的输入。然后将得到的输出赋值给融合之后的决策图中相应的位置。得到的如果是篡改的图像，那么就将决策图中相对应的2*2块赋值为255的像素值，如果是真实的图像，那么就将决策图中相对应的2*2块赋值为0的像素值。在2*2滑块遍历完图像之后，就会得到一个篡改决策图。

步骤4：删除面积过小的连通区域并使用形态学膨胀来弥补边界的侵蚀。

由于在图像中制作过于小的篡改也是没有意义的，所以对于一些不连通的分散的小区域可以去除掉。本发明先统计决策图中每一个连通的篡改区域的面积，然后将面积小于等于80像素的区域去除掉。进一步的还会使用半径为4的圆盘状结构单元来补偿检测边界的侵蚀。对待检测图像进行上述操作，完成图像的篡改定位。

本发明是端到端的，由于神经网络相比于随机场模型有强大的数据学习能力，使得能够更好的融合多尺度信息实现更精确的决策，即降低误报率。并且在图像级精度有了提升，对于一些常见的后处理操作也有良好的鲁棒性。

Claims (6)

1.一种基于PRNU的深度多尺度融合图像取证方法，其特征在于，包括以下步骤：

(1)计算出待检测图像的噪声残差和相应的相机模型，将得到的相机PRNU进行预处理来抑制非唯一的噪声；

(2)通过相机PRNU和待检测图像PRNU之间的相关性计算出不同尺度的篡改概率图；

(3)构建并训练全连接神经网络，融合不同尺度的篡改概率图；

(4)删除面积过小的连通区域并使用形态学膨胀来弥补边界的侵蚀。

2.根据权利要求1所述的基于PRNU的深度多尺度融合图像取证方法，其特征在于，所述步骤(1)通过以下公式实现：

Y＝(1+K)X+θ

其中，Y表示含有PRNU噪声和其他随机噪声的相机输出图像，x表示不含任何噪声的纯净图像，K表示PRNU的乘性因子，并且θ表示除PRNU噪声外的所有随机噪声总和；

使用残差图像W来对主信号X进行抑制：

其中，

表示使用去噪滤波器获得的Y的去噪形式，一般使用的去噪滤波器有小波滤波或者BM3D，η表示去噪误差

小差异项(X-Y)K，和θ的总和；

对于待检测的图像直接用噪声残差W来近似代表该图像的PRNU；对于目标相机的参考PRNU，首先求出该相机拍摄的M张图像所对应的噪声残差W₁，…W_M，然后根据这些噪声残差的最大似然估计得到该相机的PRNU因了

其中，M表示图像的数量，W_i表示以像素i为中心的噪声残差块，Y_i表示以像素i为中心的图像块。

3.根据权利要求1所述的基于PRNU的深度多尺度融合图像取证方法，其特征在于，所述步骤(2)通过以下公式实现：

其中，q_i为图像的PRNU块和相机的PRNU块的归一化相关性系数，r_w是以像素i为中心，大小为w*w的图像PRNU块，同样的，

是相机的PRNU块，

表示r_w的均值，

表示z_w的均值；

在计算出各个相机模型的参数之后，分别使用大小为32、48、64、96、128、192这六种窗口去计算待检测图像的篡改概率图C¹，C²，C³，C⁴，C⁵，C⁶：

其中，σ₀和σ₁分别表示为PRNU不存在的假设和PRNU存在的假设检测统计量的方差；

表示预测器预测出来的相关性。

4.根据权利要求1所述的基于PRNU的深度多尺度融合图像取证方法，其特征在于，步骤(3)所述全连接神经网络为由一个输入层、三个隐藏层和一个输出层组成；其中输入层是6个神经单元，第一个隐藏层是64个单元，第二个隐藏层是32个单元，第三个隐藏层是16个单元，最后的输出层是一个单元；使用动态加权二元交叉熵作为损失函数，使用Adam优化算法来进行模型权值的调整。

5.根据权利要求1所述的基于PRNU的深度多尺度融合图像取证方法，其特征在于，所述步骤(3)通过以下公式实现：

Y＝f₁(f₂(w₃*f₂(w₂*f₂(w₁*X+b₁)+b₂)+b₃))

其中，X表示以6个输入单元组成的向量，Y表示一个二进值，w_i表示的是相应的权值，b_i表示的是相应的偏置，f₁和f₂是激活函数，其定义为：

f₂(x)＝relu(x)＝max(0，x)。

6.根据权利要求1所述的基于PRNU的深度多尺度融合图像取证方法，其特征在于，所述步骤(4)实现过程如下：

统计决策图中每一个连通的篡改区域的面积，将面积小于等于80像素的区域去除掉；使用半径为4的圆盘状结构单元补偿检测边界的侵蚀。

Images