CN111325687A - 一种基于端对端深度网络的平滑滤波取证方法 - Google Patents

Abstract

本发明涉及一种基于端对端深度网络的平滑滤波取证方法，包括步骤：1)读取待取证的灰度图像，利用卷积神经网络提取灰度图像的局部特征，每个卷积之后的特征通过ReLu激活函数进行激活；2)利用Inception‑Residual模块提取局部特征的深层次特征，并利用Reduction模块进行降维；3)利用压缩奖惩模块提取全局信息，自适应选择有效特征；4)通过分类模块对整个网络进行训练；5)利用训练好的网络模型对待检测的图像进行平滑滤波取证。与现有技术相比，本发明具有普适性好、检测精度高、抑制与平滑滤波效应无关的图像内容影响等优点。

Description

一种基于端对端深度网络的平滑滤波取证方法

技术领域

本发明涉及图像取证技术领域，尤其是涉及一种基于端对端深度网络的平滑滤波取证方法。

背景技术

随着图像处理软件的广泛应用，人们很容易编辑、修改甚至伪造图像内容，从而严重威胁到图像的原始性和真实性。例如，一个图像可以被剪切和拼接到另一个图像上，然后通过模糊、缩放和旋转等处理，使被篡改的痕迹难以检测。因此，图像篡改取证是一个亟待解决的问题。

平滑滤波是常见的图像模糊处理和降低噪声操作，通常被用作图像篡改后处理来减少恶意操作留下的痕迹。平滑滤波通常分为两类，分别是线性平滑滤波和非线性平滑滤波。线性平滑滤波主要包括均值滤波和高斯滤波，而非线性平滑滤波则以中值滤波为代表。

现有技术已经研究了较多有效的中值滤波检测方法。Kirchner和Fridrich直接分析了一阶差分域中0和1的直方图比值，若比值远大于1，则测试图像经过中值滤波，这种方法对未压缩的图像是有效的，但无法接受JPEG压缩。为了抵抗JPEG压缩，Kirchner等人构造了一阶差分相邻像素邻接矩阵(SPAM)特征。但是，在高压缩因子的情况下，该方法的检测精度会变差。Cao等人提出计算纹理区域一阶差分图0的概率，该方法也适用于未压缩的图像，但对于压缩的滤波图像，其鲁棒性不强。Yuan设计了一个44维的中值滤波取证特征集(MFF)，提高了在JPEG压缩和小尺寸图像取证场景的性能。Chen等人分析了来自图像差分域的中值滤波痕迹，并且构造了56维特征，包括全局分布检测特征和局部特征(GLF)，他们的特征集还可以在压缩率较高的JPEG场景中获得良好的检测结果。Kang等人使用自回归(AR)模型建立了中值滤波残差特征，该方法在JPEG压缩情况下相比Chen的方法能够获得更好的性能。Yang等人提出二维自回归(2D-AR)模型，从中值滤波残差(MFR)、均值滤波残差(AFR)和高斯滤波残差(GFR)提取合成特征集来抵抗JPEG压缩。

近年来，卷积神经网络(CNN)在图像分类、人脸识别等计算机视觉任务中得到了成功的应用。它可以自动地学习深层次的特征，取得良好的性能，省去了手工设计特征的麻烦。受此启发，众多研究人员将CNN应用于图像取证。Chen等人首次将CNN应用于中值滤波取证，通过在网络中添加一个预处理层，得到中值滤波残差(MFR)作为经典CNN的输入，与传统手工特征相比性能提升了很多。Liu等人通过在传统CNN模型(称为T-CNN)前面添加变换层，获得区分性的频域特征用于识别各种空间平滑滤波操作的模板参数。尽管上述取证方法取得了显著的性能，但这些方法大多集中在特定的滤波伪影上，如中值滤波。然而，对于图像取证来说，仅检测一种类型的滤波操作是不切实际的。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种克服手工特征预处理的不足，识别多类平滑滤波操作，提高平滑滤波检测的准确率，有效用于小尺寸和JPEG压缩图像场合的基于端对端深度网络的平滑滤波取证方法。

本发明的目的可以通过以下技术方案来实现：

一种基于端对端深度网络的平滑滤波取证方法，该方法具体包括以下内容：

S1、读取待取证的灰度图像，利用卷积神经网络提取灰度图像的局部特征，每个卷积之后的特征通过ReLu激活函数进行激活。

利用卷积神经网络提取灰度图像的局部特征的卷积操作表达式为：

式中，*为卷积，

为当前第l层输出的第j个特征图，

为上一层输入的第k个通道，

为当前层第j个特征图和上一层第k个通道的卷积核，

为当前第l层的第j个输出特征图的偏置项。M_j为所有特征图的集合。

通过ReLu激活函数对特征激活后的表达式为：

式中，

为当前第l层特征图像素点位于(m,n)的输入块。

S2、利用Inception-Residual模块提取局部特征的深层次特征，并利用Reduction模块进行降维。

不同的平滑滤波操作如均值滤波、高斯滤波和中值滤波在视觉上难以区分，类间差异较小，且不同模板大小的平滑滤波操作对图像具有不同程度的平滑效果，通过堆叠三个Inception-Residual模块能够在不同类型的平滑滤波操作之间获得区分性的特征。Inception块与残差网络的短连接(shortcut)相结合能取得更好的检测效果。不同于传统的CNN技术使用单一的卷积核，本发明利用多个Inception-Residual模块将不同尺度的滤波核混合堆叠在一起，以适应不同程度的滤波操作。

Inception-Residual模块包括“Inception-Resnet-A”，“Inception-Resnet-B”以及“Inception-Resnet-C”，其中每个模块分别包括3╳3，1╳7，1╳3等卷积核，叠加后的卷积核在与输入短连接之前通过1_╳1卷积，匹配输入的深度，减少特征图维度。

将Reduction模块设置在Inception-Residual模块后，随后利用Reduction模块减少特征图的维度，Reduction模块主要包括“Reduction-A”和“Reduction-B”。两个单元同样是两个不同的滤波连接，用于提取更丰富的特征以及减少特征图尺寸。

S3、利用压缩奖惩(Squeeze-and-Excitation，SE)模块提取全局信息，自适应选择有效特征。

压缩奖惩模块比较灵活，可嵌入到网络的任一位置以获得更好的检测性能。本发明首先通过F_tr转换，将输入

的特征映射到

将F_tr可以看作一个标准的卷积操作，V＝[v₁,v₂,…,v_C]表示滤波核，其中v_c表示第c个滤波核参数，输出U＝[u₁,u₂,…,u_C]，则输出由下式得出：

式中，*表示卷积，v_c＝[v_c ¹,v_c ²,…,v_c ^C]，X＝[x¹,x²,…,x^C']，

v_c ^s是二维空间卷积滤波核，表示第v_c个通道对输入x的卷积。u_c表示输出的第c个特征图。C'表示第C'个通道数。

Squeeze操作，也就是压缩操作，由一个全局平均池化实现，由此引入全局信息，将U空间维度H×W压缩为1×1，因此第c个通道的输出可由下式得出：

卷积学到的滤波器作用于局部感知野，而全局平均池化可以获取全局信息。

Excitation表示奖惩机制，是压缩奖惩模块的关键部分，主要是为了聚合压缩操作的信息，显式地增强通道间的依赖关系，完成特征自适应重标定，利用该特性检测平滑滤波能够自适应地选择有效特征，抑制与平滑滤波效应无关的特征。因此激活函数设计的目的首先是学习通道间的非线性关系，其次是赋予每个特征通道不同的权重，由两个全连接实现，由下式表示：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

式中，δ表示ReLu激活函数，σ表示Sigmoid激活函数，

和

表示权重，也即特征空间

的子集，

表示特征空间的集合，权重W₁的维度大小为

权重W₂的维度大小为

然后将获取到的s逐通道加权到U空间，由下式得到SE模块最后的输出结果：

式中，

F_scale(u_c,s_c)指的是向量s_c和特征图

的乘积。

最后通过分类模块完成图像不同滤波操作的分类。

本发明将检测不同平滑滤波操作看作对不同平滑滤波类型的图像进行分类，分类模块由最大池化层、全局平均池化层以及Softmax层所组成。通过最大池化层降低特征维度，全局平均池化层代替全连接层，softmax层输出每个样例属于不同种类的概率分布，从而完成对图像不同滤波操作的分类。

S4、利用训练好的网络模型对待检测的图像进行平滑滤波取证。

保存训练好的模型，用于测试不同类型的平滑滤波图像。具体测试过程如下：将测试图像分别切割成64×64和32×32大小的两组图像测试集，批量读入测试集，通过训练后的模型预测分类结果，将分类结果与真实标签对比，统计正确的样本数，最后通过检测精度这一评价指标衡量模型的可靠性。检测精度A_d被用来评估性能：

式中，d是被正确预测的样本数，n是总的测试图像数量。

与现有技术相比，本发明具有以下有益效果：

1)本发明提出了一个通用的取证方法来识别多类平滑滤波操作，分别是中值滤波、高斯滤波、均值滤波，相比现有技术只针对某种滤波操作取证具有更好的普适性，在图像小尺寸如32×32和64×64情况检测精度均高于90％，在图像JPEG压缩场合的检测精度高于现有技术14到17个百分点；

2)本发明设计了一个端对端的深层卷积神经网络，即输入原始数据，通过深度学习自动学习特征，无需人工设计特征作为输入，然后输出最后的结果，基于此，本发明通过卷积神经网络自动学习特征并分类，相比现有技术避免使用频域信息和残差特征的初始化输入，从而使网络输出检测精度更高。

3)利用压缩奖惩网络模块提取全局信息，自适应校准每个通道的特征，从而选择有效的特征，能够抑制与平滑滤波效应无关的图像内容影响；

4)本发明方法通过叠加多个不同尺度的Inception在不同类型的平滑滤波操作之间获得区分性的特征，利用Inception-residual模块中的短连接结构在增加网络深度的同时减少了信息损失。

附图说明

图1为本发明方法的实现流程示意图；

图2为本发明方法的整体网络模型图；

图3为本发明方法中Inception-Residual模块的结构示意图；

图4为本发明方法中Reduction模块的结构示意图；

图5为本发明方法中的压缩奖惩模块的原理示意图；

图6为本发明方法中的压缩奖惩模块的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1至图5所示，一种基于端对端深度网络的平滑滤波取证方法，该方法的模型构架包括三组，第一组是两个3╳3卷积，第二组主要包括Inception-Residual模块、SE模块以及Reduction模块，最后一组完成分类，共13层网络。该方法具体包括以下步骤：

步骤一、通过卷积处理提取局部特征。

首先批量读取64×64或32×32大小的训练图像对，对输入图像进行卷积。卷积在卷积神经网络中扮演着特征提取的功能，卷积层试图将神经网络中的每一个局部区域更加深入地分析，从而得到抽象程度更高的特征。具体的卷积操作公式如下：

式中*表示卷积，

表示当前第l层输出的第j个特征图，

表示上一层输入的第k个通道，

表示当前层第j个特征图和上一层第k个通道的卷积核，

是当前第l层的第j个输出特征图的偏置项。M_j为所有特征图的集合。卷积局部权值共享结构减少了大量计算参数，在图像处理方面有着独特的优越性。g(·)表示卷积之后执行非线性激活操作，这里的激活函数使用Relu，具体操作如下式：

式中，

为当前第l层特征图像素点位于(m,n)的输入块。Relu操作虽然简单，但是增强了整个网络非线性特征表达能力，且更易于求得梯度，收敛速度快。

批量读入64幅的64_╳64尺寸待取证的灰度图像，与两层3_╳3卷积核进行卷积得到局部特征，卷积核数量分别为128和96。使用两个小尺寸卷积核叠加相比单个大卷积核能引入更多的非线性，每个卷积之后通过ReLu激活函数激活。

步骤二、利用Inception-Residual模块提取深层次特征，利用Reduction模块进行降维。具体地：

(1)将从步骤一得到的特征通过三个Inception-Residual模块，进一步提取深层次特征，将两个Reduction模块分别添加在前两个Inception-Residual模块后面以降低特征图维度。每个Inception-Residual模块都使用不同的Inception，分别是“Inception-Resnet-A”，“Inception-Resnet-B”以及“Inception-Resnet-C”，负责提取适用于不同滤波操作的有效特征，如图3所示。“Inception-Resnet-A”将三路不同尺度的卷积块通过96个1_╳1卷积核降维，得到与输入相同的维度，然后与输入相叠加，最后得到64╳64╳96维的特征向量。“Inception-Resnet-B”以及“Inception-Resnet-C”通过类似的方法分别得到31╳31╳224和15╳15╳384的特征向量。

(2)Reduction模块包括“Reduction-A”和“Reduction-B”，如图4所示。“Reduction-A”将两路卷积与一个3_╳3最大池化相连接，共得到224幅31_╳31大小的特征图，降低了特征图大小，并且丰富了提取的特征。类似地，“Reduction-B”可以获得15_╳15_╳384大小的特征。括号中未标记“V”的是“same”填充方式，表示输出与输入尺寸一样大，标记“V”的卷积是零填充方式，表示输出尺寸减小。在所有的卷积滤波连接之后添加批量标准化(BN)层加速网络收敛，然后使用ReLu激活函数增强整个网络的非线性表达能力。

步骤三、添加压缩奖惩模块(SE)提取全局信息，自适应选择有效的特征。

(1)在每个Inception-residual模块后面添加SE模块聚合空间和通道上的信息特征。空间和通道特征指的是每个Inception residual最后的1╳1卷积后的特征，卷积获取局部特征，通过SE聚合。即SE模块重点是显式地建立通道间的关系，自适应地重新标定通道间的特征，相比普通的卷积能够获得全局性的信息，具体示意图如图5所示。卷积建立的通道间的关系是内在隐式的和局部性的，通过Squeeze操作可以获取全局性的信息，Excitation可以重新标定通道特征。

(2)图6是SE-Inception模块内部流程图。将从步骤二得到的深层特征输入到SE模块，输入维度为H×W×C。首先通过全局平均池化层压缩特征空间为1_╳1大小，获取全局信息，然后通过两个全连接层实现特征的先降维再升维。第一个全连接层输入的维度为1×1×C，乘以权重W₁之后输出维度为

再通过ReLu激活后维度还是

然后输出与权重W₂相乘之后输出维度为1×1×C，再通过Sigmoid激活后维度不变，还是得到H×W×C大小的特征维度，但此时的特征空间已经重新标定了，由此可以根据训练的权重大小自适应地选择有效的特征。权重初始值为随机值，通过神经网络前向传播改变每次的权重值。部分特征会随着前向传播得到较大的权重值，因此，这些特征会更显著的决定模型效果，继而这些特征更有效，作为有效的特征。

(3)通过分类模块完成训练

通过一个分类模块完成整个网络的训练，整个网络模型如图2所示。分类模块包含1个最大池化层、1个全局平均池化层和输出两路的softmax层。对于32_╳32尺寸的图像块，最大池化层被省略。全局平均池化层替代全连接层作为一种正则化的方式防止过拟合，与softmax组成线性分类器。全局平均池化通过计算每一张特征图的所有像素点的平均值，将384个7_╳7的特征图降为384维的特征向量，然后通过softmax层将神经网络的输出变成一个概率分布。

步骤四、将训练好的模型检测待取证平滑滤波图像。

保存卷积神经网络训练好的模型，按如下过程进行平滑滤波图像的测试：将测试图像分别切割成64×64和32×32大小的两组图像测试集，批量读入测试集，通过训练后的模型预测分类结果，将分类结果与真实标签对比，统计正确的样本数，最后通过检测精度这一评价指标衡量模型的可靠性，精度越高，表明检测准确性越高。检测精度A_d被用来评估性能：

式中，d是被正确预测的样本数，n是总的测试图像数量。

本发明使用Momentum作为优化方法，主要超参数设置如下：批量大小为64，冲量大小为0.9，权重衰减为0.0005，SE模块中的reduction ratio为4。初始学习率为0.01，每10个epoch学习率降低10％，迭代次数为20个epoch。最后网络经过训练最小化交叉熵损失函数。

以下结合仿真实验，对本发明的技术效果作进一步说明。

本发明实施例的仿真实验均在16GB内存的工作站上计算完成，GPU显卡类型为Quadro M4000，采用Tensorflow深度学习框架。本发明在合成的数据库上仿真实现，这些图像来自于4个广泛使用的图像数据集：the BOSSbase 1.01，the UCID database，theDresden Image Database，the NRCS Photo Gallery database。BOSSbase1.01贡献了10000幅图像，Dresden贡献了1491幅图像，NRCS贡献了2171幅图像，UCID贡献了1338幅图像，一共包括15000幅图像。所有的图像在任何处理前被转化为灰度值，对来自原始合成数据库的图像从中心裁剪成64×64和32×32两种尺寸大小，组成的数据集是原始数据集D^ORI。对原始数据集D^ORI分别执行均值滤波、高斯滤波和中值滤波三种平滑滤波操作，每种平滑滤波操作分别使用3×3、5×5和7×7的滤波窗口，依次得到9种数据集D^AVE3、D^AVE5、D^AVE7、D^GAU3、D^GAU5、D^GAU7、D^MED3、D^MED5、D^MED7，如表1所示。包括原始数据集在内共10个数据集，一共150000幅图像，将10个数据集作为模型的输入进行学习，完成十分类任务。本发明实施例随机选取一半的数据集作为训练集，剩下的一半作为测试集。

表1原始数据集执行均值滤波、高斯滤波和中值滤波的数据集结果

首先评估本发明方法针对不同滤波类型和参数识别的表现问题，与两个现有技术的效果进行比较，两个现有技术分别为Liu等人提出的基于频域特征的数字图像中值滤波取证方法(以下简称为T-CNN)；Chen等人提出的基于卷积神经网络的中值滤波取证方法(以下简称为MFR)。比较结果如表2所示：

表2针对不同滤波类型和参数识别的检测精度结果

从表2可以看出无论是否加入SE模块，本发明方法的检测精度均超过T-CNN和MFR，该结果证明了本发明对于不同平滑滤波操作检测的适用性。此外，本发明对于小尺寸图像检测精度均超过90％，有效解决了面临小尺寸检测多类平滑滤波操作困难的问题。

最后将本发明方法与上述两个现有方法在JPEG压缩情况下的检测精度进行比较，设定品质因子为70，比较结果如表3所示：

表3针对JPEG压缩情况下的准确率结果

JPEG压缩后的图像会产生块效应，导致分类器对块效应与图像纹理混淆，从表3中可以看出，JPEG压缩下的几种技术检测性能相比之前的未压缩情况均有所下降。尽管如此，本发明方法的检测准确率依然相比于其他技术要高，验证了本发明方法检测平滑滤波具有较强的鲁棒性。此外，本发明方法的准确率相比其他技术高出了14％—17％，证明了本发明方法通过深度学习多尺度卷积核与特征自适应标定的方法十分有效。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于端对端深度网络的平滑滤波取证方法，其特征在于，包括下列步骤：

1)读取待取证的灰度图像，利用卷积神经网络提取灰度图像的局部特征，每个卷积之后的特征通过ReLu激活函数进行激活；

2)利用Inception-Residual模块提取局部特征的深层次特征，并利用Reduction模块进行降维；

3)利用压缩奖惩模块提取全局信息，自适应选择有效特征；

4)通过分类模块对整个网络进行训练；

5)利用训练好的网络模型对待检测的图像进行平滑滤波取证。

2.根据权利要求1所述的一种基于端对端深度网络的平滑滤波取证方法，其特征在于，步骤1)中，利用卷积神经网络提取灰度图像的局部特征的卷积操作表达式为：

式中，*为卷积，

为当前第l层输出的第j个特征图，

为上一层输入的第k个通道，

为当前层第j个特征图和上一层第k个通道的卷积核，

为当前第l层的第j个输出特征图的偏置项，M_j为所有特征图的集合。

3.根据权利要求1所述的一种基于端对端深度网络的平滑滤波取证方法，其特征在于，步骤1)中，通过ReLu激活函数对特征激活后的表达式为：

式中，

为当前第l层特征图像素点位于(m,n)的输入块。

4.根据权利要求1所述的一种基于端对端深度网络的平滑滤波取证方法，其特征在于，步骤2)的具体内容为：

堆叠三个Inception-Residual模块，在不同类型的平滑滤波操作之间，获取区分性的特征，提取深层次特征，并在每一个Inception-Residual模块后连接一个用以减少特征图的维度的Reduction模块。

5.根据权利要求1所述的一种基于端对端深度网络的平滑滤波取证方法，其特征在于，步骤3)的具体内容为：

在每个Inception residual模块后面添加压缩奖惩模块，将步骤2)获取的深层特征输入到压缩奖惩模块，首先通过全局平均池化层压缩特征空间，获取全局信息，随后通过两个全连接层依次实现特征的降维、升维，最后通过Sigmoid激活，保持维度不变，完成特征空间的重新标定，进而自适应选择有效特征。

6.根据权利要求1所述的一种基于端对端深度网络的平滑滤波取证方法，其特征在于，步骤4)的具体内容为：

利用包含一个最大池化层、一个全局平均池化层和输出两路的softmax层的分类模块对步骤3)的有效特征进行训练，全局平均池化层与softmax层组成线性分类器，全局平均池化通过计算每一张特征图的所有像素点的平均值，将特征图降为特征向量，随后通过softmax层将神经网络输出一个概率分布。

7.根据权利要求1所述的一种基于端对端深度网络的平滑滤波取证方法，其特征在于，步骤5)的具体内容为：

将测试图像分别切割成64×64和32×32大小的两组图像测试集，批量读入测试集，通过训练后的模型预测分类结果，将分类结果与真实标签对比，统计正确的样本数，最后通过检测精度作为评价指标衡量模型的可靠性。

8.根据权利要求7所述的一种基于端对端深度网络的平滑滤波取证方法，其特征在于，检测精度的表达式为：

式中，d为被正确预测的样本数，n为总的测试图像数量。

Images