CN111080586B

CN111080586B - 基于卷积神经网络的篡改图像来源取证方法

Info

Publication number: CN111080586B
Application number: CN201911226451.6A
Authority: CN
Inventors: 廖鑫; 陈静; 陈嘉欣
Original assignee: Hunan University
Current assignee: Hunan University
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2023-04-18
Anticipated expiration: 2039-12-04
Also published as: CN111080586A

Abstract

本发明涉及一种基于卷积神经网络的篡改图像来源取证方法。其发明内容主要包括：(1)提出一种基于数字图像噪声的篡改操作分类策略；(2)提出一种基于篡改操作类型的多维特征提取框架；(3)提出一种基于卷积神经网络的篡改图像来源鉴别模型。与现有技术相比，本发明提供的一种基于卷积神经网络的篡改图像来源取证方法，对于大部分篡改操作具有很好的鲁棒性。本发明的方法可行且有效，面向更常见的篡改后图像来源取证场景，在日常生活中表现出实际的应用意义。

Description

基于卷积神经网络的篡改图像来源取证方法

技术领域

本发明涉及图像来源取证和多媒体安全技术领域，具体涉及一种基于卷积神经网络的篡改图像来源取证方法。

背景技术

科学技术的发展使得图像采集变得越来越便捷，同时人们也会为了美观而利用图像编辑软件对拍摄的数字图片进行各种编辑和修改。这些篡改操作在视觉上并不影响人们对图像的观赏和识别，但是从来源取证的角度出发，图像内容的改变也就意味着图像包含的来源信息可能会被改变，混淆捕捉图像的设备。若是不法分子利用这个漏洞，在图像作为证物时歪曲事实真相，将会冲击人们对事件真实性和社会稳定性的认知。因此，结合数字图像处理技术和深度学习的方法对图像的真实性进行检验是很有必要的。

图像来源取证的目的是判断图像成像设备。由于各种成像设备在硬件上的差异，导致不同品牌的照相机、手机产生的图片都有其固定的区别于其他设备的特有属性，而获得这些属性就成为了我们进行图像来源鉴别的关键。例如，文献“San ChoiK，Lam EY，andWongKK Y.“Automatic source camera identification using the intrinsic lensradial distortion.”Optics Express，2006.”将不同型号数码相机的镜头失真作为来源鉴别的核心特征，文献“PopescuA C，and Farid H.“Exposing digital forgerics incolor filter array interpolated images.”IEEE Trans.on SignalProcessing，2005.”使用EM算法检测数字图像频域中的局部峰值能量点，认为其反映了CFA插值向图像局部引入的相关性。除此之外，卷积神经网络可以通过不断训练数据来提取特征，并且通过迭代实现特征优化，避免了传统方法人工提取特征的局限性，使得来源检测能达到很高的准确率。例如，文献“BayarB，and StammM C.“Augmentedconvolutional feature maps for robustcnn-based camera model identification.”IEEE International Conference on ImageProcessing，2017.”设计限制性卷积层，使得CNN的第1层卷积层参数的更新总是满足特定的规律，以此来抑制内容信息的干扰，提高分类准确率。文献“YangP，NiR，ZhaoY，and ZhaoW.“Source camera identification based on content-adaptive fusion residualnetworks.”PatternRecognition Letters，2017.”将图片分为过曝，平滑和其他三类区域，并分别应用于三种内容适应的融合残差网络模型来提取特征。

然而这些来源取证方法都是面向直接从成像设备获取到的原始图片，当图片经过篡改后，所包含的源信息可能被影响，因此再使用这些现有方法判断被篡改图像的来源时，其检测准确率可能会降低。考虑到实际应用的问题，本发明旨在提高图像来源取证方法对篡改操作的鲁棒性，提出了一种基于卷积神经网络的篡改图像来源取证方法。

发明内容

本发明提出了一种基于卷积神经网络的篡改图像来源取证方法，用于判断经历各种篡改操作处理的图像的来源，主要包括三大内容：

(1)提出一种基于数字图像噪声的篡改操作分类策略；

(2)提出一种基于篡改操作类型的多维特征提取框架；

(3)提出一种基于卷积神经网络的篡改图像来源鉴别模型。

具体内容如下：

(1)提出一种基于数字图像噪声的篡改操作分类策略：通过分析数字图像在经历各种不同篡改操作后，其所包含的图像噪声的前后变化，实现对这些篡改操作的分类。

自然图像的形成是一个复杂的过程，需要经过传感器的光电转换，CFA插值和多种后期处理操作。在这个过程中，不同成像设备其硬件和软件的特性最终会体现在数字图像上，也就是所谓的噪声。噪声可分为随机读入噪声和系统噪声两种，前者不稳定且容易受到拍摄环境的影响，后者主要是指传感器模式噪声(SPN)，也就是能用于图像来源检测的相机固有属性。SPN由固定模式噪声(FPN)和光照响应不一致噪声(PRNU)组成。其中FPN是在完全没有光线的条件下产生的电流信号，但是一般我们看到的照片都不会是在黑暗中获得的，因此这类噪声没办法作为我们鉴别图像来源的特性。而PRNU是由传感器像素单元对光照的反映不一致性引起的，在不同的传感器之间是不一样的。其作为一种硬件上的制造缺陷可以在不受到环境因素的影响的同时帮助区分相机传感器，这些特性使得PRNU成为最佳判别图像来源的特征。推导PRNU之前需要先明确图像像素值的组成：

I＝I'+K·I'+θ (1)

其中I是最终从成像设备得到的图片，即实际像素值，I'表示一张理想的无噪声图片，K为PRNU系数，θ是指可能存在的随机噪声，例如统一生产商用同一零件制造的设备由于生产过程的缺陷而导致差异的情况。我们假设I'＝F(I)，F(·)为滤波操作，故PRNU可表示为:

P＝I-F(I)＝I-I'＝K×I'+θ (2)

当图像经过篡改后，不同的篡改操作会对PRNU产生不同程度的影响。但是如果该篡改操作是一种线性操作，那么PRNU几乎不会改变，证明如下：

I_T＝T×I＝T×I'+T×K×I'+T×θ (3)

T×I'＝F(I_T) (4)

P_T＝I_T-F(I_T)＝T×K×I'+T×θ＝T×P (5)

P＝P_T×T^-1 (6)

其中T表示线性操作矩阵，I_T为篡改后的图像，P_T为篡改后图像的噪声。

当|T|≠0时，必然存在T的可逆矩阵T-1使得等式(6)成立，此时P和P_T是线性相关的。由此篡改操作可以被分为两类：

①无影响操作：该操作可以表示成一个线性矩阵T，且|T|≠0；

②有影响操作：该操作不能表示成一个线性矩阵。

对于图像来源检测最重要的就是提取高质量的相机指纹，也就是PRNU。我们通过分析PRNU在图像经过篡改前后是否有明显变化，即可判断该篡改操作是否影响来源取证的准确率。

在图像经过无影响操作篡改后，相机指纹并没有显著性的变化。因此这一类篡改操作基本上不会对来源取证方法的性能产生影响。而对于经过有影响篡改操作处理的图像，PRNU已经被改变，从而导致对这些图片的来源检测变得困难。对于双操作链，也同样具有这些问题。对于一条由无影响操作O₁和有影响操作O₂组成的双操作链：

O₁-O₂：表示原始图片先经过O₁操作篡改再经过O₂操作篡改。在这种情况下，由于O₁操作对PRNU的影响微乎其微，我们只需要考虑O₂操作对图像噪声的影响，因此对于这类图像的来源取证，就可以等同于只经过O₂篡改操作图像的来源取证问题。

O₂-O₁：表示原始图片先经过O₂操作篡改再经过O₁操作篡改。我们将先经过O₂篡改操作处理的图片看作原始图片，那么接下来的篡改操作就相当于对图片进行单操作篡改的问题。而由于O₁操作对相机指纹的影响可以忽略，所以也就可以等同于我们只需要对“原始图片”也就是只经过O₂操作篡改的图片进行来源鉴别。

综上所述，对于经过有影响和无影响操作链篡改的图像，不管两类操作的操作顺序是什么，我们都可以将这类图像的来源取证问题看作只经过有影响操作图像的来源取证问题来处理。

(2)提出一种基于篡改操作类型的多维特征提取框架：该框架示意图如图1中“Multi-dimensional noise extraction layer”所示，综合考虑了不同篡改操作类型对图像噪声的影响，在此基础上进行特征提取。

我们将相机特征等同于PRNU噪声，所以对于篡改图像来源取证问题，图像内容其实是起到干扰作用。因此来源取证最终可以看作一个噪声分类的问题，第一步工作就是最大可能的准确提取出用于鉴别来源的PRNU噪声。PRNU是乘性噪声且属于高频信号，所以我们首先利用高通滤波器来提取PRNU。对于每一张输入图像I：

其中R表示图像残差。由此，PRNU可以通过构建像素残差来表示。

由于无影响操作总是在单个独立像素之间进行，而有影响操作则通常发生在相邻像素间，因此我们提出了一个多维特征提取框架，来捕捉不同大小像素单元之间的操作影响后的噪声痕迹。上述的PRNU噪声提取为第一步，此后，输出的图像残差将通过三个不同大小的平行卷积核：1*1，3*3，5*5。实际上在最开始的卷积层中，每个卷积块都直接对应着输入图像单元，因此不同大小的卷积核意味着不同大小的感受野，以此来保护被提取的特征的完整性。其中1*1卷积核等同于全连接层，为后续操作保留了单个独立像素之间的联系，且增加了网络的非线性。3*3和5*5的卷积操作能覆盖更大范围的输入残差，以帮助我们捕捉相邻像素之间的相关性。

(3)提出一种基于卷积神经网络的篡改图像来源鉴别模型：该模型如图1所示，获得包含相机源信息的噪声后，再通过卷积神经网络模型提取深层特征实现来源判别。

结合多维特征提取框架，随后连接三个残差网络模块，池化层，全连接层和分类函数来构建最终的篡改图像来源鉴别模型。残差网络模块由1*1卷积核，Batch-Normalization(BN)，ReLU激活函数，3*3卷积核，BN，ReLU，1*1卷积核，BN，ReLU这几部分依次组成，其中ReLU用于增加网络的非线性，BN旨在防止过拟合。三个残差卷积运算产生的特征图大小分别为64，256，256。随着卷积操作的叠加，所提取的特征越来越抽象，在高层的神经网络需要避免空间过于密集，以保证提取的特征具有更大的全局性。因此第三部分残差网络的最中间卷积核从3提高到了5。这部分的输出被一个池化层所接收，而两个全连接层紧随在池化层之后，依次产生256维，N维的向量。在来源取证问题中，N就等于可能形成待判别图像的成像设备类别数量，该N维向量由一个表达式如下的分类函数接收：

其中，Z表示输入的向量，y_i则为预测图像属于第i类成像设备的概率。随后通过公式(9)获得取到最大概率值时的i：

该i值所对应的成像设备，即为我们最终期望获得的图像来源。

与现有技术相比，上述技术方案至少具有以下有益效果：

1、本发明提供的一种基于数字图像噪声的篡改操作分类策略，通过分析数字图像中所包含的能用于区分来源的噪声，在该图像经过篡改操作处理前后的变化，我们可以将一些常见的篡改操作分为有影响和无影响两类，为后续的篡改图像来源取证分析工作提供了理论基础。

2、本发明提供的一种基于卷积神经网络的篡改图像来源鉴别模型，设计了多维噪声提取框架，再结合对后续卷积层的构建形成了一个完整的篡改图像来源鉴别模型。该模型不仅能准确的判别单操作篡改后图像的来源，对部分双操作链也有着很好的鲁棒性，在日常生活中表现出更实际的应用意义。

附图说明

图1为本发明“基于卷积神经网络的篡改图像来源鉴别模型”的整体框架示意图；

图2为本发明工作流程图。

具体实施方式

本发明是基于卷积神经网络的篡改图像来源取证方法。下面以经过双操作篡改的图像为例描述本发明的具体实施方式。本领域技术人员应该理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的取证范围。

开发语言是python，深度学习框架是caffe，具体步骤如下：

步骤1：判断数字图像可能经历的篡改操作链类型。对于给定数字图像I和篡改操作集O＝{O₁,O₂}，需要判断O₁，O₂是否为无影响篡改操作和有影响篡改操作的组合。若操作集O中有且只有一种操作能表示成线性矩阵形式，且存在该矩阵的逆矩阵使得等式(6)成立。则认为对图像进行篡改的操作链为有影响和无影响操作的双操作链，对该图像的来源取证就等于对只经过有影响篡改操作图像的来源取证。

步骤2：准备训练数据。从图像数据库A中选择N类不同相机来源的图像，每一类取500张，用篡改操作集O处理这些图像，得到篡改后图像的数据集。为了能取得更好的训练效果，我们对数据集进行扩充，从每张图片中随机且不重叠的裁剪出4个227*227大小的图像块，使得数据集图片数量变为原来的四倍。最后将图片按照4：1的比例生成训练集和验证集，并且保证相同来源的图片不会同时出现在训练集和验证集。

步骤3：模型训练和选择。利用caffe框架生成我们设计的篡改图像来源鉴别网络模型来提取特征和分类，结合训练集的图片进行模型训练。同时生成网络训练的配置文件，设定网络的初始学习率为0.001，并采用每迭代1000次衰减20％的策略。训练时每迭代30000次保存一次训练模型，在训练集准确率收敛到一个稳定状态的时候，结束训练。对于保存好的多个网络模型，利用验证集的图片依次对模型进行测试，选择验证结果最佳且最稳定的模型最为最终的图像来源识别模型。

步骤4：识别待测试图像的来源。对待每张待测图像，我们只需要从图像中随机裁剪出一个227*227大小的图像块，调用选择出的最优模型提取图像中的所包含的来源特征。再将特征输入到公式(8)对应的分类函数中得到该图像属于各个类别的概率，最后根据公式(9)，获得最大的概率值对应的标签，即该图像块所属的成像设备类别，也就是图像的来源。

综上所述，针对更加实际的篡改后图像来源取证场景，本发明设计了一种于卷积神经网络的篡改图像来源鉴别模型。对于不同类别的篡改操作，或者是不同类别组合的双操作，所述方法均具有鲁棒性，能实现对这些操作篡改后图像的来源取证。

本领域技术人员可以理解，本发明的保护范围不局限于所述的具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征进行等同的更改或替换，需要注意的是，更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.一种基于卷积神经网络的篡改图像来源取证方法，其特征在于，按如下步骤进行：

步骤1：判断数字图像经历的篡改操作链类型；对于给定数字图像I和篡改操作集O＝{o₁,o₂}，需要判断o₁，o₂是否为无影响篡改操作和有影响篡改操作的组合;若操作集O中有且只有一种操作能表示成线性矩阵形式，且存在该矩阵的逆矩阵使得等式P＝P_T×T^-1成立，则认为对图像进行篡改的操作链为有影响和无影响操作的双操作链，对该图像的来源取证就等于对只经过有影响篡改操作图像的来源取证；

所述P表示光照响应不一致噪声PRNU，P_T表示篡改后图像的噪声;

所述无影响篡改操作为一个线性矩阵T，且T≠0;

所述有影响篡改操作不能表示为线性矩阵;

步骤2：准备训练数据；从图像数据库A中选择N类不同相机来源的图像，每一类取500张，用篡改操作集O处理这些图像，得到篡改后图像的数据集；对数据集进行扩充，从每张图片中随机且不重叠的裁剪出4个227*227大小的图像块，使得数据集图片数量变为原来的四倍;最后将图片按照4:1的比例生成训练集和验证集，并且保证相同来源的图片不会同时出现在训练集和验证集;

步骤3：模型训练和选择；利用caffe框架生成所设计的篡改图像来源鉴别网络模型来提取特征和分类，结合训练集的图片进行模型训练；同时生成网络训练的配置文件，设定网络的初始学习率为0.001，并采用每迭代1000次衰减20％的策略；训练时每迭代30000次保存一次训练模型，在训练集准确率收敛到一个稳定状态的时候，结束训练;对于保存好的多个网络模型，利用验证集的图片依次对模型进行测试，选择验证结果最佳且最稳定的模型最为最终的图像来源识别模型;

步骤4：识别待测试图像的来源；对待每张待测图像，从图像中随机裁剪出一个227*227大小的图像块，调用选择出的最优模型提取图像中包含的来源特征；再将特征输入到神经网络的归一化指数函数Softmax分类函数中，得到该图像属于各个类别的概率，最后根据公式获得最大的概率值对应的标签，即该图像块所属的成像设备类别，也就是图像的来源;

所述y_i为预测图像属于第i类成像设备的概率。