CN112861960A - 一种图像篡改检测方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种图像篡改检测方法、系统及存储介质。一个实施例中的方法包括一个双分支的图像篡改检测方法。其中一个分支学习一个类似高通滤波器的卷积核，该分支能够过滤所述图像的内容特征，自适应的提取图像的高频特征；获取由所述高频特征引导的RGB特征；将通过引导学习到的RGB特征输入检测模型判断图像是否被篡改并定位篡改区域。目前先进的图像篡改检测方法大多采用融合的方式结合几种对篡改检测有利的特征，但是多种特征仅在模型的两端进行融合，特征之间的鸿沟难以跨越。本发明结合了两种特征，但是所提出的方法使用一种特征去引导另一种特征的学习，在很好的结合了多种特征的同时又有效的避免了融合方法中不同特征之间的语义鸿沟问题。

Description

一种图像篡改检测方法、系统及存储介质

技术领域

本发明涉及一种图像处理技术领域，特别是一种图像篡改检测方法、系统及存储介质。

背景技术

随着照相机、手机、平板电脑、摄像机等数码设备的飞速发展，图像生成已经变得非常容易。此外，随着计算机和互联网的飞速发展，图像的存储和传递也变得非常简单。相对于以文字作为载体，通过图像传递信息更为直观，也更为可信。在过去，大家相信“眼见为实”、“有图有真相”，但随着数字媒体技术的不断发展，这种可信度也在不断被破坏。如今，诸如Photoshop、美图秀秀、美颜相机等图像编辑软件的盛行，导致图像修改变得越来越容易，普通人也能很轻易地对图像进行加工和修改。此外，随着技术的发展，伪造图像也变得越来越不易察觉，甚至能够以假乱真。在当今社会，所谓的“眼见为实”已经变得越来越不可信，当人们面对一张图像的时候，往往首先对图像的真实性存在怀疑。日常生活中人们对图像进行修改，往往是出于美化、娱乐的目的，这并不会带来不良影响，但是在有些情况下，被恶意篡改的图像经过传播，就会影响人们对客观事物的判断，有时甚至会对社会和国家造成不良的影响，近些年，这类情况也越来越多。

在众多的篡改技术中，拼接、复制-移动、移除由于更改了图像本身的内容，危害性最大，因而大多数的篡改检测方法都是针对上述三种篡改方法(见图1)进行设计。图像拼接操作是指将供体图像中的某部分拼接到源图像中，生成新的篡改图像。图像复制-粘贴操作是指复制图像中某一区域并粘贴到同一图像中。通常，复制-粘贴操作用来掩盖图像中某一区域，达到真假难辨的效果。而移除操作则是图像中的某个物体或者对象抠除，并对图像进行后处理，达到让人无法察觉的目的。

图像篡改检测的早期方法大多利用频域特征对图像进行检测。这些特征都是手工设计的，因而缺乏足够的泛化能力。近几年，深度学习技术快速发展，借助于卷积神经网络，能够直接从像素中学习图像的特征，具有强大的泛化能力。但是，卷积神经网络通常学习到的是图像的内容特征，而不是图像的篡改特征，例如篡改伪影，即为频域特征。图像篡改领域中最近的一些工作采用多分支的结构，每个分支提取一种特征。例如，一个分支利用卷积神经网络提取图像内容特征，利用其强大的泛化能力，能够检测多种篡改技术。另外一个分支提取手工设计的频域特征，可以很好的提取图像的篡改特征。然而，多种特征仅在模型的两端进行融合，多种特征的鸿沟难以跨越。另外，需要注意的是，图像篡改检测可以分为两个任务，一是对篡改方法进行分类，判断一张图像是否被篡改过，如果被篡改，使用的是何种篡改技术(是拼接，还是复制-移动，还是移除)，二是对篡改区域进行定位。一个好的图像篡改检测模型应要很好的完成上述两个任务。

现有的最先进的图像篡改检测模型大多采用多分支的结构，其中每个分支提取一种特征，这些特征包含对篡改检测互补的信息，因为取得了较好的精度。但是，多种特征仅在模型的两端进行融合，多种特征的鸿沟难以跨越，检测精度仍较低。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种一种图像篡改检测方法、系统及存储介质，提高图形篡改检测精度。

为解决上述技术问题，本发明所采用的技术方案是：一种图像篡改检测方法，包括以下步骤：

S1、提取图像的RGB特征；过滤所述图像的内容特征，提取出预测残差特征，作为低层篡改特征，将所述低层篡改特征提取高层的篡改特征，得到高频特征S2、获取由所述高频特征引导的RGB特征F_rgb-att；

S3、利用所述高频特征引导的RGB特征F_rgb-att提取更高层的特征F_rgb-high，将所述特征F_rgb-high输入区域推荐网络，生成候选框；在F_rgb-high上摘取各个候选框的特征，记为F_rgb-roi；

S4、将所述候选框的特征F_rgb-roi输入多层感知机，判断图像是否被篡改且输出篡改类型；

S5、利用步骤S4识别得到的候选框，定位图像中被篡改的区域。

本发明的方法采用引导的方式学习有利于图像篡改检测的特征，与目前最先进的融合方法相比，本发明的方法避免了融合方法中不同特征之间的语义鸿沟问题。

步骤S1中，利用卷积神经网络提取图像的RGB特征。卷积神经网络通过样本数据进行训练学习，具有强大的泛化能力。与手工设计的特征相比，利用卷积神经网络提取的RGB特征鲁棒性更强。

步骤S1中，获取所述高频特征的具体实现过程包括：利用约束卷积层过滤所述图像的内容特征，提取出预测方差，作为所述低层篡改特征；将所述低层篡改特征输入由多个卷积层串联而成的卷积层组，得到所述高频特征。本发明利用约束卷积层过滤了图像的内容特征，可以让后续的卷积层组专注于提取图像的篡改特征，而不是图像的内容特征，从而有利于图像篡改的检测。

步骤S2中，F_rgb-att＝F_rgb⊙α_c⊙α_s；其中，F_rgb∈R^C×H×W，C、H、W分别为RGB特征F_rgb的通道数、高度和宽度；α_s＝σ(f^7×7([α_s-avg；α_s-max]))，f^7×7表示7x7的卷积核，σ为sigmoid函数，；表示拼接操作，α_s-avg＝AvgPool_c(F_fre)，α_s-max＝MaxPool_c(F_fre)；AvgPool_c、MaxPool_c分别表示平均值池化和最大值池化；F_fre为高频特征；α_c＝σ(α_c-avg+α_c-max)，α_c-avg＝W₁(AvgPool_s(F_fre))+b₁，α_c-max＝W₁(MaxPool_s(F_fre))+b₁，W₁和b₁为多层感知机的权重和偏置。

步骤S3中，将所述RGB特征F_rgb-att作为卷积层组的输入，获得所述更高层的特征F_rgb-high；其中，所述卷积层组包括多个串联的卷积层。

步骤S5的具体实现过程包括：将判定为被篡改过的候选框的特征输入第二多层感知机，该第二多层感知机的输出为(t_x，t_y，t_w，t_h，)，t_x，t_y，分别表示真实篡改区域的中心点的坐标(x₁，y₁)相对于被篡改过的候选框的中心点坐标(x₂，y₂)的偏移量，t_w表示真实篡改区域的高度w₁相对于被篡改过的候选框的高度w₂的偏移量，t_h表示真实篡改区域的宽度h₁相对于被篡改过的候选框的宽度h₂的偏移量宽度h₁；用所述偏移量t_x，t_y，t_w，t_h对被篡改过的候选框的位置进行的修正，输出最终的篡改区域的边框级别定位；和/或将被篡改过的候选框的特征输入第三多层感知机，输出一个W_i×H_i的0-1矩阵，即得到二进制掩码，其中W_i为图像的宽度，H_i为图像的高度；所述矩阵中等于1的位置对应于图像中未篡改的区域，矩阵中等于0的位置对应于图像中被篡改的区域。本发明的方法不仅能够识别篡改图像的篡改类型，还可以定位篡改区域。此外，本发明的方法在定位篡改区域上，不仅能够提供边框级别的粗略定位，还是提供像素级别的精确定位。

与现有技术相比，本发明所具有的有益效果为：

1、相较于现有的融合方式，本发明采用的引导的方式(利用一种特征引导另一种特征的学习)，因而避免了特征之间的语义鸿沟问题，篡改检测精度高；

2、本发明利用约束卷积层过滤了图像的内容特征，可以让后续的卷积层组专注于提取图像的篡改特征，而不是图像的内容特征，从而有利于图像篡改的检测，进一步提高了篡改检测精度；

3、本发明的方法不仅能够识别篡改图像的篡改类型，还可以定位篡改区域。

附图说明

图1为三种常见的图像篡改技术。

图2为本发明实施例方法原理框图。

具体实施方式

如图2所示，本发明实施例具体实现过程如下：

步骤一，考虑到卷积神经网络强大的学习能力和泛化能力，我们使用它来学习图像的篡改特征。准确的说，我们使用的是Resnet50网络的前3个block。如图1的RGB流所示。因为输入的是3通道的RGB图像，因而我们称其为RGB流。但是，一个众所周知的问题即是，卷积神经网络通常学习到的是图像的内容特征而不是篡改特征。我们认为在正确的引导下，可以抑制其学习内容特征，引导其学习篡改特征。

技术方案：使用Resnet50网络(一种卷积神经网络)的前三个block(对应于图1中RGB流中的Conv_1x Group、Conv_2x Group和Conv_3x Group即为Resnet50网络的前三个block，Group＝block)。Conv1_1x Group由一个卷积层连接而成，卷积核大小为7X7。Conv_2x Group由9个卷积层连接而成，卷积核大小依次为(1X1，3X3，1X1)这样交替三次，即(1X1，3X3，1x1,1X1，3X3，1x1,1X1，3X3，1x1)。Conv_3x Group由12个卷积层连接而成，卷积核大小依次为(1X1,3X3,1X1)交替四次。

步骤二，为了能够引导RGB流学习篡改特征，而不是图像的内容特征。为此，我们设计了频域流，利用频域流提取到的图像的高频特征来引导RGB流学习图像的篡改特征。为了达到这个目的，我们首先利用约束卷积层过滤图像的内容特征，提取出预测方差，作为低层篡改特征。然后，这些低层篡改特征被输入后续的卷积层提取高层的篡改特征(如图1中频域流所示)，即为高频特征。其中，约束卷积层是指是对卷积层的卷积核作出了限定：卷积核中心权值被设置为1，其余权值之和限定为-1。假设w为约束卷积层的卷积核，k为约束卷积层卷积核的个数，坐标(0，0)表示卷积核中间元素的坐标，其公式表示如下：

这种限定使网络自适应学习到一个类似高通滤波器的卷积核，能够过滤图像的内容特征，从而提取出篡改特征。w_k表示第k个卷积核，m，n分别表示卷积核的横、纵坐标。

步骤三，注意力机制被广泛应用于计算机视觉和自然语言处理领域。它能使模型对输入的某一部分投入更多的关注。在本发明中，我们使用注意力机制去引导RGB流中的卷积神经网络专注于学习篡改边缘的高频特征。为此，我们设计了注意力模块，使用CBAM(Convolutional Block Attention Module，卷积模块的注意力机制模块，见SanghyunWoo，Jongchan Park，Joon-Young Lee and In So Kweon，“CBAM：Convolutional BlockAttention Module”，in CVPR，2018.)获取高频特征对应的通道权重系数和空间权重系数。CBAM是一种简单有效的轻量级注意力模块，从空间和通道两个维度计算卷积特征图中的权重，分别得到通道权重系数和空间权重系数。假设RGB流的输出为F_rgb∈R^C×H×W，C、H、W分别为F_rgb(F_rgb即输出特征图)的通道数、高度和宽度。频域流的输出为F_fre∈R^C×H×W，同理，C、H、W分别为F_fre的通道数、高度和宽度。计算通道权重的计算过程如下：

α_c-avg＝W₁(AvgPool_s(F_fre))+b₁

α_c-max＝W₁(MaxPool_s(F_fre))+b₁

α_c＝σ(α_c-avg+α_c-max)

其中W₁和b₁为多层感知机的权重和偏置，AvgPool_s，MaxPool_s分别指对F_fre沿着通道维度做平均值池化和最大值池化。σ为sigmoid函数，输出的α_c即为通道权重。接下来计算空间权重：

α_s-avg＝AvgPool_c(F_fre)

α_s-max＝MaxPool_c(F_fre)

α_s＝σ(f^7×7([α_s-avg；α_s-max]))

其中，AvgPool_c，MaxPool_c分别表示平均值池化和最大值池化，f^7×7表示7x7的卷积核，；表示拼接操作，σ为sigmoid函数，α_s即为输出的空间权重。计算好了通道权重α_c和空间权重α_s，就可以得到高频特征引导的RGB特征F_rgb-att：

F_rgb-att＝F_rgb⊙α_c⊙α_s.

其中，⊙表示逐元素相乘。

步骤四，高频特征引导学习的RGB特征中包含篡改线索，因为可以很好的检测篡改技术以及进行篡改区域定位。将F_rgb-att输入Conv_4x Group这么一个卷积层组，提取更为高层的特征，设此特征为F_rgb-high。接着，通过一个RPN(Region Proposal Network，区域推荐网络，见Shaoqing Ren，Kaiming He，Ross Girshickand Jian Sun，“Faster R-CNN：TowardsReal-Time Object Detection with Region Proposal Networks”，in NIPS，2015.)生成可能包含篡改区域的候选框。Conv_4x Group表示由18个4×4的卷积层连接而成的卷积层组。

步骤五，图像篡改检测可以分为两个任务，一是对篡改方法进行分类，判断一张图像是否被篡改过，如果被篡改，使用的是何种篡改技术(是拼接，还是复制-移动，还是移除)。步骤五正是完成这一任务。通过感兴趣区域池化(Region of Interest Pooling，ROIPooling，见Shaoqing Ren，Kaiming He，Ross Girshick and Jian Sun，“Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks”，in NIPS，2015.)从F_rgb-high上摘取各个候选框的特征，记为F_rgb-roi。随后，各个候选框的特征F_rgb-roi被输入进一个多层感知机进行分类(见Shaoqing Ren，Kaiming He，Ross Girshick and JianSun，“Faster R-CNN：Towards Real-Time Object Detection with Region ProposalNetworks”，in NIPS，2015.)，类别包含有三种篡改方式(剪切、复制-移动、移除)以及背景这一类(背景表示该区域没有被篡改)。多层感知机输出每个候选框对应的篡改方式。如果每个候选框输出的类别均为背景(即未被篡改)，则判定图像没有被篡改。如果多层感知机输出任一候选框的类别为三种篡改方式中的一个，则判定图像被篡改。

步骤六，图像篡改检测的第二个任务是对篡改区域进行定位。对虚假图像的篡改区域进行定位，有两种方式，一种是以边界框的方式进行输出(边框级别定位)，另一种是以篡改区域二进制掩码(mask)的方式输出。步骤六先对篡改区域进行边框级别的定位，这是一种对篡改区域粗糙的定位，即用一个长方形将篡改区域包围起来。步骤五中生成了候选框，步骤六中对这些候选框进行了分类，判断这些候选框属于哪种篡改方式(被篡改过)或是属于背景一类(没有被篡改)。

将步骤五中判定为被篡改过的候选框的特征F_rgb-roi输入进一个多层感知机。该感知机的输出为(t_x，t_y，t_w，t_h，)，t_x，t_y，分别表示真实篡改区域的中心点的坐标(x₁，y₁)相对于被篡改过的候选框的中心点坐标(x₂，y₂)的偏移量，t_w表示真实篡改区域的高度w₁相对于被篡改过的候选框的高度w₂的偏移量，t_h表示真实篡改区域的宽度h₁相对于被篡改过的候选框的宽度h₂的偏移量宽度h₁；用偏移量对候选框的位置进行进一步的修正(用初始的候选框的四个坐标(x2，y2，w2，h2)加上偏移量(tx，ty，tw，th))，以输出最终的篡改区域的边框级别定位。

步骤七，对篡改区域进行更精细的定位，即以篡改区域二进制掩码(mask)的方式输出篡改区域，实现像素级别的定位。将步骤五中获得的F_rgb-roi输入进另外一个多层感知机，输出一个W_i×H_i的0-l矩阵，即为二进制掩码。其中W_i为输入图像的宽度，H_i为输入图像的高度。矩阵大小和图像大小相等，矩阵中等于1的位置对应于图像中未篡改的区域，矩阵中等于0的位置对应于图像中篡改的区域。

至此，整个篡改检测流程就已描述完毕。模型以端到端的方式进行训练(见Shaoqing Ren，Kaiming He，Ross Girshick and Jian Sun，“Faster R-CNN：TowardsReal-Time Object Detection with Region Proposal Networks”，in NIPS，2015.)，使用的损失函数为：

其中，

为篡改技术分类所使用的损失函数，

为边界框预测所使用的损失函数，

为二进制掩码预测所使用的损失函数。

本发明在仿真实验中，使用三个经典的数据集：NIST16、COVER、Columbia进行实验，实验所使用的评价指标为F₁和AUC。下表展示了本发明的方法与现有技术的实验结果对比。

注：评价指标越高越好。-表示该方法没有在该数据集上使用该评价指标进行测试。其他方法实验数据均从其论文中摘抄而得。/左边表示F1分数，右边表示AUC。

现有方法的参考文献：

[1]Babak Mahdian and Stanislav Saic,“Using noise inconsistencies forblind image forensics,”Image and Vision Computing,2009.

[2]Neal Krawetz,“A picture’s worth... digital image analysis andforensics,”http://www.hackerfactor.com/papers/bh-usa-07-krawetz-wp.pdf.

[3]P.Zhou,X.Han,V.I.Morariu,and L.S.Davis,“Learning rich features forimage manipulation detection,”in CVPR,2018.

[4]J.H.Bappy,C.Simons,L.Nataraj,B.S.Manjunath,and A.K.Roy-Chowdhury,“Hybrid lstm and encoder–decoder architecture for detection of imageforgeries,”IEEE Transactions on Image Processing,2019.

[5]Y.Wu,W.AbdAlmageed,and P.Natarajan,“Mantranet:Manipulation tracingnetwork for detection and localization of image forgeries with anomalousfeatures,”in CVPR.

[6]C.Yang,H.Li,F.Lin,B.Jiang,and H.Zhao,“Constrained r-cnn:A generalimage manipulation detection model,”in ICME,2020.

Claims (8)

1.一种图像篡改检测方法，其特征在于，包括以下步骤：

S1、提取图像的RGB特征；过滤所述图像的内容特征，提取出残差特征，作为低层篡改特征，从所述低层篡改特征提取高层的篡改特征，得到高频特征；

S2、获取由所述高频特征引导的RGB特征F_rgb-att；

S3、利用所述高频特征引导的RGB特征F_rgb-att提取更高层的特征F_rgb-high，将所述特征F_rgb-high输入区域推荐网络，生成候选框；在F_rgb-high上摘取各个候选框的特征，记为F_rgb-roi；

S4、将所述候选框的特征F_rgb-roi输入第一多层感知机，判断图像是否被篡改且输出篡改类型；

S5、利用步骤S4识别得到的候选框，定位图像中被篡改的区域。

2.根据权利要求1所述的图像篡改检测方法，其特征在于，步骤S1中，利用卷积神经网络提取图像的RGB特征。

3.根据权利要求1所述的图像篡改检测方法，其特征在于，步骤S1中，获取所述高频特征的具体实现过程包括：利用约束卷积层过滤所述图像的内容特征，提取出预测方差，作为所述低层篡改特征；将所述低层篡改特征输入由多个卷积层串联而成的卷积层组，得到所述高频特征。

4.根据权利要求1所述的图像篡改检测方法，其特征在于，步骤S2中，F_rgb-att＝F_rgb⊙α_c⊙α_s；其中，F_rgb∈R^C×H×W，C、H、W分别为RGB特征F_rgb的通道数、高度和宽度；α_s＝σ(f^7×7([α_s-avg；α_s-max]))，f^7×7表示7x7的卷积核，σ为sigmoid函数，；表示拼接操作，α_s-avg＝AvgPool_c(F_fre)，α_s-max＝MaxPool_c(F_fre)；AvgPool_c、MaxPool_c分别表示平均值池化和最大值池化；F_fre为高频特征；α_c＝σ(α_c-avg+α_c-max)，α_c-avg＝W₁(AvgPool_s(F_fre))+b₁，α_c-max＝W₁(MaxPool_s(F_fre))+b₁，W₁和b₁为多层感知机的权重和偏置。

5.根据权利要求1所述的图像篡改检测方法，其特征在于，步骤S3中，将所述RGB特征F_rgb-att作为卷积层组的输入，获得所述更高层的特征F_rgb-high；其中，所述卷积层组包括多个串联的卷积层。

6.根据权利要求1～5之一所述的图像篡改检测方法，其特征在于，步骤S5的具体实现过程包括：将判定为被篡改过的候选框的特征输入第二多层感知机，该第二多层感知机的输出为(t_x，t_y，t_w，t_h，)，t_x，t_y，分别表示真实篡改区域的中心点的坐标(x₁，y₁)相对于被篡改过的候选框的中心点坐标(x₂，y₂)的偏移量，t_w表示真实篡改区域的高度w₁相对于被篡改过的候选框的高度w₂的偏移量，t_h表示真实篡改区域的宽度h₁相对于被篡改过的候选框的宽度h₂的偏移量宽度h₁；用所述偏移量t_x，t_y，t_w，t_h对被篡改过的候选框的位置进行的修正，输出最终的篡改区域的边框级别定位；和/或

将被篡改过的候选框的特征输入第三多层感知机，输出一个W_i×H_i的0-1矩阵，即得到二进制掩码，其中W_i为图像的宽度，H_i为图像的高度；所述矩阵中等于1的位置对应于图像中未篡改的区域，矩阵中等于0的位置对应于图像中被篡改的区域。

7.一种图像篡改检测系统，其特征在于，包括计算机设备；所述计算机设备被配置或编程为用于执行权利要求1～6之一所述方法的步骤。

8.一种计算机可读存储介质，其特征在于，其存储有程序，所述程序被配置为用于执行权利要求1～6之一所述方法的步骤。

Images