CN111062931A - 一种被拼接篡改的图像的检测方法 - Google Patents

Abstract

本发明一种被拼接篡改的图像的检测方法，涉及图像分析，是基于光源图和金字塔特征图的被拼接篡改的图像的检测方法，利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征，结合多尺度信息，将两组多阶段特征进行融合和上采样，得到金字塔特征图，将金字塔特征图不同层分别经过区域生成网络，得到篡改候选区域,经过ROI Align生成固定尺寸特征图，对固定尺寸特征图进行分类、边界框回归和掩码预测，最后得到篡改区域的边界框和像素级定位，完成对被拼接篡改的图像的检测，克服了现有技术提取的图像篡改特征单一不全面，容易忽略区域较小的篡改目标，不能实现端到端的像素级定位的缺陷。

Description

一种被拼接篡改的图像的检测方法

技术领域

本发明的技术方案涉及图像分析，具体地说是一种被拼接篡改的图像的检测方法。

背景技术

近年来，图像编辑软件如Photoshop等得到了迅速的发展，使人们可以按着自己的意愿对图像进行篡改，甚至达到了以假乱真的程度，若这些篡改图片被别有用心的人应用于军事政治，法庭作证，科学研究等严肃的场合，便会扭曲真相，误导大众，对社会产生不利的影响。因此，研究数字图像是否被经过篡改的图像取证技术具有十分重要的意义。

拼接是一种最常见的图像篡改手段，它是将一幅图像或多幅图像的某一部分拼接到另一幅图像，以达到伪造事实的目的，若再经过一些后处理操作，如用模糊、噪声、压缩等后处理方法来隐藏篡改的痕迹，则会更加不易分辨所拼接篡改的图像的真伪。

被拼接篡改的图像的检测方法主要分为两种：传统方法和基于深度学习的方法。

传统方法主要提取拼接区域和真实区域之间的特征差异，以达到检测和定位拼接篡改的目的，如：基于噪声特征、基于整体特征和基于光源一致性特征的被拼接篡改的图像的检测方法，但这些方法都是基于某一特定假设，提取的特征不能全面有效表示拼接区域和真实区域之间的差异。

深度学习方法使用大样本训练模型，自动提取物体特征，将复杂问题转化为模型权重参数，以数学概率的模式来描述图像的目标，被拼接篡改的图像的检测方法也应用了深度学习的方法。Rao在“A Deep Learning Approach to Detection of Splicing andCopy-Move Forgeries in Images”一文中针对拼接设计了专门的网络，CNN从输入的RGB彩色图像中自动学习层次表示，使用空间丰富模型(SRM)对第一层的权重网络初始化，有效抑制了图像内容，提高了检测的精度。但是，该方法只是对被篡改图像进行分类，并没有实现像素级的拼接区域定位。Pomari在“Image splicing detection through illuminationinconsistencies and deep learning”中将基于光源颜色不一致的光源图和ResNet-50相结合，生成了深度拼接特征(Deep Splicing Features)，使用SVM分类器进行分类，并利用梯度信息流和HSV颜色空间对篡改区域生成掩码。但该方法的掩码生成和SVM分类是独立计算的，并未实现端到端的网络，且只使用了光源信息，提取的篡改特征较为单一。

针对上述方法的缺陷，现有技术的改进方法有：提取多种篡改特征共同检测图像的被拼接篡改之处，用端到端训练网络提高检测效率。文献“Image splicinglocalization using a multi-task fully convolutional network(mfcn)”在全卷机神经网络模型的基础上，增加了一个分支用于学习拼接区域的边缘信息，而原来的分支用于学习图像表层信息，共同用来定位图像中的篡改区域。文献“Learning rich features forimage manipulation detection”使用SRM滤波器提取图像的噪声特征图，将噪声特征图当做双流Faster R-CNN中噪声流的输入，提高了分类的精度和定位的准确性，实现了端到端的检测。CN110349136A公开了一种基于深度学习的篡改图像检测方法，该方法通过对高频噪声残差图提取特征实现篡改区域的检测，但若图像经过后处理技术隐藏噪声，则会影响图像检测的准确性，而且图像的检测结果是边界框的形式，并不是像素级的定位。CN109754393A公开了一种基于深度学习的篡改图像鉴定方法及装置，将灰度图作为输入从而判断原图是否为篡改图像，但灰度图丢失了彩色图所包含的信息，神经网络提取到的灰度图特征不全面，影响了篡改图像分类的准确性。CN102609947A公开了一种针对拼接篡改的数码照片伪造检测方法，该方法将重采样和神经网络算法相结合进行循环迭代，从而得到未被篡改的像素点集合，但其存在随着循环迭代的次数增加计算复杂度也大幅增加的缺陷。CN106815836A公开了一种数字图像拼接篡改盲检测方法，该方法将图像划分为若干不重叠的子块，估计每一个子块的颜色偏量，如果图像分辨率较高，则方法的运行时间大大增加，而且只能判别图像是否伪造不能进行像素级定位。CN109903302A公开了一种用于拼接图像的篡改检测方法，该方法利用边缘检测Canny算子进行篡改定位检测，但Canny算子容易把噪点误判为边界，对于后处理过的篡改图像检测准确性较差。CN103914839B公开了一种基于隐写分析的图像拼接篡改检测方法及装置，该方法存在仅提取图像的统计特性，忽略了局部特征，无法对目标较小的篡改区域进行准确的检测的缺陷。CN109816676A公开了一种拼接图像篡改检测方法，该方法使用将待检测图像分成多个图像块的预处理，增加了检测的时间，图像块更加关注局部的篡改特征，而忽略了图像整体的特征。CN108122225A公开了一种基于自适应特征点的数字图像篡改检测方法，该方法在图像较为平滑时提取的图像特征点数量较少，对篡改区域的检测精度不高。CN105844643B公开了一种图像篡改检测方法，该方法存在所用分块处理方法对旋转、缩放等几何变换敏感，无法有效应对几何变换的缺陷。CN106097379B公开了一种使用自适应阈值的图像篡改检测与定位方法，该方法提取待测图像来源相机的参考模式噪声，其存在当拼接图像和宿主图像是由相同的数码相机拍摄时，篡改区域定位不准确和适用范围较窄的缺陷。

总之，现有技术的被拼接篡改的图像的检测方法存在提取的图像篡改特征单一不全面，容易忽略区域较小的图像篡改目标，不能实现端到端的像素级定位的缺陷。

发明内容

本发明所要解决的技术问题是：提供一种被拼接篡改的图像的检测方法，是基于光源图和金字塔特征图的被拼接篡改的图像的检测方法，利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征，结合多尺度信息，将两组多阶段特征进行融合和上采样，得到金字塔特征图，将金字塔特征图不同层分别经过区域生成网络，得到篡改候选区域,经过ROI Align生成固定尺寸特征图，对固定尺寸特征图进行分类、边界框回归和掩码预测，最后得到篡改区域的边界框和像素级定位，完成对被拼接篡改的图像的检测，克服了现有技术提取的图像篡改特征单一不全面，容易忽略区域较小的篡改目标，不能实现端到端的像素级定位的缺陷。

本发明解决该技术问题所采用的技术方案是：一种被拼接篡改的图像的检测方法，是基于光源图和金字塔特征图的图像拼接检测方法，具体步骤如下：

第一步，将输入图像生成对应的光源图：

首先将输入图像分割成相似的区域，即超像素，然后在每个超像素上对光源颜色进行估计，用广义灰色世界估计方法生成包含不同光源颜色估计的GGE光源图，或用逆强度色度估计方法生成包含不同光源颜色估计的IIC光源图，

由此完成将输入图像生成对应的光源图；

第二步，使用特征提取网络对篡改图像和其对应的光源图进行特征提取：

特征提取网络由以下支路A和支路B两个支路组成，

支路A，是在篡改图像上进行提取特征，提取篡改线索明显的特征，包括对比度差异和不自然的篡改边界，具体操作如下：

将篡改图像调整到512×512像素大小，输入支路A的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的篡改图像特征图：C1、C2、C3、C4和C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，篡改图像经过支路A的ResNet-101网络后得到了不同分辨率的五个篡改图像特征图，不同分辨率的篡改图像特征图包含了不同尺度的信息，

支路B，是对与上述支路A中的篡改图像对应的上述第一步中得到的光源图进行提取特征，提取光源图中篡改区域的光源不一致特征，具体操作如下：

将与上述支路A中的篡改图像对应的光源图调整到512×512像素大小，输入该支路B.的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的光源特征图：IM_C1、IM_C2、IM_C3、IM_C4和IM_C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，光源图经过支路B的ResNet-101网络后得到了不同分辨率的五个光源特征图，不同分辨率的光源特征图包含了不同尺度的信息，

至此，完成使用特征提取网络对篡改图像和其对应的光源图的特征提取；

第三步，生成金字塔特征图M：

将上述第二步支路A得到的篡改图像特征图C1、C2、C3、C4、C5和支路B得到的光源特征图IM_C1、IM_C2、IM_C3、IM_C4、IM_C5进行融合，具体操作如下，

将C5和IM_C5通过1×1×256的卷积层，其中，1×1是为了改变通道数，256是卷积核的数量，然后融合相加得到大小为16×16像素的特征图P5，将特征图P5进行步长为2的最大池化操作，生成大小为8×8像素的特征图P6，同时将特征图P5进行两倍上采样操作，与同样通过1×1×256卷积层的C4和IM_C4三者融合，生成大小为32×32像素的特征图P4；将特征图P4进行两倍上采样操作，与同样通过1×1×256卷积层的C3和IM_C3三者融合，生成大小为64×64像素的特征图P3；将特征图P3进行两倍上采样操作，与同样通过1×1×256卷积层的C2和IM_C2三者融合，生成大小为128×128像素的特征图P2，将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6一同组成金字塔特征图M，至此完成金字塔特征图M的生成；

第四步，获得篡改候选区域N：

将上述第三步得到的金字塔特征图M中的特征图P2、特征图P3、特征图P4、特征图P5、特征图P6分别输入区域生成网络，提取出篡改候选区域N’，然后进行非极大值抑制操作，得到最终的篡改候选区域N，具体操作如下，

所述区域生成网络是使用锚框来选择篡改候选区域N’，采用五种不同大小，分别是48×48像素、96×96像素、192×192像素、384×384像素、768×768像素和三种长宽比，分别是1∶1、1∶2、2∶1，共十五种类型的锚框对篡改候选区域N’进行预测，使用非极大值抑制筛选篡改候选区域N’，最后选取前200个候选区域框作为最终的篡改候选区域N，至此获得最终的篡改候选区域N；

第五步，获得金字塔篡改候选区域n：

将上述第四步得到的篡改候选区域N映射到上述第三步得到的金字塔特征图M的Pk层上，其中，Pk∈{P2,P3,P4,P5}，k的计算如下公式(5)所示，

公式(5)中，k表示金字塔特征图M的Pk层的层号，k₀是预设值，设定为4，w和h分别是篡改候选区域N的长和宽，

至此，完成篡改候选区域N的映射过程，在金字塔特征图M上，获得金字塔篡改候选区域n；

第六步，获得固定尺寸特征图m₁和固定尺寸特征图m₂：

将上述第五步得到的金字塔篡改候选区域n经过ROI Align，得到固定尺寸特征图m₁和固定尺寸特征图m₂，其中，固定尺寸特征图m₁的大小为7×7×256，其中，7×7像素是长和宽的大小，256是通道数；固定尺寸特征图m₂的大小为14×14×256，其中，14×14像素是长和宽的大小，256是通道数；

第七步，对固定尺寸特征图m₁和m₂进行检测：

固定尺寸特征图m₁和固定尺寸特征图m₂的检测操作，包括对固定尺寸特征图m₁进行分类、边界框回归和对固定尺寸特征图m₂进行像素级定位，具体描述如下，

将上述第六步得到的固定尺寸特征图m₁首先经过两个参数为1024的全连接层，再利用Softmax分类器进行分类，判断篡改候选区域N是篡改区域还是非篡改区域，同时给出篡改区域的置信度分数；

将上述第六步得到的固定尺寸特征图m₁经过两个参数为1024的全连接层，进行边界框回归，给出篡改区域的位置坐标；

将上述第六步得到的固定尺寸特征图m₂经过五个卷积核大小为3×3的卷积层，然后经过上采样因子为二的转置卷积操作，得到28×28×256的特征图，接着通过1×1卷积层得到28×28×1的输出，最后得到篡改区域的像素级定位；

至此完成基于光源图和金字塔特征图的被拼接篡改的图像的检测。

上述一种被拼接篡改的图像的检测方法，所述ResNet-101网络、区域生成网络、非极大值抑制、上采样操作、Softmax分类器均是本技术领域的公知技术。

上述一种被拼接篡改的图像的检测方法，所述ROI Align是对ROI Pooling的一种改进，Faster-RCNN中ROI Pooling会进行两次粗糙的量化操作，产生了区域不匹配的问题，而ROI Align取消了量化操作，使用双线性内插的方法,将处理过程转化为一个连续的操作，解决了ROI Pooling中两次量化造成的区域不匹配问题。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)本发明提出一种被拼接篡改的图像的检测方法，是基于光源图和金字塔特征图的被拼接篡改的图像的检测方法，利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征，结合多尺度信息，将两组特征进行多层融合和上采样操作，得到金字塔特征图，将该金字塔特征图的不同层分别经过区域生成网络生成篡改候选区域,经过ROI Align生成固定尺寸特征图，对固定尺寸特征图进行分类、边界框回归和掩码预测，最后得到篡改区域的边界框和像素级定位，完成对被拼接篡改的图像的检测。

由于图像中的光源颜色信息在篡改图像的后期处理中不容易被消除，因此包含光源颜色不一致的光源图可以作为拼接篡改检测的篡改特征，光源图可以抑制图像内容信息，突出光源颜色信息，使篡改区域在光源图中更加突出，将光源图提取到的特征作为图像拼接篡改的证据是创造性的。本发明在将输入图像生成对应的光源图时，首先将输入图像分割成相似的区域，即超像素，然后在每个超像素上对光源颜色进行估计，并创造性选用广义灰色世界估计和逆强度色度估计中的一种对光源颜色进行估计。本发明将GGE光源图和IIC光源图分别进行了实验，实验结果均达到较高的准确率。

本发明中的金字塔特征图是将特征提取过程中各阶段图像特征和光源图特征融合，得到分辨率不同的五个特征图。金字塔特征图结合多尺度的语义特征，能够更好的处理不同大小的目标篡改区域，在卷积神经网络中，分辨率高的层含语义信息较少，但是目标位置准确；分辨率低的层含语义信息比较丰富，但是目标位置比较粗略，金字塔特征图结合不同分辨率特征图的优点，更精确的提取篡改区域的特征，尤其有利于小目标篡改区域的检测，解决已有方法易忽略小目标区域的缺陷。

本发明克服了现有技术提取的图像的篡改特征单一不全面，容易忽略小目标篡改区域，不能实现端到端的像素级定位的缺陷。

(2)本发明方法使用两种图像篡改检测特征，将图像的统计特征和光源颜色的局部特征融合，相比于其它使用一种图像篡改特征的方法，能够提取更加精确全面的图像篡改特征。

(3)本发明方法使用多层融合，在金字塔特征图的生成中，金字塔特征图的上一层与特征提取网络对应层三者融合，结合了多尺度信息，提高了被拼接篡改的图像的检测的准确率和鲁棒性。

(4)本发明方法实现端到端的预测篡改区域，得到篡改区域的边界框和像素级定位。

(5)CN110349136A公开了一种基于深度学习的篡改图像检测方法，构建了双流篡改检测网络，提取原始图像和高频噪声残差图特征，分别对特征进行ROI池化，对篡改区域进行分类和预测，该方法存在高频噪声残差图只能提取篡改的局部特征，若图像经过后期处理，会增加新的噪声或者消除原有的噪声，这时本方法容易出现检测失误的现象。本发明方法与CN110349136A相比，光源信息作为图像固有的属性，在后期处理中很难消除，提取光源颜色不一致信息作为检测依据，提高了被拼接篡改的图像的检测的准确性，而且本发明在给出篡改区域边界框的同时，实现了像素级定位。

(6)CN109754393A公开了一种基于深度学习的篡改图像鉴定方法及装置，将待鉴定图像处理为灰度图，输入到预先训练的神经网络模型中，预测待鉴定图像的篡改概率，将图像篡改检测问题描述成图像分类问题，该方法存在灰度图丢失了彩色图包含的信息，包含的篡改信息较少，而且不能对每个像素进行分类的缺陷。本发明方法与CN109754393A相比，使用输入图像和其对应的光源图进行特征提取，两者均是彩色图像，包含的篡改信息比灰度图多，提取的篡改特征更加丰富，提高了对被拼接篡改的图像的篡改定位的精确性。而且将图像分类检测改进为像素级定位检测。

(7)CN102609947A公开了一种针对拼接篡改的数码照片伪造检测方法，该方法采用重采样和神经网络算法相结合的方式,通过误差偏离均值程度模型不断去除可疑篡改点,最终得到未被篡改的像素点集合，该方法存在随着循环迭代的次数增加，计算复杂度高，处理一张图像的时间会增加的缺陷。本发明方法与CN102609947A相比，本方法得到的是被篡改的像素点集合，神经网络的训练是端到端的，计算复杂度低，图像的检测时间不随着时间而改变，直接输出篡改像素点的集合。

(8)CN106815836A公开了一种数字图像拼接篡改盲检测方法，先将图像预处理，划分为若干不重叠的子块，利用图像块颜色偏量之间欧式距离作为判别的依据，该方法的图像块关注局部信息忽略了图像的整体特征，而且图像块的数量随着待检测图像的分辨率的增大而增加，导致计算复杂度增大。本发明方法与CN106815836A相比，不将图像分割成图像块，结合图像的整体特征和光源图的局部特征，更准确的识别图像拼接篡改区域，而且可以处理不同分辨率的篡改图像。

(9)CN109903302A公开了一种用于拼接图像的篡改检测方法，本发明方法与CN109903302A相比，对篡改图像直接端到端的处理，省去了预处理的步骤，用光源图特征代替Canny算子，提高了准确性。

(10)CN103914839B公开了一种基于隐写分析的图像拼接篡改检测方法及装置，该方法使用高级隐写统计分析模型从图像提取特征，训练区分篡改图像和真实图像的分类器。本发明方法与CN103914839B相比，在图像的统计分析基础上，增加了局部光源分析，共同对篡改区域进行像素级定位，与隐写分析相比，对小目标篡改区域的检测更加准确。

(11)CN109816676A公开了一种拼接图像篡改检测方法，本发明方法与CN109816676A相比，直接将待检测图像输入卷积神经网络，节省了预处理的时间，对图像进行整体的特征提取，有效避免了分块操作容易忽略整体特征的缺点。

(12)CN108122225A公开了一种基于自适应特征点的数字图像篡改检测方法，本发明方法与CN108122225A相比，具有的优点是不使用特征点的提取，而是将图像整体输入网络，端到端的检测篡改区域，提高了篡改区域的检测精度。

(13)CN105844643B公开了一种图像篡改检测方法，本发明方法与CN105844643B相比，避免了分块操作，使用卷积神经网络对图像提取特征，降低了对旋转、平移、缩放等变换的敏感度，能有效应对图像的几何变换。

(14)CN106097379B公开了一种使用自适应阈值的图像篡改检测与定位方法，本发明方法与CN106097379B相比，应用卷积神经网络，扩大了适用范围，对相机来源相同的篡改图片有较好的定位效果。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明方法流程框架示意图。

图2显示本发明实施例中的金字塔特征图M的生成示意图。

图3是本发明实施例中的输入的拼接篡改图像。

图4是本发明实施例中输入的拼接篡改图像对应的IIC光源图。

图5显示实施例中对被拼接篡改的图像的检测的最终结果示意图。

具体实施方式

图1所示实施例表明，本发明方法流程是：将输入图像生成对应的光源图，方法为：A.广义灰色世界估计方法获得GGE光源图或B.逆强度色度估计方法获得IIC光源图→使用特征提取网络对篡改图像和其对应的光源图进行特征提取：特征提取网络由支路A和支路B两分支支路组成→融合生成金字塔特征图M→经过区域生成网络得到篡改候选区域N→映射到金字塔特征图M上，得到金字塔篡改候选区域n→经过ROI Align得到固定尺寸特征图m₁和m₂→对m₁进行分类，边界框回归，对m₂进行像素级定位，至此完成基于光源图和金字塔特征图的被拼接篡改的图像的检测。

图2显示本实施例金字塔特征图M的生成示意图，图上方是图像输入特征提取网络，分别得到五个阶段的图像特征图：第一阶段特征图C1，第二阶段特征图C2，第三阶段特征图C3，第四阶段特征图C4，第五阶段特征图C5；图下方是光源图输入特征提取网络，分别得到五个阶段的光源特征图：第一阶段特征图IM_C1，第二阶段特征图IM_C2，第三阶段特征图IM_C3，第四阶段特征图IM_C4，第五阶段特征图IM_C5；图中间是金字塔特征图M的生成，C5和IM_C5通过1×1卷积层，改变通道数，然后融合相加得到P5，将P5进行最大池化操作，生成特征图P6，再将P5进行两倍上采样操作，与通过1×1卷积层的C4和IM_C4三者融合生成特征图P4；将P4进行两倍上采样操作，与通过1×1卷积层的C3和IM_C3三者融合生成特征图P3；将P3进行两倍上采样操作，与通过1×1卷积层的C2和IM_C2三者融合生成特征图P2，P2、P3、P4、P5、P6整体称作金字塔特征图M，至此完成金字塔特征图M的生成。

图3是本发明实施例中的输入的拼接篡改图像，

图4是本发明实施例中输入的拼接篡改图像对应的IIC光源图，输入图像经过逆强度色度估计方法生成对应的IIC光源图。

图5显示实施例中对被拼接篡改的图像的检测的最终结果示意图，图中边界框是对拼接篡改图像中篡改区域的边界框回归结果；边界框左上方的“tamper”是将篡改候选区域区域分类为篡改区域，“1.000”是篡改区域的置信度分数；同时对篡改区域进行了像素级定位。

实施例1

第一步，将输入图像生成对应的光源图：

首先将输入图像分割成相似的区域，即超像素，然后在每个超像素上对光源颜色进行估计，用广义灰色世界估计方法生成包含不同光源颜色估计的GGE光源图，

由此完成将输入图像生成对应的光源图；

广义灰色世界估计方法如下：

该方法设定场景在白色光源照射下的平均颜色是灰色的，则图像像素坐标x处观测到的RGB颜色为f(x),如下公式(1)所示，

f(x)＝∫_Ωe(λ,x)s(λ,x)c(λ)dλ (1),

其中，Ω表示可见光的光谱，λ表示光的波长，e(λ,x)表示光源的光谱，s(λ,x)是物体表面的反射率，c(λ)是相机的颜色敏感度，∫表示在所有波长上计算的，

然后计算每个图像像素坐标x对应的光源e(x)的颜色估计，如下公式(2)所示，

公式(2)中，∫表示在图像所有图像像素坐标x上计算的，k表示比例因子，|·|表示绝对值，

表示微分算子，p是明可夫斯基范数，n是导数的阶数，

是经过高斯核σ平滑处理后在图像像素坐标x处的像素强度，

通过上述公式(1)和(2)的计算，即经过广义灰色世界估计方法得到估计的光源颜色，使用该光源颜色对每个超像素重新着色，便生成了包含不同光源颜色估计的光源图，称此光源图为GGE光源图；

本实施例将GGE光源图进行了实验，实验结果达到较高的准确率；

第二步，使用特征提取网络对篡改图像和其对应的光源图进行特征提取：

特征提取网络由以下支路A和支路B两个支路组成，

支路A，是在篡改图像上进行提取特征，提取篡改线索明显的特征，包括对比度差异和不自然的篡改边界，具体操作如下：

将篡改图像调整到512×512像素大小，输入支路A的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的篡改图像特征图：C1、C2、C3、C4和C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，篡改图像经过支路A的ResNet-101网络后得到了不同分辨率的五个篡改图像特征图，不同分辨率的篡改图像特征图包含了不同尺度的信息，

支路B，是对与上述支路A中的篡改图像对应的上述第一步中得到的光源图进行提取特征，提取光源图中篡改区域的光源不一致特征，具体操作如下：

将与上述支路A中的篡改图像对应的光源图调整到512×512像素大小，输入该支路B.的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的光源特征图：IM_C1、IM_C2、IM_C3、IM_C4和IM_C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，光源图经过支路B的ResNet-101网络后得到了不同分辨率的五个光源特征图，不同分辨率的光源特征图包含了不同尺度的信息，

至此，完成使用特征提取网络对篡改图像和其对应的光源图的特征提取；

第三步，生成金字塔特征图M：

将上述第二步支路A得到的篡改图像特征图C1、C2、C3、C4、C5和支路B得到的光源特征图IM_C1、IM_C2、IM_C3、IM_C4、IM_C5进行融合，具体操作如下，

将C5和IM_C5通过1×1×256的卷积层，其中，1×1是为了改变通道数，256是卷积核的数量，然后融合相加得到大小为16×16像素的特征图P5，为了在之后的RPN网络中提取出较大篡改区域，将特征图P5进行步长为2的最大池化操作，生成大小为8×8像素的特征图P6，同时将特征图P5进行两倍上采样操作，与同样通过1×1×256卷积层的C4和IM_C4三者融合，生成大小为32×32像素的特征图P4；将特征图P4进行两倍上采样操作，与同样通过1×1×256卷积层的C3和IM_C3三者融合，生成大小为64×64像素的特征图P3；将特征图P3进行两倍上采样操作，与同样通过1×1×256卷积层的C2和IM_C2三者融合，生成大小为128×128像素的特征图P2，将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6一同组成金字塔特征图M，至此完成金字塔特征图M的生成；

第四步，获得篡改候选区域N：

将上述第三步得到的金字塔特征图M中的特征图P2、特征图P3、特征图P4、特征图P5、特征图P6分别输入区域生成网络，提取出篡改候选区域N’，然后进行非极大值抑制操作，得到最终的篡改候选区域N，具体操作如下，

所述区域生成网络是使用锚框来选择篡改候选区域N’，采用五种不同大小，分别是48×48像素、96×96像素、192×192像素、384×384像素、768×768像素和三种长宽比，分别是1∶1、1∶2、2∶1，共十五种类型的锚框对篡改候选区域N’进行预测，由于提取的篡改候选区域N’有很多有交叉重叠，使用非极大值抑制筛选篡改候选区域N’，最后选取前200个候选区域框作为最终的篡改候选区域N，至此获得最终的篡改候选区域N；

第五步，获得金字塔篡改候选区域n：

将上述第四步得到的篡改候选区域N映射到上述第三步得到的金字塔特征图M的Pk层上，其中，Pk∈{P2,P3,P4,P5}，k的计算如下公式(5)所示，

公式(5)中，k表示金字塔特征图M的Pk层的层号，k₀是预设值，设定为4，w和h分别是篡改候选区域N的长和宽，

至此，完成篡改候选区域N的映射过程，在金字塔特征图M上，获得金字塔篡改候选区域n；

第六步，获得固定尺寸特征图m₁和固定尺寸特征图m₂：

将上述第五步得到的金字塔篡改候选区域n经过ROI Align，得到固定尺寸特征图m₁和固定尺寸特征图m₂，其中，固定尺寸特征图m₁的大小为7×7×256，其中，7×7像素是长和宽的大小，256是通道数；固定尺寸特征图m₂的大小为14×14×256，其中，14×14像素是长和宽的大小，256是通道数；

第七步，对固定尺寸特征图m₁和m₂进行检测：

固定尺寸特征图m₁和固定尺寸特征图m₂的检测操作，包括对固定尺寸特征图m₁进行分类、边界框回归和对固定尺寸特征图m₂进行像素级定位，具体描述如下，

将上述第六步得到的固定尺寸特征图m₁首先经过两个参数为1024的全连接层，再利用Softmax分类器进行分类，判断篡改候选区域N是篡改区域还是非篡改区域，同时给出篡改区域的置信度分数；

将上述第六步得到的固定尺寸特征图m₁经过两个参数为1024的全连接层，进行边界框回归，给出篡改区域的位置坐标；

将上述第六步得到的固定尺寸特征图m₂经过五个卷积核大小为3×3的卷积层，然后经过上采样因子为二的转置卷积操作，得到28×28×256的特征图，接着通过1×1卷积层得到28×28×1的输出，最后得到篡改区域的像素级定位；

至此完成基于光源图和金字塔特征图的被拼接篡改的图像的检测。

实施例2

除以下部分之外：

第一步，将输入图像生成对应的光源图：

首先将输入图像分割成相似的区域，即超像素，然后在每个超像素上对光源颜色进行估计，用逆强度色度估计方法生成包含不同光源颜色估计的IIC光源图，

由此完成将输入图像生成对应的光源图；

逆强度色度估计方法如下：

该方法基于物体表面反射的物理过程，认为观测的图像强度是漫反射和镜面反射的混合，则图像像素坐标x通道c∈{R,G,B}上的颜色强度为p_c(x),如下公式(3)所示，

pc(x)＝∫_Ω(e(λ,x)s(λ,x)+e(λ,x))c(λ)dλ (3),

公式(3)中，Ω表示可见光的光谱，λ表示光的波长，e(λ,x)表示光源的光谱，s(λ,x)是物体表面的反射率，c(λ)是相机的颜色敏感度，∫表示在所有波长上计算的，

图像像素坐标x在通道c∈{R,G,B}上光源颜色估计χ_c(x)如下公式(4)所示，

公式(4)中，γ_C为在颜色通道c上的光源色度，m(x)为一个依赖于表面方位、漫射色度和镜面色度的参数，

通过上述公式(3)和(4)的计算，即经过逆强度色度估计方法得到估计的光源颜色，使用该光源颜色对每个超像素重新着色，便生成了包含不同光源颜色估计的光源图，称此光源图为IIC光源图，本实施例将IIC光源图进行了实验，实验结果达到较高的准确率；

其他同实施例1。

上述实施例中，所述ResNet-101网络、区域生成网络、非极大值抑制、上采样操作、Softmax分类器均是本技术领域的公知技术。

上述实施例中，所述ROI Align是对ROI Pooling的一种改进，Faster-RCNN中ROIPooling会进行两次粗糙的量化操作，产生了区域不匹配的问题，而ROI Align取消了量化操作，使用双线性内插的方法,将处理过程转化为一个连续的操作，解决了ROI Pooling中两次量化造成的区域不匹配问题。

Claims (1)

1.一种被拼接篡改的图像的检测方法，其特征在于：是基于光源图和金字塔特征图的图像拼接检测方法，具体步骤如下：

第一步，将输入图像生成对应的光源图：

首先将输入图像分割成相似的区域，即超像素，然后在每个超像素上对光源颜色进行估计，用广义灰色世界估计方法生成包含不同光源颜色估计的GGE光源图，或用逆强度色度估计方法生成包含不同光源颜色估计的IIC光源图，

由此完成将输入图像生成对应的光源图；

第二步，使用特征提取网络对篡改图像和其对应的光源图进行特征提取：

特征提取网络由以下支路A和支路B两个支路组成，

支路A，是在篡改图像上进行提取特征，提取篡改线索明显的特征，包括对比度差异和不自然的篡改边界，具体操作如下：

将篡改图像调整到512×512像素大小，输入支路A的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的篡改图像特征图：C1、C2、C3、C4和C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，篡改图像经过支路A的ResNet-101网络后得到了不同分辨率的五个篡改图像特征图，不同分辨率的篡改图像特征图包含了不同尺度的信息，

支路B，是对与上述支路A中的篡改图像对应的上述第一步中得到的光源图进行提取特征，提取光源图中篡改区域的光源不一致特征，具体操作如下：

将与上述支路A中的篡改图像对应的光源图调整到512×512像素大小，输入该支路B.的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的光源特征图：IM_C1、IM_C2、IM_C3、IM_C4和IM_C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，光源图经过支路B的ResNet-101网络后得到了不同分辨率的五个光源特征图，不同分辨率的光源特征图包含了不同尺度的信息，

至此，完成使用特征提取网络对篡改图像和其对应的光源图的特征提取；

第三步，生成金字塔特征图M：

将上述第二步支路A得到的篡改图像特征图C1、C2、C3、C4、C5和支路B得到的光源特征图IM_C1、IM_C2、IM_C3、IM_C4、IM_C5进行融合，具体操作如下，

将C5和IM_C5通过1×1×256的卷积层，其中，1×1是为了改变通道数，256是卷积核的数量，然后融合相加得到大小为16×16像素的特征图P5，将特征图P5进行步长为2的最大池化操作，生成大小为8×8像素的特征图P6，同时将特征图P5进行两倍上采样操作，与同样通过1×1×256卷积层的C4和IM_C4三者融合，生成大小为32×32像素的特征图P4；将特征图P4进行两倍上采样操作，与同样通过1×1×256卷积层的C3和IM_C3三者融合，生成大小为64×64像素的特征图P3；将特征图P3进行两倍上采样操作，与同样通过1×1×256卷积层的C2和IM_C2三者融合，生成大小为128×128像素的特征图P2，将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6一同组成金字塔特征图M，至此完成金字塔特征图M的生成；

第四步，获得篡改候选区域N：

将上述第三步得到的金字塔特征图M中的特征图P2、特征图P3、特征图P4、特征图P5、特征图P6分别输入区域生成网络，提取出篡改候选区域N’，然后进行非极大值抑制操作，得到最终的篡改候选区域N，具体操作如下，

所述区域生成网络是使用锚框来选择篡改候选区域N’，采用五种不同大小，分别是48×48像素、96×96像素、192×192像素、384×384像素、768×768像素和三种长宽比，分别是1∶1、1∶2、2∶1，共十五种类型的锚框对篡改候选区域N’进行预测，使用非极大值抑制筛选篡改候选区域N’，最后选取前200个候选区域框作为最终的篡改候选区域N，至此获得最终的篡改候选区域N；

第五步，获得金字塔篡改候选区域n：

将上述第四步得到的篡改候选区域N映射到上述第三步得到的金字塔特征图M的Pk层上，其中，Pk∈{P2,P3,P4,P5}，k的计算如下公式(5)所示，

公式(5)中，k表示金字塔特征图M的Pk层的层号，k₀是预设值，设定为4，w和h分别是篡改候选区域N的长和宽，

至此，完成篡改候选区域N的映射过程，在金字塔特征图M上，获得金字塔篡改候选区域n；

第六步，获得固定尺寸特征图m₁和固定尺寸特征图m₂：

将上述第五步得到的金字塔篡改候选区域n经过ROIAlign，得到固定尺寸特征图m₁和固定尺寸特征图m₂，其中，固定尺寸特征图m₁的大小为7×7×256，其中，7×7像素是长和宽的大小，256是通道数；固定尺寸特征图m₂的大小为14×14×256，其中，14×14像素是长和宽的大小，256是通道数；

第七步，对固定尺寸特征图m₁和m₂进行检测：

固定尺寸特征图m₁和固定尺寸特征图m₂的检测操作，包括对固定尺寸特征图m₁进行分类、边界框回归和对固定尺寸特征图m₂进行像素级定位，具体描述如下，

将上述第六步得到的固定尺寸特征图m₁首先经过两个参数为1024的全连接层，再利用Softmax分类器进行分类，判断篡改候选区域N是篡改区域还是非篡改区域，同时给出篡改区域的置信度分数；

将上述第六步得到的固定尺寸特征图m₁经过两个参数为1024的全连接层，进行边界框回归，给出篡改区域的位置坐标；

将上述第六步得到的固定尺寸特征图m₂经过五个卷积核大小为3×3的卷积层，然后经过上采样因子为二的转置卷积操作，得到28×28×256的特征图，接着通过1×1卷积层得到28×28×1的输出，最后得到篡改区域的像素级定位；

至此完成基于光源图和金字塔特征图的被拼接篡改的图像的检测。

Images