CN112785480B - 基于频域变换和残差反馈模块的图像拼接篡改检测方法 - Google Patents

基于频域变换和残差反馈模块的图像拼接篡改检测方法 Download PDF

Info

Publication number
CN112785480B
CN112785480B CN202110277084.3A CN202110277084A CN112785480B CN 112785480 B CN112785480 B CN 112785480B CN 202110277084 A CN202110277084 A CN 202110277084A CN 112785480 B CN112785480 B CN 112785480B
Authority
CN
China
Prior art keywords
module
convolution
output
residual
residual feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110277084.3A
Other languages
English (en)
Other versions
CN112785480A (zh
Inventor
王浩哲
王千龄
黄子睿
许若冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202110277084.3A priority Critical patent/CN112785480B/zh
Publication of CN112785480A publication Critical patent/CN112785480A/zh
Application granted granted Critical
Publication of CN112785480B publication Critical patent/CN112785480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0042—Fragile watermarking, e.g. so as to detect tampering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明为一种基于频域变换和残差反馈模块的图像拼接篡改检测方法，包括：第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；第三步，特征图E’经过特征解码器模块，得到定位掩码M；特征解码器模块包括四个残差反馈解码模块。本方法采用双编码器模块来提取特征，经过密集空洞卷积模块和残差多核池化模块来扩展全局视野以捕获更多抽象特征和保留更多空间信息，克服了因丢失上下文空间信息，容易导致错误预测，无法准确检测和定位较小尺寸的拼接篡改区域的缺陷。

Description

基于频域变换和残差反馈模块的图像拼接篡改检测方法
技术领域
本发明属于图像分析技术领域，具体是一种基于频域变换和残差反馈模块的图像拼接篡改检测方法。
背景技术
随着计算机技术、数字图像处理技术以及Photoshop、ACD-See、iPhoto等图像编辑软件的快速发展，图像篡改和伪造可以处理得特别逼真，达到以假乱真的目的。利用伪造的图像能够扭曲事实真相，对社会造成极大的危害。近年来，篡改和伪造图像被多次用于军事、外交、科研等领域，对社会产生了不良的影响。因此，对伪造图像进行检测是十分有意义的。
拼接篡改是图像篡改中最常见的一种方式，是指将同一幅图像或者不同图像的某个对象或某个区域进行剪切，然后不作任何修改地粘贴到目标图像中，即将两幅或多幅图像的某个区域拼接到另一幅图像中，或者将一幅图像的某个区域复制粘贴到这幅图像的另一区域上以隐藏重要目标。
针对图像拼接篡改的检测方法主要分为两种：传统方法和基于深度学习的方法。
传统的图像拼接篡改检测方法一般是基于图像本质属性、图像压缩属性或者成像器件属性的检测方法，这些检测方法一般集中在一个特定的图像属性上，在实际检测中存在如下缺陷：如果在拼接伪造过程后进行一些隐藏处理，基于图像本质属性的检测方法可能会失败；基于图像压缩属性的检测方法只能检测JPEG格式保存的图像；基于成像设备属性的检测方法可能会在图像的设备噪声强度很弱的情况下导致检测失败。
近年来，随着深度学习技术的发展，卷积神经网络(CNN)在计算机视觉领域取得了巨大成功。CNN的特征提取使一些研究者认识到CNN也可以用来完成图像拼接篡改检测。CNN最初是用来判断图像是否被篡改，但它无法定位篡改区域。Y.Zhang在论文“Image regionforgery detection:Adeep learning approach”中，试图用CNNs来定位被篡改区域，但是检测到的区域仅仅是由一些正方形的白块组成的不精确的粗糙区域，这种基于CNN的检测方法只是初步尝试，效果并不理想。为了提高检测篡改区域的精度，Y.Wei在论文“C2r net:The coarse to refined network for image forgery detection”中使用非重叠图像块作为CNNs的输入。然而，当一个图像块完全来自篡改区域时，该图像块将被判定为未篡改标签。B.Liu在论文“Deep fusion network for splicing forgery localization”中，利用较大的图像块来揭示篡改区域的图像属性，但是如果伪造图像较小，则可能会导致检测失败。
针对上述方法的缺陷，现有技术中的改进方法有：文献“Image forgerylocalizationbased on multi-scale convolutional neural networks”(Y.Liu,Q.Guan,X.Zhao,and Y.Cao,“Image forgery localization based on multi–scaleconvolutional neural networks,”in Proc.6th ACM Workshop Inf.Hiding MultimediaSecur.(IH&MMSec),2018,pp.85–90.)提出了一种基于多尺度卷积的方法，提取不同尺度的图像块特征，解决了拼接区域大小限制的问题。文献“Adversarial Learning forConstrained Image Splicing Detection and Localization based onAtrousConvolution”(Y.Liu,X.Zhu,X.Zhao,and Y.Cao,“Adversarial learning forconstrained image splicing detection and localization based on atrousconvolution,”IEEE Trans.Inf.Forensics Security,vol.14,no.10,pp.2551–2566,Oct.2019.)提出了一种基于空洞卷积的深度匹配模型(DAMC)，进一步提升了识别精度。
总之，相关拼接图像的篡改检测方法的现有技术存在因丢失上下文空间信息，容易导致错误预测，无法准确检测和定位较小尺寸的拼接篡改区域。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于频域变换和残差反馈网络拼接图像篡改的检测方法。
本发明解决该技术问题所采用的技术方案是：
一种基于频域变换和残差反馈模块的图像拼接篡改检测方法，其特征在于，该方法包括以下步骤：
第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；
频域变换支路包含三个依次连接的频域变换模块，每个频域变换模块即为一次小波变换；残差反馈模块支路共包含五个残差反馈编码模块，每个残差反馈编码模块均包含两个卷积层、Relu函数和池化层；
第二残差反馈编码模块的输出与第一频域变换模块的输出进行通道数融合后作为第三残差反馈编码模块的输入，第三残差反馈编码模块的输出与第二频域变换模块的输出进行通道数融合后作为第四残差反馈编码模块的输入，第四残差反馈编码模块的输出与第三频域变换模块的输出进行通道数融合后作为第五残差反馈编码模块的输入；
第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；
密集空洞卷积模块包含四个空洞卷积分支，特征图F经过密集空洞卷积模块的四个空洞卷积分支后得到四种不同尺度的特征图；四种特征图分别进行上采样后再与特征图F进行通道数相加，得到特征图E；
残差多核池化模块包括四个池化层，特征图E经过残差多核池化模块的四个池化层后分别进行上采样，然后将上采样后的特征图与特征图E进行通道数融合，得到特征图E’；
第三步，特征图E’经过特征解码器模块，得到定位掩码M；
特征解码器模块包括四个残差反馈解码模块，每个残差反馈解码模块均包含转置卷积、两个卷积层和Rule函数；
特征图E’经过第一残差反馈解码模块的转置卷积后，与第四残差反馈编码模块的输出和第三频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第一残差反馈解码模块，得到第一残差反馈解码模块的输出；将第一残差反馈解码模块的输出经过第二残差反馈解码模块的转置卷积后，与第三残差反馈编码模块的输出和第二频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第二残差反馈解码模块，得到第二残差反馈解码模块的输出；将第二残差反馈解码模块的输出经过第三残差反馈解码模块的转置卷积后，与第二残差反馈编码模块的输出与第一频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第三残差反馈解码模块，得到第三残差反馈解码模块的输出；将第三残差反馈解码模块的输出经过第四残差反馈解码模块的转置卷积后，与第一残差反馈编码模块的输出进行通道数融合，然后经过第四残差反馈解码模块，得到第四残差反馈解码模块的输出，第四残差反馈解码模块的输出再经过卷积，得到定位掩码M；
至此完成基于频域变换和残差反馈模块的图像拼接篡改检测。
与现有技术相比，本发明所具有的突出的实质性特点和显著进步如下：
(1)本发明采用由频域变换和残差反馈解码模块构成的双编码器模块来提取特征，再经过密集空洞卷积模块和残差多核池化模块，来扩展全局视野以捕获更多抽象特征和保留更多空间信息，最后经过特征解码器模块得到拼接篡改区域的定位掩码，完成对图像拼接篡改的检测，克服了现有技术因丢失上下文空间信息，容易导致错误预测，无法准确检测和定位较小尺寸的拼接篡改区域的缺陷。
(2)本发明使用残差反馈解码模块在拼接篡改图像上进行提取特征，使得未拼接篡改区域和拼接篡改区域之间的图像属性差异更加明显；使用频域变换，提取图像中像素的方向信息，提高了检测性能；使用密集空洞卷积模块和残差多核池化模块，以捕获更多高级特征并保留更多空间信息。
(3)公开号为CN110414670A的文献公开了一种基于全卷积神经网络的图像拼接篡改定位方法，是利用训练好的网络对测试图像进行预测并将预测结果通过条件随机场进行后处理，输出测试图像最终的预测结果，该方法网络结构复杂，网络参数量大，而且该方法存在着无法准确定位小目标篡改区域的缺陷。本发明方法与CN110414670A相比，网络结构更简单，能够更快达到收敛，并且有着更好的检测结果。
(4)公开号为CN106815836A的文献公开了一种数字图像拼接篡改盲检测方法，该方法将图像分割成不重叠的若干个子块并且根据颜色偏量估计算法估计每一个子块的颜色偏量，然后再选择出颜色偏量的参考区域，计算出参考区域之外的颜色偏量与整个图像的参考颜色偏量之间的欧式距离，该方法随着图片分辨率的增大，所需要的计算空间也会增大，并且也有无法实现像素级的定位篡改区域的缺陷。本发明方法与CN106815836A相比，直接将图像进行处理输入到网络中，不需要进行分割，并且检测结果也更加准确，能够实现像素级的定位。
(5)公开号为CN106056523A的文献公开了数字图像拼接篡改盲检测方法，该方法利用LMD和CCDCT方法分别对图像特征提取，将LMD和CCDCT方法提取的特征作为混合特征结合Adaboost分类器来对篡改图像进行检测，但是LMD会存在能量泄露和保留信号信息不完整以及对篡改区域定位效果差的缺陷。本发明方法与CN106056523A相比，利用图像更多的空间信息，能够更加全面地表示篡改图像和非篡改图像之间的差异，准确检测篡改区域，提高了定位的准确性。
(6)公开号为CN109816676A的文献公开了一种基于颜色滤波阵列特性拼接图像篡改检测方法，将待检测图像分成多个图像块的预处理，然后估算原始图像模式，最后利用边缘检测算子进行篡改定位检测，该方法采用Canny算子对篡改部分定位检测，但存在着错误区分，检测篡改区域准确率低的缺陷。本发明方法与CN109816676A相比，所提出的网络是一个端到端的网络，不需要对图像进行预处理，并且能够更准确的检测出篡改区域。
(7)公开号为CN103914839A的文献公开了一种基于隐写分析的图像拼接篡改检测方法及装置，该方法使用高级隐写统计分析模型提取特征，使用SVM或Ensemble分类器对特征进行分类，但是以上分类器只提取了统计特性，丢失了图像的局部信息，这容易导致错误预测，存在无法在像素级准确检测和定位拼接图像的篡改区域的缺陷。本发明方法与CN103914839A相比，采用了密集空洞卷积模块和残差多核池化模块，扩展了全局视野，捕获更多抽象特征和保留更多空间信息，实现了像素级检测定位，提升了检测的准确性。
(8)公开号为CN106683074A的文献公开了一种基于雾霾特性的图像篡改检测方法，利用篡改区域之间以及非篡改区域之间的相似性，为每个篡改区域和非篡改区域求出一个权重，然后将篡改区域和非篡改区域进行加权来对篡改区域进行检测定位，当拼接图像和宿主图像是由相同相机拍摄时，这方法有着一定的局限性，并且存在无法准确检测定位篡改区域的缺陷。本发明方法与CN106683074A相比，采用深度学习卷积神经网络，不再局限于图像来自相同相机，并且对篡改图像的定位性能有了很大提升。
附图说明
图1是本发明的网络结构示意图；
图2是本发明的密集空洞卷积模块的结构示意图；
图3是本发明的残差多核池化模块的结构示意图；
图4是本发明的输入图像；
图5是图4经过检测后得到的定位掩码M示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明，并不用于限定本申请的保护范围。
本发明为一种基于频域变换和残差反馈模块的图像拼接篡改检测方法(简称方法)，包括以下步骤：
第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；
频域变换支路包含三个依次连接的频域变换模块，每个频域变换模块即为一次小波变换；残差反馈模块支路共包含五个残差反馈编码模块，每个残差反馈编码模块均包含两个卷积层、Relu函数和池化层；
第二残差反馈编码模块的输出与第一频域变换模块的输出进行通道数融合后作为第三残差反馈编码模块的输入，第三残差反馈编码模块的输出与第二频域变换模块的输出进行通道数融合后作为第四残差反馈编码模块的输入，第四残差反馈编码模块的输出与第三频域变换模块的输出进行通道数融合后作为第五残差反馈编码模块的输入；
第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；密集空洞卷积模块包含四个空洞卷积分支，特征图F经过密集空洞卷积模块的四个空洞卷积分支后得到四种不同尺度的特征图；四种特征图分别进行上采样后再与特征图F进行通道数相加，得到特征图E；
残差多核池化模块包括四个池化层，特征图E经过残差多核池化模块的四个池化层后分别进行上采样，然后将所有上采样后的特征图与特征图E进行通道数融合，得到特征图E’；
第三步，特征图E’经过特征解码器模块，得到定位掩码M；
特征解码器模块包括四个残差反馈解码模块，每个残差反馈解码模块均包含转置卷积、两个卷积层和Rule函数；
特征图E’经过第一残差反馈解码模块的转置卷积后，与第四残差反馈编码模块的输出和第三频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第一残差反馈解码模块，得到第一残差反馈解码模块的输出；将第一残差反馈解码模块的输出经过第二残差反馈解码模块的转置卷积后，与第三残差反馈编码模块的输出和第二频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第二残差反馈解码模块，得到第二残差反馈解码模块的输出；将第二残差反馈解码模块的输出经过第三残差反馈解码模块的转置卷积后，与第二残差反馈编码模块的输出与第一频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第三残差反馈解码模块，得到第三残差反馈解码模块的输出；将第三残差反馈解码模块的输出经过第四残差反馈解码模块的转置卷积后，与第一残差反馈编码模块的输出进行通道数融合，然后经过第四残差反馈解码模块，得到第四残差反馈解码模块的输出，第四残差反馈解码模块的输出再经过卷积，得到定位掩码M；
至此完成基于频域变换和残差反馈模块的图像拼接篡改检测。
每个残差反馈编码模块的两个卷积层依次连接，然后经过Relu函数，最后是池化层，池化层的卷积核大小均为2×2；第一残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为3，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第二残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为32，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为76，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第四残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为256，第二个卷积层的输入维度为256，输出维度为256；第五残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为268，输出维度为256，第二个卷积层的输入维度为256，输出维度为256。
密集空洞卷积模块的第一空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层；密集空洞卷积模块的第二空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层和一个卷积核大小为1×1、空洞率为1的卷积层；密集空洞卷积模块的第三空洞卷积分支包含两个卷积核大小均为3×3、空洞率分别为1和3的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层；密集空洞卷积模块的第四空洞卷积分支包含三个卷积核大小均为3×3，空洞率分别为1、3、5的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层。
残差多核池化模块的四个池化层的卷积核大小为2×2、3×3、5×5和6×6；特征图F经过密集空洞卷积模块得到的四种特征图分别使用大小为1×1的卷积层和双线性插值进行上采样。
第一残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为528，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第二残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为536，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为280，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第四残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为32，第二个卷积层的输入维度为32，输出维度为32。
实施例
本实施例的基于频域变换和残差反馈模块的图像拼接篡改检测方法(参见图1-5)，具体步骤如下：
第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；
频域变换支路用于提取图像中像素的方向信息，并在检测网络的学习和决策过程中与残差反馈模块支路的残差反馈编码模块协同作用，能够准确定位属于小目标的拼接篡改区域，提升对拼接篡改区域的定位性能升，实现了像素级检测定位，保证检测的准确性；具体操作如下：
以CASIA数据集为例，将输入图像(参见图4)调整为384×256像素大小，输入到频域变换支路，频域变换支路包含三个依次连接的频域变换模块，每个频域变换模块即为一次小波变换，每个小波变换得到12个特征图；利用频域变换支路对输入图像的每个通道图像执行三次小波变换；输入图像经过三次小波变换分解得到36个特征图；
小波变换表示为：
(LLR,LHR,HHR,HLR,LLG,LHG,HHG,HLG,LLB,LHB,HHB,HLB)＝DWT(xR,xG,xB) (1)
式(1)中，DWT(·)为小波变换，xR,xG,xB为输入图像的三个通道图像，LLR,LHR,HHR,HLR,LLG,LHG,HHG,HLG,LLB,LHB,HHB,HLB为每个通道图像执行一次小波变换后特征图，L表示低频，H表示高频；
残差反馈模块支路是在输入图像上进行提取特征，使得未拼接篡改区域和拼接篡改区域之间的图像属性差异更加明显，具体操作如下：
如图1所示，残差反馈模块支路共包含五个残差反馈编码模块，经过残差反馈编码模块各自的池化层后每个残差反馈编码模块输出特征图的大小变为输入特征图的二分之一；每个残差反馈编码模块均包含两个卷积层、Relu函数和池化层，两个卷积层依次连接，然后是经过Relu函数，最后是池化层，池化层的卷积核大小均为2×2；第一残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为3，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第二残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为32，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为76，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第四残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为256，第二个卷积层的输入维度为256，输出维度为256；第五残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为268，输出维度为256，第二个卷积层的输入维度为256，输出维度为256。
将输入图像调整到384×256像素大小，输入残差反馈模块支路；输入图像经过第一残差反馈编码模块后得到32个特征图，再经过第二残差反馈编码模块后输出64个特征图，第二残差反馈编码模块输出的64个特征图与第一频域变换模块输出的12个特征图进行通道数融合后得到76个特征图，这76个特征图经过第三残差反馈编码模块后得到128个特征图，这128个特征图与第二频域变换模块输出的12个特征图进行通道数融合后得到140个特征图，这140个特征图经过第四残差反馈编码模块后得到256个特征图，这256个特征图与第三频域变换模块输出的12个特征图进行通道数融合后得到268个特征图，将这268个特征图作为第五残差反馈编码模块的输入，第五残差反馈编码模块输出256个特征图，这256个特征图共同构成特征图F；
残差反馈编码模块表述为：
y＝F((σ(F(x)+x)+x)+x)+x (2)
式(2)中，x为残差反馈编码模块的输入，F(·)表示卷积操作，σ(·)表示Relu函数，y为残差反馈编码模块的输出；
卷积层表述为式(3)：
xout＝(xin-kernel_size+2*padding)/stride+1 (3)
式(3)中，xin表示卷积层的输入，xout表示卷积层的输出，kernel_size表示卷积核大小，padding表示填充零的数量，stride表示移动的步长；
池化层表述为式(4)：
Poolingout＝(Reluout-kernel_size)/stride+1 (4)
式(4)中，Poolingout为池化层的输出；
Relu函数为式(5)：
Figure BDA0002977081480000071
式(5)中，Reluout为Relu函数的输出；
第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；
采用密集空洞卷积模块处理上述第一步得到的特征图F，得到特征图E；然后采用残差多核池化模块处理特征图E，得到特征图E’，具体操作如下：
如图2所示，密集空洞卷积模块包含四个空洞卷积分支，第一空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层；第二空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层和一个卷积核大小为1×1、空洞率为1的卷积层；第三空洞卷积分支包含两个卷积核大小均为3×3、空洞率分别为1和3的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层；第四空洞卷积分支包含三个卷积核大小均为3×3，空洞率分别为1、3、5的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层；
随着每个空洞卷积分支的空洞率的变化，每个空洞卷积分支感受野将是3,7,9,19；每个空洞卷积分支经过Relu函数得到输出；特征图F经过密集空洞卷积模块的四个空洞卷积分支后得到四种不同尺度的特征图F3、F7、F9、F19；然后按照式(6)将这四种特征图和特征图F进行通道数相加，得到特征图E，即密集空洞卷积模块的输出；
E＝F+F3+F7+F9+F19 (6)
式(6)中，特征图F3、F7、F9、F19的感受野分别为3,7,9,19；
特征图E经过残差多核池化模块，生成特征图E’；
残差多核池化模块包括大小为2×2、3×3、5×5和6×6四个池化层，特征图E经过四个池化层后输出四个不同尺寸的特征图；然后使用大小为1×1的卷积层和双线性插值分别对四个特征图进行上采样，使上采样后的特征图与特征图E的尺寸相同；按照式(7)将所有上采样后的特征图和特征图E进行通道数融合，得到特征图E’，即残差多核池化模块的输出；
E'＝cat(E,E2,E3,E5,E6) (7)
式(7)中，E2,E3,E5,E6为四个上采样后的特征图，cat(·)表示通道数融合；
第三步，特征图E’经过特征解码器模块，得到定位掩码M；
特征解码器模块用于恢复从特征双编码器模块、密集空洞卷积模块和残差多核池化模块中提取的高级语义特征；
特征解码器模块包括四个残差反馈解码模块，每个残差反馈解码模块均包含转置卷积、两个卷积层和Rule函数，先是转置卷积，然后是两个卷积层，最后是Rule函数；第一残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为528，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第二残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为536，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为280，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第四残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为32，第二个卷积层的输入维度为32，输出维度为32。
特征图E’经过第一残差反馈解码模块的转置卷积后，与第四残差反馈编码模块的输出和第三频域变换模块的输出融合后的268个特征图进行通道数融合得到528个特征图，然后这528个特征图经过第一残差反馈解码模块后，输出128个特征图；将第一残差反馈解码模块输出的128个特征图经过第二残差反馈解码模块的转置卷积后，与第三残差反馈编码模块的输出和第二频域变换模块的输出融合后的140个特征图进行通道数融合得到536个特征图，然后将这536个特征图经过第二残差反馈解码模块后，输出64个特征图；将第二残差反馈解码模块输出的64个特征图经过第三残差反馈解码模块的转置卷积后，与第二残差反馈编码模块的输出和第一频域变换模块的输出融合后的76个特征图进行通道数融合得到280个特征图，然后将这280个特征图经过第三残差反馈解码模块后，输出32个特征图；将第三残差反馈解码模块输出的32个特征图经过第四残差反馈解码模块的转置卷积后，与第一残差反馈编码模块输出的32个特征图进行通道数融合得到140个特征图，然后将这140个特征图经过第四残差反馈解码模块后，输出32个特征图；最后第四残差反馈解码模块输出的32个特征图再经过大小为1×1的卷积，得到如图5所示的定位掩码M；
将输入图像以8幅为一组输入到由上述双编码器模块、密集空洞卷积模块、残差多核池化模块和特征解码器模块组成的网络中，通过上述第一步的双编码器模块提取输入图像的特征图F，上述第二步采用密集空洞卷积模块和残差多核池化模块获得特征图E’，上述第三步采用特征解码器模块获得最终的定位掩码M；
然后使用式(8)计算与ground-truth(真实值)之间的二值交叉熵损失函数，通过最小化二值交叉熵损失函数使由上述双编码器模块、密集空洞卷积模块、残差多核池化模块和特征解码器模块组成的网络的参数达到最优，具体操作如下：
二值交叉熵损失函数的计算如下：
Figure BDA0002977081480000091
式(8)中，Y(i,j)∈{0,1}为输出Y′中第i行第j列像素点对应的真实标签，采用Adeleta算法优化二值交叉熵损失函数，经过上述操作由此完成了上述第一步到第三步的由双编码器模块、密集空洞卷积模块、残差多核池化模块和特征解码器模块组成的网络的训练操作；
基于频域变换和残差反馈模块的图像拼接篡改检测方法的度量：
计算上述第三步中所获得的定位掩码M与输入图像真实值之间的精确率(Precision)、召回率(Recall)和平均值F1值，如下公式(9)—(8)所示；
Figure BDA0002977081480000092
Figure BDA0002977081480000093
Figure BDA0002977081480000094
公式(9)—(11)中，TP为拼接篡改区域被预测为图像拼接篡改区域的像素点数目，FP为真实区域被预测为图像拼接篡改区域的像素点数目，FN为拼接篡改区域被预测为真实区域的像素点数目；
至此，完成了基于频域变换和残差反馈模块的图像拼接篡改检测。
表1为本实施例的实验结果Ours与现有技术ELA、NOI、CFA的实验结果比较：
表1不同检测方法的实验结果比较
Figure BDA0002977081480000095
ELA(Error Level Analysis，参见文献《N.Krawetz and H.F.Solutions,“Apicture’sworth,”Hacker Factor Solutions,vol.6,no.2,p.2,2007.》)只能检测JPEG格式保存的图像，这方法有一定的局限性，并且检测结果仅能定位拼接篡改区域的大致轮廓，无法进行精细化定位，对于拼接篡改区域的内部定位较差。NOI(Noise inconsistency，参见文献《B.Mahdian and S.Saic,“Using noise inconsistencies for blind imageforensics,”Image and Vision Computing,vol.27,no.10,pp.1497–1503,2009.》)是根据噪声差异进行检测，如果图像的设备噪声强度很弱，这种方法就存在可能检测失败的缺陷。CFA(Color Filter Array，参见文献《P.Ferrara,T.Bianchi,A.De Rosa,and A.Piva,“Image forgery localization via fine-grained analysis of cfa artifacts,”IEEETransactions on Information Forensics and Security,vol.7,no.5,pp.1566–1577,2012.》)是根据颜色滤波列阵插值的不一致性进行检测，如果在拼接伪造过程后进行一些隐藏处理，该方法可能会失败，并且随着图片分辨率的增大，该方法所需要的计算空间也会增大，同时也有无法实现像素级的定位篡改区域的缺陷。
由表中可知，本方法的定位结果的准确性均高于现有技术ELA、NOI、CFA；由于本发明利用双编码器模块、密集空洞卷积模块、残差多核池化模块和特征解码器模块构建了具有深度学习功能的卷积神经网络，采用由频域变换和残差反馈编码模块构成的双编码器模块来提取特征，采用密集空洞卷积模块和残差多核池化模块来扩展全局视野，以捕获更多抽象特征和保留更多空间信息，提升了对于拼接篡改图像的定位性能，实现了像素级检测定位，提升了检测的准确性。
本发明未述及之处适用于现有技术。

Claims (5)

1.一种基于频域变换和残差反馈模块的图像拼接篡改检测方法，其特征在于，该方法包括以下步骤：
第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；
频域变换支路包含三个依次连接的频域变换模块，每个频域变换模块即为一次小波变换；残差反馈模块支路共包含五个残差反馈编码模块，每个残差反馈编码模块均包含两个卷积层、Relu函数和池化层；
第二残差反馈编码模块的输出与第一频域变换模块的输出进行通道数融合后作为第三残差反馈编码模块的输入，第三残差反馈编码模块的输出与第二频域变换模块的输出进行通道数融合后作为第四残差反馈编码模块的输入，第四残差反馈编码模块的输出与第三频域变换模块的输出进行通道数融合后作为第五残差反馈编码模块的输入；
第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；
密集空洞卷积模块包含四个空洞卷积分支，特征图F经过密集空洞卷积模块的四个空洞卷积分支后得到四种不同尺度的特征图；四种特征图分别进行上采样后再与特征图F进行通道数相加，得到特征图E；
残差多核池化模块包括四个池化层，特征图E经过残差多核池化模块的四个池化层后分别进行上采样，然后将上采样后的特征图与特征图E进行通道数融合，得到特征图E’；
第三步，特征图E’经过特征解码器模块，得到定位掩码M；
特征解码器模块包括四个残差反馈解码模块，每个残差反馈解码模块均包含转置卷积、两个卷积层和Rule函数；
特征图E’经过第一残差反馈解码模块的转置卷积后，与第四残差反馈编码模块的输出和第三频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第一残差反馈解码模块，得到第一残差反馈解码模块的输出；将第一残差反馈解码模块的输出经过第二残差反馈解码模块的转置卷积后，与第三残差反馈编码模块的输出和第二频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第二残差反馈解码模块，得到第二残差反馈解码模块的输出；将第二残差反馈解码模块的输出经过第三残差反馈解码模块的转置卷积后，与第二残差反馈编码模块的输出与第一频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第三残差反馈解码模块，得到第三残差反馈解码模块的输出；将第三残差反馈解码模块的输出经过第四残差反馈解码模块的转置卷积后，与第一残差反馈编码模块的输出进行通道数融合，然后经过第四残差反馈解码模块，得到第四残差反馈解码模块的输出，第四残差反馈解码模块的输出再经过卷积，得到定位掩码M；
至此完成基于频域变换和残差反馈模块的图像拼接篡改检测。
2.根据权利要求1所述的基于频域变换和残差反馈模块的图像拼接篡改检测方法，其特征在于，每个残差反馈编码模块的两个卷积层依次连接，然后经过Relu函数，最后是池化层，池化层的卷积核大小均为2×2；第一残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为3，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第二残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为32，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为76，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第四残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为256，第二个卷积层的输入维度为256，输出维度为256；第五残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为268，输出维度为256，第二个卷积层的输入维度为256，输出维度为256。
3.根据权利要求1所述的基于频域变换和残差反馈模块的图像拼接篡改检测方法，其特征在于，密集空洞卷积模块的第一空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层；密集空洞卷积模块的第二空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层和一个卷积核大小为1×1、空洞率为1的卷积层；密集空洞卷积模块的第三空洞卷积分支包含两个卷积核大小均为3×3、空洞率分别为1和3的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层；密集空洞卷积模块的第四空洞卷积分支包含三个卷积核大小均为3×3，空洞率分别为1、3、5的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层。
4.根据权利要求1所述的基于频域变换和残差反馈模块的图像拼接篡改检测方法，其特征在于，残差多核池化模块的四个池化层的卷积核大小为2×2、3×3、5×5和6×6；特征图F经过密集空洞卷积模块得到的四种特征图分别使用大小为1×1的卷积层和双线性插值进行上采样。
5.根据权利要求1所述的基于频域变换和残差反馈模块的图像拼接篡改检测方法，其特征在于，第一残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为528，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第二残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为536，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为280，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第四残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为32，第二个卷积层的输入维度为32，输出维度为32。
CN202110277084.3A 2021-03-15 2021-03-15 基于频域变换和残差反馈模块的图像拼接篡改检测方法 Active CN112785480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110277084.3A CN112785480B (zh) 2021-03-15 2021-03-15 基于频域变换和残差反馈模块的图像拼接篡改检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110277084.3A CN112785480B (zh) 2021-03-15 2021-03-15 基于频域变换和残差反馈模块的图像拼接篡改检测方法

Publications (2)

Publication Number Publication Date
CN112785480A CN112785480A (zh) 2021-05-11
CN112785480B true CN112785480B (zh) 2022-05-03

Family

ID=75762650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110277084.3A Active CN112785480B (zh) 2021-03-15 2021-03-15 基于频域变换和残差反馈模块的图像拼接篡改检测方法

Country Status (1)

Country Link
CN (1) CN112785480B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344791B (zh) * 2021-07-05 2022-06-10 中山大学 基于空洞卷积和特征融合的双目超分辨率图像检测方法、系统及介质
CN113436287B (zh) * 2021-07-05 2022-06-24 吉林大学 一种基于lstm网络与编解码网络的篡改图像盲取证方法
CN114332592B (zh) * 2022-03-11 2022-06-21 中国海洋大学 一种基于注意力机制的海洋环境数据融合方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914839A (zh) * 2014-03-27 2014-07-09 中山大学 一种基于隐写分析的图像拼接篡改检测方法及装置
CN111062931A (zh) * 2019-12-20 2020-04-24 河北工业大学 一种被拼接篡改的图像的检测方法
CN111080629A (zh) * 2019-12-20 2020-04-28 河北工业大学 一种图像拼接篡改的检测方法
CN111212291A (zh) * 2020-01-14 2020-05-29 广东工业大学 基于dfl-cnn网络的视频帧内对象移除篡改检测方法
CN111311563A (zh) * 2020-02-10 2020-06-19 北京工业大学 一种基于多域特征融合的图像篡改检测方法
CN111369563A (zh) * 2020-02-21 2020-07-03 华南理工大学 一种基于金字塔空洞卷积网络的语义分割方法
CN111539942A (zh) * 2020-04-28 2020-08-14 中国科学院自动化研究所 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN111814543A (zh) * 2020-06-01 2020-10-23 湖南科技大学 深度视频对象修复篡改检测方法
CN111915568A (zh) * 2020-07-08 2020-11-10 深圳大学 图像篡改定位模型的生成方法、图像篡改定位方法及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914839A (zh) * 2014-03-27 2014-07-09 中山大学 一种基于隐写分析的图像拼接篡改检测方法及装置
CN111062931A (zh) * 2019-12-20 2020-04-24 河北工业大学 一种被拼接篡改的图像的检测方法
CN111080629A (zh) * 2019-12-20 2020-04-28 河北工业大学 一种图像拼接篡改的检测方法
CN111212291A (zh) * 2020-01-14 2020-05-29 广东工业大学 基于dfl-cnn网络的视频帧内对象移除篡改检测方法
CN111311563A (zh) * 2020-02-10 2020-06-19 北京工业大学 一种基于多域特征融合的图像篡改检测方法
CN111369563A (zh) * 2020-02-21 2020-07-03 华南理工大学 一种基于金字塔空洞卷积网络的语义分割方法
CN111539942A (zh) * 2020-04-28 2020-08-14 中国科学院自动化研究所 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN111814543A (zh) * 2020-06-01 2020-10-23 湖南科技大学 深度视频对象修复篡改检测方法
CN111915568A (zh) * 2020-07-08 2020-11-10 深圳大学 图像篡改定位模型的生成方法、图像篡改定位方法及设备

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
Adversarial Learning for Image Forensics Deep Matching with Atrous Convolution;Yaqi Liu等;《arXiv:1809.02791v1 [cs.CV]》;20180908;第1-13页 *
COMPARISON BETWEEN IMAGE FORGERY DETECTION ALGORITHMS;Mohammed N. Nazli等;《2017 8th International Conference on Information Technology》;20170531;第442-445页 *
Constrained Image Splicing Detection and Localization With Attention-Aware Encoder-Decoder and Atrous Convolution;Yaqi Liu等;《IEEE Access》;20200131;第6729-6741页 *
Copy move and splicing forgery detection using deep convolution neural network, and semantic;Abhishek等;《Multimedia Tools and Applications》;20200922;第3571–3599页 *
Image Forgery Detection and Localization via a Reliability Fusion Map;Hongwei Yao等;《sensors》;20201121;第1-18页 *
Two-Stage Copy-Move Forgery Detection with Self Deep Matching and Proposal SuperGlue;Yaqi Liu 等;《arXiv:2012.08697v1 [cs.CV]》;20201216;第1-13页 *
基于残差全卷积网络的图像拼接定位算法;吴韵清等;《应用科学学报》;20190930;第37卷(第5期);第651-662页 *
基于深度学习的图像拼接篡改检测;边亮等;《北京航空航天大学学报》;20200531;第1039-1044页 *
百度学术：image forgery detection,splicing, atrous convolution;Yaqi Liu等;《IEEE Transactions on Information Forensics and Security》;20190304;第2551-2566页 *

Also Published As

Publication number Publication date
CN112785480A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN111080629B (zh) 一种图像拼接篡改的检测方法
CN112785480B (zh) 基于频域变换和残差反馈模块的图像拼接篡改检测方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
Muhammad et al. Image forgery detection using steerable pyramid transform and local binary pattern
Sudiatmika et al. Image forgery detection using error level analysis and deep learning
AlSawadi et al. Copy-move image forgery detection using local binary pattern and neighborhood clustering
Chen et al. SNIS: A signal noise separation-based network for post-processed image forgery detection
Thajeel et al. A Novel Approach for Detection of Copy Move Forgery using Completed Robust Local Binary Pattern.
Gupta et al. A study on source device attribution using still images
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
Wang et al. Coarse-to-fine-grained method for image splicing region detection
Liu et al. Image deblocking detection based on a convolutional neural network
Ahmed et al. A comparative analysis of image copy-move forgery detection algorithms based on hand and machine-crafted features
Chen et al. Image splicing localization using residual image and residual-based fully convolutional network
Muhammad Multi-scale local texture descriptor for image forgery detection
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Dixit et al. Copy-move image forgery detection a review
Wu et al. Review of imaging device identification based on machine learning
Singh et al. StegGAN: hiding image within image using conditional generative adversarial networks
Jyothy et al. Texture-based multiresolution steganalytic features for spatial image steganography
Jain et al. Natural scene statistics and CNN based parallel network for image quality assessment
Patil et al. Improving the efficiency of image and video forgery detection using hybrid convolutional neural networks
Yan et al. TransU 2-Net: A Hybrid Transformer Architecture for Image Splicing Forgery Detection
Luo et al. Stereo super-resolution images detection based on multi-scale feature extraction and hierarchical feature fusion
Shukla et al. A survey on digital image forensic methods based on blind forgery detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant