CN112150450A - 一种基于双通道U-Net模型的图像篡改检测方法及装置 - Google Patents

一种基于双通道U-Net模型的图像篡改检测方法及装置 Download PDF

Info

Publication number
CN112150450A
CN112150450A CN202011049114.7A CN202011049114A CN112150450A CN 112150450 A CN112150450 A CN 112150450A CN 202011049114 A CN202011049114 A CN 202011049114A CN 112150450 A CN112150450 A CN 112150450A
Authority
CN
China
Prior art keywords
channel
image
tampered
net model
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011049114.7A
Other languages
English (en)
Other versions
CN112150450B (zh
Inventor
崔晓晖
丁红卫
朴杨鹤然
陶启
赵坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011049114.7A priority Critical patent/CN112150450B/zh
Publication of CN112150450A publication Critical patent/CN112150450A/zh
Application granted granted Critical
Publication of CN112150450B publication Critical patent/CN112150450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提出了一种基于双通道U‑Net模型的图像篡改检测方法和装置，以克服现有技术不能有效识别篡改区域、不能识别篡改类型和篡改检测技术单一的问题。本发明提出的U‑Net模型是经过改进后的U‑Net模型，改进后的模型增加了Res‑Block结构模块、特征融合模块和Res‑Dilated模块，以提高特征的使用效率和降低信息损失，同时解决编码器中的低维特征和解码器中高维特征间存在的语义鸿沟。本发明解决了传统人工提取特征单一性和主观性的缺陷，通过深层网络提取的特征具有更强的鲁棒性和泛化能力，不仅可以有效的检测图像的篡改类型，还能有效的定位篡改区域。

Description

一种基于双通道U-Net模型的图像篡改检测方法及装置
技术领域
本发明涉及计算机应用技术领域，特别涉及一种安全的主动式图像篡改检测方法及装置。
背景技术
多媒体信息，如数字图像，经常用于许多重要场合，如刑事调查和军事场景中的证据。然而，随着数字图像编辑工具的可用性和普及性，这些信息很容易被修改或篡改，不会留下任何修改的视觉痕迹。在篡改技术中，剪接、拷贝移动和删除是最常见的操作。图像拼接是将真实图像中的区域复制并粘贴到其他图像中，复制移动是复制并粘贴同一图像中的区域，删除是将真实图像中的区域擦除并进行修补。高效的篡改技术，即使仔细检查也很难识别被篡改的区域。因此，在多媒体取证中，由于伪造图像与原始图像具有很强的相似性，图像操纵检测成为一项非常重要且具有挑战性的任务。
为了确定数字图像的真实性，大多数最先进的图像处理检测方法都利用了三个主要类别的检测器，这些检测器分别为：基于特征描述符或频域特征、基于不一致的伪影或噪声和基于双重JPEG压缩。然而，这些方法大多集中在单一的篡改技术上。由于每种检测算法只针对一种特定的图像属性，当这种属性不明显或不存在时，会出现检测失效的情况。例如，当被篡改图像和篡改图像产自相同品牌和模型的成像设备时，它们具有相同的噪声信息，那么基于图像本质属性的检测方法就会失效；另外，当使用图像拼接检测去识别图像删除操作也可能会失效。
目前，基于卷积神经网络的检测算法可实现不依赖于图像单一属性的图像篡改检测，弥补了传统算法依赖于图像单一属性、适用度不高等缺陷。大多数基于卷积神经网络的图像篡改检测算法主要是对图像中的每个块进行判断分类来得到最终检测结果，缺少利用图像上下文中的特征关联信息进行匹配和判断的条件(图像中的上下文关联信息是图像篡改检测中较为重要的部分)，导致最终检测结果难以达到理想状况。同时，这些方法都是由多个阶段操作混合完成的，具有较高的时间复杂度。
发明内容
为了解决现有的技术问题，本发明提出了一种基于双通道U-Net模型的图像篡改检测方法和装置，以克服现有技术不能有效识别篡改区域、不能识别篡改类型和篡改检测技术单一的问题，并且本发明提出的U-Net模型是经过改进后的U-Net模型。改进后的模型增加了Res-Block结构模块、特征融合模块和Res-Dilated模块，以提高特征的使用效率和降低信息损失，同时解决编码器中的低维特征和解码器中高维特征间存在的语义鸿沟。
为了解决上述技术问题，本发明采用的技术方案如下：一种基于U-Net模型的篡改检测方法，包括如下步骤，
步骤S1，选取若干未经处理过的图像作为原始图像，进行图像篡改操作处理，从而得到篡改后的图像；
步骤S2，对于步骤S1中的每个篡改图像进行金标准Ground Truth图像绘制；
步骤S3，对篡改图像使用空域富模型SRM方法提取噪声图像；
步骤S4，构建双通道U-Net模型，所述双通道U-Net模型包括两个通道，通道1为U-Net模型，包括编码器和解码器结构，输入为篡改图像，通过编码器提取篡改图像的RGB特征，然后通过解码器的二分类输出定位篡改图像区域；通道2是一个卷积神经网络模型，输入为噪声图像，前面是卷积层和池化层，用于篡改噪声特征的提取，后面连接全连接层和分类预测层，用于预测被篡改的种类；其中，解码器的输入为噪声特征与编码器输出特征的结合；
步骤S5，将篡改图像和噪声图像作为双通道U-Net模型的输入，Ground Truth和篡改类型的One-hot作为通道1和通道2的标签，训练双通道U-Net模型，从而精准定位被篡改区域和篡改的种类；
步骤S6，对训练完成的双通道U-Net网络模型，使用测试数据进行双通道U-Net模型性能的测试。
进一步的，步骤S1中使用复制移动、剪切拼接和删除填充三种图像篡改操作处理。
进一步的，步骤S3中使用三个SRM滤波器核提取噪声图像，定义SRM的核大小为5×5×3，SRM的输出通道大小是3，3个核的权重如下所示：
Figure BDA0002708988370000021
进一步的，步骤S4的通道1中，编码器和解码器由多个残差单元Res-Block结构组成，Res-Block结构包含两个卷积结构，即两次Conv 3×3的卷积操作，其中每个卷积操作之后都会加入Dropout和BN方法，将第一次卷积之后的结果加入第二次卷积结果中有助于防止卷积过程中的信息损失；
编码器和解码器间的过渡阶段加入多尺度特征融合模块，首先，利用三个不同扩张率的扩张卷积对编码器的输出进行处理，扩张卷积中的扩张率分别设置为1、2、3来扩大感受野，从而提取编码器中不同尺度的特征信息；然后，将不同扩张率提取到的图像语义特征进行组合；最后为了减小参数和降低计算复杂度，采用Conv(1×1)的卷积操作进行卷积，将特征图的通道维度减小为原始维度的1/3，进行多尺度特征融合后，将融合后的特征与噪声特征相结合作为解码器的输入，用于更精准的篡改定位；
编码器和解码器间的跳连接中加入特征平衡模块，即残差网络和扩张卷积相结合的Res-Dilated模块，所述Res-Dilated模块是在传统的Resnet中加入了扩张卷积，即将传统的卷积用扩张卷积替代，并加入了BN方法，其中的激活函数使用的Relu函数。
进一步的，双通道U-Net模型的损失函数设计如下，
Figure BDA0002708988370000031
其中，n为训练样本个数；
Figure BDA0002708988370000032
为期望输出，即真实数据标签，取值为
Figure BDA0002708988370000033
yi为实际输出，取值为yi∈[0,1]。
本发明还提供一种基于双通道U-Net模型的图像篡改检测装置，包括如下模块：
预处理模块，用于选取若干未经处理过的图像作为原始图像，进行图像篡改操作处理，从而得到篡改后的图像；
金标准处理模块，用于对每个篡改图像进行金标准Ground Truth图像绘制；
噪声图像提取模块，用于对篡改图像使用空域富模型SRM方法提取噪声图像；
双通道U-Net模型构建模块，用于构建双通道U-Net模型，所述双通道U-Net模型包括两个通道，通道1为U-Net模型，包括编码器和解码器结构，输入为篡改图像，通过编码器提取篡改图像的RGB特征，然后通过解码器的二分类输出定位篡改图像区域；通道2是一个卷积神经网络模型，输入为噪声图像，前面是卷积层和池化层，用于篡改噪声特征的提取，后面连接全连接层和分类预测层，用于预测被篡改的种类；
模型训练模块，用于将篡改图像和噪声图像作为双通道U-Net模型的输入，GroundTruth和篡改类型的One-hot作为通道1和通道2的标签，训练双通道U-Net模型，从而精准定位被篡改区域和篡改的种类；
测试模块，用于对训练完成的双通道U-Net网络模型，使用测试数据进行双通道U-Net模型性能的测试。
进一步的，预处理模块中使用复制移动、剪切拼接和删除填充三种图像篡改操作处理。
进一步的，噪声图像提取模块中使用三个SRM滤波器核提取噪声图像，定义SRM的核大小为5×5×3，SRM的输出通道大小是3，3个核的权重如下所示：
Figure BDA0002708988370000041
进一步的，双通道U-Net模型构建模块的通道1中，编码器和解码器由多个残差单元Res-Block结构组成，Res-Block结构包含两个卷积结构，即两次Conv 3×3的卷积操作，其中每个卷积操作之后都会加入Dropout和BN方法，将第一次卷积之后的结果加入第二次卷积结果中有助于防止卷积过程中的信息损失；
编码器和解码器间的过渡阶段加入多尺度特征融合模块，首先，利用三个不同扩张率的扩张卷积对编码器的输出进行处理，扩张卷积中的扩张率分别设置为1、2、3来扩大感受野，从而提取编码器中不同尺度的特征信息；然后，将不同扩张率提取到的图像语义特征进行组合；最后为了减小参数和降低计算复杂度，采用Conv(1×1)的卷积操作进行卷积，将特征图的通道维度减小为原始维度的1/3，进行多尺度特征融合后，将融合后的特征与噪声特征相结合作为解码器的输入，用于更精准的篡改定位；
编码器和解码器间的跳连接中加入特征平衡模块，即残差网络和扩张卷积相结合的Res-Dilated模块，所述Res-Dilated模块是在传统的Resnet中加入了扩张卷积，即将传统的卷积用扩张卷积替代，并加入了BN方法，其中的激活函数使用的Relu函数。
进一步的，双通道U-Net模型的损失函数设计如下，
Figure BDA0002708988370000042
其中，n为训练样本个数；
Figure BDA0002708988370000043
为期望输出，即真实数据标签，取值为
Figure BDA0002708988370000044
yi为实际输出，取值为yi∈[0,1]。
本发明提供的技术方案实施可带来的社会效益是：
1.本发明提出使用双通道的U-Net模型进行篡改图像的检测，不仅可以有效的检测图像的篡改类型，还能有效的定位篡改区域。
2.本发明使用的双通道U-Net模型能够自动的学习篡改图像的篡改伪影特征和噪声伪影特征，解决了传统人工提取特征单一性和主观性的缺陷，通过深层网络提取的特征具有更强的鲁棒性和泛化能力。
3.本发明提出的U-Net模型是改进后的模型。改进后的模型加入了Res-Block模块、特征融合模块和Res-Dilated模块，从而能够有效的提升U-Net模型的检测性能，得到更精准的检测结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，其中：
图1是本发明方法的流程图。
图2是本发明双通道U-Net模型训练过程流程图。
图3是本发明所述的双通道U-Net模型的结构示意图。
图4是本发明所述的Res-Block模块结构示意图。
图5是本发明特征融合模块结构示意图。
图6是本发明Res-Dilated模块示意图。
图7是本发明的测试结果图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图细说明。
本发明实施例提供了基于双通道U-Net模型的图像篡改检测方法和装置。
实施例一：
图1是根据一示例性实施例示出的基于深度学习的篡改图像鉴定方法的流程图，参照图1所示，该方法包括如下步骤：
步骤S1：选取若干未经处理过的图像作为原始图像，使用图像编辑软件进行图像篡改操作处理，从而得到篡改后的图像。
步骤S2：对于步骤S1中的每个篡改图像进行金标准(Ground Truth)图像绘制。
步骤S3：对篡改图像使用空域富模型(SRM)方法提取噪声图像。
步骤S4，构建双通道U-Net模型，所述双通道U-Net模型包括两个通道，通道1为U-Net模型，包括编码器和解码器结构，输入为篡改图像，通过编码器提取篡改图像的RGB特征，然后通过解码器的二分类输出定位篡改图像区域；通道2是一个卷积神经网络模型，输入为噪声图像，前面是卷积层和池化层，用于篡改噪声特征的提取，后面连接全连接层和分类预测层，用于预测被篡改的种类；其中，解码器的输入为噪声特征与编码器输出特征的结合；
步骤S5，将篡改图像和噪声图像作为双通道U-Net模型的输入，Ground Truth和篡改类型的One-hot作为通道1和通道2的标签，训练双通道U-Net模型，从而精准定位被篡改区域和篡改的种类；
步骤S6，对训练完成的双通道U-Net网络模型，使用测试数据进行双通道U-Net模型性能的测试。
具体的，对于S1中的图像篡改操作，由于现实中的图像篡改操作最常见的为复制移动、剪切拼接和删除填充三种，因此S1中的图像篡改包含此三种类型。
具体的，对于S2中的Ground Truth，将篡改区域以白色填充，未篡改区域使用黑色背景填充，从而得到篡改图像的Ground Truth。
具体的，对于所述步骤S3所提取的噪声特征是经过富含隐写分析方法SRM得到，其中的噪声特征，使用了三个SRM滤波器核得到。在本发明中，噪声是通过像素值与仅插值相邻像素值所产生的像素值估计值之间的残差来建模的。通过实验，发现只有使用3个内核才能获得良好的性能。因此，定义了噪声流中SRM滤波器层的核大小为5×5×3。SRM层的输出通道大小是3。3个核的权重如下所示：
Figure BDA0002708988370000061
具体的，如图2所示，对于所述步骤S5中双通道U-Net模型具体训练包括：
S5.1：选取NIST Nimble 2016、CASIA2.0和S1中的数据作为数据集。
S5.2：将数据划分为训练数据、验证数据和测试数据。
S5.3：将篡改图像和噪声图像作为双通道U-Net模型的输入，Ground Truth和one-hot编码分别作为标签训练模型。
S5.4：在训练过程中通过验证数据得出的结果不断优化网络结构参数，直至模型训练达到最优。
其中S5.3中模型训练过程具体为：
根据选定篡改图像的训练数据和验证数据，使用三个SRM滤波器核得到篡改图像的噪声特征。
将篡改图像作为双通道U-Net模型(通道1)的输入，Ground Truth作为标签，训练模型，使模型能定位篡改区域；将噪声图像作为双通道U-Net模型(通道2)的输入，三种篡改类型进行one-hot编码作为输出数据的真实标签，输入特征数据经过卷积层、池化层(池化层使用步长为2的卷积层替代)和全连接层的向前传播得到输出值。
求出模型的输出值与目标值之间的误差，使用二进制交叉熵损失函数作为误差损失。
当误差大于期望值时，将误差传回网络中，更新模型各层的参数。
以此过程训练模型，观察训练数据和验证数据的训练效果，直至模型训练连效果达到最优。
对于所述的步骤S4中的通道1和通道2的训练是同时进行的。本发明提出的U-Net模型是双通道的U-Net模型结构图如图3所示，其中双通道的输入分别为篡改图像和篡改图像进过SRM提取的噪声图像。
对于所述的步骤S4中的双通道U-Net网络模型，通道2是一个卷积神经网络模型，使用步长为2的卷积运算来代替传统的池化操作，对图像尺寸进行下采样缩减，从而减少使用池化操作引起的图像语义损失。
进一步的，对于所述的步骤S4中的双通道U-Net网络模型，通道1中编码器中使用了残差单元(Res-Block)结构。如图4所示，本文提出的Res-Block结构是在原始的Resnet中加入了Dropout方法和BN方法，Res-Block结构包含两个卷积结构，即两次Conv 3×3的卷积操作，其中每个卷积操作之后都会加入Dropout和BN方法，将第一次卷积之后的结果加入第二次卷积结果中有助于防止卷积过程中的信息损失。
其中，Dropout表示用于随机失活部分神经元，防止模型训练过程中发生过拟合；BN表示批量归一化，用来防止视网膜中存在的噪声造成梯度消失，并提高模型的表达能力；文中每个卷积层利用线性修正单元进行特征提取，Relu能够有效降低网络复杂度，提高网络的收敛速率，其公式如下：
Figure BDA0002708988370000071
进一步的，对于所述的步骤S5中的双通道U-Net网络模型，编码器和解码器间的过渡阶段加入了多尺度特征融合模块(feature fusion model)，该模块用以联系上下文信息，以提取不同粒度的篡改图像特征。
本发明提出的多尺度特征融合模块如图5所示。我们采用三个分支来接收编码器模块中的语义信息。首先，将扩张卷积中的扩张率设置为1、2、3来扩大感受野，从而提取编码器模块中不同尺度的特征信息；然后，将不同扩张率提取到的图像语义特征进行组合；最后为了减小参数和降低计算复杂度，采用Conv(1×1)的卷积操作进行卷积，将特征图的通道维度减小为原始维度的1/3。进行多尺度特征融合后，将融合后的特征与噪声图像提取的特征相结合作为解码器的输入，用于更精准的篡改定位。
进一步的，对于所述的步骤S5中的双通道U-Net网络模型，编码器和解码器间的跳连接中加入了特征平衡模块，即残差网络和扩张卷积相结合的Res-Dilated模块。
若是直接使用跳连接将低维度的图像信息和高维度的图像信息合并，可能会因为图像特征间相差较大而产生语义鸿沟，从而影响模型检测效果。基于此，在跳连接中，我们加入残差网络和扩张卷积相结合的Res-Dilated模块，一方面提取图像的高维表示信息，另一方面增大感受野提取图像中的细节表示信息。Res-Dilated结构如图6所示，该结构是在传统的Resnet中加入了扩张(Dilated)卷积，即将传统的卷积方法用Dilated卷积替代，并在此基础上加入了BN方法，其中的激活函数使用的Relu函数。
进一步的，对于RGB通道和噪声流通道的U-Net模型的损失函数，使用的损失函数均为二进制交叉熵损失函数。损失函数的公式设计如下：
Figure BDA0002708988370000081
其中，n为样本个数；
Figure BDA0002708988370000082
为期望输出，即真实数据标签，取值为
Figure BDA0002708988370000083
yi为实际输出，取值为yi∈[0,1]。
进一步的，在U-Net网络训练过程中，为了提高其训练性能，得到更好的检测效果，使用具有Nesterov动量项的自适应矩估计(Adam)作为模型训练过程的优化算法。Adam优化器相比于传统的优化算法，具有计算效率高、内存占用小和可自适应调整学习率等优势，并且还能较好的处理噪音样本，具有天然的退火效果。
本发明实施例还提供一种基于双通道U-Net模型的图像篡改检测装置，包括如下模块：
预处理模块，用于选取若干未经处理过的图像作为原始图像，进行图像篡改操作处理，从而得到篡改后的图像；
金标准处理模块，用于对每个篡改图像进行金标准Ground Truth图像绘制；
噪声图像提取模块，用于对篡改图像使用空域富模型SRM方法提取噪声图像；
双通道U-Net模型构建模块，用于构建双通道U-Net模型，所述双通道U-Net模型包括两个通道，通道1为U-Net模型，包括编码器和解码器结构，输入为篡改图像，通过编码器提取篡改图像的RGB特征，然后通过解码器的二分类输出定位篡改图像区域；通道2是一个卷积神经网络模型，输入为噪声图像，前面是卷积层和池化层，用于篡改噪声特征的提取，后面连接全连接层和分类预测层，用于预测被篡改的种类；其中，解码器的输入为噪声特征与编码器输出特征的结合；
模型训练模块，用于将篡改图像和噪声图像作为双通道U-Net模型的输入，GroundTruth和篡改类型的One-hot作为通道1和通道2的标签，训练双通道U-Net模型，从而精准定位被篡改区域和篡改的种类；
测试模块，用于对训练完成的双通道U-Net网络模型，使用测试数据进行双通道U-Net模型性能的测试。
进一步的，预处理模块中使用复制移动、剪切拼接和删除填充三种图像篡改操作处理。
进一步的，噪声图像提取模块中使用三个SRM滤波器核提取噪声图像，定义SRM的核大小为5×5×3，SRM的输出通道大小是3，3个核的权重如下所示：
Figure BDA0002708988370000091
进一步的，双通道U-Net模型构建模块的通道1中，编码器和解码器由多个残差单元Res-Block结构组成，Res-Block结构包含两个卷积结构，即两次Conv 3×3的卷积操作，其中每个卷积操作之后都会加入Dropout和BN方法，将第一次卷积之后的结果加入第二次卷积结果中有助于防止卷积过程中的信息损失；
编码器和解码器间的过渡阶段加入多尺度特征融合模块，首先，利用三个不同扩张率的扩张卷积对编码器的输出进行处理，扩张卷积中的扩张率分别设置为1、2、3来扩大感受野，从而提取编码器中不同尺度的特征信息；然后，将不同扩张率提取到的图像语义特征进行组合；最后为了减小参数和降低计算复杂度，采用Conv(1×1)的卷积操作进行卷积，将特征图的通道维度减小为原始维度的1/3，进行多尺度特征融合后，将融合后的特征与噪声特征相结合作为解码器的输入，用于更精准的篡改定位；
编码器和解码器间的跳连接中加入特征平衡模块，即残差网络和扩张卷积相结合的Res-Dilated模块，所述Res-Dilated模块是在传统的Resnet中加入了扩张卷积，即将传统的卷积用扩张卷积替代，并加入了BN方法，其中的激活函数使用的Relu函数。
进一步的，双通道U-Net模型的损失函数设计如下，
Figure BDA0002708988370000092
其中，n为训练样本个数；
Figure BDA0002708988370000101
为期望输出，即真实数据标签，取值为
Figure BDA0002708988370000102
yi为实际输出，取值为yi∈[0,1]。
本发明的保护范围并不限于上述的实施例，显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及其等同技术的范围内，则本发明的意图也包含这些改动和变形在内。

Claims (10)

1.一种基于双通道U-Net模型的图像篡改检测方法，其特征在于，包括如下步骤：
步骤S1，选取若干未经处理过的图像作为原始图像，进行图像篡改操作处理，从而得到篡改后的图像；
步骤S2，对于步骤S1中的每个篡改图像进行金标准Ground truth图像绘制；
步骤S3，对篡改图像使用空域富模型SRM方法提取噪声图像；
步骤S4，构建双通道U-Net模型，所述双通道U-Net模型包括两个通道，通道1为U-Net模型，包括编码器和解码器结构，输入为篡改图像，通过编码器提取篡改图像的RGB特征，然后通过解码器的二分类输出定位篡改图像区域；通道2是一个卷积神经网络模型，输入为噪声图像，前面是卷积层和池化层，用于篡改噪声特征的提取，后面连接全连接层和分类预测层，用于预测被篡改的种类；其中，解码器的输入为噪声特征与编码器输出特征的结合；
步骤S5，将篡改图像和噪声图像作为双通道U-Net模型的输入，Ground Truth和篡改类型的One-hot作为通道1和通道2的标签，训练双通道U-Net模型，从而精准定位被篡改区域和篡改的种类；
步骤S6，对训练完成的双通道U-Net网络模型，使用测试数据进行双通道U-Net模型性能的测试。
2.如权利要求1所述的一种基于双通道U-Net模型的图像篡改检测方法，其特征在于：步骤S1中使用复制移动、剪切拼接和删除填充三种图像篡改操作处理。
3.如权利要求1所述的一种基于双通道U-Net模型的图像篡改检测方法，其特征在于：步骤S2中使用三个SRM滤波器核提取噪声图像，定义SRM的核大小为5×5×3，SRM的输出通道大小是3，3个核的权重如下所示：
Figure FDA0002708988360000011
4.如权利要求1所述的一种基于双通道U-Net模型的图像篡改检测方法，其特征在于：步骤S4的通道1中，编码器和解码器由多个残差单元Res-Block结构组成，Res-Block结构包含两个卷积结构，即两次Conv 3×3的卷积操作，其中每个卷积操作之后都会加入Dropout和BN方法，将第一次卷积之后的结果加入第二次卷积结果中有助于防止卷积过程中的信息损失；
编码器和解码器间的过渡阶段加入多尺度特征融合模块，首先，利用三个不同扩张率的扩张卷积对编码器的输出进行处理，扩张卷积中的扩张率分别设置为1、2、3来扩大感受野，从而提取编码器中不同尺度的特征信息；然后，将不同扩张率提取到的图像语义特征进行组合；最后为了减小参数和降低计算复杂度，采用Conv(1×1)的卷积操作进行卷积，将特征图的通道维度减小为原始维度的1/3，进行多尺度特征融合后，将融合后的特征与噪声特征相结合作为解码器的输入，用于更精准的篡改定位；
编码器和解码器间的跳连接中加入特征平衡模块，即残差网络和扩张卷积相结合的Res-Dilated模块，所述Res-Dilated模块是在传统的Resnet中加入了扩张卷积，即将传统的卷积用扩张卷积替代，并加入了BN方法，其中的激活函数使用的Relu函数。
5.如权利要求1所述的一种基于双通道U-Net模型的图像篡改检测方法，其特征在于：双通道U-Net模型的损失函数设计如下，
Figure FDA0002708988360000021
其中，n为训练样本个数；
Figure FDA0002708988360000022
为期望输出，即真实数据标签，取值为
Figure FDA0002708988360000023
yi为实际输出，取值为yi∈[0,1]。
6.一种基于双通道U-Net模型的图像篡改检测装置，其特征在于，包括如下模块：
预处理模块，用于选取若干未经处理过的图像作为原始图像，进行图像篡改操作处理，从而得到篡改后的图像；
金标准处理模块，用于对每个篡改图像进行金标准Ground Truth图像绘制；
噪声图像提取模块，用于对篡改图像使用空域富模型SRM方法提取噪声图像；
双通道U-Net模型构建模块，用于构建双通道U-Net模型，所述双通道U-Net模型包括两个通道，通道1为U-Net模型，包括编码器和解码器结构，输入为篡改图像，通过编码器提取篡改图像的RGB特征，然后通过解码器的二分类输出定位篡改图像区域；通道2是一个卷积神经网络模型，输入为噪声图像，前面是卷积层和池化层，用于篡改噪声特征的提取，后面连接全连接层和分类预测层，用于预测被篡改的种类；其中，解码器的输入为噪声特征与编码器输出特征的结合；
模型训练模块，用于将篡改图像和噪声图像作为双通道U-Net模型的输入，GroundTruth和篡改类型的One-hot作为通道1和通道2的标签，训练双通道U-Net模型，从而精准定位被篡改区域和篡改的种类；
测试模块，用于对训练完成的双通道U-Net网络模型，使用测试数据进行双通道U-Net模型性能的测试。
7.如权利要求6所述的一种基于双通道U-Net模型的图像篡改检测装置，其特征在于：预处理模块中使用复制移动、剪切拼接和删除填充三种图像篡改操作处理。
8.如权利要求6所述的一种基于双通道U-Net模型的图像篡改检测装置，其特征在于：噪声图像提取模块中使用三个SRM滤波器核提取噪声图像，定义SRM的核大小为5×5×3，SRM的输出通道大小是3，3个核的权重如下所示：
Figure FDA0002708988360000031
9.如权利要求6所述的一种基于双通道U-Net模型的图像篡改检测装置，其特征在于：双通道U-Net模型构建模块的通道1中，编码器和解码器由多个残差单元Res-Block结构组成，Res-Block结构包含两个卷积结构，即两次Conv 3×3的卷积操作，其中每个卷积操作之后都会加入Dropout和BN方法，将第一次卷积之后的结果加入第二次卷积结果中有助于防止卷积过程中的信息损失；
编码器和解码器间的过渡阶段加入多尺度特征融合模块，首先，利用三个不同扩张率的扩张卷积对编码器的输出进行处理，扩张卷积中的扩张率分别设置为1、2、3来扩大感受野，从而提取编码器中不同尺度的特征信息；然后，将不同扩张率提取到的图像语义特征进行组合；最后为了减小参数和降低计算复杂度，采用Conv(1×1)的卷积操作进行卷积，将特征图的通道维度减小为原始维度的1/3，进行多尺度特征融合后，将融合后的特征与噪声特征相结合作为解码器的输入，用于更精准的篡改定位；
编码器和解码器间的跳连接中加入特征平衡模块，即残差网络和扩张卷积相结合的Res-Dilated模块，所述Res-Dilated模块是在传统的Resnet中加入了扩张卷积，即将传统的卷积用扩张卷积替代，并加入了BN方法，其中的激活函数使用的Relu函数。
10.如权利要求6所述的一种基于双通道U-Net模型的图像篡改检测装置，其特征在于：双通道U-Net模型的损失函数设计如下，
Figure FDA0002708988360000032
其中，n为训练样本个数；
Figure FDA0002708988360000033
为期望输出，即真实数据标签，取值为
Figure FDA0002708988360000034
yi为实际输出，取值为yi∈[0,1]。
CN202011049114.7A 2020-09-29 2020-09-29 一种基于双通道U-Net模型的图像篡改检测方法及装置 Active CN112150450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011049114.7A CN112150450B (zh) 2020-09-29 2020-09-29 一种基于双通道U-Net模型的图像篡改检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011049114.7A CN112150450B (zh) 2020-09-29 2020-09-29 一种基于双通道U-Net模型的图像篡改检测方法及装置

Publications (2)

Publication Number Publication Date
CN112150450A true CN112150450A (zh) 2020-12-29
CN112150450B CN112150450B (zh) 2021-03-16

Family

ID=73895008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011049114.7A Active CN112150450B (zh) 2020-09-29 2020-09-29 一种基于双通道U-Net模型的图像篡改检测方法及装置

Country Status (1)

Country Link
CN (1) CN112150450B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750122A (zh) * 2021-01-21 2021-05-04 山东省人工智能研究院 基于双流边界感知神经网络的图像篡改区域定位方法
CN112785479A (zh) * 2021-01-21 2021-05-11 南京信息工程大学 一种基于少样本学习的图像隐形水印通用检测方法
CN112927219A (zh) * 2021-03-25 2021-06-08 支付宝(杭州)信息技术有限公司 一种图像的检测方法、装置及设备
CN113989234A (zh) * 2021-10-28 2022-01-28 杭州中科睿鉴科技有限公司 基于多特征融合的图像篡改检测方法
CN115578631A (zh) * 2022-11-15 2023-01-06 山东省人工智能研究院 基于多尺度交互和跨特征对比学习的图像篡改检测方法
CN117173713A (zh) * 2023-07-17 2023-12-05 厦门国际银行股份有限公司 一种基于u型网络的文本篡改检测方法、装置以及设备
CN117671302A (zh) * 2024-02-01 2024-03-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种图像隐写分析方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160010982A1 (en) * 2012-11-14 2016-01-14 Massachusetts Institute Of Technology Laser Speckle Photography for Surface Tampering Detection
CN107464237A (zh) * 2017-08-04 2017-12-12 平安科技（深圳）有限公司 图像篡改检测方法、电子装置及可读存储介质
CN107622489A (zh) * 2017-10-11 2018-01-23 广东工业大学 一种图像篡改检测方法及装置
CN107657259A (zh) * 2017-09-30 2018-02-02 平安科技（深圳）有限公司 图像篡改检测方法、电子装置及可读存储介质
CN108961245A (zh) * 2018-07-06 2018-12-07 西安电子科技大学 基于双通道深度并行卷积网络的图像质量分类方法
CN109754393A (zh) * 2018-12-19 2019-05-14 众安信息技术服务有限公司 一种基于深度学习的篡改图像鉴定方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160010982A1 (en) * 2012-11-14 2016-01-14 Massachusetts Institute Of Technology Laser Speckle Photography for Surface Tampering Detection
CN107464237A (zh) * 2017-08-04 2017-12-12 平安科技（深圳）有限公司 图像篡改检测方法、电子装置及可读存储介质
CN107657259A (zh) * 2017-09-30 2018-02-02 平安科技（深圳）有限公司 图像篡改检测方法、电子装置及可读存储介质
CN107622489A (zh) * 2017-10-11 2018-01-23 广东工业大学 一种图像篡改检测方法及装置
CN108961245A (zh) * 2018-07-06 2018-12-07 西安电子科技大学 基于双通道深度并行卷积网络的图像质量分类方法
CN109754393A (zh) * 2018-12-19 2019-05-14 众安信息技术服务有限公司 一种基于深度学习的篡改图像鉴定方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KUNIHIKO TAYA.ET AL: ""Detecting tampered region in video using LSTM and U-Net"", 《WILEY ONLINE LIBRARY》 *
王珠珠: ""基于U型检测网络的图像篡改检测算法"", 《通信学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750122A (zh) * 2021-01-21 2021-05-04 山东省人工智能研究院 基于双流边界感知神经网络的图像篡改区域定位方法
CN112785479A (zh) * 2021-01-21 2021-05-11 南京信息工程大学 一种基于少样本学习的图像隐形水印通用检测方法
CN112785479B (zh) * 2021-01-21 2023-05-23 南京信息工程大学 一种基于少样本学习的图像隐形水印通用检测方法
CN112927219A (zh) * 2021-03-25 2021-06-08 支付宝(杭州)信息技术有限公司 一种图像的检测方法、装置及设备
CN112927219B (zh) * 2021-03-25 2022-05-13 支付宝(杭州)信息技术有限公司 一种图像的检测方法、装置及设备
CN113989234A (zh) * 2021-10-28 2022-01-28 杭州中科睿鉴科技有限公司 基于多特征融合的图像篡改检测方法
CN115578631A (zh) * 2022-11-15 2023-01-06 山东省人工智能研究院 基于多尺度交互和跨特征对比学习的图像篡改检测方法
CN115578631B (zh) * 2022-11-15 2023-08-18 山东省人工智能研究院 基于多尺度交互和跨特征对比学习的图像篡改检测方法
CN117173713A (zh) * 2023-07-17 2023-12-05 厦门国际银行股份有限公司 一种基于u型网络的文本篡改检测方法、装置以及设备
CN117671302A (zh) * 2024-02-01 2024-03-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种图像隐写分析方法、装置及存储介质
CN117671302B (zh) * 2024-02-01 2024-05-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种图像隐写分析方法、装置及存储介质

Also Published As

Publication number Publication date
CN112150450B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
CN111311563B (zh) 一种基于多域特征融合的图像篡改检测方法
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
Park et al. Double JPEG detection in mixed JPEG quality factors using deep convolutional neural network
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
US20210019872A1 (en) Detecting near-duplicate image
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN110516536A (zh) 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111144314B (zh) 一种篡改人脸视频检测方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
Li et al. Image manipulation localization using attentional cross-domain CNN features
Mazumdar et al. Universal image manipulation detection using deep siamese convolutional neural network
Masood et al. Classification of Deepfake videos using pre-trained convolutional neural networks
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN113553954A (zh) 行为识别模型的训练方法及装置、设备、介质和程序产品
CN114782997A (zh) 基于多损失注意力自适应网络的行人重识别方法及系统
Shah et al. Deep Learning model-based Multimedia forgery detection
CN116994044A (zh) 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法
Zhang et al. Noise and edge based dual branch image manipulation detection
CN117496583B (zh) 一种可学习局部差异的深度伪造人脸检测定位方法
CN118037641A (zh) 基于双流特征提取多尺度图像篡改检测与定位方法
Yao et al. Deep video inpainting detection and localization based on ConvNeXt dual-stream network
Bikku et al. Deep Residual Learning for Unmasking DeepFake
Lu et al. Source camera identification algorithm based on multi-scale feature fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant