CN114202529B - 一种全局特征引导的多任务篡改图像检测方法 - Google Patents
一种全局特征引导的多任务篡改图像检测方法 Download PDFInfo
- Publication number
- CN114202529B CN114202529B CN202111521509.7A CN202111521509A CN114202529B CN 114202529 B CN114202529 B CN 114202529B CN 202111521509 A CN202111521509 A CN 202111521509A CN 114202529 B CN114202529 B CN 114202529B
- Authority
- CN
- China
- Prior art keywords
- image
- area
- global
- feature
- tampered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000008447 perception Effects 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101100001669 Emericella variicolor andD gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种全局特征引导的多任务篡改图像检测方法，涉及图像被动取证领域。针对现有深度学习的篡改图像检测方法中征提取方式感受野有限和任务模式单一的局限性。利用基于Transformer的全局特征提取层学习像素间相关性，为像素提供不同的关注度，使网络更加聚焦拼接痕迹信息；引入自适应融合机制有效避免冗余信息带来的干扰；全局感知模块从整体对篡改区域进行感知；采用多任务架构从全局和局部对拼接特征进行整体感知和细节学习，与任务对应的损失函数也能指导网络优化得到较好的检测效果。本发明能够有效提升篡改图像的检测准确率，多任务输出可使用不同现实场景，具有实用价值。
Description
技术领域
本发明涉及图像取证技术领域，特别是一种全局特征引导的多任务篡改图像检测方法。
背景技术
图像作为信息交流的媒介被广泛应用于各行各业，但图像编辑技术的普及也使得图像篡改操作变得容易。篡改后的图像破坏了图像内容的完整性，若被用于非法用途将对网络空间安全的稳定带来影响。因此，篡改图像检测已成为信息安全领域多媒体取证技术的一个急需解决的问题。篡改图像对自然图像进行编辑，篡改区域来源图像为供体图像，接收篡改区域的图像成为受体图像。根据供体图像和受体图像之间的来源一致性可将篡改图像分为同源篡改图像和异源篡改图像。其中，同源篡改图像中供体和受体图像为同一张图像，例如复制粘贴(copy-move)篡改图像。异源篡改中供体和受体图像非同一张图像，且供体图像可能有多张，例如拼接(splicing)篡改图像。篡改过程会留下固有痕迹，如篡改区域边缘的不连续性以及篡改区域与非篡改区域的不一致性等，可用于检测篡改图像以及定位篡改的区域。现有基于深度学习的篡改图像检测方法利用卷积进行特征提取，感受野受限，难以对伪造区域进行整体感知(Liu B,Pun C M.Exposing splicing forgery inrealistic scenes using deep fusionnetwork[J].In:Information Sciences,2020,526:133-150)。此外，现有方法大多采用物体分割网络定位篡改区域，仅关注预测区域的准确性，任务模式单一(Zhang Y X,Zhang J G,Xu S B.Ahybrid convolutionalarchitecture for accurate image manipulation localization at the pixel-level[J].In:Multimedia Tools and Applications,2021,80:23377–23392)。现有检测方法将不同取证特征进行融合提升检测性能，融合方式较为直接，例如：特征按照元素相加或按照通道堆叠，无法对不同特征自适应分配权重，导致引入过多相关性较弱的特征影响网络学习效果(Bappy J H,Simons C,Nataraj L,et al.Hybrid LSTM and encoder-decoderarchitecture for detection of image forgeries[J].In:IEEE Transactions onImage Processing,2019,28(7):3286–3300；Myung-Joon Kwon,In-Jae Yu,Seung-HunNam,et al.CAT-Net:Compression artifact tracing network for detection andlocalization of image splicing[C].In:IEEE/CVF Winter Conference onApplications of Computer Vision(WACV),2021:375-384)。因此，现有基于深度学习的篡改图像检测方法无法充分提取篡改图像的强相关性痕迹来进行通用检测。
发明内容
本发明的目的在于解决上述局限性，提供一种全局特征引导的多任务篡改图像检测方法法，进一步提高对篡改区域的识别与检测的准确性。
实现本发明目的的技术方案如下：
全局特征引导的多任务篡改图像检测方法，利用基于Transformer的全局特征提取层学习像素间相关性为像素提供不同的关注度，使网络更加聚焦拼接痕迹信息；引入自适应融合机制有效避免冗余信息带来的干扰；全局感知模块从整体对篡改区域进行感知；采用多任务架构从全局和局部对拼接特征进行整体感知和细节学习，与任务对应的损失函数指导网络优化以得到较好的检测效果，包括以下步骤：
步骤1：构造基于Transformer的编码器，利用全局特征提取层得到篡改痕迹的多尺度特征；
步骤2：构造基于高频分量约束的卷积层，获得图像中的高频残差分量；并将其与步骤1所获得的多尺度特征在特征通道方向上进行堆叠；
步骤3：构造基于自适应特征融合模块的解码器Dedge和Darea，分别用于定位篡改边缘和定位篡改区域；
步骤4：构造全局感知模块，对多尺度特征进行维度变化使其维度一致，用于预测篡改区域占比值；
步骤5：将步骤3-4所获结果使用多任务学习方法，同时实现篡改边缘定位、篡改区域定位和篡改区域占比值预测三个任务。
进一步地，步骤1中，预设全局特征提取层的层数为n,提取的具体方法为：
(1)预设滑动窗口的大小
滑动步长
填充大小
使用滑动窗口得到重叠分块，保持块与块之间的局部连续性并获得层次特征图；
(2)预设特征缩放系数
使用自注意力机制计算图像像素之间的相关性系数，为图像全体像素分配权重：
其中，xin、xout分别为该过程的输入和输出，Q、K、V是xin的线性映射，其维度均为
N＝H×W，C为xin的通道数；xin和xout维度相同，均为
xout将作为下一步的输入；
(3)使用前馈模块为编码器提供输入图像分块的相对位置信息：
yout＝yin+MLP(σ(Conv(MLP(yin))))；
其中，
分别表示前馈模块的输入和输出,MLP(·)表示多层感知机，σ(·)为激活函数。Conv(·)为的卷积，提供重叠块位置信息。
进一步地，步骤2中，高频分量约束的卷积层的具体参数为：
进一步地，步骤3中，自适应特征融合模块的具体方法为：
F′h＝Fh+Bh[Ah(Fh)×Al(UP(Fl))]，
F′l＝Fl+Bl[(Ah(Fh)×Al(UP(Fl))]；
其中，Al、Bl、Ah、Bh由3×3的卷积、批处理归一化和修正线性单元组成；
和
为两个尺寸的输入特征，则对应输出特征为
和
UP(·)为上采样，采用双线性插值。
进一步地，步骤4中，全局感知模块的具体方法为：
(1)使用空间金字塔池化将输入特征
调整为维度相同的特征向量
为全局特征提取层的数量，
为调整后的维度；
(2)将f'i按通道方向堆叠，得到多通道特征向量
c为输出特征图f'i的数量；
(3)利用1×1卷积核对f进行降维，其输出结果的维度变为
(4)使用全连接层得到篡改区域占比值的预测结果Pp，Pp∈[0,1]表示预测的伪造区域在整张图像中的面积占比。
进一步地，步骤5中，多任务学习方法的总损失函数为：
其中，
为二分类交叉熵损失函数，
为交并比损失函数，
为SmoothL1损失函数。
和
分别为篡改边缘定位结果、篡改区域定位结果，Pp为篡改区域占比值预测结果。
本发明可从整体对篡改区域占比值进行预测，也可从细节识别篡改区域、篡改边缘，并进行精准分割。本发明旨在利用深度学习技术保障图像内容安全。
相对于现有技术，本发明的有益效果在于：
1.本发明利用Transformer中的自注意力机制学习像素之间的相关性从而为像素分配权重，使得网络能够更好地关注到篡改痕迹而不是图像的视觉特征，有效提取全局特征。
2.自适应融合机制避免了冗余信息，使特征更加精炼，并通过全局感知模块为网络增加整体约束，提升网络对篡改区域的整体感知。
3.与各任务特点对应的损失函数也使得检测网络在训练过程中得到更好的优化，最终使整体收敛到最优结果。
附图说明
图1为本发明方法的流程图。
图2为本发明实施例的网络结构图。
图3为本发明实施例的自适应特征融合模块示意图。
图4为本发明实施例的全局感知模块示意图。
图5为本发明在公开验证实例中与已有方法的实验结果对照表。
图6为本发明实施例的检测效果图。
具体实施方式
下面结合附图和具体实施例，对本发明方法作进一步详述。
结合附图所示，本发明实施例构造了全局特征引导的多任务篡改图像检测网络，其中包括了全局特征提取层、基于高频分量约束的卷积层、自适应特征融合模块以及全局感知模块，构成了整个多任务学习框架。本发明全局特征引导的多任务篡改图像检测方法具体工作流程如下。
步骤1，构造基于Transformer的编码器，其中包括多个全局特征提取层(GlobalFeature Extraction,GFE)。预设GFE层的数量n。因此多个GFE层将得到多个尺度大小的特征图
其中H和W分别为输入图像I的长度和宽度。
全局特征提取层具体步骤为：1)预设滑动窗口的大小
滑动步长
填充大小
使用滑动窗口得到重叠分块，保持块与块之间的局部连续性并获得层次特征图。2)再使用自注意力机制计算图像像素之间的相关性系数，为图像全体像素分配差异化权重，提升网络对篡改痕迹感知程度：
其中，xin、xout分别为该过程的输入和输出，Q、K、V是xin的线性映射，其维度均为
N＝H×W，C为xin的通道数。xin和xout维度相同，均为
xout将作为下一步的输入。
3)使用前馈模块为编码器提供输入图像分块的相对位置信息：
yout＝yin+MLP(σ(Conv(MLP(yin))))
其中，
分别表示前馈模块的输入和输出,MLP(·)表示多层感知机，σ(·)为激活函数。Conv(·)为的卷积，提供重叠块位置信息。
步骤2，构造基于高频分量约束的卷积层，获得图像中的高频残差分量。并采样至
将Ni和尺寸对应的Fi堆叠后输入解码器进行特征表达。
步骤3，构造基于自适应特征融合模块的解码器Dedge和Darea，分别用于定位篡改边缘和定位篡改区域。预设单个解码器中自适应特征融合模块的个数m。Dedge结合上采样操作步骤1和步骤2中提取的特征进行多尺度的融合并按篡改边缘任务模式对特征进行解码。Darea结合Dedge输出的多尺度特征进行融合并按篡改区域任务模式对特征进行解码。
单个自适应特征融合模块的输入为两个尺寸的特征，记为低维和高维特征，分别表示为
和
则对应输出特征为
和
Dedge和Darea均由多个自适应特征融合模块和上采样组合而成。由于Fl和Fh尺寸不同，因此在进行特征融合前需将Fl上采样至与Fh尺寸一致，即UP(Fl),UP(·)为上采样过程。F'l和F'h可表示如下：
F′h＝Fh+Bh[Ah(Fh)×Al(UP(Fl))]，
F′l＝Fl+Bl[Ah(Fh)×Al(UP(Fl))]；
其中，Al、Bl、Ah、Bh由3×3的卷积、批处理归一化和修正线性单元组成。
步骤4，构造全局感知模块，对多尺度特征进行维度变化使其维度一致，再得到篡改区域占比值预测结果。具体步骤为：1)对于解码器网络Darea不同网络层的输出特征图
利用空间金字塔池化调整为维度相同的特征向量
为调整后的维度。2)接着按照通道方向进行堆叠，得到多通道特征向量
c为输出特征图f'i的数量。3)再利用1×1卷积核对f进行降维，其输出结果的维度变为
4)将降维后的特征输入全连接层得到篡改区域占比值的预测结果Pp，Pp∈[0,1]表示预测的伪造区域在整张图像中的面积占比。
步骤5，使用多任务学习方法，同时实现篡改边缘定位、篡改区域定位和篡改区域占比值预测三个任务。其中步骤3中的Dedge和Darea为像素级任务，预测结果分别为
和
步骤4中的全局感知模块为图像级子任务，预测结果为Pp，使编码器和解码器既能关注局部伪造边缘的不连续性，又能感知全局中伪造区域和非伪造区域的不一致性。在网络优化过程中，针对三个任务的特点使用对应的损失函数计算预测误差，该误差将作为参数通过反向传播逐步调整网络各部分的参数，使得网络收敛达到最小化误差的目标。所述网络最终的损失函数如下式所示：
其中，
为二分类交叉熵损失函数，
为交并比损失函数，
为SmoothL1损失函数。
图2给出了本发明在n＝4(n为编码器中全局特征提取层的层数)实施方式下的具体网络结构图。
本实施例包括以下步骤：
S1：构造基于Transformer的编码器，如图2中的虚线框1所示，预设全局特征提取层的数量n，对编码器中所有参数进行随机初始化。输入待测图像I得到对应数量的
其中H和W分别为输入图像I的长度和宽度。
全局特征提取层具体步骤为：
S1.1：预设滑动窗口的大小k×k，滑动步长s、填充大小p。使用滑动窗口得到输入的重叠分块，保留块与块之间的相关性。步骤S1.1的输出将作为S1.2的输入。
S1.2：预设特征缩放系数dhead。对输入xin进行三个不同的线性变化，得到对应子空间下的特征表达Q、K、V，其维度均为
N＝H×W，C为xin的通道数。使用自注意力机制计算图像像素之间的相关性系数，为图像全体像素分配差异化权重，提升网络对篡改痕迹感知程度：
其中Softmax(·)为归一化指数函数，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，从而为每个像素分配对应权重。
S1.3：预设前馈模块中卷积核大小为s×s。使用卷积提供重叠块的位置信息：
yout＝yin+MLP(σ(Conv(MLP(yin))))
其中，yin、yout分别表示前馈模块的输入和输出,MLP(·)表示多层感知机，σ(·)为激活函数。本实施例中σ(·)为高斯误差线性单元。
S2：构造基于高频分量约束的卷积层，获得图像中的高频残差分量，预设高频分量约束的参数为：
对得到的高频残差分量Ni采样至与对应Fi尺寸一致，此时
将Ni和尺寸对应的Fi堆叠后输入解码器进行特征表达。
S3：预设单个解码器中自适应特征融合模块的个数m，构造基于自适应特征融合模块的解码器Dedge和Darea，分别用于定位篡改边缘和定位篡改区域，如图2中的虚线框2和虚线框3所示。Darea的输出
将作为S4的输入。
如图3所示，自适应特征融合模块的具体步骤为：
S3.1：输入为两个尺寸的特征，分别表示为Fl和Fh，则对应输出特征为F'l和F'h，Fl和Fh尺寸不同，将Fl上采样至与Fh尺寸一致，即UP(Fl),UP(·)为上采样过程。本实施例中上采样为双线性插值。
S3.2：将特征Fh和UP(Fl)进行融合，首先分别经过Ah和Al进行特征粗提取，再按元素相乘得到特征中相似的部分后分别经过Bh和Bl进行特征精炼，再通过残差连接的方式与原始特征相加：
F′h＝Fh+Bh[Ah(Fh)×Al(UP(Fl))]，
F′l＝Fl+Bl[Ah(Fh)×Al(UP(Fl))]；
其中，Al、Bl、Ah、Bh由3×3的卷积、批处理归一化和修正线性单元组成。
S4：构造全局感知模块，如图2中的虚线框4所示。预设输出特征图fi的数量c和维度j。对多尺度特征进行维度变化使其维度一致，按通道进行堆叠得到多个特征表达，再使用卷积进行降维，最后使用全连接层的激活函数得到篡改区域占比值预测结果。
如图4所示，全局感知模块的具体步骤为：
S4.1：解码器网络Darea不同网络层的输出特征图
利用空间金字塔池化调整为维度相同的特征向量
S4.2：按照通道方向进行拼接，得到多通道特征向量
c为输出特征图fi的数量。
S4.3：利用1×1卷积核对f进行降维，其输出结果的维度变为
将降维后的特征输入全连接层得到篡改区域占比值的预测结果Pp，Pp∈[0,1]表示预测的伪造区域在整张图像中的面积占比。
S5：采用多任务的学习方式同时实现篡改边缘预测、篡改区域预测和篡改区域占比值预测。根据任务特点采用了不同的损失函数共同指导网络进行优化。其中篡改边缘预测任务使用二分类交叉熵损失函数，篡改区域预测任务使用二分类交叉熵损失函数和交并比损失函数，篡改区域占比值预测任务使用SmoothL1损失函数。所述网络最终的损失函数如下式所示：
其中，
为二分类交叉熵损失函数，来衡量预测篡改区域与实际篡改区域之间的误差。
为交并比损失函数，使网络关注篡改区域而不是单一像素点，在样本类别不平衡状态下也有着良好的表现。
为SmoothL1损失函数，表示预测篡改区域占比值与实际占比值之间的绝对值误差。多任务架构从全局和局部对篡改特征进行整体感知和细节学习。
本实施例中，全局特征提取层的数量n设为4，滑动窗口的大小k为7，滑动步长s为4、填充大小p为3，特征缩放系数dhead为64，前馈模块中卷积核大小为s为3，自适应特征融合模块的个数m为4，f'i的数量c为4，调整后的维度ni为30。
本实施例采用召回率(Recall)作为评价指标：
其中，TP表示检测正确的拼接区域像素数量，FN表示检测错误的篡改区域像素数量。
图5为本发明在公开验证实例中与已有方法的实验结果比较。结果表明：本发明所提出的方法在CASIA V2.0和Columbia两个公开数据集上都有着良好的表现。相较于对比算法具有较好的检测效果。
图6为本发明的验证实例在不同数据集上的检测效果图，具体显示了本发明提出方法的检测和分割效果。
Claims (6)
1.一种全局特征引导的多任务篡改图像检测方法，其特征在于，利用基于Transformer的全局特征提取层学习像素间相关性为像素提供不同的关注度，使网络更加聚焦拼接痕迹信息；引入自适应融合机制有效避免冗余信息带来的干扰；全局感知模块从整体对篡改区域进行感知；采用多任务架构从全局和局部对拼接特征进行整体感知和细节学习，与任务对应的损失函数指导网络优化以得到较好的检测效果，包括以下步骤：
步骤1：构造基于Transformer的编码器，利用全局特征提取层得到篡改痕迹的多尺度特征；
步骤2：构造基于高频分量约束的卷积层，获得图像中的高频残差分量；并将其与步骤1所获得的多尺度特征在特征通道方向上进行堆叠；
步骤3：构造基于自适应特征融合模块的解码器Dedge和Darea，分别用于定位篡改边缘和定位篡改区域；
步骤4：构造全局感知模块，对多尺度特征进行维度变化使其维度一致，用于预测篡改区域占比值；
步骤5：将步骤3-4所获结果使用多任务学习方法，同时实现篡改边缘定位、篡改区域定位和篡改区域占比值预测三个任务；
步骤1中，预设全局特征提取层的层数为n,提取的具体方法为：
(1)预设滑动窗口的大小
滑动步长
填充大小
使用滑动窗口得到重叠分块，保持块与块之间的局部连续性并获得层次特征图；
(2)预设特征缩放系数
使用自注意力机制计算图像像素之间的相关性系数，为图像全体像素分配权重：
其中，xin、xout分别为该过程的输入和输出，Q、K、V是xin的线性映射，其维度均为
N＝H×W，C为xin的通道数，H和W分别为图像的长和宽；xin和xout维度相同，均为
xout将作为下一步的输入；
(3)使用前馈模块为编码器提供输入图像分块的相对位置信息：
yout＝yin+MLP(σ(Conv(MLP(yin))))；
其中，
分别表示前馈模块的输入和输出,MLP(·)表示多层感知机，σ(·)为激活函数；Conv(·)为卷积，提供重叠块位置信息；
步骤4中，全局感知模块的具体方法为：
(1)使用空间金字塔池化将输入特征
调整为维度相同的特征向量
为全局特征提取层的数量，
为调整后的维度；
(2)将f′i按通道方向堆叠，得到多通道特征向量
为输出特征图f′i的数量；
(3)利用1×1卷积核对f进行降维，其输出结果的维度变为
(4)使用全连接层得到篡改区域占比值的预测结果Pp，Pp∈[0，1]表示预测的伪造区域在整张图像中的面积占比。
2.如权利要求1所述的一种全局特征引导的多任务篡改图像检测方法，其特征在于，步骤2中，高频分量约束的卷积层的具体参数为：
3.如权利要求1所述的一种全局特征引导的多任务篡改图像检测方法，其特征在于，步骤3中，自适应特征融合模块的具体方法为：
F′h＝Fh+Bh[Ah(Fh)×Al(UP(Fl))]，
F′l＝Fl+Bl[Ah(Fh)×Al(UP(Fl))]；
其中，Al、Bl、Ah、Bh由3×3的卷积、批处理归一化和修正线性单元组成；
和
为两个尺寸的输入特征，则对应输出特征为
和
UP(·)为上采样，采用双线性插值。
4.如权利要求1所述的一种全局特征引导的多任务篡改图像检测方法，其特征在于，步骤5中，多任务学习方法的总损失函数为：
其中，
为二分类交叉熵损失函数，
为交并比损失函数，
为SmoothL1损失函数，
和
分别为篡改边缘定位结果、篡改区域定位结果，Pp为篡改区域占比值预测结果。
5.如权利要求1所述的一种全局特征引导的多任务篡改图像检测方法，其特征在于，全局特征提取层的数量n设为4，滑动窗口的大小k为7，滑动步长s为4、填充大小p为3，特征缩放系数dhead为64。
6.如权利要求1所述的一种全局特征引导的多任务篡改图像检测方法，其特征在于，所述全局感知模块调整后的维度ni为30。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111521509.7A CN114202529B (zh) | 2021-12-14 | 2021-12-14 | 一种全局特征引导的多任务篡改图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111521509.7A CN114202529B (zh) | 2021-12-14 | 2021-12-14 | 一种全局特征引导的多任务篡改图像检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114202529A CN114202529A (zh) | 2022-03-18 |
| CN114202529B true CN114202529B (zh) | 2023-04-25 |
Family
ID=80653172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111521509.7A Active CN114202529B (zh) | 2021-12-14 | 2021-12-14 | 一种全局特征引导的多任务篡改图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114202529B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612693B (zh) * | 2022-03-21 | 2024-08-02 | 华南理工大学 | 基于编解码网络的图像拼接伪造定位方法 |
| CN114677670B (zh) * | 2022-03-30 | 2024-04-26 | 康旭科技有限公司 | 一种身份证篡改自动识别与定位的方法 |
| CN116091907B (zh) * | 2023-04-12 | 2023-08-15 | 四川大学 | 一种基于非互斥三元对比学习的图像篡改定位模型及方法 |
| CN116740015A (zh) * | 2023-06-12 | 2023-09-12 | 北京长木谷医疗科技股份有限公司 | 基于深度学习的医学图像智能检测方法、装置及电子设备 |
| CN116664880B (zh) * | 2023-07-31 | 2023-11-28 | 南昌大学 | 深度伪造反取证图像的生成方法 |
| CN117237787B (zh) * | 2023-11-14 | 2024-02-06 | 南京信息工程大学 | 一种基于双层强化网络的被动篡改检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349136A (zh) * | 2019-06-28 | 2019-10-18 | 厦门大学 | 一种基于深度学习的篡改图像检测方法 |
| CN111832508A (zh) * | 2020-07-21 | 2020-10-27 | 桂林电子科技大学 | 基于die_ga的低照度目标检测方法 |
| US11074711B1 (en) * | 2018-06-15 | 2021-07-27 | Bertec Corporation | System for estimating a pose of one or more persons in a scene |
| CN114663670A (zh) * | 2022-03-25 | 2022-06-24 | 腾讯科技（上海）有限公司 | 一种图像检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-14 CN CN202111521509.7A patent/CN114202529B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11074711B1 (en) * | 2018-06-15 | 2021-07-27 | Bertec Corporation | System for estimating a pose of one or more persons in a scene |
| CN110349136A (zh) * | 2019-06-28 | 2019-10-18 | 厦门大学 | 一种基于深度学习的篡改图像检测方法 |
| CN111832508A (zh) * | 2020-07-21 | 2020-10-27 | 桂林电子科技大学 | 基于die_ga的低照度目标检测方法 |
| CN114663670A (zh) * | 2022-03-25 | 2022-06-24 | 腾讯科技（上海）有限公司 | 一种图像检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Weichuang Li 等.Detection of GAN-Generated Images by Estimating Artifact Similarity.IEEE Signal Processing Letters .2021,862 - 866. * |
| Xun Lin 等.Image manipulation detection by multiple tampering traces and edge artifact enhancement.Pattern Recognition.2022,全文. * |
| 何沛松.基于重编码痕迹的数字视频被动取证算法研究.中国博士学位论文全文数据库 (信息科技辑).2020,I136-64. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114202529A (zh) | 2022-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114202529B (zh) | 一种全局特征引导的多任务篡改图像检测方法 | |
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN112200161B (zh) | 一种基于混合注意力机制的人脸识别检测方法 | |
| CN110706302A (zh) | 一种文本合成图像的系统及方法 | |
| CN110705457A (zh) | 一种遥感影像建筑物变化检测方法 | |
| CN111914838B (zh) | 一种基于文本行识别的车牌识别方法 | |
| CN113642604A (zh) | 一种基于云边协同的音视频辅助触觉信号重建方法 | |
| CN117274608B (zh) | 基于空间细节感知和注意力引导的遥感图像语义分割方法 | |
| CN115311720B (zh) | 一种基于Transformer的deepfake生成方法 | |
| Yang et al. | Convolutional neural network for smooth filtering detection | |
| CN116051840A (zh) | 一种基于生成对抗学习的半监督水下图像语义分割方法 | |
| CN104484886A (zh) | 一种mr图像的分割方法及装置 | |
| CN109492610B (zh) | 一种行人重识别方法、装置及可读存储介质 | |
| CN115953582B (zh) | 一种图像语义分割方法及系统 | |
| CN110490189A (zh) | 一种基于双向消息链路卷积网络的显著性物体的检测方法 | |
| CN113487530A (zh) | 一种基于深度学习的红外与可见光融合成像方法 | |
| CN115909280A (zh) | 基于多头注意力机制的交通标志识别算法 | |
| CN117314938B (zh) | 一种基于多尺度特征融合译码的图像分割方法及装置 | |
| Lian et al. | Multitask learning for image translation and salient object detection from multimodal remote sensing images | |
| Dong et al. | Intelligent pixel-level pavement marking detection using 2D laser pavement images | |
| CN117689932A (zh) | 一种基于改进YOLOv7的InSAR大气相位和地表形变的检测方法、装置及计算机存储介质 | |
| CN112052863A (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN108416756B (zh) | 一种基于机器学习的区域感知图像去噪方法 | |
| Ganeriwala et al. | Cross dataset analysis and network architecture repair for autonomous car lane detection | |
| Avola et al. | Real-Time GAN-Based Model for Underwater Image Enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Hongxia Inventor after: Zhang Jingyuan Inventor after: He Peisong Inventor before: Wang Hongxia Inventor before: Zhang Jingyuan Inventor before: He Peisong |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |