CN116778307B - 一种基于不确定性引导的图像篡改检测方法 - Google Patents

一种基于不确定性引导的图像篡改检测方法 Download PDF

Info

Publication number
CN116778307B
CN116778307B CN202311040516.4A CN202311040516A CN116778307B CN 116778307 B CN116778307 B CN 116778307B CN 202311040516 A CN202311040516 A CN 202311040516A CN 116778307 B CN116778307 B CN 116778307B
Authority
CN
China
Prior art keywords
uncertainty
graph
convolution
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311040516.4A
Other languages
English (en)
Other versions
CN116778307A (zh
Inventor
王帅
林讯
汪浩然
徐子航
谢浩志
寇书瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202311040516.4A priority Critical patent/CN116778307B/zh
Publication of CN116778307A publication Critical patent/CN116778307A/zh
Application granted granted Critical
Publication of CN116778307B publication Critical patent/CN116778307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像篡改检测领域，提出了一种基于不确定性引导的图像篡改检测方法。该检测方法基于不确定性学习引导的图像篡改检测网络，在不确定性的指导下，可以专注于细化受图像固有噪声和压缩伪影等影响的低置信度区域，并且当面对未学习的操作技术或后处理方法时，通过使得高置信度图像块引导低置信度图像块进行篡改特征学习，从而挖掘篡改区域和真实区域之间的差异。

Description

一种基于不确定性引导的图像篡改检测方法
技术领域
本发明涉及图像篡改检测领域，尤其涉及一种基于不确定性引导的图像篡改检测方法。
背景技术
由于图像编辑技术以及智能篡改工具的发展，人们可以很方便得伪造出大量逼真的虚假图片。从而产生不同乃至相反的图像语义，对个人隐私保护、信息安全带来极大的挑战。
早期的图像篡改检测方法均基于手工特征，如色彩滤波数组（Color FilterArray, CFA）、噪声不一致性（NOise Inconsistency, NOI）、在离散余弦变换（DiscreteCosine Transform, DCT）系数中所隐藏的二次量化细节、错误等级分析（Error LevelAnalysis, ELA）。由于这些方法过分依赖与先验知识，基于这些手工特征的算法往往具有较低的准确性、鲁棒性和泛化性，且这些方法无法应对在不断升级迭代的图像篡改技术。
近年，许多基于深度学习的方法，尤其是基于卷积神经网络的方法被提出，这些方法可以准确地以像素级检测被篡改的图片。但是，绝大多数方法致力于检测特定类型的篡改方法，如拼接、复制移动、去除等。为了设计出可以处理多种篡改类型的像素级检测方法，许多研究者设计了基于深度学习的模型。大多数深度学习方法使用卷积神经网络（CNN）、长-短期记忆模块（LSTM）或注意力模块来挖掘隐藏在图像中的篡改痕迹。
目前使用的基于深度学习的常见图像篡改检测算法普遍存在以下缺点：
（1）鲁棒性不足：图像的篡改区域往往与其他区域具有较高的不一致性，且边缘会具有大量的伪影，现有方法普遍通过捕捉边缘伪影来定位篡改的区域。但是当图像遭到精细的后处理攻击后，边缘伪影将会被很大程度得减弱，导致边缘伪影检测分支几乎失效，无法区分正常物体边缘和篡改区域的伪影。
（2）应对未知的能力不足：现有方法在跨篡改方式检测、跨数据集检测上不具备高准确性。当现有方法在应对未学习过的篡改手段、后处理手段或者数据分布时，由于未针对相应手段的伪影表现形式、噪声分布特点、语义对象属性进行学习，易产生误判和不完整的区域检测结果，甚至在预测错误的区域上给出高置信度的检测结果。
发明内容
针对现有技术中的不足，本发明引入不确定性估计方法，研究不确定性引导的图像篡改检测。本发明设计了一个不确定性学习引导的图像篡改检测网络（UGNet），在此基础上，提出了一种基于不确定性引导的图像篡改检测方法，该方法在不确定性的指导下，可以专注于细化受图像固有噪声和压缩伪影等影响的低置信度区域，并且当面对未学习的操作技术或后处理方法时，通过使得高置信度图像块引导低置信度图像块进行篡改特征学习，从而挖掘篡改区域和真实区域之间的差异。
本发明的技术方案具体如下：
一种基于不确定性引导的图像篡改检测方法，其特征在于，包括以下步骤：
S1，搭建图像篡改检测网络，所述图像篡改检测网络包括不确定性估计网络和不确定性引导的精修网络，所述不确定性估计网络包括集成四个MC Dropout块的第一卷积编码器-解码器主干网络，所述不确定性引导的精修网络包括第二卷积编码器-解码器主干网络、不确定性引导图卷积模块和不确定性增强篡改注意力模块；
S2，将待检测图像输入图像篡改检测网络，利用集成四个MC Dropout块的第一卷积编码器-解码器主干网络预测得到篡改区域的粗略掩码，并估计出不确定性图；
S3，利用所述不确定性引导图卷积模块，将粗略掩码、不确定性图和待检测图像整合为有向带权图，之后经过图卷积和图回构，得到特征权重矩阵；
S4，利用所述不确定性增强篡改注意力模块，从不确定性图中提取噪声特征，使用交叉注意力机制令噪声特征与不确定性图相互补充得到亲和矩阵，最后经过三个级联的卷积模块对亲和矩阵进行整合得到输出，并利用该输出计算增强不确定性的二元交叉熵损失函数；
S5，将待检测图像输入第二卷积编码器-解码器主干网络，使用S3得到的特征权重矩阵与S4得到的二元交叉熵损失函数进行不确定性引导，最终得到精修的检测结果。
优选的，所述集成四个MC Dropout块的第一卷积编码器-解码器主干网络包括编码器模块和解码器模块，编码器模块用于提取篡改特征，解码器模块负责整合篡改特征，进行像素级篡改检测；其中，编码器模块包括四个串联的ResNet编码器，每个ResNet编码器后均设置有MC Dropout块，解码器模块包括四个串联的上采样解码器，每个上采样解码器后均设置有MC Dropout块，上采样解码器与ResNet编码器一一对应，且进行跳跃连接；所述第二卷积编码器-解码器主干网络包括编码器模块和解码器模块；其中，编码器模块包括四个串联的ResNet编码器，解码器模块包括四个串联的上采样解码器，上采样解码器与ResNet编码器一一对应，且进行跳跃连接。
优选的，所述S3，所述不确定性引导图卷积模块的处理流程为：
S301，将不确定性图、粗略掩码、待检测图像整合，转化为有向带权图；
S302，使用密集模块提升有向带权图中各个节点的特征数；
S303，使用级联的三个图卷积层促使节点间的信息交互与指导；
S304，将各个节点的特征进行整合压缩，转化为特征图权重，与第二卷积编码器-解码器主干网络的输入特征图进行点积和叠加，得到特征权重矩阵，跳跃连接到第二卷积编码器-解码器主干网络的解码器模块。
优选的，所述S301中转化为有向带权图时，只允许低不确定性节点向相邻的高不确定性节点连边，节点i和节点j所连有向边的计算公式为：
其中U i和U j分别代表第 i 个节点和第j个节点所指示的图像块的像素平均不确定性，第i个节点 与第 j个节点是相邻的节点，为有向带权图邻接矩阵第 i 行第 j 列的元素，/>为空集，即第i个节点和第j个节点之间不存在有向边。
优选的，升有向带权图中各个节点的特征数，使得每个节点都含有五个特征：红色通道特征、绿色通道特征/>、蓝色通道特征/>、不确定性特征U i、粗略掩码特征C i。
优选的，所述S303中图卷积层的计算公式为
其中，是图卷积网络第l个隐藏层的输入特征矩阵，/>是图卷积网络第l+1个隐藏层的输入特征矩阵，/>，A是有向带权图的邻接矩阵，/>是/>的对角度矩阵，是可学习的权重矩阵。
优选的，所述所述S302中的密集模块用于改变节点的特征维度：
其中，是可学习的偏置矩阵，/>表示批归一化函数。
优选的，所述S4，不确定性增强篡改注意力模块的处理流程为：
S401，采用 Bayar 卷积，从输入的不确定性图中提取噪声特征；
S402，使用交叉注意力机制将噪声特征与不确定性图进行互相补充，得到噪声特征与不确定性图之间的亲和矩阵；
S403，利用一个大小为3×3的卷积核对亲和矩阵进行卷积计算，并输出计算结果；
S404，将S403得到的计算结果、不确定性图和噪声特征进行拼接，之后经过两层大小为3×3卷积核的卷积计算，得到交叉篡改注意值；
S405，利用交叉篡改注意值，计算得到增强不确定性的二元交叉熵损失函数。
优选的，所述S401中采用Bayar卷积提取噪声特征的公式为：
其中，是输入的不确定性图，/>表示Bayar卷积计算函数，/>是输出的噪声特征；
采用的Bayar卷积计算具有以下约束：
其中，是Bayar卷积层第/>个核的权重，/>是卷积核的边长。
优选的，所述S402中使用交叉注意力机制计算亲和矩阵的公式为
其中，分别代表不确定性增强篡改注意力模块的query、key和value，/>代表维数，/>代表SoftMax函数，/>是亲和矩阵。
优选的，所述S403中对亲和矩阵进行卷积计算的公式为
其中，代表核大小为3×3的卷积运算，/>表示卷积输出的结果。
优选的，所述S404中交叉篡改注意值的计算公式为
其中，代表矩阵的拼接操作，/>代表输出的交叉篡改注意值。
优选的，所述S405中的二元交叉熵损失函数为
其中是待检测图像的高度，/>是待检测图像的宽度，/>代表不确定性增强篡改注意力模块的输出，/>代表第i个像素的不确定值，/>代表待检测图像第i个像素的像素值，/>代表待检测图像的标注结果，是一个二元值，表示是否篡改。
相比于现有技术，本发明具有以下有益效果：
（1）本发明构建了一种用于图像处理检测的不确定性引导的两阶段网络(UGNet)，并基于此，提出了一种基于不确定性引导的图像篡改检测方法。在不确定性图的指导下，两阶段网络可以细化预测不完整的篡改区域区域，并消除由固有噪声、压缩伪影、未学习的篡改技术或未知的后处理方法引起的误检。
（2）本发明提出的一种基于不确定性引导的图像篡改检测方法，采用不确定性增强的篡改注意力（UEMA）模块，可以更好地整合信息不确定性图；采用交叉注意力机制和不确定性增强的二元交叉熵损失，引导不确定性图和篡改特征之间的交互，实现对不确定区域的精细检测。
（3）本发明提出的一种基于不确定性引导的图像篡改检测方法，采用不确定性引导图卷积模块(UGGC)，将特征图转换为不确定性图，并利用图卷积网络，使高置信度区域能够引导低置信度区域的学习，可以有效地挖掘由篡改手段产生的各种不一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图可以更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
图1 为本发明的一种基于不确定性引导的图像篡改检测方法的流程图；
图2 为本发明的一种基于不确定性引导的图像篡改检测方法中使用的ResNet 编码器与上采样解码器示意图；
图3 为本发明一种基于不确定性引导的图像篡改检测方法中使用的不确定性引导图卷积模块和不确定性增强篡改注意力模块示意图；
图4 为本发明的不确定性学习引导的图像篡改检测网络的模块框架图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本发明构建了不确定性学习引导的图像篡改检测网络（UGNet），该图像篡改检测网络包含不确定性估计网络和不确定性引导的精修网络。其中，不确定性引导的精修网络中包含了不确定性引导图卷积模块和不确定性增强篡改注意力模块。
本发明提出的一种基于不确定性引导的图像篡改检测方法包括两个阶段：不确定性估计和掩码精修。第一阶段预测出篡改区域的粗略掩码，并估计出不确定性图。第二阶段在粗略掩码的基础上，使用不确定性图来引导网络对粗略掩码进行细化，以提升检测性能。下面将详细介绍两阶段的网络结构及检测流程，如图1所示。
（1）不确定性估计网络：包括编码器模块和解码器模块，两模块均基于卷积神经网络，其中，编码器模块用于提取篡改特征，如隐藏在图像中的视觉伪影等，而解码器模块负责整合编码器提取的特征，用于进行像素级篡改检测。如图 2中左侧所示，编码器模块中 4个ResNet编码器串联在一起，每个ResNet编码器会将特征图的分辨率降低至1/2，每个ResNet编码器后都会配有一个MC Dropout块用于不确定性的估算。解码器模块的结构如图2中右侧所示，每个上采样解码器均与相应的ResNet编码器的输出有跳跃连接，以此来整合低级特征和高级特征。上采样解码器通过双线性上采样来将特征图的尺度翻倍，然后两个基连的卷积组和1个残差卷积组被用来恢复篡改特征，聚合特征图。最后一个上采样解码器输出的特征图会被输入到1×1卷积中来得到最终的篡改区域预测结果。采用MCD（MonteCarlo Dropout）来估算检测结果的不确定性。MCD可以从网络的先验分布中进行采样，将MCD放置于每个ResNet编码器和上采样解码器之后，来估计各个模块权重的先验分布，然后在模型验证时，从先验分布中进行多次采样。将采样结果的均值作为粗略掩码，方差可以代表检测的不确定性，粗略掩码受到在真实篡改区域标签和二进制交叉熵函数的监督。
（2）不确定性引导的精修网络：为了将不确定性估计网络生成的粗略掩码进一步精细化，通过不确定性引导的精修网络来在不确定性图的引导下修正错误检测的像素。不确定性引导的精修网络包括第二卷积编码器-解码器主干网络、不确定性引导图卷积模块和不确定性增强篡改注意力模块。不确定性引导的精修网络的主干网络不含有MCD，主干网络输出的精细掩码也受到真实篡改区域标签和二进制交叉熵函数的监督。不确定性引导的精修网络通过整合不确定性信息来提升模型的检测性能，包括不确定图引导图卷积模块和不确定性增强篡改注意力模块，这两个模块借助不确定性可以学习具有鉴别能力篡改特征。
（a）不确定图引导的图卷积模块（UGGC）。不确定图引导的图卷积模块将不确定性图转化为有向带权图的结构，促使各个节点在不确定性的引导下学习各种不一致性。不确定图引导的图卷积模块中的处理流程为：首先将不确定性图、粗略掩码、待检测图像的原始图像整合，转化为有向带权图，然后使用密集模块提升图中各个节点的特征数，接下来使用级联的 3个图卷积层促使节点间的信息交互与指导，下一步将图中节点的特征进行整合压缩，最后转化为特征图权重，与第二卷积编码器-解码器主干网络的输入特征图相乘后并叠加，形成更具有鉴别能力的特征图。
不确定性引导的有向带权图构建过程如图 3中左侧所示，该有向带权图可以表示为，其中N是图的节点集合、F是节点特征集合、A是图的邻接矩阵即边的集合。为了保证计算效率，防止节点之间的误指导，只允许低不确定性节点向相邻的高不确定性节点连边，节点i和节点j所连有向边的计算公式为：
其中U i代表第i个节点所指示的图像块的像素平均不确定性，第i个节点与第j个节点是相邻的节点。使用 sigmoid 函数来将U i和U j映射到(0, 1)之间，为有向带权图邻接矩阵第i行第j列的元素，/>为空集，即第i个节点和第j个节点之间不存在有向边。经过不确定性图转化后，每个节点都含有 5 个特征，分别是红色通道特征/>、绿色通道特征/>、蓝色通道特征/>、不确定性特征U i、粗略掩码特征C i，/>为第i个节点的特征矩阵。
在经过不确定性引导的图转化后，使用不确定性引导的图卷积来引导图中的几点进行信息交互、引导学习。这部分包括了三个图卷积层和两个密集模块。图卷积层的计算公式为：
其中，是图卷积网络第l个隐藏层的输入特征矩阵，/>是图的邻接矩阵添加了图/>的自环，/>是/>的对角度矩阵，/>是可学习的权重矩阵。
密集模块的作用是改变节点的特征维度，可以公式化为：
其中是可学习的偏置矩阵，/>表示批归一化函数。在执行完最后一个密集模块之后，每一个节点都具有一个特征值，代表响应图像块中含有篡改像素的置信度，使用图回构操作，将有向带权图转化回32×32的特征图，然后输入1×1卷积层中进行维度扩展，最后与输入特征进行点积和叠加，跳跃连接到到解码器模块中。
（b）不确定性增强篡改注意力模块（UEMA）。该不确定性增强篡改注意力模块旨在建立不确定性信息和篡改特征之间的空间关系，并引导网络精修具有高不确定性的区域。不确定性增强篡改注意力模块的结构如图 3中右侧所示，通过采用 Bayar 卷积，可以从输入特征图中提取噪声特征，来揭示来自异源噪声的局部不一致性。然后使用交叉注意力机制将噪声特征与不确定性引导的特征图进行互相补充，使用丰富的篡改特征精修高不确定性区域。最后，利用三个级联的3×3卷积来对篡改特征图进行整合。
具体来说，Bayar卷积提取噪声特征的公式为：
其中，是输入的不确定性图，/>表示Bayar卷积计算函数，/>是输出的噪声特征。为了获取互补篡改特征并抑制语义信息，选取的Bayar卷积应该满足如下约束：
其中，是Bayar卷积层第/>个核的权重，/>是卷积核的边长。
之后，利用交叉注意力机制令噪声特征与不确定性引导的特征图进行互相补充，增强交叉篡改痕迹。首先计算亲和矩阵的公式为
其中，分别代表不确定性增强篡改注意力模块的query、key和value，/>代表维数，/>代表SoftMax函数，/>是亲和矩阵。之后对亲和矩阵进行卷积计算：
其中，代表核大小为3×3的卷积运算。最后将输出的/>、输入的不确定性图/>和噪声特征/>进行拼接，得到交叉篡改注意值
其中，代表矩阵的拼接操作。
另外，该模块的输出会通过一个1×1的卷积生成小尺度的篡改检测掩码，并受到缩小后的真实篡改区域掩码的监督，为了让模型更好地关注不确定的区域，提出了不确定性增强的二元交叉熵损失函数来对小尺度掩码进行梯度回传。
其中是待检测图像的高度，/>是待检测图像的宽度，/>代表不确定性增强篡改注意力模块的输出，/>代表第i个像素的不确定值，/>代表待检测图像第i个像素的像素值，/>代表待检测图像的标注结果，是一个二元值，表示是否篡改。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、 “上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于不确定性引导的图像篡改检测方法，其特征在于，包括以下步骤：
S1，搭建图像篡改检测网络，所述图像篡改检测网络包括不确定性估计网络和不确定性引导的精修网络，所述不确定性估计网络包括集成四个MC Dropout块的第一卷积编码器-解码器主干网络，所述不确定性引导的精修网络包括第二卷积编码器-解码器主干网络、不确定性引导图卷积模块和不确定性增强篡改注意力模块；
S2，将待检测图像输入图像篡改检测网络，利用集成四个MC Dropout块的第一卷积编码器-解码器主干网络预测得到篡改区域的粗略掩码，并估计出不确定性图；
S3，利用所述不确定性引导图卷积模块，将粗略掩码、不确定性图和待检测图像整合为有向带权图，之后经过图卷积和图回构，得到特征权重矩阵；
S4，利用所述不确定性增强篡改注意力模块，从不确定性图中提取噪声特征，使用交叉注意力机制令噪声特征与不确定性图相互补充得到亲和矩阵，最后经过三个级联的卷积模块对亲和矩阵进行整合得到输出，并利用该输出计算增强不确定性的二元交叉熵损失函数；
S5，将待检测图像输入第二卷积编码器-解码器主干网络，使用S3得到的特征权重矩阵与S4得到的二元交叉熵损失函数进行不确定性引导，最终得到精修的检测结果；
所述S3，所述不确定性引导图卷积模块的处理流程为：
S301，将不确定性图、粗略掩码、待检测图像整合，转化为有向带权图；
S302，使用密集模块提升有向带权图中各个节点的特征数；
S303，使用级联的三个图卷积层促使节点间的信息交互与指导；
S304，将各个节点的特征进行整合压缩，转化为特征图权重，与第二卷积编码器-解码器主干网络的输入特征图进行点积和叠加，得到特征权重矩阵，跳跃连接到第二卷积编码器-解码器主干网络的解码器模块；
所述S4，不确定性增强篡改注意力模块的处理流程为：
S401，采用 Bayar 卷积，从输入的不确定性图中提取噪声特征；
S402，使用交叉注意力机制将噪声特征与不确定性图进行互相补充，得到噪声特征与不确定性图之间的亲和矩阵；
S403，利用一个大小为3×3的卷积核对亲和矩阵进行卷积计算，并输出计算结果；
S404，将S403得到的计算结果、不确定性图和噪声特征进行拼接，之后经过两层大小为3×3卷积核的卷积计算，得到交叉篡改注意值；
S405，利用交叉篡改注意值，计算得到增强不确定性的二元交叉熵损失函数。
2. 根据权利要求1所述的一种基于不确定性引导的图像篡改检测方法，其特征在于，所述集成四个MC Dropout块的第一卷积编码器-解码器主干网络包括编码器模块和解码器模块，编码器模块用于提取篡改特征，解码器模块负责整合篡改特征，进行像素级篡改检测；其中，编码器模块包括四个串联的ResNet编码器，每个ResNet编码器后均设置有MCDropout块，解码器模块包括四个串联的上采样解码器，每个上采样解码器后均设置有MCDropout块，上采样解码器与ResNet编码器一一对应，且进行跳跃连接；
所述第二卷积编码器-解码器主干网络包括编码器模块和解码器模块；其中，编码器模块包括四个串联的ResNet编码器，解码器模块包括四个串联的上采样解码器，上采样解码器与ResNet编码器一一对应，且进行跳跃连接。
3.根据权利要求1所述的一种基于不确定性引导的图像篡改检测方法，其特征在于，所述S301中转化为有向带权图时，只允许低不确定性节点向相邻的高不确定性节点连边，节点 i 和节点 j 所连有向边的计算公式为：
其中U i和U j分别代表第 i 个节点和第j个节点所指示的图像块的像素平均不确定性，第i个节点 与第j个节点是相邻的节点，为有向带权图邻接矩阵第i行第j列的元素，/>为空集，即第i个节点和第j个节点之间不存在有向边。
4. 根据权利要求3所述的一种基于不确定性引导的图像篡改检测方法，其特征在于，所述S302中使用密集模块提升有向带权图中各个节点的特征数，使得每个节点都含有五个特征：红色通道特征 、绿色通道特征/> 、蓝色通道特征/> 、不确定性特征U i、粗略掩码特征C i。
5.根据权利要求4所述的一种基于不确定性引导的图像篡改检测方法，其特征在于，所述S303中图卷积层的计算公式为
其中，是图卷积网络第 l 个隐藏层的输入特征矩阵，/>是图卷积网络第 l+1个隐藏层的输入特征矩阵，/>，A是有向带权图的邻接矩阵，/>是/>的对角度矩阵，/>是可学习的权重矩阵。
6.根据权利要求5所述的一种基于不确定性引导的图像篡改检测方法，其特征在于，所述S302中的密集模块用于改变节点的特征维度：
其中，是可学习的偏置矩阵，/>表示批归一化函数。
7.根据权利要求6所述的一种基于不确定性引导的图像篡改检测方法，其特征在于，所述S401中采用Bayar卷积提取噪声特征的公式为：
其中，是输入的不确定性图，/>表示Bayar卷积计算函数，/>是输出的噪声特征。
8.根据权利要求7所述的一种基于不确定性引导的图像篡改检测方法，其特征在于，采用的Bayar卷积计算具有以下约束：
其中，是Bayar卷积层第/>个核的权重，/>是卷积核的边长。
CN202311040516.4A 2023-08-18 2023-08-18 一种基于不确定性引导的图像篡改检测方法 Active CN116778307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311040516.4A CN116778307B (zh) 2023-08-18 2023-08-18 一种基于不确定性引导的图像篡改检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311040516.4A CN116778307B (zh) 2023-08-18 2023-08-18 一种基于不确定性引导的图像篡改检测方法

Publications (2)

Publication Number Publication Date
CN116778307A CN116778307A (zh) 2023-09-19
CN116778307B true CN116778307B (zh) 2023-12-12

Family

ID=87986168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311040516.4A Active CN116778307B (zh) 2023-08-18 2023-08-18 一种基于不确定性引导的图像篡改检测方法

Country Status (1)

Country Link
CN (1) CN116778307B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357944A (zh) * 2022-08-16 2022-11-18 河南大学 基于浅层特征增强和注意力机制的图像篡改检测方法
CN115578626A (zh) * 2022-07-07 2023-01-06 福州大学 基于混合注意力机制的多尺度图像篡改检测方法
CN116091429A (zh) * 2022-12-29 2023-05-09 杭州师范大学 一种拼接篡改图像的检测方法
CN116205776A (zh) * 2022-12-14 2023-06-02 湖南科技大学 一种基于半脆弱可逆水印的篡改定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517759B (zh) * 2019-08-29 2022-03-25 腾讯医疗健康(深圳)有限公司 一种待标注图像确定的方法、模型训练的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578626A (zh) * 2022-07-07 2023-01-06 福州大学 基于混合注意力机制的多尺度图像篡改检测方法
CN115357944A (zh) * 2022-08-16 2022-11-18 河南大学 基于浅层特征增强和注意力机制的图像篡改检测方法
CN116205776A (zh) * 2022-12-14 2023-06-02 湖南科技大学 一种基于半脆弱可逆水印的篡改定位方法
CN116091429A (zh) * 2022-12-29 2023-05-09 杭州师范大学 一种拼接篡改图像的检测方法

Also Published As

Publication number Publication date
CN116778307A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN111914907B (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN112347859B (zh) 一种光学遥感图像显著性目标检测方法
Zhu et al. A deep learning approach to patch-based image inpainting forensics
CN111539316B (zh) 基于双注意力孪生网络的高分遥感影像变化检测方法
CN113658115B (zh) 一种基于深度卷积生成对抗网络的图像异常检测方法
CN113780149B (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
Liu et al. A night pavement crack detection method based on image‐to‐image translation
CN111582225A (zh) 一种遥感图像场景分类方法及装置
CN113689382B (zh) 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN114360030A (zh) 一种基于卷积神经网络的人脸识别方法
CN111222453A (zh) 基于密集连接和几何结构约束的遥感影像变化检测方法
CN116778307B (zh) 一种基于不确定性引导的图像篡改检测方法
CN117612023A (zh) 融合注意力机制和卷积神经网络的遥感图像屋顶识别方法
Yu et al. Intelligent corner synthesis via cycle-consistent generative adversarial networks for efficient validation of autonomous driving systems
CN112330562A (zh) 一种异构遥感图像变换方法及系统
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN116563103A (zh) 一种基于自适应神经网络的遥感图像时空融合方法
CN111126173A (zh) 一种高精度人脸检测方法
CN116071645A (zh) 高分辨率遥感影像建筑物变化检测方法、装置及电子设备
CN115331081A (zh) 图像目标检测方法与装置
CN113283393B (zh) 基于图像组与两流网络的Deepfake视频检测方法
CN109543610A (zh) 车辆检测跟踪方法、装置、设备及存储介质
CN112668537A (zh) 一种基于多尺度跳跃连接的群体计数方法
CN114758387B (zh) 基于单帧rgb图像的轻量级人脸反欺诈方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant