CN117315284A - 一种基于无关视觉信息抑制的图像篡改检测方法 - Google Patents

一种基于无关视觉信息抑制的图像篡改检测方法 Download PDF

Info

Publication number
CN117315284A
CN117315284A CN202311377125.1A CN202311377125A CN117315284A CN 117315284 A CN117315284 A CN 117315284A CN 202311377125 A CN202311377125 A CN 202311377125A CN 117315284 A CN117315284 A CN 117315284A
Authority
CN
China
Prior art keywords
image
edge
tampering
rgb
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311377125.1A
Other languages
English (en)
Inventor
邵允学
王婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202311377125.1A priority Critical patent/CN117315284A/zh
Publication of CN117315284A publication Critical patent/CN117315284A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉及深度学习领域，尤其涉及一种基于无关视觉信息抑制的图像篡改检测方法，其包括以下步骤：获取待检测的RGB图像；将RGB图像输入经训练的基于无关视觉信息抑制的图像篡改检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图；所述基于无关视觉信息抑制的图像篡改检测模型，包括：边缘感知模块、无关视觉信息抑制模块、边缘注意力模块和双重注意力模块。本发明针对图像中微弱通用篡改特征进行提取，深度挖掘特征之间关联性，提高篡改区域定位精度。

Description

一种基于无关视觉信息抑制的图像篡改检测方法
技术领域
本发明涉及计算机视觉及深度学习领域，尤其涉及一种基于无关视觉信息抑制的图像篡改检测方法，适用于计算机视觉中的图像篡改检测领域。
背景技术
数字图像的可编辑性已经达到了惊人的程度，使得人们几乎可以在视觉上进行难以察觉的修改。这一技术的迅速发展对数字照片的真实性提出了挑战，因为个体可以轻松地操纵图像的各个细节，改变颜色、对比度、亮度等等，甚至可以添加或删除图像中的对象。就操纵手段而言，复制-移动、图像拼接以及对象删除是三种最常见且相对容易实现的，这些都可以通过软件轻松实现。
图像操纵检测与一般的计算机视觉任务(例如目标检测和语义分割)存在根本性的不同。通常的计算机视觉任务主要关注学习图像的视觉语义内容，而图像操纵检测则更注重捕捉操纵操作所留下的微小痕迹和细节。目前，深度学习技术在计算机视觉领域取得了巨大进展。近年来，一些研究者试图通过深度学习方法进行图像操纵检测，在多种操纵类型的识别方面取得了显著的效果。
现有的深度学习图像操纵检测方法通常可以分为两类：噪声感知方法和边缘感知方法。噪声感知方法的核心思想在于操纵区域和正常图像区域在噪声方面存在明显的差异。因此，这些方法会采用预定义的噪声滤波器来生成另一个噪声图像，然后将其与原始的RGB特征进行融合，以用于操纵检测。然而，对于那些仅在目标图像上执行的图像操纵操作，例如复制移动类型，由于复制移动不会引入新元素，因此引入的噪声对于原始图像几乎可以忽略不计。因此，在这种类型的图像操纵情境下，噪声视图方法的有效性较低，所以我们认为这种方法是次优的。边缘感知方法则尝试寻找被篡改区域周围的边界伪影，并将视觉伪影用作定位操纵边缘的线索。这种方法能够不受操纵类型的影响，因为视觉伪影通常在边缘区域显示出不一致性。因此，一个常见的策略是引入另一个用于检测边缘伪影的分支。然而，以前的方法中使用的简单特征串联方式是次优的，因为操纵特征在不同尺度的特征图中表现出明显的差异。线性聚合特征图忽视了深层特征可能使检测到的操纵特征具有语义相关性，同时它也忽视了浅层特征的重要性，从而导致性能次优。此外，以往的边缘检测方法未能建立起RGB特征和边缘特征之间的有效联系，导致空间上下文信息未被充分利用，也未能有效挖掘每个尺度的独特和有效信息。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出一种基于无关视觉信息抑制的图像篡改检测模型方法，这是一种可以同时捕捉边缘伪影、微弱通用的操纵痕迹信号和高级语义对象的信息，并且深度挖掘边缘特征和RGB特征之间关联性的新型双重监督结构模型，以提高检测准确率和篡改区域的定位精度。为实现上述目的，本发明采取的技术方案如下：
获取待检测的RGB图像；
将RGB图像输入经训练的基于无关视觉信息抑制的图像篡改检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图；
所述基于无关视觉信息抑制的图像篡改检测模型，包括：
边缘感知模块，用于根据RGB图像生成边缘预测图，以及从RGB图像提取RGB流特征；
边缘注意力模块，用于在边缘感知和篡改趋于分割的主干任务之间实现相互优化，旨在更加精确地定位被篡改的区域；
无关视觉信息抑制模块，用于从RGB图像提取与视觉信息无关的微弱通用篡改特征并输出与RGB特征同维度的微弱通用篡改特征；
双重注意力模块，由通道注意力模块和空间注意力模块构成，用于在RGB特征与无关视觉信息特征沿通道维度进行拼接后对特征选择和融合并生成像素级别篡改区域预测图像；
所述边缘感知模块以RGB图像作为输入，经过四个ResNet50特征提取模块进行RGB特征提取，提取出RGB流特征；
每级特征提取模块提取出的RGB特征分别输入Sobel层和边缘提取模块EEB提取边缘特征，然后将所有这些边缘特征串联起来输入到边缘注意模块(Edge-AttentionModule)作为最终的边缘预测特征，最终通过使用Sigmoid(σ)层转换边缘注意模块(Edge-Attention Module)的输出结果而获得边缘预测图；
所述边缘注意模块以第四个ResNet50特征R4经过1×1卷积提取的特征和每级ResNet50特征提取模块提取出边缘特征拼接的特征图为输入，经过边缘注意力层提取边缘中多尺度特征和第四个ResNet50特征R4经过1×1卷积提取的特征进行矩阵乘法，使用sigmoid函数约束到0-1并作为权重作用到所述边缘感知模块中第四个ResNet50特征R4经过1×1卷积提取的RGB流特征图上；
边缘感知模块中经过边缘注意力模块作用的RGB流特征与原始RGB特征R4经过1×1卷积提取的特征进行矩阵乘法后输入后续特征提取模块后作为最终的边缘预测图；
所述无关视觉信息抑制模块以RGB图为输入，通过将一组分辨率下降块获得的特征图和一组分辨率上升块重建的特征图执行减法操作，获得一个无关视觉信息抑制视图。通过监督学习策略，减少下采样操作得到的特征图与上采样操作重建特征图之间的差异。随后，无关视觉信息抑制视图经过四个ResNet50特征提取模块进行特征提取并输出与RGB特征同维度的微弱通用篡改特征；
边缘感知模块的RGB特征与无关视觉信息抑制模块提取的图像微弱篡改特征沿通道维进行拼接后经过由通道注意力模块和空间注意力模块构成的双重注意力模块进行特征选择和融合并生成像素级篡改区域预测图像，像素级篡改区域预测图经过全局平均池化后得到图像级预测分数。
一种基于无关视觉信息抑制的图像篡改检测模型装置，其特征在于，包括：
图像获取模块，用于获取待检测的RGB图像；
模型检测模块，用于将RGB图像输入经训练的基于无关视觉信息抑制的图像篡改检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图；
所述基于无关视觉信息抑制的图像篡改检测模型，包括：
边缘感知模块，用于根据RGB图像生成边缘预测图，以及从RGB图像提取RGB特征；
边缘注意力模块，用于在边缘感知和篡改趋于分割的主干任务之间实现相互优化，旨在更加精确地定位被篡改的区域；
无关视觉信息抑制模块，用于从RGB图像提取微弱通用篡改特征并输出与RGB特征同维度的微弱通用篡改特征；
双重注意力模块，由通道注意力模块和空间注意力模块构成，用于在RGB流特征与图像微弱通用篡改特征沿通道维进行拼接后对特征选择和融合并生成像素级篡改区域预测图像。
一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述的基于无关视觉信息抑制的图像篡改检测模型方法的步骤。
一种基于无关视觉信息抑制的图像篡改检测设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述的基于无关视觉信息抑制的图像篡改检测方法的步骤。
发明的有益效果是：现有的图像篡改检测算法采用的噪声视图方法不能有效检测那些仅在目标图像上执行的图像操纵操作，例如复制移动类型，由于复制移动不会引入新元素，因此引入的噪声对于原始图像几乎可以忽略不计。因此，在这种类型的图像操纵情境下，噪声视图方法的有效性较低。本发明应用新的无关视觉抑制模块，该模块能有效去除图像中的视觉语义信息的干扰，还有效地突出了图像微弱通用的篡改痕迹信号。图像微弱通用篡改特征的有效关注进一步提升篡改区域的定位能力。此外，现有图像篡改检测算法采用的边缘约束采用线性聚合特征图的方式，忽视了深层特征可能使检测到的操纵特征具有语义相关性，同时它也忽视了浅层特征的重要性。此外，以往的边缘检测方法未能建立起RGB特征和边缘特征之间的有效联系，导致空间上下文信息未被充分利用，也未能有效挖掘每个尺度的独特和有效信息。本发明应用新的边缘感知模块，使得模型通过对篡改区域边缘的有效关注进一步提升篡改区域的定位能力。
本发明采用了一种层层结合特征的方法，逐步结合浅层和深层特征。这种方法不仅确保了边缘监督对深层特征学习的有效引导，还能同时保留浅层信息中的细节局部特征；本发明利用无关视觉抑制模块提取图片的微弱通用篡改特征，从而更加准确定位篡改区域；本发明利用边缘注意力模块在边缘感知和篡改趋于分割的主干任务之间实现了相互优化，有效提高了整个网络的性能；本发明通过通道注意力模块和空间注意力模块对多视角特征进行有选择的特征筛选和融合；本发明通过由像素级分割损失，边缘分割损失、无关视觉信息抑制损失和图像级分类损失构成的多尺度监督，在保证像素级分割性能的同时大大降低真图上的误报率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于无关视觉信息抑制的图像篡改检测模型结构框图；
图2为本发明实施例中双重注意力模块的结构框图；
图3为本发明实施例中所检测的篡改图、原始图像、GroundTruth及预测结果图的对照；
图4是本发明实施例提供的一种图像篡改检测装置结构图；
图5是本发明实施例提供的一种图像篡改检测计算机设备架构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，本实施例中基于无关视觉信息抑制的图像篡改检测模型，包括：边缘感知模块、无关视觉抑制模块、边缘注意力模块和双重注意力模块。具体包括以下步骤：
S1、获取待检测的RGB图像，通过卷积神经网络提取图像的RGB特征，具体步骤如下：
通过把RGB图像送入两条在ImageNet上预训练的ResNet50网络来提取图像的RGB流特征，两条主干分支网络提取的RGB特征一条用于边缘感知模块，一条用于无关视觉抑制模块；
S2、通过边缘感知模块得到图像中篡改区域的边缘预测图，具体步骤如下：
RGB图像输入到主干网络ResNet50提取出RGB流特征R1、R2、R3、R4。每级特征提取模块提取出的RGB特征分别输入Sobel层和边缘提取模块EEB提取边缘特征，然后将所有这些边缘特征串联起来输入到边缘注意模块(Edge-Attention Module)作为最终的边缘预测特征，最终通过使用Sigmoid(σ)层转换边缘注意模块(Edge-Attention Module)的输出而获得边缘预测图；
所述边缘注意模块以第四个ResNet50特征R4经过1×1卷积提取的特征和每级ResNet50特征提取模块提取出边缘特征拼接的特征图为输入，经过边缘注意力层提取边缘中多尺度特征和第四个ResNet50特征R4经过1×1卷积提取的特征进行矩阵乘法，使用sigmoid函数约束到0-1并作为权重作用到所述边缘感知模块中第四个ResNet50特征R4经过1×1卷积提取的RGB流特征图上；
边缘感知模块中经过边缘注意力模块作用的RGB流特征与原始RGB特征R4经过1×1卷积提取的特征进行矩阵乘法后输入后续特征提取模块后作为最终的边缘预测图；
S3、通过无关视觉抑制模块得到图像中篡改区域的微弱通用篡改特征，具体步骤如下：
无关视觉抑制模块以RGB图为输入，采用多个分辨率下降(R-down)块来减少图像中的像素数量，以抑制过多的无关视觉信息。然后，通过多个分辨率上升块(R-up)来恢复图像的分辨率，重建与原始下采样特征图相同大小的特征图。接着，通过执行减法操作，将下采样特征图和上采样后的重建特征图相减，生成一个独特的无关视觉信息抑制视图。通过监督学习策略，减少下采样操作得到的特征图与上采样操作重建特征图之间的差异，为了实现这一目标，我们使用均方误差(MSE)损失函数来计算获得的重建残差视图与一个与其具有相同形状的全零特征图之间的损失。随后，将无关视觉信息抑制视图输入到四个ResNet50组成的主干网络进行微弱通用篡改特征提取并输出与RGB流特征同维度的微弱通用篡改特征；
S4、通过将关注篡改区域边界的RGB流特征与无关视觉抑制分支提取的图像微弱通用篡改特征进行特征融合得到最后的预测分割图，具体步骤如下：
关注篡改区域边界的RGB流特征与无关视觉抑制分支提取的图像微弱通用篡改特征沿通道维进行拼接后经过由通道注意力模块和空间注意力模块构成的双重注意力模块(见图2)进行特征选择和融合并生成像素级篡改区域预测图像，该预测图用DICE分割损失进行约束；
S5、联合损失函数约束网络进行训练：
在网络中设置了两条主干网络，分别用于学习图像的边缘特征和微弱通用篡改特征。我们联合优化了边缘感知分支、无关视觉信息抑制分支和双重注意力融合模块的参数，以充分挖掘它们之间潜在的互补关系。我们考虑了四个不同尺度的损失，每个尺度都有其特定的目标：即用于提高模型对像素级别操纵检测灵敏度的像素尺度损失、边缘信息损失、用于学习图像微弱通用操纵特征的无关视觉信息抑制损失以及用于提高模型图像级别操纵检测特异性的图像尺度损失；
S6、利用训练好的模型进行图片篡改区域的检测：
利用训练好的主干网络提取图像的边缘特征和微弱通用篡改特征，利用训练好的边缘提取模块提取出篡改区域的边缘信息分割图，把提取出的边缘信息分割图送入到边缘注意力模块用于引导边缘篡改区域的检测。同样篡改区域边界的RGB流特征与无关视觉抑制分支提取的图像微弱通用篡改特征沿通道维进行拼接后经过由通道注意力模块和空间注意力模块构成的双注意力模块(见图2)进行特征选择和融合并生成像素级篡改区域预测图像，把边缘分割特征图和篡改区域分割图经过sigmoid激活函数，得到的每个像素值介于0和1之间，以0.5为阈值，大于0.5的像素视为篡改像素，把其值赋值为1。小于0.5的像素视为非篡改像素，把其值赋值为0，然后计算像素级别F1分数；
本实施例中，本发明在网络中设置了两条主干网络，分别用于学习图像的边缘特征和微弱通用篡改特征；因此，我们联合优化了边缘感知分支、无关视觉信息抑制分支和双重注意力融合模块的参数，以充分挖掘它们之间潜在的互补关系。我们考虑了四个不同尺度的损失，每个尺度都有其特定的目标：即用于提高模型对像素级别操纵检测灵敏度的像素尺度损失、边缘信息损失、用于学习图像微弱通用操纵特征的无关视觉信息抑制损失以及用于提高模型图像级别操纵检测特异性的图像尺度损失。优化的损失函数可以定义如下：
Loss＝α·lossseg+β·lossclf+γ·lossivis+(1-α-β-γ)·lossedge
其中α，β，γ∈[0，1]是权衡参数，用于平衡每一项的贡献。α，β，γ根据经验分别设置为0.16和0.04和0.1。Loss表示网络的总损失函数。lossseg、lossedge、lossivis、lossclf分别表示篡改区域预测的像素级别损失、边界信息预测的损失、重建残差损失和图像尺度损失。
其中yi，j∈{0，1}是一个二进制标签，指示像素(i，j)是否被操作。
lossclf(x)＝-(y·log C(x)+(1-y)·log(1-C(x)))
其中y＝max({yi})。
其中y表示真实值，y′表示模型的预测值，N为样本数量，yi表示第i个样本的真实目标值。y′i表示模型对第i个样本的预测结果。
其中yi，j∈{0，1}是一个二进制标签，指示像素(i，j)是否被操作。
本实施例中，S6中F1分数计算方式如下：
其中TP代表真阳性的样本，即实际是篡改像素被预测为篡改像素的个数；FP代表假阳性的样本，即实际是非篡改像素被预测为篡改像素的个数；FN代表假阴性的样本，即实际是篡改像素被预测为非篡改像素的个数。
图3为本方法对篡改图片和真实图片做篡改识别的实例展示。本实施例不仅对篡改图片的篡改区域能做出精确的识别，而且错误分割情况非常少。
如图4所示，本实施例还提供一种基于无关视觉信息抑制的图像篡改检测装置，包括：图像获取模块和模型检测模块，其中图像获取模块用于获取待检测的RGB图像；模型检测模块用于将RGB图像输入经训练的基于无关视觉信息抑制的图像篡改检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图。
本实施例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中基于无关视觉信息抑制的图像篡改检测模型方法的步骤。
本发明实施例提供的图像篡改检测方法，可以适用于如图5所示的图像篡改检测计算机设备。该计算机设备具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中基于无关视觉信息抑制的图像篡改检测模型方法的步骤。

Claims (4)

1.一种基于无关视觉信息抑制的图像篡改检测模型方法，其特征在于：
获取待检测的RGB图像；
将RGB图像输入经训练的基于无关视觉信息抑制的图像篡改检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图；
所述基于无关视觉信息抑制的图像篡改检测模型，包括：
边缘感知模块，用于根据RGB图像生成边缘预测图，以及从RGB图像提取RGB流特征；
边缘注意力模块，用于在边缘感知和篡改趋于分割的主干任务之间实现相互优化，旨在更加精确地定位被篡改的区域；
无关视觉信息抑制模块，用于从RGB图像提取图像微弱通用篡改特征并输出与RGB流特征同维度的特征；
双重注意力模块，由通道注意力模块和空间注意力模块构成，用于在RGB流特征与图像微弱通用篡改特征沿通道维进行拼接后对特征选择和融合并生成像素级篡改区域预测图像；
所述边缘感知模块以RGB图像作为输入，经过四个ResNet50特征提取模块进行RGB特征提取，提取出RGB流特征；
每级特征提取模块提取出的RGB特征分别输入Sobel层和边缘提取模块EEB提取边缘特征，然后将所有这些边缘特征串联起来输入到边缘注意模块(Edge-Attention Module)作为最终的边缘预测特征，最终通过使用Sigmoid(σ)层转换边缘注意模块(Edge-AttentionModule)的输出结果而获得边缘预测图；
所述边缘注意模块以第四个ResNet50特征R4经过1×1卷积提取的特征和每级ResNet50特征提取模块提取出边缘特征拼接的特征图为输入，经过边缘注意力层提取边缘中多尺度特征和第四个ResNet50特征R4经过1×1卷积提取的特征进行矩阵乘法，使用sigmoid函数约束到0-1并作为权重作用到所述边缘感知模块中第四个ResNet50特征R4经过1×1卷积提取的RGB流特征图上；
所述无关视觉信息抑制模块以RGB图为输入，采用多个分辨率下降(R-down)块来减少图像中的像素数量，以抑制过多的无关视觉信息。然后，通过多个分辨率上升块(R-up)来恢复图像的分辨率，重建与原始下采样特征图相同大小的特征图。接着，通过执行减法操作，将下采样特征图和上采样后的重建特征图相减，生成一个独特的无关视觉信息抑制视图。随后，将无关视觉信息抑制视图输入到四个ResNet50组成的主干网络进行微弱通用篡改特征提取并输出与RGB流特征同维度的微弱通用篡改特征；
关注篡改区域边界的RGB流特征与图像微弱通用篡改特征沿通道维进行拼接后经过由通道注意力模块和空间注意力模块构成的双重注意力模块进行特征选择和融合并生成像素级篡改区域预测图像，该预测图用DICE分割损失进行约束；像素级预测图经过全局平均池化后得到图像级预测分数，该预测分数用BCE损失进行约束；最终边缘图预测损失、像素级分割损失、无关视觉信息抑制损失和图像级分类损失用超参数权重计算加权和构成总的训练损失。
2.一种基于无关视觉信息抑制的图像篡改检测装置，其特征在于，包括：
图像获取模块，用于获取待检测的RGB图像；
模型检测模块，用于将RGB图像输入经训练的基于无关视觉信息抑制的图像篡改检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图；
所述基于无关视觉信息抑制的图像篡改检测模型，包括：
边缘感知模块，用于根据RGB图像生成边缘预测图，及从RGB图像提取RGB流特征；
边缘注意力模块，用于在边缘感知和篡改趋于分割的主干任务之间实现相互优化，旨在更加精确地定位被篡改的区域；
无关视觉信息抑制模块，用于从RGB图像提取图像微弱通用篡改特征并输出与RGB流特征同维度的微弱篡改特征；
双重注意力模块，由通道注意力模块和空间注意力模块构成，用于在RGB流特征与图像微弱篡改特征沿通道维进行拼接后对特征选择和融合并生成像素级篡改区域预测图像；
所述边缘感知模块以RGB图像作为输入，经过四个ResNet50特征提取模块进行RGB特征提取，提取出RGB流特征；
每级特征提取模块提取出的RGB特征分别输入Sobel层和边缘提取模块EEB提取边缘特征，然后将所有这些边缘特征串联起来输入到边缘注意模块(Edge-Attention Module)作为最终的边缘预测特征，最终通过使用Sigmoid(σ)层转换边缘注意模块(Edge-AttentionModule)的输出而获得边缘预测图；
所述边缘注意模块以第四个ResNet50特征R4经过1×1卷积提取的特征和每级ResNet50特征提取模块提取出边缘特征拼接的特征图为输入，经过边缘注意力层提取边缘中多尺度特征和第四个ResNet50特征R4经过1×1卷积提取的特征进行矩阵乘法，使用sigmoid函数约束到0-1并作为权重作用到所述边缘感知模块中第四个ResNet50特征R4经过1×1卷积提取的RGB流特征图上；
所述无关视觉信息抑制模块以RGB图为输入，采用多个分辨率下降(R-down)块来减少图像中的像素数量，以抑制过多的无关视觉信息。然后，通过多个分辨率上升块(R-up)来恢复图像的分辨率，重建与原始下采样特征图相同大小的特征图。接着，通过执行减法操作，将下采样特征图和上采样后的重建特征图相减，生成一个独特的无关视觉信息抑制视图。随后，将无关视觉信息抑制视图输入到四个ResNet50组成的主干网络进行微弱通用篡改特征提取并输出与RGB流特征同维度的微弱通用篡改特征；
关注篡改区域边界的RGB流特征与图像微弱通用篡改特征沿通道维进行拼接后经过由通道注意力模块和空间注意力模块构成的双重注意力模块进行特征选择和融合并生成像素级篡改区域预测图像，该预测图用DICE分割损失进行约束；像素级预测图经过全局平均池化后得到图像级预测分数，该预测分数用BCE损失进行约束；最终边缘图预测损失、像素级分割损失和图像级分类损失用超参数权重计算加权和构成总的训练损失。
3.一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1所述的基于无关视觉信息抑制的图像篡改检测模型的步骤。
4.一种基于无关视觉信息抑制的图像篡改检测设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1所述的基于无关视觉信息抑制的图像篡改检测模型方法的步骤。
CN202311377125.1A 2023-10-23 2023-10-23 一种基于无关视觉信息抑制的图像篡改检测方法 Pending CN117315284A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311377125.1A CN117315284A (zh) 2023-10-23 2023-10-23 一种基于无关视觉信息抑制的图像篡改检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311377125.1A CN117315284A (zh) 2023-10-23 2023-10-23 一种基于无关视觉信息抑制的图像篡改检测方法

Publications (1)

Publication Number Publication Date
CN117315284A true CN117315284A (zh) 2023-12-29

Family

ID=89237223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311377125.1A Pending CN117315284A (zh) 2023-10-23 2023-10-23 一种基于无关视觉信息抑制的图像篡改检测方法

Country Status (1)

Country Link
CN (1) CN117315284A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154906A (zh) * 2024-05-09 2024-06-07 齐鲁工业大学(山东省科学院) 基于特征相似性和多尺度边缘注意力的图像篡改检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154906A (zh) * 2024-05-09 2024-06-07 齐鲁工业大学(山东省科学院) 基于特征相似性和多尺度边缘注意力的图像篡改检测方法

Similar Documents

Publication Publication Date Title
Zhu et al. A deep learning approach to patch-based image inpainting forensics
CN111582201B (zh) 一种基于几何注意力感知的车道线检测系统
CN110956094A (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN109284670A (zh) 一种基于多尺度注意力机制的行人检测方法及装置
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN111666842B (zh) 一种基于双流空洞卷积神经元网络的阴影检测方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN111696021B (zh) 一种基于显著性检测的图像自适应隐写分析系统及方法
CN117315284A (zh) 一种基于无关视觉信息抑制的图像篡改检测方法
CN113936235A (zh) 一种基于质量评估的视频显著性目标检测方法
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN115830449A (zh) 显式轮廓引导和空间变化上下文增强的遥感目标检测方法
CN114926826A (zh) 场景文本检测系统
CN117173854B (zh) 一种基于深度学习的煤矿明火预警方法及系统
CN114494999B (zh) 一种双分支联合型目标密集预测方法及系统
CN116385935A (zh) 一种基于无监督域自适应的异常事件检测算法
CN115797684A (zh) 一种基于上下文信息的红外小目标检测方法及系统
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN115482463A (zh) 一种生成对抗网络矿区土地覆盖识别方法及系统
CN110427920B (zh) 一种面向监控环境的实时行人解析方法
Ren et al. EMF-Net: An edge-guided multi-feature fusion network for text manipulation detection
CN114926734B (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination