CN114612476A - 一种基于全分辨率混合注意力机制的图像篡改检测方法 - Google Patents

一种基于全分辨率混合注意力机制的图像篡改检测方法 Download PDF

Info

Publication number
CN114612476A
CN114612476A CN202210519003.0A CN202210519003A CN114612476A CN 114612476 A CN114612476 A CN 114612476A CN 202210519003 A CN202210519003 A CN 202210519003A CN 114612476 A CN114612476 A CN 114612476A
Authority
CN
China
Prior art keywords
image
module
resolution
full
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210519003.0A
Other languages
English (en)
Other versions
CN114612476B (zh
Inventor
梁秀健
余昕璇
孙鹤
付章杰
陈北京
袁程胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210519003.0A priority Critical patent/CN114612476B/zh
Publication of CN114612476A publication Critical patent/CN114612476A/zh
Application granted granted Critical
Publication of CN114612476B publication Critical patent/CN114612476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于全分辨率混合注意力机制的图像篡改检测方法，包括：获取待检测的图像，输入到预先训练好的基于全分辨率混合注意力机制的图像篡改检测模型，输出篡改检测结果。优点：有效地解决了现有方法存在的因潜在篡改区域纹理特征、边缘高频特征的丢失导致图像分辨率降低的问题，优化了网络输出向量的方向，加快了网络训练收敛速度；提出了基于反馈消融点的训练方法，实现了在有限内存下的模块化端到端训练；实现联合各模块的反馈来优化调整参数，又加快了模型的推理测试速度。该方法在同时存在多种篡改类型的检测任务上具有更优的准确率、更强的鲁棒性、更快的训练速度和更小的内存占用，具有十分广阔的应用前景。

Description

一种基于全分辨率混合注意力机制的图像篡改检测方法
技术领域
本发明涉及一种基于全分辨率混合注意力机制的图像篡改检测方法，属于图像处理技术领域。
背景技术
随着多媒体采集设备和人工智能技术的快速发展和使用，人们迎来了多媒体信息爆炸时代，数字图像生成已经变得非常容易，普通人可以随时利用各种图像编辑软件和处理技术对图像内容进行编辑。这些出于美化、娱乐的目的修改并不会给我们日常带来不良影响。而在有些情况下，被恶意篡改的图像经过传播，就会影响公众对客观事物的判断，甚至能够以假乱真，对国家和社会造成不良的影响。在当今社会，“眼见为实”已经变得越来越不可信，当人们面对一张图像的时候，对数字图像篡改的取证研究变得非常重要。因此，判别数字图像的真实性与否，检测数字图像是否发生过篡改具有十分重要的现实意义，已成为多媒体信息安全领域中的重要研究课题。
近年来，学者们提出了一系列深度篡改检测算法，如最新的高分辨率网络，作者通过设计一种深度检测网络来检测图像是否存在某种局部篡改。该方法存在的缺陷就是，一方面，在现实场景中，目标图像和篡改区域的变化差异通常较大，且目标图像尺寸变化多样；另一方面，受到计算机算力和内存空间的制约，高分辨率采集的图像无法直接作为深度网络模型的输入。上述两个问题使得目标图像和网络输入存在尺寸不匹配问题。针对该问题，目前主要有两种不同的解决方案：
1) 重新缩放图像适应网络输入要求。
2) 逐块处理图像进行全局特征决策。
方法 1)在缩放图像尺寸的同时，容易导致原本就细微的篡改区域在缩放后被遗弃，无法被检测到。另外，当图像经过尺寸调整或重新取样时，可能会使一些重要的区域边缘高频信息被强烈破坏。更为重要的是，某些复杂的篡改操作仅能根据微观纹理特征的统计分析才能实现篡改检测。运用方法2)对图像进行逐块处理后再进行特征融合。虽然能够取得较好的检测结果，但并未考虑局部检测对全局结果的影响。在现实应用中总是存在非零的漏检率和误报率，一旦某局部块发生漏检或误报，就会导致整幅图像的检测结果出现大幅的偏差。此外，如上文所提到的，深度检测网络一直饱受计算机算力和内存的制约，存在着速度较慢、内存开销大的问题。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于全分辨率混合注意力机制的图像篡改检测方法,做到在有限的内存和时间资源内，在能够保留重要区域边缘微观纹理的高频信息同时，又能够通过联合各个分块的局部特征信息，进一步提高图像篡改检测的性能。
为解决上述技术问题，本发明提供一种基于全分辨率混合注意力机制的图像篡改检测方法，包括：
获取待检测的图像，输入到预先训练好的基于全分辨率混合注意力机制的图像篡改检测模型，输出篡改检测结果；
所述图像篡改检测模型的训练过程包括：
步骤S1，获取若干已标记篡改状况的图像作为训练集；
步骤S2，采用定步长滑动窗口的方法将训练集中的任意某个图像分割成若干个相同大小的互不重叠的局部特征分块；
步骤S3，将每个局部特征分块分别输入到分块特征提取模块中进行特征提取，得到浅层场景语义特征；
步骤S4，将各局部特征分块的浅层场景语义特征，分别输入到混合注意力模块进作重点区域语义特征的提取，得到细粒度、低分辨率的对象语义特征；
步骤S5，将各局部特征分块的低分辨率对象语义特征，输入到全分辨率保护调参网络模块，利用反卷积层对潜在篡改区域的纹理特征信息及边缘高频特征信息作逐层参数调整，逐步扩大图像分辨率至全分辨率水平，得到各局部特征分块的全分辨率对象语义特征；
步骤S6，将各局部特征分块的全分辨率对象语义特征输入到由最大、最小、平均、均方构成的组合池化特征聚合模块，进行全局特征聚合，得到本轮训练的预测值；
步骤S7，将本轮训练的预测值输入到预先构建的图像篡改检测模型的损失函数中，计算图像篡改检测模型训练的损失；
步骤S8，若所述损失不低于预先设置的损失阈值，则利用设置了反馈消融点的反馈网络进行逐模块的反向传播，得到更新参数后的图像篡改检测模型；
步骤S9，从训练集中重新选择图像对更新参数后的图像篡改检测模型进行训练，直到训练集中所有图像计算的损失均低于预先设置的损失阈值，得到训练好的图像篡改检测模型。
进一步的，所述分块特征提取模块采用Xception模型。
进一步的，所述Xception模型的输入层添加图像噪声图和高通图像残差。
进一步的，所述混合注意力模块包括第一通道注意力机制模块、空间注意力机制模块和第二通道注意力机制模块；
所述步骤S4，包括：
S41，将所述浅层场景语义特征输入到第一通道注意力机制模块中，利用第一通道注意力机制模块中的平均池化和最大池化，分别对浅层场景语义特征进行池化操作，将池化操作生成的两种空间上下文信息向前传播到共享网络，产生通道注意力特征信息；
S42，将所述通道注意力特征信息输入到空间注意力机制模块中，利用空间注意力机制模块中的平均池化和最大池化操作，生成特征F avg-p 和F max-p 被融合并输入卷积层得到空间位置特征信息，F avg-p 和F max-p 分别表示平均池化和最大池化的特征；
S43，将S42所得空间位置特征信息输入到第二通道注意力机制模块中，提取为细粒度、低分辨率的对象语义特征。
进一步的，所述局部特征分块的全分辨率对象语义特征的获取过程包括：
S51，将局部特征分块的低分辨率对象语义特征映射为输入矩阵；
S52，对该输入特征矩阵进行反卷积操作，得到语义特征图对应的潜在篡改区域；
S53，在该潜在篡改区域的边缘上，根据公式(3)确定像素点的优先权，选取优先权最高的像素点，作为中心构造特定大小的像素块；
P(x)=C(x)D(x) （3）
在公式 (3) 中， C(x)为显著性水平，表示样本块中包含的已知像素点的多少，𝐷(x)为数据项，表示结构信息量；
S54，在输入矩阵中寻找与该像素块的特征最相似的样本块，并采用均值填充法恢复该像素块的高频特征信息；
S55，更新已恢复高频特征信息的像素块中的像素点置信度，从而更新该像素块的显著性水平，降低该像素块在下一次计算中的优先权；
S56，重复S53-S55，直到该分块中的所有像素点都被填充恢复完毕。
进一步的，所述𝐶(x) 和𝐷(x) 的计算公式如(4)、(5)所示：
Figure 792018DEST_PATH_IMAGE001
（4）
Figure 194180DEST_PATH_IMAGE002
（5）
其中，|Ψ x |表示样本块中像素点数，Ψ x 表示以像素点x为中心构造的像素块；q是Ψ x 中的某一具体像素点，Φ表示潜在篡改区域；C(q)表示该像素点q的显著性水平，当q属于Φ时，C(q)取值为1，否则取值为0；n q 是修复边缘上的某一像素点的法向量，▽I q ⊥为样本块中某一像素点q梯度方向的垂直方向，α是用来调整结构信息量大小的归一化因子。
进一步的，所述步骤S6，包括：
S61，将所述各局部特征分块的全分辨率对象语义特征输入到组合池化特征聚合模块；
S62，按照分量类型选择对特征的操作，当判别信息分布在全局图像时，采取平均或均方池化操作得到本轮训练的预测值；当判别信息集中于局部区域时，采取最小或最大池化操作得到本轮训练的预测值；最大、最小、平均和平方的平均值四种池化操作的公式如下：
Figure 581168DEST_PATH_IMAGE003
在式(6)-(9)中，其中F i =[F 1,…, F C ]是从第i个图像分块中提取的 C 分量特征，C表示划分特征矩阵时选择的有效维数，N p 是分块的数量。
进一步的，所述步骤S7，包括：
S71，在训练篡改检测任务时，图像篡改检测模型的损失函数Ldec包含拼接损失L splice和复制-移动损失L copy-move，如式(12)所示：
L dec=β(L splice+ L copy-move) （12）
在式(12)中，β表示权重参数；
S72，构造分位余弦损失函数应用于图像篡改检测任务损失计算中，如式(13)、式(14)所示；
L splice=γ1 L quant +δ1 log(1+ L cos ) （13）
L copy-move=γ2 L quant +δ2 log(1+ L cos ) （14）
其中，分位损失函数L quant 为主损失函数，权重参数γ1=γ2，余弦相似度损失函数L cos 为辅损失函数，权值参数δ1=δ2；
S73，计算分位损失函数L quant 的值，如式(15)所示，
Figure 43373DEST_PATH_IMAGE005
（15）
在式(15)中，y label表示真实概率分布，y pred表示本轮训练的预测值，r表示分位系数，N p 表示分块的数量，i表示当前图像分块的标号，式(15)表示当y pred≥ y label时，选择(1-r)| y label-y pred|用于计算损失；当y pred＜ y label时，选择r| y label-y pred|用于计算损失；L quant 用于体现真实概率分布y label和本轮训练的预测值y pred之间的差异程度；
S74，计算余弦相似度损失函数
Figure 266544DEST_PATH_IMAGE006
的值，如式(16)所示，
Figure 206818DEST_PATH_IMAGE007
（16）
在公式(16)中，||·||2表示 L2 范式，L cos 用于优化训练处理输出向量方向，使得本轮训练的预测值y pred和真实概率分布y label输出向量夹角的大小为0。
进一步的，所述利用设置了反馈消融点的反馈网络进行逐模块的反向传播，得到更新参数后的图像篡改检测模型，包括：
在分块特征提取模块、混合注意力模块、全分辨率保护调参网络模块和组合池化特征聚合模块中设置若干反馈消融点；采用基于反馈消融点的反向传播策略进行逐模块的反向传播，计算各模块每一个反馈消融点的梯度，并沿着梯度下降的方向更新各模块参数，得到更新参数后的图像篡改检测模型。
进一步的，所述基于反馈消融点的反向传播策略为：
后向传递以反馈消融点为基准，从一个反馈消融点开始到其下一个反馈消融点称为一组，后向传递时，按组为单位进行反向传播，每计算一组反馈时，仅从上一个反馈消融点开始激活计算，计算过的激活点在使用后立即删除该激活点中除输入变量、输出变量以外的所有中间变量。
本发明所达到的有益效果：
本发明的基于全分辨率混合注意力机制的图像篡改检测算法，有效地解决了现有方法存在的因潜在篡改区域纹理特征、边缘高频特征的丢失导致图像分辨率降低的问题。此外，针对深度学习网络在计算和内存资源方面的限制，首先构造了熵余弦损失函数，优化了网络输出向量的方向，加快了网络训练收敛速度；其次提出了基于反馈消融点的训练方法，实现了在有限内存下的模块化端到端训练；最后，基于上述的损失函数和训练方法，实现联合各模块的反馈来优化调整参数，又加快了模型的推理测试速度。经过实验验证，该方法在同时存在多种篡改类型的检测任务上具有更优的准确率、更强的鲁棒性、更快的训练速度和更小的内存占用，具有十分广阔的应用前景。
附图说明
图1是本发明提出的基于全分辨率混合注意力机制的图像篡改检测方法的流程图；
图2是不同检测的高斯噪声试验结果；
图3是不同检测的高斯模糊试验结果；
图4是不同检测的JPEG压缩试验结果；
图5是不同检测的色彩平衡的试验结果；
图6是本发明的混合注意力模块的模型图；
图7是本发明在混合注意力模块采用的通道注意力模块的模型图；
图8是本发明在混合注意力模块采用的空间注意力模块的模型图；
图9是本发明提出的基于全分辨率混合注意力机制的深度网络模型框架图；
图10是本发明提出的基于反馈消融点的可模块化端到端训练方法的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种基于全分辨率混合注意力机制的图像篡改检测方法，做到在有限的内存和时间资源内，在能够保留重要区域边缘微观纹理的高频信息同时，又能够通过联合各个分块的局部特征信息，进一步提高图像篡改检测的性能，其特征在于：包括以下步骤，
步骤（1），采用定步长滑动窗口的方法将输入图像进行分块，将原始图像分割成若干个大小为64×64的互不重叠的局部特征分块；
步骤（2），将步骤（1）所得的每个分块分别输入到Xception分块特征提取模块中进行特征提取，得到浅层场景语义特征；
步骤（3），将步骤（2）所得的各分块浅层场景语义特征，分别输入到混合注意力模块进作重点区域语义特征的提取，突出重点局部区域，得到细粒度、低分辨率的对象语义特征；
步骤（4），将步骤（3）所得的各分块低分辨率对象语义特征，进一步输入到全分辨率保护调参网络，利用反卷积层对潜在篡改区域的纹理特征信息及边缘高频特征信息作逐层参数调整，逐步扩大图像分辨率至全分辨率水平，最大化减少在步骤（2）和步骤（3）中因特征提取阶段导致的篡改纹理信息和边缘高频信息的丢失；
步骤（5），将步骤（4）所恢复的各分块全分辨率对象语义特征，进一步输入到由最大、最小、平均、均方构成的组合池化特征聚合模块，进行全局特征聚合；
步骤（6），将步骤（5）所聚合的全局图像全分辨率对象语义特征，输入到构建的熵余弦损失函数中，计算篡改检测模型训练的损失；
步骤（7），将步骤（6）所得的模型损失，输入到设置了反馈消融点的反馈网络进行逐模块的反向传播。反馈至步骤（1）~步骤（6）中的某一模块中进行重新训练，直到模型损失降低至设定参数值（本发明设置损失为0.05）以下。
步骤（8），将步骤（7）训练优化后的全局图像全分辨率对象语义特征，输入到决策分类模块，进行决策，给出篡改检测结果。
本发明提出的基于全分辨率混合注意力机制的图像篡改检测方法的流程图，如图1所示。
在步骤（1）中所述的通过定步长滑动窗口将输入图像分块方法，包括以下步骤，
S1-1设置滑动窗口大小为64×64，定步长为7；
S1-2将滑动窗口按照给定步长沿图像移动，将原始图像分割成若干个大小为64×64的互不重叠的局部特征分块。
在步骤（2）中所述的Xception是一种特征提取模型，考虑到主流的VGG-16特征提取模型使用的参数量较多会导致增大内存开销，且处理灰度图像时需重新训练。因此本发明采用Xception模型作为特征提取器。Xception分块特征提取方法，包括以下步骤，
S2-1 将步骤（1）中所得到的若干个局部特征分块，分别输入到Xception模型。此外，考虑到图像篡改技术都会采用后处理操作对篡改痕迹进行一定的掩盖，本文在输入层添加图像噪声图和高通图像残差，以期增强本发明模型的鲁棒性。为此，本发明专门设置了鲁棒性实验对所提出模型的鲁棒性进行验证，鲁棒性实验的参数设置，如表1所示。
表1
后处理操作 参数名称 取值范围
高斯噪声 噪声参数 [0.01, 0.05]
高斯模糊 模糊半径 [1.0,2.0]
JPEG压缩 压缩因子 [30,80]
色彩平衡 色彩平衡 [1.0,1.5]
鲁棒性实验的结果，如图2、图3、图4、图5所示依次表示不同检测的高斯噪声、高斯模糊、JPEG压缩、色彩平衡的试验结果，不同检测分别为拼接篡改检测F1、复制-移动篡改检测F1、拼接篡改检测ACC和复制-移动篡改检测ACC。在拼接篡改检测和复制-移动篡改检测两项任务中，本发明提出的模型面对各种后处理攻击方法的常见参数攻击，各指标分数不低于0.8，下降幅度在1%~3%内。由此可知本发明提出的模型鲁棒性较优，能抵抗一定范围内常规后处理攻击操作，确保性能下降幅度不超过3%。
S2-2 在Xception模型的卷积层对图像进行操作。输入图像先经过一个统一的1×1卷积核卷积，然后连接3个3×3的卷积核，该3个卷积操作只将前面1×1卷积结果中非重叠部分作为自己的二次输入；
S2-3得到二次输入后，经过分类器处理输出特征矩阵。
如图6所示，步骤（3）中所述的混合注意力模块是指本发明构造的由通道注意力模块和空间注意力模块构成的作重点区域语义特征的提取的模块。引入注意力机制模块会刺激视觉去重点关注整个场景的某一特定局部区域，从而过滤掉不相关的内容，实现重要内容的增强。从而将步骤（2）中提取到的浅层场景语义特征，进一步提取为细粒度、低分辨率的对象语义特征。包含以下步骤，
S3-1 将步骤（2）中所得的浅层场景语义特征输入到通道注意力机制模块中，第一通道注意力机制模块的模型，如图7所示。利用平均池化和最大池化，分别对特征图进行池化操作以聚合空间信息。将生成的两种空间上下文信息向前传播到共享网络，再将特征信息聚合后通过50%的正则化操作，并与输入特征信息相叠加。其中，共享网络是一个多层感知器，由一个输入层、一个隐藏层和一个输出层组成。最后得到的通道注意力特征信息M c 的计算方法为：
M c =σ（MLP（F avg-p ）+ MLP（F max-p ）） （1）
在式（1）中，其中σ对应于 sigmoid 激活，F avg-p 和F max-p 分别表示平均池化和最大池化的特征，MLP表示多层感知器。
在步骤S3-1中，通过模型训练加强篡改区域特征提取，得到了更为全面的特征数据，从而增强了图像表现力；
S3-2 进而利用空间注意力机制模块的任务相关性，S3-1中输出的通道注意力特征信息作为S3-2的输入，输入到空间注意力机制模块中，空间注意力机制模块的模型，如图8所示。将通道注意力特征信息沿着通道轴进行平均池化和最大池化操作，生成特征F avg-p 和F max-p 被融合并输入卷积层，再与输入特征信息相叠加，产生空间注意力M s ，计算方法如下：
M s =σ(Conv 7×7(Concat(F avg-p ,F max-p ))) （2）
在式（2）中，其中σ表示sigmoid激活，Conv 7×7表示卷积核大小为7×7的卷积操作，Concat是融合操作。
在步骤S3-1中，进一步提取潜在篡改区域空间位置特征信息，得到空间位置信息用以增强后续的网络模型的训练效果；
S3-3 将S3-2输出的空间注意力特征信息再输入到第二通道注意力机制模块的模型中，其结构与第一通道注意力机制模块的模型一致，利用S3-2得到的潜在篡改区域空间位置特征信息，在更为精确的空间位置上，进一步提取特征得到细粒度、低分辨率的对象语义特征。
步骤（4）中所述的全分辨率调参保护网络模块是指本发明提出的主要由反卷积操作和全分辨率迭代填充算法构成的网络结构，用于将低分辨率对象语义特征信息恢复至全分辨率对象语义特征信息，并突出潜在篡改区域的特征，包含以下步骤，
S4-1 将步骤（3）中所得的细粒度、低分辨率的对象语义特征输入到输入到全分辨率网络，将特征映射为输入矩阵。
S4-2紧接着对转置卷积矩阵进行反卷积操作，以得到语义特征图对应的潜在篡改区域位置。
S4-3 在该区域边缘上，根据公式(3)确定像素点的优先权，选取优先权最高的像素点，作为中心构造特定大小的像素块；
P(x)=C(x)D(x) （3）
在公式 (3) 中, C(x)为显著性水平, 表示样本块中包含的已知像素点的多少。D(x)是数据项, 表示结构信息量。其中, 𝐶(x) 和𝐷(x) 的计算公式如(4)、(5)所示：
Figure 448313DEST_PATH_IMAGE001
（4）
Figure 81419DEST_PATH_IMAGE002
（5）
其中,|Ψ x |表示样本块中像素点数，q是|Ψ x |中的某一具体像素点，Φ表示潜在篡改区域，n q 是修复边缘上的某一像素点的法向量，▽Iq ⊥为样本块中某一像素点q梯度方向的垂直方向，α是用来调整结构信息量大小的归一化因子。
S4-4 在输入矩阵中寻找与该像素块特征最相似的样本块，并采用均值填充法恢复该像素块的高频特征信息；
S4-5更新已恢复块中的像素点置信度，并转到步骤S4-3开始下一次迭代，找到下一个优先权最高的像素点所在的像素块，然后利用特征最相似的样本块对像素块进行像素填充，恢复该像素块的高频特征信息。再更新该像素块中像素点的置信度。如此反复，直到该分块中的所有像素点都被填充恢复完毕；
在经过反卷积层逐层迭代恢复填充后，扩大特征图的分辨率至与原分辨率相同，有效地减少了特征提取阶段篡改区域边缘高频特征丢失，得到细粒度全分辨率的对象语义特征。
步骤（5）中所述的组合池化特征聚合模块是指本发明提出的由最大、最小、平均和平方的平均值四种池化操作构成的特征聚合模块，包含以下步骤，
S5-1将步骤（4）提取到的大量的细粒度全分辨率的对象语义特征输入到组合池化特征聚合模块；
S5-2 按照分量类型选择对特征的操作，当判别信息分布在全局图像时，采取平均池化操作；当判别信息集中于局部区域时，采取最小或最大池化操作；最大、最小、平均和平方的平均值四种池化操作的公式如下：
Figure 509996DEST_PATH_IMAGE008
在式(6)-(9)中，其中F i =[F 1,…, F C ]是从第i个图像分块中提取的 C 分量特征,N p 是分块的数量。
根据采取的池化类型，确定相应的组合池化特征聚合模块的损失函数类型，将决 定反向传播如何更新特征提取器的参数。其中
Figure 253961DEST_PATH_IMAGE009
相对于𝜃的梯度变化为：
Figure DEST_PATH_IMAGE010
（10）
在式(10)中，F agg,c 表示C分量特征的聚合特征，
Figure 835115DEST_PATH_IMAGE009
表示框架的损失函数，𝜃表示卷积 神经网络的通用参数。其中的F agg,c 将根据池化类型进行相应的选择。
Figure DEST_PATH_IMAGE012
（11）
在式(11)中，δ k,j 是一个起到激活调节作用的参数，当第i个图像分块的对象语义特征向量k=j时，δ k,j 取值为1，否则取0，j= k max (c)或k min (c)，k max (c)和k min (c)分别指向具有最大和最小c个分量的特征向量，最大或最小池化使部分激活分块对训练期间梯度的更新有贡献，平均和均方池化时所有分块均有贡献，因此，当同时使用多种形式的池化组合时，由各个项的加权和得到相应梯度。
步骤（6）中所述的分位余弦损失函数是指本发明提出的全新损失函数，现有模型通常选择平方误差损失、交叉熵损失、绝对值损失等函数。为了优化输出向量梯度方向，减少网络训练所耗费的时间，本发明设计了分位余弦损失函数，计算损失函数的方法包含以下步骤，
S6-1 在训练篡改检测任务时，篡改检测的损失函数L dec包含拼接损失L splice和复制-移动损失L copy-move，如式(12)所示：
L dec=β(L splice+ L copy-move) （12）
在式(12)中，设置权重参数β=0.5保证拼接检测和复制-移动检测的任务平衡。
S6-2 计算拼接损失L splice和复制-移动损失L copy-move，在计算拼接损失L splice和复制-移动损失L copy-move时，本发明构造了分位余弦损失函数应用于图像篡改检测任务损失计算中，保证了整体方向朝着全局最优解的方向靠近，并且加快了训练收敛的速度，如式(13)、式(14)所示。
L splice=γ1 L quant +δ1 log(1+ L cos ) （13）
L copy-move=γ2 L quant +δ2 log(1+ L cos ) （14）
其中，L quant 表示分位损失函数，其作为主损失函数，权重参数γ1=γ2=1.2，L cos 表示余弦相似度损失函数，其作为辅损失函数，权值参数δ1=δ2=0.4。
S6-3 计算分位损失函数L quant ，如式(15)所示。
Figure 622811DEST_PATH_IMAGE013
（15）
在式(15)中，y label表示真实概率分布，y pred表示本轮训练的预测值，r表示分位系数，N p 表示分块的数量，i表示当前图像分块的标号，式(15)表示当y pred≥ y label时，选择(1-r)| y label-y pred|用于计算损失；当y pred＜ y label时，选择r| y label-y pred|用于计算损失；L quant 用于体现真实概率分布y label和本轮训练的预测值y pred之间的差异程度；采用L quant 作为主要损失函数，用来表示真实概率分布y label和本轮训练的预测值y pred之间的差异程度，进而调整超参数。由于分位损失函数曲线为凸曲线，曲线整体呈单调性，损失越大，梯度越大，便于反向传播时快速优化。
S6-4 计算L cos 余弦相似度损失函数，如式(16)所示。
Figure 820574DEST_PATH_IMAGE007
（16）
在公式(16)中，||·||2表示 L2 范式。采用L cos 作为辅助损失函数，用来优化训练处理输出向量方向，使得预测概率分布y pred和真实概率分布y label输出向量夹角的大小为0。
步骤（7）中所述的设置了反馈消融点的反馈网络是指本发明提出的基于反馈消融点的可模块化端到端训练的反馈网络。如图10所示，设计的具体方法包含以下步骤，
S7-1 在前向传递 (a) 期间，各模块的网络结点用于计算前向传递的输出信息。将网络结点分为两类，一类是正常的变量参数结点，称为激活点（圆圈中为黑点）；另一类是本发明所设置的若干个变量参数结点，称为反馈消融点（圆圈中为三角形），反向传递时，在激活点和反馈消融点处采用对应的损失函数和正向传播时的输出为基础，根据链式求导法对每个参数求偏导，得到该层中每一个参数结点的参数梯度。并沿着该参数梯度下降的方向，更新该参数。除了反馈消融点(圆圈中为三角形)以外，其余已计算过的激活点在使用后立即删除该结点中除了输入变量、输出变量以外的所有中间变量（单个圆圈），以节约模型训练的内存开销。
S7-2在后向传递 (b)-(e) 期间，各模块的网络结点用于计算后向传递的梯度信息。后向传递以反馈消融点为基准，从一个反馈消融点开始到其下一个反馈消融点（不包括该反馈消融点）称为一组。后向传递时，按组为单位进行反向传播，每计算一组反馈时(在图中示例显示了两组，每组以4层为例)，仅需从上一个反馈消融点开始激活计算，计算过的激活点在使用后立即删除该激活点中除输入变量、输出变量以外的所有中间变量，见(b)；
S7-3在上述策略下，允许模型在后向反馈过程中反向传播梯度损失直到已设置的反馈消融点本身，并且在反向传播到上一个反馈消融点时，继续删除其前方已计算过的激活点，见(c)；
S7-4 在上述策略下，此时除反馈消融点和各激活点的输入输出变量以外的所有无关变量都被删除，并且该过程以新的层组 (d)-(e) 继续。
通过合理设置反馈消融点的数量，可以显著减少内存占用，并实现模块化端到端训练。由于使用此解决方案可以端到端地训练网络的各个模块，从而做到了联合各模块的反馈来优化调整参数，最终加快测试阶段的推理速度。
步骤（8）中所述的决策分类模块是指由2层全连接层组成的分类器，这是深度网络中使用的典型分类器，可以同时在复杂性和准确性之间提供优越的折中性能。
综上，本发明提出的基于全分辨率混合注意力机制的深度网络模型框架，如图9所示。为了验证本发明提出的模型中各模块的有效性，证明全分辨率网络(FR-Net)、Xception特征提取模块(XFEM)、混合注意力模块(HAM)、组合池化特征聚合模块(CAFM)、以及熵余弦损失函数(L 熵余弦)在模型中的效果，本节在构造的小规模多篡改类型数据集(SMT Dataset)上采用ACC、F1-分数、AUC作为主要性能指标进行各模块消融实验，具体的实验结果如表 2所示。
表2
FR-Net XFEM HAM CAFM <i>L</i><sub>熵余弦</sub> ACC F1 AUC
√ × × × × 0.253 0.282 0.379
√ × × √ × 0.425 0.324 0.382
√ √ × × × 0.318 0.352 0.279
√ × √ × × 0.397 0.426 0.410
√ √ √ × × 0.722 0.652 0.708
√ √ √ √ × 0.896 0.835 0.856
× √ √ √ × 0.814 0.765 0.781
√ √ √ √ √ 0.902 0.838 0.855
表2中的第3行到第5行的数据表明，通过实验消融模型中的XFEM和HAM两个模块，证明了XFEM与HAM在模型中同时存在有效地提升了篡改检测的性能，ACC、F1、AUC分别达到了0.722、0.652、0.708。在此基础上，表2中的第2行、第5行和第6行的数据表明，通过实验消融模型中的CAFM模块，证明了当XFEM、HAM和CAFM在模型中同时存在时，模型的性能指标达到较为理想的效果。表2中的第6行和第7行的数据表明，通过实验消融模型中的基线网络FR-Net，各指标均出现明显下降，充分证明了FR-Net所保护的篡改区域纹理特征以及边缘高频特征信息对于篡改检测结果具有至关重要的作用。表2中的第6行和第8行的数据表明，通过损失函数消融实验，添加L 熵余弦后ACC、F1分数均达到最优状态，且实验过程中L 熵余弦的存在减少了模型训练收敛的时间。
为了评估本发明提出的上述方法性能与现有主流方法相比的优势，本发明在公开的 CAISA v2.0 与 NIST-NC-17 篡改数据集上进行模型对比实验。在本实验中进行对比的主要模型包括FCN、RRU Net、DA-Net、HR-Net，在CAISA v2.0数据集上，各模型对比实验结果如表3所示，本发明提出的FRHA-Net（全分辨率混合注意力机制网络）在实验中均取得了各模型对比的最高值，分别为0.892、0.873、0.867。在NIST-NC-17数据集上，各模型对比实验结果如表4所示，本发明提出的FRHA-Net在对比实验中均取得了各模型对比的最高值，分别为0.904、0.838、0.859。
表3
模型名称 ACC F1 AUC
FCN 0.672 0.582 0.687
DA-Net 0.616 0.589 0.628
HR-Net 0.733 0.660 0.702
RRU-Net 0.865 0.849 0.867
FRHA-Net 0.892 0.873 0.867
表4
模型名称 ACC F1 AUC
FCN 0.589 0.635 0.647
DA-Net 0.738 0.641 0.628
HR-Net 0.784 0.629 0.712
RRU-Net 0.875 0.821 0.845
FRHA-Net 0.904 0.838 0.859
由表3和表4中实验数据可知本发明提出的方法在NIST-NC-17数据集上的ACC、F1-分数评价指标的表现相较于其他模型有着明显优势，均取得了最优。其中ACC指标在CAISAv1.0、NIST-NC-17数据集上分别比次优的RRU-Net高出3.12%、3.31%；而F1-分数指标在CAISA v1.0、NIST-NC-17数据集上分别比次优的RRU-Net高出2.83%、2.07%；AUC性能指标也在两种测试集上达到了较优秀的水平。由此也可以证明，本发明提出的方法还具有较好的泛化性，在两个数据集上进行不同篡改类型检测表现出的性能均较为优异。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，包括：
获取待检测的图像，输入到预先训练好的基于全分辨率混合注意力机制的图像篡改检测模型，输出篡改检测结果；
所述图像篡改检测模型的训练过程包括：
步骤S1，获取若干已标记篡改状况的图像作为训练集；
步骤S2，采用定步长滑动窗口的方法将训练集中的任意某个图像分割成若干个相同大小的互不重叠的局部特征分块；
步骤S3，将每个局部特征分块分别输入到分块特征提取模块中进行特征提取，得到浅层场景语义特征；
步骤S4，将各局部特征分块的浅层场景语义特征，分别输入到混合注意力模块进作重点区域语义特征的提取，得到细粒度、低分辨率的对象语义特征；
步骤S5，将各局部特征分块的低分辨率对象语义特征，输入到全分辨率保护调参网络模块，利用反卷积层对潜在篡改区域的纹理特征信息及边缘高频特征信息作逐层参数调整，逐步扩大图像分辨率至全分辨率水平，得到各局部特征分块的全分辨率对象语义特征；
步骤S6，将各局部特征分块的全分辨率对象语义特征输入到由最大、最小、平均、均方构成的组合池化特征聚合模块，进行全局特征聚合，得到本轮训练的预测值；
步骤S7，将本轮训练的预测值输入到预先构建的图像篡改检测模型的损失函数中，计算图像篡改检测模型训练的损失；
步骤S8，若所述损失不低于预先设置的损失阈值，则利用设置了反馈消融点的反馈网络进行逐模块的反向传播，得到更新参数后的图像篡改检测模型；
步骤S9，从训练集中重新选择图像对更新参数后的图像篡改检测模型进行训练，直到训练集中所有图像计算的损失均低于预先设置的损失阈值，得到训练好的图像篡改检测模型。
2.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，所述分块特征提取模块采用Xception模型。
3.根据权利要求2所述的基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，所述Xception模型的输入层添加图像噪声图和高通图像残差。
4.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，所述混合注意力模块包括第一通道注意力机制模块、空间注意力机制模块和第二通道注意力机制模块；
所述步骤S4，包括：
S41，将所述浅层场景语义特征输入到第一通道注意力机制模块中，利用第一通道注意力机制模块中的平均池化和最大池化，分别对浅层场景语义特征进行池化操作，将池化操作生成的两种空间上下文信息向前传播到共享网络，产生通道注意力特征信息；
S42，将所述通道注意力特征信息输入到空间注意力机制模块中，利用空间注意力机制模块中的平均池化和最大池化操作，生成特征F avg-p 和F max-p 被融合并输入卷积层得到空间位置特征信息，F avg-p 和F max-p 分别表示平均池化和最大池化的特征；
S43，将S42所得空间位置特征信息输入到第二通道注意力机制模块中，提取为细粒度、低分辨率的对象语义特征。
5.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，所述局部特征分块的全分辨率对象语义特征的获取过程包括：
S51，将局部特征分块的低分辨率对象语义特征映射为输入矩阵；
S52，对该输入特征矩阵进行反卷积操作，得到语义特征图对应的潜在篡改区域；
S53，在该潜在篡改区域的边缘上，根据公式(3)确定像素点的优先权，选取优先权最高的像素点，作为中心构造特定大小的像素块；
P(x)=C(x)D(x) （3）
在公式 (3) 中， C(x)为显著性水平，表示样本块中包含的已知像素点的多少，𝐷(x)为数据项，表示结构信息量；
S54，在输入矩阵中寻找与该像素块的特征最相似的样本块，并采用均值填充法恢复该像素块的高频特征信息；
S55，更新已恢复高频特征信息的像素块中的像素点置信度，从而更新该像素块的显著性水平，降低该像素块在下一次计算中的优先权；
S56，重复S53-S55，直到该分块中的所有像素点都被填充恢复完毕。
6.根据权利要求5所述的基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，所述𝐶(x) 和𝐷(x) 的计算公式如(4)、(5)所示：
Figure 312725DEST_PATH_IMAGE001
（4）
Figure 761024DEST_PATH_IMAGE002
（5）
其中，|Ψ x |表示样本块中像素点数，Ψ x 表示以像素点x为中心构造的像素块；q是Ψ x 中的某一具体像素点，Φ表示潜在篡改区域；C(q)表示该像素点q的显著性水平，当q属于Φ时，C(q)取值为1，否则取值为0；n q 是修复边缘上的某一像素点的法向量，▽I q ⊥为样本块中某一像素点q梯度方向的垂直方向，α是用来调整结构信息量大小的归一化因子。
7.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，所述步骤S6，包括：
S61，将所述各局部特征分块的全分辨率对象语义特征输入到组合池化特征聚合模块；
S62，按照分量类型选择对特征的操作，当判别信息分布在全局图像时，采取平均或均方池化操作得到本轮训练的预测值；当判别信息集中于局部区域时，采取最小或最大池化操作得到本轮训练的预测值；最大、最小、平均和平方的平均值四种池化操作的公式如下：
Figure 947286DEST_PATH_IMAGE003
在式(6)-(9)中，其中F i =[F 1,…, F C ]是从第i个图像分块中提取的 C 分量特征，C表示划分特征矩阵时选择的有效维数，N p 是分块的数量。
8.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，所述步骤S7，包括：
S71，在训练篡改检测任务时，图像篡改检测模型的损失函数Ldec包含拼接损失L splice和复制-移动损失L copy-move，如式(12)所示：
L dec=β(L splice+ L copy-move) （12）
在式(12)中，β表示权重参数；
S72，构造分位余弦损失函数应用于图像篡改检测任务损失计算中，如式(13)、式(14)所示；
L splice=γ1 L quant +δ1 log(1+ L cos ) （13）
L copy-move=γ2 L quant +δ2 log(1+ L cos ) （14）
其中，分位损失函数L quant 为主损失函数，权重参数γ1=γ2，余弦相似度损失函数L cos 为辅损失函数，权值参数δ1=δ2；
S73，计算分位损失函数L quant 的值，如式(15)所示，
Figure 608074DEST_PATH_IMAGE005
（15）
在式(15)中，y label表示真实概率分布，y pred表示本轮训练的预测值，r表示分位系数，N p 表示分块的数量，i表示当前图像分块的标号，式(15)表示当y pred≥ y label时，选择(1-r)| y label-y pred|用于计算损失；当y pred＜ y label时，选择r| y label-y pred|用于计算损失；L quant 用于体现真实概率分布y label和本轮训练的预测值y pred之间的差异程度；
S74，计算余弦相似度损失函数
Figure 953605DEST_PATH_IMAGE006
的值，如式(16)所示，
Figure 917013DEST_PATH_IMAGE007
（16）
在公式(16)中，||·||2表示 L2 范式，L cos 用于优化训练处理输出向量方向，使得本轮训练的预测值y pred和真实概率分布y label输出向量夹角的大小为0。
9.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，所述利用设置了反馈消融点的反馈网络进行逐模块的反向传播，得到更新参数后的图像篡改检测模型，包括：
在分块特征提取模块、混合注意力模块、全分辨率保护调参网络模块和组合池化特征聚合模块中设置若干反馈消融点；采用基于反馈消融点的反向传播策略进行逐模块的反向传播，计算各模块每一个反馈消融点的梯度，并沿着梯度下降的方向更新各模块参数，得到更新参数后的图像篡改检测模型。
10.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法，其特征在于，所述基于反馈消融点的反向传播策略为：
后向传递以反馈消融点为基准，从一个反馈消融点开始到其下一个反馈消融点称为一组，后向传递时，按组为单位进行反向传播，每计算一组反馈时，仅从上一个反馈消融点开始激活计算，计算过的激活点在使用后立即删除该激活点中除输入变量、输出变量以外的所有中间变量。
CN202210519003.0A 2022-05-13 2022-05-13 一种基于全分辨率混合注意力机制的图像篡改检测方法 Active CN114612476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210519003.0A CN114612476B (zh) 2022-05-13 2022-05-13 一种基于全分辨率混合注意力机制的图像篡改检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210519003.0A CN114612476B (zh) 2022-05-13 2022-05-13 一种基于全分辨率混合注意力机制的图像篡改检测方法

Publications (2)

Publication Number Publication Date
CN114612476A true CN114612476A (zh) 2022-06-10
CN114612476B CN114612476B (zh) 2022-07-22

Family

ID=81870611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210519003.0A Active CN114612476B (zh) 2022-05-13 2022-05-13 一种基于全分辨率混合注意力机制的图像篡改检测方法

Country Status (1)

Country Link
CN (1) CN114612476B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764858A (zh) * 2022-06-15 2022-07-19 深圳大学 复制粘贴图像识别方法、装置、计算机设备及存储介质
CN116935200A (zh) * 2023-09-19 2023-10-24 南京信息工程大学 面向审计的图像篡改检测方法、系统、设备及存储介质
CN117809140A (zh) * 2024-03-01 2024-04-02 榆林拓峰达岸网络科技有限公司 基于图像识别的图像预处理系统及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156486A1 (en) * 2016-12-30 2019-05-23 Ping An Technology (Shenzhen) Co., Ltd. Method and system of detecting image tampering, electronic device and storage medium
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN110852316A (zh) * 2019-11-07 2020-02-28 中山大学 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN112907598A (zh) * 2021-02-08 2021-06-04 东南数字经济发展研究院 一种基于注意力cnn文档证件类图像篡改检测方法
CN113570540A (zh) * 2020-04-28 2021-10-29 上海舜瞳科技有限公司 一种基于检测-分割架构的图像篡改盲取证方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156486A1 (en) * 2016-12-30 2019-05-23 Ping An Technology (Shenzhen) Co., Ltd. Method and system of detecting image tampering, electronic device and storage medium
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN110852316A (zh) * 2019-11-07 2020-02-28 中山大学 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN113570540A (zh) * 2020-04-28 2021-10-29 上海舜瞳科技有限公司 一种基于检测-分割架构的图像篡改盲取证方法
CN112907598A (zh) * 2021-02-08 2021-06-04 东南数字经济发展研究院 一种基于注意力cnn文档证件类图像篡改检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毕秀丽等: "基于级联卷积神经网络的图像篡改检测算法", 《电子与信息学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764858A (zh) * 2022-06-15 2022-07-19 深圳大学 复制粘贴图像识别方法、装置、计算机设备及存储介质
CN116935200A (zh) * 2023-09-19 2023-10-24 南京信息工程大学 面向审计的图像篡改检测方法、系统、设备及存储介质
CN116935200B (zh) * 2023-09-19 2023-12-19 南京信息工程大学 面向审计的图像篡改检测方法、系统、设备及存储介质
CN117809140A (zh) * 2024-03-01 2024-04-02 榆林拓峰达岸网络科技有限公司 基于图像识别的图像预处理系统及其方法
CN117809140B (zh) * 2024-03-01 2024-05-28 榆林拓峰达岸网络科技有限公司 基于图像识别的图像预处理系统及其方法

Also Published As

Publication number Publication date
CN114612476B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114612476B (zh) 一种基于全分辨率混合注意力机制的图像篡改检测方法
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN111652321B (zh) 一种基于改进yolov3算法的海上船舶检测方法
CN110245655B (zh) 一种基于轻量级图像金字塔网络的单阶段物体检测方法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN113610087B (zh) 一种基于先验超分辨率的图像小目标检测方法及存储介质
CN108241854A (zh) 一种基于运动和记忆信息的深度视频显著性检测方法
CN115082675B (zh) 一种透明物体图像分割方法及系统
CN113361546A (zh) 融合非对称卷积和注意力机制的遥感图像特征提取方法
CN111861906A (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN114463176B (zh) 基于改进esrgan的图像超分辨重建方法
CN111400572A (zh) 一种基于卷积神经网络实现图像特征识别的内容安全监测系统及其方法
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
CN110222822B (zh) 黑盒预测模型内部特征因果图的构建方法
Zhang et al. Learning nonlocal quadrature contrast for detection and recognition of infrared rotary-wing UAV targets in complex background
CN114494699A (zh) 基于语义传播与前背景感知的图像语义分割方法及系统
CN117853735A (zh) 一种单幅图像混合雨水去除方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN112529047A (zh) 一种基于梯度屏蔽的对抗样本生成方法
Günen et al. A novel edge detection approach based on backtracking search optimization algorithm (BSA) clustering
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant