CN113744153A - 双分支图像修复伪造检测方法、系统、设备及存储介质 - Google Patents

双分支图像修复伪造检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113744153A
CN113744153A CN202111025471.4A CN202111025471A CN113744153A CN 113744153 A CN113744153 A CN 113744153A CN 202111025471 A CN202111025471 A CN 202111025471A CN 113744153 A CN113744153 A CN 113744153A
Authority
CN
China
Prior art keywords
image
branch
boundary
mask
forged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111025471.4A
Other languages
English (en)
Other versions
CN113744153B (zh
Inventor
胡良沛
李元满
李霞
周建涛
王娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202111025471.4A priority Critical patent/CN113744153B/zh
Publication of CN113744153A publication Critical patent/CN113744153A/zh
Application granted granted Critical
Publication of CN113744153B publication Critical patent/CN113744153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体涉及双分支图像修复伪造检测方法、系统、设备及存储介质。该方法包括：S1、获取伪造图像训练集，所述伪造图像训练集包括伪造后图像、对应的原图以及对应的真实掩码；S2、真实掩码解耦得到真实边界；S3、将所述伪造后图像、对应的真实掩码以及对应的真实边界输入检测网络模型进行训练学习，所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界；S4、通过最小化融合损失函数更新优化所述检测网络模型，输入伪造图像即可检测出修复伪造区域。本发明充分利用了Transformer能很好地学到全局语义信息的特性，从而让两个分支都能够更好地提取对应的伪造区域全局信息。

Description

双分支图像修复伪造检测方法、系统、设备及存储介质
技术领域
本发明属于图像处理技术领域，具体涉及一种基于Transformer的双分支图像修复伪造检测方法、系统、设备及存储介质。
背景技术
图像修复(Image Inpainting)是指按照一定的修复规则，填充不完整图像的缺失区域以使修复完毕的图像在视觉上看起来合理的图像处理过程。它在图像处理和计算机视觉领域有广泛的应用，例如修复损坏的照片。然而，图像修复技术也可能被恶意利用来改变和删除内容，并且这种伪造通过肉眼难以察觉；比如在法庭上使用修复的图像作为证据，移除图像中的关键对象来报道假新闻，擦除可见的版权水印等等，这些图像伪造都给社会带来了严重的不良影响。如何根据给定的一幅图像，准确检测和定位修复区域，对图像取证分析和多媒体安全研究有着重要意义。
目前，研究图像修复伪造这一问题，主要存在以下难点：1)隐蔽性：随着卷积神经网络的高速发展，再加上近年来生成对抗网络(GAN)的广泛研究，现如今提出的基于生成式对抗网络的对抗训练可以强化生成网络修复的图像的视觉效果，使训练后的卷积神经网络能够修复出媲美原图的修复图像，并且其语义信息和纹理信息和原图相近，这种伪造肉眼难以察觉，也加大了图像修复检测算法的检测难度。2)通用性，对于给定的图像，我们难以得知对应的修复伪造方法，修复伪造方法主要分为传统的修复方法和基于深度学习的修复方法，且也有可能采用一种以上的修复算法来伪造单个图像。
检测修复伪造的传统方法是在给定的图像中搜索相似的块，具有高匹配度的块则被认定是伪造的(复制粘贴覆盖)。但随着基于深度学习的修复伪造方法兴起，此种伪造方法在修复的区域中留下完全不同的图像内容，导致传统的检测修复的方法的检测性能非常差。现有的较好的伪造检测算法依赖卷积神经网络良好的分类性能，可以较为准确地检测出图像特定的修复区域。然而，目前的图像修复的检测算法效果不足以达到应用要求，且由于卷积运算的内在局限性，他们的方法未能充分学习到全局的语义信息。
发明内容
为解决现有技术中图像修复检测方法检测精度还不够高，且无法很好的建模伪造图像的全局信息的问题，本发明提供了一种基于Transformer的双分支图像修复伪造检测方法、系统、设备及存储介质，充分利用了Transformer能很好地学到全局语义信息的特性，从而让两个分支都能够更好地提取对应的伪造区域全局信息。
本发明采用以下技术方案实现：
一种双分支图像修复伪造检测方法，包括：
获取伪造图像训练集，所述伪造图像训练集包括伪造后图像、对应的原图以及对应的真实掩码；
根据获取的所述伪造后图像的真实掩码解耦出边界，得到所述真实掩码对应的真实边界；
将所述伪造后图像、对应的真实掩码以及对应的真实边界输入检测网络模型进行训练学习，所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界；
通过最小化融合损失函数更新优化所述检测网络模型，检测出所述伪造后图像中的修复伪造区域；
获取待检测的伪造图像，输入更新优化后的所述检测网络模型，检测输出所述待检测的伪造图像的修复伪造区域。
进一步的，所述伪造后图像的真实掩码解耦出边界的方法，包括：
获取所述伪造后图像的真实掩码Mg，并对所述真实掩码Mg进行二值化处理，得到二值图像I，其中，所述二值图像I包括前景Ifg和背景Ibg；
根据所述二值图像I的每个像素p对应的像素值I(p)，判断每个像素p属于前景Ifg或背景Ibg；
当所述像素p属于前景Ifg，则像素值I(p)等于1，并在背景Ibg中查找其最近的像素q，然后使用度量函数f(p,q)计算像素p和q之间的距离；
当所述像素p属于背景Ibg，则像素值I(p)等于0，则所述像素p与其在背景Ibg中最近的像素q的最小距离设置为零；
将所述二值图像I进行距离变换生成新图像I′，并采用线性函数归一化所述新图像I′中的像素值，并将所述像素值映射到[0，1]之间，1-I′为图像I′的边界；
将图像I′的边界1-I′与原始的二值图像I相乘，以消除背景干扰，解耦出边界Me,Me＝I*(1-I′)。
进一步的，所述度量函数f(p,q)用于测量像素p与像素q之间的距离，所述度量函数为：
Figure BDA0003243206340000031
将所述二值图像I进行距离变换生成新图像I′，距离变换为：
Figure BDA0003243206340000032
采用线性函数归一化所述新图像I′中的像素值，所述线性函数为：
Figure BDA0003243206340000041
进一步的，所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界的方法，包括：
获取输入的伪造后图像，对所述伪造后图像进行图像特征的提取，输出特征图；
将所述特征图进行转换，得到图像块表征向量；
将所述图像块表征向量进行位置编码，得到整体掩码分支和边界提取分支的位置表征向量；
将包含修复伪造痕迹的所述图像块表征向量和所述位置表征向量输入到Transformer编码器网络中进行编码，所述整体掩码分支和边界提取分支分别输出对应的具有全局语义信息的高级特征图；
将所述整体掩码分支和边界提取分支的高级特征图经融合解码后，分别输出整体掩码和预测边界。
进一步的，所述图像特征的提取的方法包括：
获取输入RGB三通道大小为256×256×3的伪造后图像；
通过特征提取模块提取后，得到RGB三通道为128×128×32的特征图；
其中，所述特征提取模块包括三个滤波器，其中：
第一个滤波器，通过卷积层Conv layer提取输入的256×256×3的伪造后图像的局部信息，输出尺寸大小为256×256×3的特征图A；
第二个滤波器，通过条件卷积层Bayar layer自适应地学习低级残差特征来检测修复痕迹，输出尺寸大小为256×256×3的特征图B；
第三个滤波器，通过高通预处理层PF layer得到残差信息，输出尺寸大小为256×256×9的特征图C；
还包括：将三个滤波器处理得到的特征图A、特征图B、特征图C在通道上结合得到尺寸大小为256×256×15的特征图D；
在经过一层卷积层Conv layer在通道维度上增强连接特征，特征图D从15个通道转换成32个通道，且基于卷积步长为2将特征图D尺寸减半输出为尺寸大小为128×128×32的特征图E。
进一步的，将所述特征图进行转换，得到图像块表征向量的方法，包括：
获取所述整体掩码分支和边界提取分支的128×128×32的特征图；
将特征图分切成1024个尺寸大小为4×4×32的图像块；
按每个图像块展平后得到尺寸大小为1024×512的图像；
采用标准的Transformer在所有图层上使用恒定大小的隐矢量D，使用可训练的线性投影映射到D的大小，投影输出图像块表征向量；
其中，所述图像块表征向量由1024个图像块组成，每个图像块所对应的图像块表征向量由相应图像块展平后进行特征向量表示。
进一步的，所述整体掩码分支和边界提取分支输出的高级特征图的尺寸大小各为32×32×512；所述整体掩码分支和边界提取分支得到的高级特征图按通道相加融合成32×32×1024，并经过卷积操作还原至尺寸大小为32×32×512的特征图，作为解码器输入；
所述将所述整体掩码分支和边界提取分支的高级特征图经融合解码后，分别输出整体掩码和预测边界，包括：
将尺寸大小为32×32×512的特征图输入解码器；
采用双线性插值将所述特征图上采样2倍，尺寸大小变为64×64×512；
采用双线性插值将所述特征图上采样2倍，尺寸大小变为64×64×512；
在经过一层卷积处理后，获得的特征图尺寸大小为64×64×256，再双线性插值将所述特征图上采样2倍；
再经过一层卷积得到特征图尺寸为128×128×256，再双线性插值将所述特征图上采样2倍；
再经过一层卷积使通道数从256变为1，经中值滤波后再通过激活函数Sigmoid输出。
进一步的，所述通过最小化融合损失函数更新优化所述检测网络模型，通过二元交叉熵损失函数
Figure BDA0003243206340000061
和融合了焦点损失的交叉熵损失函数
Figure BDA0003243206340000062
相加作为监督一条分支的损失函数
Figure BDA0003243206340000063
两个分支分别是检测出掩码的边界Md和整体的掩码Mo，其公式包括：
Figure BDA0003243206340000064
其中，二元交叉熵损失函数
Figure BDA0003243206340000065
的
Figure BDA0003243206340000066
的计算公式为：
Figure BDA0003243206340000067
其中，焦点损失的交叉熵损失函数
Figure BDA0003243206340000068
的
Figure BDA0003243206340000069
的计算公式为：
Figure BDA00032432063400000610
基于所述融合损失
Figure BDA00032432063400000611
根据输入真实的掩码Mg和网络检测出掩码Mo，得到边界损失
Figure BDA00032432063400000612
基于所述融合损失
Figure BDA00032432063400000613
根据输入真实的边界Me和网络检测出的掩码Md，得到边界损失
Figure BDA00032432063400000614
将边界损失
Figure BDA0003243206340000071
和掩码损失
Figure BDA0003243206340000072
按权重相加后，得到总的损失函数
Figure BDA0003243206340000073
即最小化损失函数
Figure BDA0003243206340000074
其中：
Figure BDA0003243206340000075
其中，β和δ通常分别设置为0.9和0.1。
本发明还包括一种双分支图像修复伪造检测系统，所述双分支图像修复伪造检测系统采用上述双分支图像修复伪造检测方法检测出伪造图像的修复伪造区域；所述双分支图像修复伪造检测系统包括真实边界解耦模块、网络模型训练模块以及网络模型优化模块。
所述真实边界解耦模块用于将获取的伪造图像训练集中伪造后图像对应的真实掩码解耦出边界，得到所述真实掩码对应的真实边界。
所述网络模型训练模块用于将所述伪造后图像、对应的真实掩码以及对应的真实边界输入检测网络模型进行训练学习，所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界。
所述网络模型优化模块用于通过最小化融合损失函数更新优化，得到能检测出所述伪造后图像中的修复伪造区域的检测网络模型，待检测的伪造图像输入优化后检测网络模型，检测输出伪造图像的修复伪造区域。
进一步的，还包括特征提取模块、特征图转换模块、位置编码模块、Transformer编码模块以及融合解码模块。所述特征提取模块用于获取输入的伪造后图像，提取输出特征图。所述特征图转换模块用于将所述特征图进行转换，得到图像块表征向量。所述位置编码模块用于将所述图像块表征向量进行位置编码，得到整体掩码分支和边界提取分支的位置表征向量。
所述Transformer编码模块用于将包含修复伪造痕迹的所述图像块表征向量和所述位置表征向量输入到Transformer编码器网络中进行编码；所述融合解码模块用于将所述整体掩码分支和边界提取分支分别输出对应的具有全局语义信息的高级特征图，并将所述整体掩码分支和边界提取分支的高级特征图经融合解码后，分别输出整体掩码和预测边界。
本发明还包括一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器加载并执行所述计算机程序时实现双分支图像修复伪造检测方法的步骤。
本发明还包括一种存储介质，存储有计算机程序，所述计算机程序被处理器加载并执行时实现所述双分支图像修复伪造检测方法的步骤。
本发明提供的技术方案，具有如下有益效果：
本发明提供的技术方案充分利用了Transformer能很好地学到全局语义信息的特性，从而让两个分支都能够更好地提取对应的伪造区域全局信息。一个分支能够有效提取伪造区域的边界特征，另外一个分支更好能够提取整体的伪造区域特征。通过将边缘特征和整体的伪造区域特征进行融合，能够更好地增强提取到的特征，从而有效编码图像的修复伪造区域，再经过解码器解码后，进一步提高图像修复伪造检测的精度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例的一种双分支图像修复伪造检测方法的流程图。
图2为本发明实施例的一种双分支图像修复伪造检测方法中整体掩码和预测边界检测的流程图。
图3为本发明实施例的一种双分支图像修复伪造检测方法中特征提取示意图。
图4为本发明实施例的一种双分支图像修复伪造检测方法中解码器的解码示意图。
图5为本发明实施例的一种双分支图像修复伪造检测方法中检测网络的框架示意图。
图6为本发明实施例的一种双分支图像修复伪造检测方法中图像伪造区域检测的效果图；图中(a)表示原图，图中(b)表示通过修复伪造的图片，图中(c)表示算法检测结果。
图7为本发明实施例的一种双分支图像修复伪造检测方法中解耦出边界的效果图；图中(d)表示真实掩码Mg，图中(e)表示解耦出来的边界。
图8为本发明实施例中一种双分支图像修复伪造检测系统的系统框图。
图9为本发明实施例中一种双分支图像修复伪造检测系统中网络模型训练模块的系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的一种双分支图像修复伪造检测方法，充分利用了Transformer能很好地学到全局语义信息的特性，从而让两个分支都能够更好地提取对应的伪造区域全局信息，提高图像修复伪造检测的精度。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明公开及其应用或使用的任何限制。
具体地，下面结合附图，对本申请实施例作进一步阐述。
如图1所示，本发明的一个实施例提供一种双分支图像修复伪造检测方法，该方法用于检测出伪造图像的修复伪造区域；该方法包括如下步骤：
S1：获取伪造图像训练集，所述伪造图像训练集包括伪造后图像、对应的原图以及对应的真实掩码。
S2：根据获取的所述伪造后图像的真实掩码解耦出边界，得到所述真实掩码对应的真实边界。
S3：将所述伪造后图像、对应的真实掩码以及对应的真实边界输入检测网络模型进行训练学习，所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界。
S4：通过最小化融合损失函数更新优化所述检测网络模型，检测出所述伪造后图像中的修复伪造区域。
S5：获取待检测的伪造图像，输入更新优化后的所述检测网络模型，检测输出所述待检测的伪造图像的修复伪造区域。
在本实施例中，参见图5和图7所示，伪造的图片，是通过现有的特定修复算法y(·)依据随机的真实掩码Mg篡改原图P得到的。接着，对真实掩码Mg解耦出真实边界Me来增强特征，辅助检测伪造区域。然后，再将伪造后的图片、对应的真实掩码Mg和对应的真实边界Me送入检测网络进行学习。最后网络两个分支分别检测出掩码Mo和预测边界Md。最后，通过最小化融合损失函数，以此不断更新优化模型，最终可以检测图片中精确的修复伪造区域。
在本发明的一个实施例中，所述伪造后图像的真实掩码解耦出边界的方法，包括：
获取所述伪造后图像的真实掩码Mg，并对所述真实掩码Mg进行二值化处理，得到二值图像I，其中，所述二值图像I包括前景Ifg和背景Ibg；
根据所述二值图像I的每个像素p对应的像素值I(p)，判断每个像素p属于前景Ifg或背景Ibg；
当所述像素p属于前景Ifg，则像素值I(p)等于1，并在背景Ibg中查找其最近的像素q，然后使用度量函数f(p,q)计算像素p和q之间的距离；
当所述像素p属于背景Ibg，则像素值I(p)等于0，则所述像素p与其在背景Ibg中最近的像素q的最小距离设置为零；
将所述二值图像I进行距离变换生成新图像I′，并采用线性函数归一化所述新图像I′中的像素值，并将所述像素值映射到[0，1]之间，1-I′为图像I′的边界；
将图像I′的边界1-I′与原始的二值图像I相乘，以消除背景干扰，解耦出边界Me,Me＝I*(1-I′)。
其中，所述度量函数f(p,q)用于测量像素p与像素q之间的距离，所述度量函数为：
Figure BDA0003243206340000111
将所述二值图像I进行距离变换生成新图像I′，距离变换为：
Figure BDA0003243206340000112
采用线性函数归一化所述新图像I′中的像素值，所述线性函数为：
Figure BDA0003243206340000113
即：真实边界Me采用的是距离变换(DT)来解耦原始标签掩码，距离变换(DT)是一种传统的图像处理算法，DT可以将二值图像转换成新图像，其中每个前景像素的值是通过距离函数对应于背景的最小距离来决定的。具体来说，DT的输入是二值图像I，二值图像I可以分为两部分，即前景Ifg和背景Ibg。对于每个像素p，I(p)是其对应的值。如果p∈Ifg，I(p)等于1，如果p∈Ibg，则为0。
为了得到图像I的DT结果，采用了度量函数测量像素之间的距离：
Figure BDA0003243206340000121
如果像素p属于前景，DT将首先在背景中查找其最近的像素q，然后使用f(p,q)计算像素p和q之间的距离。如果像素p属于背景，它们的最小距离设置为零。使用f(p，q)来描述新生成图像的像素，距离变换可以表示为：
Figure BDA0003243206340000122
在距离变换之后，原始图像I已经被变换成I′，其中像素值I′(p)不再等于0或1。我们使用线性函数
Figure BDA0003243206340000123
来归一化I′中的像素值，以将值映射到[0，1]之间，1-I′为图像的边界。最后，将1-I′与原始的二值图像I相乘，以消除背景干扰，即：Me＝I*(1-I′)
这样取出来的真实边界的像素值不仅取决于它属于前景还是背景，还与其相对位置有关。位于物体中心的像素值最小，远离中心或靠近背景的像素值最大。
在本发明的一个实施例中，参见图2所示，所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界的方法，包括：
S301、获取输入的伪造后图像，对所述伪造后图像进行图像特征的提取，输出特征图。
在本实施例中，参见图3所示，所述图像特征的提取的方法包括：获取输入RGB三通道大小为256×256×3的伪造后图像；通过特征提取模块提取后，得到RGB三通道为128×128×32的特征图；其中，所述特征提取模块包括三个滤波器，其中：
第一个滤波器，通过卷积层Conv layer提取输入的256×256×3的伪造后图像的局部信息，输出尺寸大小为256×256×3的特征图A；
第二个滤波器，通过条件卷积层Bayar layer自适应地学习低级残差特征来检测修复痕迹，输出尺寸大小为256×256×3的特征图B；
第三个滤波器，通过高通预处理层PF layer得到残差信息，输出尺寸大小为256×256×9的特征图C；
还包括：将三个滤波器处理得到的特征图A、特征图B、特征图C在通道上结合得到尺寸大小为256×256×15的特征图D；在经过一层卷积层Conv layer在通道维度上增强连接特征，特征图D从15个通道转换成32个通道，且基于卷积步长为2将特征图D尺寸减半输出为尺寸大小为128×128×32的特征图E。
在本实施例中，由于图像的RGB通道不足以检测得到所有不同的伪造痕迹，所以在两个分支中首先需要添加几个预先设计的输入层来增强修复痕迹。
网络的输入是大小为256×256×3的图像，其通道个数为3，通过图1的特征提取器，提取特征得到H×W×C为128×128×32的特征图，H、W、C(Height、Weight、Channel)，代表的是图片高和宽，C为通道数。
其中，卷积层Conv(f，k，s)意味着与f个滤波器、且每个滤波器内核大小k和步长s的卷积。在特征提取器中有三个滤波器，第一个滤波器是通过卷积层(Conv layer)提取输入的图像(尺寸大小为256×256×3)的局部信息，通道和尺寸没变，输出是尺寸大小为256×256×3的特征图A；第二个滤波器是经过条件卷积层(Bayar layer)自适应地学习低级残差特征来检测修复痕迹，输出得到的特征图B，尺寸大小为256×256×3；第三个滤波器通过高通预处理层(PF layer)得到残差信息，输出得到特征图C，尺寸大小为256
×256×9。接着将三个滤波处理得到的特征图在通道上结合得到特征图D，尺寸大小为256×256×15。再经过一层卷积层(Conv layer)在通道维度上增强连接特征，特征图D从15个通道转换成32个通道，且由于卷积步长为2，所以特征图D尺寸减半输出为特征图E，尺寸大小为128×128×32，为后续两个分支提取高级特征作准备。
S302、将所述特征图进行转换，得到图像块表征向量。
在本实施例中，将所述特征图进行转换，得到图像块表征向量的方法，包括：获取所述整体掩码分支和边界提取分支的128×128×32的特征图；将特征图分切成1024个尺寸大小为4×4×32的图像块；按每个图像块展平后得到尺寸大小为1024×512的图像；采用标准的Transformer在所有图层上使用恒定大小的隐矢量D，使用可训练的线性投影映射到D的大小，投影输出图像块表征向量。
其中，所述图像块表征向量由1024个图像块组成，每个图像块所对应的图像块表征向量由相应图像块展平后进行特征向量表示。
在本实施例中，由特征图转换为图像块表征向量时，标准的Transformer的输入是一维的数据，为了能够处理二维图像，在两个分支中均将尺寸(H×W×C)为(128×128×32)的特征图用(P×P×C)为4×4×32的图像块将图像切成N(HW/P2)为1024个，按每个图像块展平后得到(N×(P2×C))尺寸为1024×512的图像，Transformer在所有图层上使用恒定大小的隐矢量D，因此需要将图块拉平，并使用可训练的线性投影映射到D的大小，将此投影的输出称为图像块表征向量(patch embedding)。其中图像块表征向量由1024个图像块组成，每个图像块所对应的图像块表征向量由相应图像块展平后进行特征向量表示。
S303、将所述图像块表征向量进行位置编码，得到整体掩码分支和边界提取分支的位置表征向量。
在本实施例中，图像块表征向量后，因为Transformer这个结构本身却无法体现出位置信息，需要进行位置编码得到位置表征向量(Position embedding)，本发明采用的位置编码是可学习类型的，让整个网络学习到序列的位置编码信息，给每一个位置规定一个表示位置信息的向量。可以通过定义嵌入(Embedding)子层来实现，Embedding是一个简单的存储固定大小的词典的嵌入向量的查找表。
S304、将包含修复伪造痕迹的所述图像块表征向量和所述位置表征向量输入到Transformer编码器网络中进行编码，所述整体掩码分支和边界提取分支分别输出对应的具有全局语义信息的高级特征图。
在本实施例中，参见图5所示，可将包含修复伪造痕迹的图像块表征向量和位置表征向量输入到Transformer编码器网络中进行编码，最后两个分支分别输出对应的具有全局语义信息的高级特征图，其中输出特征图各为32×32×512大小。
S305、将所述整体掩码分支和边界提取分支的高级特征图经融合解码后，分别输出整体掩码和预测边界。
在本实施例中，参见图4和图5所示，所述整体掩码分支和边界提取分支输出的高级特征图的尺寸大小各为32×32×512；所述整体掩码分支和边界提取分支得到的高级特征图按通道相加融合成32×32×1024，并经过卷积操作还原至尺寸大小为32×32×512的特征图，作为解码器输入。
在本实施例中，所述将所述整体掩码分支和边界提取分支的高级特征图经融合解码后，分别输出整体掩码和预测边界，包括：
将尺寸大小为32×32×512的特征图输入解码器；采用双线性插值将所述特征图上采样2倍，尺寸大小变为64×64×512；采用双线性插值将所述特征图上采样2倍，尺寸大小变为64×64×512；在经过一层卷积处理后，获得的特征图尺寸大小为64×64×256，再双线性插值将所述特征图上采样2倍；再经过一层卷积得到特征图尺寸为128×128×256，再双线性插值将所述特征图上采样2倍；再经过一层卷积使通道数从256变为1，经中值滤波后再通过激活函数Sigmoid输出。
在本实施例中，得到边界特征图和整体掩码的特征图后，两者按通道相加融合成32×32×1024，接着经过卷积等操作还原至32×32×512大小，作为解码器输入。如图2所示，本发明采用交替上采样操作(ConvT)和卷积(Conv)的渐进上采样策略，从而减少引入噪声。具体来说，首先，输入解码器的特征图是尺寸大小32×32×512。接着采用双线性插值使特征图上采样2倍，尺寸变为64×64×512；再使用卷积使通道数变成256。因此，总共需要3次类似操作才能从尺寸为32×32的特征图达到全分辨率256×256，再经过一层卷积使通道数从256变为1，经中值滤波后再通过激活函数Sigmoid输出，中值滤波是一种非线性统计滤波，常用于去除脉冲噪声；Sigmoid用作神经网络的最后一层做分类函数。
在本发明的一个实施例中，所述通过最小化融合损失函数更新优化所述检测网络模型，通过二元交叉熵损失函数
Figure BDA0003243206340000161
和融合了焦点损失的交叉熵损失函数
Figure BDA0003243206340000162
相加作为监督一条分支的损失函数
Figure BDA0003243206340000163
两个分支分别是检测出掩码的边界Md和整体的掩码Mo。其公式包括：
Figure BDA0003243206340000164
其中，二元交叉熵损失函数
Figure BDA0003243206340000165
的
Figure BDA0003243206340000166
的计算公式为：
Figure BDA0003243206340000167
其中，焦点损失的交叉熵损失函数
Figure BDA0003243206340000171
的
Figure BDA0003243206340000172
的计算公式为：
Figure BDA0003243206340000173
基于所述融合损失
Figure BDA0003243206340000174
根据输入真实的掩码Mg和网络检测出掩码Mo，得到边界损失
Figure BDA0003243206340000175
基于所述融合损失
Figure BDA0003243206340000176
根据输入真实的边界Me和网络检测出的掩码Md，得到边界损失
Figure BDA0003243206340000177
将边界损失
Figure BDA0003243206340000178
和掩码损失
Figure BDA0003243206340000179
按权重相加后，得到总的损失函数
Figure BDA00032432063400001710
即最小化损失函数
Figure BDA00032432063400001711
其中：
Figure BDA00032432063400001712
其中，β和δ通常分别设置为0.9和0.1。
在本实施例中，即：通过二元交叉熵损失函数
Figure BDA00032432063400001713
和融合了焦点损失的交叉熵损失函数
Figure BDA00032432063400001714
相加作为监督一条分支的损失函数
Figure BDA00032432063400001715
两个分支分别是检测出掩码的边界Md和整体的掩码Mo，如下公式(下面公式均以一个分支输入是Mg、Mo为例，另外一个分支修改输入为Me、Md即可)：
Figure BDA00032432063400001716
Figure BDA00032432063400001717
Figure BDA00032432063400001718
二元交叉熵损失函数
Figure BDA0003243206340000181
用于使检测出的修复区域Mo逼近真实修复伪造区域Mg，焦点损失的交叉熵损失函数
Figure BDA0003243206340000182
主要是解决类不平衡问题，使模型侧重于学习修复伪造区域，较少非伪造区域学习的权重。如
Figure BDA0003243206340000183
的公式和
Figure BDA0003243206340000184
的公式，其中Mg(i,j)、Mo(i,j)是对应的像素点，α和γ通常分别设置为0.25和2。
将边界损失
Figure BDA0003243206340000185
和掩码损失
Figure BDA0003243206340000186
按一定的权重相加后，作为总的损失函数
Figure BDA0003243206340000187
来监督TsFormer的训练，本发明的最终目标是最小化损失函数
Figure BDA0003243206340000188
以此不断更新优化模型，最终可以检测图片中精确的修复伪造区域。
Figure BDA0003243206340000189
其中，β和δ分别设置为0.9和0.1。
参见图6所示，图中(a)为原图，(b)为通过修复伪造的图片，(c)为算法检测结果。获取待检测的伪造图像(b)，输入更新优化后的所述检测网络模型，检测输出所述待检测的伪造图像的修复伪造区域(c)。
在本发明中主要是使用深度学习框架Pytorch实现，但是还可以使用TensorFlow、Caffe等深度学习框架实现。
参见表1不同修复伪造检测方法的AUC实验结果对比：
Figure BDA00032432063400001810
Figure BDA0003243206340000191
注：表格中使用的GC、SH、LB数据集为用深度学习修复伪造后的数据集，NS、PM、SG数据集为用传统方法伪造后得到的数据集。表格中使用的AUC是一种衡量模型分类性能的评价指标，反映的是对于任意一对正负例样本，模型将正样本预测为正例的可能性大于将负例预测为正例的可能性的概率。数值越大越好。
表1对比了修复伪造检测方法的结果，在最后一列中给出了每种方法AUC的平均值。基于结果，我们进一步得出以下结论：
·总体而言，本发明提出的方法基于Transformer的双分支修复伪造检测网络(TsFormer:Two-stream Transformer with Label Decoupling for Image InpaintingDetection)中，TsFormer在平均AUC方面优于以前先进的方法。
·与传统取证方法LDI(H.Li等人，2018)相比，TsFormer获得了显着的性能提升。例如，LDI在NS上的AUC为71.75％，而TsFormer的AUC为98.06％，提高了26.31％。这表明本发明提出的基于Transformer的图像修复的检测方法优于传统的取证方法。
·与基于卷积神经网络的方法MT-Net(Y.Wu等人，2017)相比，TsFormer获得了较大的性能提升。例如，MT-Net的AUC的平均精度为82.48％，而TsFormer的AUC的平均精度为99.15％，提高了16.67％，表明本发明设计的基于Transformer的双分支图像修复伪造检测方法，相比于卷积神经网络，能够更好地提取对应的伪造区域全局信息，从而提高检测性能。
·对于以前的最新方法HP-FCN(H.Li等人，2019年)，TsFormer仍可实现性能提升。例如，HP-FCN的AUC的平均精度为97.65％，而TsFormer的AUC的平均精度为99.15％，提高了1.5％，表明本发明设计的基于Transformer的双分支图像修复伪造检测方法，能有效提高图像修复检测的精度。
因此，本发明的有益效果可以总结为下列两点：
1)本发明提出并设计的一种新颖的基于Transformer的图像修复伪造检测网络，充分利用了Transformer能很好地学到全局语义信息的特性，从而能够更好地提取对应的伪造区域全局信息。
2)本发明提出并设计了双分支图像修复伪造检测方法，通过将一个分支提取到的边缘特征和另外一个分支提取到的整体伪造区域特征进行融合，能够更好地增强提取到的特征，进一步有效编码图像的修复伪造区域，再经过解码器解码后，能有效提高图像修复检测的精度。
在本发明的一个实施例中，还公开了一种双分支图像修复伪造检测系统，所述双分支图像修复伪造检测系统采用上述双分支图像修复伪造检测方法检测出伪造图像的修复伪造区域；所述双分支图像修复伪造检测系统包括真实边界解耦模块401、网络模型训练模块402以及网络模型优化模块403。
所述真实边界解耦模块401用于将获取的伪造图像训练集中伪造后图像对应的真实掩码解耦出边界，得到所述真实掩码对应的真实边界。
所述网络模型训练模块402用于将所述伪造后图像、对应的真实掩码以及对应的真实边界输入检测网络模型进行训练学习，所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界。
所述网络模型优化模块403用于通过最小化融合损失函数更新优化，得到能检测出所述伪造后图像中的修复伪造区域的检测网络模型，待检测的伪造图像输入优化后检测网络模型，检测输出伪造图像的修复伪造区域。
在本实施例中，还包括位于网络模型训练模块402中的特征提取模块501、特征图转换模块502、位置编码模块503、Transformer编码模块504以及融合解码模块505。
所述特征提取模块501用于获取输入的伪造后图像，提取输出特征图。所述特征图转换模块502用于将所述特征图进行转换，得到图像块表征向量。所述位置编码模块503用于将所述图像块表征向量进行位置编码，得到整体掩码分支和边界提取分支的位置表征向量。
所述Transformer编码模块504用于将包含修复伪造痕迹的所述图像块表征向量和所述位置表征向量输入到Transformer编码器网络中进行编码；所述融合解码模块505用于所述整体掩码分支和边界提取分支分别输出对应的具有全局语义信息的高级特征图，并将所述整体掩码分支和边界提取分支的高级特征图经融合解码后，分别输出整体掩码和预测边界。
在本发明的一个实施例中还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在本发明的一个实施例中还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
综上所述，本发明提供的技术方案充分利用了Transformer能很好地学到全局语义信息的特性，从而让两个分支都能够更好地提取对应的伪造区域全局信息。一个分支能够有效提取伪造区域的边界特征，另外一个分支更好能够提取整体的伪造区域特征。通过将边缘特征和整体的伪造区域特征进行融合，能够更好地增强提取到的特征，从而有效编码图像的修复伪造区域，再经过解码器解码后，进一步提高图像修复伪造检测的精度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种双分支图像修复伪造检测方法，包括：
获取伪造图像训练集，所述伪造图像训练集包括伪造后图像、对应的原图以及对应的真实掩码；
根据获取的所述伪造后图像的真实掩码解耦出边界，得到所述真实掩码对应的真实边界；
将所述伪造后图像、对应的真实掩码以及对应的真实边界输入检测网络模型进行训练学习，所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界；
通过最小化融合损失函数更新优化所述检测网络模型，检测出所述伪造后图像中的修复伪造区域；
获取待检测的伪造图像，输入更新优化后的所述检测网络模型，检测输出所述待检测的伪造图像的修复伪造区域。
2.如权利要求1所述的双分支图像修复伪造检测方法，其特征在于：所述伪造后图像的真实掩码解耦出边界的方法，包括：
获取所述伪造后图像的真实掩码Mg，并对所述真实掩码Mg进行二值化处理，得到二值图像I，其中，所述二值图像I包括前景Ifg和背景Ibg；
根据所述二值图像I的每个像素p对应的像素值I(p)，判断每个像素p属于前景Ifg或背景Ibg；
当所述像素p属于前景Ifg，则像素值I(p)等于1，并在背景Ibg中查找其最近的像素q，然后使用度量函数f(p，q)计算像素p和q之间的距离；
当所述像素p属于背景Ibg，则像素值I(p)等于0，则所述像素p与其在背景Ibg中最近的像素q的最小距离设置为零；
将所述二值图像I进行距离变换生成新图像I′，并采用线性函数归一化所述新图像I′中的像素值，并将所述像素值映射到[0，1]之间，1-I′为图像I′的边界；
将图像I′的边界1-I′与原始的二值图像I相乘，以消除背景干扰，解耦出边界Me，Me＝I*(1-I′)。
3.如权利要求2所述的双分支图像修复伪造检测方法，其特征在于：所述度量函数f(p，q)用于测量像素p与像素q之间的距离，所述度量函数为：
Figure FDA0003243206330000021
将所述二值图像I进行距离变换生成新图像I′，距离变换为：
Figure FDA0003243206330000022
采用线性函数归一化所述新图像I′中的像素值，所述线性函数为：
Figure FDA0003243206330000023
4.如权利要求1所述的双分支图像修复伪造检测方法，其特征在于：所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界的方法，包括：
获取输入的伪造后图像，对所述伪造后图像进行图像特征的提取，输出特征图；
将所述特征图进行转换，得到图像块表征向量；
将所述图像块表征向量进行位置编码，得到整体掩码分支和边界提取分支的位置表征向量；
将包含修复伪造痕迹的所述图像块表征向量和所述位置表征向量输入到Transformer编码器网络中进行编码，所述整体掩码分支和边界提取分支分别输出对应的具有全局语义信息的高级特征图；
将所述整体掩码分支和边界提取分支的高级特征图经融合解码后，分别输出整体掩码和预测边界。
5.如权利要求4所述的双分支图像修复伪造检测方法，其特征在于：所述图像特征的提取的方法包括：
获取输入RGB三通道大小为256×256×3的伪造后图像；
通过特征提取模块提取后，得到RGB三通道为128×128×32的特征图；
其中，所述特征提取模块包括三个滤波器，其中：
第一个滤波器，通过卷积层Convlayer提取输入的256×256×3的伪造后图像的局部信息，输出尺寸大小为256×256×3的特征图A；
第二个滤波器，通过条件卷积层Bayarlayer自适应地学习低级残差特征来检测修复痕迹，输出尺寸大小为256×256×3的特征图B；
第三个滤波器，通过高通预处理层PF layer得到残差信息，输出尺寸大小为256×256×9的特征图C；
还包括：将三个滤波器处理得到的特征图A、特征图B、特征图C在通道上结合得到尺寸大小为256×256×15的特征图D；
在经过一层卷积层Convlayer在通道维度上增强连接特征，特征图D从15个通道转换成32个通道，且基于卷积步长为2将特征图D尺寸减半输出为尺寸大小为128×128×32的特征图E。
6.如权利要求5所述的双分支图像修复伪造检测方法，其特征在于：将所述特征图进行转换，得到图像块表征向量的方法，包括：
获取所述整体掩码分支和边界提取分支的128×128×32的特征图；
将特征图分切成1024个尺寸大小为4×4×32的图像块；
按每个图像块展平后得到尺寸大小为1024×512的图像；
采用标准的Transformer在所有图层上使用恒定大小的隐矢量D，使用可训练的线性投影映射到D的大小，投影输出图像块表征向量；
其中，所述图像块表征向量由1024个图像块组成，每个图像块所对应的图像块表征向量由相应图像块展平后进行特征向量表示。
7.如权利要求6所述的双分支图像修复伪造检测方法，其特征在于：所述整体掩码分支和边界提取分支输出的高级特征图的尺寸大小各为32×32×512；所述整体掩码分支和边界提取分支得到的高级特征图按通道相加融合成32×32×1024，并经过卷积操作还原至尺寸大小为32×32×512的特征图，作为解码器输入；
所述将所述整体掩码分支和边界提取分支的高级特征图经融合解码后，分别输出整体掩码和预测边界，包括：
将尺寸大小为32×32×512的特征图输入解码器；
采用双线性插值将所述特征图上采样2倍，尺寸大小变为64×64×512；
在经过一层卷积处理后，获得的特征图尺寸大小为64×64×256，再双线性插值将所述特征图上采样2倍；
再经过一层卷积得到特征图尺寸为128×128×256，再双线性插值将所述特征图上采样2倍；
再经过一层卷积使通道数从256变为1，经中值滤波后再通过激活函数Sigmoid输出。
8.如权利要求7所述的双分支图像修复伪造检测方法，其特征在于：所述通过最小化融合损失函数更新优化所述检测网络模型，通过二元交叉熵损失函数
Figure FDA0003243206330000051
和融合了焦点损失的交叉熵损失函数
Figure FDA0003243206330000052
相加作为监督一条分支的损失函数
Figure FDA0003243206330000053
两个分支分别是检测出掩码的边界Md和整体的掩码Mo，其公式包括：
Figure FDA0003243206330000054
其中，二元交叉熵损失函数
Figure FDA0003243206330000055
的
Figure FDA0003243206330000056
的计算公式为：
Figure FDA0003243206330000057
其中，焦点损失的交叉熵损失函数
Figure FDA0003243206330000058
的
Figure FDA0003243206330000059
的计算公式为：
Figure FDA00032432063300000510
基于所述融合损失
Figure FDA00032432063300000511
根据输入真实的掩码Mg和网络检测出掩码Mo，得到边界损失
Figure FDA00032432063300000512
基于所述融合损失
Figure FDA00032432063300000513
根据输入真实的边界Me和网络检测出的掩码Md，得到边界损失
Figure FDA00032432063300000514
将边界损失
Figure FDA00032432063300000515
和掩码损失
Figure FDA00032432063300000516
按权重相加后，得到总的损失函数
Figure FDA00032432063300000517
即最小化损失函数
Figure FDA00032432063300000518
其中：
Figure FDA00032432063300000519
其中，β和δ通常分别设置为0.9和0.1。
9.一种双分支图像修复伪造检测系统，其特征在于：所述双分支图像修复伪造检测系统采用权利要求1-7中任意一项所述双分支图像修复伪造检测方法检测出伪造图像的修复伪造区域；所述双分支图像修复伪造检测系统包括：
真实边界解耦模块，用于将获取的伪造图像训练集中伪造后图像对应的真实掩码解耦出边界，得到所述真实掩码对应的真实边界；
网络模型训练模块，用于将所述伪造后图像、对应的真实掩码以及对应的真实边界输入检测网络模型进行训练学习，所述检测网络模型的整体掩码分支和边界提取分支分别检测输出整体掩码和预测边界；以及
网络模型优化模块，用于通过最小化融合损失函数更新优化，得到能检测出所述伪造后图像中的修复伪造区域的检测网络模型，待检测的伪造图像输入优化后检测网络模型，检测输出伪造图像的修复伪造区域。
10.如权利要求7所述的双分支图像修复伪造检测系统，其特征在于：还包括：
特征提取模块，用于获取输入的伪造后图像，提取输出特征图；
特征图转换模块，用于将所述特征图进行转换，得到图像块表征向量；
位置编码模块，用于将所述图像块表征向量进行位置编码，得到整体掩码分支和边界提取分支的位置表征向量；
Transformer编码模块，用于将包含修复伪造痕迹的所述图像块表征向量和所述位置表征向量输入到Transformer编码器网络中进行编码；以及
融合解码模块，用于将所述整体掩码分支和边界提取分支分别输出对应的具有全局语义信息的高级特征图，并将所述整体掩码分支和边界提取分支的高级特征图经融合解码后，分别输出整体掩码和预测边界。
CN202111025471.4A 2021-09-02 2021-09-02 双分支图像修复伪造检测方法、系统、设备及存储介质 Active CN113744153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111025471.4A CN113744153B (zh) 2021-09-02 2021-09-02 双分支图像修复伪造检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111025471.4A CN113744153B (zh) 2021-09-02 2021-09-02 双分支图像修复伪造检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113744153A true CN113744153A (zh) 2021-12-03
CN113744153B CN113744153B (zh) 2023-08-25

Family

ID=78734893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111025471.4A Active CN113744153B (zh) 2021-09-02 2021-09-02 双分支图像修复伪造检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113744153B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419020A (zh) * 2022-01-26 2022-04-29 深圳大学 医学图像分割方法、装置、计算机设备及存储介质
CN114764858A (zh) * 2022-06-15 2022-07-19 深圳大学 复制粘贴图像识别方法、装置、计算机设备及存储介质
CN115115912A (zh) * 2022-05-26 2022-09-27 清华大学 基于串并联查找表的轻量化图像超分辨率重建方法及装置
CN116630323A (zh) * 2023-07-25 2023-08-22 山东建筑大学 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN115115912B (zh) * 2022-05-26 2024-06-07 清华大学 基于串并联查找表的轻量化图像超分辨率重建方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635047A (zh) * 2009-03-25 2010-01-27 湖南大学 基于小波变换的纹理合成图像修复方法
CN102324102A (zh) * 2011-10-08 2012-01-18 北京航空航天大学 一种图像场景空洞区域结构和纹理信息自动填补方法
CN111784602A (zh) * 2020-06-28 2020-10-16 江西理工大学 一种生成对抗网络用于图像修复的方法
CN113159120A (zh) * 2021-03-15 2021-07-23 浙江工商大学 一种基于多尺度跨图像弱监督学习的违禁物检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635047A (zh) * 2009-03-25 2010-01-27 湖南大学 基于小波变换的纹理合成图像修复方法
CN102324102A (zh) * 2011-10-08 2012-01-18 北京航空航天大学 一种图像场景空洞区域结构和纹理信息自动填补方法
CN111784602A (zh) * 2020-06-28 2020-10-16 江西理工大学 一种生成对抗网络用于图像修复的方法
CN113159120A (zh) * 2021-03-15 2021-07-23 浙江工商大学 一种基于多尺度跨图像弱监督学习的违禁物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
耿璇;王召巴;金永;郭维;: "基于单个深度相机的人体三维重建", 国外电子测量技术, no. 09, pages 1 - 5 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419020A (zh) * 2022-01-26 2022-04-29 深圳大学 医学图像分割方法、装置、计算机设备及存储介质
CN115115912A (zh) * 2022-05-26 2022-09-27 清华大学 基于串并联查找表的轻量化图像超分辨率重建方法及装置
CN115115912B (zh) * 2022-05-26 2024-06-07 清华大学 基于串并联查找表的轻量化图像超分辨率重建方法及装置
CN114764858A (zh) * 2022-06-15 2022-07-19 深圳大学 复制粘贴图像识别方法、装置、计算机设备及存储介质
CN116630323A (zh) * 2023-07-25 2023-08-22 山东建筑大学 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN116630323B (zh) * 2023-07-25 2023-09-22 山东建筑大学 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备

Also Published As

Publication number Publication date
CN113744153B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN113744153B (zh) 双分支图像修复伪造检测方法、系统、设备及存储介质
Qureshi et al. A bibliography of pixel-based blind image forgery detection techniques
US11410414B2 (en) Systems and methods for detection and localization of image and document forgery
CN115496928B (zh) 基于多重特征匹配的多模态图像特征匹配方法
Singh et al. Fast and efficient region duplication detection in digital images using sub-blocking method
CN113536990A (zh) 深度伪造人脸数据鉴别方法
CN112785480B (zh) 基于频域变换和残差反馈模块的图像拼接篡改检测方法
Jarusek et al. Photomontage detection using steganography technique based on a neural network
CN113506224A (zh) 基于多尺度生成对抗网络的图像修复方法
CN110992367B (zh) 对带有遮挡区域的图像进行语义分割的方法
Zhao et al. Detecting deepfake video by learning two-level features with two-stream convolutional neural network
CN111882525A (zh) 一种基于lbp水印特征和细粒度识别的图像翻拍检测方法
CN109785286B (zh) 一种基于纹理特征融合的图像修复检测方法
Rana et al. MSRD-CNN: Multi-scale residual deep CNN for general-purpose image manipulation detection
CN110223273B (zh) 一种结合离散余弦变换与神经网络的图像修复取证方法
CN117314714A (zh) 基于双域和多尺度网络的文档图像篡改检测与分类方法
Wu et al. Review of imaging device identification based on machine learning
CN107481196B (zh) 基于最近特征线的特征转换人脸超分辨率重建方法
CN114332890A (zh) 表格结构提取方法、装置、电子设备及存储介质
Singh et al. SDCN2: A shallow densely connected CNN for multi-purpose image manipulation detection
Rai et al. A Thorough Investigation on Image Forgery Detection.
CN115761444B (zh) 一种非完整信息目标识别模型的训练方法及目标识别方法
Wyzykowski et al. A Universal Latent Fingerprint Enhancer Using Transformers
CN115205952B (zh) 一种基于深度学习的线上学习图像采集方法及系统
CN117078564B (zh) 视频会议画面的智能生成方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant