CN116912183A - 一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统 - Google Patents

一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统 Download PDF

Info

Publication number
CN116912183A
CN116912183A CN202310792164.1A CN202310792164A CN116912183A CN 116912183 A CN116912183 A CN 116912183A CN 202310792164 A CN202310792164 A CN 202310792164A CN 116912183 A CN116912183 A CN 116912183A
Authority
CN
China
Prior art keywords
features
tampered
image
edge
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310792164.1A
Other languages
English (en)
Other versions
CN116912183B (zh
Inventor
孙珑
朱国普
张宇
张宏莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202310792164.1A priority Critical patent/CN116912183B/zh
Publication of CN116912183A publication Critical patent/CN116912183A/zh
Application granted granted Critical
Publication of CN116912183B publication Critical patent/CN116912183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统，涉及图像修复技术领域。本发明的技术要点包括：获取包含多张深度修复篡改图像的图像集；对深度修复篡改图像进行预处理；将预处理后的训练图像集输入到基于神经网络的篡改定位模型中进行训练；将待定位篡改图像输入到训练好的篡改定位模型中确定待定位篡改图像中篡改区域。在篡改定位模型训练过程中，对图像集中篡改区域之间内在相似性进行学习，使得神经网络能更好理解篡改区域和未篡改区域的联系与区别；提取了篡改区域边缘信息，增强神经网络对边缘特征的注意力，以更好帮助神经网络理解篡改区域和未篡改区域的差异。本发明可有效应用于图像篡改检测定位任务。

Description

一种基于边缘引导和对比损失的深度修复图像的篡改定位方 法及系统
技术领域
本发明涉及图像修复技术领域，具体涉及一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统。
背景技术
随着互联网技术的日新月异和社交网络的快速发展，以图像、视频和音频为主的数字媒体逐渐成为数据的主要载体，在这些信息载体中，图像的表达最为充分，能够储存丰富的视觉信息，最易被人类接受。而且图像中通常会包含一些重要的信息，所以保持图像的完整性就是保留信息的完整性。
图像修复是在给定图像中，根据未受损区域的信息恢复受损或缺失区域的过程。它在现实世界中有广泛的应用，如修复受损的图像和移除不需要的区域。图像修复方法可以分为三类：基于扩散的图像修复技术、基于块的图像修复技术和基于深度学习的图像修复技术。近年来，基于深度学习的方法发展迅速，其可以对不同大小的区域进行修复，并且能在生成伪影较少的情况下获得良好的修复效果。然而，深度修复技术也伴随着被恶意操纵以伪造图像的风险，比如移除图像中本来存在的人或物体，企图改变原始图像所反映的客观事实。由于这些技术具有逼真的修复效果，不法分子可以很容易地将图像中的关键物体替换为虚假内容，并且篡改后的图像可能与真实图像一样生动。
在数字图像篡改检测领域，通过分析图像中的特征信息可以有效地检测到图像是否被篡改，但如何准确地确定图像被修改的区域位置却依然是一个挑战。目前，针对数字图像篡改定位的研究大多局限于传统的方法，数字图像篡改定位需要同时考虑篡改区域的位置和内容，而这两个方面都会受到篡改技术的影响。传统的方法主要基于图像纹理、噪声等特征来推断出篡改区域，这些方法虽然取得了一定的效果，但是往往只考虑图像局部特征，无法充分利用整个图像信息，准确率和鲁棒性都不够理想。随着深度学习的兴起，利用深度神经网络进行图像篡改检测和定位已成为当前的研究热点，尤其是对于复杂的篡改形式，采用深度学习技术可以更好地应对。与传统的图像修复方法相比，深度修复技术具有更高的自适应性和泛化能力。近几年，不断有工作尝试利用深度学习神经网络处理深度修复图像篡改定位问题，与传统取证方法不同的是，在基于深度学习的修复操作中，很难手动设计提取取证特征。因此，当前方法均是通过神经网络自适应提取图像特征，并辅以残差图像或纹理特征等额外信息来定位篡改区域。这就导致对深度修复图像篡改区域和未篡改区域的差异学习不足，同时对于篡改定位边界的理解不足。
发明内容
为了解决上述技术缺陷，本发明提出一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统。
根据本发明的一方面，提供一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，该方法包括以下步骤：
步骤一、获取包含多张深度修复篡改图像的训练图像集；所述深度修复篡改图像通过原始彩色图像和二值掩码图像生成；
步骤二、对所述深度修复篡改图像进行预处理；
步骤三、将预处理后的训练图像集输入到基于神经网络的篡改定位模型中进行训练，获取训练好的篡改定位模型；
步骤四、将待定位篡改图像输入到训练好的篡改定位模型中，确定待定位篡改图像中的篡改区域。
进一步地，步骤二中所述预处理包括对二值掩码图像进行数据增强，通过旋转不同比例的二值掩码图像来增强数据。
进一步地，步骤三中基于神经网络的篡改定位模型的训练过程包括：
利用神经网络中的编码器提取深度修复篡改图像的浅层特征和深层特征；所述浅层特征包含图像纹理特征和边缘特征，所述深层特征包含语义特征；
将浅层特征和深层特征结合提取边缘特征，并计算获得边缘损失函数；
根据二值掩码图像和深层特征计算获取篡改区域特征和非篡改区域特征/>将篡改区域特征和非篡改区域特征的像素对/>作为负对计算负对比损失函数，将篡改区域特征和非篡改区域特征的像素对/>和/>作为正对计算正对比损失函数；将所述负对比损失函数和所述正对比损失函数进行加权获得有监督对比损失函数；
将深层特征和边缘特征结合生成预测掩码，所述预测掩码表示输入图片中每个像素为篡改像素的概率值；根据所述预测掩码计算获得掩码损失函数；
将所述边缘损失函数、所述有监督对比损失函数、所述掩码损失函数进行加权，作为神经网络的总的损失函数；采用反向传播算法优化神经网络模型的网络参数，获取训练好的篡改定位模型。
进一步地，步骤三中将浅层特征和深层特征结合提取边缘特征的具体过程包括：使用两个1×1卷积层分别将浅层特征和深层特征进行平滑处理，并将深层特征进行上采样，以使其与浅层特征大小对应；对浅层特征和上采样后的深层特征进行级联运算合并特征；将合并特征按顺序输入到两个3×3卷积层、一个1×1卷积层、Sigmoid激活函数后，获得边缘特征。
进一步地，步骤三中所述边缘损失函数根据边缘特征和边缘掩码图像计算获取，所述边缘掩码图像通过Canny算法计算掩码得到的边缘和将掩码下采样到图像大小的1/8并上采样，并与真实掩码作差得到的篡改区域边缘像素点相加得到；所述边缘损失函数的计算公式为：
式中，Si，x，y×Gi，x，y表示预测边界和边界标签像素的交集；和/>分别表示预测边界和边界标签的元素个数。
进一步地，步骤三中在获取篡改区域特征和非篡改区域特征/>后，对篡改区域特征/>和非篡改区域特征/>分别进行加权，加权后的篡改区域特征和非篡改区域特征表示为：
式中，和/>分别表示加权后的篡改区域特征和非篡改区域特征；/>和/>分别表示未加权的篡改区域特征和非篡改区域特征；/>和/>分别表示篡改区域特征和非篡改区域特征对应的权重系数：
式中，M(i,j)表示二值掩码图像，表示篡改区域占整个图像的比例，表示非篡改区域占整个图像的比重；H和W分别表示图像的高和宽。
进一步地，步骤三中所述负对比损失函数的计算公式为：
式中，n表示批大小；表示计算篡改区域特征和非篡改区域特征的余弦相似度；
所述正对比损失函数和/>的计算公式为：
式中，表示计算两个篡改区域特征的余弦相似度；表示计算两个非篡改区域特征的余弦相似度。
进一步地，步骤三中将深层特征和边缘特征结合生成预测掩码的过程包括：对深层特征进行元素乘法得到增强的深层特征并上采样；将增强的深层特征和边缘特征进行级联拼接得到初始融合特征；将所述初始融合特征输入卷积层进行特征提取；重复上述过程，以输出与图像相同大小的预测掩码图像。
进一步地，步骤三中所述掩码损失函数通过使用交叉熵函数进行训练得到，所述交叉熵损失函数的计算公式为：
其中，M(i,j)表示二值掩码图像，Mo(i,j)表示预测掩码图像。
根据本发明的另一方面，提供一种基于边缘引导和对比损失的深度修复图像的篡改定位系统，该系统包括：
篡改图像获取模块，其配置成获取包含多张深度修复篡改图像的训练图像集；所述深度修复篡改图像通过原始彩色图像和二值掩码图像生成；
预处理模块，其配置成对所述深度修复篡改图像进行预处理；
篡改定位模型训练模块，其配置成将预处理后的训练图像集输入到基于神经网络的篡改定位模型中进行训练，获取训练好的篡改定位模型；其中基于神经网络的篡改定位模型的训练过程包括：利用神经网络中的编码器提取深度修复篡改图像的浅层特征和深层特征；所述浅层特征包含图像纹理特征和边缘特征，所述深层特征包含语义特征；将浅层特征和深层特征结合提取边缘特征，并计算获得边缘损失函数；根据二值掩码图像和深层特征计算获取篡改区域特征和非篡改区域特征/>将篡改区域特征和非篡改区域特征的像素对/>作为负对计算负对比损失函数，将篡改区域特征和非篡改区域特征的像素对和/>作为正对计算正对比损失函数；将所述负对比损失函数和所述正对比损失函数进行加权获得有监督对比损失函数；将深层特征和边缘特征结合生成预测掩码，所述预测掩码表示输入图片中每个像素为篡改像素的概率值；根据所述预测掩码计算获得掩码损失函数；将所述边缘损失函数、所述有监督对比损失函数、所述掩码损失函数进行加权，作为神经网络的总的损失函数；采用反向传播算法优化神经网络模型的网络参数，获取训练好的篡改定位模型；
篡改定位模块，其配置成将待定位篡改图像输入到训练好的篡改定位模型中，确定待定位篡改图像中的篡改区域。
本发明的有益技术效果是：
本发明针对当前深度修复图像的篡改定位方法对篡改区域和未篡改区域的学习不足问题，结合对比学习，迫使神经网络学习二者在特征空间的差别，同时对整个数据集中的篡改区域之间的内在相似性进行学习，使得神经网络能更好的理解篡改区域和未篡改区域的联系与区别，提升定位性能。此外，针对当前基于深度学习的篡改定位对于篡改区域边界的学习不足，本发明使用神经网络辅助分支来提取篡改区域边界信息，增强神经网络对边缘特征的注意力，同时能更好的帮助神经网络理解篡改区域和未篡改区域的差异。本发明所提出的深度修复图像篡改定位网络的结构和训练方式，可以有效地应用于图像篡改检测和定位任务，并通过实验结果验证了其性能和优越性。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例一种基于边缘引导和对比损失的深度修复图像的篡改定位方法的流程图。
图2是本发明实施例中基于神经网络的篡改定位模型的训练过程示意图。
图3是本发明实施例中提取边缘特征的过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。
本发明实施例提出一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，如图1所示，该方法包括以下步骤：
步骤一、获取包含多张深度修复篡改图像的训练图像集；
根据本发明实施例，深度修复篡改图像通过原始彩色图像和二值掩码生成，所述边缘掩码图像通过Canny算法计算掩码得到的边缘和将掩码下采样到图像大小的1/8并上采样，然后与真实掩码作差得到的篡改区域边缘像素点相加得到。修复方法使用基于门控卷积的深度修复方法。需要注意的是，在生成数据集时保持修复方法不变。
步骤二、对深度修复篡改图像进行预处理；
根据本发明实施例，训练集采用Places和Dresden数据集作为原始的3通道彩色图像，共包含48K张图像，其中一半是从Places随机抽取的，其余一半从Dresden随机抽取。篡改区域掩码图像通过随机采样NVIDIA掩码数据集得到。由于NVIDIA掩码数据集只包含12000张不同掩码比例的掩码图像。为了保证原始图像和二值掩码图像的对应关系，对二值掩码图像进行了数据增强，通过旋转不同比例的二值掩码图像来增强数据，旋转角度为90°、180°和270°，最终获得训练集为48000张。每一张图片都是唯一地、任意地与原始图像叠加后输入网络进行训练。
步骤三、将预处理后的训练图像集输入到基于神经网络的篡改定位模型中进行训练，获取训练好的篡改定位模型；
根据本发明实施例，所述篡改定位网络通过深度修复篡改图像、篡改区域掩码图像和边缘掩码图像训练得到。输出预测掩码图像表征一副图像整体像素为篡改像素的概率，作为整个方法的最终判定结果。例如，某像素取值的均值大于阈值则表明该像素为篡改像素，某像素取值的均值小于阈值则表明该像素为非篡改像素。
结合图2，基于神经网络的篡改定位模型的训练过程包括：
1)将一组深度修复篡改图像输入到神经网络模型中，所述神经网络模型用来提取图像的特征，得到每张图像对应提取的浅层特征(fs)和深层特征(fd)，其中每张图像对应的浅层特征的大小为64×128×128，深层特征大小为256×32×32。浅层特征包含图像纹理和边缘特征等细粒度信息，深层特征包含语义特征等粗粒度信息。神经网络模型采用用于提取特征的神经网络，例如EfficientNet系列、Xception系列、VGG系列的任意一种或多种组合，该类神经网络模型只包含编码器来提取图像特征，编码器例如采用IID-Net，这是一种适用于修复图像特征提取的卷积神经网络。
2)将提取的浅层特征和深层特征输入到边缘信息提取模块。在边缘信息提取模块中，将浅层特征和深层特征结合起来，对与对象相关的边缘信息进行建模，如图3所示。具体来说，首先使用两个1×1卷积层分别将浅层特征和深层特征的特征进行平滑处理，通道数分别为64和256，并将深层特征进行上采样为256×128×128，与浅层特征大小对应；然后对浅层特征和上采样后的深层特征进行级联运算合并特征；然后将合并的特征输入到两个3×3卷积层和一个1×1卷积层，后面跟着Sigmoid激活函数得到边缘特征。
在训练过程中，根据得到的边缘特征和边缘掩码图像计算边缘损失函数，边缘损失函数通过使用Dice损失函数来学习，其公式如下式所示：
其中，Si，x，y×Gi，x，y表示预测边界和边界标签像素的交集；和/>分别表示预测边界和边界标签的元素个数。
3)并行地，使用有监督的篡改区域和非篡改区域对比学习损失函数来训练篡改定位网络。首先将图像掩码采样到与神经网络深层特征相同的维度，即1×32×32，然后分别将掩码M和深层特征展平，通过计算下式得到篡改区域和非篡改区域的特征：
其中，Mi∈R1×HW表示二值掩码图像，Zi∈RC×HW表示神经网络深层特征，和分别表示得到的篡改区域和非篡改区域特征。
通过上式，可以得到隐含使用监督信息的图像特征，训练提升篡改定位任务中图像特征的质量。并且由于同一图像或不同图像之间的篡改区域和非篡改区域的大小差距较大，为减弱类别不平衡问题，对篡改区域和非篡改区域的特征分别进行加权，保证篡改区域小的图像能占有更大的权重，而篡改区域大的能更平衡，其中篡改区域和非篡改区域的特征加权公式为：
其中，M∈R1×HW即M(i,j)表示二值掩码图像；计算篡改区域占整个图像的比例，/>则表示非篡改区域占整个图像的比重，通对样本加权可以增大篡改区域较小的样本的权重，缓解样本不均衡问题。
接下来为了使神经网络学习像素之间的对比关系，使用将批大小为n的篡改区域特征和非篡改区域特征/>的像素对/>作为负对，因此负对比损失函数设计为：
其中，sim(·,·)表示计算两个特征的余弦相似度。
将批大小为n的篡改区域特征和非篡改区域特征/>的像素对/>和/>作为正对，仍用sim(·,·)计算两个特征的余弦相似度，因此正对比损失函数设计为：
通过上式的结合，可以隐含着使用图像监督信息来迫使神经网络来学习篡改区域和非篡改区域之间的差异，并通过对比学习损失函数拉远篡改像素和非篡改像素的距离，拉近同类像素之间的距离。因此，总的对比损失函数为：
其中，τ和σ分别表示正对和负对损失函数的权重系数，二者默认取1。
4)最后整合提取到的边缘掩码和深层特征来生成预测掩码，预测掩码表示输入图片中的每个像素为篡改像素的概率值；给定深层特征和边缘特征fe，首先对其进行元素乘法得到增强的深层特征并上采样，然后将增强的深层特征和边缘特征进行级联拼接得到初始融合特征；随后输入卷积层进行特征提取；由于主干网络将深层特征采样到图像大小的1/8，因此，解码模块将重复上述过程3次，以输出与图像相同大小的预测掩码图像。掩码损失函数通过使用交叉熵函数进行训练，交叉熵损失函数的公式为：
其中，M∈R1×HW即M(i,j)表示二值掩码图像；Mo∈R1×HW即Mo(i,j)表示预测掩码。
5)上述采用的三个损失函数进行加权监督训练神经网络，互相配合提升篡改检测性能。采用深度监督方法计算出的损失值采用反向传播算法优化神经网络模型的网络参数，总的损失函数为：
L＝LCE+λLEdge+μLCon (13)
其中，λ和μ分别表示边缘损失函数和对比损失函数的比重，默认设置为λ＝0.8，μ＝1。在训练过程中预测掩码通过LCE进行训练，能有效学习到篡改区域；此外边缘信息提取模块得到的边界通过上采样到掩码大小与边缘掩码计算边缘损失函数LEdge，并结合对比损失函数LCon端到端地训练篡改定位网络理解篡改区域和非篡改区域的对比信息和边界特征。
步骤四、将待定位篡改图像输入到训练好的篡改定位模型中，确定待定位篡改图像中的篡改区域。
进一步通过实验验证本发明的技术效果。
将本发明方法与现有的三种图像修复检测方法进行了比较，基线算法采用四种经典的深度修复图像篡改定位算法进行对比，分别是：(1)传统的取证方法LDI；(2)利用图像的异常特征进行分类的MT-Net方法；(3)高通全卷积网络HP-FCN方法；(4)端到端图像修复检测IID-Net方法。将这些方法与在本发明相同的训练数据集上重新训练的模型进行比较。即使用这些方法的开源代码重新训练他们的模型，并严格遵循他们的训练程序。实验目的是从待检测图像中检测和定位修复区域，采用F1分数和交叉比IOU来衡量网络的检测性能。其评估结果见表1。
表1
定位算法 修复方法 F1 IOU
LDI GC 50.09 17.89
MT-Net GC 82.05 75.16
HP-FCN GC 76.73 62.71
IID-Net GC 88.42 74.54
Ours GC 90.50 77.89
实验结果表明本发明方法可以实现对深度修复图像篡改区域的细粒度划分，并且能学习到篡改区域深度特征，具有很好的鲁棒性和泛化性，并且首次将目光集中于深度修复图像篡改边界和探索篡改像素和真实图像像素之间的关系，最后的结果表明边界引导解码模块有助于提高模型在捕捉篡改区域细节信息方面的能力，而对比学习损失函数有助于模型学习更具判别性的特征。因此，本发明方法在图像篡改定位任务上具有较大潜力。
此外，进一步对模型泛化能力进行了测试。选择6种深度学习图像修复数据，总共6K张图像进行泛化性测试，选择ELA、MT-Net和IID-Net来对比，这是由于ELA的泛化能力很强，不局限于某种修复算法，具有很强的通用性；MT-Net对各种常规操作类型(包括各种修复操作)具有良好的通用性；IID-Net是一种通用的修复图像取证算法。在图像篡改测试数据集上进行了实验，评价指标包括F1分数和IOU分数。实验结果如表2所示。
表2
从表2中可以看出，本发明方法在处理不同的图像修复方法时表现出一定的泛化能力，并且在篡改定位方面具有较好的性能。具体而言，即使应用于使用不同的修复方法处理过的图像，除EC外本发明方法仍然能够比ELA、MT-Net和IID-Net更好地进行篡改定位。与这些先进方法相比，本发明方法在数据集上取得更好的性能，这表明本发明方法可以更好地捕获图像内的篡改区域。而对于EC方法，据分析，应该是与EC的修复机制有关，由于其首先修复边界再用其指导图像修复过程，这就造成神经网络不能很好的检测和理解篡改边界伪影造成效果不好。尽管如此，这些实验结果还是验证了本发明方法的性能和优越性。这些结果说明本发明方法可以有效地应用于图像篡改检测和定位任务。对于实际取证工作有着重要的意义，可以帮助取证人员更好地找到篡改证据并保护证据的完整性。
本发明另一实施例提出一种基于边缘引导和对比损失的深度修复图像的篡改定位系统，该系统包括：
篡改图像获取模块，其配置成获取包含多张深度修复篡改图像的训练图像集；所述深度修复篡改图像通过原始彩色图像和二值掩码图像生成；
预处理模块，其配置成对所述深度修复篡改图像进行预处理；所述预处理包括对二值掩码图像进行数据增强，通过旋转不同比例的二值掩码图像来增强数据；
篡改定位模型训练模块，其配置成将预处理后的训练图像集输入到基于神经网络的篡改定位模型中进行训练，获取训练好的篡改定位模型；其中基于神经网络的篡改定位模型的训练过程包括：利用神经网络中的编码器提取深度修复篡改图像的浅层特征和深层特征；所述浅层特征包含图像纹理特征和边缘特征，所述深层特征包含语义特征；将浅层特征和深层特征结合提取边缘特征，并计算获得边缘损失函数；根据二值掩码图像和深层特征计算获取篡改区域特征和非篡改区域特征/>将篡改区域特征和非篡改区域特征的像素对/>作为负对计算负对比损失函数，将篡改区域特征和非篡改区域特征的像素对和/>作为正对计算正对比损失函数；将所述负对比损失函数和所述正对比损失函数进行加权获得有监督对比损失函数；将深层特征和边缘特征结合生成预测掩码，所述预测掩码表示输入图片中每个像素为篡改像素的概率值；根据所述预测掩码计算获得掩码损失函数；将所述边缘损失函数、所述有监督对比损失函数、所述掩码损失函数进行加权，作为神经网络的总的损失函数；采用反向传播算法优化神经网络模型的网络参数，获取训练好的篡改定位模型；
篡改定位模块，其配置成将待定位篡改图像输入到训练好的篡改定位模型中，确定待定位篡改图像中的篡改区域。
本实施例中，优选地，所述篡改定位模型训练模块中将浅层特征和深层特征结合提取边缘特征的具体过程包括：使用两个1×1卷积层分别将浅层特征和深层特征进行平滑处理，并将深层特征进行上采样，以使其与浅层特征大小对应；对浅层特征和上采样后的深层特征进行级联运算合并特征；将合并特征按顺序输入到两个3×3卷积层、一个1×1卷积层、Sigmoid激活函数后，获得边缘特征。
本实施例中，优选地，所述篡改定位模型训练模块中所述边缘损失函数根据边缘特征和边缘掩码图像计算获取，所述边缘掩码图像通过Canny算法计算掩码得到的边缘和将掩码下采样到图像大小的1/8并上采样，并与真实掩码作差得到的篡改区域边缘像素点相加得到；所述边缘损失函数的计算公式为：
式中，Si，x，y×Gi，x，y表示预测边界和边界标签像素的交集；和/>分别表示预测边界和边界标签的元素个数。
本实施例中，优选地，所述篡改定位模型训练模块中在获取篡改区域特征和非篡改区域特征/>后，对篡改区域特征/>和非篡改区域特征/>分别进行加权，加权后的篡改区域特征和非篡改区域特征表示为：
式中，和/>分别表示加权后的篡改区域特征和非篡改区域特征；/>和/>分别表示篡改区域特征和非篡改区域特征对应的权重系数：
式中，M(i,j)表示二值掩码图像，表示篡改区域占整个图像的比例，表示非篡改区域占整个图像的比重；H和W分别表示图像的高和宽。
本实施例中，优选地，所述篡改定位模型训练模块中所述负对比损失函数的计算公式为：
式中，n表示批大小；表示计算篡改区域特征和非篡改区域特征的余弦相似度；
所述正对比损失函数和/>的计算公式为：
式中，表示计算两个篡改区域特征的余弦相似度；/>表示计算两个非篡改区域特征的余弦相似度。
本实施例中，优选地，所述篡改定位模型训练模块中将深层特征和边缘特征结合生成预测掩码的过程包括：对深层特征进行元素乘法得到增强的深层特征并上采样；将增强的深层特征和边缘特征进行级联拼接得到初始融合特征；将所述初始融合特征输入卷积层进行特征提取；重复上述过程，以输出与图像相同大小的预测掩码图像。
本实施例中，优选地，所述篡改定位模型训练模块中所述掩码损失函数通过使用交叉熵函数进行训练得到，所述交叉熵损失函数的计算公式为：
其中，M(i,j)表示二值掩码图像，Mo(i,j)表示预测掩码图像。
本发明实施例一种基于边缘引导和对比损失的深度修复图像的篡改定位系统的功能可以由前述一种基于边缘引导和对比损失的深度修复图像的篡改定位方法说明，因此系统实施例未详述部分，可参见以上方法实施例，在此不再赘述。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，其特征在于，包括以下步骤：
步骤一、获取包含多张深度修复篡改图像的训练图像集；所述深度修复篡改图像通过原始彩色图像和二值掩码图像生成；
步骤二、对所述深度修复篡改图像进行预处理；
步骤三、将预处理后的训练图像集输入到基于神经网络的篡改定位模型中进行训练，获取训练好的篡改定位模型；
步骤四、将待定位篡改图像输入到训练好的篡改定位模型中，确定待定位篡改图像中的篡改区域。
2.根据权利要求1所述的一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，其特征在于，步骤二中所述预处理包括对二值掩码图像进行数据增强，通过旋转不同比例的二值掩码图像来增强数据。
3.根据权利要求1所述的一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，其特征在于，步骤三中基于神经网络的篡改定位模型的训练过程包括：
利用神经网络中的编码器提取深度修复篡改图像的浅层特征和深层特征；所述浅层特征包含图像纹理特征和边缘特征，所述深层特征包含语义特征；
将浅层特征和深层特征结合提取边缘特征，并计算获得边缘损失函数；
根据二值掩码图像和深层特征计算获取篡改区域特征和非篡改区域特征/>将篡改区域特征和非篡改区域特征的像素对/>作为负对计算负对比损失函数，将篡改区域特征和非篡改区域特征的像素对/>和/>作为正对计算正对比损失函数；将所述负对比损失函数和所述正对比损失函数进行加权获得有监督对比损失函数；
将深层特征和边缘特征结合生成预测掩码，所述预测掩码表示输入图片中每个像素为篡改像素的概率值；根据所述预测掩码计算获得掩码损失函数；
将所述边缘损失函数、所述有监督对比损失函数、所述掩码损失函数进行加权，作为神经网络的总的损失函数；
采用反向传播算法优化神经网络模型的网络参数，获取训练好的篡改定位模型。
4.根据权利要求3所述的一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，其特征在于，步骤三中将浅层特征和深层特征结合提取边缘特征的具体过程包括：使用两个1×1卷积层分别将浅层特征和深层特征进行平滑处理，并将深层特征进行上采样，以使其与浅层特征大小对应；对浅层特征和上采样后的深层特征进行级联运算合并特征；将合并特征按顺序输入到两个3×3卷积层、一个1×1卷积层、Sigmoid激活函数后，获得边缘特征。
5.根据权利要求3所述的一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，其特征在于，步骤三中所述边缘损失函数根据边缘特征和边缘掩码图像计算获取，所述边缘掩码图像通过Canny算法计算掩码得到的边缘和将掩码下采样到图像大小的1/8并上采样，并与真实掩码作差得到的篡改区域边缘像素点相加得到；所述边缘损失函数的计算公式为：
式中，Si，x，y×Gi，x，y表示预测边界和边界标签像素的交集；和/>分别表示预测边界和边界标签的元素个数。
6.根据权利要求3所述的一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，其特征在于，步骤三中在获取篡改区域特征和非篡改区域特征/>后，对篡改区域特征和非篡改区域特征/>分别进行加权，加权后的篡改区域特征和非篡改区域特征表示为：
式中，和/>分别表示加权后的篡改区域特征和非篡改区域特征；/>和/>分别表示篡改区域特征和非篡改区域特征对应的权重系数：
式中，M(i,j)表示二值掩码图像，表示篡改区域占整个图像的比例，表示非篡改区域占整个图像的比重；H和W分别表示图像的高和宽。
7.根据权利要求6所述的一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，其特征在于，步骤三中所述负对比损失函数的计算公式为：
式中，n表示批大小；表示计算篡改区域特征和非篡改区域特征的余弦相似度；
所述正对比损失函数和/>的计算公式为：
式中，表示计算两个篡改区域特征的余弦相似度；/>表示计算两个非篡改区域特征的余弦相似度。
8.根据权利要求3所述的一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，其特征在于，步骤三中将深层特征和边缘特征结合生成预测掩码的过程包括：对深层特征进行元素乘法得到增强的深层特征并上采样；将增强的深层特征和边缘特征进行级联拼接得到初始融合特征；将所述初始融合特征输入卷积层进行特征提取；重复上述过程，以输出与图像相同大小的预测掩码图像。
9.根据权利要求3所述的一种基于边缘引导和对比损失的深度修复图像的篡改定位方法，其特征在于，步骤三中所述掩码损失函数通过使用交叉熵函数进行训练得到，所述交叉熵损失函数的计算公式为：
其中，M(i,j)表示二值掩码图像，Mo(i,j)表示预测掩码图像。
10.一种基于边缘引导和对比损失的深度修复图像的篡改定位系统，其特征在于，包括：
篡改图像获取模块，其配置成获取包含多张深度修复篡改图像的训练图像集；所述深度修复篡改图像通过原始彩色图像和二值掩码图像生成；
预处理模块，其配置成对所述深度修复篡改图像进行预处理；
篡改定位模型训练模块，其配置成将预处理后的训练图像集输入到基于神经网络的篡改定位模型中进行训练，获取训练好的篡改定位模型；其中基于神经网络的篡改定位模型的训练过程包括：利用神经网络中的编码器提取深度修复篡改图像的浅层特征和深层特征；所述浅层特征包含图像纹理特征和边缘特征，所述深层特征包含语义特征；将浅层特征和深层特征结合提取边缘特征，并计算获得边缘损失函数；根据二值掩码图像和深层特征计算获取篡改区域特征和非篡改区域特征/>将篡改区域特征和非篡改区域特征的像素对/>作为负对计算负对比损失函数，将篡改区域特征和非篡改区域特征的像素对和/>作为正对计算正对比损失函数；将所述负对比损失函数和所述正对比损失函数进行加权获得有监督对比损失函数；将深层特征和边缘特征结合生成预测掩码，所述预测掩码表示输入图片中每个像素为篡改像素的概率值；根据所述预测掩码计算获得掩码损失函数；将所述边缘损失函数、所述有监督对比损失函数、所述掩码损失函数进行加权，作为神经网络的总的损失函数；采用反向传播算法优化神经网络模型的网络参数，获取训练好的篡改定位模型；
篡改定位模块，其配置成将待定位篡改图像输入到训练好的篡改定位模型中，确定待定位篡改图像中的篡改区域。
CN202310792164.1A 2023-06-30 2023-06-30 一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统 Active CN116912183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310792164.1A CN116912183B (zh) 2023-06-30 2023-06-30 一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310792164.1A CN116912183B (zh) 2023-06-30 2023-06-30 一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统

Publications (2)

Publication Number Publication Date
CN116912183A true CN116912183A (zh) 2023-10-20
CN116912183B CN116912183B (zh) 2024-02-20

Family

ID=88362007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310792164.1A Active CN116912183B (zh) 2023-06-30 2023-06-30 一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统

Country Status (1)

Country Link
CN (1) CN116912183B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004648A1 (en) * 2019-07-02 2021-01-07 Insurance Services Office, Inc. Computer Vision Systems and Methods for Blind Localization of Image Forgery
DE202022104365U1 (de) * 2022-08-01 2022-08-22 Madhumita Banerjee Ein robustes Farbbild-Hashing-System für die Bildauthentifizierung
CN115063373A (zh) * 2022-06-24 2022-09-16 山东省人工智能研究院 基于多尺度特征智能感知的社交网络图像篡改定位方法
CN115357944A (zh) * 2022-08-16 2022-11-18 河南大学 基于浅层特征增强和注意力机制的图像篡改检测方法
CN116152173A (zh) * 2022-12-22 2023-05-23 上海合合信息科技股份有限公司 一种图像篡改检测定位方法及装置
WO2023109709A1 (zh) * 2021-12-15 2023-06-22 深圳先进技术研究院 一种基于注意力机制的图像拼接定位检测方法
CN116342601A (zh) * 2023-05-30 2023-06-27 山东省人工智能研究院 基于边缘引导和多层级搜索的图像篡改检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004648A1 (en) * 2019-07-02 2021-01-07 Insurance Services Office, Inc. Computer Vision Systems and Methods for Blind Localization of Image Forgery
WO2023109709A1 (zh) * 2021-12-15 2023-06-22 深圳先进技术研究院 一种基于注意力机制的图像拼接定位检测方法
CN115063373A (zh) * 2022-06-24 2022-09-16 山东省人工智能研究院 基于多尺度特征智能感知的社交网络图像篡改定位方法
DE202022104365U1 (de) * 2022-08-01 2022-08-22 Madhumita Banerjee Ein robustes Farbbild-Hashing-System für die Bildauthentifizierung
CN115357944A (zh) * 2022-08-16 2022-11-18 河南大学 基于浅层特征增强和注意力机制的图像篡改检测方法
CN116152173A (zh) * 2022-12-22 2023-05-23 上海合合信息科技股份有限公司 一种图像篡改检测定位方法及装置
CN116342601A (zh) * 2023-05-30 2023-06-27 山东省人工智能研究院 基于边缘引导和多层级搜索的图像篡改检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
朱新山;钱永军;孙彪;任超;孙亚;姚思如;: "基于深度神经网络的图像修复取证算法", 光学学报, no. 11, 10 November 2018 (2018-11-10) *
杨超;周大可;杨欣;: "基于篡改区域轮廓的图像拼接篡改盲取证算法", 电子测量技术, no. 04, 23 February 2020 (2020-02-23) *
毕秀丽;魏杨;肖斌;李伟生;马建峰;: "基于级联卷积神经网络的图像篡改检测算法", 电子与信息学报, no. 12, 15 December 2019 (2019-12-15) *
边亮;罗霄阳;李硕;: "基于深度学习的图像拼接篡改检测", 北京航空航天大学学报, no. 05, 31 December 2020 (2020-12-31) *

Also Published As

Publication number Publication date
CN116912183B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN111080629B (zh) 一种图像拼接篡改的检测方法
CN111311563A (zh) 一种基于多域特征融合的图像篡改检测方法
CN114677346B (zh) 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
CN115063373A (zh) 基于多尺度特征智能感知的社交网络图像篡改定位方法
Chen et al. SNIS: A signal noise separation-based network for post-processed image forgery detection
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
Yin et al. Attention-guided siamese networks for change detection in high resolution remote sensing images
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN113744153B (zh) 双分支图像修复伪造检测方法、系统、设备及存储介质
Chakraborty PRNU-based image manipulation localization with discriminative random fields
CN114170184A (zh) 一种基于嵌入特征向量的产品图像异常检测方法及装置
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN116912184B (zh) 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统
CN113313668B (zh) 一种地铁隧道表面病害特征提取方法
Bedi et al. Estimating cover image for universal payload region detection in stego images
CN111860500B (zh) 一种鞋印磨损区域检测与描边方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Vijayalakshmi K et al. Copy-paste forgery detection using deep learning with error level analysis
CN115205650B (zh) 基于多尺度标准化流的无监督异常定位与检测方法及装置
CN116912183B (zh) 一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统
Xu et al. Multi-scale Attention Network for Detection and Localization of Image Splicing Forgery
Agarwal et al. Forensic analysis of colorized grayscale images using local binary pattern
Chen et al. Improved model for image tampering monitoring based on fast-RCNN
Liu et al. An Image Segmentation Method for the blind sidewalks recognition by using the convolutional neural network U-net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant