CN115346037B - 一种图像篡改检测方法 - Google Patents

一种图像篡改检测方法 Download PDF

Info

Publication number
CN115346037B
CN115346037B CN202211276199.1A CN202211276199A CN115346037B CN 115346037 B CN115346037 B CN 115346037B CN 202211276199 A CN202211276199 A CN 202211276199A CN 115346037 B CN115346037 B CN 115346037B
Authority
CN
China
Prior art keywords
features
image
feature
convolution
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211276199.1A
Other languages
English (en)
Other versions
CN115346037A (zh
Inventor
王帅
邓家豪
林讯
唐文忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211276199.1A priority Critical patent/CN115346037B/zh
Publication of CN115346037A publication Critical patent/CN115346037A/zh
Application granted granted Critical
Publication of CN115346037B publication Critical patent/CN115346037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像篡改检测技术领域，具体涉及一种图像篡改检测方法，包括：预处理原始图像，得到RGB原始图；初始化RGB原始图，得到噪声特征图；采用双流结构网络进行特征提取和融合；将两个分支的提取特征融合得到的融合特征进行上采样，上采样至原始图像尺寸大小后，再对得到的图像的每个像素点进行二分类，输出预测结果图。本发明针对不同差异特征进行提取，深度挖掘特征之间关联性，提高篡改区域定位精度。

Description

一种图像篡改检测方法
技术领域
本发明涉及图像篡改检测技术领域，具体涉及一种图像篡改检测方法。
背景技术
数字图像已经涉及到我们生活的各个角落，从我们日常生活中的社交网络到学术科研，图像的数量都十分庞大，在现代社会生活中起着不可忽视的作用，并扮演着越来越重要的角色。随着一些图像处理工具的普及，如PhotoShop和美图秀秀等，使得修改和创建虚假的图像变得极其容易和快速，让我们对数字图像的信任大大降低，不再相信“眼见为实”。面向真实性检测的数字图像取证技术是迫切需要的一种技术, 潜在的应用领域广泛, 涉及新闻媒体、电子票据、文档签名、法庭取证、保险事故调查等领域, 有着广泛的应用前景。
最常见的图像篡改技术大致可分为三大类：复制-移动，图像的局部直接或者经过缩放、旋转、翻转等操作后被复制粘贴到同一图像的另一部分；拼接，从其他图像上选取局部拼接到当前图像上；修饰，主要是移除掉图像中某些元素。在应用完这些篡改手段后，篡改者还会利用PhotoShop等图像编辑工具进行一些后处理，比如调整大小、旋转、对比度/亮度调整、去噪等，保证篡改的图像和真实图像看起来别无二致。
对上述图像的篡改进行检测的技术主要可以分为两大类：基于传统方法的篡改检测和基于深度学习的篡改检测。传统的检测方法基于特定的篡改手段设计具体的方法来检测是否篡改，而深度学习方法利用深度神经网络来提取图像特征，并给出图像篡改区域定位。传统的检测方法只能针对特定的痕迹手工设计算法，不仅过程繁琐，而且使用场景非常有限。例如SIFT算法仅能检测复制-移动的图像，利用边缘不连续、照明不一致、几何不一致和相机轨迹不一致等拼接痕迹的传统算法仅能检测拼接的图像。
由于深度学习方法不依赖于先验知识，可以端到端的训练和检测，并且对于三种篡改手段都有效，已经成为该领域的主要研究方向，大量研究者投入其中。近年来，涌现出大量的基于深度学习的通用的图像篡改检测算法，如RGB-N、MantraNet、SPAN、MVSS等。
基于深度学习的方法可以进一步细分为单流结构和双流结构，都利用利用卷积神经网络提取图像语义特征、篡改区域边缘特征、噪声特征。但是单流结构的模型难以有效学习多种篡改特征，并且某些方法也只能检测单一的篡改类型，如MFCN，RRU-Net等。因此，又涌现出很多双流结构的算法，双流结构的算法同时学习噪声特征、边缘特征、图像语义信息等，但是不同流提取的特征具有差异性，多个特征仅仅在模型的两端融合，很难弥合这些特征之间的差距。例如，MM-Net算法提出了一个注意力引导模块，希望让一个流来引导另一个流的学习，但是在学习的过程中依然忽略了两个分支的联系，本质上依然是后融合；SEINET算法在提取特征阶段通过将两个流的特征相加或者相乘进行交互，不能很好的挖掘相关性，并且也缺乏对全局特征的提取，而全局特征对于检测异源噪声和噪声不一致性至关重要。目前这些双流结构算法都陷入了瓶颈，无法取得更高的检测精度。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出一种图像篡改检测方法，可以同时学习篡改图像的噪声特征、边缘特征、语义特征和全局特征，并且深度挖掘特征之间关联性的新型双流结构模型，以提高检测准确率和篡改区域的定位精度。
本发明完整的技术方案如下：
一种图像篡改检测方法，具体步骤如下：
步骤S1：预处理原始图像：读取原始图像，调整图像尺寸，得到RGB原始图；利用限制卷积模型BayerConv初始化RGB原始图，得到噪声特征图；
步骤S2：采用双流结构网络进行特征提取，并进行特征融合：一个分支为RGB流，利用卷积网络ResNet对RGB原始图进行特征提取；另一个分支为噪声流，利用CSwin-transformer网络对所述噪声特征图进行特征提取；之后，采用Transformer模块进行特征融合；
步骤S3：进行上采样并输出预测结果图：将两个分支完成特征提取和融合后，得到的最终的融合特征进行上采样，上采样至原始图像尺寸大小后，再对得到的图像的每个像素点进行二分类，输出预测结果图。
进一步的，步骤S2中，两个分支的网络各自包含四个Block模块，每经过一个Block模块即为特征提取的一个阶段，噪声特征图特征提取的每一个阶段之后都对中间特征进行聚类操作，利用聚类的结果修正中间特征，并将修正后的中间特征与RGB流的中间特征进行特征融合，融合后再分别输入到两个分支中的下一个Block模块，直到完成四个阶段，得到最终的融合特征。
进一步的，步骤S2中，通过双流结构网络进行特征提取，并通过Transformer模块融合特征，最终得到融合特征
Figure 273592DEST_PATH_IMAGE001
，具体包括以下步骤：
从每个分支中的第一个Block模块开始；
步骤2-1、采用双流结构网络提取特征：
RGB原始图经过卷积网络ResNet中的Block模块得到卷积特征
Figure 986333DEST_PATH_IMAGE002
，噪声特征经过CSwin-transformer网络中的Block模块得到CSwin特征
Figure 238323DEST_PATH_IMAGE003
；
步骤2-2、对CSwin特征
Figure 872567DEST_PATH_IMAGE004
进行K-means聚类得到聚类结果特征
Figure 969836DEST_PATH_IMAGE005
，利用聚类结果特征
Figure 5925DEST_PATH_IMAGE006
修正CSwin特征
Figure 179548DEST_PATH_IMAGE004
，得到修正后的修正特征
Figure 301088DEST_PATH_IMAGE007
；
步骤2-3、融合特征：将卷积特征
Figure 202048DEST_PATH_IMAGE008
和修正特征
Figure 92644DEST_PATH_IMAGE009
拼接到一起得到拼接特征
Figure 686436DEST_PATH_IMAGE010
，将拼接特征
Figure 29693DEST_PATH_IMAGE010
输入到Transformer模块中进行特征融合，得到融合特征
Figure 999923DEST_PATH_IMAGE011
；
步骤2-4、将步骤2-3的融合后的融合特征
Figure 745025DEST_PATH_IMAGE012
另存为跳跃连接特征
Figure 758986DEST_PATH_IMAGE013
，再拆分成新的下一阶段卷积特征
Figure 589539DEST_PATH_IMAGE014
和下一阶段CSwin特征
Figure 832301DEST_PATH_IMAGE015
分别输入到步骤2-1中的各自分支的下一个Block；
2-5、重复上述步骤2-1至步骤2-4直至经过两个分支的最后一个Block模块，也就是经过4个Block模块后，提取特征阶段完成，最后一个Block模块后的融合阶段的融合特征
Figure 697489DEST_PATH_IMAGE012
无需拆分，直接输入到解码器模块。
进一步的，在步骤S2的步骤2-2中，基于聚类结果特征
Figure 633084DEST_PATH_IMAGE005
利用卷积模块去修正CSwin特征
Figure 950933DEST_PATH_IMAGE016
，得到修正后的修正特征
Figure 997386DEST_PATH_IMAGE017
。
进一步的，所述卷积模块包含两个卷积层，两层的卷积核大小分别为3×3和1×1，该卷积模块不改变CSwin特征
Figure 982660DEST_PATH_IMAGE016
的尺寸。
进一步的，步骤S3具体包括以下步骤：
步骤3-1、利用解码器模块对融合特征
Figure 26839DEST_PATH_IMAGE012
进行上采样，并在上采样时加入步骤S2中保存的跳跃连接特征
Figure 645034DEST_PATH_IMAGE018
，上采样至原始图像尺寸大小；
步骤3-2、对于上采样完成后的特征图每一个像素点进行二分类，分为是篡改点和非篡改点，得到预测结果图Mask。
进一步的，解码器模块采用上采样卷积模块。
进一步的，在所述检测方法的步骤S3中，将预测结果图Mask与对应的GroundTruth计算损失，根据该损失反向传播对所述检测方法进行优化。
进一步的，所述损失的计算采用Dice损失函数来计算。
本发明的有益效果在于：
1．本发明的特征提取阶段采取的双流结构网络，一条分支使用ResNet，输入原始的RGB原始图像，另一条分支采用最新的CSwinTransformer网络，输入经过BayerConv(限制卷积模型)初始化的噪声特征图，能够实现从不同角度进行特征提取，实现特征提取的全面性。
2．本发明的融合模块采用通用的Transformer模块，因为Transformer具有强力的建立远距离依赖和挖掘关联性的能力。融合完两个分支的特征之后再分别输入到各自的流进行下一阶段的特征学习。与当前先进的检测算法不同的是，本发明模型在提取特征的过程中，每个Block后会对两个分支提取的特征进行融合，以达到相互指导、消除差异性的目的。
3．在本发明中引入传统的聚类算法，在CSwin-transformer提取完特征后进行，K-means聚类，理想情况下将篡改区域的特征聚集为一类，非篡改区域的特征聚集为另一类，这也有助于CSwin-transformer更多的注意到局部细节信息，提高篡改区域的定位精度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1 为本发明图像篡改检测方法的整体模型结构图；
图2 为本发明图像篡改检测方法流程图；
图3 为本发明图像篡改检测方法检测的原图与BayerConv初始化后的噪声特征图对比图；
图4 为本发明图像篡改检测方法的实施例中所检测的篡改图、原始图像、GroundTruth及预测结果图的对照。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的基于双流结构网络的图像篡改检测方法，结构图如图1所示，流程图如图2所示，具体方法步骤如下：
步骤1，对原始图像进行预处理，具体步骤如下：
1-1、利用opencv读取原始图像并调整图像尺寸，得到调整后的RGB原始图，
1-2、利用BayerConv初始化上述调整后的RGB原始图得到噪声特征图。
图像篡改检测与其他一般的图像任务不同，图像篡改检测更加关注图像的篡改部分，因此，需要模型学习篡改检测特征而不是代表图像内容的语义特征。限制卷积模型BayerConv是一个约束卷积核，RGB原始图经过该卷积核初始化之后得到抑制了图像语义的噪声特征图，本发明采用的一系列的共5个BayerConv约束卷积核，对RGB原始图进行初始化，进行初始化的约束条件如公式(1)所示。
Figure DEST_PATH_IMAGE019
(1)
其中
Figure 229599DEST_PATH_IMAGE020
表示第k个卷积核，k=1,2,3,4,5；(0,0)表示中心位置，(m,n)表示其他位置。对RGB原始图经过上述初始化，得到经过BayerConv初始化后的噪声特征图，如图3所示。
步骤2，通过双流结构网络进行特征提取，并通过Transformer模块融合特征，最终得到融合特征
Figure 803800DEST_PATH_IMAGE021
；具体方法包括：
2-1、采用双流结构网络提取特征：
将RGB原始图和噪声图像分别输入到卷积网络ResNet分支和CSwin-transformer网络分支。上述两个网络都采用4个Block模块的结构。
ResNet是一种卷积网络，有多种结构，每种结构只是层数不一样，本实施例采用ResNet50有50层卷积网络。
RGB原始图经过ResNet中的第一个Block得到卷积特征fres，噪声特征经过CSwin-transformer网络中的Block得到CSwin特征fcswin；
另外，对于经过卷积网络ResNet处理后的特征，根据实际需要还可以经过Embbeding处理，如图1所示，Embbeding作用是把一个图像patch映射成低维向量，主要是通过一个卷积操作加一个线性映射完成。
2-2、对CSwin特征fcswin进行K-means聚类得到聚类结果特征fclu，利用聚类结果特征fclu修正特征fcswin到CSwin的修正特征
Figure 81197DEST_PATH_IMAGE022
；
2-2-1、对CSwin特征fcswin进行K-means聚类得到聚类结果特征fclu，具体方法如下：
K-means算法是最常用的聚类算法，该算法主要通过在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，距离通过欧氏距离计算公式计算，如公式（2）所示。所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的迭代次数。本方法中将K设为2，聚成两类，篡改区域特征分配到一类，非篡改区域特征分配到另一类。
Figure 108059DEST_PATH_IMAGE023
（2）
其中，
Figure DEST_PATH_IMAGE024
为距离，
Figure 496315DEST_PATH_IMAGE025
表示第i个特征，
Figure 236607DEST_PATH_IMAGE026
表示第j个聚类中心，m表示特征维度。依次比较每一个对象到每一个聚类中心的距离，将对象分配到距离最近的聚类中心的类簇中，得到2个类簇
Figure 888168DEST_PATH_IMAGE027
， K-means算法用中心定义了类簇的原型，类簇中心就是类簇内所有对象在各个维度的均值，其计算公式如下:
Figure 667905DEST_PATH_IMAGE028
（3）
公式中
Figure 859852DEST_PATH_IMAGE029
表示第l个聚类中心，
Figure 143066DEST_PATH_IMAGE030
表示第l个聚类中心中样本数。
2-2-2、得到聚类结果特征
Figure 27845DEST_PATH_IMAGE006
后，再利用卷积模块去修正CSwin特征
Figure 29299DEST_PATH_IMAGE031
，得到修正后的特征
Figure 759358DEST_PATH_IMAGE032
。
具体修正过程利用位置注意力算法，计算每个特征点聚类结构对原特征的影响分数，具体方法如下：
在CSwin-Trasnsformer提取到特征
Figure 162657DEST_PATH_IMAGE033
后，将其输入到一个K-means层产生一个特征聚类结果
Figure 969071DEST_PATH_IMAGE034
，并将
Figure 192241DEST_PATH_IMAGE005
的维度扩展至C×H×W。然后将
Figure 991570DEST_PATH_IMAGE006
和
Figure 514955DEST_PATH_IMAGE035
相乘，对相乘的结果输入到一个softmax层计算空间注意力图
Figure 413641DEST_PATH_IMAGE036
，计算过程如公式(4)所示：
Figure 452004DEST_PATH_IMAGE037
（4）
其中，
Figure 727128DEST_PATH_IMAGE038
表示特征聚类结果
Figure 901757DEST_PATH_IMAGE006
第i个点对于特征图
Figure 236924DEST_PATH_IMAGE031
的影响力分数，N=H×W是特征图的像素点。接下来将
Figure 480692DEST_PATH_IMAGE039
和
Figure 825086DEST_PATH_IMAGE040
相乘把空间影响力分数作用到
Figure 119801DEST_PATH_IMAGE031
上得到中间特征
Figure 360289DEST_PATH_IMAGE041
。因为聚类是一个无监督过程，为了防止聚类结果有偏差将原始的特征图往不利的方向引导，我们将中间特征
Figure 373245DEST_PATH_IMAGE041
和CSwin特征
Figure 990171DEST_PATH_IMAGE031
相加得到一个第二中间特征
Figure 139393DEST_PATH_IMAGE042
。最后我们将第二中间特征
Figure 550782DEST_PATH_IMAGE043
输入到一个卷积模块和一个激活层中学习得到聚类并修正完的修正特征
Figure 536187DEST_PATH_IMAGE044
。卷积模块包含两个卷积层，两层的卷积核大小分别为3×3和1×1，该卷积模块不改变特征尺寸。
2-3、融合特征：将卷积特征
Figure 222383DEST_PATH_IMAGE008
和修正特征
Figure 960532DEST_PATH_IMAGE007
拼接到一起得到拼接特征
Figure 73982DEST_PATH_IMAGE010
，将拼接特征
Figure 530371DEST_PATH_IMAGE010
输入到Transformer模块中进行特征融合，得到融合之后的融合特征
Figure 489100DEST_PATH_IMAGE021
：
2-4、将步骤2-3的融合后的融合特征
Figure 816176DEST_PATH_IMAGE012
另存为跳跃连接特征
Figure 897264DEST_PATH_IMAGE013
，再拆分成新的下一阶段卷积特征
Figure 778632DEST_PATH_IMAGE014
和下一阶段CSwin特征
Figure 852637DEST_PATH_IMAGE015
，并分别输入到步骤2-1中的各自分支的下一个Block；
2-5、重复上述步骤2-1至2-4直至经过两个分支的最后一个Block模块，也就是经过4个Block模块后，提取特征阶段完成，最后一个Block模块后的融合阶段的融合特征
Figure 768640DEST_PATH_IMAGE012
无需拆分，直接输入到解码器模块；
步骤3，对融合特征
Figure 20630DEST_PATH_IMAGE001
进行上采样处理以及分类，得到预测结果图，具体步骤为：
3-1、在利用解码器模块对融合特征
Figure 654873DEST_PATH_IMAGE012
上采样时加入步骤2中的跳跃连接特征
Figure 17722DEST_PATH_IMAGE013
，上采样至原始图像尺寸大小；
3-2、对于上采样完成后的特征图每一个像素点进行二分类，分为是篡改点和非篡改点，得到预测结果图Mask，如图4所示。
本发明的方法模型在训练时会利用预测得到的预测结果图Mask和对应的GroundTruth计算损失，反向传播进行优化；其中，GroundTruth为原始图像的篡改图像的标注图，将篡改图像的非篡改区域标为黑色，篡改区域标为白色。由于篡改区域在一般情况下所占的比例较小，数据极不平衡，因此交叉熵损失函数等常用损失函数效果不好。
本方法中使用Dice损失函数来计算上述损失，详细情况见公式(5)，其中，W×H表示图像尺寸，G(xi)表示表示第i个像素的预测值，yi表示第i个像素的真实值，篡改像素为1，没篡改像素为0。
Figure 788232DEST_PATH_IMAGE045
（5）
训练时的模型参数说明：图像输入尺寸大小为256×256，初始学习率设为0.00001，学习率衰减系数为0.01，训练1000轮，batch的大小为8，优化器选用Adam。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种图像篡改检测方法，其特征在于，具体步骤如下：
步骤S1：预处理原始图像：读取原始图像，调整图像尺寸，得到RGB原始图；利用限制卷积模型BayerConv初始化RGB原始图，得到噪声特征图；
步骤S2：采用双流结构网络进行特征提取，并进行特征融合：一个分支为RGB流，利用卷积网络ResNet对RGB原始图进行特征提取；另一个分支为噪声流，利用CSwin-transformer网络对所述噪声特征图进行特征提取；之后，采用Transformer模块进行特征融合；
步骤S3：进行上采样并输出预测结果图：将两个分支完成特征提取和融合后，得到的最终的融合特征进行上采样，上采样至原始图像尺寸大小后，再对得到的图像的每个像素点进行二分类，输出预测结果图；
步骤S2中，两个分支的网络各自包含四个Block模块，每经过一个Block模块即为特征提取的一个阶段，噪声特征图特征提取的每一个阶段之后都对中间特征进行聚类操作，利用聚类的结果修正中间特征，并将修正后的中间特征与RGB流的中间特征进行特征融合，融合后再分别输入到两个分支中的下一个Block模块，直到完成四个阶段，得到最终的融合特征；
步骤S2中，通过双流结构网络进行特征提取，并通过Transformer模块融合特征，最终得到融合特征
Figure 714074DEST_PATH_IMAGE001
Figure 886430DEST_PATH_IMAGE002
具体包括以下步骤：
从每个分支中的第一个Block模块开始；
步骤2-1、采用双流结构网络提取特征：
RGB原始图经过卷积网络ResNet中的Block模块得到卷积特征
Figure 103784DEST_PATH_IMAGE003
，噪声特征经过CSwin-transformer网络中的Block模块得到CSwin特征
Figure 310775DEST_PATH_IMAGE004
；
步骤2-2、对CSwin特征
Figure 345596DEST_PATH_IMAGE005
进行K-means聚类得到聚类结果特征
Figure 5247DEST_PATH_IMAGE006
，利用聚类结果特征
Figure 26293DEST_PATH_IMAGE007
修正CSwin特征
Figure 822210DEST_PATH_IMAGE005
，得到修正后的修正特征
Figure 513086DEST_PATH_IMAGE008
；
步骤2-3、融合特征：将卷积特征
Figure 722350DEST_PATH_IMAGE009
和修正特征
Figure 484770DEST_PATH_IMAGE010
拼接到一起得到拼接特征
Figure 587724DEST_PATH_IMAGE011
，将拼接特征
Figure 511818DEST_PATH_IMAGE011
输入到Transformer模块中进行特征融合，得到融合特征
Figure 208378DEST_PATH_IMAGE012
；
步骤2-4、将步骤2-3的融合后的融合特征
Figure 508910DEST_PATH_IMAGE013
另存为跳跃连接特征
Figure 482682DEST_PATH_IMAGE014
，再拆分成新的下一阶段卷积特征
Figure 577677DEST_PATH_IMAGE015
和下一阶段CSwin特征
Figure 761534DEST_PATH_IMAGE016
分别输入到步骤2-1中的各自分支的下一个Block；
2-5、重复上述步骤2-1至步骤2-4直至经过两个分支的最后一个Block模块，也就是经过4个Block模块后，提取特征阶段完成，最后一个Block模块后的融合阶段的融合特征
Figure 790057DEST_PATH_IMAGE017
无需拆分，直接输入到解码器模块。
2.根据权利要求1所述的一种图像篡改检测方法，其特征在于，在步骤S2的步骤2-2中，基于聚类结果特征
Figure 415073DEST_PATH_IMAGE006
利用卷积模块去修正CSwin特征
Figure 8866DEST_PATH_IMAGE004
，得到修正后的修正特征
Figure 352122DEST_PATH_IMAGE008
。
3.根据权利要求2所述的一种图像篡改检测方法，其特征在于，所述卷积模块包含两个卷积层，两层的卷积核大小分别为3×3和1×1，该卷积模块不改变CSwin特征
Figure 197719DEST_PATH_IMAGE005
的尺寸。
4.根据权利要求1所述的一种图像篡改检测方法，其特征在于，步骤S3具体包括以下步骤：
步骤3-1、利用解码器模块对融合特征
Figure 942821DEST_PATH_IMAGE017
进行上采样，并在上采样时加入步骤S2中保存的跳跃连接特征
Figure 707514DEST_PATH_IMAGE018
，上采样至原始图像尺寸大小；
步骤3-2、对于上采样完成后的特征图每一个像素点进行二分类，分为是篡改点和非篡改点，得到预测结果图Mask。
5.根据权利要求4所述的一种图像篡改检测方法，其特征在于，解码器模块采用上采样卷积模块。
6.根据权利要求5所述的一种图像篡改检测方法，其特征在于，在所述检测方法的步骤S3中，将预测结果图Mask与对应的GroundTruth计算损失，根据该损失反向传播对所述检测方法进行优化。
7.根据权利要求6所述的一种图像篡改检测方法，其特征在于，所述损失的计算采用Dice损失函数来计算。
CN202211276199.1A 2022-10-19 2022-10-19 一种图像篡改检测方法 Active CN115346037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211276199.1A CN115346037B (zh) 2022-10-19 2022-10-19 一种图像篡改检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211276199.1A CN115346037B (zh) 2022-10-19 2022-10-19 一种图像篡改检测方法

Publications (2)

Publication Number Publication Date
CN115346037A CN115346037A (zh) 2022-11-15
CN115346037B true CN115346037B (zh) 2023-02-03

Family

ID=83957544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211276199.1A Active CN115346037B (zh) 2022-10-19 2022-10-19 一种图像篡改检测方法

Country Status (1)

Country Link
CN (1) CN115346037B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116013449B (zh) * 2023-03-21 2023-07-07 成都信息工程大学 融合临床信息与磁共振图像的心肌病预后辅助预测方法
CN117456171B (zh) * 2023-12-26 2024-03-22 中国海洋大学 基于抑制相关区域挖掘的复制移动篡改检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533632A (zh) * 2019-07-18 2019-12-03 数字广东网络建设有限公司 图像模糊篡改检测方法、装置、计算机设备和存储介质
CN110942456A (zh) * 2019-11-25 2020-03-31 深圳前海微众银行股份有限公司 篡改图像检测方法、装置、设备及存储介质
CN111445454A (zh) * 2020-03-26 2020-07-24 江南大学 一种图像真伪鉴别方法及其在证照识别中的应用
CN112465783A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 一种图像篡改检测方法和装置
CN112750122A (zh) * 2021-01-21 2021-05-04 山东省人工智能研究院 基于双流边界感知神经网络的图像篡改区域定位方法
KR20210147370A (ko) * 2020-05-28 2021-12-07 경일대학교산학협력단 이미지 위조 탐지 장치 및 방법
CN114218613A (zh) * 2021-12-14 2022-03-22 云从科技集团股份有限公司 图像篡改检测方法、装置以及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7505606B2 (en) * 2005-05-19 2009-03-17 Microsoft Corporation Detecting doctored images using camera response normality and consistency

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533632A (zh) * 2019-07-18 2019-12-03 数字广东网络建设有限公司 图像模糊篡改检测方法、装置、计算机设备和存储介质
CN110942456A (zh) * 2019-11-25 2020-03-31 深圳前海微众银行股份有限公司 篡改图像检测方法、装置、设备及存储介质
CN111445454A (zh) * 2020-03-26 2020-07-24 江南大学 一种图像真伪鉴别方法及其在证照识别中的应用
KR20210147370A (ko) * 2020-05-28 2021-12-07 경일대학교산학협력단 이미지 위조 탐지 장치 및 방법
CN112465783A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 一种图像篡改检测方法和装置
CN112750122A (zh) * 2021-01-21 2021-05-04 山东省人工智能研究院 基于双流边界感知神经网络的图像篡改区域定位方法
CN114218613A (zh) * 2021-12-14 2022-03-22 云从科技集团股份有限公司 图像篡改检测方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN115346037A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN115346037B (zh) 一种图像篡改检测方法
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN111311563B (zh) 一种基于多域特征融合的图像篡改检测方法
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN115601549A (zh) 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN112580661B (zh) 一种深度监督下的多尺度边缘检测方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
WO2020151148A1 (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN115063373A (zh) 基于多尺度特征智能感知的社交网络图像篡改定位方法
CN112069884A (zh) 一种暴力视频分类方法、系统和存储介质
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN111476133A (zh) 面向无人驾驶的前背景编解码器网络目标提取方法
Li et al. Image manipulation localization using attentional cross-domain CNN features
Yu et al. Background subtraction based on GAN and domain adaptation for VHR optical remote sensing videos
CN114998261A (zh) 一种双流U-Net图像篡改检测网络系统及其图像篡改检测方法
CN113537119B (zh) 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN113052187A (zh) 一种基于多尺度特征融合的全局特征对齐目标检测方法
CN115578631A (zh) 基于多尺度交互和跨特征对比学习的图像篡改检测方法
CN112419238A (zh) 基于端到端深度神经网络的复制-粘贴伪造图像取证方法
CN112861960B (zh) 一种图像篡改检测方法、系统及存储介质
CN117392392B (zh) 一种割胶线识别与生成方法
CN116863032B (zh) 一种基于生成对抗网络的洪涝灾害场景生成方法
CN114998363B (zh) 一种高分辨率遥感影像渐进式分割方法
CN114298159B (zh) 一种基于无标签样本下文本融合的图像相似性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant