CN117496225A - 一种图像数据取证方法及其系统 - Google Patents

一种图像数据取证方法及其系统 Download PDF

Info

Publication number
CN117496225A
CN117496225A CN202311343578.2A CN202311343578A CN117496225A CN 117496225 A CN117496225 A CN 117496225A CN 202311343578 A CN202311343578 A CN 202311343578A CN 117496225 A CN117496225 A CN 117496225A
Authority
CN
China
Prior art keywords
image data
classification model
convolution
feature map
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311343578.2A
Other languages
English (en)
Inventor
朱小刚
刘帅旗
丁峰
沈张一
刘春年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Juneng Iot Technology Research Center Co ltd
Nanchang University New Generation Information Technology Industry Research Institute
Nanchang University
Original Assignee
Jiangxi Juneng Iot Technology Research Center Co ltd
Nanchang University New Generation Information Technology Industry Research Institute
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Juneng Iot Technology Research Center Co ltd, Nanchang University New Generation Information Technology Industry Research Institute, Nanchang University filed Critical Jiangxi Juneng Iot Technology Research Center Co ltd
Priority to CN202311343578.2A priority Critical patent/CN117496225A/zh
Publication of CN117496225A publication Critical patent/CN117496225A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像数据取证方法及其系统，其中图像数据取证方法包括以下步骤：进行卷积块的确定；响应于完成卷积块的确定，基于卷积块进行分类模型的搭建；根据搭建好的分类模型完成图像取证，获取最终的图像取证结果。本申请通过搭建的UsmSA块和分类模型，不仅能对USM锐化处理的图像有极高的检测准确率，还能够降低对USM锐化取证的漏报率。

Description

一种图像数据取证方法及其系统
技术领域
本申请涉及数据处理领域，具体地，涉及一种图像数据取证方法及其系统。
背景技术
随着数字化时代的到来，全球数字化建设如火如荼。人们可以很便捷地通过互联网了解各类社会资讯以及分享日常生活。其中，图像和视频作为互联网上传播信息的主要载体，成为人们生活中不可分割的一部分。当前，有许多研究者发表了他们在数字图像取证方面的思路，目前主流的检测方法主要是基于深度学习的检测方法，该方法是将数字图像的取证视为一个二分类问题，通过设计新的神经网络结构或损失函数来分辨虚假样本和真实样本。但是，目前大多数会通过图像后处理操作来掩饰图像的修改痕迹。由于USM锐化方法是一种重要的图像处理方法，USM锐化可以用来掩饰图像篡改痕迹，因此对这种锐化处理的检测应在图像取证中发挥关键作用。随着技术的发展，如何提高模型的鲁棒性在图像取证问题中也变得越来越重要。现有的方案大多对USM锐化有较好的检测效果，但当USM锐化的图像经过JPEG压缩、重采样、添加噪声处理后，检测效率明显降低。为了应对上述问题，本发明设计了一种基于UsmSA的数字图像锐化取证方法。它可以实现对经过USM锐化后的图像的取证工作，实验证明该模型检测的准确率非常出色。特别值得一提的是，本发明可以在不同的取证场景中自适应提取图像特征，对多种图像后处理操作具有强鲁棒性，当USM锐化后的图像再经过添加高斯噪声、JPEG压缩或者重采样之后，该方法的检测准确率没有出现明显下降。但是现有的方法大多数都是为了区分图像是否进行过USM锐化，但是当多种USM锐化方法处理的图像混合在一起时，检测的准确率不高。而在取证过程中，由于无法分辨图像具体是由什么USM锐化方法生成的，这就要求方案需要对多种锐化方法有较高的敏感度，多种锐化图像混合时也有突出的检测能力，降低漏报率。并且，由于现有的反取证手段往往会对图像进行JPEG压缩、重采样、添加高斯噪声等后处理来掩饰修改痕迹。攻击者可能会对锐化后的对抗样本进行上述后处理操作来干扰取证检测器。因此，图像取证方案对多种后处理操作的鲁棒性十分重要。现有方案的鲁棒性较差，且一般只能抵抗某一种后处理操作，且准确率有待提升。
因此，如何提供一种对高斯噪声、JPEG压缩、重采样操作等后处理方式有高鲁棒性的图像取证方法，成为本领域急需解决的问题。
发明内容
本申请提供了一种图像数据取证方法，包括以下步骤：进行卷积块的确定；响应于完成卷积块的确定，基于卷积块进行分类模型的搭建；根据搭建好的分类模型完成图像取证，获取最终的图像取证结果。
如上的，其中，进行卷积块的确定具体包括以下子步骤：将图像数据输入至深度可分离卷积；将图像数据输入深度可分离卷积后，图像数据经过层归一化层和激活函数，得到特征图；将特征图输入至SE模块，对每个通道赋予权重；赋予权重后，将特征图输入至自注意力块中；将特征图输入至自注意力块后，使用前馈网络进行特征增强。
如上的，其中，图像数据是指经过USM锐化处理后的图像数据。
如上的，其中，将特征图输入至SE模块包括，SE模块将输入的特征图通过pooling+FC层，将特征图的尺寸拉伸成1×1×C。
如上的，其中，基于卷积块进行分类模型的搭建包括，将RGB三通道的图像数据输入至分类模型中。
一种图像数据取证系统，包括卷积块确定单元、分类模型搭建单元以及取证结果获取单元；卷积块单元用于进行卷积块结构的确定；分类模型搭建单元用于基于确定的卷积块进行分类模型的搭建；取证结果获取单元用于根据搭建好的分类模型完成图像取证，获取最终的图像取证结果。
如上的，其中，卷积块单元进行卷积块的确定具体包括以下子步骤：将图像数据输入至深度可分离卷积；将图像数据输入深度可分离卷积后，图像数据经过层归一化层和激活函数，得到特征图；将特征图输入至SE模块，对每个通道赋予权重；赋予权重后，将特征图输入至自注意力块中；将特征图输入至自注意力块后，使用前馈网络进行特征增强。
如上的，其中，卷积块单元中的图像数据是指经过USM锐化处理后的图像数据。
如上的，其中，卷积块单元将特征图输入至SE模块包括，SE模块将输入的特征图通过pooling+FC层，将特征图的尺寸拉伸成1×1×C。
如上的，其中，分类模型搭建单元中，基于卷积块进行分类模型的搭建包括，将RGB三通道的图像数据输入至分类模型中
本申请具有以下有益效果：
(1)本申请通过搭建的UsmSA块和分类模型，不仅能对USM锐化处理的图像有极高的检测准确率，还能够降低对USM锐化取证的漏报率。
(2)本发明的模型结构相对简单，卷积神经网络已被证明是有效的图像检测的模型，相比传统锐化取证方法，本发明提出的模型更加简单高效、检测效率更高。
(3)本申请所搭建的分类模型的鲁棒性高，可以适应多场景取证。本方法对JPEG压缩、高斯噪声和重采样有较高的鲁棒性，即使USM锐化图像经过了上述三种后处理操作，本申请也能准确分辨出锐化图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的图像数据取证方法的流程图；
图2是根据本申请实施例提供的卷积块的结构示意图；
图3是根据本申请实施例提供的分类模型的结构示意图；
图4是根据本申请实施例提供的图像数据取证系统的内部结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请针对USM锐化算法的特征，设计了一种高精度的USM锐化识别算法。具体设计了一种卷积块结构，称为UsmSA Block，并引入了SE模块和注意力机制来从众多特征中学习分辨USM锐化的关键特征，将提取的特征矩阵输入卷积神经网络进行预测和分类。
实施例一
如图1所示，为本实施例提供的一种图像数据取证方法，具体包括以下步骤：
步骤S110：进行卷积块的确定。
本实施例中设计提出了一种卷积块结构，称为UsmSA块。UsmSA是一个残差块，在训练过程中有一定的几率跳过这部分网络结构。在UsmSA结构中，首先使用了深度可分离卷积，将来自上一层的多通道特征图，全部拆分为单个通道的特征图，分别对它们进行单通道卷积再叠加到一起。
如图2所示，为UsmSA块的结构示意图。本实施例在UsmSA(USM Sharpening Self-Attention Block，USM锐化自注意力块)中全部使用了层归一化层LN，针对不同样本计算当前样本的所有神经元的均值和方差。之后使用压缩和激励网络SE(Squeeze andExcitation，压缩和激励网络)模块来显式地建模特征通道之间的相互依赖关系，通过学习的方式获取每个通道的重要程度，然后依照这个重要程度来对各个通道上的特征进行加权，从而突出重要特征，抑制不重要的特征。最后使用了注意力机制，使得针对网络有了更好的特征表示，这种结构通过支路学习到通道间关系的权重和像素间关系的权重，然后乘回到原特征图，使得特征图可以更好的表示，最后使用了一个FFN。
其中结合图2，进行卷积块的确定包括以下子步骤：
步骤S1101：将图像数据输入至深度可分离卷积。
其中该图像数据是指经过USM锐化处理后的图像数据，USM锐化处理的过程可参考现有技术，在此不进行赘述。
步骤S1102：将图像数据输入深度可分离卷积后，图像数据经过层归一化层LN和ReLU激活函数，得到特征图。
本实施例通过此部分使得更容易学习不同尺度和抽象级别的特征表示。这有助于提高网络的表达能力和泛化性能。
步骤S1103：将特征图输入至SE模块，对每个通道赋予权重。
SE模块的相乘特征融合可以将输入的特征图通过pooling+FC层，拉伸成1×1×C，然后再与原图像数据相乘，将每个通道赋予权重。
其中赋予的权重的具体数值为随机选取的数值。
步骤S1104：赋予权重后，将特征图输入至自注意力块Block SA中。
其中设计这一块的目的是进行自适应特征细化，通过将得到的注意力图与输入特征图相乘来进一步提高模型的泛化能力和鲁棒性。
步骤S1105：将特征图输入至自注意力块Block SA后，使用前馈网络FFN来进行特征增强。
其中最后在UsmSA块中使用一个前馈网络FFN来进行特征增强，以更好地提高模型的检测性能。
步骤S120：响应于完成卷积块的确定，基于卷积块进行分类模型的搭建。
基于UsmSA块搭建了一个分类模型(CNN模型)来实现USM图像数据的锐化检测。如图3所示，为搭建好的CNN模型的结构，基于该结构分类模型的搭建具体包括以下子步骤：
步骤S1201：输入图像数据。
其中输入的图像为两类，一类是没有经过锐化的图像，一类是经过锐化的图像，数据的两类图像的数据大小均为224×224。
其中输入的图像数据是RGB三通道的，因为这项工作的目标是对彩色图片进行USM取证检测。
步骤S1202：对图像数据进行处理得到指定大小的特征图，将特征图输入至分类模型的LN层中，完成特征图的处理。
使用一个4x4的卷积核将图像卷积为大小为96×(56×56)的特征图，然后经过一个LN层，之后将这些特征图连续插入到图3中的4个阶段。
其中第一个阶段包括三个UsmSA块，之后是一个层归一化。第二阶段包括一个卷积层、3个UsmsA块和层归一化。之后第三阶段包括一个卷积层、9个UsmSA块和层归一化，最后是第四阶段，包括一个卷积层和3个UsmSA块.
在每个阶段之间，都使用了一个层归一化(LN)和一个卷积层。图3中"dim＝192,384,768"意味着输出的特征维度分别为192,384,768。
最后使用一个全局平均池化层替代全连接层来处理整个特征图的数据，这种改进可以强制使特征图和类别之间相对应并且可以避免过拟合。
在经过上述步骤后，获得一个最终的特征向量，完成分类模型的搭建。
步骤S130：根据搭建好的分类模型完成图像取证，获取最终的图像取证结果。
其中搭建好的分类模型还包括线性分类模块，线性分类模块由全连接层和softmax函数组成。通过线性分类模块将特征图输入全连接层和softmax()激活函数，得到最终的类别概率，即取证结果。
其中可以提前设置阈值，例如阈值为0.5，若类别概率在0.5-1之间则判断输入的图像为锐化之后的图像，类别概率在0-0.5之前判定为没有经过锐化的图像
基于上述搭建的UsmSA块和分类模型，本实施例还使用了公开的图像数据集进行实验，验证了本发明的有效性。
实验采用公开数据集COCO和UCID，COCO是一个大规模的对象检测、分割、关键点检测数据集。此数据集由32.8万张未压缩的复杂场景的图像组成。UCID数据集是一个包含了1338张无压缩的彩色图像，该图像数据集的的目的是为图像检索提供基准数据集。
其中对COCO数据集采用划分算法随机选择训练集共40000张图像，测试集14000张图像，训练集和测试集均分为两组。对训练集和测试集的其中一组图像进行了基于高斯滤波实现的USM锐化处理。本研究选择了九种USM锐化参数分别进行实验，在COCO数据集上不同参数下的模型准确率如表1所示。
表1九种不同σ和λ的情况下锐化检测精度
其中复现了现有技术1和2作为对比方案，从表1可以看出，本发明在九种锐化参数下的检测准确率均高于两个现有技术。进行了一组实验来评估本发明检测多种不同的锐化方法时的准确率。为了生成这组实验的锐化图像，将测试数据库中的所有图像随机分为五个图像子数据库，每个子数据库有1400张DeepFake图像。分别使用五种不同的USM锐化方法来锐化这五个子数据库。五种锐化方法包括基于高斯滤波器的方法、基于拉普拉斯滤波器的方法、基于二次滤波器的方法和两种自适应方法。然后，将所有锐化图像混合在一起，创建一组7000个锐化图像。表2的结果表明，本发明在这种情况下仍然达到了最好的精度98.47％。
表2对经过五种不同锐化方法处理的混合锐化图像的检测精度
为了隐藏篡改的痕迹，攻击者可能会对USM锐化的图像再进行JPEG压缩来进一步隐藏伪造痕迹，因此验证了模型的鲁棒性，在σ＝1.0，λ＝1.0的锐化参数下，对经过基于高斯滤波器的USM锐化后的测试图像分别进行JPEG压缩质量因子在QF＝{40,50,60,70,80}范围内的压缩。实验在COCO数据集上进行，结果如表3所示。从表中数据可以知道，三种方案都随着图像压缩质量因子的降低，精度有所降低。现有技术方案1和2的精度降低严重，本发明的方案在压缩质量因子在50以上时，精度依然很高。
表3JPEG压缩下的检测精度
为验证添加高斯噪声对模型取证准确率的影响，对USM锐化后的测试数据集图像添加了方差在{1.0,1.5,2.0,2.5,3.0}范围内的高斯噪声。USM锐化参数是σ＝1.0，λ＝1.0。结果如表4所示。虽然随着噪声强度的增大，本发明的精度也在降低，但总体上模型抵抗噪声干扰的能力强于现有技术方案。在高斯噪声强度较低时，本发明准确率可以达到99.23％，噪声方差即使在3.0时，模型准确率也有97.73％。在这组实验中本发明模型的平均精度可以达到98％以上。
表4添加高斯噪声下的检测精度
最后，在UCID数据集上验证了重采样操作对取证准确率的影响。首先，对测试集图像分别进行了重采样率在{0.5,0.75,1.25,1.50,1.75,2.0}范围内的重采样处理。然后测试了模型的检测准确率如表5所示。
表5图像重采样处理后的检测精度
在实际实验操作中，本发明可以适应多种应用场景。经过测试模型可以作为图像重采样、JPEG压缩或高斯噪声检测的取证检测器。以上几种均为攻击者常用的掩饰图像篡改痕迹的操作，因此对它们进行检测具有重要的意义。
实施例二
如图4所示，本申请提供了一种图像数据取证系统，其中该系统具体包括：卷积块确定单元410、分类模型搭建单元420、取证结果获取单元430。
其中卷积块单元410用于进行卷积块的确定。
本实施例中设计提出了一种卷积块结构，称为UsmSA块。UsmSA是一个残差块，在训练过程中有一定的几率跳过这部分网络结构。在UsmSA结构中，首先使用了深度可分离卷积，将来自上一层的多通道特征图，全部拆分为单个通道的特征图，分别对它们进行单通道卷积再叠加到一起。
如图2所示，为UsmSA块的结构示意图。与其他CNN网络不同，本实施例在UsmSA中全部使用了层归一化层LN，针对不同样本计算当前样本的所有神经元的均值和方差。之后使用压缩和激励网络SE(Squeeze and Excitation)模块来显式地建模特征通道之间的相互依赖关系，通过学习的方式获取每个通道的重要程度，然后依照这个重要程度来对各个通道上的特征进行加权，从而突出重要特征，抑制不重要的特征。最后使用了注意力机制，使得针对网络有了更好的特征表示，这种结构通过支路学习到通道间关系的权重和像素间关系的权重，然后乘回到原特征图，使得特征图可以更好的表示，最后使用了一个FFN。
其中卷积块确定单元410包括以下子模块，深度可分离卷积输入模块，特征图获得模块，权重赋予模块，自注意力块输入模块以及特征增强模块。
其中深度可分离卷积输入模块用于将图像数据输入至深度可分离卷积。
特征图获得模块用于将图像数据输入深度可分离卷积后，图像数据经过层归一化层LN和ReLU激活函数，得到特征图。
权重赋予模块用于将特征图输入至SE模块，对每个通道赋予权重。
自注意力块输入模块用于将特征图输入至自注意力块Block SA中。
特征增强模块用于将特征图输入至自注意力块Block SA中后，使用前馈网络FFN来进行特征增强。
分类模型搭建单元420用于基于确定的卷积块进行分类模型的搭建。
其中分类模型搭建单元具体包括以下子模块，图像数据输入模块，特征图处理模块。
图像数据输入模块用于输入图像数据。
其中输入的图像数据大小为224×224。
其中输入的图像数据是RGB三通道的，因为这项工作的目标是对彩色图片进行USM取证检测。
特征图处理模块用于对图像数据进行处理得到指定大小的特征图，将特征图输入至分类模型的LN层中，完成特征图的处理。
使用一个4x4的卷积核将图像卷积为大小为96×(56×56)的特征图，然后经过一个LN层，之后将这些特征图连续插入到4个阶段。
其中在每个阶段之间，都使用了一个层归一化(LN)和一个卷积层。图3中"dim＝192,384,768"意味着输出的特征维度分别为192,384,768。
最后使用一个全局平均池化层替代全连接层来处理整个特征图的数据，这种改进可以强制使特征图和类别之间相对应并且可以避免过拟合。
在经过上述步骤后，获得一个最终的特征向量，完成分类模型的搭建。
取证结果获取单元430用于根据搭建好的分类模型完成图像取证，获取最终的图像取证结果。
其中线性分类模块用它们来计算最终的类别概率。线性分类模块由全连接层和softmax函数组成，可以输出一个分类概率。
本申请具有以下有益效果：
(1)本申请通过搭建的UsmSA块和分类模型，不仅能对USM锐化处理的图像有极高的检测准确率，还能够降低对USM锐化取证的漏报率。
(2)本发明的模型结构相对简单，卷积神经网络已被证明是有效的图像检测的模型，相比传统锐化取证方法，本发明提出的模型更加简单高效、检测效率更高。
(3)本申请所搭建的分类模型的鲁棒性高，可以适应多场景取证。本方法对JPEG压缩、高斯噪声和重采样有较高的鲁棒性，即使USM锐化图像经过了上述三种后处理操作，本申请也能准确分辨出锐化图像。
虽然当前申请参考的示例被描述，其只是为了解释的目的而不是对本申请的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本申请的范围。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像数据取证方法，其特征在于，包括以下步骤：
进行卷积块的确定；
响应于完成卷积块的确定，基于卷积块进行分类模型的搭建；
根据搭建好的分类模型完成图像取证，获取最终的图像取证结果。
2.如权利要求1所述的图像数据取证方法，其特征在于，进行卷积块的确定具体包括以下子步骤：
将图像数据输入至深度可分离卷积；
将图像数据输入深度可分离卷积后，图像数据经过层归一化层和激活函数，得到特征图；
将特征图输入至SE模块，对每个通道赋予权重；
赋予权重后，将特征图输入至自注意力块中；
将特征图输入至自注意力块后，使用前馈网络进行特征增强。
3.如权利要求2所述的图像数据取证方法，其特征在于，图像数据是指经过USM锐化处理后的图像数据。
4.如权利要求2所述的图像数据取证方法，其特征在于，将特征图输入至SE模块包括，SE模块将输入的特征图通过pooling+FC层，将特征图的尺寸拉伸成1×1×C。
5.如权利要求4所述的图像数据取证方法，其特征在于，基于卷积块进行分类模型的搭建包括，将RGB三通道的图像数据输入至分类模型中。
6.一种图像数据取证系统，其特征在于，包括卷积块确定单元、分类模型搭建单元以及取证结果获取单元；
卷积块单元用于进行卷积块结构的确定；
分类模型搭建单元用于基于确定的卷积块进行分类模型的搭建；
取证结果获取单元用于根据搭建好的分类模型完成图像取证，获取最终的图像取证结果。
7.如权利要求6所述的图像数据取证系统，其特征在于，卷积块单元进行卷积块的确定具体包括以下子步骤：
将图像数据输入至深度可分离卷积；
将图像数据输入深度可分离卷积后，图像数据经过层归一化层和激活函数，得到特征图；
将特征图输入至SE模块，对每个通道赋予权重；
赋予权重后，将特征图输入至自注意力块中；
将特征图输入至自注意力块后，使用前馈网络进行特征增强。
8.如权利要求7所述的图像数据取证系统，其特征在于，卷积块单元中的图像数据是指经过USM锐化处理后的图像数据。
9.如权利要求7所述的图像数据取证系统，其特征在于，卷积块单元将特征图输入至SE模块包括，SE模块将输入的特征图通过pooling+FC层，将特征图的尺寸拉伸成1×1×C。
10.如权利要求6所述的图像数据取证系统，其特征在于，分类模型搭建单元中，基于卷积块进行分类模型的搭建包括，将RGB三通道的图像数据输入至分类模型中。
CN202311343578.2A 2023-10-17 2023-10-17 一种图像数据取证方法及其系统 Pending CN117496225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311343578.2A CN117496225A (zh) 2023-10-17 2023-10-17 一种图像数据取证方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311343578.2A CN117496225A (zh) 2023-10-17 2023-10-17 一种图像数据取证方法及其系统

Publications (1)

Publication Number Publication Date
CN117496225A true CN117496225A (zh) 2024-02-02

Family

ID=89683826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311343578.2A Pending CN117496225A (zh) 2023-10-17 2023-10-17 一种图像数据取证方法及其系统

Country Status (1)

Country Link
CN (1) CN117496225A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934836A (zh) * 2017-12-15 2019-06-25 中国科学院深圳先进技术研究院 一种图像锐化的检测方法
CN110706166A (zh) * 2019-09-17 2020-01-17 中国科学院遥感与数字地球研究所 一种锐化标签数据的图像超分辨率重建方法及装置
CN110852316A (zh) * 2019-11-07 2020-02-28 中山大学 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN113537243A (zh) * 2021-07-23 2021-10-22 广东工业大学 一种基于se模块和自注意力机制网络的图像分类方法
CN116502135A (zh) * 2023-03-20 2023-07-28 北京建筑大学 一种轴承故障诊断方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934836A (zh) * 2017-12-15 2019-06-25 中国科学院深圳先进技术研究院 一种图像锐化的检测方法
CN110706166A (zh) * 2019-09-17 2020-01-17 中国科学院遥感与数字地球研究所 一种锐化标签数据的图像超分辨率重建方法及装置
CN110852316A (zh) * 2019-11-07 2020-02-28 中山大学 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN113537243A (zh) * 2021-07-23 2021-10-22 广东工业大学 一种基于se模块和自注意力机制网络的图像分类方法
CN116502135A (zh) * 2023-03-20 2023-07-28 北京建筑大学 一种轴承故障诊断方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JINGYU YE ET AL.: "Detecting USM image sharpening by using CNN", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》, 12 May 2018 (2018-05-12), pages 3 *

Similar Documents

Publication Publication Date Title
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN112991278B (zh) RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
CN115063373A (zh) 基于多尺度特征智能感知的社交网络图像篡改定位方法
Chen et al. SNIS: A signal noise separation-based network for post-processed image forgery detection
CN112949783A (zh) 一种基于改进U-Net神经网络的道路裂缝检测方法
CN113361546A (zh) 融合非对称卷积和注意力机制的遥感图像特征提取方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN111275694B (zh) 一种注意力机制引导的递进式划分人体解析系统及方法
Guo et al. Blind detection of glow-based facial forgery
Rana et al. MSRD-CNN: Multi-scale residual deep CNN for general-purpose image manipulation detection
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
Rao et al. Towards JPEG-resistant image forgery detection and localization via self-supervised domain adaptation
CN111461135B (zh) 利用卷积神经网络集成的数字图像局部滤波取证方法
Ananthi et al. A secure model on Advanced Fake Image-Feature Network (AFIFN) based on deep learning for image forgery detection
Dixit et al. Utilization of edge operators for localization of copy-move image forgery using WLD-HOG features with connected component labeling
CN111582057A (zh) 一种基于局部感受野的人脸验证方法
Tang et al. Detection of various image operations based on CNN
CN117496225A (zh) 一种图像数据取证方法及其系统
CN115358952A (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
Liu et al. Image forgery localization based on fully convolutional network with noise feature
Jia et al. Face morphing attack detection based on high-frequency features and progressive enhancement learning
CN112258425A (zh) 一种二维码图像清晰化去模糊处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination