CN117315678B - 一种数字图像篡改识别方法、系统、设备和存储介质 - Google Patents
一种数字图像篡改识别方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN117315678B CN117315678B CN202311078651.8A CN202311078651A CN117315678B CN 117315678 B CN117315678 B CN 117315678B CN 202311078651 A CN202311078651 A CN 202311078651A CN 117315678 B CN117315678 B CN 117315678B
- Authority
- CN
- China
- Prior art keywords
- index
- image
- digital image
- target digital
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000008447 perception Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 12
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19093—Proximity measures, i.e. similarity or distance measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/30—Character recognition based on the type of data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种数字图像篡改识别方法、系统、设备和存储介质,所述方法包括:将目标数字图像输入篡改识别模型,以使得所述篡改识别模型计算出所述目标数字图像的真实性指标、完整性指标和可信度指标;所述真实性指标是根据所述目标数字图像的重构损失、特征级重构损失、感知损失和对抗损失计算的;所述完整性指标是根据所述目标数字图像和对应的真实图像之间的相似度计算的;所述可信度指标是根据所述目标数字图像和对应的真实图像基于判别器网络的评分计算的;根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,并基于所述篡改可能性指标判定所述目标数字图像是否被篡改。高效准确的进行数字图像的篡改识别。
Description
技术领域
本申请实施例涉及数字图像技术领域,具体涉及一种数字图像篡改识别方法、系统、设备和存储介质。
背景技术
随着数字图像的广泛应用和互联网的发展,人们可以轻松地对图像进行编辑、复制和传播,这也增加了图像篡改的风险和威胁。
目前,在对图像进行认证时,大多采用人工的方法进行审核,甄别上传的图像是否属于篡改图像。然而不法分子通过软件编辑伪造图像或将证件信息涂改,再进行拍照上传,由于人类视觉局限性,采用人工进行甄别的方法并无法有效识别出这些篡改图像,导致流程存在欺诈风险;另外,对上传的图像采用人工进行甄别的方法无法快速完成对图像进行审核,效率较低。
如何高效且准确的鉴别图像是否被篡改,通过分析和检测图像中的篡改行为,以防止图像被恶意篡改、伪造或滥用,是需要解决的问题。
发明内容
为此,本申请实施例提供一种数字图像篡改识别方法、系统、设备和存储介质,高效准确的进行数字图像的篡改识别。
为了实现上述目的,本申请实施例提供如下技术方案:
根据本申请实施例的第一方面,提供了一种数字图像篡改识别方法,所述方法包括:
将目标数字图像输入篡改识别模型,以使得所述篡改识别模型计算出所述目标数字图像的真实性指标、完整性指标和可信度指标;所述真实性指标是根据所述目标数字图像的重构损失、特征级重构损失、感知损失和对抗损失计算的;所述完整性指标是根据所述目标数字图像和对应的真实图像之间的相似度计算的;所述可信度指标是根据所述目标数字图像和对应的真实图像基于判别器网络的评分计算的;
根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,并基于所述篡改可能性指标判定所述目标数字图像是否被篡改。
可选地,所述真实性指标按照如下步骤计算:
根据所述目标数字图像的均方误差计算所述目标数字图像与真实图像之间的重构损失;
计算所述目标数字图像与真实图像在特征空间上的欧氏距离,作为特征级重构损失;
计算所述目标数字图像与真实图像在感知损失函数中的差异,作为感知损失;
基于所述篡改识别模型的生成器计算所述目标数字图像被判别器判别为真实图像的负对数似然,基于判别器计算真实图像被判别器判别为真实图像的负对数似然,并计算对抗损失;
根据所述重构损失、特征级重构损失、感知损失和对抗损失计算出所述目标数字图像的真实性指标。
可选地,所述完整性指标按照如下步骤计算:
基于余弦相似度计算所述目标数字图像与真实图像在特征空间上的相似度,作为特征匹配值;
计算所述目标数字图像与真实图像的直方图差异度量,作为直方图匹配度;
计算所述目标数字图像与真实图像的结构相似性指数;
基于均方误差计算所述目标数字图像与真实图像的像素级相似度;
基于预训练的图像分类器或对象检测器计算所述目标数字图像与真实图像的图像语义一致性值;
根据所述特征匹配值、直方图匹配度、结构相似性指数、像素级相似度和图像语义一致性值计算出完整性指标。
可选地,所述目标数字图像与真实图像的结构相似性指数按照如下步骤计算:
将所述目标数字图像与真实图像进行灰度处理,并分割为若干重叠区域;
对于每个重叠区域计算亮度相似度、对比度相似度和结构相似度;
根据亮度相似度、对比度相似度和结构相似度计算得到结构相似性指数。
可选地,所述可信度指标按照如下步骤计算:
将真实图像和目标数字图像分别输入判别器,得到所述真实图像和目标数字图像各自的判别器评分;
根据所述目标数字图像和对应的真实图像的判别器评分计算可信度指标。
可选地,所述篡改识别模型的训练过程包括如下步骤:
定义所述篡改识别模型的生成器和判别器网络结构;
对生成器和判别器网络的参数进行初始化处理;
定义生成器和判别器的损失函数;
将训练集的原始图像通过生成器网络生成对应的篡改图像,将生成的篡改图像与原始图像混合成为一组训练批次;
根据定义的损失函数进行前向传播和反向传播,并更新生成器和判别器的参数;
迭代更新直到满足设定条件,所述篡改识别模型训练完成。
可选地,根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,按照如下公式:
T=1-AaCβRY
其中,A为真实性指标,C为完整性指标,R为可信度指标,α、β、γ为非负权重系数,用于调整各个指标对篡改可能性指标的影响程度。
根据本申请实施例的第二方面,提供了一种数字图像篡改识别系统,所述系统包括:
指标计算模块,用于将目标数字图像输入篡改识别模型,以使得所述篡改识别模型计算出所述目标数字图像的真实性指标、完整性指标和可信度指标;所述真实性指标是根据所述目标数字图像的重构损失、特征级重构损失、感知损失和对抗损失计算的;所述完整性指标是根据所述目标数字图像和对应的真实图像之间的相似度计算的;所述可信度指标是根据所述目标数字图像和对应的真实图像基于判别器网络的评分计算的;
篡改可能性判定模块,用于根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,并基于所述篡改可能性指标判定所述目标数字图像是否被篡改。
根据本申请实施例的第三方面,提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行以实现上述第一方面所述的方法。
根据本申请实施例的第四方面,提供了一种计算机可读存储介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现上述第一方面所述的方法。
综上所述,本申请实施例提供了一种数字图像篡改识别方法、系统、设备和存储介质,通过将目标数字图像输入篡改识别模型,以使得所述篡改识别模型计算出所述目标数字图像的真实性指标、完整性指标和可信度指标;所述真实性指标是根据所述目标数字图像的重构损失、特征级重构损失、感知损失和对抗损失计算的;所述完整性指标是根据所述目标数字图像和对应的真实图像之间的相似度计算的;所述可信度指标是根据所述目标数字图像和对应的真实图像基于判别器网络的评分计算的;根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,并基于所述篡改可能性指标判定所述目标数字图像是否被篡改。高效准确的进行数字图像的篡改识别。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本申请实施例提供的一种数字图像篡改识别方法流程图;
图2为本申请实施例提供的基于生成对抗网络的数字图像篡改识别方法总流程示意图;
图3为本申请实施例提供的GAN模型训练过程流程图;
图4为本申请实施例提供的一种数字图像篡改识别系统框图;
图5示出了本申请实施例提供的一种电子设备的结构示意图;
图6示出了本申请实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
数字图像篡改识别技术的背景源自数字图像处理和计算机视觉领域的研究和发展。以下是该技术的一些背景技术:
(1)数字图像处理:数字图像处理涉及对图像进行获取、增强、重建和压缩等一系列操作,以改善图像的质量和可视化效果。该领域的技术为数字图像篡改识别提供了基础,并且许多图像篡改技术也是建立在数字图像处理的基础上。
(2)数字水印技术:数字水印是一种嵌入在图像中的不可见或难以察觉的信息,用于验证图像的真实性和完整性。数字水印技术可以将一些唯一标识或认证信息嵌入到原始图像中,以便进行篡改检测和版权保护。
(3)统计分析方法:统计分析方法通过对图像的统计特征进行分析,如像素值分布、纹理特征、梯度等,来探测出图像中的异常变化。这些方法可以用于检测简单的篡改行为,如剪裁、缩放和旋转等。
(4)机器学习和深度学习:机器学习和深度学习技术在数字图像篡改识别中起到了重要作用。通过训练模型,利用大量已知的篡改与未篡改图像样本,使得模型能够学习到图像篡改的特征和模式,从而实现自动化的篡改检测和识别。
(5)图像特征提取:图像特征提取是数字图像篡改识别中的关键步骤。通过分析图像的结构、纹理、颜色等信息,提取出具有区分度和代表性的特征,用于区分真实图像和篡改图像之间的差异。
(6)图像匹配与对比:图像匹配与对比方法通过比较两个版本的图像,一个是原始未篡改的图像,另一个是待检测的图像,来寻找图像中的差异和变化。这种方法可以帮助定位和识别图像中的篡改区域。
(7)对抗性攻击与防御:对抗性攻击是指试图欺骗篡改检测系统的行为,例如通过添加干扰信息或采用对抗性生成网络(GAN)来篡改图像。为了应对这些攻击,需要研究和开发相应的防御方法和对抗性训练策略。
数字图像篡改识别技术主要有以下几个方面的研究内容和挑战:
(1)篡改检测:通过分析图像的特征、统计信息或纹理等,来检测图像中是否存在篡改行为。这包括基于统计分析的方法,如像素值分布、梯度变化等,以及基于机器学习和深度学习的方法,如卷积神经网络等。
(2)篡改定位:对于检测到的篡改行为,需要进一步确定篡改区域的位置。通过分析图像的结构、边缘、纹理等信息,可以定位篡改的具体位置,帮助进一步的处理或修复。
(3)图像融合与去水印:一些篡改行为包括图像融合和去水印,即将多个图像进行合成或者去除原始图像中的数字水印。针对这些篡改行为,需要研究相应的检测和还原方法,以保护图像的完整性和真实性。
(4)篡改攻击与对抗:随着数字图像篡改技术的发展,也出现了一些对抗性的篡改方法,试图欺骗篡改检测系统。因此,研究如何识别和对抗这些篡改攻击也是该技术领域的一个重要方向。
图1示出了本申请实施例提供的一种数字图像篡改识别方法,所述方法包括:
步骤101:将目标数字图像输入篡改识别模型,以使得所述篡改识别模型计算出所述目标数字图像的真实性指标、完整性指标和可信度指标;所述真实性指标是根据所述目标数字图像的重构损失、特征级重构损失、感知损失和对抗损失计算的;所述完整性指标是根据所述目标数字图像和对应的真实图像之间的相似度计算的;所述可信度指标是根据所述目标数字图像和对应的真实图像基于判别器网络的评分计算的;
步骤102:根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,并基于所述篡改可能性指标判定所述目标数字图像是否被篡改。
在一种可能的实施方式中,所述真实性指标按照如下步骤计算:
根据所述目标数字图像的均方误差计算所述目标数字图像与真实图像之间的重构损失;计算所述目标数字图像与真实图像在特征空间上的欧氏距离,作为特征级重构损失;计算所述目标数字图像与真实图像在感知损失函数中的差异,作为感知损失;基于所述篡改识别模型的生成器计算所述目标数字图像被判别器判别为真实图像的负对数似然,基于判别器计算真实图像被判别器判别为真实图像的负对数似然,并计算对抗损失;根据所述重构损失、特征级重构损失、感知损失和对抗损失计算出所述目标数字图像的真实性指标。
在一种可能的实施方式中,所述完整性指标按照如下步骤计算:
基于余弦相似度计算所述目标数字图像与真实图像在特征空间上的相似度,作为特征匹配值;计算所述目标数字图像与真实图像的直方图差异度量,作为直方图匹配度;计算所述目标数字图像与真实图像的结构相似性指数;基于均方误差计算所述目标数字图像与真实图像的像素级相似度;基于预训练的图像分类器或对象检测器计算所述目标数字图像与真实图像的图像语义一致性值;根据所述特征匹配值、直方图匹配度、结构相似性指数、像素级相似度和图像语义一致性值计算出完整性指标。
在一种可能的实施方式中,所述目标数字图像与真实图像的结构相似性指数按照如下步骤计算:
将所述目标数字图像与真实图像进行灰度处理,并分割为若干重叠区域;对于每个重叠区域计算亮度相似度、对比度相似度和结构相似度;根据亮度相似度、对比度相似度和结构相似度计算得到结构相似性指数。
在一种可能的实施方式中,所述可信度指标按照如下步骤计算:
将真实图像和目标数字图像分别输入判别器,得到所述真实图像和目标数字图像各自的判别器评分;根据所述目标数字图像和对应的真实图像的判别器评分计算可信度指标。
在一种可能的实施方式中,所述篡改识别模型的训练过程包括如下步骤:
定义所述篡改识别模型的生成器和判别器网络结构;对生成器和判别器网络的参数进行初始化处理;定义生成器和判别器的损失函数;将训练集的原始图像通过生成器网络生成对应的篡改图像,将生成的篡改图像与原始图像混合成为一组训练批次;根据定义的损失函数进行前向传播和反向传播,并更新生成器和判别器的参数;迭代更新直到满足设定条件,所述篡改识别模型训练完成。
在一种可能的实施方式中,根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,按照如下公式:
T'=1-ACRY
其中,A为真实性指标,C为完整性指标,R为可信度指标,α、β、γ为非负权重系数,用于调整各个指标对篡改可能性指标的影响程度。
下面结合附图对本申请实施例提供基于生成对抗网络(GAN)的数字图像篡改识别的方法进行详细描述。如图2所示,具体包括四个阶段。
第一阶段,数据集准备。
需要准备的数据集包括真实图像和篡改图像的数据集。真实图像是未经任何篡改的原始图像,而篡改图像则包含各种类型的篡改操作,例如添加文本、修改像素或图像合成等。详细步骤如下:
步骤1:收集真实图像:选择与应用场景相关的真实图像。这些图像应该是未经过任何形式篡改的原始图像。
步骤2:创建篡改图像:通过应用各种篡改操作在真实图像上创建篡改图像。这些操作可以包括添加文本、图像合成、像素修改等。确保在创建篡改图像时保持合理的多样性,以涵盖不同类型和程度的篡改。
步骤3:标记数据:对每个图像进行标记,以指示其是否为真实图像或篡改图像。这可以是一个二元标签,0表示真实图像,1表示篡改图像。标记过程可以手动完成,也可以使用一些自动化的图像处理技术进行辅助。
步骤4:数据增强:为了增加数据集的多样性和鲁棒性,应用数据增强技术来扩充样本数量。进行随机裁剪、旋转、缩放、反转等操作来生成更多样本。
步骤5:数据集划分:将数据集划分为训练集、验证集和测试集,通常的比例是70%的数据用于训练,15%的数据用于验证,15%的数据用于测试。这样可以在训练过程中评估模型的性能,并进行超参数调整等。
步骤6:数据预处理:对图像进行必要的预处理操作,以使其适应GAN模型的输入要求。预处理操作包括图像的大小调整、像素值归一化、通道转换。
数据集的质量和多样性对于训练一个鲁棒的篡改识别模型非常重要。确保数据集中包含各种类型和程度的篡改图像,并且真实图像和篡改图像之间的差异足够明显,以帮助模型学习正确的特征和模式。
第二阶段,GAN模型训练。
使用GAN模型训练一个生成器网络和一个判别器网络。生成器网络负责生成逼真的图像,而判别器网络则以二元分类的方式判断图像的真实性。通过对生成器和判别器的交互训练,可以使生成器生成更逼真的图像,并帮助判别器更好地区分真实和篡改图像。使用正则化方法来提高模型的鲁棒性和泛化能力。具体的正则化方法是权重衰减(WeightDecay),也称为L2正则化。
图3示出了GAN模型训练过程,具体包括:
步骤1:定义生成器和判别器网络结构;
生成器网络用于将随机输入(例如噪声向量)转换为逼真的篡改或重建图像,而判别器网络用于对输入的图像进行二元分类,即判断其是真实图像还是篡改图像。
生成器网络G:将潜在向量z作为输入,并生成一个与真实图像具有相似特征的图像G(z)。
判别器网络D:将输入的图像x作为输入,并输出一个介于0和1之间的标量值D(x),表示该图像属于真实图像的概率。
步骤2:初始化模型参数;
在正式训练开始之前,需要对生成器和判别器的参数进行初始化。可以使用随机初始化或预训练模型参数进行初始化。
步骤3:定义损失函数;
为了训练GAN模型,并使生成器和判别器达到均衡,需要定义适当的损失函数。常见的损失函数包括生成器损失函数和判别器损失函数。
生成器损失函数:生成器的目标是生成逼真的图像,可以使用生成图像被判别器判断为真实图像的概率的负对数似然作为生成器的损失函数:
Lg=-ln((D(Gz))))+||θg||2
其中,λ是正则化系数,||θg||2表示生成器网络参数的L2范数的平方。
判别器损失函数:判别器损失由两部分组成:一是将真实图像判断为1,将生成图像判断为0;二是可以使用对抗损失(如GAN的原理所述)来强迫判别器更好地区分真实和生成图像。
判别器的目标是准确地区分真实图像和生成图像,可以使用真实图像被判别器判断为真实图像的概率的负对数似然和生成图像被判别器判断为生成图像的概率的负对数似然的和作为判别器的损失函数:
La=-ln(D(x))-ln(1-D(G(z))))+λ||θd||2
其中,λ是正则化系数,||θd||2表示判别器网络参数的L2范数的平方。
步骤4:迭代训练;
在训练过程中,交替训练生成器和判别器网络。在每个训练步骤中,首先通过生成器网络生成一批篡改或重建图像,然后将这些生成图像与真实图像混合成为一个训练批次。接下来,根据定义的损失函数进行前向传播和反向传播,并更新生成器和判别器的参数。这样的迭代过程可以帮助生成器和判别器逐渐改进,并最终达到平衡状态。
对于每个训练步骤:
步骤401:随机采样一个批次的潜在向量z。
步骤402:使用生成器网络G生成一批新的生成图像G(z)。
步骤403:使用真实图像和生成图像构成一个训练批次。
步骤404:计算生成器损失函数,并根据损失函数对生成器网络的参数进行更新。
步骤405:计算判别器损失函数,并根据损失函数对判别器网络的参数进行更新。
迭代上述步骤多次,一般会交替进行若干轮的生成器训练和判别器训练。
步骤5:超参数调优;
在训练过程中,可能需要调整一些超参数,例如学习率、批尺寸、迭代次数等。通过实验和验证集的评估,选择最佳的超参数组合以提高模型的性能和收敛速度。
步骤6:保存模型;
在训练完成后,保存生成器和判别器网络的参数。
引入正则化项,上述损失函数中的权重衰减项可以限制模型参数的大小,从而避免过拟合现象,并帮助提高模型的泛化能力。
需要注意的是,GAN模型训练过程中存在一些挑战,例如模式崩溃、模式塌陷等问题。为了克服这些问题,可以尝试使用不同的网络结构、微调损失函数、引入正则化或归一化方法等。
第三阶段,真实性、完整性和可信度计算。
在进行图像篡改识别时,可以使用GAN模型来计算图像的真实性、完整性和可信度,以衡量图像是否被篡改。
(1)真实性指标(Authenticity)
假设有如下变量:输入图像I;生成器生成的图像G(E(I));真实图像I;判别器D;条件信息(如果适用)C;重构损失权重w1;特征级重构损失权重:w2;感知损失权重:w3;对抗损失权重:w4;Normalize:标准化归一函数,将结果变成0到1之间,通常的方法有除以原值除以最大值,或者使用sigmoid函数。
综合真实性指标的计算过程如下:
步骤1:使用均方误差(Mean Squared Error)计算重构损失L1(ReconstructionLoss):
L1=Normalize(MSE(I,G(E(I))))
重构损失衡量生成的图像与输入图像之间的差异,通过最小化这个损失可以使生成的图像更接近于真实图像。
步骤2:计算特征级重构损失L2(Feature Reconstruction Loss):计算生成图像和真实图像在特征空间上的欧氏距离:
L2=Normalize(Euclidean_distance(F(I),F(G(E(I)))))
特征级重构损失衡量生成图像和真实图像在特征空间上的差异,通过最小化这个损失可以使生成图像与真实图像在特征表示上更相似。
步骤3:计算感知损失L3(Perceptual Loss):计算生成图像和真实图像在感知损失函数中的差异:
L3=Normalize(MSE(F(I),F(G(E(I)))))
感知损失衡量生成图像和真实图像在感知上的差异,通过最小化这个损失可以使生成图像在感知上更接近于真实图像。
步骤4:计算对抗损失L4(Adversarial Loss):
对于生成器,计算生成图像被判别器判别为真实图像的负对数似然L41(Adversarial Loss Generator):
L41=Normalize(-ln D(G(E(I))))
对于判别器,计算真实图像被判别器判别为真实图像的负对数似然L42(Adversarial Loss Real):
L42=Normalize(-ln D(I))
计算对抗损失L4,假设w41和w42分别为L41和L42的权重。
L4=w41L41+w42L42
其中:w41+w42=1,0≤w41,w42≤1。
对抗损失鼓励生成器生成更逼真的图像,通过最大化生成图像与真实图像之间的对抗损失,生成器能够生成更难以被判别器辨别出来的假图像。
步骤5:计算真实性指标A(Authenticity):
其中:0≤w1,w2,w3,w4≤1。
综合真实性指标将各个损失加权求和,通过调整不同损失的权重,可以平衡各个方面的真实性要求,得到一个综合衡量生成图像真实性的指标。
(2)完整性指标(Completeness)
使用特征匹配来衡量图像的完整性。利用预训练的图像特征提取器提取原始图像和生成图像的特征,并计算它们之间的相似度。较高的特征相似度表明图像更可能是完整的。
假设有如下变量:输入图像I;生成器生成的图像G(E(I));真实图像I;判别器D;条件信息(如果适用)C;特征提取器F;特征匹配权重w′1;直方图匹配度权重w′2;结构相似性指数权重w′3;像素级重构损失权重w′4;图像语义一致性权重w′5;Normalize标准化归一函数,将结果变成0到1之间,通常的方法有除以原值除以最大值,或者使用sigmoid函数。卡方距离;交叉熵;
HistogramDistance:直方图距离(Histogram Distance)是一种常用的度量直方图相似度的方法,用于衡量两幅图像之间的直方图差异。具体计算方式可以使用各种距离度量方法,比如欧氏距离(假设原始图像的直方图为H1,生成图像的直方图为H2,直方图距离的计算方式为:
综合完整性指标计算过程如下:
步骤1:计算特征匹配C1:使用余弦相似度(Cosine Similarity)计算原始图像和生成图像在特征空间上的相似度:
C1=CosineSimilarity(F(I),F(G(E(I))))
特征匹配衡量生成图像和真实图像在特征空间上的相似度,通过最大化这个值可以使生成图像在特征表示上更接近于真实图像。
步骤2:计算直方图匹配度C2:计算原始图像和生成图像的直方图差异度量:
C2=1-Normalize(HistogramDistance{I,G(E(I))))
直方图匹配衡量生成图像和真实图像在直方图分布上的差异,通过最小化这个值可以使生成图像在直方图分布上更接近于真实图像。
步骤3:计算结构相似性指数C3:计算原始图像和生成图像之间的结构相似性指数:
C3=SSIM(I,G(E(I)))
结构相似性指数衡量生成图像和真实图像在亮度、对比度和结构上的相似性,通过最大化这个值可以使生成图像在质量上更接近于真实图像。
备注:关于结构相似性指数(SSIM)是一种常用的衡量两幅图像之间结构相似性的指标。SSIM综合考虑了亮度、对比度和结构三个方面的相似度,其计算过程如下:
步骤301:首先,将原始图像和生成图像转换为灰度图像,如果已经是灰度图像则跳过这一步。
步骤302:将灰度图像分割成许多小的重叠区域,例如大小为N×N的块。通常情况下,N的值为11。
对于每个重叠区域,计算亮度(Luminance)、对比度(Contrast)和结构(Structure)的相似度。
亮度相似度(Luminance similarity):计算原始图像和生成图像在亮度上的相似程度。可以使用均值(mean)来表示亮度特征,计算公式如下:luminance_similarity=(2*μI*μG+c1)/(μI^2+μG^2+c1);其中,μI和μG分别表示原始图像和生成图像的亮度均值,c1是一个小的常数,用于避免分母为零。
对比度相似度(Contrast similarity):计算原始图像和生成图像在对比度上的相似程度。可以使用标准差(standard deviation)来表示对比度特征,计算公式如下:contrast_similarity=(2*σI*σG+c2)/(σI^2+σG^2+c2);其中,σI和σG分别表示原始图像和生成图像的亮度标准差,c2是一个小的常数,用于避免分母为零。
结构相似度(Structure similarity):计算原始图像和生成图像在结构上的相似程度。可以使用协方差(covariance)来表示结构特征,计算公式如下:structure_similarity=(σI,G+c3)/(σI*σG+c3)其中,σI,G表示原始图像和生成图像的亮度协方差,c3是一个小的常数,用于避免分母为零。
综合考虑亮度、对比度和结构的相似度,得到最终的SSIM值。可以将三个相似度相乘,加权平均或者进行其他操作,具体方式根据需求而定。
需要注意的是,SSIM的计算过程是一个局部操作,将图像分割为小的区域进行相似度计算,并最后得到一个综合的相似度指标。SSIM可以在很大程度上衡量图像之间的结构相似性,但并不完美,对于一些特殊情况可能会有一定的局限性。因此,在进行完整性评估时,可以将SSIM与其他度量指标结合使用,以获取更全面、准确的结果。
步骤4:计算像素级相似度C4:使用均方误差(Mean Squared Error)计算原始图像和生成图像的像素级相似度:
C4=1-Normalize(MSE(I,G(E(I))))
像素级相似度衡量生成图像和真实图像在像素级别上的相似度,通过最大化这个值可以使生成图像在像素级别上更接近于真实图像。
步骤5:计算图像语义一致性C5:使用预训练的图像分类器或对象检测器计算原始图像和生成图像在语义上的一致性:
C5=Normalize(SemanticConsistency(I,G(E(I))))
图像语义一致性衡量生成图像和真实图像在语义上的一致性,通过最大化这个值可以使生成图像在语义上更接近于真实图像。
备注:语义一致性(Semantic Consistency)是衡量两个文本之间语义相似性的指标,可以用于评估生成文本与目标文本之间的相似程度。具体计算方法可以采用预训练的语义模型(如BERT)来进行语义编码,并比较编码向量之间的相似度。
下面是本申请实施例提供的一种语义一致性计算方法:
(1)使用一个预训练的语义模型(如BERT)对原始文本和生成文本进行编码。通过提取文本的上下文信息,语义模型将文本映射为一个固定长度的向量表示。
(2)对于原始文本和生成文本,将它们分别输入到语义模型中进行编码。得到原始文本的编码向量C1和生成文本的编码向量C2。
(3)计算原始文本和生成文本之间的相似度,常用的计算方式有余弦相似度、欧氏距离等。其中,余弦相似度是一种常见的度量方法。
余弦相似度(Cosine Similarity):计算原始文本的编码向量C1和生成文本的编码向量C2之间的夹角余弦值。余弦相似度的值介于[-1,1]之间,值越接近1表示两个文本的语义越相似,值越接近-1表示语义差异较大。
cosine_similarity=dot_product(C1,C2)/(||C1||*||C2||)
其中,dot_product表示向量的点积,||C1||和||C2||分别表示向量C1和向量C2的范数(即长度)。
需要注意的是,语义一致性的计算依赖于选择的语义模型,不同的语义模型可能会有不同的实现细节和计算方式。因此,在实际应用中,可以根据具体需求和场景选择适合的语义模型,并结合其他度量指标来综合评估生成文本与目标文本之间的语义一致性。
步骤6:计算综合完整性指标:
其中,0≤w′i≤1。
综合完整性指标将各个度量指标加权求和,通过调整不同度量的权重,可以平衡各个方面的完整性要求,得到一个综合衡量生成图像完整性的指标。
(3)可信度指标(Reliability)
使用判别器网络来衡量图像的可信度。将原始图像和生成图像分别输入判别器网络,并获取其评分。高判别器评分的原始图像和低判别器评分的生成图像表明图像更可能是真实的。
假设有如下变量:输入图像I;生成器生成的图像G(E(I));判别器D。
步骤1:计算原始图像的判别器评分Dreal:
将输入图像I输入给判别器D,得到判别器评分:
Dreal=D(I)
通过判别器评分可以衡量输入图像的真实程度,进而作为可信度的一部分。
步骤2:计算生成图像的判别器评分Dgenerated:
将生成器生成的图像G(E(I))输入给判别器D,得到判别器评分:
Dgenerated=D(G(E(I)))
通过判别器评分可以衡量生成图像的逼真程度,也就是生成图像与真实图像的相似度。
步骤3:计算综合可信度指标R(Reliability):
综合可信度指标的计算可以采用乘法形式,以更加严格地衡量图像的可信度。
其中,Dgenerated为生成图像的判别器评分,Dreal为原始图像的判别器评分,|Dreal-Dgenerated|表示两者评分的差的绝对值。
该公式综合考虑了生成图像的逼真程度(Dgenerated)和原始图像与生成图像评分之间的差异|Dreal-Dgenerated|。当生成图像逼真且与原始图像评分接近时,综合可信度指标才会接近1。
通过这样的计算过程,综合可信度指标可以量化生成图像与真实图像之间的差异程度,并用作评估生成图像质量和可信度的指标。
第四阶段,篡改检测。
根据真实性指标A(Authenticity)、完整性指标C(Completeness)和可信度指标R(Reliability)计算篡改可能性:
篡改可能性T(TamperingProbability):
T=1-AaCβRγ
其中,α、β、γ是非负权重系数,用来调整各个指标对篡改可能性的影响程度。
这个公式利用了指标的幂次运算,通过指数的方式来表达指标对篡改可能性的影响。指标值越高,其幂次结果越大,从而对篡改可能性有更显著的影响。
需要注意的是,权重系数需要满足以下条件:
α≥0,β≥0,γ≥0
这样可以确保权重系数合理且非负。
通过调整权重系数和指数幂次,可以灵活地控制各个指标对篡改可能性的贡献程度。
最后设定一个阈值,篡改可能性T大于这个阈值就认为数字图像是篡改的。
综上所述,本申请实施例提供了一种数字图像篡改识别方法,通过将目标数字图像输入篡改识别模型,以使得所述篡改识别模型计算出所述目标数字图像的真实性指标、完整性指标和可信度指标;所述真实性指标是根据所述目标数字图像的重构损失、特征级重构损失、感知损失和对抗损失计算的;所述完整性指标是根据所述目标数字图像和对应的真实图像之间的相似度计算的;所述可信度指标是根据所述目标数字图像和对应的真实图像基于判别器网络的评分计算的;根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,并基于所述篡改可能性指标判定所述目标数字图像是否被篡改。高效准确的进行数字图像的篡改识别。
基于相同的技术构思,本申请实施例还提供了一种数字图像篡改识别系统,如图4所示,所述系统包括:
指标计算模块401,用于将目标数字图像输入篡改识别模型,以使得所述篡改识别模型计算出所述目标数字图像的真实性指标、完整性指标和可信度指标;所述真实性指标是根据所述目标数字图像的重构损失、特征级重构损失、感知损失和对抗损失计算的;所述完整性指标是根据所述目标数字图像和对应的真实图像之间的相似度计算的;所述可信度指标是根据所述目标数字图像和对应的真实图像基于判别器网络的评分计算的;
篡改可能性判定模块402,用于根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,并基于所述篡改可能性指标判定所述目标数字图像是否被篡改。
本申请实施方式还提供一种与前述实施方式所提供的方法对应的电子设备。请参考图5,其示出了本申请的一些实施方式所提供的一种电子设备的示意图。所述电子设备20可以包括:处理器200,存储器201,总线202和通信接口203,所述处理器200、通信接口203和存储器201通过总线202连接;所述存储器201中存储有可在所述处理器200上运行的计算机程序,所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的方法。
其中,存储器201可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个物理端口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器201用于存储程序,所述处理器200在接收到执行指令后,执行所述程序,前述本申请实施例任一实施方式揭示的所述方法可以应用于处理器200中,或者由处理器200实现。
处理器200可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201,处理器200读取存储器201中的信息,结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的方法对应的计算机可读存储介质,请参考图6,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的方法。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (4)
1.一种数字图像篡改识别方法,其特征在于,所述方法包括:
将目标数字图像输入篡改识别模型,以使得所述篡改识别模型计算出所述目标数字图像的真实性指标、完整性指标和可信度指标;所述真实性指标是根据所述目标数字图像的重构损失、特征级重构损失、感知损失和对抗损失计算的;所述完整性指标是根据所述目标数字图像和对应的真实图像之间的相似度计算的;所述可信度指标是根据所述目标数字图像和对应的真实图像基于判别器网络的评分计算的;
根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,并基于所述篡改可能性指标判定所述目标数字图像是否被篡改;
所述真实性指标按照如下步骤计算:
根据所述目标数字图像的均方误差计算所述目标数字图像与真实图像之间的重构损失;
计算所述目标数字图像与真实图像在特征空间上的欧氏距离,作为特征级重构损失;
计算所述目标数字图像与真实图像在感知损失函数中的差异,作为感知损失;
基于所述篡改识别模型的生成器计算所述目标数字图像被判别器判别为真实图像的负对数似然,基于判别器计算真实图像被判别器判别为真实图像的负对数似然,并计算对抗损失;
根据所述重构损失、特征级重构损失、感知损失和对抗损失计算出所述目标数字图像的真实性指标;
所述完整性指标按照如下步骤计算:
基于余弦相似度计算所述目标数字图像与真实图像在特征空间上的相似度,作为特征匹配值;
计算所述目标数字图像与真实图像的直方图差异度量,作为直方图匹配度;
计算所述目标数字图像与真实图像的结构相似性指数;
基于均方误差计算所述目标数字图像与真实图像的像素级相似度;
基于预训练的图像分类器或对象检测器计算所述目标数字图像与真实图像的图像语义一致性值;
根据所述特征匹配值、直方图匹配度、结构相似性指数、像素级相似度和图像语义一致性值计算出完整性指标;
所述目标数字图像与真实图像的结构相似性指数按照如下步骤计算:
将所述目标数字图像与真实图像进行灰度处理,并分割为若干重叠区域;
对于每个重叠区域计算亮度相似度、对比度相似度和结构相似度;
根据亮度相似度、对比度相似度和结构相似度计算得到结构相似性指数;
所述可信度指标按照如下步骤计算:
将真实图像和目标数字图像分别输入判别器,得到所述真实图像和目标数字图像各自的判别器评分;
根据所述目标数字图像和对应的真实图像的判别器评分计算可信度指标;
所述篡改识别模型的训练过程包括如下步骤:
定义所述篡改识别模型的生成器和判别器网络结构;
对生成器和判别器网络的参数进行初始化处理;
定义生成器和判别器的损失函数;
将训练集的原始图像通过生成器网络生成对应的篡改图像,将生成的篡改图像与原始图像混合成为一组训练批次;
根据定义的损失函数进行前向传播和反向传播,并更新生成器和判别器的参数;
迭代更新直到满足设定条件,所述篡改识别模型训练完成;
根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,按照如下公式:
;
其中,A为真实性指标,C为完整性指标,R为可信度指标,α、β、γ 为非负权重系数,用于调整各个指标对篡改可能性指标的影响程度。
2.一种数字图像篡改识别系统,其特征在于,所述系统包括:
指标计算模块,用于将目标数字图像输入篡改识别模型,以使得所述篡改识别模型计算出所述目标数字图像的真实性指标、完整性指标和可信度指标;所述真实性指标是根据所述目标数字图像的重构损失、特征级重构损失、感知损失和对抗损失计算的;所述完整性指标是根据所述目标数字图像和对应的真实图像之间的相似度计算的;所述可信度指标是根据所述目标数字图像和对应的真实图像基于判别器网络的评分计算的;
篡改可能性判定模块,用于根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,并基于所述篡改可能性指标判定所述目标数字图像是否被篡改;
所述真实性指标按照如下步骤计算:
根据所述目标数字图像的均方误差计算所述目标数字图像与真实图像之间的重构损失;
计算所述目标数字图像与真实图像在特征空间上的欧氏距离,作为特征级重构损失;
计算所述目标数字图像与真实图像在感知损失函数中的差异,作为感知损失;
基于所述篡改识别模型的生成器计算所述目标数字图像被判别器判别为真实图像的负对数似然,基于判别器计算真实图像被判别器判别为真实图像的负对数似然,并计算对抗损失;
根据所述重构损失、特征级重构损失、感知损失和对抗损失计算出所述目标数字图像的真实性指标;
所述完整性指标按照如下步骤计算:
基于余弦相似度计算所述目标数字图像与真实图像在特征空间上的相似度,作为特征匹配值;
计算所述目标数字图像与真实图像的直方图差异度量,作为直方图匹配度;
计算所述目标数字图像与真实图像的结构相似性指数;
基于均方误差计算所述目标数字图像与真实图像的像素级相似度;
基于预训练的图像分类器或对象检测器计算所述目标数字图像与真实图像的图像语义一致性值;
根据所述特征匹配值、直方图匹配度、结构相似性指数、像素级相似度和图像语义一致性值计算出完整性指标;
所述目标数字图像与真实图像的结构相似性指数按照如下步骤计算:
将所述目标数字图像与真实图像进行灰度处理,并分割为若干重叠区域;
对于每个重叠区域计算亮度相似度、对比度相似度和结构相似度;
根据亮度相似度、对比度相似度和结构相似度计算得到结构相似性指数;
所述可信度指标按照如下步骤计算:
将真实图像和目标数字图像分别输入判别器,得到所述真实图像和目标数字图像各自的判别器评分;
根据所述目标数字图像和对应的真实图像的判别器评分计算可信度指标;
所述篡改识别模型的训练过程包括如下步骤:
定义所述篡改识别模型的生成器和判别器网络结构;
对生成器和判别器网络的参数进行初始化处理;
定义生成器和判别器的损失函数;
将训练集的原始图像通过生成器网络生成对应的篡改图像,将生成的篡改图像与原始图像混合成为一组训练批次;
根据定义的损失函数进行前向传播和反向传播,并更新生成器和判别器的参数;
迭代更新直到满足设定条件,所述篡改识别模型训练完成;
根据所述真实性指标、完整性指标和可信度指标计算篡改可能性指标,按照如下公式:
;其中,A为真实性指标,C为完整性指标,R为可信度指标,α、β、γ 为非负权重系数,用于调整各个指标对篡改可能性指标的影响程度。
3.一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行以实现如权利要求1所述的方法。
4.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现如权利要求1所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311078651.8A CN117315678B (zh) | 2023-08-24 | 2023-08-24 | 一种数字图像篡改识别方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311078651.8A CN117315678B (zh) | 2023-08-24 | 2023-08-24 | 一种数字图像篡改识别方法、系统、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117315678A CN117315678A (zh) | 2023-12-29 |
CN117315678B true CN117315678B (zh) | 2024-04-26 |
Family
ID=89272637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311078651.8A Active CN117315678B (zh) | 2023-08-24 | 2023-08-24 | 一种数字图像篡改识别方法、系统、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117315678B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118097386A (zh) * | 2024-04-24 | 2024-05-28 | 四川众力佳华信息技术有限公司 | 一种电表照片可信度验证方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726733A (zh) * | 2018-11-19 | 2019-05-07 | 西安理工大学 | 一种基于帧间相关性的视频篡改检测方法 |
CN111368342A (zh) * | 2020-03-13 | 2020-07-03 | 众安信息技术服务有限公司 | 图像篡改识别模型训练方法、图像篡改识别方法及装置 |
CN113538254A (zh) * | 2020-12-14 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像恢复方法、装置、电子设备及计算机可读存储介质 |
CN113673568A (zh) * | 2021-07-19 | 2021-11-19 | 华南理工大学 | 篡改图像的检测方法、系统、计算机设备和存储介质 |
DE102020211214A1 (de) * | 2020-09-07 | 2022-03-10 | Siemens Healthcare Gmbh | System und Verfahren zum Erkennen von Anomalien in Bildern |
CN116630183A (zh) * | 2023-05-11 | 2023-08-22 | 西北大学 | 一种基于生成式对抗网络的文字图像修复方法 |
-
2023
- 2023-08-24 CN CN202311078651.8A patent/CN117315678B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726733A (zh) * | 2018-11-19 | 2019-05-07 | 西安理工大学 | 一种基于帧间相关性的视频篡改检测方法 |
CN111368342A (zh) * | 2020-03-13 | 2020-07-03 | 众安信息技术服务有限公司 | 图像篡改识别模型训练方法、图像篡改识别方法及装置 |
DE102020211214A1 (de) * | 2020-09-07 | 2022-03-10 | Siemens Healthcare Gmbh | System und Verfahren zum Erkennen von Anomalien in Bildern |
CN113538254A (zh) * | 2020-12-14 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像恢复方法、装置、电子设备及计算机可读存储介质 |
CN113673568A (zh) * | 2021-07-19 | 2021-11-19 | 华南理工大学 | 篡改图像的检测方法、系统、计算机设备和存储介质 |
CN116630183A (zh) * | 2023-05-11 | 2023-08-22 | 西北大学 | 一种基于生成式对抗网络的文字图像修复方法 |
Non-Patent Citations (2)
Title |
---|
You Changhui et al..Tampering detection and localization base on sample guidance and individual camera device convolutional neural network features.《Expert Systems》.2022,第1-7页. * |
崔磊 等.数字图像篡改盲检测检测技术研究.《科技资讯》.2020,第1-6页. * |
Also Published As
Publication number | Publication date |
---|---|
CN117315678A (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021056746A1 (zh) | 图像模型检测方法、装置、电子设备及存储介质 | |
CN106530200A (zh) | 一种基于深度学习模型的隐写图像检测方法及系统 | |
CN117315678B (zh) | 一种数字图像篡改识别方法、系统、设备和存储介质 | |
CN104616244A (zh) | 基于bp神经网络压缩域的图像水印嵌入与提取方法 | |
CN111079816A (zh) | 图像的审核方法、装置和服务器 | |
CN111275070B (zh) | 一种基于局部特征匹配的签名验证方法及设备 | |
TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
CN112383554B (zh) | 接口流量异常检测方法、装置、终端设备及存储介质 | |
WO2023093346A1 (zh) | 基于外源特征进行模型所有权验证的方法和装置 | |
Sari et al. | The effect of error level analysis on the image forgery detection using deep learning | |
US20120189193A1 (en) | Detection of objects represented in images | |
Tralic et al. | Copy-move forgery detection using cellular automata | |
CN116188439A (zh) | 一种基于身份识别概率分布的伪造换脸图像检测方法和装置 | |
CN114743148A (zh) | 多尺度特征融合篡改视频检测方法、系统、介质和设备 | |
Patil et al. | Securing Visual Integrity: Machine learning approaches for forged image detection | |
CN114118412A (zh) | 证件识别模型训练及证件识别的方法、系统、设备及介质 | |
Akram et al. | Enhanced Steganalysis for Color Images Using Curvelet Features and Support VectorMachine. | |
Wang et al. | Augmenting remote multimodal person verification by embedding voice characteristics into face images | |
Goel et al. | An approach for anti-forensic contrast enhancement detection using grey level co-occurrence matrix and Zernike moments | |
Alsandi | Image splicing detection scheme using surf and mean-LBP based morphological operations | |
CN111860268A (zh) | 基于机器学习的伪造图像检测识别方法 | |
GOEL et al. | An Approach for Anti-Contrast Enhancement Forensic Detection Based on Glcm and Zernike Moments | |
CN116484973A (zh) | 基于训练过程证明的深度学习模型所有权验证方法和装置 | |
CN116959064B (zh) | 一种证件验证方法、装置、计算机设备和存储介质 | |
CN115879072B (zh) | 一种深度伪造指纹检测模型的版权保护方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |