CN117877129A - 基于信息瓶颈的深度伪造图像检测方法、系统及装置 - Google Patents
基于信息瓶颈的深度伪造图像检测方法、系统及装置 Download PDFInfo
- Publication number
- CN117877129A CN117877129A CN202311813132.1A CN202311813132A CN117877129A CN 117877129 A CN117877129 A CN 117877129A CN 202311813132 A CN202311813132 A CN 202311813132A CN 117877129 A CN117877129 A CN 117877129A
- Authority
- CN
- China
- Prior art keywords
- image
- loss function
- local
- global
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 166
- 230000008569 process Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000005242 forging Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于信息瓶颈的深度伪造图像检测方法、系统及装置，方法包括：获取真伪视频，通过预处理得到真伪图像数据集；基于初始图像真伪检测模型，对真伪图像数据集进行特征提取得到图像局部特征集及联合局部特征，建立局部损失函数；通过联合局部特征，得到图像全局特征，进而搭建全局损失函数；基于图像全局特征判定真伪，通过结果搭建类别损失函数；结合局部损失函数、全局损失函数及类别损失函数，对初始伪造图像检测模型进行优化更新，得到图像真伪检测模型；将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。通过本发明的方法得到更加全面的伪造特征，解决现有伪造图像检测模型的准确度不足及泛化性不强的问题。
Description
技术领域
本发明涉及伪造图像检测技术领域，尤其涉及一种基于信息瓶颈的深度伪造图像检测方法、系统及装置。
背景技术
深度伪造包含图像伪造、视频伪造、音频伪造及文本伪造等多模态的欺骗技术，随着深度伪造技术的不断发展，可以轻松通过公开可用的大规模视频数据集制作出超出人类识别能力的伪造视频及图像，然而，恶意使用深度伪造技术会对人类社会造成严重且恶劣的影响，例如身份盗窃、隐私侵犯、金融欺诈、假新闻传播甚至干扰军事指挥等一系列恶意行为。因此，准确有效的视频图像深度伪造检测方法是重要的研究方向。
由于深度伪造技术潜在的巨大威胁，国内外对其都非常重视和警惕。在视频图像深度伪造检测领域，目前常用的方法是通过构建深度神经网络寻找伪造算法遗留在图像中的伪造痕迹，从而区分真实图像和伪造图像，其中，关于深度伪造检测方法可以分为两大类，一类是利用神经网络自动学习伪造痕迹，另一类是通过结合人类对真伪图像之间差异的主观观察和理解，聚焦于伪造图像的高级语义缺陷以及人类无法感知的潜在伪影。然而，现有深度伪造检测算法在训练阶段所采用的数据集来源有限，会在训练过程中关注一个或几个伪造痕迹，导致其检测效果局限于特定的伪造类型，但是现实场景中的防御方需要应对未知来源的强大攻击，因此一方面现有算法面对日趋复杂且精密的位置图像伪造算法时检测性能大幅下降，且泛化性不足，另一方面现有算法严重依赖于神经网络自动提取伪造特征，缺乏严格的理论支撑，无法保证提取到的伪造特征是经过噪声消除的，因此，这种不充分不全面的伪造特征难以保证深度伪造检测模型的准确性。
发明内容
本发明针对现有技术中的缺点，提供了一种基于信息瓶颈的深度伪造图像检测方法、系统及装置。
为了解决上述问题，本发明通过下述技术方案得以解决：
一种基于信息瓶颈的深度伪造图像检测方法，包括以下步骤：
获取真实视频及伪造视频，通过预处理并添加图像标签得到真伪图像数据集；
基于真伪图像数据集，通过初始真伪图像检测模型，对真伪图像数据集进行特征提取得到图像局部特征集；
基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数；
通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数；
根据图像全局特征进行图像真伪判定，得到图像判定结果，结合图像判定结果与图像标签搭建类别损失函数；
结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，基于检测损失函数对初始真伪图像检测模型进行优化更新，得到图像真伪检测模型；
将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。
作为一种可实施方式，所述预处理包括切帧、区域提取及数据增强。
作为一种可实施方式，所述基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数，包括以下步骤：
提取真伪图像数据集中真伪图像数据的局部特征，得到图像局部特征集；
对图像局部特征集进行联合表示，得到联合局部特征，结合图像标签及联合局部特征的全面性，对联合局部特征与图像标签之间的互信息进行最大化；
根据图像局部特征集中图像局部特征之间的正交性，对图像局部特征之间的互信息进行最小化；
基于对联合局部特征与图像标签之间的互信息进行最大化的过程及对图像局部特征之间的互信息进行最小化的过程，对图像特征条件互信息进行最大化，通过图像特征条件互信息最大化搭建局部损失函数。
作为一种可实施方式，所述对联合局部特征与图像标签之间的互信息进行最大化，表示如下：
所述对图像局部特征之间的互信息进行最小化，表示如下：
所述对图像特征条件互信息进行最大化，表示如下：
其中，I表示互信息，z\zi表示联合局部特征中除第i个以外的图像局部特征，zi表示第i个图像局部特征，z表示联合局部特征，y表示图像标签；
所述通过图像特征条件互信息最大化搭建局部损失函数，包括以下步骤：
所述图像特征条件互信息，表示如下：
根据贝叶斯公式及KL散度公式，对图像特征条件互信息最大化的过程进行推导，表示如下：
基于KL散度取值范围，对图像特征条件互信息进行转换，得到局部损失函数，表示如下：
Pz＝p(y|z)
Pz\zi＝p(y|z\zi)
其中，z\zi表示联合局部特征中除第i个以外的图像局部特征，zi表示第i个图像局部特征，z表示联合局部特征，y表示图像标签，LLIL表示局部损失函数。
作为一种可实施方式，所述通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数，包括以下步骤：
所述联合局部特征经融合压缩处理得到图像全局特征；
对图像全局特征中图像标签与联合局部特征中图像标签之间的互信息进行最小化，建立全局信息目标，表示如下：
minI(y；z)-I(y；G)
对全局信息目标进行估计，建立全局损失函数，表示如下：
LGIL＝minEG～Eφ(G|z)[DKL[Pz||PG]]
Pz＝p(y|z)
PG＝p(y|G)
其中，G表示图像全局特征，y表示图像标签，z表示联合局部特征，LGIL表示全局损失函数。
作为一种可实施方式，所述结合图像判定结果与图像标签搭建类别损失函数，包括以下步骤：
获取图像判定结果与图像标签之间的差异，得到判定结果差异；
基于判定结果差异的交叉熵，得到类别损失函数，表示如下：
其中，LCE表示类别损失函数，y表示图像标签。
作为一种可实施方式，所述结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，表示如下：
Loss＝LLIL+αLGIL+βLCE
其中，Loss表示检测损失函数，LLIL表示局部损失函数，LGIL表示全局损失函数，LCE表示类别损失函数，α及β表示权重因子。
一种基于信息瓶颈的深度伪造图像检测系统，包括数据集获取模块、特征提取模块、局部损失函数模块、全局损失函数模块、类别损失函数模块、模型更新模块及图像检测模块；
所述数据集获取模块，获取真实视频及伪造视频，通过预处理并添加图像标签得到真伪图像数据集；
所述特征提取模块，基于真伪图像数据集，通过初始真伪图像检测模型，对真伪图像数据集进行特征提取得到图像局部特征集；
所述局部损失函数模块，基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数；
所述全局损失函数模块，通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数；
所述类别损失函数模块，根据图像全局特征进行图像真伪判定，得到图像判定结果，结合图像判定结果与图像标签搭建类别损失函数；
所述模型更新模块，结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，基于检测损失函数对初始真伪图像检测模型进行优化更新，得到图像真伪检测模型；
所述图像检测模块，将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下所述的方法：
获取真实视频及伪造视频，通过预处理并添加图像标签得到真伪图像数据集；
基于真伪图像数据集，通过初始真伪图像检测模型，对真伪图像数据集进行特征提取得到图像局部特征集；
基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数；
通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数；
根据图像全局特征进行图像真伪判定，得到图像判定结果，结合图像判定结果与图像标签搭建类别损失函数；
结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，基于检测损失函数对初始真伪图像检测模型进行优化更新，得到图像真伪检测模型；
将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。
一种基于信息瓶颈的深度伪造图像检测装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下所述的方法：
获取真实视频及伪造视频，通过预处理并添加图像标签得到真伪图像数据集；
基于真伪图像数据集，通过初始真伪图像检测模型，对真伪图像数据集进行特征提取得到图像局部特征集；
基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数；
通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数；
根据图像全局特征进行图像真伪判定，得到图像判定结果，结合图像判定结果与图像标签搭建类别损失函数；
结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，基于检测损失函数对初始真伪图像检测模型进行优化更新，得到图像真伪检测模型；
将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。
本发明由于采用了以上的技术方案，具有显著的技术效果：
通过本发明的方法解决了现有深度伪造图像检测方法提取伪造特征不充分不全面的问题，通过信息瓶颈理论监督深度伪造图像检测模型学习充分的伪造痕迹，解决现有方法检测效力局限性的问题，同时利用信息瓶颈理论提取伪造信息的全面性，增强模型的准确度及泛化性，并利用信息瓶颈理论为提取伪造信息提供理论支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的流程示意图；
图2是本发明系统的整体示意图；
图3是本发明方法域内检测结果对比图；
图4是本发明方法跨域检测结果对比图；
图5是本发明方法整体结构示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1：
一种基于信息瓶颈的深度伪造图像检测方法，如图1所示，包括以下步骤：
S100、获取真实视频及伪造视频，通过预处理并添加图像标签得到真伪图像数据集；
S200、基于真伪图像数据集，通过初始真伪图像检测模型，对真伪图像数据集进行特征提取得到图像局部特征集；
S300、基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数；
S400、通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数；
S500、根据图像全局特征进行图像真伪判定，得到图像判定结果，结合图像判定结果与图像标签搭建类别损失函数；
S600、结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，基于检测损失函数对初始真伪图像检测模型进行优化更新，得到图像真伪检测模型；
S700、将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。
通过本发明的方法，基于信息瓶颈理论，对深度伪造图像数据集提取全面性且充分性的伪造信息，基于全面性解决了现有深度伪造图像检测方法中模型泛化性不足，检测伪造痕迹有限的问题，基于充分性解决现有深度伪造图像检测方法中准确度不足的问题，从而有效提高检测算法的泛化性及准确度。
在步骤S100中，获取真实视频及伪造视频，通过预处理并添加图像标签得到真伪图像数据集，包括以下步骤：
在本实施例中，深度伪造图像指深度伪造人脸图像，获取真实视频及伪造视频，其中，真实视频由相机等录像设备录制的视频，伪造视频指通过人脸替换及表情编辑等深度学习算法合成的近似于真人的视频。已知伪造算法或同数据域指的是与所述收集的真伪视频数据集拥有相同数据分布或由相同的伪造算法合成的伪造视频数据，未知伪造算法或跨数据域指的是与所述收集的真伪视频数据集拥有不同数据分布或由不同的伪造算法合成的伪造视频数据。
对真实视频及伪造视频进行预处理，本实施例中预处理的流程包括切帧、提取人脸及数据增强，其中，切帧用于将真实视频及伪造视频提取关键帧，提取人脸通过RetinaFace人脸提取算法从关键帧中得到人脸区域，数据增强方法包括RGB色彩偏移、对比度调整、亮度调整、图像旋转、高斯模糊、高斯噪声及JPEG压缩调整方法。通过数据增强的方法随机对真伪图像数据集进行增强扩充，提高后续真伪图像检测模型的鲁棒性。真实视频及伪造视频经过预处理之后，得到真实图像及伪造图像，分别对真实图像及伪造图像添加图像标签，得到由真实图像、伪造图像并添加相应图像标签组成的真伪图像数据集。
在步骤S200中，基于真伪图像数据集，通过初始真伪图像检测模型，对真伪图像数据集进行特征提取得到图像局部特征集，包括以下步骤：
将真伪图像数据集中的M张真伪图像数据输入初始真伪图像检测模型中，经过n个特征提取器获取n个正交的图像局部特征，本实施例中，特征提取器采用ResNet34，包括输入卷积层、池化层、4个残差阶段及全局平均池化层，其中，4个残差阶段包括4个残差块、4个残差块、6个残差块、3个残差块，最后对所得特征图进行全局平均池化得到图像局部特征，M个图像同时输入n个特征提取器得到n个图像局部特征，n个图像局部特征构成图像局部特征集。
在步骤S300中，基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数，包括以下步骤：
结合信息瓶颈理论中信息的全面性及正交性，基于局部损失函数保证n个图像局部特征蕴含标签信息的全面性及n个图像局部特征之间的正交性，其中，全面性要求所有图像局部特征蕴含的标签信息总和与输入真伪图像数据的标签信息的相关信息相等，即最大化图像标签y与联合局部特征的互信息，表示如下：
正交性要求图像局部特征之间相互正交独立，即任意两个图像局部特征之间的互信息为0，通过最小化任意两个图像局部特征之间的互信息可以解耦任意图像局部特征，最小化表示如下：
对上述最大化图像标签y与联合局部特征的互信息及最小化任意两个图像局部特征之间的互信息，可以实现对图像局部特征提取的全面性和正交性，但在优化过程中，两个优化目标存在I(zi；zj；y)冲突，通过聚合优化目标，得到优化的最终目的表示如下：
然而在优化过程中，对于互信息的计算和估计仍然存在巨大挑战，尤其对于高维概率分布的互信息估计，因此，本实施例中使用变分推导的方法来推导局部目标得到可优化的局部损失函数，具体推导过程如下所示：
条件互信息的表达式如下所示：
根据贝叶斯公式，对条件互信息公式进行进一步推导，表示如下：
根据KL散度公式，对条件互信息公式进行进一步推导，表示如下：
基于信息熵的非负性以及推导过程，条件互信息最大化的表达式通过转换，表示如下：
基于KL散度的取值范围为0到无穷大，本实施例中使用指数函数将条件互信息最大化转换为最小化，使得局部损失函数有界且与其他损失参数统一优化方向，因此，得到局部损失函数表示如下：
Pz＝p(y|z)
Pz\zi＝p(y|z\zi)
其中，z\zi表示联合局部特征中除第i个以外的图像局部特征，zi表示第i个图像局部特征，z表示联合局部特征，y表示图像标签，LLIL表示局部损失函数。
在步骤S400中，通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数，包括以下步骤：
本实施例中，通过将联合局部特征z输入融合层进行融合压缩，融合层由三层线性层组成，用于压缩融合得到图像全局特征G，图像局部特征所蕴含的标签信息综合虽然满足信息的全面性，但不满足充分性，即联合局部特征表示中仍然留存与标签无关的噪声，基于信息瓶颈理论，全局损失函数用于对得到的联合局部特征进行提纯，保证图像全局特征中标签信息的充分性，要求图像全局特征中的图像标签与联合局部特征中的图像标签相等，此过程通过最小化图像全局特征中的图像标签与联合局部特征中的图像标签y之间的互信息得到全局损失函数，得到全局信息目标，表示如下：
minI(y；z)-I(y；G)
本实施例中通过VSD方法来估计全局信息目标，得到全局损失函数，表示如下：
Pz＝p(y|z)
PG＝p(y|G)
其中，G表示图像全局特征，y表示图像标签，z表示联合局部特征，LGIL表示全局损失函数。
在步骤S500中，通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数，包括以下步骤：
将图像全局特征输入至初始真伪图像检测模型中的真伪分类器进行真伪类别检测，本实施例中使用的真伪分类器为一层线性层，所述真伪分类器对图像全局特征进行真伪二分类任务，通过搭建类别损失函数，表示所述真伪分类器预测所得图像判定结果与真实图像标签之间的差异，本实施例通过交叉熵计算得到类别损失函数，表示如下：
其中，LCE表示类别损失函数，y表示图像标签。
在步骤S600中，结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，基于检测损失函数对初始真伪图像检测模型进行优化更新，得到图像真伪检测模型，包括以下步骤：
所述局部损失函数LLIL仅更新初始真伪图像检测模型中特征提取器中的参数，所述全局损失函数LGIL仅更新神经网络模型中融合层的参数，所述类别损失函数LCE更新整个初始真伪图像检测模型的参数，通过对局部损失函数、全局损失函数及类别损失函数进行加权得到检测损失函数，表示如下：
Loss＝LLIL+αLGIL+βLCE
以减小检测损失函数值为优化目标，本实施例中通过优化算法Adam对初始真伪图像检测模型进行对应参数优化及更新，通过对检测损失函数进行迭代计算，达到预设训练轮次及满足准确度后，得到图像真伪检测模型。
对本实施例中提供的图像真伪检测模型在相同数据域场景下进行验证实验，验证实验中选取三个公开的人脸替换数据集，分别为FF++、Celeb-DF-V2和DFDC，本实施例分别在上个数据集上分别进行训练并测试，实验结果如图3所示，通过结果显示本技术方案能够在三个数据集上表现始终优于其他相关技术，证实了本发明的核心思想，能够基于信息瓶颈理论使得图像真伪检测模型学习到更加全面的伪造痕迹，有助于真伪检测模型获得更高的检测精度。
本实施例进一步对图像真伪检测模型在跨数据域场景下较现有相关技术所提供的图像真伪检测模型的优势进行验证，实验中所有真伪检测模型均在FF++数据集中进行训练，在Celeb-DF-V1、Celeb-DF-V2、DFDC-Preview、DFDC四个数据集中进行测试，其中，用于测试的四个数据集和用于训练的数据集中数据分布及伪造算法均不一致，实验结果如图4所示，证实了基于信息瓶颈理论搭建损失函数，通过优化更新得到的图像真伪检测模型能够关注图像中的不同区域，学习到多个相互正交的伪造痕迹特征，能够避免模型捷径的产生，从而提升图像真伪检测模型在位置视频图像类别及未知伪造算法中的泛化性。
当深度伪造图像为人脸图像时，深度伪造图像检测方法的整体结构图如图5所示。
实施例2：
一种基于信息瓶颈的深度伪造图像检测系统，如图2所示，包括数据集获取模块100、特征提取模块200、局部损失函数模块300、全局损失函数模块400、类别损失函数模块500、模型更新模块600及图像检测模块700；
所述数据集获取模块100，获取真实视频及伪造视频，通过预处理并添加图像标签得到真伪图像数据集；
所述特征提取模块200，基于真伪图像数据集，通过初始真伪图像检测模型，对真伪图像数据集进行特征提取得到图像局部特征集；
所述局部损失函数模块300，基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数；
所述全局损失函数模块400，通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数；
所述类别损失函数模块500，根据图像全局特征进行图像真伪判定，得到图像判定结果，结合图像判定结果与图像标签搭建类别损失函数；
所述模型更新模块600，结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，基于检测损失函数对初始真伪图像检测模型进行优化更新，得到图像真伪检测模型；
所述图像检测模块700，将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。
在一个实施例中，所述局部损失函数模块300，被设置为：
提取真伪图像数据集中真伪图像数据的局部特征，得到图像局部特征集；
对图像局部特征集进行联合表示，得到联合局部特征，结合图像标签及联合局部特征的全面性，对联合局部特征与图像标签之间的互信息进行最大化；
根据图像局部特征集中图像局部特征之间的正交性，对图像局部特征之间的互信息进行最小化；
基于对联合局部特征与图像标签之间的互信息进行最大化的过程及对图像局部特征之间的互信息进行最小化的过程，对图像特征条件互信息进行最大化，通过图像特征条件互信息最大化搭建局部损失函数；
所述对联合局部特征与图像标签之间的互信息进行最大化，表示如下：
所述对图像局部特征之间的互信息进行最小化，表示如下：
所述对图像特征条件互信息进行最大化，表示如下：
其中，I表示互信息，z\zi表示联合局部特征中除第i个以外的图像局部特征，zi表示第i个图像局部特征，z表示联合局部特征，y表示图像标签；
所述通过图像特征条件互信息最大化搭建局部损失函数，包括以下步骤：
所述图像特征条件互信息，表示如下：
根据贝叶斯公式及KL散度公式，对图像特征条件互信息最大化的过程进行推导，表示如下：
基于KL散度取值范围，对图像特征条件互信息进行转换，得到局部损失函数，表示如下：
Pz＝p(y|z)
Pz\zi＝p(y|z\zi)
其中，z\zi表示联合局部特征中除第i个以外的图像局部特征，zi表示第i个图像局部特征，z表示联合局部特征，y表示图像标签，LLIL表示局部损失函数。
在不脱离本发明的精神和范围的情况下做出的各种变化和变型，所有等同的技术方案也属于本发明的范畴。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同、相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (10)
1.一种基于信息瓶颈的深度伪造图像检测方法，其特征在于，包括以下步骤：
获取真实视频及伪造视频，通过预处理并添加图像标签得到真伪图像数据集；
基于真伪图像数据集，通过初始真伪图像检测模型，对真伪图像数据集进行特征提取得到图像局部特征集；
基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数；
通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数；
根据图像全局特征进行图像真伪判定，得到图像判定结果，结合图像判定结果与图像标签搭建类别损失函数；
结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，基于检测损失函数对初始真伪图像检测模型进行优化更新，得到图像真伪检测模型；
将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。
2.根据权利要求1所述的基于信息瓶颈的深度伪造图像检测方法，其特征在于，所述预处理包括切帧、区域提取及数据增强。
3.根据权利要求1所述的基于信息瓶颈的深度伪造图像检测方法，其特征在于，所述基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数，包括以下步骤：
提取真伪图像数据集中真伪图像数据的局部特征，得到图像局部特征集；
对图像局部特征集进行联合表示，得到联合局部特征，结合图像标签及联合局部特征的全面性，对联合局部特征与图像标签之间的互信息进行最大化；
根据图像局部特征集中图像局部特征之间的正交性，对图像局部特征之间的互信息进行最小化；
基于对联合局部特征与图像标签之间的互信息进行最大化的过程及对图像局部特征之间的互信息进行最小化的过程，对图像特征条件互信息进行最大化，通过图像特征条件互信息最大化搭建局部损失函数。
4.根据权利要求3所述的基于信息瓶颈的深度伪造图像检测方法，其特征在于，所述对联合局部特征与图像标签之间的互信息进行最大化，表示如下：
所述对图像局部特征之间的互信息进行最小化，表示如下：
所述对图像特征条件互信息进行最大化，表示如下：
其中，I表示互信息，z\zi表示联合局部特征中除第i个以外的图像局部特征，zi表示第i个图像局部特征，z表示联合局部特征，y表示图像标签；
所述通过图像特征条件互信息最大化搭建局部损失函数，包括以下步骤：
所述图像特征条件互信息，表示如下：
根据贝叶斯公式及KL散度公式，对图像特征条件互信息最大化的过程进行推导，表示如下：
基于KL散度取值范围，对图像特征条件互信息进行转换，得到局部损失函数，表示如下：
Pz＝p(y|z)
Pz\zi＝p(y|z\zi)
其中，z\zi表示联合局部特征中除第i个以外的图像局部特征，zi表示第i个图像局部特征，z表示联合局部特征，y表示图像标签，LLIL表示局部损失函数。
5.根据权利要求1所述的基于信息瓶颈的深度伪造图像检测方法，其特征在于，所述通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数，包括以下步骤：
所述联合局部特征经融合压缩处理得到图像全局特征；
对图像全局特征中图像标签与联合局部特征中图像标签之间的互信息进行最小化，建立全局信息目标，表示如下：
minI(y；z)-I(y；G)
对全局信息目标进行估计，建立全局损失函数，表示如下：
LGIL＝minEG～Eφ(G|z)[DKL[Pz||PG]]
Pz＝p(y|z)
PG＝p(y|G)
其中，G表示图像全局特征，y表示图像标签，z表示联合局部特征，LGIL表示全局损失函数。
6.根据权利要求1所述的基于信息瓶颈的深度伪造图像检测方法，其特征在于，所述结合图像判定结果与图像标签搭建类别损失函数，包括以下步骤：
获取图像判定结果与图像标签之间的差异，得到判定结果差异；
基于判定结果差异的交叉熵，得到类别损失函数，表示如下：
其中，LCE表示类别损失函数，y表示图像标签。
7.根据权利要求1所述的基于信息瓶颈的深度伪造图像检测方法，其特征在于，所述结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，表示如下：
Loss＝LLIL+αLGIL+βLCE
其中，Loss表示检测损失函数，LLIL表示局部损失函数，LGIL表示全局损失函数，LCE表示类别损失函数，α及β表示权重因子。
8.一种基于信息瓶颈的深度伪造图像检测系统，其特征在于，包括数据集获取模块、特征提取模块、局部损失函数模块、全局损失函数模块、类别损失函数模块、模型更新模块及图像检测模块；
所述数据集获取模块，获取真实视频及伪造视频，通过预处理并添加图像标签得到真伪图像数据集；
所述特征提取模块，基于真伪图像数据集，通过初始真伪图像检测模型，对真伪图像数据集进行特征提取得到图像局部特征集；
所述局部损失函数模块，基于图像局部特征集得到联合局部特征，结合信息瓶颈理论建立局部损失函数；
所述全局损失函数模块，通过联合局部特征得到图像全局特征，结合图像全局特征及图像标签搭建全局损失函数；
所述类别损失函数模块，根据图像全局特征进行图像真伪判定，得到图像判定结果，结合图像判定结果与图像标签搭建类别损失函数；
所述模型更新模块，结合局部损失函数、全局损失函数及类别损失函数，得到检测损失函数，基于检测损失函数对初始真伪图像检测模型进行优化更新，得到图像真伪检测模型；
所述图像检测模块，将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法。
10.一种基于信息瓶颈的深度伪造图像检测装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311813132.1A CN117877129A (zh) | 2023-12-26 | 2023-12-26 | 基于信息瓶颈的深度伪造图像检测方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311813132.1A CN117877129A (zh) | 2023-12-26 | 2023-12-26 | 基于信息瓶颈的深度伪造图像检测方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117877129A true CN117877129A (zh) | 2024-04-12 |
Family
ID=90580371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311813132.1A Pending CN117877129A (zh) | 2023-12-26 | 2023-12-26 | 基于信息瓶颈的深度伪造图像检测方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117877129A (zh) |
-
2023
- 2023-12-26 CN CN202311813132.1A patent/CN117877129A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cozzolino et al. | Combining PRNU and noiseprint for robust and efficient device source identification | |
| CN112861671B (zh) | 一种对深度伪造人脸图像和视频的鉴别方法 | |
| CN117218707B (zh) | 一种基于积极扰动的Deepfake人脸检测方法 | |
| Yu et al. | Robust median filtering forensics by CNN-based multiple residuals learning | |
| Gong et al. | Deepfake forensics, an ai-synthesized detection with deep convolutional generative adversarial networks | |
| Guo et al. | Exposing deepfake face forgeries with guided residuals | |
| CN118115729B (zh) | 多层次多尺度特征交互的图像伪造区域识别方法及系统 | |
| CN115424314A (zh) | 一种可识别的人脸匿名化处理方法及系统 | |
| Park et al. | Paired mini-batch training: A new deep network training for image forensics and steganalysis | |
| CN111476727A (zh) | 一种面向换脸视频检测的视频运动增强方法 | |
| Sabeena et al. | Digital image forensic using deep flower pollination with adaptive Harris hawk optimization | |
| Irshad et al. | IMGCAT: An approach to dismantle the anonymity of a source camera using correlative features and an integrated 1D convolutional neural network | |
| Zeng et al. | A framework of camera source identification Bayesian game | |
| CN117877129A (zh) | 基于信息瓶颈的深度伪造图像检测方法、系统及装置 | |
| CN113570564B (zh) | 一种基于多路卷积网络的多清晰度伪造人脸视频的检测方法 | |
| CN115659387A (zh) | 一种基于神经通路的用户隐私保护方法、电子设备、介质 | |
| Liu et al. | DH-GAN: Image manipulation localization via a dual homology-aware generative adversarial network | |
| Kadha et al. | Robust manipulation detection scheme for post-JPEG compressed images using CNN | |
| Kadha et al. | A novel method for resampling detection in highly compressed JPEG images through BAR using a deep learning technique | |
| CN117542124A (zh) | 人脸视频深度伪造检测方法及装置 | |
| CN113158838B (zh) | 基于全尺寸深度图监督的人脸表示攻击检测方法 | |
| CN116311480B (zh) | 一种基于多通道双流注意力的伪造人脸检测方法 | |
| CN114092994B (zh) | 一种基于多视角特征学习的人脸活体检测方法 | |
| Balliwal et al. | Design Simulation of Predicting Age and Gender for Human using Machine Learning Approach | |
| Shukla et al. | Performance analysis of various copy-move forgery detection methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |