CN115880749A - 基于多模态特征融合的人脸深伪检测方法 - Google Patents
基于多模态特征融合的人脸深伪检测方法 Download PDFInfo
- Publication number
- CN115880749A CN115880749A CN202211389220.9A CN202211389220A CN115880749A CN 115880749 A CN115880749 A CN 115880749A CN 202211389220 A CN202211389220 A CN 202211389220A CN 115880749 A CN115880749 A CN 115880749A
- Authority
- CN
- China
- Prior art keywords
- features
- fusion
- module
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多模态特征融合的人脸深伪检测方法。本发明的目的是提供一种基于多模态特征融合的人脸深伪检测方法。本发明的技术方案为:该检测方法其特征在于:获取待检测图像;将待检测图像输入经训练的人脸深伪检测模型,得到检测判断结果;所述人脸深伪检测模型,包括RGB纹理特征提取模块、SRM高频噪声特征提取模块、DCT频域感知特征提取模块、低维度多尺度特征交互模块、跨模态特征融合模块和分类模块。本发明适用于深度伪造检测领域。
Description
技术领域
本发明涉及一种基于多模态特征融合的人脸深伪检测方法。适用于深度伪造检测领域。
背景技术
随机互联网的快速发展,数字媒体信息在其中的传播也越来越迅速和广泛,伴随着深度学习以及神经网络的发展,出现了神经网络驱动生成的虚假图像和视频人脸,这些图像和视频甚至人眼无法区分。这类方法对影视行业以及艺术创作等等提供了新的思路和方法,但恶意传播深度伪造数字媒体会导致社会出现安全问题甚至信任危机,因此如何鉴别互联网中传播的数字媒体的真实性,开发有效的人脸深度伪造检测方法成为亟待解决的问题。
一系列早期的人脸深度伪造检测方法依赖于手工制作的特征,例如局部模式分析、噪声方差评估、隐写分析特征等,来发现伪造模式并放大真实和伪造图像之间的微弱差异,具有比较强的可解释性,但目前没有一种传统方法能够应对所有的图像深度伪造技术,通常只能针对某种特定的伪造方法进行检测,适用条件比较有限。
深度学习引入了另一种途径来应对这一挑战,最近基于学习的深度伪造检测方法尝试使用RGB作为输入,利用卷积神经网络(CNN)挖掘特征空间中的伪造模式,在公共数据集上取得了显着进展,但目前最先进的人脸深度伪造算法,已经能够隐藏伪造的伪影,使其变得非常难以识别。更糟糕的是,如果伪造人脸的视觉质量大幅下降,例如压缩比大的JPEG或H264压缩,伪造伪影将被压缩污染,有时无法在RGB域中捕获,伪造检测模型泛化性差,从而限制了更广泛的应用。
发明内容
本发明要解决的技术问题是:针对上述存在的问题,提供一种基于多模态特征融合的人脸深伪检测方法。
本发明所采用的技术方案是:一种基于多模态特征融合的人脸深伪检测方法,其特征在于:
获取待检测图像;
将待检测图像输入经训练的人脸深伪检测模型,得到检测判断结果;
所述人脸深伪检测模型,包括:
RGB纹理特征提取模块,用于提取待检测图像的RGB纹理特征;
SRM高频噪声特征提取模块,用于提取待检测图像的SRM高频噪声特征;
DCT频域感知特征提取模块,用于提取待检测图像的DCT频域感知特征;
低维度多尺度特征交互模块,用于对各提取模块提取的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征在空间维度和通道维度上进行注意力加权交互;
跨模态特征融合模块,用于融合所述低维度多尺度特征交互模块输出的经加权的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征,得到融合特征;
分类模块,用于基于所述跨模态特征融合模块输出的融合特征进行分类判断,输出检测判断结果。
所述在空间维度上进行注意力加权交互,包括:
将提取的图像特征分别与对应空间Attention特征图ATTs做乘法,再将对应通道相加得到空间维度注意力加权后的空间交互特征图Xs;
ATTs=σ(conv7×7(AVGPool(X')))
其中,AVGPool为平均池化操作;conv7×7为7x7卷积;σ为sigmoid函数;X'为输入特征;ATTs为空间Attention特征图。
所述在通道维度上进行注意力加权交互,包括:
对空间交互特征图Xs求取通道权重ATTc;
ATTc=conv(σ(AVGPool(conv(Xs))))
其中,conv为卷积操作;AVGPool为平均池化操作;σ为sigmoid函数;
空间交互特征图Xs与通道权重相乘得到,得到经空间维度和通道维度注意力加权的交互特征图Xsc。
所述融合所述低维度多尺度特征交互模块输出的经加权的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征,包括:
先将加权的RGB纹理特征和SRM高频噪声特征进行第一次融合,再将第一次融合后的融合结果与经加权的DCT频域感知特征进行第二次融合,得到融合特征。
所述人脸深伪检测模型训练时引入带监督的对比损失并结合二进制交叉熵损失共同优化,总的损失为:
L=Lbce+λLsup
其中,Lbce为二进制交叉熵损失;Lsup为有监督对比损失;λ为平衡loss超参;
一种基于多模态特征融合的人脸深伪检测装置,其特征在于,包括:
图像获取模块,用于获取待检测图像;
模型预测模块,用于将待检测图像输入经训练的人脸深伪检测模型,得到检测判断结果;
所述人脸深伪检测模型,包括:
RGB纹理特征提取模块,用于提取待检测图像的RGB纹理特征;
SRM高频噪声特征提取模块,用于提取待检测图像的SRM高频噪声特征;
DCT频域感知特征提取模块,用于提取待检测图像的DCT频域感知特征;
低维度多尺度特征交互模块,用于对各提取模块提取的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征在空间维度和通道维度上进行注意力加权交互;
跨模态特征融合模块,用于融合所述低维度多尺度特征交互模块输出的经加权的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征,得到融合特征;
分类模块,用于基于所述跨模态特征融合模块输出的融合特征进行分类判断,输出检测判断结果。
一种存储介质,其上存储有能被处理器执行的计算机程序,其特征在于:所述计算机程序被执行时实现所述基于多模态特征融合的人脸深伪检测方法的步骤。
一种计算机设备,具有存储器和处理器,存储器上存储有能被处理器执行的计算机程序,其特征在于:所述计算机程序被执行时实现所述基于多模态特征融合的人脸深伪检测方法的步骤。
本发明的有益效果是:本发明通过提取样本的RGB纹理特征捕捉篡改媒体的纹理信息,提取SRM高频噪声特征暴露篡改区域和真实区域之间的统计差异,提取DCT频域感知特征来捕获被污染的伪造伪影,不同的特征对不同的篡改手段都有各自更加关注的区域,三种特征相互弥补,提高了特征的适用条件。
浅层网络提取的特征包含样本更多的几何信息,具有更高的高分辨率,且不同尺度的特征所包含的信息也有所差异,所以本发明创新地使用注意力机制,在浅层网络将不同的尺度特征进行交互。本发明分别将RGB和SRM,以及RGB和DCT特征分别从空间和通道维度上进行加权交互,交互后的特征不仅更加关注篡改区域,还能挖掘篡改区域的隐藏信息,同时具有多种篡改类型的信息,提升了算法的泛化性。
深层网络提取的特征包含媒体更多的语义信息,具有更大的感受野,提出的跨模态注意力特征融合模块,利用三种互补模态之间的相关性来促进彼此的特征融合学习。本发明将RGB和SRM模态特征融合,然后再将融合后的特征与DCT融合,得到鲁棒的多模态语义信息,提升了算法的鲁棒性。
神经网络和生成模型的发展,深度伪造方法越来越多样化,伪造手段也千奇百怪,但相对伪造媒体,真实媒体种类和类型都是不变的,所以在设计网络损失函数时,本发明引入有监督的对比损失,并仅对真实样本进行拉近聚类,再结合二进制交叉熵组成最终的损失,共同优化检测模型,提升了模型在未见样本中的泛化性。
本发明多个模块的相互协同,解决了当前人脸深伪检测模型仅能针对特定算法、特定数据集,且对污染数据检出率低的问题,本发明充分挖掘融合伪造样本的更本质信息,相比现有的深度伪造检测技术而言具有更高的准确率、泛化性和普适性,提升了深度伪造图像检测技术的性能。
附图说明
图1为实施例中人脸深伪检测模型的检测流程图。
具体实施方式
本实施例为一种基于多模态特征融合的人脸深伪检测方法,具体包括以下步骤:获取待检测RGB图像;将待检测图像输入经训练的人脸深伪检测模型,得到检测判断结果。
本例中人脸深伪检测模型包括多模态特征提取、低维度多尺度特征交互模块、跨模态特征融合模块和分类模块,其中多模态特征提取包括RGB纹理特征提取模块、SRM高频噪声特征提取模块和DCT频域感知特征提取模块。
本实施例中RGB纹理特征提取模块以待检测RGB图像X作为输入,X大小为H×W×3,H、W均为320,提取伪造图像的RGB纹理特征。
本例中SRM高频噪声特征提取模块用于提取待检测图像的SRM高频噪声特征。
噪声是一些捕获亮度或颜色信息的随机变化的高频信号,图像噪声的分布受数字相机的图像传感器或电路的影响,因此由不同设备处理或来自不同源的图像具有不同的噪声模式。噪声可以被视为图像的固有特性,并且可以在所有数字图像领域中以各种形式出现。在对图像内容进行伪造的时候,伪造者可能会对RGB域的伪造痕迹进行精密的掩藏,而图像噪声域的局部噪声分布异常可能就是潜在的伪造痕迹。
SRM噪声是通过像素值与仅通过内插相邻像素的值产生的像素值的估计之间的残差来建模,使用3个滤波核,以及滤波后邻近输出的最大最小等非线性操作,量化并截断这些过滤器的输出和提取邻近的共现信息作为最后的特征。3个滤波核如下:
分别用3个滤波核对RGB图像进行滤波,得到噪声SRM特征图:Xsrm=fsrm(X,k3,k2,k1),其中fsrm为滤波操作。
本实施例中DCT频域感知特征提取模块用于提取待检测图像的DCT频域感知特征。
网络上传播的深伪图像大多数都经过压缩处理,压缩后的伪造图像视觉质量大幅下降,在RGB域大量伪造痕迹丢失,而频域中较高频率的分解成分中还存在细微伪造伪影;另一方面现有的面部操纵方法大多数基于GAN,其中上采样操作导致伪造面部的频率统计特性异常,为此,本实施例引入频率信息来帮助网络挖掘真实区域和伪造区域之间的本质差异。
对于频域特征的提取本例采用DCT,频域特征图的低频对应图像的亮度或者灰度值变化缓慢的区域,其响应位于左上角,高频对应着图像变化剧烈的部分,也就是图像的边缘(轮廓)或者噪声以及细节部分,其响应位于右下角,高频信息中存在一些细微伪造伪影。
DCT频域感知特征提取详细流程如下:
1)、将待检测RGB图像经过二维DCT变换到频域,得到频域特征图
Xd=D(X)
其中,D为DCT变换。
2)、低频信息滤除
Xf=F(Xd,α)
其中,F为高通滤波器,α控制低频滤除范围,即频率图左上角的长度,本实施例中α=0.3;
3)、将过滤掉低频信息的特征图IDCT逆变换到RGB域
Xdct=D-1(Xf)
其中,D-1为DCT逆变换。
本实施例中低维度多尺度特征交互模块分别将RGB纹理特征和SRM高频噪声特征,以及RGB纹理特征和DCT频域感知特征在多个尺度上交互,交互方式采用空间维度和通道维度的注意力加权,以丰富高频特征。
A、空间维度注意力加权
将提取的图像特征分别与对应空间Attention特征图ATTs做乘法,再将对应通道相加得到空间维度注意力加权后的空间交互特征图Xs;
ATTs=σ(conv7×7(AVGPool(X')))
其中,AVGPool为平均池化操作,conv7×7为7x7卷积,σ为sigmoid函数,X'为输入特征,大小为C×H'×W',ATTs为空间Attention特征图,大小为1×H'×W’。
如,SRM高频噪声特征的空间交互特征图Xs为SRM高频噪声特征与以RGB纹理特征为输入特征X'的空间Attention特征图ATTs做乘法后得到。
B、通道维度注意力加权
对空间交互特征图Xs求取通道权重ATTc:
ATTs=conv(σ(AVGPool(conv(Xs))))
空间交互特征图Xs与相应的通道权重ATTc相乘得到,得到最终交互特征图Xsc,大小为C×H'×W',再将交互特征图送入网络进行下一步推理。
本实施例中跨模态特征融合模块用于融合低维度多尺度特征交互模块输出的经加权的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征,得到融合特征。
假设,RGB流、SRM流和DCT流输入跨模态特征融合模块的特征分别为FRGB、FSRM和FDCT,首先对RGB流和SRM流做融合,融合结果FRGB-SRM=fCMA(FRGB,FSRM),再将融合后的结果与DCT流特征进行融合FRGB-SRM-DCT=fCMA(FRGB-SRM,FDCT),最后将融合后特征图送入下一层网络进行分类。
本实施例中在人脸深伪检测模型训练时,为了提高模型在未见数据上的泛化性,引入带监督的对比损失,并结合二进制交叉熵损失,共同优化。总的损失为:
L=Lbce+λLsup
其中Lbce为二进制交叉熵损失,Lsup为有监督对比损失,λ=0.05为平衡loss超参,定义为:
本实施例还提供一种基于多模态特征融合的人脸深伪检测装置,包括图像获取模块和模型预测模块,其中图像获取模块用于获取待检测图像;模型预测模块用于将待检测图像输入经训练的人脸深伪检测模型,得到检测判断结果。
本例中模型预测模块内的人脸深伪检测模型,包括RGB纹理特征提取模块、SRM高频噪声特征提取模块、DCT频域感知特征提取模块、低维度多尺度特征交互模块、跨模态特征融合模块和分类模块。
本例中RGB纹理特征提取模块用于提取待检测图像的RGB纹理特征;SRM高频噪声特征提取模块用于提取待检测图像的SRM高频噪声特征;DCT频域感知特征提取模块用于提取待检测图像的DCT频域感知特征;低维度多尺度特征交互模块用于对各提取模块提取的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征在空间维度和通道维度上进行注意力加权交互;跨模态特征融合模块用于融合所述维度度多尺度特征交互模块输出的经加权的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征,得到融合特征;分类模块用于基于所述跨模态特征融合模块输出的融合特征进行分类判断,输出检测判断结果。
本实施例还提供一种存储介质,其上存储有能被处理器执行的计算机程序,该计算机程序被执行时实现本例中基于多模态特征融合的人脸深伪检测方法的步骤。
本实施例还提供一种计算机设备,具有存储器和处理器,存储器上存储有能被处理器执行的计算机程序,该计算机程序被执行时实现本例中基于多模态特征融合的人脸深伪检测方法的步骤。
Claims (8)
1.一种基于多模态特征融合的人脸深伪检测方法,其特征在于:
获取待检测图像;
将待检测图像输入经训练的人脸深伪检测模型,得到检测判断结果;
所述人脸深伪检测模型,包括:
RGB纹理特征提取模块,用于提取待检测图像的RGB纹理特征;
SRM高频噪声特征提取模块,用于提取待检测图像的SRM高频噪声特征;
DCT频域感知特征提取模块,用于提取待检测图像的DCT频域感知特征;
低维度多尺度特征交互模块,用于对各提取模块提取的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征在空间维度和通道维度上进行注意力加权交互;
跨模态特征融合模块,用于融合所述低维度多尺度特征交互模块输出的经加权的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征,得到融合特征;
分类模块,用于基于所述跨模态特征融合模块输出的融合特征进行分类判断,输出检测判断结果。
2.根据权利要求1所述的基于多模态特征融合的人脸深伪检测方法,其特征在于,所述在空间维度上进行注意力加权交互,包括:
将提取的图像特征分别与对应空间Attention特征图ATTs做乘法,再将对应通道相加得到空间维度注意力加权后的空间交互特征图Xs;
ATTs=σ(conv7×7(AVGPool(X')))
其中,AVGPool为平均池化操作;conv7×7为7x7卷积;σ为sigmoid函数;X'为输入特征;ATTs为空间Attention特征图。
3.根据权利要求2所述的基于多模态特征融合的人脸深伪检测方法,其特征在于,所述在通道维度上进行注意力加权交互,包括:
对空间交互特征图Xs求取通道权重ATTc;
ATTc=conv(σ(AVGPool(conv(Xs))))
其中,conv为卷积操作;AVGPool为平均池化操作;σ为sigmoid函数;
空间交互特征图Xs与通道权重相乘得到,得到经空间维度和通道维度注意力加权的交互特征图Xsc。
4.根据权利要求1所述的基于多模态特征融合的人脸深伪检测方法,其特征在于,所述融合所述低维度多尺度特征交互模块输出的经加权的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征,包括:
先将加权的RGB纹理特征和SRM高频噪声特征进行第一次融合,再将第一次融合后的融合结果与经加权的DCT频域感知特征进行第二次融合,得到融合特征。
6.一种基于多模态特征融合的人脸深伪检测装置,其特征在于,包括:
图像获取模块,用于获取待检测图像;
模型预测模块,用于将待检测图像输入经训练的人脸深伪检测模型,得到检测判断结果;
所述人脸深伪检测模型,包括:
RGB纹理特征提取模块,用于提取待检测图像的RGB纹理特征;
SRM高频噪声特征提取模块,用于提取待检测图像的SRM高频噪声特征;
DCT频域感知特征提取模块,用于提取待检测图像的DCT频域感知特征;
低维度多尺度特征交互模块,用于对各提取模块提取的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征在空间维度和通道维度上进行注意力加权交互;
跨模态特征融合模块,用于融合所述低维度多尺度特征交互模块输出的经加权的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征,得到融合特征;
分类模块,用于基于所述跨模态特征融合模块输出的融合特征进行分类判断,输出检测判断结果。
7.一种存储介质,其上存储有能被处理器执行的计算机程序,其特征在于:所述计算机程序被执行时实现权利要求1~5任意一项所述基于多模态特征融合的人脸深伪检测方法的步骤。
8.一种计算机设备,具有存储器和处理器,存储器上存储有能被处理器执行的计算机程序,其特征在于:所述计算机程序被执行时实现权利要求1~5任意一项所述基于多模态特征融合的人脸深伪检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211389220.9A CN115880749A (zh) | 2022-11-08 | 2022-11-08 | 基于多模态特征融合的人脸深伪检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211389220.9A CN115880749A (zh) | 2022-11-08 | 2022-11-08 | 基于多模态特征融合的人脸深伪检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115880749A true CN115880749A (zh) | 2023-03-31 |
Family
ID=85759514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211389220.9A Pending CN115880749A (zh) | 2022-11-08 | 2022-11-08 | 基于多模态特征融合的人脸深伪检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115880749A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117095471A (zh) * | 2023-10-19 | 2023-11-21 | 南京理工大学 | 基于多尺度特征的人脸伪造溯源方法 |
CN117275068A (zh) * | 2023-09-21 | 2023-12-22 | 北京中科闻歌科技股份有限公司 | 含不确定性引导的测试阶段训练人脸伪造检测方法及系统 |
CN117292442A (zh) * | 2023-10-13 | 2023-12-26 | 中国科学技术大学先进技术研究院 | 一种跨模态跨域通用人脸伪造定位方法 |
-
2022
- 2022-11-08 CN CN202211389220.9A patent/CN115880749A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117275068A (zh) * | 2023-09-21 | 2023-12-22 | 北京中科闻歌科技股份有限公司 | 含不确定性引导的测试阶段训练人脸伪造检测方法及系统 |
CN117275068B (zh) * | 2023-09-21 | 2024-05-17 | 北京中科闻歌科技股份有限公司 | 含不确定性引导的测试阶段训练人脸伪造检测方法及系统 |
CN117292442A (zh) * | 2023-10-13 | 2023-12-26 | 中国科学技术大学先进技术研究院 | 一种跨模态跨域通用人脸伪造定位方法 |
CN117292442B (zh) * | 2023-10-13 | 2024-03-26 | 中国科学技术大学先进技术研究院 | 一种跨模态跨域通用人脸伪造定位方法 |
CN117095471A (zh) * | 2023-10-19 | 2023-11-21 | 南京理工大学 | 基于多尺度特征的人脸伪造溯源方法 |
CN117095471B (zh) * | 2023-10-19 | 2024-02-27 | 南京理工大学 | 基于多尺度特征的人脸伪造溯源方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tu et al. | RAPIQUE: Rapid and accurate video quality prediction of user generated content | |
Mahmood et al. | A robust technique for copy-move forgery detection and localization in digital images via stationary wavelet and discrete cosine transform | |
Barni et al. | Aligned and non-aligned double JPEG detection using convolutional neural networks | |
Kim et al. | Fully deep blind image quality predictor | |
Park et al. | Double JPEG detection in mixed JPEG quality factors using deep convolutional neural network | |
CN115880749A (zh) | 基于多模态特征融合的人脸深伪检测方法 | |
Sudiatmika et al. | Image forgery detection using error level analysis and deep learning | |
Xu et al. | Source camera identification from image texture features | |
Zong et al. | Blind image steganalysis based on wavelet coefficient correlation | |
Hussain et al. | Image forgery detection using multi-resolution Weber local descriptors | |
CN110210498B (zh) | 基于残差学习卷积融合网络的数字图像设备取证系统 | |
CN102063627B (zh) | 基于多小波变换的自然图像和计算机生成图像的识别方法 | |
Singh et al. | Detection and localization of copy-paste forgeries in digital videos | |
Wang et al. | Gradient-based no-reference image blur assessment using extreme learning machine | |
Chen et al. | JSNet: a simulation network of JPEG lossy compression and restoration for robust image watermarking against JPEG attack | |
Gan et al. | Video object forgery detection algorithm based on VGG-11 convolutional neural network | |
Tsai et al. | Using decision fusion of feature selection in digital forensics for camera source model identification | |
CN109523452B (zh) | 一种基于通道差分残差的彩色图像隐写检测方法 | |
Anjum et al. | Recapture detection technique based on edge-types by analysing high-frequency components in digital images acquired through LCD screens | |
Singh et al. | Digital image forensic approach based on the second-order statistical analysis of CFA artifacts | |
Wu et al. | Visual structural degradation based reduced-reference image quality assessment | |
Liu et al. | A method to detect JPEG-based double compression | |
Park et al. | Paired mini-batch training: A new deep network training for image forensics and steganalysis | |
Elsharkawy et al. | New and efficient blind detection algorithm for digital image forgery using homomorphic image processing | |
CN115829909A (zh) | 一种基于特征增强和频谱分析的伪造检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |