CN114692741A - 基于域不变特征的泛化人脸伪造检测方法 - Google Patents
基于域不变特征的泛化人脸伪造检测方法 Download PDFInfo
- Publication number
- CN114692741A CN114692741A CN202210276512.5A CN202210276512A CN114692741A CN 114692741 A CN114692741 A CN 114692741A CN 202210276512 A CN202210276512 A CN 202210276512A CN 114692741 A CN114692741 A CN 114692741A
- Authority
- CN
- China
- Prior art keywords
- domain
- feature
- face
- ocdm
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于域不变特征的泛化人脸伪造检测方法,包括:1)构建训练图像集;2)用训练图像集来训练构建的域不变特征表征学习的人脸伪造检测网络,并得到最优的域不变特征表征学习的人脸伪造检测网络的权重参数;3)应用域不变特征表征学习的人脸伪造检测网络和最优的域不变特征表征学习的人脸伪造检测网络的权重参数对待测的输入图像给出预测结果,即输入图像是否为人脸伪造图像。本发明提出了域不变特征表征学习的人脸伪造检测网络分别去最小化训练图像集中多个源域数据集的特征分布差异和最优分类器距离,从而学习到一个合适的域不变特征表征,可以有效提升模型在未知的目标域上的泛化性能且优于现存的一系列人脸伪造检测方法。
Description
技术领域
本发明涉及多媒体的技术领域,尤其是指一种基于域不变特征的泛化人脸伪造检测方法。
背景技术
随着信息技术的不断发展,使得图像、视频、音频等成为信息传播的主要载体,但是,随着深度学习的发展,让图像和视频的伪造也变得更加容易。人们只需要使用一些先进的深度学习工具如对抗生成网络等,就可以轻松的创造出肉眼难以识别的伪造图片或视频。由于人脸信息非常重要,于是出现了一系列人脸伪造图像,从而起到欺骗他人、传播谣言等目的。因此,如何有效的检测人脸伪造图像成了图像取证领域的热门研究方向。
人脸伪造检测任务可以看作是一个二分类任务,即通过提取输入图像中存在的篡改痕迹来判断图像是否为人脸伪造图像。受益于深度学习的发展,目前大多数人脸伪造检测方法都是基于深度学习的的方法。这些方法通常都是使用特征变换网络来提取输入图像的篡改痕迹,再通过一个分类器得到二分类结果即输入人脸是否为伪造人脸。当训练集和测试集都来自于相同的人脸伪造技术时,这些方法可以实现不错的检测效果。但是当训练集和测试集由不同的人脸伪造技术生成时,不同人脸伪造技术可能会留下不同的篡改痕迹,所以这些人脸伪造检测方法的性能都出现了不同程度的大幅下降。最近,也出现了一些工作致力于解决人脸伪造检测的泛化问题。这些结合域迁移或者域泛化的思想的方法在一定程度上提高了模型的泛化性能,但是还存在着很大的进步空间。因此,如何更好的利用多个已知源域的数据集,并去消除它们数据分布之间的偏差来学习共有的判别特征用于进一步提高模型的泛化能力仍是一个很大的挑战。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于域不变特征的泛化人脸伪造检测方法,该方法架构中包括特征分布差异最小化网络FDDM和最优分类器距离最小化网络OCDM。先通过将多个已知的源域数据集模拟划分为虚拟源域和虚拟目标域,再使用FDDM用于最小化虚拟源域和虚拟目标域之间的特征分布差异来学习域共享特征,紧接着通过OCDM对域共享特征空间进行调整以减小虚拟源域和虚拟目标域之间的最优分类器距离。通过不断迭代的随机划分虚拟源域和虚拟目标域,以及使用FDDM和OCDM,就可以学习到合适的域不变表征以及可以大幅提升模型在未知目标域上的泛化性能。
为实现上述目的,本发明所提供的技术方案为:基于域不变特征的泛化人脸伪造检测方法,包括以下步骤:
1)构建训练图像集
获取大量的由不同的人脸伪造方法生成的人脸伪造图像和对应的正常人脸图像,将其都缩放到同一个尺寸并按照生成的人脸伪造方法的不同将这些人脸伪造图像和对应的正常人脸图像划分到不同的源域数据集中;将这些不同源域数据集归纳起来就得到了训练图像集;
2)用步骤1)中构建的训练图像集来训练构建的域不变特征表征学习的人脸伪造检测网络,并得到最优的域不变特征表征学习的人脸伪造检测网络的权重参数;其中所述人脸伪造检测网络包括特征分布差异最小化网络FDDM和最优分类器距离最小化网络OCDM;先将构建的训练图像集中的多个源域数据集模拟划分为虚拟源域和虚拟目标域,接着FDDM通过解耦的方式从划分的虚拟源域和虚拟目标域中学习到共享的域共享特征,而OCDM对学习到的域共享特征做进一步调整使得其转为域不变特征,通过不断迭代的随机划分虚拟源域和虚拟目标域,以及使用FDDM和OCDM,从而获取一个合适的域不变特征表征来进行泛化人脸伪造检测;
3)应用步骤2)中构建的域不变特征表征学习的人脸伪造检测网络和最优的域不变特征表征学习的人脸伪造检测网络的权重参数对待测的输入图像给出预测结果,即输入图像是否为人脸伪造图像。
进一步,在步骤1)中,对于获取到的大量的由不同的人脸伪造方法生成的人脸伪造图像和对应的正常人脸图像,将其都缩放到H×W大小的尺寸,其中H和W分别为图像的长度和宽度;并按照生成的人脸伪造方法的不同将这些人脸伪造图像和对应的正常人脸图像划分到不同的源域数据集中,对于得到的M个源域数据集S={Si|i=1,2,...M},其中Si代表第i个源域数据集,它包含Numi张图像。
进一步,所述步骤2)包括以下步骤:
2.1)将构建的训练图像集中的M个源域数据集S模拟划分为虚拟源域Sv和虚拟目标域Tv;
2.2)构建域不变特征表征学习的人脸伪造检测网络中的特征分布差异最小化网络FDDM,该特征分布差异最小化网络FDDM包括特征提取器ge、解码器特征选择gs、类判别器dψ、分类器C和M个域判别器dμ i,i∈{1,2,...,M};特征提取器ge和解码器均由多个卷积模块堆叠而成,不同的是,特征提取器ge的每个卷积模块后都跟着一个最大池化层,而解码器的每个卷积模块后都跟着一个上采样层;特征选择gs为一步特征划分的操作,不包含具体的网络结构;类判别器dψ和域判别器dμ i的网络结构相同,它们均由多个卷积模块堆叠而成;分类器C则是由多个卷积模块、一个平均池化层和一个全连接层组成;
对于从虚拟源域Sv和虚拟目标域Tv随机得到的第j张输入图像xj,特征Z_exj是通过特征提取器ge从输入图像xj提取到的特征,并将特征Z_exj输入到解码器来得到重构图像,以及通过最小化输入图像和重构图像之间的均方误差损失Lrec对其进行约束,使得特征提取器提取到输入图像的完整信息:
式中,N表示这次从虚拟源域和虚拟目标域中选取的样本数量;特征Z_exj通过特征选择gs划分为特征Z_irj和特征Z_dsj;特征Z_dsj作为分类器C的输入来预测输入图像的标签,并通过最小化输入图像的预测结果和输入图像的标签之间的交叉熵损失Lcls来约束特征Z_dsj代表类相关特征:
式中,yj代表第j张输入图像的标签;而特征Z_irj则作为类判别器dψ的输入也来预测输入图像的标签,并且通过最小化输入图像的预测结果和输入图像的标签之间的负交叉熵损失Lcdis来约束特征Z_irj代表类无关特征:
接着利用对抗训练的方法将特征Z_irj和特征Z_dsj均作为类判别器的输入来预测输入图像的标签,并最小化输入图像的预测结果和输入图像的标签的交叉熵损失Lent来训练类判别器dψ将特征Z_irj和特征Z_dsj两者相互解耦开来:
式中,1代表指示函数,k代表分类类别,即该预测任务为二分类任务,域判别器dμ i不考虑虚拟源域和虚拟目标域而直接去最小化来自源域数据集每个域的特征Z_dsj的分布差异,使得特征Z_dsj为M个源域数据集共享的域共享特征;对于第i个域判别器dμ i,用于判别特征Z_dsj是否属于第i个源域数据集,其对应的损失函数Ldis i表示为:
式中,Z_dsj i代表来自第i个域的第j张输入图像的特征,相应的,Z_dsj r代表来自第r个域的第j张输入图像的特征,且r≠i;结合M个域判别器的损失函数,就使得来自第i个域的特征Z_dsj i与剩下的M-1个源域数据集的特征分布差异最小;M个判别器的损失函数Ldis表示为:
FDDM整体优化目标的损失函数LFDDM为:
LFDDM=Lrec+Lcdis+Lcls+Ldis (7)
2.3)构建域不变特征表征学习的人脸伪造检测网络中的最优分类器距离最小化网络OCDM,该最优分类器距离最小化网络OCDM由特征提取器ge、特征选择器gs和分类器h组成,其中特征提取器ge、特征选择器gs都来自于特征分布差异最小化网络FDDM,分类器h由多个卷积模块、一个平均池化层和一个全连接层组成;OCDM网络通过两阶段更新的方法调整最优的虚拟源域分类器和最优的虚拟目标域分类器之间的距离来调整学习到的域共享特征,从而得到域不变特征;
式中,l代表交叉熵损失函数,Φ(ge,h)代表OCDM中特征提取器ge和分类器h的权重参数,而为输入图像相对应的标签;OCDM相对于损失函数LMeta-train的梯度为通过该梯度将OCDM中特征提取器ge和分类器h的权重参数更新为其中α代表这一步更新的步长;
OCDM整体优化目标的损失函数LOCDM为:
式中,β代表比例参数来平衡OCDM两个阶段的损失函数的比例;
2.4)初始化域不变特征表征学习的人脸伪造检测网络中特征分布差异最小化网络FDDM和最优分类器距离最小化网络OCDM中各个部分的权重参数,包括特征提取器ge的权重参数解码器的权重参数类判别器dψ和M个域判别器dμ i的权重参数和分类器C和分类器h的权重参数WC和Wh;初始化迭代次数e=1;
2.5)将构建的训练图像集中的M个源域数据集S随机划分为虚拟源域Sv和虚拟目标域Tv;初始化迭代次数t=1;
2.6)固定FDDM中类判别器dψ和M个域判别器dμ i的权重参数;从虚拟源域Sv和虚拟目标域Tv中随机选取N个样本构成训练对,并去计算FDDM整体优化目标的损失函数LFDDM;根据计算得到的FDDM整体优化目标的损失函数LFDDM来分别计算FDDM中特征提取器ge、解码器和分类器C的梯度并反向传播更新各个部分的权重参数:
2.7)固定FDDM中特征提取器ge的权重参数;从虚拟源域Sv和虚拟目标域Tv中随机选取N个样本构成训练对,并去计算公式(4)的损失函数Lent和公式(5)的M个域判别器dμ i的损失函数Ldis i;根据损失函数Lent计算FDDM中类判别器dψ的梯度并反向传播更新类判别器dψ的权重参数:
2.8)从虚拟源域Sv和虚拟目标域Tv中随机选取N个样本构成训练对,并去计算OCDM整体优化目标的损失函数LOCDM;根据计算得到的OCDM整体优化目标的损失函数LOCDM来分别计算OCDM中特征提取器ge和分类器h的梯度并反向传播更新各个部分的权重参数:
2.10)更新迭代次数e=e+1,并判断迭代条件是否满足e≤E,其中E代表训练的epoch数;如满足,则转至步骤2.5);否则,保存此时最优的域不变特征表征学习的人脸伪造检测网络的权重参数并退出迭代。
本发明与现有技术相比,具有如下优点与有益效果:
1、本发明提出了一种特征分布差异最小化网络FDDM通过联合解耦和生成对抗训练的思想来最小化来自各个源域的特征分布差异,从而提取到多个源域共享的域共享特征。
2、本发明提出了一种最优分类器距离最小化网络OCDM通过元学习的思想对给定的特征空间进行进一步调整,使得在这个特征空间上可以学习到一个理想分类器,它既是最优的虚拟源域分类器也是最优的虚拟目标域分类器。
3、本发明通过结合FDDM和OCDM可以从多个源域数据集中学习到一个合适的域不变特征表征,可以有效提升模型在未知的目标域上的泛化性能且优于现存的一系列人脸伪造检测方法。
附图说明
图1为本发明方法的架构图。
图2为特征分布差异最小化网络FDDM的网络结构图。
图3为最优分类器距离最小化网络OCDM的网络架构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
参见图1所示,本实施例提供了一种基于域不变特征的泛化人脸伪造检测方法,具体包括以下主要技术步骤:
1)构建训练图像集
本实例选用目前最大的人脸伪造基准数据集FaceForensics++作为实验数据集,FaceForensics++数据集包含由四种不同的人脸伪造方法生成的数据集,即FaceSwap、Deepfakes、Face2Face和NeuralTextures。每种不同的人脸伪造方法生成的数据集都包含1000个伪造视频,还包含1000个真实视频。对于每个视频,我们都以相等的间隔提取30帧图像,并通过OpenCV Dlib工具自动裁剪出每帧图像的脸部区域,且确保至少90%的人脸区域都被有效的裁剪出来了,从而得到大量由不同的人脸伪造方法生成的人脸伪造图像和对应的正常人脸图像。
对于获取到的大量的由不同的人脸伪造方法生成的人脸伪造图像和对应的正常人脸图像,将其都缩放到128×128大小的尺寸。并按照生成的人脸伪造方法的不同将这些人脸伪造图像和对应的正常人脸图像划分到不同的数据集中,即可得到4个不同数据集。这四个不同的数据集,随机选择3个作为源域数据集,还有一个作为未知的目标域数据集。对于得到的3个源域数据集S={Si|i=1,2,3},其中Si代表第i个源域数据集,它包含Numi张图像。
2)用步骤1)中构建的训练图像集来训练构建的域不变特征表征学习的人脸伪造检测网络包括以下步骤:
2.1)将构建的训练图像集中的M个源域数据集S模拟划分为虚拟源域Sv和虚拟目标域Tv。M在实施例中为3,且3个源域数据集中2个源域作为虚拟源域,1个源域作为虚拟目标域。
2.2)构建域不变特征表征学习的人脸伪造检测网络中的特征分布差异最小化网络FDDM,该特征分布差异最小化网络FDDM包括特征提取器ge、解码器特征选择gs、类判别器dψ、分类器C和M个域判别器dμ i(i∈{1,2,...,M}),具体网络架构如图2所示。特征提取器ge和解码器均由3个卷积模块堆叠而成,不同的是,特征提取器ge的每个卷积模块后都跟着一个最大池化层,而解码器的每个卷积模块后都跟着一个上采样层。特征选择gs为一步特征划分的操作,不包含具体的网络结构。类判别器dψ和域判别器dμ i(i∈{1,2,...,M})的网络结构相同,它们均由4个卷积模块堆叠而成。分类器C则是由3个卷积模块、一个平均池化层和一个全连接层组成。
对于从虚拟源域Sv和虚拟目标域Tv随机得到的第j张输入图像xj,特征Z_exj是通过特征提取器ge从输入图像xj提取到的特征,并将特征Z_exj输入到解码器来得到重构图像,以及通过最小化输入图像和重构图像之间的均方误差损失Lrec对其进行约束使得特征提取器提取到输入图像的完整信息:
式中,N表示这次从虚拟源域和虚拟目标域中选取的样本数量。特征Z_exj通过特征选择gs划分为特征Z_irj和特征Z_dsj。特征Z_dsj作为分类器C的输入来预测输入图像的标签,并通过最小化输入图像的预测结果和输入图像的标签之间的交叉熵损失Lcls来约束特征Z_dsj代表类相关特征:
式中,N表示这次从虚拟源域和虚拟目标域选取的样本数量,yj代表第j张输入图像的标签。而特征Z_irj则作为类判别器dψ的输入也来预测输入图像的标签,并且通过最小化输入图像的预测结果和输入图像的标签之间的负交叉熵损失Lcdis来约束特征Z_irj代表类无关特征:
式中,N表示这次从虚拟源域和虚拟目标域选取的样本数量。接着利用对抗训练的方法将特征Z_irj和特征Z_dsj均作为类判别器的输入来预测输入图像的标签,并最小化输入图像的预测结果和输入图像的标签的交叉熵损失Lent来训练类判别器dψ将特征Z_irj和特征Z_dsj两者相互解耦开来:
式中,1代表指示函数,k代表分类类别,即该预测任务为二分类任务,yj代表第jth张输入图像的标签。域判别器dμ i(i∈{1,2,...,M})不考虑虚拟源域和虚拟目标域而直接去最小化来自源域数据集每个域的特征Z_dsj的分布差异使得特征Z_dsj为M个源域数据集共享的域共享特征。对于第i个域判别器dμ i,用于判别特征Z_dsj是否属于第i个源域数据集,其对应的损失函数Ldis i表示为:
式中,Z_dsj i代表来自第i个域的第j张输入图像的特征,相应的,Z_dsj r代表来自第r个域的第j张输入图像的特征,且r≠i。结合M个域判别器的损失函数,就使得来自第i个域的特征Z_dsj i与剩下的M-1个源域数据集的特征分布差异最小。M个判别器的损失函数Ldis表示为:
FDDM整体优化目标的损失函数为:
LFDDM=Lrec+Lcdis+Lcls+Ldis (7)
2.3)构建域不变特征表征学习的人脸伪造检测网络中的最优分类器距离最小化网络OCDM,该最优分类器距离最小化网络OCDM由特征提取器ge、特征选择器gs和分类器h组成,具体的网络架构如图3所示,其中特征提取器ge、特征选择器gs都来自于特征分布差异最小化网络FDDM。分类器h由3个卷积模块、一个平均池化层和一个全连接层组成。OCDM通过两阶段更新的方法调整最优的虚拟源域分类器和最优的虚拟目标域分类器之间的距离来调整学习到的域共享特征,从而得到域不变特征。
式中,l代表交叉熵损失函数,Φ(ge,h)代表OCDM中特征提取器ge和分类器h的权重参数,而为输入图像相对应的标签。OCDM相对于损失函数LMeta-train的梯度为通过该梯度将OCDM中特征提取器ge和分类器h的权重参数更新为其中α代表这一步更新的步长,在实施例中被设置为0.0001。
OCDM整体优化目标的损失函数为:
式中,Φ(ge,h)代表OCDM中特征提取器ge和分类器h的权重参数,β代表比例参数来平衡OCDM两个阶段的损失函数的比例,在实施例中,β被设置为1,代表OCDM相对于损失函数LMeta-train的梯度。
2.4)初始化域不变特征表征学习的人脸伪造检测网络中特征分布差异最小化网络FDDM和最优分类器距离最小化网络OCDM中各个部分的权重参数,包括特征提取器ge的权重参数解码器的权重参数类判别器dψ和M个域判别器dμ i(i∈{1,2,...,M})的权重参数和分类器C和分类器h的权重参数WC和Wh。初始化迭代次数e=1。
2.5)将构建的训练图像集中的M个源域数据集S随机划分为虚拟源域Sv和虚拟目标域Tv。初始化迭代次数t=1。
2.6)固定FDDM中类判别器dψ和3个域判别器dμ i(i∈{1,2,3})的权重参数。从虚拟源域Sv和虚拟目标域Tv中随机选取N个样本构成训练对,在实施例中N被设置为96,并去计算FDDM整体优化目标的损失函数LFDDM。根据计算得到的FDDM整体优化目标的损失函数LFDDM来分别计算FDDM中特征提取器ge、解码器和分类器C的梯度并反向传播更新各个部分的权重参数:
2.7)固定FDDM中特征提取器ge的权重参数。从虚拟源域Sv和虚拟目标域Tv中随机选取N个样本构成训练对,并去计算公式(4)的损失函数Lent和公式(5)的M个判别器dμ i(i∈{1,2,...,M})的损失函数Ldis i(i∈{1,2,...,M})。根据损失函数Lent计算FDDM中类判别器dψ的梯度并反向传播更新类判别器dψ的权重参数:
2.8)从虚拟源域Sv和虚拟目标域Tv中随机选取N个样本构成训练对,并去计算OCDM整体优化目标的损失函数LOCDM。根据计算得到的OCDM整体优化目标的损失函数LOCDM来分别计算OCDM中特征提取器ge和分类器h的梯度并反向传播更新各个部分的权重参数:
2.10)更新迭代次数e=e+1,并判断迭代条件是否满足e≤E,其中E代表训练的epoch数,在实施例中被设置为200。如满足,则转至步骤2.5)。否则,保存此时最优的域不变特征表征学习的人脸伪造检测网络的权重参数并退出迭代。
3)选用步骤1)中未知的目标域数据集作为测试集,对于待测的测试集的输入图像,应用步骤2)中构建的域不变特征表征学习的人脸伪造检测网络和最优的域不变特征表征学习的人脸伪造检测网络的权重参数给出预测结果,即输入图像是否为人脸伪造图像。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (3)
1.基于域不变特征的泛化人脸伪造检测方法,其特征在于,包括以下步骤:
1)构建训练图像集
获取大量的由不同的人脸伪造方法生成的人脸伪造图像和对应的正常人脸图像,将其都缩放到同一个尺寸并按照生成的人脸伪造方法的不同将这些人脸伪造图像和对应的正常人脸图像划分到不同的源域数据集中;将这些不同源域数据集归纳起来就得到了训练图像集;
2)用步骤1)中构建的训练图像集来训练构建的域不变特征表征学习的人脸伪造检测网络,并得到最优的域不变特征表征学习的人脸伪造检测网络的权重参数;其中所述人脸伪造检测网络包括特征分布差异最小化网络FDDM和最优分类器距离最小化网络OCDM;先将构建的训练图像集中的多个源域数据集模拟划分为虚拟源域和虚拟目标域,接着FDDM通过解耦的方式从划分的虚拟源域和虚拟目标域中学习到共享的域共享特征,而OCDM对学习到的域共享特征做进一步调整使得其转为域不变特征,通过不断迭代的随机划分虚拟源域和虚拟目标域,以及使用FDDM和OCDM,从而获取一个合适的域不变特征表征来进行泛化人脸伪造检测;
3)应用步骤2)中构建的域不变特征表征学习的人脸伪造检测网络和最优的域不变特征表征学习的人脸伪造检测网络的权重参数对待测的输入图像给出预测结果,即输入图像是否为人脸伪造图像。
2.根据权利要求1所述的基于域不变特征的泛化人脸伪造检测方法,其特征在于,在步骤1)中,对于获取到的大量的由不同的人脸伪造方法生成的人脸伪造图像和对应的正常人脸图像,将其都缩放到H×W大小的尺寸,其中H和W分别为图像的长度和宽度;并按照生成的人脸伪造方法的不同将这些人脸伪造图像和对应的正常人脸图像划分到不同的源域数据集中,对于得到的M个源域数据集S={Si|i=1,2,...M},其中Si代表第i个源域数据集,它包含Numi张图像。
3.根据权利要求1所述的基于域不变特征的泛化人脸伪造检测方法,其特征在于,所述步骤2)包括以下步骤:
2.1)将构建的训练图像集中的M个源域数据集S模拟划分为虚拟源域Sv和虚拟目标域Tv;
2.2)构建域不变特征表征学习的人脸伪造检测网络中的特征分布差异最小化网络FDDM,该特征分布差异最小化网络FDDM包括特征提取器ge、解码器特征选择gs、类判别器dψ、分类器C和M个域判别器dμ i,i∈{1,2,...,M};特征提取器ge和解码器均由多个卷积模块堆叠而成,不同的是,特征提取器ge的每个卷积模块后都跟着一个最大池化层,而解码器的每个卷积模块后都跟着一个上采样层;特征选择gs为一步特征划分的操作,不包含具体的网络结构;类判别器dψ和域判别器dμ i的网络结构相同,它们均由多个卷积模块堆叠而成;分类器C则是由多个卷积模块、一个平均池化层和一个全连接层组成;
对于从虚拟源域Sv和虚拟目标域Tv随机得到的第j张输入图像xj,特征Z_exj是通过特征提取器ge从输入图像xj提取到的特征,并将特征Z_exj输入到解码器来得到重构图像,以及通过最小化输入图像和重构图像之间的均方误差损失Lrec对其进行约束,使得特征提取器提取到输入图像的完整信息:
式中,N表示这次从虚拟源域和虚拟目标域中选取的样本数量;特征Z_exj通过特征选择gs划分为特征Z_irj和特征Z_dsj;特征Z_dsj作为分类器C的输入来预测输入图像的标签,并通过最小化输入图像的预测结果和输入图像的标签之间的交叉熵损失Lcls来约束特征Z_dsj代表类相关特征:
式中,yj代表第j张输入图像的标签;而特征Z_irj则作为类判别器dψ的输入也来预测输入图像的标签,并且通过最小化输入图像的预测结果和输入图像的标签之间的负交叉熵损失Lcdis来约束特征Z_irj代表类无关特征:
接着利用对抗训练的方法将特征Z_irj和特征Z_dsj均作为类判别器的输入来预测输入图像的标签,并最小化输入图像的预测结果和输入图像的标签的交叉熵损失Lent来训练类判别器dψ将特征Z_irj和特征Z_dsj两者相互解耦开来:
式中,1代表指示函数,k代表分类类别,即该预测任务为二分类任务,域判别器dμ i不考虑虚拟源域和虚拟目标域而直接去最小化来自源域数据集每个域的特征Z_dsj的分布差异,使得特征Z_dsj为M个源域数据集共享的域共享特征;对于第i个域判别器dμ i,用于判别特征Z_dsj是否属于第i个源域数据集,其对应的损失函数Ldis i表示为:
式中,Z_dsji代表来自第i个域的第j张输入图像的特征,相应的,Z_dsj r代表来自第r个域的第j张输入图像的特征,且r≠i;结合M个域判别器的损失函数,就使得来自第i个域的特征Z_dsj i与剩下的M-1个源域数据集的特征分布差异最小;M个判别器的损失函数Ldis表示为:
FDDM整体优化目标的损失函数LFDDM为:
LFDDM=Lrec+Lcdis+Lcls+Ldis (7)
2.3)构建域不变特征表征学习的人脸伪造检测网络中的最优分类器距离最小化网络OCDM,该最优分类器距离最小化网络OCDM由特征提取器ge、特征选择器gs和分类器h组成,其中特征提取器ge、特征选择器gs都来自于特征分布差异最小化网络FDDM,分类器h由多个卷积模块、一个平均池化层和一个全连接层组成;OCDM网络通过两阶段更新的方法调整最优的虚拟源域分类器和最优的虚拟目标域分类器之间的距离来调整学习到的域共享特征,从而得到域不变特征;
式中,代表交叉熵损失函数,Φ(ge,h)代表OCDM中特征提取器ge和分类器h的权重参数,而为输入图像相对应的标签;OCDM相对于损失函数LMeta-train的梯度为通过该梯度将OCDM中特征提取器ge和分类器h的权重参数更新为其中α代表这一步更新的步长;
OCDM整体优化目标的损失函数LOCDM为:
式中,β代表比例参数来平衡OCDM两个阶段的损失函数的比例;
2.4)初始化域不变特征表征学习的人脸伪造检测网络中特征分布差异最小化网络FDDM和最优分类器距离最小化网络OCDM中各个部分的权重参数,包括特征提取器ge的权重参数解码器的权重参数类判别器dψ和M个域判别器dμ i的权重参数和分类器C和分类器h的权重参数WC和Wh;初始化迭代次数e=1;
2.5)将构建的训练图像集中的M个源域数据集S随机划分为虚拟源域Sv和虚拟目标域Tv;初始化迭代次数t=1;
2.6)固定FDDM中类判别器dψ和M个域判别器dμ i的权重参数;从虚拟源域Sv和虚拟目标域Tv中随机选取N个样本构成训练对,并去计算FDDM整体优化目标的损失函数LFDDM;根据计算得到的FDDM整体优化目标的损失函数LFDDM来分别计算FDDM中特征提取器ge、解码器和分类器C的梯度并反向传播更新各个部分的权重参数:
2.7)固定FDDM中特征提取器ge的权重参数;从虚拟源域Sv和虚拟目标域Tv中随机选取N个样本构成训练对,并去计算公式(4)的损失函数Lent和公式(5)的M个域判别器dμ i的损失函数Ldis i;根据损失函数Lent计算FDDM中类判别器dψ的梯度并反向传播更新类判别器dψ的权重参数:
2.8)从虚拟源域Sv和虚拟目标域Tv中随机选取N个样本构成训练对,并去计算OCDM整体优化目标的损失函数LOCDM;根据计算得到的OCDM整体优化目标的损失函数LOCDM来分别计算OCDM中特征提取器ge和分类器h的梯度并反向传播更新各个部分的权重参数:
2.10)更新迭代次数e=e+1,并判断迭代条件是否满足e≤E,其中E代表训练的epoch数;如满足,则转至步骤2.5);否则,保存此时最优的域不变特征表征学习的人脸伪造检测网络的权重参数并退出迭代。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210276512.5A CN114692741A (zh) | 2022-03-21 | 2022-03-21 | 基于域不变特征的泛化人脸伪造检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210276512.5A CN114692741A (zh) | 2022-03-21 | 2022-03-21 | 基于域不变特征的泛化人脸伪造检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114692741A true CN114692741A (zh) | 2022-07-01 |
Family
ID=82139438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210276512.5A Pending CN114692741A (zh) | 2022-03-21 | 2022-03-21 | 基于域不变特征的泛化人脸伪造检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114692741A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116486464A (zh) * | 2023-06-20 | 2023-07-25 | 齐鲁工业大学(山东省科学院) | 一种基于注意力机制的卷积对抗网络的人脸伪造检测方法 |
CN116664880A (zh) * | 2023-07-31 | 2023-08-29 | 南昌大学 | 深度伪造反取证图像的生成方法 |
CN116883681A (zh) * | 2023-08-09 | 2023-10-13 | 北京航空航天大学 | 一种基于对抗生成网络的域泛化目标检测方法 |
CN117496601A (zh) * | 2023-12-28 | 2024-02-02 | 华东交通大学 | 基于细分类和对抗域泛化的人脸活体检测系统及方法 |
-
2022
- 2022-03-21 CN CN202210276512.5A patent/CN114692741A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116486464A (zh) * | 2023-06-20 | 2023-07-25 | 齐鲁工业大学(山东省科学院) | 一种基于注意力机制的卷积对抗网络的人脸伪造检测方法 |
CN116486464B (zh) * | 2023-06-20 | 2023-09-01 | 齐鲁工业大学(山东省科学院) | 一种基于注意力机制的卷积对抗网络的人脸伪造检测方法 |
CN116664880A (zh) * | 2023-07-31 | 2023-08-29 | 南昌大学 | 深度伪造反取证图像的生成方法 |
CN116664880B (zh) * | 2023-07-31 | 2023-11-28 | 南昌大学 | 深度伪造反取证图像的生成方法 |
CN116883681A (zh) * | 2023-08-09 | 2023-10-13 | 北京航空航天大学 | 一种基于对抗生成网络的域泛化目标检测方法 |
CN116883681B (zh) * | 2023-08-09 | 2024-01-30 | 北京航空航天大学 | 一种基于对抗生成网络的域泛化目标检测方法 |
CN117496601A (zh) * | 2023-12-28 | 2024-02-02 | 华东交通大学 | 基于细分类和对抗域泛化的人脸活体检测系统及方法 |
CN117496601B (zh) * | 2023-12-28 | 2024-04-05 | 华东交通大学 | 基于细分类和对抗域泛化的人脸活体检测系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
CN114692741A (zh) | 基于域不变特征的泛化人脸伪造检测方法 | |
CN110321926B (zh) | 一种基于深度残差修正网络的迁移方法及系统 | |
CN108647736B (zh) | 一种基于感知损失和匹配注意力机制的图像分类方法 | |
CN112036447B (zh) | 零样本目标检测系统及可学习语义和固定语义融合方法 | |
CN113326731A (zh) | 一种基于动量网络指导的跨域行人重识别算法 | |
CN111414461A (zh) | 一种融合知识库与用户建模的智能问答方法及系统 | |
CN110598018B (zh) | 一种基于协同注意力的草图图像检索方法 | |
CN110443257B (zh) | 一种基于主动学习的显著性检测方法 | |
CN113408605A (zh) | 基于小样本学习的高光谱图像半监督分类方法 | |
CN115222998B (zh) | 一种图像分类方法 | |
CN1723468A (zh) | 采用照明不变神经网络的计算机视觉系统和方法 | |
CN110598759A (zh) | 一种基于多模态融合的生成对抗网络的零样本分类方法 | |
CN115731441A (zh) | 基于数据跨模态迁移学习的目标检测和姿态估计方法 | |
CN112488229A (zh) | 一种基于特征分离和对齐的域自适应无监督目标检测方法 | |
CN111461244A (zh) | 一种基于SimpleShot的One-Shot学习新方法 | |
CN113222998A (zh) | 基于自监督低秩网络的半监督图像语义分割方法及装置 | |
CN107423697B (zh) | 基于非线性融合深度3d卷积描述子的行为识别方法 | |
CN116452862A (zh) | 基于领域泛化学习的图像分类方法 | |
Xu et al. | Graphical modeling for multi-source domain adaptation | |
CN114780767A (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及系统 | |
CN111259938A (zh) | 基于流形学习和梯度提升模型的图片偏多标签分类方法 | |
CN113052017B (zh) | 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法 | |
CN112749734A (zh) | 一种基于可迁移注意力机制的领域自适应的目标检测方法 | |
CN116343294A (zh) | 一种适用于领域泛化的行人重识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |