CN114267063A - 一种无监督的人脸伪造评估方法 - Google Patents

一种无监督的人脸伪造评估方法 Download PDF

Info

Publication number
CN114267063A
CN114267063A CN202111578341.3A CN202111578341A CN114267063A CN 114267063 A CN114267063 A CN 114267063A CN 202111578341 A CN202111578341 A CN 202111578341A CN 114267063 A CN114267063 A CN 114267063A
Authority
CN
China
Prior art keywords
face image
face
image
grained
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111578341.3A
Other languages
English (en)
Inventor
王总辉
包晗
纪守领
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111578341.3A priority Critical patent/CN114267063A/zh
Publication of CN114267063A publication Critical patent/CN114267063A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种无监督的人脸伪造评估方法，包括：以人脸图像的粗粒度特征作为权重参数，并结合通过提取单个人物的不同人脸图像的面部动作特征、图像颜色特征以及细粒度特征，来构建人物的重建人脸图像，在此基础上，通过结合重建人脸图像和原人脸图像的重建损失、基于重建人脸图像和原人脸图像的增强特征的感知损失、基于原人脸图像和相关人脸图像的细粒度特征的DSVDD损失，基于原人脸图像的面部动作特征和图像颜色特征的余弦相似度损失，联合训练粗粒度特征提取模块和细粒度特征生成模块以及重建模块的重建模型，提高了模型的鲁棒性，即提升了重建模型重建人脸图像的准确性，基于该准确的重建人脸图像与原人脸图像的差异实现了人脸伪造评估。

Description

一种无监督的人脸伪造评估方法
技术领域
本发明属于人脸检测领域，具体涉及一种无监督的人脸伪造评估方法。
背景技术
人脸伪造检测归根结底是分类问题，其目的是将真实图像和伪造图像区分开来，所以目前可以使用图像分类的有监督模型进行分类。通用的图像分类模型包括VGG，XceptionNet，EfficientNet等，这些模型根据人脸伪造样本库的数据进行训练，在库内测试准确率可观。该些有监督模型具有训练样本难获取，和训练样本的生成方式固定导致有监督模型对非训练样本生成的样本检测不准确的局限性。
针对上述有监督的检测模型的局限性，采用无监督的方式进行模型训练。无监督的检测模型和有监督的检测模型最大的区别在于不使用标签对输出结果进行约束，而是通过网络的学习能力将所给的数据进行聚类，其中聚类的正确率依赖网络自身的特征提取能力以及样本的区分度。其中单分类模型是无监督算法中较为常见的异常检测方法，即在只输入正样本的情况下将其聚为一类，若有样本不在该类的最小边界内，则被认为是异常样本。
在人脸生成检测领域，无监督模型可以作为异常检测模型来使用。检测者在检测人脸时更注重区分人脸的真假，并且正样本的获取方式比较容易。我们可以选择只训练正样本，对正样本进行聚类训练，这样当异常样本(假样本)检测时其特征表达不在正常样本的表达范围内，就能够对样本的真实度进行区分。该种方法并不针对具体的生成方法，只要该种生成方法与真实样本的差异被提取出来就能够对该种方法进行检测。这解决了有监督模型的分类限制。
然而现有的无监督模型不能直接运用于人脸生成检测和分类中。因为，目前无监督的检测模型一般应用于有较为明显差异的图像分类中，例如手写识别等。这些分类的特征比较容易提取，其特征表现较为明显。这使得在使用单分类网络进行分类时，重建类方法其重建的隐向量表达不一致，因为重建方法使用类似PCA的方法对输入数据进行非线性降维得到代表向量，由于不同类别的图像内容差异较大，导致其降维后的特征向量也有较为明显的差异。
对于生成人脸和自然人脸来说，其主体内容相似，其基本结构均为面部和五官以及面部表情。即使是伪造人脸，由于目前神经网络的发展，目前生成方法在人眼来看往往可以以假乱真，这说明在基础特征上，伪造生成人脸和自然图像人脸相差不大。其实，生成人脸的差异大多集中在高阶特征上，即纹理的不一致，面部的模糊，纹理的失配等，这些均不影响人脸图像的本身内容。另外由于生成人脸主要以小区域的细微差异为主，并且出现位置不定，引入注意力机制等增强网络学习的方法也并不适用。若使用重建类方法进行训练，由于网络对图像的内容更为敏感，导致其在降维时会忽略细微的差异，这使得隐向量中并不包含真正的差异特征，导致分类失败。直接学习的方法与其同理，在图像分类中，人脸本身就被归为了一类中，在缺乏先验知识的情况下，网络很难抓住细微特征进行分析。这限制了单分类方法在人脸生成检测领域的应用。
发明内容
鉴于上述，本发明的目的是提供一种无监督的人脸伪造评估方法，通过无监督的方式训练的生成模型来重建人脸图像，基于原人脸图像和重建人脸图像的差异进行伪造评估，提升人脸评估的准确性。
为实现上述发明目的，本发明提供以下技术方案：
一种无监督的人脸伪造评估方法，包括以下步骤：
获取需要保护人物群的数据集，以每个人物的一个人脸图像作为原人脸图像，同一人物的其他人脸图像为相关人脸图像，以原人脸图像和相关人脸图像的图像对作为样本；
构建包括粗粒度特征提取模块、细粒度特征生成模块以及重建模块的重建模型，其中，粗粒度特征提取模块包括两个分支，分别用于提取人脸图像的面部动作特征和图像颜色特征；细粒度特征生成模块用于生成指定人物的细粒度特征；重建模块用于结合面部动作特征、图像颜色特征、细粒度特征生成重建人脸图像；
构建包括生成损失和单分类损失的损失函数，其中，生成损失包括重建人脸图像和原人脸图像的重建损失、基于重建人脸图像和原人脸图像的增强特征的感知损失，单分类损失包括基于原人脸图像和相关人脸图像的细粒度特征的DSVDD损失，基于原人脸图像的面部动作特征和图像颜色特征的余弦相似度损失；
利用重建模型对待测人脸图像进行重建得到重建人脸图像，比较重建人脸图像和待测人脸图像差异实现人脸伪造评估。
在一个实施例中，所述粗粒度特征提取模块每个分支采用MnasNet，一个分支的MnasNet提取人脸图像的面部动作特征，另一分支的MnasNet提取图像颜色特征。
在一个实施例中，所述细粒度特征生成模块采用多层感知机结构，从给定的人物识别码中生成细粒度特征。
在一个实施例中，所述重建模块包括两个分支的两个特征解缠模块和重建解码器，其中，两个分支的两个特征解耦模块分别对图像颜色特征和面部动作特征进行特征解缠，特征重建编码器利用特征解缠后的面部粗粒度特征先与面部细粒度特征融合，得到的第一融合特征度特征再与特征解缠处理的图像颜色特征融合，得到的第二融合特征经过映射以生成重建人脸图像。
在一个实施例中，所述重建模块和细粒度特征生成模块采用转置卷积上采样层实现，每次特征融合采用AdaIN结构进行风格仿射变换。
在一个实施例中，所述重建损失采用基于重建人脸图像和原人脸图像构建的MSE损失；
所述感知损失包括原人脸图像的风格特征与重建人脸图像的风格特征的感知损失，原人脸图像的内容特征与重建人脸图像的内容特征的感知损失；
所述DSVDD损失
Figure BDA0003426125320000041
为：
Figure BDA0003426125320000042
对应的聚类形式的DSVDD目标函数为：
Figure BDA0003426125320000043
其中，(xi)j和(xi)k分别表示第i个人物的原人脸图像和相关人脸图像，下标j和k作为人脸图像的索引，用于区分原人脸图像和相关人脸图像，ΦF(·)表示经过细粒度特征生成模块生成的细粒度特征，
Figure BDA0003426125320000044
表示L2距离，||·||2表示欧式距离，n为第i个人物的人脸图像总个数，
Figure BDA0003426125320000045
和
Figure BDA0003426125320000046
分别表示(xi)j和(xi)k对应的细粒度特征，λ表示调节参数，Wl表示细粒度特征生成模块中第l层的权重参数w形成的矩阵，L表示总层数，
Figure BDA0003426125320000051
表示网络权重的L2范数，在公式中使该项最小，即寻找满足样本的最小聚类边界；
所述余弦相似度损失
Figure BDA0003426125320000052
为：
Figure BDA0003426125320000053
对应的目标函数为：
Figure BDA0003426125320000054
其中，Φm((xi)j)和ΦS((xi)j)分别表示(xi)j的面部动作特征和图像颜色特征。
在一个实施例中，所述利用重建模型对待测人脸图像进行重建得到重建人脸图像，包括：
利用粗粒度特征提取模块提取待测人脸图像的面部动作特征和图像颜色特征，利用细粒度特征生成模块生成该待测人物的理想化细粒度特征，利用重建模块基于面部动作特征、图像颜色特征和理想化的细粒度特征进行重建，得到待测人脸图像的重建人脸图像；
所述理想化的细粒度特征为人物数据集中该人物的所有人脸图像经过细粒度特征生成模块生成的细粒度特征的平均值。
在一个实施例中，所述重建人脸图像和待测人脸图像差异实现人脸伪造评估，包括：
当重建人脸图像和待测人脸图像的差异大于预设阈值时，认为待测人脸图像为伪造人脸图像。
与现有技术相比，本发明具有的有益效果至少包括：
结合通过提取单个人物的不同人脸图像的面部动作特征、图像颜色特征以及细粒度特征，来构建人物的重建人脸图像，在此基础上，通过结合重建人脸图像和原人脸图像的重建损失、基于重建人脸图像和原人脸图像的感知损失、基于原人脸图像和相关人脸图像的细粒度特征的DSVDD损失，基于原人脸图像的面部动作特征和图像颜色特征的余弦相似度损失，联合训练粗粒度特征提取模块，细粒度特征生成模块和重建模块，涵盖了人脸图像的各个要素，提升了重建模型重建人脸图像的准确性，基于该准确的重建人脸图像与原人脸图像的差异实现了人脸伪造评估。该过程采用无监督学习方式，且结合聚类的单分类方式，使得构建的重建模型适用于任何生成方式生成伪造人脸的评估，应用范围广，具有普适性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的无监督的人脸伪造评估方法的流程图；
图2是实施例提供的重建系统的结构示意图；
图3是实施例提供的重建解码器的结构示意图；
图4是实施例提供的图3中重建解码器的上采样层的结构示意图；
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了实现对各种生成方式生成的伪造人脸图像的检测，实施例提供了一种无监督的人脸伪造评估方法。图1是实施例提供的无监督的人脸伪造评估方法的流程图。如图1所示，实施例提供的无监督的人脸伪造评估方法，包括以下步骤：
步骤1，获取人物数据集，并构建训练样本。
采用的人物数据集包含每个人物多种时间、多种状态下的人脸图像。实施例中，为构建用于人脸重建的重建模型，提取人物的任意一个人脸图像作为原人脸图像，该人物的其他人脸图像作为相关人脸图像，并将原人脸图像和相关人脸图像的图像对作为1个训练样本。
步骤2，构建包括粗粒度特征提取模块、细粒度特征生成模块和重建模块的重建模型。
图2是实施例提供的重建模型的结构示意图。如图2所示，粗粒度特征提取模块包括两个分支，分别用于提取人脸图像的面部动作特征(包括人物表情和头部朝向等参数)和图像颜色特征(包括亮度和色调等参数)；细粒度特征生成模块用于生成指定人物的细粒度特征；重建模块用于结合面部动作特征、图像颜色特征、细粒度特征生成重建人脸图像；
如图2所示，粗粒度特征提取模块每个分支网络采用MnasNet，分别表示为Φm和ΦS。细粒度特征生成模块将给定人物的身份编码转化为该人物的细粒度特征，表示为ΦF。由于人脸图像的细粒度特征在人物的不同人脸图像中表现具有一致性特点，为了保证提取的特征符合上述特征，要求训练网络ΦF的输入在同一人物的样本内进行比较，要求分支网络Φm和ΦS的输入为原人脸图像并且输入相同，输出为原人脸图像xi的面部动作特征
Figure BDA0003426125320000071
和图像颜色特征
Figure BDA0003426125320000072
该图像颜色特征
Figure BDA0003426125320000073
包括图像的亮度、色调等。同时要求分支网络ΦF的输出为同一训练样本的相关人脸图像xi的细粒度特征
Figure BDA0003426125320000074
如图2所示，重建模块包括两个分支的两个特征解缠模块和重建解码器。两个分支的两个特征耦合模块均采用全连接层(Fully Connected Layers，FCL)，FCL类似Style-GAN中的映射网络将得到的
Figure BDA0003426125320000081
和
Figure BDA0003426125320000082
进行特征解缠。
重建解码器的输入包括
Figure BDA0003426125320000083
和
Figure BDA0003426125320000084
如图3所示，重建解码器采用多个上采样层，其中第一上采样层将面部动作特征
Figure BDA0003426125320000085
进行维度变化，得到的第一图像特征，该第一图像特征输入至第二上采样层，第二个上采样层将第一层的图像特征与FCL特征解缠处理的细粒度特征
Figure BDA0003426125320000086
对应维度特征融合得到第二融合特征，得到第二融合特征可以经过多个第二上采样层的特征融合得到，每次特征融合的处理对象分别为上一上采样层的输出和每个FCL特征解缠处理的细粒度特征融合，图2示例性给出得到第二融合特征经过4个第二上采样层处理。得到第二融合特征输入至第三上采样层，第三上采样层将作为权重参数的粗粒度特征与特征解缠处理的图像颜色特征
Figure BDA0003426125320000087
融合，得到第三融合特征，该第三融合特征经过卷积层映射以生成重建人脸图像。
图4是实施例提供的图3中重建解码器的上采样层的结构示意图。如图4所示，第一、第二、第三上采样层均采用反卷积层(Conv Transpose)、卷积层(Conv)和AdaIN相结合的方式，其中，反卷积层用于提取图像超分辨率，将细粒度特征看作图像风格特征，利用AdaIN的仿射变换使细粒度特征能够顾与传入特征进行结合。
与Style-GAN中对于网络层尺寸对人脸生成内容影响的描述不同，细粒度特征
Figure BDA0003426125320000088
不仅仅存在于其定义的细粒度特征中，例如眼睛的大小及在人脸中的位置，这些对于特定人物而言也是唯一的，所以在所有的上采样层中都使用了AdaIN结构，如图4所示。在建模中
Figure BDA0003426125320000089
应该是一致的，是一个常量，由于人物数据集中人脸的光照等存在差异，这些虽然也是风格的一部分但不应被算在
Figure BDA00034261253200000810
中。根据Style-GAN的理论，颜色等细微特征属于细粒度特征，故设计最后一层的AdaIN结构的输入为图像风格特征
Figure BDA00034261253200000811
该重建模块的设计既对应了人脸建模的函数，又在实际中考虑了重建图像中的必备过程。重建训练任务包括两个，一个是需要将原人脸图像进行重建，另一个需要保证经过FCL的
Figure BDA0003426125320000091
尽可能收敛到一个常值向量，这既使用了单分类的重建类模型，又使用了One-class DSVDD模型。这种设计使得将粗粒度特征和细粒度特征分离，并且仅对细粒度特征使用DSVDD模型。
步骤3，构建重建模型的损失函数并训练重建模型。
结合步骤2构建的重建模型，构建的损失函数包括两部分，分别为生成损失和单分类损失。其中，生成损失包括重建人脸图像和原人脸图像的重建损失、基于重建人脸图像和原人脸图像的增强特征的感知损失，单分类损失包括基于原人脸图像和相关人脸图像的细粒度特征的DSVDD损失，基于原人脸图像的面部动作特征和图像颜色特征的余弦相似度损失。
其中，重建损失
Figure BDA0003426125320000092
采用基于重建人脸图像和原人脸图像构建的MSE(mean-squareerror,均方误差)损失。
感知损失
Figure BDA0003426125320000093
包括原人脸图像的风格特征与重建人脸图像的风格特征的感知损失，原人脸图像的内容特征与重建人脸图像的内容特征的感知损失。重建损失
Figure BDA0003426125320000094
和感知损失
Figure BDA0003426125320000095
保证了重建人脸图像和原人脸图像能够顾尽可能减少差异。
针对单分类损失，准备使用DSVDD的单分类目标函数作为损失函数，然而一般的单分类中，超球面的中心一般是一个常量。这个常量的确定方法一般是将所有样本经过仅被初始化后的网络，计算经过网络得到的均值，这会造成一个问题，这个中心值所代表的理想向量的描述是未知的，很可能取到了正常样本和异常样本的共同特征或无意义的特征，这会导致在后面的异常检测中分类失败。一些细粒度的正常样本的特定特征需要有监督模型才能收敛。所以在DSVDD中改进了收敛于常量c的损失函数。实施例借鉴了聚类的思想，但与其他聚类方法不同，所有训练样本应归为同一类别。希望这个理想特征能够是一个语义特征，并且每个训练样本经过网络得到的特征向量类内间距最小，在训练聚类DSVDD的过程中，由于重建模型需要将此潜矢量作为样式特征的输入，因此在聚类过程中它也具有样式的语义特征。这样既保证了特征能够聚集于一个超球面内，又保证了该球面内的向量具有一定的意义。因此，设计的聚类形式的DSVDD目标函数为公式：
Figure BDA0003426125320000101
其中，
Figure BDA0003426125320000102
表示L2距离，||·||2表示欧式距离，n为第i个人物的人脸图像总个数，
Figure BDA0003426125320000103
和
Figure BDA0003426125320000104
分别表示(xi)j和(xi)k对应的细粒度特征，加和的第二项为网络层l∈L的权重矩阵W的正则化项，λ表示正则衰减项参数，Wl表示细粒度特征生成模块中第l层的权重参数w形成的矩阵，L表示总层数，
Figure BDA0003426125320000105
表示L2范数下权重最小，即寻找最小聚类边界；。
DSVDD损失
Figure BDA0003426125320000106
为：
Figure BDA0003426125320000107
其中，(xi)j和(xi)k分别表示第i个人物的原人脸图像和相关人脸图像，下标j和k作为人脸图像的索引，用于区分原人脸图像和相关人脸图像，ΦF(·)表示经过细粒度特征生成模块生成的细粒度特征。
实施例中，要求面部动作特征和图像颜色特征彼此独立。但是，两个分支网络的输入均为同一图像；并且，虽然两个特征提取网络彼此独立，但其网络结构是一致的。为了避免在两个潜在向量中混淆共有特征，引入余弦相似度损失，该余弦相似度损失能够用来计算面部动作特征和图像颜色特征的相似程度。故目标函数和对应的余弦相似度损失函数
Figure BDA0003426125320000111
为：
Figure BDA0003426125320000112
Figure BDA0003426125320000113
其中，Φm((xi)j)和ΦS((xi)j)分别表示(xi)j的面部动作特征和图像颜色特征。
余弦相似度损失函数的另一个优势是建立了人脸面部动作和图像色彩之间的关系。这使得如果在伪造时由于伪影等导致图像出现了颜色失配情况，该损失函数能够影响面部动作特征和图像颜色之间的关系导致的面部重建扰动更大，从而导致重建人脸图像有明显的面部违和现象。
综上，重建模型的损失函数表示为：
Figure BDA0003426125320000114
其中，α,β,γ,ρ是损失函数中的超参数。
在训练重建模型时，利用步骤1构建的训练样本，并采用构建的损失函数来优化重建模型参数。
步骤4，利用重建模型对待测人脸图像进行重建得到重建人脸图像，比较重建人脸图像和待测人脸图像差异实现人脸伪造评估。
实施例中，通过网络传递所有训练样本，以获得细粒度特征集合，并将该细粒度特征集合的平均值计算为理想化的细粒度特征。应用时，对于每个待测人脸图像，利用细粒度特征生成模块生成待测人脸图像的面部动作特征，利用重建模块基于面部动作特征和理想化的细粒度特征进行重建，得到待测人脸图像的重建人脸图像。
然后计算重建人脸图像和待测人脸图像的差异，实施例以的结构相似性(SSIM)值作为重建人脸图像和待测人脸图像的差异，并依据该差异判断是否为伪造人脸图像，具体地，当差异大于预设阈值时，认为待测人脸图像为伪造人脸图像。
将实施例提供的无监督的人脸伪造评估方法(简称OC-pDet)在DeepFakeDetection和Celeb-DF两个公开数据集上对目前较新的单分类方法(One-classDSVDD，Soft-boundary DSVDD，OC-FakeDect-2)进行比较，比较结果如表1所示，从表1可以看到检测效果相比现有方法有很大提升。
表1
Figure BDA0003426125320000121
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种无监督的人脸伪造评估方法，其特征在于，包括以下步骤：
获取需要保护人物群的数据集，以每个人物的一个人脸图像作为原人脸图像，同一人物的其他人脸图像为相关人脸图像，以原人脸图像和相关人脸图像的图像对作为样本；
构建包括粗粒度特征提取模块、细粒度特征生成模块以及重建模块的重建模型，其中，粗粒度特征提取模块包括两个分支，分别用于提取人脸图像的面部动作特征和图像颜色特征，细粒度特征生成模块用于生成指定人物的细粒度特征，重建模块用于结合面部动作特征、图像颜色特征、细粒度特征生成重建人脸图像；
构建包括生成损失和单分类损失的损失函数，其中，生成损失包括重建人脸图像和原人脸图像的重建损失、基于重建人脸图像和原人脸图像的增强特征的感知损失，单分类损失包括基于原人脸图像和相关人脸图像的细粒度特征的DSVDD损失，基于原人脸图像的面部动作特征和图像颜色特征的余弦相似度损失；
利用重建模型对待测人脸图像进行重建得到重建人脸图像，比较重建人脸图像和待测人脸图像差异实现人脸伪造评估。
2.根据权利要求1所述的无监督的人脸伪造评估方法，其特征在于，所述粗粒度特征提取模块每个分支采用MnasNet，一个分支的MnasNet提取人脸图像的面部动作特征，另一分支的MnasNet提取图像颜色特征。
3.根据权利要求1所述的无监督的人脸伪造评估方法，其特征在于，所述细粒度特征生成模块采用多层感知机结构，从给定的人物识别码中生成细粒度特征。
4.根据权利要求1所述的无监督的人脸伪造评估方法，其特征在于，所述重建模块包括两个分支的两个特征解缠模块和重建解码器，其中，两个分支的两个特征解耦模块分别对图像颜色特征和面部动作特征进行特征解缠，特征重建编码器利用特征解缠后的面部粗粒度特征先与面部细粒度特征融合，得到的第一融合特征度特征再与特征解缠处理的图像颜色特征融合，得到的第二融合特征经过映射以生成重建人脸图像。
5.根据权利要求3所述的无监督的人脸伪造评估方法，其特征在于，所述重建模块和细粒度特征生成模块采用转置卷积上采样层实现，每次特征融合采用AdaIN结构进行风格仿射变换。
6.根据权利要求3所述的无监督的人脸伪造评估方法，其特征在于，所述特征解缠模块采用全连接层。
7.根据权利要求1所述的无监督的人脸伪造评估方法，其特征在于，所述重建损失采用基于重建人脸图像和原人脸图像构建的MSE损失；
所述感知损失包括原人脸图像的风格特征与重建人脸图像的风格特征的感知损失，原人脸图像的内容特征与重建人脸图像的内容特征的感知损失；
所述DSVDD损失
Figure FDA0003426125310000021
为：
Figure FDA0003426125310000022
对应的聚类形式的DSVDD目标函数为：
Figure FDA0003426125310000023
其中，(xi)j和(xi)k分别表示第i个人物的原人脸图像和相关人脸图像，下标j和k作为人脸图像的索引，用于区分原人脸图像和相关人脸图像，ΦF(·)表示经过细粒度特征生成模块生成的细粒度特征，
Figure FDA0003426125310000024
表示L2距离，||·||2表示欧式距离，n为第i个人物的人脸图像总个数，
Figure FDA0003426125310000025
和
Figure FDA0003426125310000026
分别表示(xi)j和(xi)k对应的细粒度特征，λ表示调节参数，Wl表示细粒度特征生成模块中第l层的权重参数w形成的矩阵，L表示总层数，
Figure FDA0003426125310000031
表示权重参数的L2范数；
所述余弦相似度损失
Figure FDA0003426125310000032
为：
Figure FDA0003426125310000033
对应的目标函数为：
Figure FDA0003426125310000034
其中，Φm((xi)j)和ΦS((xi)j)分别表示(xi)j的面部动作特征和图像颜色特征。
8.根据权利要求1所述的无监督的人脸伪造评估方法，其特征在于，所述利用重建模型对待测人脸图像进行重建得到重建人脸图像，包括：
利用粗粒度特征提取模块提取待测人脸图像的面部动作特征和图像颜色特征，利用细粒度特征生成模块生成该待测人物的理想化细粒度特征，利用重建模块基于面部动作特征、图像颜色特征和理想化的细粒度特征进行重建，得到待测人脸图像的重建人脸图像；
所述理想化的细粒度特征为人物数据集中该人物的所有人脸图像经过细粒度特征生成模块生成的细粒度特征的平均值。
9.根据权利要求1所述的无监督的人脸伪造评估方法，其特征在于，所述重建人脸图像和待测人脸图像差异实现人脸伪造评估，包括：
当重建人脸图像和待测人脸图像的差异大于预设阈值时，认为待测人脸图像为伪造人脸图像。
CN202111578341.3A 2021-12-22 2021-12-22 一种无监督的人脸伪造评估方法 Pending CN114267063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111578341.3A CN114267063A (zh) 2021-12-22 2021-12-22 一种无监督的人脸伪造评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111578341.3A CN114267063A (zh) 2021-12-22 2021-12-22 一种无监督的人脸伪造评估方法

Publications (1)

Publication Number Publication Date
CN114267063A true CN114267063A (zh) 2022-04-01

Family

ID=80828653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111578341.3A Pending CN114267063A (zh) 2021-12-22 2021-12-22 一种无监督的人脸伪造评估方法

Country Status (1)

Country Link
CN (1) CN114267063A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206375A (zh) * 2023-04-28 2023-06-02 南京信息工程大学 基于双层孪生网络和可持续学习的人脸伪造检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206375A (zh) * 2023-04-28 2023-06-02 南京信息工程大学 基于双层孪生网络和可持续学习的人脸伪造检测方法

Similar Documents

Publication Publication Date Title
Ruff et al. A unifying review of deep and shallow anomaly detection
Distante et al. Handbook of image processing and computer vision
CN109765333A (zh) 一种基于GoogleNet模型的变压器故障诊断方法
CN110213244A (zh) 一种基于时空特征融合的网络入侵检测方法
CN109829916A (zh) 一种基于cnn的变压器故障诊断方法
CN116958825B (zh) 一种移动式遥感图像采集方法及公路维护监测方法
CN112131975B (zh) 基于Retinex分解和生成对抗网络的人脸光照处理方法
Arun et al. Capsulenet-based spatial–spectral classifier for hyperspectral images
CN113139591A (zh) 一种基于增强多模态对齐的广义零样本图像分类方法
CN113569243A (zh) 基于自监督变分lstm的深层半监督学习网络入侵检测方法
JP2011248879A (ja) テスト画像内のオブジェクトを分類するための方法
CN113537110B (zh) 一种融合帧内帧间差异的虚假视频检测方法
CN114492768A (zh) 一种基于小样本学习的孪生胶囊网络入侵检测方法
CN112766217A (zh) 基于解纠缠和特征级差异学习的跨模态行人重识别方法
CN110674774A (zh) 一种改进的深度学习人脸面部表情识别方法及系统
CN114267063A (zh) 一种无监督的人脸伪造评估方法
CN115579141A (zh) 一种可解释疾病风险预测模型构建方法以及疾病风险预测装置
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN114548281A (zh) 一种基于无监督自适应权重的心脏数据异常检测方法
CN114119356A (zh) 基于CycleGAN的热红外图像转类可见光彩色图像方法
Li et al. OTB-AAE: Semi-supervised anomaly detection on industrial images based on Adversarial Autoencoder with Output-Turn-Back structure
Pandey et al. A metaheuristic autoencoder deep learning model for intrusion detector system
Mukherjee et al. FuseKin: Weighted image fusion based kinship verification under unconstrained age group
JP2024508852A (ja) 医療画像における病変分析方法
CN114169433A (zh) 一种基于联邦学习+图学习+cnn的工业故障预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination