CN112784781A - 基于差异感知元学习的伪造人脸检测方法和装置 - Google Patents

基于差异感知元学习的伪造人脸检测方法和装置 Download PDF

Info

Publication number
CN112784781A
CN112784781A CN202110118732.0A CN202110118732A CN112784781A CN 112784781 A CN112784781 A CN 112784781A CN 202110118732 A CN202110118732 A CN 202110118732A CN 112784781 A CN112784781 A CN 112784781A
Authority
CN
China
Prior art keywords
meta
difference
face
loss
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110118732.0A
Other languages
English (en)
Other versions
CN112784781B (zh
Inventor
周杰
鲁继文
于炳耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110118732.0A priority Critical patent/CN112784781B/zh
Publication of CN112784781A publication Critical patent/CN112784781A/zh
Application granted granted Critical
Publication of CN112784781B publication Critical patent/CN112784781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种基于差异感知元学习的伪造人脸检测方法和装置。其中方法包括：基于包含多个攻击类型的数据集构建零样本任务；针对零样本任务，利用零样本任务之中支持集对特征提取器、差异图回归网络和元分类器进行元训练，得到支持集上的差异损失和分类损失；利用经过元训练后的特征提取器、差异图回归网络和元分类器，在零样本任务之中的测试集上进行元测试，得到测试集上的差异损失和分类损失；根据支持集上的差异损失和分类损失、测试集上的差异损失和分类损失，分别对特征提取器、差异图回归网络和元分类器进行模型参数的优化；利用最终的元分类器对待检测人脸图像进行预测，并根据预测结果判断待检测人脸图像之中的人脸是否为伪造人脸。

Description

基于差异感知元学习的伪造人脸检测方法和装置
技术领域
本申请涉及计算机视觉与机器学习技术领域，尤其涉及一种基于差异感知元学习的伪造人脸检测方法、装置、电子设备和存储介质。
背景技术
人脸作为生物特征已经被广泛地应用在很多场景，例如远程控制、安全检查以及移动支付等。然而，随着人脸识别技术的飞速发展和广泛应用，也会出现一些不法分子尝试攻击人脸识别系统来获取不正当的利益。如今深度学习大行其道，众多人脸生成、编辑和伪造技术如雨后春笋般涌现，使得编辑人脸属性乃至于更换人脸身份的技术愈来愈易于实现和效果逼真。因此，伪造人脸图片对人脸识别系统造成了极大的安全威胁，为了解决这个问题，伪造人脸检测技术就显得尤为重要。
现在的伪造人脸检测技术可以大致分为两类：基于空域特征和基于时域特征。基于空域特征的方法一般会挖掘人脸伪造过程中产生的伪影，如拼接痕迹、伪造纹理和前景背景差异。但是这些现有的方法都存在以下问题：它们大多都只针对于现有的伪造人脸方法，也即在同一个伪造人脸数据集上进行训练和测试，这样的模型优化过程很可能使得方法陷入过拟合的困境。而且在真实的应用场景里，不法分子会尝试各种不同的伪造人脸方法，甚至会采用之前未曾出现的全新伪造人脸技术，这些都会使得现有的伪造人脸检测方法效果大打折扣。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于差异感知元学习的伪造人脸检测方法，以解决现有伪造人脸检测技术中缺少泛化性，在实际的应用场景里面对未知的伪造人脸攻击效果会大打折扣的问题。
本申请的第二个目的在于提出一种基于差异感知元学习的伪造人脸检测装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种基于差异感知元学习的伪造人脸检测方法，包括：
基于包含多个不同攻击类型的数据集构建零样本任务，其中，所述零样本任务包含支持集和测试集；
针对所述零样本任务，利用所述零样本任务之中的支持集对特征提取器、差异图回归网络和元分类器进行元训练，得到所述支持集上的差异损失和分类损失；
利用经过元训练后的特征提取器、差异图回归网络和元分类器，在所述零样本任务之中的测试集上进行元测试，得到所述测试集上的差异损失和分类损失；
根据所述支持集上的差异损失和分类损失、所述测试集上的差异损失和分类损失，分别对所述特征提取器、差异图回归网络和元分类器进行模型参数的优化，获得最终的元分类器；
获取待检测人脸图像，其中，所述待检测人脸图像所属的人脸攻击类型不包含于所述多个不同攻击类型中；
利用所述最终的元分类器对待检测人脸图像进行预测，并根据预测结果判断所述待检测人脸图像之中的人脸是否为伪造人脸。
为达上述目的，本申请第二方面实施例提出了一种基于差异感知元学习的伪造人脸检测装置，包括：
构建模块，用于基于包含多个不同攻击类型的数据集构建零样本任务，其中，所述零样本任务包含支持集和测试集；
元训练模块，用于针对所述零样本任务，利用所述零样本任务之中的支持集对特征提取器、差异图回归网络和元分类器进行元训练，得到所述支持集上的差异损失和分类损失；
元测试模块，用于利用经过元训练后的特征提取器、差异图回归网络和元分类器，在所述零样本任务之中的测试集上进行元测试，得到所述测试集上的差异损失和分类损失；
元优化模块，用于根据所述支持集上的差异损失和分类损失、所述测试集上的差异损失和分类损失，分别对所述特征提取器、差异图回归网络和元分类器进行模型参数的优化，获得最终的元分类器；
检测模块，用于获取待检测人脸图像，并利用所述最终的元分类器对待检测人脸图像进行预测，根据预测结果判断所述待检测人脸图像之中的人脸是否为伪造人脸；其中，所述待检测人脸图像所属的人脸攻击类型不包含于所述多个不同攻击类型中。
为达上述目的，本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本申请第一方面实施例所述的基于差异感知元学习的伪造人脸检测方法。
为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请第一方面实施例所述的基于差异感知元学习的伪造人脸检测方法。
根据本申请实施例的技术方案，从包含不同攻击类型的数据集里通过正交采样的方法得到对应的支持集和测试集，利用元学习的方式优化特征提取器和差异图回归网络，并利用差异图损失函数和分类损失函数指导优化来获得最终的元分类器。在网络训练完成后即可得到具有泛化性的分类器，可以应对未曾见过的伪造人脸攻击类型。也就是说，本申请通过从一个全新的视角重新定义伪造人脸检测问题为零样本问题，通过构建一系列零样本任务来模拟真实的应用场景，并通过引入元学习的思想在零样本任务上进行元训练、元测试和元优化来提高模型的泛化性。此外，提出了差异图的计算并通过差异感知机制来引导元优化的方向。由此可见，本申请可以解决现有伪造人脸检测技术中缺少泛化性，在实际的应用场景里面对未知的伪造人脸攻击效果会大打折扣的问题，通过将该问题重新定义为一个零样本问题，而且引入元学习的思想来建模，并且通过差异感知机制来提高泛化性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于差异感知元学习的伪造人脸检测方法的流程示意图；
图2为本申请实施例的基于差异感知元学习的伪造人脸检测方法的流程示例图；
图3是本申请实施例的差异图标签设置的示例图；
图4为本申请实施例提供的一种基于差异感知元学习的伪造人脸检测装置的结构示意图；
图5是根据本申请一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于差异感知元学习的伪造人脸检测方法、装置、电子设备和存储介质。
图1为本申请实施例所提供的一种基于差异感知元学习的伪造人脸检测方法的流程示意图。需要说明的是，本申请实施例的基于差异感知元学习的伪造人脸检测方法可应用于本申请实施例的基于差异感知元学习的伪造人脸检测装置，该伪造人脸检测装置可被配置于电子设备上。如图1所示，该基于差异感知元学习的伪造人脸检测方法可以包括如下步骤。
在步骤101中，基于包含多个不同攻击类型的数据集构建零样本任务，其中，零样本任务包含支持集和测试集。
在步骤102中，针对零样本任务，利用零样本任务之中的支持集对特征提取器、差异图回归网络和元分类器进行元训练，得到支持集上的差异损失和分类损失。
在一些实施例中，通过以下公式计算所述支持集上的差异损失：
Figure BDA0002921682690000041
其中，
Figure BDA0002921682690000042
为支持集，D,F分别为所述差异图回归网络和所述特征提取器，θD,θF为对应参数，Ix为输入人脸图片，Id为理论差异图标签，Ldis为差异损失函数。
可选地，差异损失函数表示如下：
Figure BDA0002921682690000043
其中，i,j为图像中像素的位置，Id,
Figure BDA0002921682690000044
分别为给定的差异图标签和所述差异图回归网络输出的预测差异图。
针对不同伪造人脸攻击类型用不同方式计算差异图标签。可选地，在本申请实施例中，可基于预设算法将图像之中的所有像素进行归一化，针对不同伪造人脸攻击类型，采用对应的设置方式对归一化后的图像进行差异图标签的设置。例如，以多个不同攻击类型包括真实人脸类型、属性编辑类型、身份替换类型、人脸重演类型和人脸生成类型为例，在将图像的像素归一化到0～1之后，将攻击类型为真实人脸类型的图像采用全0图(即图像中的所有像素均设置为0)表示该图像的差异图标签，将人脸生成类型的图像采用全1图(即图像中的所有像素均设置为1)表示该图像的差异图标签，将属性编辑类型的图像中的更改区域的像素值设置为1，将身份替换类型的图像中人脸区域的像素值设置为1，将人脸重演类型的图像中像素不同区域都设置为1。
在一些实施例中，通过以下公式计算所述支持集上的分类损失：
Figure BDA0002921682690000051
其中，C为所述元分类器，θC为对应参数，y为人脸分类标签，Lcls为分类损失函数。
可选地，所述分类损失函数表示如下：
Figure BDA0002921682690000052
其中，
Figure BDA0002921682690000053
分别为给定的人脸分类标签和所述元分类器预测的人脸图片分类结果。
在本申请实施例中，在计算出支持集上的差异损失和分类损失之后，可先在元训练中对模型参数通过梯度下降进行优化：
Figure BDA0002921682690000054
其中α为超参数，θ'D,θ'F,θ'C为更新后的参数。
在步骤103中，利用经过元训练后的特征提取器、差异图回归网络和元分类器，在零样本任务之中的测试集上进行元测试，得到测试集上的差异损失和分类损失。
在一些实施例中，通过以下公式计算测试集上的差异损失：
Figure BDA0002921682690000055
其中
Figure BDA0002921682690000056
为测试集，D',F'分别为经过元训练后的差异图回归网络和特征提取器。
可选地，通过以下公式计算测试集上的分类损失：
Figure BDA0002921682690000057
其中，为分类损失，C'为经过元训练后的元分类器。
在步骤104中，根据支持集上的差异损失和分类损失、测试集上的差异损失和分类损失，分别对特征提取器、差异图回归网络和元分类器进行模型参数的优化，获得最终的元分类器。
在一些实施例中，在元测试之后，可对模型参数通过梯度下降进行元优化：
Figure BDA0002921682690000061
Figure BDA0002921682690000062
Figure BDA0002921682690000063
其中，β,λ为超参数，θD,θF,θC为元优化的参数。
在步骤105中，获取待检测人脸图像，其中，待检测人脸图像所属的人脸攻击类型不包含于多个不同攻击类型中。
在步骤106中，利用最终的元分类器对待检测人脸图像进行预测，并根据预测结果判断待检测人脸图像之中的人脸是否为伪造人脸。
因此可以看出，本申请通过提出一种基于差异感知元学习的伪造人脸检测方法，可以解决现有伪造人脸检测技术中缺少泛化性的问题。本申请通过采用元学习的优化方法来解决全新定义的伪造人脸检测。本申请通过首先从包含不同攻击类型的数据集里通过正交采样的方法得到对应的支持集和测试集。其次，利用元学习的方式优化特征提取器和差异图回归网络。最后，利用差异图损失函数和分类损失函数指导优化来获得最终的元分类器。在网络训练完成后，即可得到具有泛化性的分类器，可以应对未曾见过的伪造人脸攻击类型。为了使得本领域技术人员更加清楚地了解本申请，下面将结合图2和图3进行详细说明。本申请实施例的伪造人脸检测方法的具体步骤如下：
S0：构建零样本任务
对于伪造人脸检测问题，本申请首先要构建对应的零样本任务。给定一个伪造人脸数据集，首先根据伪造人脸的攻击类型将数据集划分为细颗粒度的数据集，接着在确保采样不重叠的前提下，分别从不同的攻击类型中采样支持集和测试集，最后通过一系列的采样最终获得对应的零样本任务。例如附图2所示，某次采样时，将采样DeepFake和Face2Face作为支持集，采样NeuralTextures作为测试集。
S1：元训练
首先在支持集上进行元训练。依据对应的损失函数分别计算差异损失和分类损失：
Figure BDA0002921682690000064
其中
Figure BDA0002921682690000065
为差异损失，
Figure BDA0002921682690000066
为支持集，D,F分别为差异图回归网络和特征提取器，θD,θF为对应参数，Ix为输入人脸图片，Id为理论差异图标签，Ldis为差异损失函数。
Figure BDA0002921682690000071
其中
Figure BDA0002921682690000072
为分类损失，C为元分类器，θC为对应参数，y为人脸分类标签，Lcls为分类损失函数。
在计算出支持集上的差异损失和分类损失之后，在元训练中对模型参数通过梯度下降进行优化：
Figure BDA0002921682690000073
其中，α为超参数，θ'D,θ'F,θ'C为更新后的参数。
S2：元测试
在模型已经经过元训练之后，接着在测试集上进行元测试，同样依据对应的损失函数分别计算差异损失和分类损失：
Figure BDA0002921682690000074
其中，
Figure BDA0002921682690000075
为差异损失，
Figure BDA0002921682690000076
为测试集，D',F'分别为经过元训练后的差异图回归网络和特征提取器。
Figure BDA0002921682690000077
其中，
Figure BDA0002921682690000078
为分类损失，C'为经过元训练后的元分类器。
S3：元优化
在计算出测试集上的差异损失和分类损失之后，在元测试之后对模型参数通过梯度下降进行元优化：
Figure BDA0002921682690000081
Figure BDA0002921682690000082
Figure BDA0002921682690000083
其中，β,λ为超参数，θD,θF,θC为元优化的参数。
S4：具体计算差异图和损失函数的方式
如图3所示，针对不同伪造人脸攻击类型用不同方式计算差异图，在将图像的像素归一化到0-1之后，真实人脸采用0图；生成人脸采用全1图；属性编辑的更改区域设置为1；身份替换的人脸区域设置为1；人脸重演的像素不同区域都设置为1。
在元训练和元测试的过程中，本申请都涉及到了差异损失函数和分类损失函数的计算，具体的计算公式如下：
Figure BDA0002921682690000084
其中，i,j为图像中像素的位置，Id,
Figure BDA0002921682690000085
分别为给定的理论差异图标签和差异图回归网络输出的预测差异图。
Figure BDA0002921682690000086
其中，
Figure BDA0002921682690000087
分别为给定的人脸分类标签和元分类器预测的人脸图片分类结果。
根据本申请实施例的基于差异感知元学习的伪造人脸检测方法，从包含不同攻击类型的数据集里通过正交采样的方法得到对应的支持集和测试集，利用元学习的方式优化特征提取器和差异图回归网络，并利用差异图损失函数和分类损失函数指导优化来获得最终的元分类器。在网络训练完成后即可得到具有泛化性的分类器，可以应对未曾见过的伪造人脸攻击类型。也就是说，本申请通过从一个全新的视角重新定义伪造人脸检测问题为零样本问题，通过构建一系列零样本任务来模拟真实的应用场景，并通过引入元学习的思想在零样本任务上进行元训练、元测试和元优化来提高模型的泛化性。此外，提出了差异图的计算并通过差异感知机制来引导元优化的方向。由此可见，本申请可以解决现有伪造人脸检测技术中缺少泛化性，在实际的应用场景里面对未知的伪造人脸攻击效果会大打折扣的问题，通过将该问题重新定义为一个零样本问题，而且引入元学习的思想来建模，并且通过差异感知机制来提高泛化性。
为了实现上述实施例，本申请还提出一种基于差异感知元学习的伪造人脸检测装置。
图4为本申请实施例提供的一种基于差异感知元学习的伪造人脸检测装置的结构示意图。如图4所示，该基于差异感知元学习的伪造人脸检测装置400包括：构建模块401、元训练模块402、元测试模块403、元优化模块404和检测模块405。
具体地，构建模块401用于基于包含多个不同攻击类型的数据集构建零样本任务，其中，零样本任务包含支持集和测试集；
元训练模块402用于针对零样本任务，利用零样本任务之中的支持集对特征提取器、差异图回归网络和元分类器进行元训练，得到支持集上的差异损失和分类损失；
元测试模块403用于利用经过元训练后的特征提取器、差异图回归网络和元分类器，在零样本任务之中的测试集上进行元测试，得到测试集上的差异损失和分类损失；
元优化模块404用于根据支持集上的差异损失和分类损失、测试集上的差异损失和分类损失，分别对特征提取器、差异图回归网络和元分类器进行模型参数的优化，获得最终的元分类器；
检测模块405用于获取待检测人脸图像，并利用最终的元分类器对待检测人脸图像进行预测，根据预测结果判断待检测人脸图像之中的人脸是否为伪造人脸；其中，待检测人脸图像所属的人脸攻击类型不包含于多个不同攻击类型中。
需要说明的是，前述对基于差异感知元学习的伪造人脸检测方法实施例的解释说明也适用于该实施例的基于差异感知元学习的伪造人脸检测装置，此处不再赘述。
为了实现上述实施例，本申请还提出一种电子设备。
图5是根据本申请一个实施例的电子设备的结构示意图。如图5所示，该电子设备500可以包括：存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序503，处理器502执行所述程序503时，实现本申请上述任一实施例所述的基于差异感知元学习的伪造人脸检测方法。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请上述任一实施例所述的基于差异感知元学习的伪造人脸检测方法。
根据本申请实施例的技术方案，从包含不同攻击类型的数据集里通过正交采样的方法得到对应的支持集和测试集，利用元学习的方式优化特征提取器和差异图回归网络，并利用差异图损失函数和分类损失函数指导优化来获得最终的元分类器。在网络训练完成后即可得到具有泛化性的分类器，可以应对未曾见过的伪造人脸攻击类型。也就是说，本申请通过从一个全新的视角重新定义伪造人脸检测问题为零样本问题，通过构建一系列零样本任务来模拟真实的应用场景，并通过引入元学习的思想在零样本任务上进行元训练、元测试和元优化来提高模型的泛化性。此外，提出了差异图的计算并通过差异感知机制来引导元优化的方向。由此可见，本申请可以解决现有伪造人脸检测技术中缺少泛化性，在实际的应用场景里面对未知的伪造人脸攻击效果会大打折扣的问题，通过将该问题重新定义为一个零样本问题，而且引入元学习的思想来建模，并且通过差异感知机制来提高泛化性。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于差异感知元学习的伪造人脸检测方法，其特征在于，包括：
基于包含多个不同攻击类型的数据集构建零样本任务，其中，所述零样本任务包含支持集和测试集；
针对所述零样本任务，利用所述零样本任务之中的支持集对特征提取器、差异图回归网络和元分类器进行元训练，得到所述支持集上的差异损失和分类损失；
利用经过元训练后的特征提取器、差异图回归网络和元分类器，在所述零样本任务之中的测试集上进行元测试，得到所述测试集上的差异损失和分类损失；
根据所述支持集上的差异损失和分类损失、所述测试集上的差异损失和分类损失，分别对所述特征提取器、差异图回归网络和元分类器进行模型参数的优化，获得最终的元分类器；
获取待检测人脸图像，其中，所述待检测人脸图像所属的人脸攻击类型不包含于所述多个不同攻击类型中；
利用所述最终的元分类器对待检测人脸图像进行预测，并根据预测结果判断所述待检测人脸图像之中的人脸是否为伪造人脸。
2.根据权利要求1所述的方法，其特征在于，通过以下公式计算所述支持集上的差异损失：
Figure FDA0002921682680000011
其中，
Figure FDA0002921682680000012
为支持集，D,F分别为所述差异图回归网络和所述特征提取器，θD,θF为对应参数，Ix为输入人脸图片，Id为理论差异图标签，Ldis为差异损失函数。
3.根据权利要求2所述的方法，其特征在于，所述差异损失函数表示如下：
Figure FDA0002921682680000013
其中，i,j为图像中像素的位置，Id,
Figure FDA0002921682680000014
分别为给定的差异图标签和所述差异图回归网络输出的预测差异图。
4.根据权利要求3所述的方法，其特征在于，通过以下方式获得所述差异图标签：
基于预设算法将图像之中的所有像素进行归一化；
针对不同伪造人脸攻击类型，采用对应的设置方式对归一化后的图像进行差异图标签的设置。
5.根据权利要求1所述的方法，其特征在于，通过以下公式计算所述支持集上的分类损失：
Figure FDA0002921682680000021
其中，C为所述元分类器，θC为对应参数，y为人脸分类标签，Lcls为分类损失函数。
6.根据权利要求5所述的方法，其特征在于，所述分类损失函数表示如下：
Figure FDA0002921682680000022
其中，C,
Figure FDA0002921682680000023
分别为给定的人脸分类标签和所述元分类器预测的人脸图片分类结果。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述多个不同攻击类型包括真实人脸类型、属性编辑类型、身份替换类型、人脸重演类型和人脸生成类型中的至少两种。
8.一种基于差异感知元学习的伪造人脸检测装置，其特征在于，包括：
构建模块，用于基于包含多个不同攻击类型的数据集构建零样本任务，其中，所述零样本任务包含支持集和测试集；
元训练模块，用于针对所述零样本任务，利用所述零样本任务之中的支持集对特征提取器、差异图回归网络和元分类器进行元训练，得到所述支持集上的差异损失和分类损失；
元测试模块，用于利用经过元训练后的特征提取器、差异图回归网络和元分类器，在所述零样本任务之中的测试集上进行元测试，得到所述测试集上的差异损失和分类损失；
元优化模块，用于根据所述支持集上的差异损失和分类损失、所述测试集上的差异损失和分类损失，分别对所述特征提取器、差异图回归网络和元分类器进行模型参数的优化，获得最终的元分类器；
检测模块，用于获取待检测人脸图像，并利用所述最终的元分类器对待检测人脸图像进行预测，根据预测结果判断所述待检测人脸图像之中的人脸是否为伪造人脸；其中，所述待检测人脸图像所属的人脸攻击类型不包含于所述多个不同攻击类型中。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至7中任一所述的基于差异感知元学习的伪造人脸检测方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一所述的基于差异感知元学习的伪造人脸检测方法。
CN202110118732.0A 2021-01-28 2021-01-28 基于差异感知元学习的伪造人脸检测方法和装置 Active CN112784781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110118732.0A CN112784781B (zh) 2021-01-28 2021-01-28 基于差异感知元学习的伪造人脸检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110118732.0A CN112784781B (zh) 2021-01-28 2021-01-28 基于差异感知元学习的伪造人脸检测方法和装置

Publications (2)

Publication Number Publication Date
CN112784781A true CN112784781A (zh) 2021-05-11
CN112784781B CN112784781B (zh) 2022-08-12

Family

ID=75759430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110118732.0A Active CN112784781B (zh) 2021-01-28 2021-01-28 基于差异感知元学习的伪造人脸检测方法和装置

Country Status (1)

Country Link
CN (1) CN112784781B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343771A (zh) * 2021-05-12 2021-09-03 武汉大学 一种基于自适应元学习的人脸防伪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034703A1 (en) * 2017-07-26 2019-01-31 Baidu Online Network Technology (Beijing) Co., Ltd. Attack sample generating method and apparatus, device and storage medium
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109753875A (zh) * 2018-11-28 2019-05-14 北京的卢深视科技有限公司 基于人脸属性感知损失的人脸识别方法、装置与电子设备
CN110808945A (zh) * 2019-09-11 2020-02-18 浙江大学 一种基于元学习的小样本场景下网络入侵检测方法
CN111652364A (zh) * 2019-03-04 2020-09-11 富士通株式会社 训练元学习网络的装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034703A1 (en) * 2017-07-26 2019-01-31 Baidu Online Network Technology (Beijing) Co., Ltd. Attack sample generating method and apparatus, device and storage medium
CN109753875A (zh) * 2018-11-28 2019-05-14 北京的卢深视科技有限公司 基于人脸属性感知损失的人脸识别方法、装置与电子设备
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN111652364A (zh) * 2019-03-04 2020-09-11 富士通株式会社 训练元学习网络的装置和方法
CN110808945A (zh) * 2019-09-11 2020-02-18 浙江大学 一种基于元学习的小样本场景下网络入侵检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOJUAN CHENG ET AL.: "Identity-Preserving Face Hallucination via Deep Reinforcement Learning", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
程磊等: "数据集类别不平衡性对迁移学习的影响分析", 《信号处理》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343771A (zh) * 2021-05-12 2021-09-03 武汉大学 一种基于自适应元学习的人脸防伪方法

Also Published As

Publication number Publication date
CN112784781B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Zhang et al. Too far to see? Not really!—Pedestrian detection with scale-aware localization policy
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
Lei et al. Scale insensitive and focus driven mobile screen defect detection in industry
EP3654248A1 (en) Verification of classification decisions in convolutional neural networks
CN111444873B (zh) 视频中人物真伪的检测方法、装置、电子设备及存储介质
CN110516514B (zh) 一种目标检测模型的建模方法和装置
US11790499B2 (en) Certificate image extraction method and terminal device
CN112613375B (zh) 一种轮胎受损检测识别方法和设备
CN111932510B (zh) 一种图像清晰度的确定方法及装置
CN109919032A (zh) 一种基于动作预测的视频异常行为检测方法
CN113689382B (zh) 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统
CN111325769A (zh) 一种目标对象检测方法及装置
CN111027347A (zh) 一种视频识别方法、装置和计算机设备
CA3166091A1 (en) An identification method, device computer equipment and storage medium for identity document reproduction
Mareen et al. Comprint: Image forgery detection and localization using compression fingerprints
CN112784781B (zh) 基于差异感知元学习的伪造人脸检测方法和装置
CN112651333A (zh) 静默活体检测方法、装置、终端设备和存储介质
CN111241873A (zh) 图像翻拍检测方法及其模型的训练方法、支付方法及装置
CN116740728A (zh) 一种用于晶圆读码器动态获取方法和系统
CN115147936A (zh) 一种活体检测方法、电子设备、存储介质及程序产品
CN111402185B (zh) 一种图像检测方法及装置
CN115797770A (zh) 考虑目标相对运动的连续图像目标检测方法、系统及终端
CN111860289B (zh) 一种时序动作检测方法、装置及计算机设备
Wang et al. Towards fine-grained recognition: Joint learning for object detection and fine-grained classification
CN116012248B (zh) 图像处理方法、装置、计算机设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant