CN114821825B - 一种多粒度人脸伪造检测方法、系统、设备和介质 - Google Patents

一种多粒度人脸伪造检测方法、系统、设备和介质 Download PDF

Info

Publication number
CN114821825B
CN114821825B CN202210753884.2A CN202210753884A CN114821825B CN 114821825 B CN114821825 B CN 114821825B CN 202210753884 A CN202210753884 A CN 202210753884A CN 114821825 B CN114821825 B CN 114821825B
Authority
CN
China
Prior art keywords
face
detector
grained
data set
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210753884.2A
Other languages
English (en)
Other versions
CN114821825A (zh
Inventor
郑飞州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongping Intelligent Technology Co ltd
Original Assignee
Guangzhou Zhongping Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongping Intelligent Technology Co ltd filed Critical Guangzhou Zhongping Intelligent Technology Co ltd
Priority to CN202210753884.2A priority Critical patent/CN114821825B/zh
Publication of CN114821825A publication Critical patent/CN114821825A/zh
Application granted granted Critical
Publication of CN114821825B publication Critical patent/CN114821825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及人脸识别领域，具体涉及一种多粒度人脸伪造检测方法、系统、设备和介质，所述方法包括如下步骤：将原始人脸数据集和人脸伪造数据集集合为合成数据集；利用所述合成数据集进行伪造人脸检测任务和人脸识别任务的训练，以完成粗粒度检测器的参数训练；利用所述合成数据集训练细粒度检测器；将所述粗粒度检测器和细粒度检测器结合起来检测人脸伪造情况并输出人脸识别结果。本公开实现了将人脸识别与人脸伪造检测功能于一体的粗粒度检测器，有效提升了模型的高维特征提取能力和分类鲁棒性，本公开将细粒度和粗粒度的人脸伪造检测器的结果进行融合，同时实现了对人脸的全局和局部信息的伪造检测，得到了一个更精确的伪造检测结果。

Description

一种多粒度人脸伪造检测方法、系统、设备和介质
技术领域
本公开涉及人脸识别领域，具体涉及一种多粒度人脸伪造检测方法、系统、设备和介质。
背景技术
如今基于人脸识别的认证系统应用广泛，过去基于深度学习的人脸伪造技术，主要是通过构建一个特定的二分类模型对输入人脸进行判别，其主要通过捕捉脸部的全局信息来执行。然而随着深度学习伪造技术的升级，其伪造的人脸信息越来越细致，尤其是在全局人脸构建中表现突出，连人的肉眼都难以辨析，因此基于全局信息判别伪造人脸的方法的性能欠佳。另外，目前一些人脸伪造检测方法是对输入人脸数据的全局信息进行判别，然而人脸常见在局部信息上被伪造（如眼睛，发型等），人脸伪造检测器主要是一个独立的模型，不会承载人脸识别的功能。
发明内容
本公开提供一种多粒度人脸伪造检测方法，能够解决伪造的人脸信息越来越细致，尤其是在全局人脸构建中表现突出，连人的肉眼都难以辨析的问题。借助模型网络中间层对输入信息的局部响应特点，在模型的中间层后面插入检测结构，实现人脸局部信息感知的细粒度人脸伪造检测；同时，还要解决添加检测结构的网络层的选择问题。实现人脸识别与人脸伪造检测功能于一体的粗粒度检测器，因为人脸识别和伪造检测在高维特征上的提取任务相近，两个任务的同时训练可以有助于提升系统的运行效率、检测性能、和人脸识别的鲁棒性；粗粒度人脸伪造检测方法只能关注到输入数据的全局信息，即对全局伪造信息较敏感。而细粒度人脸伪造检测方法只能关注到输入数据的局部信息，即对局部伪造信息较敏感。为了得到一个更精确的伪造判别结果，本公开需融合两个不同粗细粒度检测器的检测结果。为解决上述技术问题，本公开提供如下技术方案：
作为本公开实施例的一个方面，提供一种多粒度人脸伪造检测方法，包括如下步骤：
将原始人脸数据集和人脸伪造数据集集合为合成数据集；
利用所述合成数据集进行伪造人脸检测任务和人脸识别任务的训练，以完成粗粒度检测器的参数训练；
利用所述合成数据集训练细粒度检测器；
将所述粗粒度检测器和细粒度检测器结合起来检测人脸伪造情况并输出人脸识别结果。
可选地，将原始人脸数据集和人脸伪造数据集融合为合成数据集具体包括如下步骤：
加载原始人脸数据集；
启动伪造人脸资源库中的伪造人脸生成器和/或人脸伪造算法,将所述原始人脸数据集转换成伪造人脸数据集；
为所述原始人脸数据集和人脸伪造数据集分别添加不同标签；
将原始人脸数据集和人脸伪造数据集集合为合成数据集。
可选地，利用所述合成数据集进行伪造人脸检测任务和人脸识别任务的训练，以完成粗粒度检测器的参数训练的具体包括如下步骤：
配置人脸识别模型；
配置超参数；
融合配置过的所述人脸识别模型和粗粒度检测器，进行伪造人脸检测任务和人脸识别任务的训练。
可选地，配置人脸识别模型的具体步骤如下：
增加一个所述人脸识别模型最后一层分类层的输出神经元；
将所述增加的输出神经元作为真伪人脸的检测输出，对应于不同标签的预测结果，其他神经元的输出对应于人脸分类标签的预测结果。
可选地，所述粗粒度检测器的损失函数
Figure 587229DEST_PATH_IMAGE001
为：
Figure 418044DEST_PATH_IMAGE002
，
其中，
Figure 679261DEST_PATH_IMAGE003
为交叉熵损失函数，
Figure 144877DEST_PATH_IMAGE004
为人脸数据特征x对应的正负类标签，数值0表示伪造人脸，数值1表示真实人脸，
Figure 466137DEST_PATH_IMAGE005
为人脸识别任务的损失函数，
Figure 49827DEST_PATH_IMAGE006
为伪造人脸检测任务的损失函数，
Figure 52418DEST_PATH_IMAGE007
为重要性因子，x为人脸数据的特征。
可选地，利用所述合成数据集训练细粒度检测器的具体步骤如下：
在人脸识别模型中的某一网络层后添加检测结构，所述检测结构由卷积核为1X1的卷积层和一个全连接层组成；
删除所述某一网络层后的网络结构，使得某一网络层前的结构和所述检测结构形成细粒度检测器；
将所述已训练的粗粒度检测器对应结构的参数加载到细粒度检测器；
配置超参数；
训练细粒度检测器并更新所述检测结构的参数。
可选地，所述某一网络层通过如下步骤确定：
计算所述人脸识别模型的每一层输出的感受野大小；
通过选择模型的部分层作为备选的添加点，对备选的网络层的中间层构建的检测器和其前后两层构建的检测器进行训练；
选择其中最佳性能决定新的备选添加点，直到获得最佳性能的细粒度检测器，对应的添加点前的网络层即为某一网络层。
作为本公开实施例的另一方面，还提供一种多粒度人脸伪造检测系统，包括如下步骤：
伪造人脸生成模块，将原始人脸数据集和人脸伪造数据集集合为合成数据集；
粗粒度检测器构建模块，利用所述合成数据集进行伪造人脸检测任务和人脸识别任务的训练，以完成粗粒度检测器的参数训练；
细粒度检测器构建模块，利用所述合成数据集训练细粒度检测器；
人脸伪造检测和识别模块，将所述粗粒度检测器和细粒度检测器结合起来检测人脸伪造情况并输出人脸识别结果。
作为本公开实施例的另一方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的多粒度人脸伪造检测方法。
作为本公开实施例的另一方面，还一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的多粒度人脸伪造检测方法的步骤。
本公开提出的方案中包括了构建一个可以实现捕捉人脸局部信息的细粒度人脸伪造检测方法，可以自动地将检测结构添加到原人脸识别模型的最佳层结构后面。另外，本公开也构建了可以实现捕捉人脸全局信息的粗粒度人脸伪造检测方法，并且将人脸分类任务与人脸伪造检测任务进行了融合，进一步提升了各自任务的性能；最终，本公开将所构建的粗粒度和细粒度检测方法进行融合，实现了基于深度学习的多粒度人脸伪造检测方法。
1）实现对人脸的局部伪造信息进行检测
本公开提出的细粒度人脸伪造检测方法，利用“二分查找”思想解决了添加检测结构的网络层的选择问题，实现了高性能的细粒度检测模型结构。借助细粒度检测模型结构的有限感受野大小的特点，将细粒度检测器更关注于人脸中的局部信息是否被伪造。
2）实现对人脸的全局信息进行检测和分类
本公开提出的粗粒度人脸伪造检测方法，实现了将人脸识别与人脸伪造检测功能于一体的粗粒度检测器。由于伪造任务的存在，能够为其中的人脸识别功能提供更丰富地反例样本，有效提升了模型的高维特征提取能力和分类鲁棒性，这也正好促使伪造任务性能的提升，两个任务相互促进和提升。并且两个功能的融合有助于提升系统的运行效率。
3）实现不同细粒度的人脸伪造检测的融合
本公开将细粒度和粗粒度的人脸伪造检测器的结果进行融合，同时实现了对人脸的全局和局部信息的伪造检测，得到了一个更精确的伪造检测结果。
附图说明
图1为实施例1中的多粒度人脸伪造检测方法的流程图；
图2为实施例1中的粗粒度人脸伪造检测器的结构适配示意图；
图3为实施例1中的细粒度人脸伪造检测器的结构适配示意图；
图4为实施例2中的多粒度人脸伪造检测系统示意框图；
图5为实施例2中的基于深度学习的多粒度人脸伪造检测系统示意框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
此外，本公开还提供了多粒度人脸伪造检测系统、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种多粒度人脸伪造检测方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
多粒度人脸伪造检测方法的执行主体可以是计算机或者其他能够实现多粒度人脸伪造检测的装置，例如，方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理（Personal Digital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该多粒度人脸伪造检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
实施例1
本实施例提供一种多粒度人脸伪造检测方法，如图1所示，包括如下步骤：
S10、将原始人脸数据集和人脸伪造数据集集合为合成数据集；
S20、利用所述合成数据集进行伪造人脸检测任务和人脸识别任务的训练，以完成粗粒度检测器的参数训练；
S30、利用所述合成数据集训练细粒度检测器；
S40、将所述粗粒度检测器和细粒度检测器结合起来检测人脸伪造情况并输出人脸识别结果。
基于上述步骤本公开实施例构建了一个可以实现捕捉人脸局部信息的细粒度人脸伪造检测方法，可以自动地将检测结构添加到原人脸识别模型的最佳层结构后面。另外，本公开实施例也构建了可以实现捕捉人脸全局信息的粗粒度人脸伪造检测方法，并且将人脸分类任务与人脸伪造检测任务进行了融合，进一步提升了各自任务的性能；最终，本公开实施例将所构建的粗粒度和细粒度检测方法进行融合，实现了基于深度学习的多粒度人脸伪造检测方法。
下面分别对本公开实施例的各步骤进行详细说明。
S10、将原始人脸数据集和人脸伪造数据集集合为合成数据集；
其中，通过加载待训练的人脸识别模型的结构，并对模型的参数初始化；加载原始的真实人脸数据集并进行数据增强和预处理，例如，每个人脸数据样本由人脸特征和其标签（又称身份id）组成；而所述人脸伪造数据集可通过伪造人脸生成器模型资源获取可用于伪造人脸的生成器模型，通过人脸伪造算法生成，负责启动伪造人脸资源库7中的伪造人脸生成器和人脸伪造算法，将真实的人脸数据集进行“转换”构成伪造人脸数据集。例如，负责将真实的人脸数据集添加一个“正类”标签（数值1表示正常人脸），将伪造人脸数据集添加一个“负类”标签（数值0表示伪造人脸），并将两数据集合成为一个数据集（正常人脸和伪造人脸的数据量保持基本相近），数据集中的每个样本都有两个标签（一个是人脸分类标签，一个是正负类标签）。并取合成的数据集的70%构成合成训练数据集，用于检测器参数的训练，取另外30%构成合成验证数据集，用于测试检测器的泛化性能。
S20、利用所述合成数据集进行伪造人脸检测任务和人脸识别任务的训练，以完成粗粒度检测器的参数训练；
S20步骤还具体包括如下步骤：
S201、配置人脸识别模型；如图2所示，其中，将模型最后一层分类层的输出神经元增加一个，该增加的神经元输出作为真伪人脸的检测输出，对应于正负类标签的预测结果；其他神经元的输出对应于人脸分类标签的预测结果。若人脸识别数据集的标签个数为M，则原人脸识别模型的输出神经元个数也为M，通过适配后，人脸识别模型的输出神经元个数增加为M+1。
S203、配置超参数；例如，包括训练样本的批大小，训练次数，学习率λ，学习率衰减，人脸伪造检测任务的重要性因子
Figure 638121DEST_PATH_IMAGE008
等超参数的配置。
S205、融合配置过的所述人脸识别模型和粗粒度检测器，进行伪造人脸检测任务和人脸识别任务的训练。
粗粒度检测器的训练任务中包含了人脸识别任务和伪造人脸检测任务，实际上融合了人脸识别模型和人脸伪造模型。本公开设计的粗粒度检测器的损失函数形式如公式（1）所示。其中
Figure 599123DEST_PATH_IMAGE009
为人脸数据特征x对应的正负类标签（数值0表示伪造人脸，数值1表示真实人脸）。若当前的训练样本是真实人脸
Figure 903066DEST_PATH_IMAGE010
，依据公式（1）所示，人脸识别任务的损失函数
Figure 709348DEST_PATH_IMAGE011
将会被考虑到总的损失函数中（即模型参数会对真实人脸进行分类和真伪检测训练），若当前的训练样本是伪造人脸
Figure 182180DEST_PATH_IMAGE012
，则总的损失函数中不会包含人脸识别任务的损失函数
Figure 782925DEST_PATH_IMAGE011
（即模型的参数不会对伪造人脸进行分类训练，而只是真伪检测）。其中重要性因子
Figure 839743DEST_PATH_IMAGE007
设置数值越高，则在两任务中，则检测器的参数训练会越偏向于优先提升对伪造人脸检测的性能。
Figure 980874DEST_PATH_IMAGE013
人脸识别任务的损失函数
Figure 744431DEST_PATH_IMAGE011
采用的是多分类交叉熵损失函数，如公式（2）所示。
Figure 79860DEST_PATH_IMAGE014
为交叉熵损失函数，其中
Figure 561657DEST_PATH_IMAGE015
为粗粒度检测器的人脸分类输出，x为人脸数据的特征，
Figure 772058DEST_PATH_IMAGE016
为对应的人脸分类标签的one-hot向量（M为人脸数据集的标签种类个数），对于第i个输出神经元的输出
Figure 655700DEST_PATH_IMAGE017
经softmax函数后变为
Figure 863828DEST_PATH_IMAGE018
，对应样本在分类标签i上的置信度。
Figure 107686DEST_PATH_IMAGE019
伪造人脸检测任务的损失函数
Figure 793882DEST_PATH_IMAGE020
采用的是二分类交叉熵损失函数，如公式（3）所示。其中
Figure 594348DEST_PATH_IMAGE021
为粗粒度检测器的正负类标签输出，由其计算而得的
Figure 707797DEST_PATH_IMAGE022
为真实人脸的预测概率，
Figure 960924DEST_PATH_IMAGE023
为人脸数据特征x对应的正负类标签。
Figure 450811DEST_PATH_IMAGE024
粗粒度检测器将利用动量优化方法Adam对损失函数
Figure 607248DEST_PATH_IMAGE025
进行指定训练次数的优化，完成检测器参数的更新。
该模块会在每一次粗粒度检测器参数更新后，利用合成验证数据集对其性能进行测试，此性能对应的计算方式如公式（4）所示。其中AUC为接收者操作特征曲线ROC下与坐标轴围成的面积，其下标D表示正负类预测性能，其下标C表示人脸分类预测性能。
Figure 157179DEST_PATH_IMAGE026
粗粒度检测器训练的详细步骤如下：
S501：随机从合成训练数据集中抽取一批训练样本；
S502：计算粗粒度检测器参数基于当前训练样本的损失值
Figure 897601DEST_PATH_IMAGE027
，对应公式（1）；
S503：计算损失值
Figure 191180DEST_PATH_IMAGE027
对粗粒度检测器的参数的梯度
Figure 638341DEST_PATH_IMAGE028
；
S504：通过动量优化方法Adam对粗粒度检测器参数
Figure 624752DEST_PATH_IMAGE029
进行更新
Figure 557198DEST_PATH_IMAGE030
；
S505：利用合成验证数据集来测试更新后的粗粒度检测器的性能（对应公式（4）），并始终备份好取得最佳性能的粗粒度检测器参数；
S505：重复步骤S502至S504，直到达到设定的训练次数，并输出所备份的最佳性能的粗粒度检测器。
S30、利用所述合成数据集训练细粒度检测器；
其中，S30步骤的具体步骤如下：
在人脸识别模型中的某一网络层后添加检测结构，如图3所示，所述检测结构由卷积核为1X1的卷积层和一个全连接层组成；其中，负责在指定的人脸识别模型的某一网络层后面添加检测结构，其结构由一个卷积核为1X1的卷积层和一个全连接层组成，全连接层的输出神经元只有一个，该神经元的输出对应正负类分类标签的预测结果（用于判别当前人脸样本是否被伪造）。若某一网络层后面被添加了检测结构，则删除原模型在该网络层后的网络结构，仅保留该层，该层前结构和检测结构以形成一个新的模型即为细粒度检测器。还负责根据细粒度检测器的结构，将已训练的粗粒度检测器对应结构的参数加载到细粒度检测器中，意味着细粒度检测器除了检测结构外，其他结构的参数都是已经训练好的故不再进行更新，仅更新添加的检测结构的参数。
配置超参数；例如，包括训练样本的批大小，训练次数，学习率λ，学习率衰减等超参数的配置。
训练细粒度检测器并更新所述检测结构的参数。其中，在细粒度检测器的构建中，仅对伪造检测任务进行训练，且只有被添加的检测结构的参数会被更新，其他模型参数不会被更新。本公开提出的细粒度检测器的损失函数形式与粗粒度检测器中的损失函数
Figure 654467DEST_PATH_IMAGE031
相同，对应于公式（3），下文以
Figure 18452DEST_PATH_IMAGE032
来表示细粒度检测器的损失函数值。细粒度检测器将利用动量优化方法Adam对损失函数
Figure 175764DEST_PATH_IMAGE032
进行指定训练次数的优化，完成细粒度检测器参数的更新。
在细粒度检测器的结构适配中，需要决定在模型的哪一网络层后面添加检测结构，以实现构建最佳性能的检测器。本公开利用“二分查找”思想高效地让系统自动决策检测结构的添加点，其主要思路为：计算模型的每一层输出的感受野大小（参与某一个输出值的训练样本像素点个数）,只取其中，通过选择模型的部分层作为备选的添加点，对备选的网络层的中间层构建的检测器和其前后两层构建的检测器进行训练，选择其中最佳性能（对伪造和真实辨别的AUC指标），来决定新的备选添加点，直到获得最佳性能的检测器，对应的添加点即为最佳的添加点。
细粒度检测器构建的具体步骤（其中的模型训练步骤与粗粒度检测器相一致，区别仅在于采用的损失函数不同）如下：
S601：从模型的第一层开始计算对应的感受野大小，直到某一层的感受野大小与训练样本像素点大小相同，在这之间的每一层都加入备选层。
S602：从备选层选出中间层，中间层的前一层（若存在），中间层的后一层（若存在），分别对其添加检测结构，以构成三个不同的细粒度检测器。
S603：利用合成的训练数据集分别对所构建的三个细粒度检测器进行训练（已训练过的检测器不再参与训练），并计算对应的性能。
S604：若中间层构建的检测器性能最高，则该检测器为最终结果；若中间层的前一层构建的检测器性能最高，则备选层中的该层与该层之前的网络层形成新的备选层；若中间层的后一层构建的检测器性能最高，则备选层中的该层与该层之后的网络层形成新的备选层。
S605：不断重复步骤S602至S604，直到获得最佳性能的细粒度检测器。
S40、将所述粗粒度检测器和细粒度检测器结合起来检测人脸伪造情况并输出人脸识别结果。
其中，粗粒度检测器：负责人脸数据的伪造检测和识别任务，人脸数据输入到粗粒度检测器，将输出该数据对应的分类标签和真实人脸的置信度。
其中，细粒度检测器：负责人脸数据的伪造检测任务，人脸数据输入到细粒度检测器，将输出该数据对应的真实人脸的置信度。
其中，检测结果融合：负责将粗粒度检测器和细粒度检测的输出真实人脸置信度取均值，若置信度大于0.5，则判定为真实人脸，若置信度小于0.5则判定为伪造人脸。
在一些实施例中，所述方法还包括如下步骤：对检测结果进行显示；例如，进行检测异常告警：若当前人脸数据被判定为伪造人脸，则系统会发出相应的警告，并且提示拒绝对该人脸进行识别；例如，进行检测真实识别：若当前人脸数据被判定为真实人脸，则系统会输出粗粒度检测器中的人脸分类结果。
实施例2
作为本公开实施例的另一方面，还提供一种多粒度人脸伪造检测系统100，如图4所示，包括如下步骤：
伪造人脸生成模块1，将原始人脸数据集和人脸伪造数据集集合为合成数据集；
粗粒度检测器构建模块2，利用所述合成数据集进行伪造人脸检测任务和人脸识别任务的训练，以完成粗粒度检测器的参数训练；
细粒度检测器构建模块3，利用所述合成数据集训练细粒度检测器；
人脸伪造检测和识别模块4，将所述粗粒度检测器和细粒度检测器结合起来检测人脸伪造情况并输出人脸识别结果。
基于上述模块本公开实施例构建了一个可以实现捕捉人脸局部信息的细粒度人脸伪造检测方法，可以自动地将检测结构添加到原人脸识别模型的最佳层结构后面。另外，本公开实施例也构建了可以实现捕捉人脸全局信息的粗粒度人脸伪造检测方法，并且将人脸分类任务与人脸伪造检测任务进行了融合，进一步提升了各自任务的性能；最终，本公开实施例将所构建的粗粒度和细粒度检测方法进行融合，实现了基于深度学习的多粒度人脸伪造检测系统100。
下面详细的介绍下本公开实施例还包括的各个模块的实施方式：
所述基于深度学习的多粒度人脸伪造检测系统，如图5所示，可由人脸识别模型加载模块5，人脸数据集加载模块6，伪造人脸资源库7，伪造人脸生成模块1，粗粒度检测器构建模块2，细粒度检测器构建模块3，人脸伪造检测和识别模块4，检测结果显示模块9组成。
其中，各模块的具体内容说明如下：
1）人脸识别模型加载模块5
1.1）人脸识别模型加载：负责加载待训练的人脸识别模型的结构，并对模型的参数初始化。
2）人脸数据集加载模块6
2.1）人脸数据集加载：负责加载原始的真实人脸数据集并进行数据增强和预处理，其中每个人脸数据样本由人脸特征和其标签（又称身份id）组成。
3）伪造人脸资源库7
3.1）伪造人脸生成器模型资源：其中包含收集到的可用于伪造人脸的生成器模型。
3.2）人脸伪造算法：其中包括收集到的可进行人脸伪造的算法。
4）伪造人脸生成模块1
4.2）伪造人脸生成：负责启动伪造人脸资源库7中的伪造人脸生成器和人脸伪造算法，将真实的人脸数据集进行“转换”构成伪造人脸数据集。
4.3）数据集合成和划分：负责将真实的人脸数据集添加一个“正类”标签（数值1表示正常人脸），将伪造人脸数据集添加一个“负类”标签（数值0表示伪造人脸），并将两数据集合成为一个数据集（正常人脸和伪造人脸的数据量保持基本相近），数据集中的每个样本都有两个标签（一个是人脸分类标签，一个是正负类标签）。并取合成的数据集的70%构成合成训练数据集，用于检测器参数的训练，取另外30%构成合成验证数据集，用于测试检测器的泛化性能。
5）粗粒度检测器构建模块2
5.1）模型结构适配：负责将原人脸识别模型进行结构适配，即将模型最后一层分类层的输出神经元增加一个，该增加的神经元输出作为真伪人脸的检测输出，对应于正负类标签的预测结果；其他神经元的输出对应于人脸分类标签的预测结果。若人脸识别数据集的标签个数为M，则原人脸识别模型的输出神经元个数也为M，通过适配后，人脸识别模型的输出神经元个数增加为M+1。
5.2）超参配置：包括训练样本的批大小，训练次数，学习率
Figure 94042DEST_PATH_IMAGE033
，学习率衰减，人脸伪造检测任务的重要性因子
Figure 463843DEST_PATH_IMAGE034
等超参数的配置。
5.3）模型训练：
粗粒度检测器的训练任务中包含了人脸识别任务和伪造人脸检测任务，实际上融合了人脸识别模型和人脸伪造模型。本公开设计的粗粒度检测器的损失函数形式如公式（1）所示。其中
Figure 449379DEST_PATH_IMAGE035
为人脸数据特征x对应的正负类标签（数值0表示伪造人脸，数值1表示真实人脸）。若当前的训练样本是真实人脸
Figure 777592DEST_PATH_IMAGE036
，依据公式（1）所示，人脸识别任务的损失函数
Figure 917586DEST_PATH_IMAGE037
将会被考虑到总的损失函数中（即模型参数会对真实人脸进行分类和真伪检测训练），若当前的训练样本是伪造人脸
Figure 356658DEST_PATH_IMAGE038
，则总的损失函数中不会包含人脸识别任务的损失函数
Figure 898498DEST_PATH_IMAGE037
（即模型的参数不会对伪造人脸进行分类训练，而只是真伪检测）。其中重要性因子
Figure 194350DEST_PATH_IMAGE007
设置数值越高，则在两任务中，则检测器的参数训练会越偏向于优先提升对伪造人脸检测的性能。
Figure 556061DEST_PATH_IMAGE039
人脸识别任务的损失函数
Figure 831447DEST_PATH_IMAGE040
采用的是多分类交叉熵损失函数，如公式（2）所示。其中
Figure 493372DEST_PATH_IMAGE041
为粗粒度检测器的人脸分类输出，x为人脸数据的特征，
Figure 897809DEST_PATH_IMAGE042
为对应的人脸分类标签的one-hot向量（M为人脸数据集的标签种类个数），对于第i个输出神经元的输出
Figure 12395DEST_PATH_IMAGE043
经softmax函数后变为
Figure 793270DEST_PATH_IMAGE044
，对应样本在分类标签i上的置信度。
Figure 106439DEST_PATH_IMAGE045
伪造人脸检测任务的损失函数
Figure 448821DEST_PATH_IMAGE046
采用的是二分类交叉熵损失函数，如公式（3）所示。其中
Figure 785125DEST_PATH_IMAGE047
为粗粒度检测器的正负类标签输出，由其计算而得的
Figure 369690DEST_PATH_IMAGE048
为真实人脸的预测概率，
Figure 537366DEST_PATH_IMAGE049
为人脸数据特征x对应的正负类标签。
Figure 549184DEST_PATH_IMAGE050
粗粒度检测器将利用动量优化方法Adam对损失函数
Figure 107204DEST_PATH_IMAGE051
进行指定训练次数的优化，完成检测器参数的更新。
该模块会在每一次粗粒度检测器参数更新后，利用合成验证数据集对其性能进行 测试，此性能对应的计算方式如公式（4）所示。其中AUC为接收者操作特征曲线ROC下与坐标 轴围成的面积，其下标
Figure 793663DEST_PATH_IMAGE052
表示正负类预测性能，其下标
Figure 19108DEST_PATH_IMAGE053
表示人脸分类预测性能。
Figure 201828DEST_PATH_IMAGE054
粗粒度检测器训练的详细步骤如下：
S501：随机从合成训练数据集中抽取一批训练样本；
S502：计算粗粒度检测器参数基于当前训练样本的损失值
Figure 512723DEST_PATH_IMAGE051
，对应公式（1）；
S503：计算损失值
Figure 439091DEST_PATH_IMAGE051
对粗粒度检测器的参数的梯度
Figure 315780DEST_PATH_IMAGE055
；
S504：通过动量优化方法Adam对粗粒度检测器参数
Figure 669401DEST_PATH_IMAGE056
进行更新
Figure 969058DEST_PATH_IMAGE057
；
S505：利用合成验证数据集来测试更新后的粗粒度检测器的性能（对应公式（4）），并始终备份好取得最佳性能的粗粒度检测器参数；
S505：重复步骤S502至S504，直到达到设定的训练次数，并输出所备份的最佳性能的粗粒度检测器。
6）细粒度检测器构建模块3
6.1）模型结构适配和参数加载：负责在指定的人脸识别模型的某一网络层后面添加检测结构，其结构由一个卷积核为1X1的卷积层和一个全连接层组成，全连接层的输出神经元只有一个，该神经元的输出对应正负类分类标签的预测结果（用于判别当前人脸样本是否被伪造）。若某一网络层后面被添加了检测结构，则删除原模型在该网络层后的网络结构，仅保留该层，该层前结构和检测结构以形成一个新的模型即为细粒度检测器。还负责根据细粒度检测器的结构，将已训练的粗粒度检测器对应结构的参数加载到细粒度检测器中，意味着细粒度检测器除了检测结构外，其他结构的参数都是已经训练好的故不再进行更新，仅更新添加的检测结构的参数。
6.2）超参配置：包括训练样本的批大小，训练次数，学习率λ，学习率衰减等超参数的配置。
6.3）模型训练：
在细粒度检测器的构建中，仅对伪造检测任务进行训练，且只有被添加的检测结构的参数会被更新，其他模型参数不会被更新。本公开提出的细粒度检测器的损失函数形式与粗粒度检测器中的损失函数
Figure 433537DEST_PATH_IMAGE058
相同，对应于公式（3），下文以
Figure 430312DEST_PATH_IMAGE059
来表示细粒度检测器的损失函数值。细粒度检测器将利用动量优化方法Adam对损失函数
Figure 220413DEST_PATH_IMAGE059
进行指定训练次数的优化，完成细粒度检测器参数的更新。
在细粒度检测器的结构适配中，需要决定在模型的哪一网络层后面添加检测结构，以实现构建最佳性能的检测器。本实施例利用“二分查找”思想高效地让系统自动决策检测结构的添加点，其主要思路为：计算模型的每一层输出的感受野大小（参与某一个输出值的训练样本像素点个数）,只取其中，通过选择模型的部分层作为备选的添加点，对备选的网络层的中间层构建的检测器和其前后两层构建的检测器进行训练，选择其中最佳性能（对伪造和真实辨别的AUC指标），来决定新的备选添加点，直到获得最佳性能的检测器，对应的添加点即为最佳的添加点。
细粒度检测器构建的具体步骤（其中的模型训练步骤与粗粒度检测器相一致，区别仅在于采用的损失函数不同）如下：
S601：从模型的第一层开始计算对应的感受野大小，直到某一层的感受野大小与训练样本像素点大小相同，在这之间的每一层都加入备选层。
S602：从备选层选出中间层，中间层的前一层（若存在），中间层的后一层（若存在），分别对其添加检测结构，以构成三个不同的细粒度检测器。
S603：利用合成的训练数据集分别对所构建的三个细粒度检测器进行训练（已训练过的检测器不再参与训练），并计算对应的性能。
S604：若中间层构建的检测器性能最高，则该检测器为最终结果；若中间层的前一层构建的检测器性能最高，则备选层中的该层与该层之前的网络层形成新的备选层；若中间层的后一层构建的检测器性能最高，则备选层中的该层与该层之后的网络层形成新的备选层。
S605：不断重复步骤S602至S604，直到获得最佳性能的细粒度检测器。
7）人脸伪造检测和识别模块4
7.1）粗粒度检测器：负责人脸数据的伪造检测和识别任务。人脸数据输入到粗粒度检测器，将输出该数据对应的分类标签和真实人脸的置信度。所述人脸数据可为人脸信息抓取摄像头8获取的待识别人脸信息。
7.2）细粒度检测器：负责人脸数据的伪造检测任务。人脸数据输入到细粒度检测器，将输出该数据对应的真实人脸的置信度。
7.3）检测结果融合：负责将粗粒度检测器和细粒度检测的输出真实人脸置信度取均值，若置信度大于0.5，则判定为真实人脸，若置信度小于0.5则判定为伪造人脸。
8）检测结果显示模块9
8.1）检测异常告警：若当前人脸数据被判定为伪造人脸，则系统会发出相应的警告，并且提示拒绝对该人脸进行识别。
8.2）检测真实识别：若当前人脸数据被判定为真实人脸，则系统会输出粗粒度检测器中的人脸分类结果。
在一些实施例中，上述系统100在使用中采用下方式运行：
S1：运行人脸识别模型加载模块5。载入人脸识别模型结构，并完成参数初始化；
S2：运行人脸数据集加载模块6。载入原始的正常人脸数据集，并完成数据增强和预处理；
S3：运行伪造人脸生成模块1。从伪造人脸资源库7中加载伪造生成器和伪造算法，将正常人脸数据集转换为伪造人脸数据集。正常人脸数据集和伪造人脸数据集都被标记上正负类标签，并组成合成数据集。从合成数据集中划分出合成训练数据集和合成验证数据集；
S4：运行粗粒度检测器构建模块2。首先将原人脸识别模型的结构更改为粗粒度人脸识别模型，然后通过配置超参数，最终完成粗粒度人脸识别模型的参数训练；
S5：运行细粒度检测器构建模块3。根据网络层的感受野大小构建候选的检测结构添加层，利用“二分查找”思想，高效地完成对不同添加层构建而成的检测器的训练和性能对比，最终选出最优性能的细粒度检测器；
S6：运行人脸伪造检测和识别模块4。输入待识别的人脸数据，根据粗粒度检测器和细粒度检测器的结果输出真实人脸的判别结果和分类预测结果；
S7：运行检测结果显示模块9。若检测为非真实人脸则发出警告；若检测为真实人脸则显示分类预测结果。
基于对上述实施例的描述，可知，本公开实施例可实现如下技术效果：
1）实现对人脸的局部伪造信息进行检测
本公开提出的细粒度人脸伪造检测方法，利用“二分查找”思想解决了添加检测结构的网络层的选择问题，实现了高性能的细粒度检测模型结构。借助细粒度检测模型结构的有限感受野大小的特点，将细粒度检测器更关注于人脸中的局部信息是否被伪造。
2）实现对人脸的全局信息进行检测和分类
本公开提出的粗粒度人脸伪造检测方法，实现了将人脸识别与人脸伪造检测功能于一体的粗粒度检测器。由于伪造任务的存在，能够为其中的人脸识别功能提供更丰富地反例样本，有效提升了模型的高维特征提取能力和分类鲁棒性，这也正好促使伪造任务性能的提升，两个任务相互促进和提升。并且两个功能的融合有助于提升系统的运行效率。
3）实现不同细粒度的人脸伪造检测的融合
本公开将细粒度和粗粒度的人脸伪造检测器的结果进行融合，同时实现了对人脸的全局和局部信息的伪造检测，得到了一个更精确的伪造检测结果。
本公开提出的方案中包括了构建一个可以实现捕捉人脸局部信息的细粒度人脸伪造检测方法，可以自动地将检测结构添加到原人脸识别模型的最佳层结构后面。另外，本公开也构建了可以实现捕捉人脸全局信息的粗粒度人脸伪造检测方法，并且将人脸分类任务与人脸伪造检测任务进行了融合，进一步提升了各自任务的性能；最终，本公开将所构建的粗粒度和细粒度检测方法进行融合，实现了基于深度学习的多粒度人脸伪造检测方法。
1）实现对人脸的局部伪造信息进行检测
本公开提出的细粒度人脸伪造检测方法，利用“二分查找”思想解决了添加检测结构的网络层的选择问题，实现了高性能的细粒度检测模型结构。借助细粒度检测模型结构的有限感受野大小的特点，将细粒度检测器更关注于人脸中的局部信息是否被伪造。
2）实现对人脸的全局信息进行检测和分类
本公开提出的粗粒度人脸伪造检测方法，实现了将人脸识别与人脸伪造检测功能于一体的粗粒度检测器。由于伪造任务的存在，能够为其中的人脸识别功能提供更丰富地反例样本，有效提升了模型的高维特征提取能力和分类鲁棒性，这也正好促使伪造任务性能的提升，两个任务相互促进和提升。并且两个功能的融合有助于提升系统的运行效率。
3）实现不同细粒度的人脸伪造检测的融合
本公开将细粒度和粗粒度的人脸伪造检测器的结果进行融合，同时实现了对人脸的全局和局部信息的伪造检测，得到了一个更精确的伪造检测结果。
实施例3
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1中的多粒度人脸伪造检测方法。
本公开实施例3仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
电子设备可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备的组件可以包括但不限于：至少一个处理器、至少一个存储器、连接不同系统组件（包括存储器和处理器）的总线。
总线包括数据总线、地址总线和控制总线。
存储器可以包括易失性存储器，例如随机存取存储器（RAM）和/或高速缓存存储器，还可以进一步包括只读存储器（ROM）。
存储器还可以包括具有一组（至少一个）程序模块的程序工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器通过运行存储在存储器中的计算机程序，从而执行各种功能应用以及数据处理。
电子设备也可以与一个或多个外部设备（例如键盘、指向设备等）通信。这种通信可以通过输入/输出（I/O）接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID（磁盘阵列）系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述程序被处理器执行时实现实施例1中的多粒度人脸伪造检测方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中所述的多粒度人脸伪造检测方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
尽管已经示出和描述了本公开的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本公开的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本公开的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种多粒度人脸伪造检测方法，其特征在于，包括如下步骤：
将原始人脸数据集和人脸伪造数据集集合为合成数据集；
利用所述合成数据集进行伪造人脸检测任务和人脸识别任务的训练，以完成粗粒度检测器的参数训练；
所述粗粒度检测器的损失函数
Figure DEST_PATH_IMAGE001
为：
Figure 592114DEST_PATH_IMAGE002
，
其中，
Figure DEST_PATH_IMAGE003
为交叉熵损失函数，
Figure 712516DEST_PATH_IMAGE004
为人脸数据特征
Figure DEST_PATH_IMAGE005
对应的正负类标签，数值0表示伪造人 脸，数值1表示真实人脸，
Figure 148046DEST_PATH_IMAGE006
为人脸识别任务的损失函数，
Figure DEST_PATH_IMAGE007
为伪造人脸检测任务的损失函 数，
Figure 74414DEST_PATH_IMAGE008
为重要性因子，
Figure 623207DEST_PATH_IMAGE005
为人脸数据的特征；
在人脸识别模型中的某一网络层后添加检测结构，所述检测结构由卷积核为1X1的卷积层和一个全连接层组成；
删除所述某一网络层后的网络结构，使得某一网络层前的结构和所述检测结构形成细粒度检测器；
将已训练的粗粒度检测器对应结构的参数加载到细粒度检测器；
配置超参数；
训练细粒度检测器并更新所述检测结构的参数；
将所述粗粒度检测器和细粒度检测器结合起来检测人脸伪造情况并输出人脸识别结果；
所述某一网络层通过如下步骤确定：
计算所述人脸识别模型的每一层输出的感受野大小；
通过选择模型的部分层作为备选的添加点，对备选的网络层的中间层构建的检测器和其前后两层构建的检测器进行训练；
选择其中最佳性能决定新的备选添加点，直到获得最佳性能的细粒度检测器，对应的添加点前的网络层即为某一网络层。
2.如权利要求1所述的多粒度人脸伪造检测方法，其特征在于，将原始人脸数据集和人脸伪造数据集融合为合成数据集具体包括如下步骤：
加载原始人脸数据集；
启动伪造人脸资源库中的伪造人脸生成器和/或人脸伪造算法,将所述原始人脸数据集转换成伪造人脸数据集；
为所述原始人脸数据集和人脸伪造数据集分别添加不同标签；
将原始人脸数据集和人脸伪造数据集集合为合成数据集。
3.如权利要求1或2所述的多粒度人脸伪造检测方法，其特征在于，利用所述合成数据集进行伪造人脸检测任务和人脸识别任务的训练，以完成粗粒度检测器的参数训练的具体包括如下步骤：
配置人脸识别模型；
配置超参数；
融合配置过的所述人脸识别模型和粗粒度检测器，进行伪造人脸检测任务和人脸识别任务的训练。
4.如权利要求3所述的多粒度人脸伪造检测方法，其特征在于，配置人脸识别模型的具体步骤如下：
增加一个所述人脸识别模型最后一层分类层的输出神经元；
将所述增加的输出神经元作为真伪人脸的检测输出，对应于不同标签的预测结果，其他神经元的输出对应于人脸分类标签的预测结果。
5.一种多粒度人脸伪造检测系统，其特征在于，包括如下步骤：
伪造人脸生成模块，将原始人脸数据集和人脸伪造数据集集合为合成数据集；
粗粒度检测器构建模块，利用所述合成数据集进行伪造人脸检测任务和人脸识别任务 的训练，以完成粗粒度检测器的参数训练；所述粗粒度检测器的损失函数
Figure 852194DEST_PATH_IMAGE001
为：
Figure 915965DEST_PATH_IMAGE002
，
其中，
Figure 849286DEST_PATH_IMAGE003
为交叉熵损失函数，
Figure 439536DEST_PATH_IMAGE004
为人脸数据特征
Figure 167320DEST_PATH_IMAGE005
对应的正负类标签，数值0表示伪造人 脸，数值1表示真实人脸，
Figure 718387DEST_PATH_IMAGE006
为人脸识别任务的损失函数，
Figure 861924DEST_PATH_IMAGE007
为伪造人脸检测任务的损失函 数，
Figure 119730DEST_PATH_IMAGE008
为重要性因子，
Figure 346312DEST_PATH_IMAGE005
为人脸数据的特征；
细粒度检测器构建模块，在人脸识别模型中的某一网络层后添加检测结构，所述检测结构由卷积核为1X1的卷积层和一个全连接层组成；删除所述某一网络层后的网络结构，使得某一网络层前的结构和所述检测结构形成细粒度检测器；将已训练的粗粒度检测器对应结构的参数加载到细粒度检测器；配置超参数；训练细粒度检测器并更新所述检测结构的参数；所述某一网络层通过如下步骤确定：
计算所述人脸识别模型的每一层输出的感受野大小；
通过选择模型的部分层作为备选的添加点，对备选的网络层的中间层构建的检测器和其前后两层构建的检测器进行训练；
选择其中最佳性能决定新的备选添加点，直到获得最佳性能的细粒度检测器，对应的添加点前的网络层即为某一网络层；
人脸伪造检测和识别模块，将所述粗粒度检测器和细粒度检测器结合起来检测人脸伪造情况并输出人脸识别结果。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的多粒度人脸伪造检测方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至4任一项所述的多粒度人脸伪造检测方法的步骤。
CN202210753884.2A 2022-06-30 2022-06-30 一种多粒度人脸伪造检测方法、系统、设备和介质 Active CN114821825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210753884.2A CN114821825B (zh) 2022-06-30 2022-06-30 一种多粒度人脸伪造检测方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210753884.2A CN114821825B (zh) 2022-06-30 2022-06-30 一种多粒度人脸伪造检测方法、系统、设备和介质

Publications (2)

Publication Number Publication Date
CN114821825A CN114821825A (zh) 2022-07-29
CN114821825B true CN114821825B (zh) 2022-12-06

Family

ID=82523371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210753884.2A Active CN114821825B (zh) 2022-06-30 2022-06-30 一种多粒度人脸伪造检测方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN114821825B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238015A (zh) * 2023-08-28 2023-12-15 浙江大学 一种基于生成模型的通用深度伪造检测方法
CN117611923A (zh) * 2024-01-08 2024-02-27 北京锐融天下科技股份有限公司 一种身份证件真伪识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783505A (zh) * 2019-05-10 2020-10-16 北京京东尚科信息技术有限公司 伪造人脸的识别方法、装置和计算机可读存储介质
CN111914616A (zh) * 2020-06-05 2020-11-10 华南理工大学 指静脉识别与防伪一体化方法、装置、存储介质和设备
CN112116560A (zh) * 2020-08-20 2020-12-22 华南理工大学 一种焊接图像缺陷识别方法、装置、存储介质及设备
CN112906508A (zh) * 2021-02-01 2021-06-04 四川观想科技股份有限公司 一种基于卷积神经网络的面部活体检测方法
CN113762138A (zh) * 2021-09-02 2021-12-07 恒安嘉新（北京）科技股份公司 伪造人脸图片的识别方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783505A (zh) * 2019-05-10 2020-10-16 北京京东尚科信息技术有限公司 伪造人脸的识别方法、装置和计算机可读存储介质
CN111914616A (zh) * 2020-06-05 2020-11-10 华南理工大学 指静脉识别与防伪一体化方法、装置、存储介质和设备
CN112116560A (zh) * 2020-08-20 2020-12-22 华南理工大学 一种焊接图像缺陷识别方法、装置、存储介质及设备
CN112906508A (zh) * 2021-02-01 2021-06-04 四川观想科技股份有限公司 一种基于卷积神经网络的面部活体检测方法
CN113762138A (zh) * 2021-09-02 2021-12-07 恒安嘉新（北京）科技股份公司 伪造人脸图片的识别方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
精耕AI:创新解决当下 赋能安防未来――访北京中科奥森数据科技有限公司安防事业部总经理刘冬;马亚平;《中国安防》;20180501(第05期);第17-22页 *
高精度三维人脸识别技术及其门禁应用研究;黄飞虎;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑（月刊）》;20220115;第67-101页 *

Also Published As

Publication number Publication date
CN114821825A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114821825B (zh) 一种多粒度人脸伪造检测方法、系统、设备和介质
Shen et al. BBAS: Towards large scale effective ensemble adversarial attacks against deep neural network learning
CN113420729B (zh) 多尺度目标检测方法、模型、电子设备及其应用
CN109302410B (zh) 一种内部用户异常行为检测方法、系统及计算机存储介质
US20190005069A1 (en) Image Retrieval with Deep Local Feature Descriptors and Attention-Based Keypoint Descriptors
CN110245132B (zh) 数据异常检测方法、装置、计算机可读存储介质和计算机设备
CN108596616B (zh) 用户数据真实性分析方法及装置、存储介质、电子设备
CN113887580B (zh) 一种考虑多粒度类相关性的对比式开放集图像识别方法及装置
CN112085088A (zh) 图像处理方法、装置、设备及存储介质
CN115147875A (zh) 防欺骗方法和设备
Chen et al. Identifying tampering operations in image operator chains based on decision fusion
Heidari et al. Deepfake detection using deep learning methods: A systematic and comprehensive review
CN111985207A (zh) 一种访问控制策略的获取方法、装置及电子设备
CN114897764A (zh) 基于标准化通道注意力的肺结节假阳性排除方法及装置
CN114037056A (zh) 一种生成神经网络的方法、装置、计算机设备和存储介质
CN111985434A (zh) 模型增强的人脸识别方法、装置、设备及存储介质
CN116245630A (zh) 一种反欺诈检测方法、装置、电子设备及介质
CN113177110B (zh) 一种虚假新闻检测方法、装置、计算机设备和存储介质
Li et al. Local co-occurrence selection via partial least squares for pedestrian detection
CN116092094A (zh) 图像文本识别方法、装置、计算机可读介质及电子设备
CN113469816A (zh) 基于多组学技术的数字货币识别方法、系统和存储介质
Jose et al. Detection of Credit Card Fraud Using Resampling and Boosting Technique
Spratling Comprehensive assessment of the performance of deep learning classifiers reveals a surprising lack of robustness
Shelar et al. Image forgery detection using integrated convolution-LSTM (2D) and convolution (2D)
Ahmed et al. A CNN-based novel approach for the detection of compound Bangla handwritten characters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant