CN113642428A - 人脸活体检测方法、装置、电子设备及存储介质 - Google Patents

人脸活体检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113642428A
CN113642428A CN202110865025.8A CN202110865025A CN113642428A CN 113642428 A CN113642428 A CN 113642428A CN 202110865025 A CN202110865025 A CN 202110865025A CN 113642428 A CN113642428 A CN 113642428A
Authority
CN
China
Prior art keywords
detection
model
image
face
factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110865025.8A
Other languages
English (en)
Other versions
CN113642428B (zh
Inventor
王珂尧
刘聪毅
张国生
陆杰
黄泽斌
邹棹帆
岳海潇
冯浩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110865025.8A priority Critical patent/CN113642428B/zh
Publication of CN113642428A publication Critical patent/CN113642428A/zh
Priority to KR1020220083658A priority patent/KR20220104110A/ko
Priority to JP2022120125A priority patent/JP7414902B2/ja
Priority to EP22187501.6A priority patent/EP4064215A3/en
Application granted granted Critical
Publication of CN113642428B publication Critical patent/CN113642428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本公开提供了一种人脸活体检测方法、装置、电子设备及存储介质，涉及图像处理技术领域，具体涉及计算机视觉和深度学习等人工智能技术领域。具体实施方案为，获取待检测的包含人脸的源图像；基于源图像，获取每个检测模型的检测图像，其中，检测模型包括活体检测主模型和至少一个因子检测辅模型，因子检测辅模型用于对活体检测中的一个防攻击因子进行检测；获取活体检测主模型的第一检测概率和因子检测辅模型的第二检测概率；根据第一检测概率和第二检测概率，确定活体检测结果。由此，能够提高人脸活体检测的准确度和泛化性。

Description

人脸活体检测方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体涉及计算机视觉和深度学习等人工智能技术领域。
背景技术
人脸活体检测是人脸检测领域的基础技术之一，应用于安防、考勤、金融、门禁通行等诸多场景。人脸活体检测即区分一张图像是否为真人拍摄，是用于保证人脸识别系统安全性的基础。
发明内容
本公开提供了一种用于人脸活体检测方法、装置、电子设备及存储介质。
根据本公开的第一方面，提供了一种人脸活体检测方法，包括：获取待检测的包含人脸的源图像；基于所述源图像，获取每个检测模型的检测图像，其中，所述检测模型包括活体检测主模型和至少一个因子检测辅模型，所述因子检测辅模型用于对活体检测中的一个防攻击因子进行检测；获取所述活体检测主模型的第一检测概率和所述因子检测辅模型的第二检测概率；根据所述第一检测概率和所述第二检测概率，确定活体检测结果。
根据本公开的第二方面，提供了一种人脸活体检测装置，包括：第一获取模块，用于获取待检测的包含人脸的源图像；第二获取模块，用于基于所述源图像，获取每个检测模型的检测图像，其中，所述检测模型包括活体检测主模型和至少一个因子检测辅模型，所述因子检测辅模型用于对活体检测中的一个防攻击因子进行检测；第三获取模块，用于获取所述活体检测主模型的第一检测概率和所述因子检测辅模型的第二检测概率；确定模块，用于根据所述第一检测概率和所述第二检测概率，确定活体检测结果。
根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的人脸活体检测方法。
根据本公开第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的人脸活体检测方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述一方面实施例所述的人脸活体检测方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例提供的一人脸活体检测方法的流程示意图；
图2为本公开实施例提供的另一人脸活体检测方法的流程示意图；
图3为本公开实施例提供的一人脸活体检测方法的T形区域图像的示意图；
图4为本公开实施例提供的另一人脸活体检测方法的流程示意图；
图5为本公开实施例提供的另一人脸活体检测方法的流程示意图；
图6为本公开实施例提供的另一人脸活体检测方法的流程示意图；
图7为本公开实施例提供的另一人脸活体检测方法的流程示意图；
图8为本公开实施例提供的一人脸活体检测方法的整体流程示意图
图9为本公开实施例提供的一人脸活体检测装置的结构示意图；
图10为根据本公开实施例的人脸活体检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的人脸活体检测方法、装置和电子设备。
人工智能(Artificial Intelligence，简称AI)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
深度学习(Deep Learning，DL)，是机器学习(Machine Learning，ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
计算机视觉，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取“信息”的人工智能系统，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
图像处理(image processing)技术，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。
本公开实施例提供的人脸活体检测方法，可以由电子设备来执行，该电子设备可为个人计算机(Personal Computer，PC)、平板电脑、掌上电脑或手机等，此处不做任何限定。
在本公开实施例中，电子设备中可以设置有处理组件、存储组件和驱动组件。可选的，该驱动组件和处理组件可以集成设置，该存储组件可以存储操作系统、应用程序或其他程序模块，该处理组件通过执行存储组件中存储的应用程序来实现本公开实施例提供的人脸活体检测方法。
需要说明的是，本公开实施例提供的人脸活体检测方法，可应用在具有人脸识别功能的应用程序(Application，APP)中，也可以应用在专门的视频APP中，此处不做任何限定。另外，上述的具有人脸识别功能的APP均可安装于电子设备(例如，手机、平板电脑等)中。
图1为本公开实施例提供的一种人脸活体检测方法的流程示意图。
本公开实施例的人脸活体检测方法，还可由本公开实施例提供的人脸活体检测装置执行，该装置可配置于电子设备中，以实现获取待检测的包含人脸的源图像；基于源图像，获取每个检测模型的检测图像，其中，检测模型包括活体检测主模型和至少一个因子检测辅模型，因子检测辅模型用于对活体检测中的一个防攻击因子进行检测；获取活体检测主模型的第一检测概率和因子检测辅模型的第二检测概率；根据第一检测概率和第二检测概率，确定活体检测结果。本公开中，由于设置了活体检测主模型和至少一个因子检测辅模型，可以从多维度对人脸图像进行活体检测，从而可以提高人脸活体检测的泛化性和精度。
作为一种可能的情况，本公开实施例的人脸活体检测方法还可以在服务器端执行，该服务器可以为云服务器，可以在云端执行该人脸活体检测方法。
如图1所示，该人脸活体检测方法，可包括：
步骤101，获取待检测的包含人脸的源图像。
需要说明的是，本公开实施例中所描述的源图像为红绿蓝色彩(Red GreenBlue，RGB)图像。
在本公开实施例中，获取待检测的包含人脸的源图像的方法可有多种，其中，可通过采集装置(例如，外设摄像头)实时拍照获得包含人脸的源图像，并通过通信连接发送至电子设备。需要说明的是，该通信连接可以是无线网络连接和有线网络连接的至少一种。
作为另一种可能的情况，还可以基于用户的选取操作从图库中选取一个包含人脸图像作为源图像，并将源图像输入至电子设备中。
步骤102，基于源图像，获取每个检测模型的检测图像，其中，检测模型包括活体检测主模型和至少一个因子检测辅模型，因子检测辅模型用于对活体检测中的一个防攻击因子进行检测。
需要说明的是，该实施例中所描述的检测模型可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。其中，该存储空间不仅限于基于实体的存储空间，例如，硬盘，上述存储空间还可以是连接电子设备的网络硬盘的存储空间(云存储空间)。
可选地，该检测模型的训练与生成均可由相关的训练服务器执行，该训练服务器可以是云端服务器，也可以是一台电脑的主机，该训练服务器与可执行公开实施例提供的人脸活体检测方法的电子设备之间，建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种。该训练服务器可将训练完成的检测模型发送给该电子设备，以便该电子设备在需要时调用，从而大大减少该电子设备的计算压力。
在本公开实施例中，因子检测辅模型可以为多种，例如，屏幕因子检测辅模型、面具因子检测辅模型、T形因子检测辅模型、面部器官因子检测辅模型等。本公开中活体检测主模型和因子检测辅模型可以形成一个活体检测系统，可以根据实际情况为该活体检测系统配置一个或多个因子检测辅模型，以进行辅助活体检测。
可选地，该实施例中所描述的每个检测模型对应的检测图像可以为不同的人脸区域图像，例如，面部器官因子检测辅模型对应的检测图像可以为面部器官图像，T形因子检测辅模型的检测图像可以为人脸图像中的提取眼睛和鼻子区域生成T形区域图像，面部器官因子检测辅模型的检测图像可以为面部器官图像等。
可选地，在本公开实施例中，可将人脸的源图像输入至检测图像生成模型中，以获取每个检测模型的检测图像。
可选地，电子设备在获取到人脸的源图像后，可以将源图像输入至检测图像生成模型中，从而通过检测图像生成模型对源图像进行处理(提取)，以使该检测图像生成模型输出至少二个检测图像，即活体检测主模型和至少一个因子检测辅模型的检测图像。
需要说明的是，该实施例中所描述的检测图像生成模型可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。
可选地，还可以使用检测图像生成工具(例如，插件)，将源图像进行预处理得到检测图像。
步骤103，获取活体检测主模型的第一检测概率和因子检测辅模型的第二检测概率。
在本公开实施例中，电子设备在获取每个检测模型的检测图像后，可将对应检测图像分别输入至活体检测主模型和至少一个因子检测辅模型中，以得到第一检测概率和至少一个第二检测概率。应该说明的是，第一检测概率用于表征活体检测主模型检测出人脸为活体的可能性；第二检测概率用于表征因子检测辅模型检测出人脸为活体的可能性。
需要说明的是，上述第一检测概率和第二检测概率均为大于0且小于1的数。
步骤104，根据第一检测概率和第二检测概率，确定活体检测结果。
在本公开实施例中，可将第一检测概率和第二检测概率输入至活体检测结果算法中计算，生成活体检测概率。
进一步地，可将活体检测概率与通过阈值进行比较，如果活体检测概率大于通过阈值，则认为输入图像为活体图像输入，对应的活体检测结果为通过活体检测；如果活体检测概率小于通过阈值，则认为输入图像为非活体图像输入，对应的活体检测结果为未通过活体检测。
需要说明的是，该实施例中所描述的通过阈值为大于0且小于1的数，可根据实际情况进行设定。
可选地，上述实施例中所描述的活体检测结果算法可为提前编辑好的，并将其预存在电子设备的存储空间中，以方便调取应用。
在本公开实施例中，首先获取待检测的包含人脸的源图像，并基于源图像，获取每个检测模型的检测图像，其中，检测模型包括活体检测主模型和至少一个因子检测辅模型，因子检测辅模型用于对活体检测中的一个防攻击因子进行检测，然后获取活体检测主模型的第一检测概率和因子检测辅模型的第二检测概率，最后根据第一检测概率和第二检测概率，确定活体检测结果。通过增加至少一个因子检测辅模型配合活体检测主模型工作，可以增加活体检测的维度，提升活体检测方法的性能，由此，能够提高人脸活体检测的准确度和泛化性。
上述实施例中，基于源图像，获取每个检测模型的检测图像，可结合图2进一步理解，图2本公开实施例提供的另一人脸活体检测方法的流程示意图，如图2所示，该方法包括：
步骤201，对源图像进行人脸检测，以从源图像中截取人脸图像。
在本公开实施例中，电子设备在获取源图像后，可将源图像输入至人脸检测模型中，通过该人脸检测模型检测出源图像中的人脸所在位置，以从源图像中截取人脸图像。
需要说明的是，上述实施例所描述的人脸检测模型可为提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。其中，该存储空间不仅限于基于实体的存储空间，例如，硬盘，上述存储空间还可以是连接电子设备的网络硬盘的存储空间(云存储空间)。
可选地，电子设备在获取源图像后，可对源图像进行处理得到多个人脸坐标关键点，通过这些关键点，可以确定人脸器官位置和人脸轮廓，并可通过人脸坐标关键点截取人脸图像。
步骤202，针对每个检测模型，对人脸图像进行与检测模型相匹配的图像处理操作，以生成检测模型的检测图像。
在本公开实施例中，首先对源图像进行人脸检测，以从源图像中截取人脸图像，然后针对每个检测模型，对人脸图像进行与检测模型相匹配的图像处理操作，以生成检测模型的检测图像。应该说明的是，每个检测模型的检测图像可以为不同的图像。
具体地，响应于检测模型为活体检测主模型或屏幕因子检测辅模型，对人脸图像进行放大第一设定值，作为活体检测主模型或屏幕因子检测辅模型的检测图像，其中，屏幕因子检测模型用于检测检测图像的背景是否存在边框和/或反光。
需要说明的是，屏幕因子检测辅模型主要针对电子屏幕攻击。电子屏幕攻击是一种常见的攻击方式，比如有手机照片攻击、电脑屏幕照片攻击、掌上电脑照片攻击、高清屏照片攻击等，电子屏幕攻击方式丰富且容易获得，且电子屏幕大多都有边框和/或反光。
可选地，活体检测主模型或屏幕因子检测辅模型的第一设定值可为3，即对人脸图像进行放大3倍，将将放大后的人脸图像尺寸调整到224×224，作为活体检测主模型或屏幕因子检测辅模型的检测图像。
可选地，当电子设备确定人脸检测框后，可将此人脸检测框扩大3倍再截取人脸图像，并可将截取后的RGB人脸图像进行图像归一化处理。需要说明的是，图像归一化处理，是将图像中的每一个像素依次进行归一化处理。举例来说，归一化处理的方法可以是：将每个像素的像素值减128再除以256，使每个像素的像素值在[-0.5,0.5]之间。将归一化处理后的图像进行随机数据增强处理，作为活体检测主模型和屏幕因子检测辅模型的输入。
进一步地，活体检测主模型和屏幕因子检测辅模型在接收到输入图像后，可通过特征提取网络使用MobileNet(移动端深度学习网络)作为卷积神经网络的backbone(神经网络应用框架)，最后经过全连接层和Softmax(归一化)层进行图像分类，完成屏幕因子的活体检测分类，从而得到相应的第一检测概率和至少一个第二检测概率。
作为另一种可能的情况，响应于检测模型为面具因子检测辅模型，对人脸图像进行放大第二设定值，作为面具因子检测辅模型的检测图像，其中，面具因子检测模型用于检测检测图像是否为剪裁出的2D(two-dimens，2维)面具，2D面具包括用做攻击的人脸。
需要说明的是，面具因子检测辅模型主要针对2D面具攻击。2D面具攻击是用真实人脸大小的打印纸或者打印照片剪裁制作而成，沿着头发和面部边缘进行裁剪至符合人脸大小，并且会裁剪出眼睛、鼻子、嘴巴区域，使真人在戴该2D面具时五官可以正常露出，可以正常通过动作活体。2D面具的攻击方式也比较常见，而且与面部贴合较好，比较难分辨。
可选地，在本公开实施例中，第二设定值可为1.5，即人脸图像进行放大1.5倍，以获得面具因子检测辅模型的检测图像。
举例来说，电子设备在得到包含72个人脸坐标关键点的人脸图像后，可将此人脸框扩大1.5倍再截取人脸图像，调整到尺寸224×224。
进一步地，面具因子检测辅模型在接收到检测图像后，电子设备可通过特征提取网络使用MobileNet作为卷积神经网络的backbone，最后经过全连接层和Softmax层进行图像分类，完成屏幕因子的活体检测分类，从而得到相应的第一检测概率和至少一个第二检测概率。
作为另一种可能的情况，响应于检测模型为T形因子检测辅模型，从人脸图像中的提取眼睛和鼻子区域生成T形区域图像，作为T形因子检测辅模型的检测图像，其中，T形因子检测辅模型用于检测检测图像是否为剪裁出的T形面具，T形面具仅包括眼睛和鼻子。
需要说明的是，T形因子检测辅模型主要针对T形攻击。T形攻击是一种新型攻击方式，具体攻击方式是将一张打印纸剪成只保留双眼和鼻子行成的一个T形面具，将其贴在眼镜上进行攻击，可以攻破目前很多只用RGB静默活体的手机锁屏。
可选地，T形区域图像可以为鼻子中心关键点为中心裁剪的区域。如图3所示，电子设备在得到包含72个人脸坐标关键点的人脸图像后，可以以鼻子中心关键点为中心裁剪鼻子区域，并通过电子设备将得到的裁剪图像变为128x128尺寸。
进一步地，T形因子检测辅模型在接收到T形区域图像后，可通过特征提取网络使用MobileNet作为卷积神经网络的backbone，最后经过全连接层和Softmax层进行图像分类，完成屏幕因子的活体检测分类，从而得到相应的第一检测概率和至少一个第二检测概率。
作为另一种可能的情况，响应于检测模型为面部器官因子检测辅模型，从人脸图像中获取面部器官图像，作为面部器官因子检测辅模型的检测图像，其中，面部器官因子检测辅模型用于对检测图像进行检测，以确定是否为面部器官。
需要说明的是，上述实施例中所描述的面部器官因子检测辅模型是针对面部器官攻击进行活体检测，其中面部器官可包含眼镜、嘴巴、鼻子等。
可选地，获取面部器官图像可通过72个人脸关键点坐标定位获得。举例来说，获取眼睛的面部器官图像步骤可为，在电子设备获取72个人脸关键点坐标之后，将双眼区域图像截取下来，根据人脸关键点找出左眼的左眼角坐标(xa,ya)和右眼的眼角坐标(xb,yb)求出眼角的距离L1和眼睛的中心点C1，求得仿射变换矩阵M1，根据仿射变换将原图仿射变换到尺寸为120x40的包含双眼的图像将双眼图像。
进一步地，面部器官因子检测辅模型再接收到面部器官图像后，将得到的面部器官图像送入5层卷积+3层最大池化+1层全连接层的卷积神经网络中进行二分类活体训练，完成面部器官因子检测辅模型的活体检测分类。
由此，可以针对不同的检测模型，生成与该检测模型匹配的检测图像，使得检测模型关于不同的检测维度或部分输入不同的检测图像，从而可以从多个维度进行人脸活体检测，大大增加了人脸活体检测的准确性和泛化性。
上述实施例中，关于从源图像中截取人脸图像，可结合图4进一步理解，图4为本公开实施例提供的另一人脸活体检测方法的流程示意图，如图4所示，该方法包括：
步骤401，从源图像中确定人脸所在区域。
在本公开实施例中，电子设备在获取到源图像后，可将源图像输入至人脸检测模型中进行处理(定位)，得到人脸的大致位置区域。
可选地，电子设备还可以使用人脸轮廓检测软件(例如，插件)进行检测，以得到人脸轮廓的大致位置区域。
步骤402，对人脸所在区域进行人脸关键点检测，获取检测出的人脸关键点的坐标值。
可选地，电子设备可以通过人脸关键点检测模型对检测到的人脸位置区域进行人脸关键点检测，以得到人脸的N个关键点和N个关键点的坐标值。其中，人脸关键点可包括左眼角关键点、右眼角关键点、鼻子轮廓关键点等，具体需要根据实际情况进行设定。
需要说明的是，该关键点坐标值为二维坐标值(xN,yN)，其中N为正整数。举例来说，将已检测到人脸所在区域输入至人脸关键点检测模型中，可得到72个人脸关键点坐标，分别为(x1,y1)(x2,y2)…(x72,y72)。
步骤403，基于检测出的人脸关键点的坐标值，从源图像中截取人脸图像。
在本公开实施例中，电子设备在获取到人脸人脸关键点坐标后，可根据人脸的关键点坐标值对目标人脸进行人脸对齐得到人脸图像。具体做法为，根据72个人脸关键点坐标得到x和y的最大最小值xmin，xmax，ymin，ymax，并根据最大最小值可以确定一个人脸框，以截取人脸图像。进一步地，在本公开实施例中，获取人脸关键点的最大坐标值和最小坐标值，并根据最大坐标值和最小坐标值，从源图像中确定人脸检测框，从人脸检测框中截取人脸图像。
具体地，电子设备在获取人脸关键点坐标值后，可根据获取的人脸关键点坐标值得到x和y的最大最小值xmin，xmax，ymin，ymax，根据最大最小值可以确定一个人脸框，将此人脸框放大若干倍，然后从人脸检测框中截取人脸图像。
举例来说，人脸关键点坐标可为72个，分别为分别为(x1,y1)(x2,y2)…(x72,y72)，根据72个人脸关键点坐标得到x和y的最大最小值xmin，xmax，ymin，ymax，根据最大最小值可以确定一个人脸框，然后将此人脸框扩大三倍再截取人脸图像，调整到尺寸224x224。
需要说明的是，上述实施例中所描述的放大倍数可根据不同模型进行设定。由此，可以根据人脸关键点坐标，准确的确定人脸框，可为后续操作提供准确的人脸图像。
在本公开实施例中，首先从源图像中确定人脸所在区域，并对人脸所在区域进行人脸关键点检测，获取检测出的人脸关键点的坐标值，而后基于检测出的人脸关键点的坐标值，从源图像中截取人脸图像。由此，能够从源图像中准确的提取人脸图像，为生成准确的检测图像提供保证。
上述实施例中，关于根据第一检测概率和第二检测概率，确定活体检测结果，可结合图5进一步解释，图5为本公开实施例提供的另一人脸活体检测方法的流程示意图，如图5所示，该方法包括：
步骤501，获取待检测的包含人脸的源图像。
步骤502，基于源图像，获取每个检测模型的检测图像，其中，检测模型包括活体检测主模型和至少一个因子检测辅模型，因子检测辅模型用于对活体检测中的一个防攻击因子进行检测。
步骤503，获取活体检测主模型的第一检测概率和因子检测辅模型的第二检测概率。
关于步骤501～步骤503的实现方式可参照上述实施例中相关内容的记载，此处不再赘述。
步骤504，响应于根据第一检测概率确定出活体检测主模型通过检测，且响应于根据第二检测概率确定出因子检测辅模型均通过检测，则确定活体检测结果为通过活体检测。
步骤505，响应于根据第一检测概率确定出活体检测主模型未通过检测，和/或响应于根据第二检测概率确定出至少部分因子检测辅模型未通过检测，则确定活体检测结果为未通过活体检测。
在本公开实施例中，电子设备在获得第一检测概率和第二检测概率后，可将第一检测概率和第二检测概率分别与第一通过阈值和第二通过阈值进行比较，若第一检测概率大于第一通过阈值，则认为活体检测主模型通过检测，若第一检测概率小于第一通过阈值，则认为活体检测主模型未通过检测。同样地，若第二检测概率大于第二通过阈值，则认为因子检测辅模型通过检测，若第二检测概率小于第二通过阈值，则认为因子检测辅模型未通过检测。
进一步地，为了不让新增的因子模型降低活体通过率，第二通过阈值通常远小于第一通过阈值，举例来说，第一通过阈值可以为0.9，第二通过阈值可为0.05。
也就是说，为了保证活体检测的准确性，进而提高基于人脸识别各个应用场景的安全性，电子设备在活体检测主模型通过检测，且因子检测辅模型均通过检测时，将活体检测结果最终确定为通过活体检测。
可选地，电子设备在活体检测主模型未通过检测，但是因子检测辅模型通过检测的情况下，说明源图像并非实时对活体进行采集的图像，为伪造出的可以绕过辅模型的攻击图像，此时电子设备为了保证活体检测的准确性，可以直接将活体检测结果确定为未通过活体检测。
可选地，电子设备在活体检测主模型通过检测，但是有一个或多个因子检测辅模型出现未通过检测的情况，由于多个因子检测辅模型同样为了保证活体检测的安全性，因此因子检测辅模型未通过检测时，说明源图像为对应因子的攻击图像，此时电子设备为了保证活体检测的准确性，可以直接将活体检测结果确定为未通过活体检测。
可选地，电子设备在活体检测主模型未通过检测，且因子检测辅模型同样未通过检测的情况下，电子设备可以直接将活体检测结果确定为未通过活体检测。
需要说明的是，本公开的人脸活体检测方法可应用于安防、考勤、金融、门禁通行等诸多场景，在当前的很多业务上都有广泛应用。通过本公开的方案能够提升人脸活体检测的检测维度，大大提升活体检测的检测性能，从而大大增加使用的安全性和泛化性。
由此，可以通过第一检测概率和第二检测概率判断活体检测主模型和因子检测辅模型是否通过检测，从而准确地判定活体检测结果。
上述实施例中，关于根据第一检测概率和第二检测概率，确定活体检测结果，可结合图6进一步解释，图6为本公开实施例提供的另一人脸活体检测方法的流程示意图，如图6所示，该方法包括：
步骤601，响应于根据第二检测概率确定出因子检测辅模型中存在未通过检测的目标因子检测辅模型，则对第一检测概率进行减小调整，以得到第三检测概率。
需要说明的是，上述实施例中所描述的对第一检测概率进行减小调整，可以为将第一检测概率乘以减小系数N，其中0＜N＜1，例如，减小系数N可为0.9。
具体地，电子设备每检测到一个未通过检测的目标因子检测辅模型，则第一检测概率乘以减小系数N，最终得到第三检测概率。
步骤602，响应于根据第三检测概率大于或者等于活体检测阈值，则确定活体检测结果为通过活体检测。
步骤603，响应于根据第三检测概率小于活体检测阈值，则确定活体检测结果为未通过活体检测。
需要说明的是，上述实施例中所描述的活体检测阈值为大于0小于1的数。例如，活体检测阈值可为0.9。
在本公开实施例中，首先响应于根据第二检测概率确定出因子检测辅模型中存在未通过检测的目标因子检测辅模型，则对第一检测概率进行减小调整，以得到第三检测概率。响应于根据第三检测概率大于或者等于活体检测阈值，则确定活体检测结果为通过活体检测；响应于根据第三检测概率小于活体检测阈值，则确定活体检测结果为未通过活体检测。由此，可以通过因子检测辅模型的检测结果对活体检测主模型的检测结果进行多维度调整，大大增加活体检测的准确度。
上述实施例中，关于根据对第二检测概率进行减小调整，生成第三检测概率，可结合图7进一步解释，图7为本公开实施例提供的另一人脸活体检测方法的流程示意图，如图7所示，该方法包括：
步骤701，根据目标因子检测辅模型的类型，确定目标因子检测辅模型的调整系数，其中调整系数用于对第一检测概率进行调整。
在本公开实施例中，调整系数包含通过系数和未通过系数，当检测图像通过目标因子检测辅模型的活体检测时，则调整系数为通过系数，当未通过活体检测时，则调整系数为未通过系数。
需要说明的是，上述通过系数为1，未通过系数为大于0小于1的数。
可选地，不同的因子检测辅模型的调整系数可以不同，具体数值根据实际情况进行设定。举例来说，面具因子检测辅模型的调整系数可以为0.95，屏幕因子检测辅模型的调整系数可以为0.97，T形因子检测辅模型的调整系数可以为0.93等。
步骤702，响应于存在一个目标因子检测辅模型，将第一检测概率与调整系数相乘，得到第三检测概率。
步骤703，响应于存在两个或两个以上目标因子检测辅模型，对目标因子检测辅模型的调整系数进行相乘，获取总调整系数。
举例来说，电子设备获取到的目标因子检测辅模型1的调整系数为K1，目标因子检测辅模型2的调整系数为K2，目标因子检测辅模型3的调整系数为K3……目标因子检测辅模型N的调整系数为KN，则总调整系数为K1*K2*K3……*KN。
步骤704，将第一检测概率与总调整系数相乘，得到第三检测概率。根据上述实施例中所得到的总调整系数，可与第一检测概率相乘，得到第三检测概率。第三检测概率可以为K1*K2*K3……*KN*第一检测概率。
在本公开实施例中，首先根据目标因子检测辅模型的类型，确定目标因子检测辅模型的调整系数，其中调整系数用于对第一检测概率进行调整，若响应于存在一个目标因子检测辅模型，将第一检测概率与调整系数相乘，得到第三检测概率，若响应于存在两个或两个以上目标因子检测辅模型，对目标因子检测辅模型的调整系数进行相乘，获取总调整系数，并将第一检测概率与总调整系数相乘，得到第三检测概率。由此，可以通过因子检测辅模型的检测结果对活体检测主模型的检测结果进行调整，从而得到准确的检测结果。
图8为人脸活体检测方法的整体流程示意图，如图8所示，首先将包含人脸的源图像输入至电子设备中，电子设备通过调取人脸检测模型对源图像进行处理，得到人脸所在区域，然后电子设备可以通过调用人脸关键点检测模型对人脸关键点进行检测得到人脸的若干个关键点坐标值，然后根据人脸关键点坐标得到x和y的最大最小值xmin，xmax，ymin，ymax，并根据最大最小值可以确定一个人脸框，从而实现人脸对齐。响应于检测模型为活体检测主模型或屏幕因子检测辅模型，第一设定值可为3，即对人脸图像进行放大3倍，作为活体检测主模型或屏幕因子检测辅模型的检测图像，并输出第一检测概率和屏幕因子检测辅模型的第二检测概率；响应于检测模型为面具因子检测辅模型，第二设定值可为1.5，即人脸图像进行放大1.5倍，输入至面具因子检测辅模型并输出面具因子检测辅模型的第二检测概率；响应于检测模型为T形因子检测辅模型，从人脸图像中的提取眼睛和鼻子区域生成T形区域图像，作为T形因子检测辅模型的检测图像，并输出T形因子检测辅模型的第二检测概率；响应于检测模型为面部器官因子检测辅模型，从人脸图像中获取面部器官图像，并作为面部器官因子检测辅模型的输入图像，从而输出面部器官因子检测辅模型的第二检测概率。最后通过第一检测概率、面具因子检测辅模型的第二检测概率、T形因子检测辅模型的第二检测概率、面部器官因子检测辅模型的第二检测概率和屏幕因子检测辅模型的第二检测概率得出活体检测结果。
与上述几种实施例提供的人脸活体检测方法相对应，本公开的一个实施例还提供了一种人脸活体检测装置，由于本公开实施例提供的人脸活体检测装置与上述几种实施例提供的人脸活体检测方法相对应，因此上述人脸活体检测方法的实施方式也适用于本公开实施例提供的人脸活体检测装置，在下述实施例中不再详细描述。
图9为本公开实施例提供的一种人脸活体检测装置的结构示意图。
如图9所示，该人脸活体检测装置900，可包括：第一获取模块910、第二获取模块920、第三获取模块930、确定模块940。
其中，第一获取模块910，用于获取待检测的包含人脸的源图像；
第二获取模块920，用于基于源图像，获取每个检测模型的检测图像，其中，检测模型包括活体检测主模型和至少一个因子检测辅模型，因子检测辅模型用于对活体检测中的一个防攻击因子进行检测；
第三获取模块930，用于获取活体检测主模型的第一检测概率和因子检测辅模型的第二检测概率；
确定模块940，用于根据第一检测概率和第二检测概率，确定活体检测结果。
在本公开的一个实施例中，第二获取模块920，还用于：对源图像进行人脸检测，以从源图像中截取人脸图像；针对每个检测模型，对人脸图像进行与检测模型相匹配的图像处理操作，以生成检测模型的检测图像。
在本公开的一个实施例中，第二获取模块920，还用于：从源图像中确定人脸所在区域；对人脸所在区域进行人脸关键点检测，获取检测出的人脸关键点的坐标值；基于检测出的人脸关键点的坐标值，从源图像中截取人脸图像。
在本公开的一个实施例中，第二获取模块920，还用于：获取人脸关键点的最大坐标值和最小坐标值，并根据最大坐标值和最小坐标值，从源图像中确定人脸检测框，从人脸检测框中截取人脸图像。
在本公开的一个实施例中，确定模块940，还用于：响应于根据第一检测概率确定出活体检测主模型通过检测，且响应于根据第二检测概率确定出因子检测辅模型均通过检测，则确定活体检测结果为通过活体检测；响应于根据第一检测概率确定出活体检测主模型未通过检测，和/或响应于根据第二检测概率确定出至少部分因子检测辅模型未通过检测，则定活体检测结果为未通过活体检测。
在本公开的一个实施例中，确定模块940，还用于：响应于根据第二检测概率确定出因子检测辅模型中存在未通过检测的目标因子检测辅模型，则对第一检测概率进行减小调整，以得到第三检测概率；响应于根据第三检测概率大于或者等于活体检测阈值，则确定活体检测结果为通过活体检测；响应于根据第三检测概率小于活体检测阈值，则确定活体检测结果为未通过活体检测。
在本公开的一个实施例中，确定模块940，还包括：根据目标因子检测辅模型的类型，确定目标因子检测辅模型的调整系数，其中调整系数用于对第一检测概率进行调整；响应于存在一个目标因子检测辅模型，将第一检测概率与调整系数相乘，得到第三检测概率；或，响应于存在两个或两个以上目标因子检测辅模型，对目标因子检测辅模型的调整系数进行相乘，获取总调整系数；将第二检测概率与总调整系数相乘，得到第三检测概率。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1006载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如人脸活体检测方法。例如，在一些实施例中，人脸活体检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1006些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的人脸活体检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人脸活体检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种人脸活体检测方法，包括：
获取待检测的包含人脸的源图像；
基于所述源图像，获取每个检测模型的检测图像，其中，所述检测模型包括活体检测主模型和至少一个因子检测辅模型，所述因子检测辅模型用于对活体检测中的一个防攻击因子进行检测；
获取所述活体检测主模型的第一检测概率和所述因子检测辅模型的第二检测概率；
根据所述第一检测概率和所述第二检测概率，确定活体检测结果。
2.根据权利要求1所述的方法，其中，所述基于所述源图像，获取每个检测模型的检测图像，包括：
对所述源图像进行人脸检测，以从所述源图像中截取人脸图像；
针对每个所述检测模型，对所述人脸图像进行与所述检测模型相匹配的图像处理操作，以生成所述检测模型的检测图像。
3.根据权利要求2所述的方法，其中，所述对所述源图像进行人脸检测，以从所述源图像中截取人脸图像，包括：
从所述源图像中确定人脸所在区域；
对所述人脸所在区域进行人脸关键点检测，获取检测出的人脸关键点的坐标值；
基于所述检测出的人脸关键点的坐标值，从所述源图像中截取所述人脸图像。
4.根据权利要求3所述的方法，其中，所述基于检测出的所述关键点的坐标值，从所述源图像中截取所述人脸图像，包括：
获取所述人脸关键点的最大坐标值和最小坐标值，并根据所述最大坐标值和所述最小坐标值，从所述源图像中确定人脸检测框，从所述人脸检测框中截取所述人脸图像。
5.根据权利要求1-4任一项所述的方法，其中，所述根据所述第一检测概率和所述第二检测概率，确定活体检测结果，包括：
响应于根据所述第一检测概率确定出所述活体检测主模型通过检测，且响应于根据所述第二检测概率确定出所述因子检测辅模型均通过检测，则确定所述活体检测结果为通过活体检测；
响应于根据所述第一检测概率确定出所述活体检测主模型未通过检测，和/或响应于根据所述第二检测概率确定出至少部分所述因子检测辅模型未通过检测，则定所述活体检测结果为未通过活体检测。
6.根据权利要求1-4任一项所述的方法，其中，所述根据所述第一检测概率和所述第二检测概率，确定活体检测结果，包括：
响应于根据所述第二检测概率确定出所述因子检测辅模型中存在未通过检测的目标因子检测辅模型，则对所述第一检测概率进行减小调整，以得到第三检测概率；
响应于根据所述第三检测概率大于或者等于活体检测阈值，则确定所述活体检测结果为通过活体检测；
响应于根据所述第三检测概率小于所述活体检测阈值，则确定所述活体检测结果为未通过活体检测。
7.根据权利要求6所述的方法，其中，所述对所述第二检测概率进行减小调整，生成第三检测概率，包括：
根据所述目标因子检测辅模型的类型，确定所述目标因子检测辅模型的调整系数，其中所述调整系数用于对所述第一检测概率进行调整；
响应于存在一个所述目标因子检测辅模型，将所述第一检测概率与所述调整系数相乘，得到所述第三检测概率；或，
响应于存在两个或两个以上所述目标因子检测辅模型，对所述目标因子检测辅模型的所述调整系数进行相乘，获取总调整系数；
将所述第二检测概率与总调整系数相乘，得到所述第三检测概率。
8.根据权利要求2所述的方法，其中，所述对所述人脸图像进行与所述检测模型相匹配的图像处理操作，以生成所述检测模型的所述检测图像包括：
响应于所述检测模型为所述活体检测主模型或屏幕因子检测辅模型，对所述人脸图像进行放大第一设定值，作为所述活体检测主模型或屏幕因子检测辅模型的所述检测图像，其中，所述屏幕因子检测模型用于检测所述检测图像的背景是否存在边框和/或反光；或，
响应于所述检测模型为面具因子检测辅模型，对所述人脸图像进行放大第二设定值，作为所述面具因子检测辅模型的所述检测图像，其中，所述面具因子检测模型用于检测所述检测图像是否为剪裁出的2D面具，所述2D面具包括用做攻击的人脸；或，
响应于所述检测模型为T形因子检测辅模型，从所述人脸图像中的提取眼睛和鼻子区域生成T形区域图像，作为所述T形因子检测辅模型的所述检测图像，其中，所述T形因子检测辅模型用于检测所述检测图像是否为剪裁出的T形面具，所述T形面具仅包括眼睛和鼻子；或，
响应于所述检测模型为面部器官因子检测辅模型，从所述人脸图像中获取面部器官图像，作为所述面部器官因子检测辅模型的所述检测图像，其中，所述面部器官因子检测模型用于对所述检测图像进行检测，以确定是否为面部器官。
9.一种人脸活体检测装置，包括：
第一获取模块，用于获取待检测的包含人脸的源图像；
第二获取模块，用于基于所述源图像，获取每个检测模型的检测图像，其中，所述检测模型包括活体检测主模型和至少一个因子检测辅模型，所述因子检测辅模型用于对活体检测中的一个防攻击因子进行检测；
第三获取模块，用于获取所述活体检测主模型的第一检测概率和所述因子检测辅模型的第二检测概率；
确定模块，用于根据所述第一检测概率和所述第二检测概率，确定活体检测结果。
10.根据权利要求9所述的装置，其中，所述第二获取模块，还用于：
对所述源图像进行人脸检测，以从所述源图像中截取人脸图像；
针对每个所述检测模型，对所述人脸图像进行与所述检测模型相匹配的图像处理操作，以生成所述检测模型的检测图像。
11.根据权利要求10所述的装置，其中，所述第二获取模块，还用于：
从所述源图像中确定人脸所在区域；
对所述人脸所在区域进行人脸关键点检测，获取检测出的人脸关键点的坐标值；
基于所述检测出的人脸关键点的坐标值，从所述源图像中截取所述人脸图像。
12.根据权利要求11所述的装置，其中，所述第二获取模块，还用于：
获取所述人脸关键点的最大坐标值和最小坐标值，并根据所述最大坐标值和所述最小坐标值，从所述源图像中确定人脸检测框，从所述人脸检测框中截取所述人脸图像。
13.根据权利要求9-12所述的装置，其中，所述确定模块，还用于：
响应于根据所述第一检测概率确定出所述活体检测主模型通过检测，且响应于根据所述第二检测概率确定出所述因子检测辅模型均通过检测，则确定所述活体检测结果为通过活体检测；
响应于根据所述第一检测概率确定出所述活体检测主模型未通过检测，和/或响应于根据所述第二检测概率确定出至少部分所述因子检测辅模型未通过检测，则定所述活体检测结果为未通过活体检测。
14.根据权利要求9-12所述的装置，其中，所述确定模块，还用于：
响应于根据所述第二检测概率确定出所述因子检测辅模型中存在未通过检测的目标因子检测辅模型，则对所述第一检测概率进行减小调整，以得到第三检测概率；
响应于根据所述第三检测概率大于或者等于活体检测阈值，则确定所述活体检测结果为通过活体检测；
响应于根据所述第三检测概率小于所述活体检测阈值，则确定所述活体检测结果为未通过活体检测。
15.根据权利要求13所述的装置，其中，所述对所述第二检测概率进行减小调整，生成第三检测概率，包括：
根据所述目标因子检测辅模型的类型，确定所述目标因子检测辅模型的调整系数，其中所述调整系数用于对所述第一检测概率进行调整；
响应于存在一个所述目标因子检测辅模型，将所述第一检测概率与所述调整系数相乘，得到所述第三检测概率；或，
响应于存在两个或两个以上所述目标因子检测辅模型，对所述目标因子检测辅模型的所述调整系数进行相乘，获取总调整系数；
将所述第二检测概率与总调整系数相乘，得到所述第三检测概率。
16.根据权利要求10所述的装置，其中，所述第二获取模块，还用于：
响应于所述检测模型为所述活体检测主模型或屏幕因子检测辅模型，对所述人脸图像进行放大第一设定值，作为所述活体检测主模型或屏幕因子检测辅模型的所述检测图像，其中，所述屏幕因子检测模型用于检测所述检测图像的背景是否存在边框和/或反光；或，
响应于所述检测模型为面具因子检测辅模型，对所述人脸图像进行放大第二设定值，作为所述面具因子检测辅模型的所述检测图像，其中，所述面具因子检测模型用于检测所述检测图像是否为剪裁出的2D面具，所述2D面具包括用做攻击的人脸；或，
响应于所述检测模型为T形因子检测辅模型，从所述人脸图像中的提取眼睛和鼻子区域生成T形区域图像，作为所述T形因子检测辅模型的所述检测图像，其中，所述T形因子检测辅模型用于检测所述检测图像是否为剪裁出的T形面具，所述T形面具仅包括眼睛和鼻子；或，
响应于所述检测模型为面部器官因子检测辅模型，从所述人脸图像中获取面部器官图像，作为所述面部器官因子检测辅模型的所述检测图像，其中，所述面部器官因子检测模型用于对所述检测图像进行检测，以确定是否为面部器官。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的人脸活体检测方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的人脸活体检测方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的人脸活体检测方法。
CN202110865025.8A 2021-07-29 2021-07-29 人脸活体检测方法、装置、电子设备及存储介质 Active CN113642428B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110865025.8A CN113642428B (zh) 2021-07-29 2021-07-29 人脸活体检测方法、装置、电子设备及存储介质
KR1020220083658A KR20220104110A (ko) 2021-07-29 2022-07-07 안면 생체 검출 방법, 장치, 전자 기기 및 저장 매체
JP2022120125A JP7414902B2 (ja) 2021-07-29 2022-07-28 顔生体検出方法、装置、電子機器及び記憶媒体
EP22187501.6A EP4064215A3 (en) 2021-07-29 2022-07-28 Method and apparatus for face anti-spoofing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110865025.8A CN113642428B (zh) 2021-07-29 2021-07-29 人脸活体检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113642428A true CN113642428A (zh) 2021-11-12
CN113642428B CN113642428B (zh) 2022-09-27

Family

ID=78418890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110865025.8A Active CN113642428B (zh) 2021-07-29 2021-07-29 人脸活体检测方法、装置、电子设备及存储介质

Country Status (4)

Country Link
EP (1) EP4064215A3 (zh)
JP (1) JP7414902B2 (zh)
KR (1) KR20220104110A (zh)
CN (1) CN113642428B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202806A (zh) * 2021-11-26 2022-03-18 北京百度网讯科技有限公司 活体检测方法、装置、电子设备和存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794453A (zh) * 2015-04-29 2015-07-22 北京旷视科技有限公司 活体验证方法及装置
CN105844203A (zh) * 2015-01-12 2016-08-10 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
CN107194376A (zh) * 2017-06-21 2017-09-22 北京市威富安防科技有限公司 面具造假卷积神经网络训练方法及人脸活体检测方法
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
CN109558840A (zh) * 2018-11-29 2019-04-02 中国科学院重庆绿色智能技术研究院 一种特征融合的活体检测方法
US20190266388A1 (en) * 2018-02-26 2019-08-29 Samsung Electronics Co., Ltd. Method and system for facial recognition
CN110705392A (zh) * 2019-09-17 2020-01-17 Oppo广东移动通信有限公司 一种人脸图像检测方法及装置、存储介质
CN110765924A (zh) * 2019-10-18 2020-02-07 腾讯科技（深圳）有限公司 一种活体检测方法、装置以及计算机可读存储介质
CN110765923A (zh) * 2019-10-18 2020-02-07 腾讯科技（深圳）有限公司 一种人脸活体检测方法、装置、设备及存储介质
CN110991249A (zh) * 2019-11-04 2020-04-10 支付宝(杭州)信息技术有限公司 人脸检测方法、装置、电子设备及介质
CN111178341A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 一种活体检测方法、装置及设备
CN111680588A (zh) * 2020-05-26 2020-09-18 广州多益网络股份有限公司 一种基于可见光和红外光的人脸闸机活体检测方法
CN112149615A (zh) * 2020-10-12 2020-12-29 平安科技（深圳）有限公司 人脸活体检测方法、装置、介质及电子设备
CN112329612A (zh) * 2020-11-03 2021-02-05 北京百度网讯科技有限公司 活体检测方法、装置及电子设备
CN112507934A (zh) * 2020-12-16 2021-03-16 平安银行股份有限公司 活体检测方法、装置、电子设备及存储介质
CN113033465A (zh) * 2021-04-13 2021-06-25 北京百度网讯科技有限公司 活体检测模型训练方法、装置、设备以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023757B2 (en) * 2018-02-14 2021-06-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness verification

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844203A (zh) * 2015-01-12 2016-08-10 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
CN104794453A (zh) * 2015-04-29 2015-07-22 北京旷视科技有限公司 活体验证方法及装置
CN107194376A (zh) * 2017-06-21 2017-09-22 北京市威富安防科技有限公司 面具造假卷积神经网络训练方法及人脸活体检测方法
CN111788572A (zh) * 2018-02-26 2020-10-16 三星电子株式会社 用于面部识别的方法和系统
US20190266388A1 (en) * 2018-02-26 2019-08-29 Samsung Electronics Co., Ltd. Method and system for facial recognition
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
CN109558840A (zh) * 2018-11-29 2019-04-02 中国科学院重庆绿色智能技术研究院 一种特征融合的活体检测方法
CN110705392A (zh) * 2019-09-17 2020-01-17 Oppo广东移动通信有限公司 一种人脸图像检测方法及装置、存储介质
CN110765924A (zh) * 2019-10-18 2020-02-07 腾讯科技（深圳）有限公司 一种活体检测方法、装置以及计算机可读存储介质
CN110765923A (zh) * 2019-10-18 2020-02-07 腾讯科技（深圳）有限公司 一种人脸活体检测方法、装置、设备及存储介质
CN110991249A (zh) * 2019-11-04 2020-04-10 支付宝(杭州)信息技术有限公司 人脸检测方法、装置、电子设备及介质
CN111178341A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 一种活体检测方法、装置及设备
CN111680588A (zh) * 2020-05-26 2020-09-18 广州多益网络股份有限公司 一种基于可见光和红外光的人脸闸机活体检测方法
CN112149615A (zh) * 2020-10-12 2020-12-29 平安科技（深圳）有限公司 人脸活体检测方法、装置、介质及电子设备
CN112329612A (zh) * 2020-11-03 2021-02-05 北京百度网讯科技有限公司 活体检测方法、装置及电子设备
CN112507934A (zh) * 2020-12-16 2021-03-16 平安银行股份有限公司 活体检测方法、装置、电子设备及存储介质
CN113033465A (zh) * 2021-04-13 2021-06-25 北京百度网讯科技有限公司 活体检测模型训练方法、装置、设备以及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HSUEH-YI SEAN LIN等: "Convolutional Neural Networks for Face Anti- Spoofing and Liveness Detection", 《2019 6TH INTERNATIONAL CONFERENCE ON SYSTEMS AND INFORMATICS (ICSAI)》 *
RADEN BUDIARTO HADIPRAKOSO等: "Face Anti-Spoofing Using CNN Classifier & Face liveness Detection", 《2020 3RD INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATIONS TECHNOLOGY (ICOIACT)》 *
曲啸枫: "基于多特征融合的活体人脸检测算法研究及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李新豆: "基于可见光成像的人脸活体检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202806A (zh) * 2021-11-26 2022-03-18 北京百度网讯科技有限公司 活体检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
KR20220104110A (ko) 2022-07-26
JP7414902B2 (ja) 2024-01-16
CN113642428B (zh) 2022-09-27
EP4064215A2 (en) 2022-09-28
JP2022141940A (ja) 2022-09-29
EP4064215A3 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
EP4033458A2 (en) Method and apparatus of face anti-spoofing, device, storage medium, and computer program product
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
CN113343826B (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN112883902B (zh) 视频检测方法、装置、电子设备及存储介质
CN110866466A (zh) 一种人脸识别方法、装置、存储介质和服务器
CN113221771B (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN111914748B (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113435408A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN111222433A (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN113642428B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113221767A (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN115116111B (zh) 抗扰动人脸活体检测模型训练方法、装置及电子设备
US11875599B2 (en) Method and device for detecting blurriness of human face in image and computer-readable storage medium
CN114067394A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN114202807A (zh) 活体检测方法、装置、电子设备及存储介质
CN113221766A (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN112149598A (zh) 一种侧脸评估方法、装置、电子设备及存储介质
CN113014914B (zh) 一种基于神经网络的单人换脸短视频的识别方法和系统
CN115205939B (zh) 人脸活体检测模型训练方法、装置、电子设备及存储介质
US20240037783A1 (en) Information processing system, information processing apparatus, information processing method, and recording medium
CN113553905B (zh) 图像识别方法、装置及系统
CN114202806A (zh) 活体检测方法、装置、电子设备和存储介质
CN114120417A (zh) 人脸图像处理方法、装置、电子设备和存储介质
CN115359574A (zh) 人脸活体检测及相应模型的训练方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant