CN115082992A - 人脸活体检测方法、装置、电子设备及可读存储介质 - Google Patents

人脸活体检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN115082992A
CN115082992A CN202210744097.1A CN202210744097A CN115082992A CN 115082992 A CN115082992 A CN 115082992A CN 202210744097 A CN202210744097 A CN 202210744097A CN 115082992 A CN115082992 A CN 115082992A
Authority
CN
China
Prior art keywords
face
living body
images
image
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210744097.1A
Other languages
English (en)
Inventor
梁俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202210744097.1A priority Critical patent/CN115082992A/zh
Publication of CN115082992A publication Critical patent/CN115082992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像识别技术领域，提供一种人脸活体检测方法、装置、电子设备及可读存储介质。所述方法包括：从执行活体验证指令的人脸视频中，获取多帧人脸图像；将各人脸图像一一映射到对应的各深度图中，获取各人脸深度图；从各人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；根据第一识别结果以及第二识别结果，确定活体检测结果。本申请实施例提供的人脸活体检测方法能够提高人脸活体检测的准确率。

Description

人脸活体检测方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像识别技术领域，具体涉及一种人脸活体检测方法、装置、电子设备及可读存储介质。
背景技术
随着移动互联网的发展，通过人脸进行身份验证的场景越来越广泛，同时攻击者利用假人脸完成人脸识别的安全问题也越来越多见。为避免攻击者利用假人脸完成人脸识别，现有技术中，通常通过动作活检、静默活体检测、脸部炫光活体检测等方式，来抵抗网络黑产利用假人脸完成线上人脸识别。
然而，上述人脸识别方式仅利用了人脸的二维信息，在识别人脸时可用的特征较少，导致攻击者依旧容易利用假脸通过人脸检测，影响对人脸进行活体检测的准确率。
发明内容
本申请旨在至少解决相关技术中存在的技术问题之一。为此，本申请提出一种人脸活体检测方法，能够提高人脸活体检测的准确率。
本申请还提出一种人脸活体检测装置。
本申请还提出一种电子设备。
本申请还提出一种可读存储介质。
根据本申请第一方面实施例的人脸活体检测方法，包括：
从执行活体验证指令的人脸视频中，获取多帧人脸图像；
将各所述人脸图像一一映射到对应的各深度图中，获取各人脸深度图；
从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；
根据所述第一识别结果以及所述第二识别结果，确定活体检测结果；
其中，第一人脸识别模型由各RGB人脸图像的训练样本训练得到，第二人脸识别模型由人脸的各深度图训练样本训练得到。
本申请实施例提供的人脸活体检测方法，通过从人脸视频中获取多帧人脸图像，并将各人脸图像映射到对应的各深度图中，获取人脸深度图后，将各人脸图像以及各人脸深度图分别输入不同的人脸识别模型进行识别，并利用对各人脸图像的识别结果，以及对各人脸深度图的识别结果，来确定活体检测结果，从而利用了人脸图像的RGB图信息以及深度图信息的双重防御来进行活体检测，增加人脸活体识别过程中的可用特征，进而更加有效地提高活检的准确率和抗攻击能力。
根据本申请的一个实施例，从执行活体验证指令的人脸视频中，获取多帧人脸图像，包括：
对所述人脸视频的各帧图像进行人脸提取，获取多帧初始图像；
对各所述初始图像进行人脸区域扩大操作，获取各所述人脸图像。
根据本申请的一个实施例，所述活体验证指令包括摇头指令，所述第一人脸识别模型包括第一时序模型，所述第二人脸识别模型包括第二时序模型；
所述从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果，包括：
从各所述人脸图像中，选取多张所述目标人脸图像输入训练好的第一时序模型，获取第一时序特征，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二时序模型，获取第二时序特征。
根据本申请的一个实施例，各所述目标人脸图像根据预设抽取间隔，从各所述人脸图像中抽取；
各所述目标人脸深度图根据所述预设抽取间隔，从各所述人脸深度图中抽取。
根据本申请的一个实施例，所述第一时序模型、所述第二时序模型中的至少一个包括残差网络。
根据本申请的一个实施例，所述根据所述第一识别结果以及所述第二识别结果，确定活体检测结果，包括：
根据所述第一识别结果的第一预设权重，以及所述第二识别结果的第二预设权重，对所述第一识别结果和所述述第二识别结果进行加权，确定活体检测概率；
所述活体检测概率大于预设概率，确定所述活体检测结果为活体。
根据本申请的一个实施例，所述第一预设权重小于所述第二预设权重。
根据本申请第二方面实施例的人脸活体检测装置，包括：
人脸图像获取模块，用于从执行活体验证指令的人脸视频中，获取多帧人脸图像；
深度图获取模块，用于将各所述人脸图像一一映射到对应的各深度图中，获取各人脸深度图；
人脸图像检测模块，用于从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；
人脸活体检测模块，用于根据所述第一识别结果以及所述第二识别结果，确定活体检测结果；
其中，第一人脸识别模型由各RGB人脸图像的训练样本训练得到，第二人脸识别模型由人脸的各深度图训练样本训练得到。
根据本申请第三方面实施例的电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现上述任一实施例所述的人脸活体检测方法。
根据本申请第四方面实施例的可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的人脸活体检测方法。
根据本申请第五方面实施例的计算机程序产品，包括：所述计算机程序被处理器执行时实现如上述任一实施例所述的人脸活体检测方法。
本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
通过从人脸视频中获取多帧人脸图像，并将各人脸图像映射到对应的各深度图中，获取人脸深度图后，将各人脸图像以及各人脸深度图分别输入不同的人脸识别模型进行识别，并利用对各人脸图像的识别结果，以及对各人脸深度图的识别结果，来确定活体检测结果，从而利用了人脸图像的RGB图信息以及深度图信息的双重防御来进行活体检测，增加人脸活体识别过程中的可用特征，进而更加有效地提高活检的准确率和抗攻击能力。
进一步的，通过对人脸视频进行人脸提取，获取多帧初始图像后，对各初始图像进行人脸区域扩大操作，来得到最终的人脸图像，从而使人脸图像中用于区分活体或非活体的特征更多，进而提高后续进行人脸活体检测的准确度。
进一步的，通过结合人脸图像的时序特征以及人脸深度图的时序特征，来进行人脸的活体检测，从而利用合成或者翻拍视频，与通过活体拍摄到的人脸视频，两者在人脸图像和深度图的时序特征上具有明显差异的特点，来更准确地进行人脸的活体检测。
进一步的，通过按照预设抽取间隔进行目标人脸图像和目标人脸深度图抽取的方式，使得相邻的两张目标人脸图像或相邻的两张目标人脸深度图的间隔时间相同，从而提高获取到的时序特征的准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的人脸活体检测方法的流程示意图；
图2是本申请实施例中时序模型的网络结构示意图；
图3是本申请实施例提供的人脸活体检测装置的结构示意图；
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面，将通过几个具体的实施例对本申请实施例提供的人脸活体检测方法、装置、电子设备及可读存储介质进行详细介绍和说明。
在一实施例中，提供了一种人脸活体检测方法，该方法应用于服务器，用于进行人脸活体检测。其中，服务器可以是独立的服务器或者是多个服务器组成的服务器集群来实现，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能采样点设备等基础云计算服务的云服务器。
如图1所示，本实施例提供的一种人脸活体检测方法包括：
步骤101，从执行活体验证指令的人脸视频中，获取多帧人脸图像；
步骤102，将各所述人脸图像一一映射到对应的各深度图中，获取各人脸深度图；
步骤103，从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；
步骤104，根据所述第一识别结果以及所述第二识别结果，确定活体检测结果；
其中，第一人脸识别模型由各RGB人脸图像的训练样本训练得到，第二人脸识别模型由人脸的各深度图训练样本训练得到。
通过从人脸视频中获取多帧人脸图像，并将各人脸图像映射到对应的各深度图中，获取人脸深度图后，将各人脸图像以及各人脸深度图分别输入不同的人脸识别模型进行识别，并利用对各人脸图像的识别结果，以及对各人脸深度图的识别结果，来确定活体检测结果，从而利用了人脸图像的RGB图信息以及深度图信息的双重防御来进行活体检测，增加人脸活体识别过程中的可用特征，进而更加有效地提高活检的准确率和抗攻击能力。
在一实施例中，人脸视频的采集，可通过带有激光雷达的终端设备进行采集。在通过该终端设备采集到执行活体验证指令的人脸视频后，通过人脸检测器，如med iapipe，从该人脸视频中提取多帧RGB人脸图像。其中，人脸视频可以是人脸反光视频。具体地，可以预先选取由多种颜色组成的颜色序列，如从赤橙黄绿青蓝紫黑白九种颜色中随机抽取四种颜色生成颜色序列，然后将颜色序列依次通过照射装置，如终端设备的屏幕产生光线对人脸进行反光照射，得到人脸反光视频，并在人脸反光视频中通过人脸检测器随机截取人脸图像，从而减少人脸图像被窃取的可能性。
其中，活体验证指令为活体验证过程中，用于指示人脸的某个部位执行相应的操作的指令，如指示人脸执行眨眼操作、指示人脸执行张嘴操作或指示人脸执行摇头操作等。在发出活体验证指令后，开始从人脸视频中截取多帧人脸图像，从而使截取到的多帧人脸图像具有不同的特征，进而使后续可利用多帧人脸图像的不同特征进行人脸活体检测，提高后续进行人脸活体检测的准确度。
考虑到活体或非活体区分的特征不单单仅存在人脸中心区域，还集中在人脸边缘和人脸外，因此为进一步提高后续进行人脸活体验证的准确性，在一实施例中，从执行活体验证指令的人脸视频中，获取多帧人脸图像，包括：
对所述人脸视频的各帧图像进行人脸提取，获取多帧初始图像；
对各所述初始图像进行人脸区域扩大操作，获取各所述人脸图像。
在一实施例中，在下发活体验证指令后，预先通过mediapipe等人脸检测器对人脸视频的各帧图像进行人脸区域提取，提取到的人脸图像即为初始图像。在提取到初始图像后，获取任一初始图像的至少两个顶点坐标，如获取初始图像的左上角顶点坐标(face_box.x1,face_box.y1)，以及初始图像的右上角顶点坐标(face_box.x2,face_box.y2)。在获取到左上角顶点坐标以及右上角顶点坐标后，按照预设倍数扩大人脸区域，如按1.45倍对人脸区域进行扩大，使初始图像的左上角顶点坐标变为：(face_box.x1-1.45*face_box.x1,ace_box.y1-1.45*face_box.y1)。
右上角顶点坐标变为：(face_box.x2+1.45*face_box.x2,ace_box.y2+1.45*face_box.y2)。
同理，左下角顶点坐标以及右下角顶点坐标也可根据上述方式进行变化，从而将扩大人脸区域后的初始图像确定为人脸图像。
可以理解的，除了对四个顶点坐标同时进行变化外，还可以仅进行任意两个处于同一侧的顶点的坐标变化。如仅对左上角和右上角的顶点进行坐标变化，或者仅对左上角和左下角的顶点进行坐标变化等。
通过对人脸视频进行人脸提取，获取多帧初始图像后，对各初始图像进行人脸区域扩大操作，来得到最终的人脸图像，从而使人脸图像中用于区分活体或非活体的特征更多，进而提高后续进行人脸活体检测的准确度。
在一实施例中，在获取到人脸图像后，对各人脸图像进行深度图映射，将每帧人脸图像映射到每帧D通道的深度图中，从而得到各人脸深度图。可以理解的，由于人脸图像相比从人脸视频中直接截取到的初始图像，其人脸区域扩大了预设倍数，因此人脸深度图的人脸区域，也扩大了预设倍数。
在一实施例中，在获取到各人脸深度图后，将各人脸图像结合各人脸深度图进行活体检测。具体地，从各人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一人脸识别模型输出的第一检测概率；同时，从各人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二人脸识别模型输出的第二检测概率。其中，目标人脸图像的选取，可以是将所有的人脸图像均作为目标人脸图像；或者，从各人脸图像中随机抽取N张目标人脸图像；或者，可以是按照预设的抽取间隔进行抽取得到的多张目标人脸图像，如每间隔两张人脸图像，则抽取一张人脸图像作为目标人脸图像。同理，目标人脸深度图的抽取可以与人脸图像的抽取相同。
为进一步提高人脸活体检测的准确度，在一实施例中，所述活体验证指令包括摇头指令，所述第一人脸识别模型包括第一时序模型，所述第二人脸识别模型包括第二时序模型；
所述从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果，包括：
从各所述人脸图像中，选取多张所述目标人脸图像输入训练好的第一时序模型，获取第一时序特征，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二时序模型，获取第二时序特征。
在一实施例中，考虑到除了利用目标人脸图像和目标人脸深度图的单张图特征来进行活体检测外，由于合成或者翻拍视频在做摇头动作的时候在RGB图中会有“诡异”的残影或者边缘信息模糊的特征，这与正常人做摇头动作有较大的区别，且正常人做摇头动作时会很清晰看到做摇头的人像，而合成、翻拍等常用攻击手段的深度图只会看到一片，没有人像出现。因此，可利用指示用户摇头时获取到的人脸图像和人脸深度图，来更准确地进行人脸的活体检测。具体地，从各人脸图像中选取到多张目标人脸图像后，将多张目标人脸图像作为一组图像集，输入训练好的第一时序模型，以获得第一时序特征。同理，将从各人脸深度图中选取到的目标人脸深度图也作为一组图像集，输入训练好的第二时序模型，以获得第一时序特征。
其中，第一时序模型和第二时序模型为在C3D时序模型的基础上进行改进，提高模型的鲁棒性和提高模型的运算效率。C3D实际上就是2D卷积的3D版，将2D卷积变成3D卷积，将输入B*H*W*C变成B*H*W*C*D。使用3D卷积可以将连续几张图片当成一份D，这样就方便提取时序的特征。
为使通过第一时序模型和第二时序模型得到的时序特征更为准确，在一实施例中，所述目标人脸图像根据预设抽取间隔，从各所述人脸图像中抽取。如每间隔N张，则从各人脸图像中抽取一张人脸图像作为目标人脸图像。同理，各所述目标人脸深度图根据所述预设抽取间隔，从各所述人脸深度图中抽取。
通过按照预设抽取间隔进行目标人脸图像和目标人脸深度图抽取的方式，使得相邻的两张目标人脸图像或相邻的两张目标人脸深度图的间隔时间相同，从而提高获取到的时序特征的准确性。
在一实施例中，如图2所示，第一时序模型和/或第二时序模型使用了残差网络，增强了模型的鲁棒性和学习能力，从而大幅度提升活体检测的准确率。在完成各目标人脸图像以及各目标人脸深度图的抽取后，将各目标人脸图像作为一组，输入训练好的第一时序模型，得到第一时序特征cls1，并将该第一时序特征作为第一检测概率；同理，可将各目标人脸深度图作为一组，输入训练好的第二时序模型，得到第二时序特征cls2，并将该第二时序特征作为第二检测概率。
通过结合人脸图像的时序特征以及人脸深度图的时序特征，来进行人脸的活体检测，从而利用合成或者翻拍视频，与通过活体拍摄到的人脸视频，两者在人脸图像和深度图的时序特征上具有明显差异的特点，来更准确地进行人脸的活体检测。
在得到第一检测概率和第二检测概率，即第一识别结果和第二识别结果后，即可根据第一识别结果和第二识别结果确定活体检测结果。如当第一识别结果和第二识别结果均小于预设概率，则判断活体检测结果为非活体；或者当第一识别结果小于第一预设概率，以及第二识别结果小于第二预设概率，则判断活体检测为非活体；或者，还可以将第一识别结果和第二识别结果输入分类器，根据分类器输出正类或负类的类别置信度，以根据该类别置信度与预设置信度的比较结果，确定活体检测结果。其中，正类表示活体，负类表示非活体。当类别置信度大于预设置信度时，确定该类别置信度对应的类别为活体检测结果；否则，确定与该类别置信度相反的类别为活体检测结果。
示例性的，通过分类器输出活体的类别置信度为0.6，预设置信度为0.55，则此时类别置信度大于预设置信度，判断该类别置信度可信，因此可确定活体检测结果为活体；否则，判断该类别置信度不可信，确定活体检测结果为非活体。
在一实施例中，还可以通过加权的方法有效融合两个结果。如图3所示，所述根据所述第一识别结果以及所述第二识别结果，确定活体检测结果，包括：
根据所述第一识别结果的第一预设权重，以及所述第二识别结果的第二预设权重，对所述第一识别结果和所述述第二识别结果进行加权，确定活体检测概率；
所述活体检测概率大于预设概率，确定所述活体检测结果为活体。
在一实施例中，在得到第一识别结果和第二识别结果后，通过第一预设权重对第一识别结果进行调整，同时通过第二预设权重对第二识别结果进行调整，并将调整后的第一识别结果，与调整后的第二识别结果相加，从而得到活体检测概率。
考虑到在正常人做摇头动作时会很清晰看到做摇头的人像，而合成、翻拍等常用攻击手段的深度图只会看到一片，没有人像出现，即深度图的时序特征更能确认是否为活体，因此在一实施例中，第二预设权重大于第一预设权重，以进一步提高活体检测的准确度。
示例性的，第一预设权重可以为0.3，第二预设权重可以为0.7，此时活体检测概率即为：
P(cls)＝0.3*cls1+0.7*cls2
其中，cls1为第一识别结果，cls2为第二识别结果，P为活体检测概率。
在确定活体检测概率后，将该活体检测概率与预设概率进行比较。若活体检测概率大于预设概率，则确定活体检测结果为活体；否则，确定活体检测结果为非活体。其中，预设概率可根据实际情况进行设置，如0.65等。
下面对本申请提供的人脸活体检测装置进行描述，下文描述的人脸活体检测装置与上文描述的人脸活体检测方法可相互对应参照。
在一实施例中，如图3所示，提供了一种人脸活体检测装置，包括：
人脸图像获取模块210，用于从执行活体验证指令的人脸视频中，获取多帧人脸图像；
深度图获取模块220，用于将各所述人脸图像一一映射到对应的各深度图中，获取各人脸深度图；
人脸图像检测模块230，用于从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；
人脸活体检测模块240，用于根据所述第一识别结果以及所述第二识别结果，确定活体检测结果；
其中，第一人脸识别模型由各RGB人脸图像的训练样本训练得到，第二人脸识别模型由人脸的各深度图训练样本训练得到。
通过从人脸视频中获取多帧人脸图像，并将各人脸图像映射到对应的各深度图中，获取人脸深度图后，将各人脸图像以及各人脸深度图分别输入不同的人脸识别模型进行识别，并利用对各人脸图像的识别结果，以及对各人脸深度图的识别结果，来确定活体检测结果，从而利用了人脸图像的RGB图信息以及深度图信息的双重防御来进行活体检测，增加人脸活体识别过程中的可用特征，进而更加有效地提高活检的准确率和抗攻击能力。
在一实施例中，人脸图像获取模块210具体用于：
对所述人脸视频的各帧图像进行人脸提取，获取多帧初始图像；
对各所述初始图像进行人脸区域扩大操作，获取各所述人脸图像。
在一实施例中，所述活体验证指令包括摇头指令，所述第一人脸识别模型包括第一时序模型，所述第二人脸识别模型包括第二时序模型；人脸图像检测模块230具体用于：
从各所述人脸图像中，选取多张所述目标人脸图像输入训练好的第一时序模型，获取第一时序特征，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二时序模型，获取第二时序特征。
在一实施例中，各所述目标人脸图像根据预设抽取间隔，从各所述人脸图像中抽取；
各所述目标人脸深度图根据所述预设抽取间隔，从各所述人脸深度图中抽取。
在一实施例中，所述第一时序模型、所述第二时序模型中的至少一个包括残差网络。
在一实施例中，人脸活体检测模块240具体用于：
根据所述第一识别结果的第一预设权重，以及所述第二识别结果的第二预设权重，对所述第一识别结果和所述述第二识别结果进行加权，确定活体检测概率；
所述活体检测概率大于预设概率，确定所述活体检测结果为活体。
在一实施例中，所述第一预设权重小于所述第二预设权重。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)810、通信接口(Communication Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序，以执行人脸活体检测方法，例如包括：
从执行活体验证指令的人脸视频中，获取多帧人脸图像；
将各所述人脸图像一一映射到对应的各深度图中，获取各人脸深度图；
从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；
根据所述第一识别结果以及所述第二识别结果，确定活体检测结果；
其中，第一人脸识别模型由各RGB人脸图像的训练样本训练得到，第二人脸识别模型由人脸的各深度图训练样本训练得到。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种存储介质，存储介质包括计算机程序，计算机程序可存储在非暂态可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的人脸活体检测方法，例如包括：
从执行活体验证指令的人脸视频中，获取多帧人脸图像；
将各所述人脸图像一一映射到对应的各深度图中，获取各人脸深度图；
从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；
根据所述第一识别结果以及所述第二识别结果，确定活体检测结果；
其中，第一人脸识别模型由各RGB人脸图像的训练样本训练得到，第二人脸识别模型由人脸的各深度图训练样本训练得到。
另一方面，本申请实施例还提供一种处理器可读存储介质，处理器可读存储介质存储有计算机程序，计算机程序用于使处理器执行上述各实施例提供的方法，例如包括：
从执行活体验证指令的人脸视频中，获取多帧人脸图像；
将各所述人脸图像一一映射到对应的各深度图中，获取各人脸深度图；
从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；
根据所述第一识别结果以及所述第二识别结果，确定活体检测结果；
其中，第一人脸识别模型由各RGB人脸图像的训练样本训练得到，第二人脸识别模型由人脸的各深度图训练样本训练得到。
处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸活体检测方法，其特征在于，包括：
从执行活体验证指令的人脸视频中，获取多帧人脸图像；
将各所述人脸图像一一映射到对应的各深度图中，获取各人脸深度图；
从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；
根据所述第一识别结果以及所述第二识别结果，确定活体检测结果；
其中，第一人脸识别模型由各RGB人脸图像的训练样本训练得到，第二人脸识别模型由人脸的各深度图训练样本训练得到。
2.根据权利要求1所述的人脸活体检测方法，其特征在于，从执行活体验证指令的人脸视频中，获取多帧人脸图像，包括：
对所述人脸视频的各帧图像进行人脸提取，获取多帧初始图像；
对各所述初始图像进行人脸区域扩大操作，获取各所述人脸图像。
3.根据权利要求1所述的人脸活体检测方法，其特征在于，所述活体验证指令包括摇头指令，所述第一人脸识别模型包括第一时序模型，所述第二人脸识别模型包括第二时序模型；
所述从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果，包括：
从各所述人脸图像中，选取多张所述目标人脸图像输入训练好的第一时序模型，获取第一时序特征，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二时序模型，获取第二时序特征。
4.根据权利要求3所述的人脸活体检测方法，其特征在于，各所述目标人脸图像根据预设抽取间隔，从各所述人脸图像中抽取；
各所述目标人脸深度图根据所述预设抽取间隔，从各所述人脸深度图中抽取。
5.根据权利要求3所述的人脸活体检测方法，其特征在于，所述第一时序模型、所述第二时序模型中的至少一个包括残差网络。
6.根据权利要求1或3所述的人脸活体检测方法，其特征在于，所述根据所述第一识别结果以及所述第二识别结果，确定活体检测结果，包括：
根据所述第一识别结果的第一预设权重，以及所述第二识别结果的第二预设权重，对所述第一识别结果和所述述第二识别结果进行加权，确定活体检测概率；
所述活体检测概率大于预设概率，确定所述活体检测结果为活体。
7.根据权利要求6所述的人脸活体检测方法，其特征在于，所述第一预设权重小于所述第二预设权重。
8.一种人脸活体检测装置，其特征在于，包括：
人脸图像获取模块，用于从执行活体验证指令的人脸视频中，获取多帧人脸图像；
深度图获取模块，用于将各所述人脸图像一一映射到对应的各深度图中，获取各人脸深度图；
人脸图像检测模块，用于从各所述人脸图像中，选取多张目标人脸图像输入训练好的第一人脸识别模型，获取第一识别结果，并从各所述人脸深度图中，选取多张目标人脸深度图输入训练好的第二人脸识别模型，获取第二识别结果；
人脸活体检测模块，用于根据所述第一识别结果以及所述第二识别结果，确定活体检测结果；
其中，第一人脸识别模型由各RGB人脸图像的训练样本训练得到，第二人脸识别模型由人脸的各深度图训练样本训练得到。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的人脸活体检测方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的人脸活体检测方法。
CN202210744097.1A 2022-06-27 2022-06-27 人脸活体检测方法、装置、电子设备及可读存储介质 Pending CN115082992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210744097.1A CN115082992A (zh) 2022-06-27 2022-06-27 人脸活体检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210744097.1A CN115082992A (zh) 2022-06-27 2022-06-27 人脸活体检测方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115082992A true CN115082992A (zh) 2022-09-20

Family

ID=83254719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210744097.1A Pending CN115082992A (zh) 2022-06-27 2022-06-27 人脸活体检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115082992A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116110111A (zh) * 2023-03-23 2023-05-12 平安银行股份有限公司 人脸识别方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116110111A (zh) * 2023-03-23 2023-05-12 平安银行股份有限公司 人脸识别方法、电子设备及存储介质
CN116110111B (zh) * 2023-03-23 2023-09-08 平安银行股份有限公司 人脸识别方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2022001509A1 (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN111275784B (zh) 生成图像的方法和装置
CN112818767B (zh) 数据集生成、伪造检测方法、装置、电子设备及存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN109635021A (zh) 一种基于人体检测的数据信息录入方法、装置及设备
CN115082992A (zh) 人脸活体检测方法、装置、电子设备及可读存储介质
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN111259757A (zh) 一种基于图像的活体识别方法、装置及设备
CN111353325A (zh) 关键点检测模型训练方法及装置
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN115984978A (zh) 人脸活体检测方法、装置以及计算机可读存储介质
Emeršič et al. Towards accessories-aware ear recognition
CN111091089B (zh) 一种人脸图像处理方法、装置、电子设备及存储介质
CN110866508B (zh) 识别目标对象的形态的方法、装置、终端及存储介质
CN114299583A (zh) 一种人脸认证识别方法、装置、设备及存储介质
CN112348112A (zh) 图像识别模型的训练方法、训练装置及终端设备
CN112132107A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN115114557A (zh) 基于区块链的页面数据获取方法及装置
WO2024025134A1 (en) A system and method for real time optical illusion photography
CN112016505B (zh) 基于人脸图像的活体检测方法、设备、存储介质及装置
CN112802081B (zh) 一种深度检测方法、装置、电子设备及存储介质
CN113792701A (zh) 一种活体检测方法、装置、计算机设备和存储介质
CN115272735A (zh) 攻击图像检测模型训练方法、装置、计算机设备
CN116503961A (zh) 一种活体检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination