CN111931594A - 人脸识别活体检测方法、装置、计算机设备和存储介质 - Google Patents

人脸识别活体检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111931594A
CN111931594A CN202010688291.3A CN202010688291A CN111931594A CN 111931594 A CN111931594 A CN 111931594A CN 202010688291 A CN202010688291 A CN 202010688291A CN 111931594 A CN111931594 A CN 111931594A
Authority
CN
China
Prior art keywords
type
face image
image
detection
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010688291.3A
Other languages
English (en)
Inventor
马琳
章烈剽
柯文辉
吴卫增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Radio & Television Express Information Technology Co ltd
Guangzhou Grg Vision Intelligent Technology Co ltd
GRG Banking Equipment Co Ltd
Original Assignee
Guangzhou Radio & Television Express Information Technology Co ltd
Guangzhou Grg Vision Intelligent Technology Co ltd
GRG Banking Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Radio & Television Express Information Technology Co ltd, Guangzhou Grg Vision Intelligent Technology Co ltd, GRG Banking Equipment Co Ltd filed Critical Guangzhou Radio & Television Express Information Technology Co ltd
Priority to CN202010688291.3A priority Critical patent/CN111931594A/zh
Publication of CN111931594A publication Critical patent/CN111931594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种人脸识别活体检测方法、装置、计算机设备和存储介质。所述方法包括：获取若干帧的第一类型人脸图像以及第二类型人脸图像，将第一类型人脸图像输入至已训练的第一多任务检测网络以及将第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，基于第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到第一类型人脸图像以及第二类型人脸图像的活体检测结果，若大于或等于预设比例的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体。采用本方法能够提高活体检测的准确度。

Description

人脸识别活体检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及人脸识别技术领域，特别是涉及一种人脸识别活体检测方法、装置、计算机设备和存储介质。
背景技术
随着以生物特征识别技术为代表的人工智能技术的发展，人脸识别作为一种生物特征识别技术，以其特有的稳定性、唯一性、方便性，被广泛地应用在安全认证等身份鉴别领域中。
随着人脸识别的越来越广泛的应用，人脸识别的安全性也受到了挑战，新型的针对生物系统的攻击也随之产生。例如，照片和视频攻击、面具攻击以及新型的对抗样本攻击，可以通过目标人物的照片、视频、面具以及对抗样本干扰人脸识别系统的识别，导致人脸识别系统受到欺骗攻击，给出错误的人脸识别结果。因此，出现了能够一定程度上保证生物识别可靠性的人脸活体检测方法。
总的来说，现有的人脸活体检测方法包括交互式和非交互式人脸活体检测，但是，现有的人脸活体检测方法无法从多方面进行人脸活体检测有效准确识别出欺骗攻击，特别是无法有效防范3D硅胶面具和新型基于对抗样本的攻击，因此，现有的人脸活体检测方法存在活体检测准确度不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高活体检测准确度的人脸识别活体检测方法、装置、计算机设备和存储介质。
一种人脸识别活体检测方法，所述方法包括：
获取若干帧的第一类型人脸图像以及第二类型人脸图像；
将第一类型人脸图像输入至已训练的第一多任务检测网络以及将第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果；
基于第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到第一类型人脸图像以及第二类型人脸图像的活体检测结果；
若大于或等于预设比例的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体；
其中，已训练的第一多任务检测网络基于包含多种欺骗攻击类别的第一类型人脸图像样本集训练得到，已训练的第二多任务检测网络基于包含多种欺骗攻击类别的第二类型人脸图像样本集训练得到。
在其中一个实施例中，活体检测包括照片任务检测、视频任务检测、对抗样本任务检测以及面具任务检测。
在其中一个实施例中，获取若干帧的第一类型人脸图像以及第二类型人脸图像包括：
获取第一类型视频流以及第二类型视频流；
对第一类型视频流以及第二类型视频流逐帧进行人脸检测，筛选出第一类型初始人脸图像以及第二类型初始人脸图像；
对第一类型初始人脸图像以及第二类型初始人脸图像进行人脸追踪，得到第一类型人脸追踪图像以及第二类型人脸追踪图像；
对第一类型人脸追踪图像以及第二类型人脸追踪图像进行质量检测判断，筛选出第一类型人脸图像以及第二类型人脸图像。
在其中一个实施例中，对第一类型视频流以及第二类型视频流进行人脸检测，筛选出第一类型初始人脸图像以及第二类型初始人脸图像包括：
逐帧提取第一类型视频流中的第一类型初始图像以及第二类型视频流中的第二类型初始图像；
对第一类型初始图像以及第二类型初始图像进行图像编码；
将编码后的第一类型初始图像和编码后的第二类型初始图像输入至预训练的人脸检测模型，输出各初始图像中人脸的坐标点位置，得到第一类型初始人脸图像以及第二类型初始人脸图像。
在其中一个实施例中，对第一类型初始人脸图像以及第二类型初始人脸图像进行人脸追踪包括：
对第一类型初始人脸图像以及第二类型初始人脸图像进行特征点检测、并使用预设目标追踪算法进行特征点追踪；
若跟踪到的特征点在人脸图像的人脸框内，则判定人脸追踪成功。
在其中一个实施例中，对第一类型人脸追踪图像以及第二类型人脸追踪图像进行质量检测判断包括：
将第一类型人脸追踪图像以及第二类型人脸追踪图像输入至预训练的人脸质量判断网络进行质量检测判断，筛选出符合预设要求的第一类型人脸图像以及第二类型人脸图像。
在其中一个实施例中，质量检测判断包括五官可见度判断、图片清晰度判断、光照判断以及人脸角度判断。
一种人脸识别活体检测装置，所述装置包括：
图像获取模块，用于获取若干帧的第一类型人脸图像以及第二类型人脸图像；
活体检测模块，用于将第一类型人脸图像输入至已训练的第一多任务检测网络以及将第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果；
检测结果处理模块，用于基于第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到第一类型人脸图像以及第二类型人脸图像的活体检测结果；
检测结果确定模块，用于若大于或等于预设比例的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体；
其中，已训练的第一多任务检测网络基于包含多种欺骗攻击类别的第一类型人脸图像样本集训练得到，已训练的第二多任务检测网络基于包含多种欺骗攻击类别的第二类型人脸图像样本集训练得到。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取若干帧的第一类型人脸图像以及第二类型人脸图像；
将第一类型人脸图像输入至已训练的第一多任务检测网络以及将第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果；
基于第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到第一类型人脸图像以及第二类型人脸图像的活体检测结果；
若大于或等于预设比例的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体；
其中，已训练的第一多任务检测网络基于包含多种欺骗攻击类别的第一类型人脸图像样本集训练得到，已训练的第二多任务检测网络基于包含多种欺骗攻击类别的第二类型人脸图像样本集训练得到。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取若干帧的第一类型人脸图像以及第二类型人脸图像；
将第一类型人脸图像输入至已训练的第一多任务检测网络以及将第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果；
基于第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到第一类型人脸图像以及第二类型人脸图像的活体检测结果；
若大于或等于预设比例的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体；
其中，已训练的第一多任务检测网络基于包含多种欺骗攻击类别的第一类型人脸图像样本集训练得到，已训练的第二多任务检测网络基于包含多种欺骗攻击类别的第二类型人脸图像样本集训练得到。
上述人脸识别活体检测方法、装置、计算机设备和存储介质，通过将第一类型人脸图像以及第二类型人脸图像分别输入至基于若干种欺骗攻击的历史人脸图像训练的第一多任务检测网络以及第二多任务检测网络分别进行活体检测，得到各第一类型人脸图像以及各第二类型人脸图像对应的多任务检测结果，能够提取到更多的活体深度表征信息，并且在有大于或等于预设比例的第一类型人脸图像和第二类型人脸图像的活体检测结果都为活体时，才判断检测结果为活体，为多任务检测结果的可靠性提供保障，除此之外，基于包含多种欺骗攻击类别的人脸图像样本集训练的多任务检测网络能够有效识别出具体的攻击类型，综上所述，整个方案的处理能够有效提高活体检测的准确度。
附图说明
图1为一个实施例中人脸识别活体检测方法的应用环境图；
图2为一个实施例中人脸识别活体检测方法的流程示意图；
图3为一个实施例中获取第一类型人脸图像以及第二类型人脸图像步骤的流程示意图；
图4为一个实施例中多任务检测网络的网络结构图；
图5为一个实施例中人脸识别活体检测装置的结构框图；
图6为另一个实施例中人脸识别活体检测装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的人脸识别活体检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。具体可以是用户将若干帧待检测的第一类型人脸图像和第二类型图像通过终端102上传至服务器104，并于终端102进行活体检测操作，终端102生成并发送活体检测消息至服务器104，服务器104响应该消息，获取若干帧的第一类型人脸图像以及第二类型人脸图像，将第一类型人脸图像输入至已训练的第一多任务检测网络以及将第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，基于第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到每一帧人脸图像的活体检测结果，若大于或等于预设比例的人脸图像的活体检测结果为活体，则判定人脸识别活体检测结果为活体，其中，已训练的第一多任务检测网络基于包含多种欺骗攻击类别的第一类型人脸图像样本集训练得到，已训练的第二多任务检测网络基于包含多种欺骗攻击类别的第二类型人脸图像样本集训练得到。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在其中一个实施例中，如图2所示，提供了一种人脸识别活体检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取若干帧的第一类型人脸图像以及第二类型人脸图像。
本实施例中，第一类型人脸图像可以是基于双目摄像头采集的红外光人脸图像得到，第二类型人脸图像可以是基于双目摄像头采集的可见光人脸图像得到，其中，第一类型人脸图像和第二类型人脸图像为同一时间针对同一目标人物采集的图像内容相同但类型不同的图像。本实施例可以是利用红外光在不同材质下反光率不一致，成像不同的特点，从而判断待检测的图像是真实人脸还是照片或视频图像。可以理解的是，第一类型人脸图像和第二类型人脸图像还可以是除红外光类型和可见光类型之外的图像。在实际应用中，可以是通过双目摄像头，获取红外光和可见光的两组视频流，再对红外光视频流和可见光视频流进行人脸检测和质量检测判断等处理，筛选出质量合格的第一类型人脸图像以及第二类型人脸图像。
步骤204，将第一类型人脸图像输入至已训练的第一多任务检测网络以及将第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果。
其中，第一多任务检测网络可以是红外光多任务检测网络，第二多任务检测网络可以是可见光多任务检测网络。已训练的第一多任务检测网络基于包含多种欺骗攻击类别的第一类型人脸图像样本集训练得到，已训练的第二多任务检测网络基于包含多种欺骗攻击类别的第二类型人脸图像样本集训练得到。具体的，包含多种欺骗攻击类别的第一类型人脸图像样本集可以是包括照片、视频、对抗样本以及3D面具等类别的红外光人脸图像。包含多种欺骗攻击类别的第二类型人脸图像样本集可以是包括照片、视频、对抗样本以及3D面具等类别的可见光人脸图像。具体实施时，利用多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，可以是由多任务检测网络进行多项活体检测(如判断是否为照片，是否为视频等子任务)，输出第一类型人脸和第二类型图像可能为照片的概率、可能为视频的概率等。
步骤206，基于第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到第一类型人脸图像以及第二类型人脸图像的活体检测结果。
如上述实施例所述，在多任务检测网络针对第一类型人脸图像和第二类型人脸图像输出相应的照片概率、视频概率等子任务检测结果后，综合各项子任务检测结果，得到每一帧第一类型人脸图像以及第二类型人脸图像是否为活体的检测结果。
步骤206，若大于或等于预设比例的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体。
在实际应用中，为了确保活体检测结果的可靠性，可以是针对同一图像内容但类型不同的人脸图像，当基于红外光多任务检测网络和可见光多任务检测网络得到的活体检测结果均为活体时，才认为检测结果有效。此外，可以是当有80％以上的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体，否则判定脸识别活体检测结果为非活体。即针对红外光视频流和可见光视频流中，针对同一目标人物的10帧红外光人脸图像及10帧可见光人脸图像中，同时存在8帧及以上的红外光人脸图像及可见光人脸图像的活体检测结果均为活体，即判断本次的人脸识别活体检测结果为活体。可以理解的是，在其他实施例中，预设比例的设置还可以是85％、90％以及其他数值，在此不做限定。
上述人脸识别活体检测方法中，通过将第一类型人脸图像以及第二类型人脸图像分别输入至基于若干种欺骗攻击的历史人脸图像训练的第一多任务检测网络以及第二多任务检测网络分别进行活体检测，得到各第一类型人脸图像以及各第二类型人脸图像对应的多任务检测结果，能够提取到更多的活体深度表征信息，并且在有大于或等于预设比例的第一类型人脸图像和第二类型人脸图像的活体检测结果都为活体时，才判断检测结果为活体，为多任务检测结果的可靠性提供保障，除此之外，基于包含多种欺骗攻击类别的人脸图像样本集训练的多任务检测网络能够有效识别出具体的攻击类型，综上所述，整个方案的处理能够有效提高活体检测的准确度。
在其中一个实施例中，步骤204包括：
将第一类型人脸图像输入至已训练的第一多任务检测网络进行包括照片任务检测、视频任务检测、对抗样本任务检测以及面具任务检测的活体检测，得到第一类型人脸图像对应的子任务检测结果，以及
将第二类型人脸图像输入至已训练的第二多任务检测网络进行包括照片任务检测、视频任务检测、对抗样本任务检测以及面具任务检测的活体检测，得到第二类型人脸图像对应的子任务检测结果。
本实施例中，第一多任务检测网络和第二多任务检测网络进行的活体检测可以包括照片任务检测、视频任务检测、对抗样本任务检测以及面具(如3D面具)任务检测，对应输出每一帧人脸图像对应的为照片概率、视频概率，对抗样本概率以及面具概率。具体的，可以是当照片概率在0.75-0.85时，判定该人脸图像为照片、当视频概率在0.75-0.85时，判定该人脸图像为视频，基于对抗样本概率或面具概率得到判定结果的处理方式与照片概率的处理方式等同。具体实施时，只有当照片概率、视频概率，对抗样本概率以及面具概率均低于0.75时，也就是多任务检测网络给出人脸图像的识别结果需同时满足为非照片、非视频、非对抗样本以及非面具时，才判定当前帧的人脸图像为活体，否则，则判定为非活体。可以理解的是，在其他实施例中，概率的阈值范围的设置还可以是其他数值范围，在此不做限定。本实施例中，多任务检测网络的网络结构以及进行活体检测的处理过程可参照图4理解。具体的，本实施例中，对每一帧人脸图像进行包括照片任务检测、视频任务检测、对抗样本任务检测以及面具(如3D面具)任务检测，能够提取更多的活体深度信息表征，且能判断出具体的攻击类型，能够有效防范常见的欺骗攻击。
如图3所示，在其中一个实施例中，获取若干帧的第一类型人脸图像以及第二类型人脸图像包括：
步骤222，获取第一类型视频流以及第二类型视频流；
步骤242，对第一类型视频流以及第二类型视频流逐帧进行人脸检测，筛选出第一类型初始人脸图像以及第二类型初始人脸图像；
步骤262，对第一类型初始人脸图像以及第二类型初始人脸图像进行人脸追踪，得到第一类型人脸追踪图像以及第二类型人脸追踪图像；
步骤282，对第一类型人脸追踪图像以及第二类型人脸追踪图像进行质量检测判断，筛选出第一类型人脸图像以及第二类型人脸图像。
在实际应用中，第一类型视频流以及第二类型视频流可以分别是基于双目摄像头采集的红外光视频流以及可见光视频流。第一类型人脸图像和第二类型人脸图像的得到，可以是先逐帧对第一类型视频流以及第二类型视频流进行人脸检测，得到初始人脸图像，然后再对初始人脸图像进行人脸追踪和质量检测，筛选出符合要求的质量合格的第一类型人脸图像(红外光人脸图像)以及第二类型人脸图像(可见光人脸图像)。本实施例中，对视频流中的图像进行人脸检测、人脸追踪和质量检测，能够确保用于活体检测的人脸图像质量，侧面保证活体检测的准确度。
在其中一个实施例中，对第一类型视频流以及第二类型视频流进行人脸检测，筛选出第一类型初始人脸图像以及第二类型初始人脸图像包括：
逐帧提取第一类型视频流中的第一类型初始图像以及第二类型视频流中的第二类型初始图像；
对第一类型初始图像以及第二类型初始图像进行图像编码；
将编码后的第一类型初始图像和编码后的第二类型初始图像输入至预训练的人脸检测模型，输出各初始图像中人脸的坐标点位置，得到第一类型初始人脸图像以及第二类型初始人脸图像。
具体实施时，对视频流进行人脸检测可以是先逐帧采集两段视频流中的初始图像，得到第一类型初始图像和第二类型初始图像，然后，对图像进行编码，将编码后的图像输入至预训练好的RetinaFace-MobileNet-0.25神经网络模型中，输出各图像中人脸的坐标点位置，由此筛选出包含人脸的第一类型初始人脸图像和第二类型初始人脸图像。本实施例中，若检测到人脸，则进入下一步的人脸追踪处理，否则持续进行人脸检测。可以理解的是，在其他实施例中，用于人脸检测的模型可以是其他第三方人脸检测模型，在此不做限定。本实施例中，通过预训练的RetinaFace-MobileNet-0.25神经网络模型进行人脸检测，能够快速得到人脸坐标点位置，得到人脸图像。
在其中一个实施例中，对第一类型初始人脸图像以及第二类型初始人脸图像进行人脸追踪包括：
对第一类型初始人脸图像以及第二类型初始人脸图像进行特征点检测、并使用预设目标追踪算法进行特征点追踪；
若跟踪到的特征点在人脸图像的人脸框内，则判定人脸追踪成功。
本实施例中，对上述初始人脸图像进行特征点检测的过程是将第一类型初始人脸图像以及第二类型初始人脸图像输入至预训练的卷积神经网络，得到人脸特征点的坐标，然后，可以是使用Lucas-Kanade(LK)光流跟算法对人脸特征点进行跟踪，计算跟踪的特征点是否在人脸框内，若在人脸框内，则表明跟踪成功，得到人脸追踪图像，进入质量检测判断处理，否则，则重新进行人脸检测。其中，预训练的卷积神经网络的训练过程可以是先对标注出的人脸中特征点，对特征点的坐标进行归一化处理，从而得到归一化处理后的数据，然后，将归一化处理后的数据输入到单个卷积神经网络中，采用SmoothL1损失函数训练卷积神经网络，最后，在训练过程中当Loss值收敛时，则输出训练后的卷积神经网络作为最终的卷积神经网络。可以理解的是，在其他实施例中，还可以使用Kanade-Lucas-Tomasi(KLT)目标跟踪算法以及其他跟踪算法进行特征点跟踪，在此不做限定。本实施例中，对两种类型的初始人脸图像记性人脸追踪检测，能够减少计算量，避免检测到人脸后，依然采用逐帧进行人脸检测导致计算量大的问题。
在其中一个实施例中，对第一类型人脸追踪图像以及第二类型人脸追踪图像进行质量检测判断包括：
将第一类型人脸追踪图像以及第二类型人脸追踪图像输入至预训练的人脸质量判断网络进行质量检测判断，筛选出符合预设要求的第一类型人脸图像以及第二类型人脸图像。
本实施例中，根据预训练的人脸质量判断网络对由人脸跟踪处理得到的第一类型人脸追踪图像和第二类型人脸追踪图像进行质量检测判断包括五官可见度判断、图片清晰度判断、光照判断以及人脸角度判断，即判断人脸五官的是否遮挡、图片是否模糊、是否不当的光照(强光、暗光、逆光)、是否过大的人脸角度，进一步的，当上述质量判断检测结果都为否时，则判断追踪人脸图像的人脸质量合格，否则，则人脸质量不合格。具体实施时，若判断出追踪图像中的人脸质量不合格，则不进行将人脸图像输入至多任务检测网络进行活体检测的操作，直到能检测到质量合格的人脸，得到人脸质量合格的第一类型人脸图像和第二类型人脸图像，才进行活体检测操作。本实施例中，通过对人脸质量进行合格检测判断，能够保证进行活体检测的人脸图像的高质量，进一步多任务检测网络进行活体检测的效率和准确度。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中，如图5所示，提供了一种人脸识别活体检测装置，包括：图像获取模块510、活体检测模块520、检测结果处理模块530和检测结果确定模块540，其中：
图像获取模块510，用于获取若干帧的第一类型人脸图像以及第二类型人脸图像；
活体检测模块520，用于将第一类型人脸图像输入至已训练的第一多任务检测网络以及将第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，其中，已训练的第一多任务检测网络基于包含多种欺骗攻击类别的第一类型人脸图像样本集训练得到，已训练的第二多任务检测网络基于包含多种欺骗攻击类别的第二类型人脸图像样本集训练得到。
检测结果处理模块530，用于基于第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到第一类型人脸图像以及第二类型人脸图像的活体检测结果；
检测结果确定模块540，用于若大于或等于预设比例的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体。
在其中一个实施例中，活体检测模块520还用于将第一类型人脸图像输入至已训练的第一多任务检测网络进行包括照片任务检测、视频任务检测、对抗样本任务检测以及面具任务检测的活体检测，得到第一类型人脸图像对应的子任务检测结果，以及将第二类型人脸图像输入至已训练的第二多任务检测网络进行包括照片任务检测、视频任务检测、对抗样本任务检测以及面具任务检测的活体检测，得到第二类型人脸图像对应的子任务检测结果。
在其中一个实施例中，图像获取模块510还用于获取第一类型视频流以及第二类型视频流，对第一类型视频流以及第二类型视频流逐帧进行人脸检测，筛选出第一类型初始人脸图像以及第二类型初始人脸图像，对第一类型初始人脸图像以及第二类型初始人脸图像进行人脸追踪，得到第一类型人脸追踪图像以及第二类型人脸追踪图像，对第一类型人脸追踪图像以及第二类型人脸追踪图像进行质量检测判断，筛选出第一类型人脸图像以及第二类型人脸图像。
如图6所示，在其中一个实施例中，图像获取模块510还包括人脸检测单元512，用于逐帧提取第一类型视频流中的第一类型初始图像以及第二类型视频流中的第二类型初始图像，对第一类型初始图像以及第二类型初始图像进行图像编码，将编码后的第一类型初始图像和编码后的第二类型初始图像输入至预训练的人脸检测模型，输出各初始图像中人脸的坐标点位置，得到第一类型初始人脸图像以及第二类型初始人脸图像。
在其中一个实施例中，图像获取模块510还包括人脸追踪单元514，用于对第一类型初始人脸图像以及第二类型初始人脸图像进行特征点检测、并使用预设目标追踪算法进行特征点追踪，若跟踪到的特征点在人脸图像的人脸框内，则判定人脸追踪成功。
在其中一个实施例中，图像获取模块510还包括人脸质量检测单元516，用于将第一类型人脸追踪图像以及第二类型人脸追踪图像输入至预训练的人脸质量判断网络进行质量检测判断，筛选出符合预设要求的第一类型人脸图像以及第二类型人脸图像。
关于人脸识别活体检测装置的具体限定可以参见上文中对于人脸识别活体检测方法的限定，在此不再赘述。上述人脸识别活体检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多类型的视频流数据、人脸图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸识别活体检测方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在其中一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述人脸识别活体检测方法中的步骤。
在其中一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述人脸识别活体检测方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸识别活体检测方法，其特征在于，所述方法包括：
获取若干帧的第一类型人脸图像以及第二类型人脸图像；
将所述第一类型人脸图像输入至已训练的第一多任务检测网络进行活体检测，以及将所述第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果；
基于所述第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到第一类型人脸图像以及第二类型人脸图像的活体检测结果；
若大于或等于预设比例的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体；
其中，所述已训练的第一多任务检测网络基于包含多种欺骗攻击类别的第一类型人脸图像样本集训练得到，所述已训练的第二多任务检测网络基于包含多种欺骗攻击类别的第二类型人脸图像样本集训练得到。
2.根据权利要求1所述的方法，其特征在于，所述活体检测包括任务检测、视频任务检测、对抗样本任务检测以及面具任务检测。
3.根据权利要求1所述的方法，其特征在于，所述获取若干帧的第一类型人脸图像以及第二类型人脸图像包括：
获取第一类型视频流以及第二类型视频流；
对所述第一类型视频流以及第二类型视频流逐帧进行人脸检测，筛选出第一类型初始人脸图像以及第二类型初始人脸图像；
对所述第一类型初始人脸图像以及所述第二类型初始人脸图像进行人脸追踪，得到第一类型人脸追踪图像以及第二类型人脸追踪图像；
对所述第一类型人脸追踪图像以及所述第二类型人脸追踪图像进行质量检测判断，筛选出第一类型人脸图像以及第二类型人脸图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一类型视频流以及第二类型视频流进行人脸检测，筛选出第一类型初始人脸图像以及第二类型初始人脸图像包括：
逐帧提取所述第一类型视频流中的第一类型初始图像以及所述第二类型视频流中的第二类型初始图像；
对所述第一类型初始图像以及所述第二类型初始图像进行图像编码；
将编码后的第一类型初始图像和编码后的第二类型初始图像输入至预训练的人脸检测模型，输出各初始图像中人脸的坐标点位置，得到第一类型初始人脸图像以及第二类型初始人脸图像。
5.根据权利要求3所述的方法，其特征在于，所述对所述第一类型初始人脸图像以及所述第二类型初始人脸图像进行人脸追踪包括：
对所述第一类型初始人脸图像以及所述第二类型初始人脸图像进行特征点检测、并使用预设目标追踪算法进行特征点追踪；
若跟踪到的特征点在人脸图像的人脸框内，则判定人脸追踪成功。
6.根据权利要求3所述的方法，其特征在于，所述对所述第一类型人脸追踪图像以及所述第二类型人脸追踪图像进行质量检测判断包括：
将所述第一类型人脸追踪图像以及所述第二类型人脸追踪图像输入至预训练的人脸质量判断网络进行质量检测判断，筛选出符合预设要求的第一类型人脸图像以及第二类型人脸图像。
7.根据权利要求6所述的方法，其特征在于，所述质量检测判断包括五官可见度判断、图片清晰度判断、光照判断以及人脸角度判断。
8.一种人脸识别活体检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取若干帧的第一类型人脸图像以及第二类型人脸图像；
活体检测模块，用于将所述第一类型人脸图像输入至已训练的第一多任务检测网络以及将所述第二类型人脸图像输入至已训练的第二多任务检测网络进行活体检测，得到第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果；
检测结果处理模块，用于基于第一类型人脸图像以及第二类型人脸图像对应的多任务检测结果，得到第一类型人脸图像以及第二类型人脸图像的活体检测结果；
检测结果确定模块，用于若大于或等于预设比例的第一类型人脸图像以及第二类型人脸图像的活体检测结果均为活体，则判定人脸识别活体检测结果为活体；
其中，所述已训练的第一多任务检测网络基于包含多种欺骗攻击类别的第一类型人脸图像样本集训练得到，所述已训练的第二多任务检测网络基于包含多种欺骗攻击类别的第二类型人脸图像样本集训练得到。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010688291.3A 2020-07-16 2020-07-16 人脸识别活体检测方法、装置、计算机设备和存储介质 Pending CN111931594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010688291.3A CN111931594A (zh) 2020-07-16 2020-07-16 人脸识别活体检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010688291.3A CN111931594A (zh) 2020-07-16 2020-07-16 人脸识别活体检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111931594A true CN111931594A (zh) 2020-11-13

Family

ID=73313134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010688291.3A Pending CN111931594A (zh) 2020-07-16 2020-07-16 人脸识别活体检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111931594A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651327A (zh) * 2020-12-22 2021-04-13 平安普惠企业管理有限公司 一种无感的活体检测方法、装置、计算机设备及存储介质
CN113011385A (zh) * 2021-04-13 2021-06-22 深圳市赛为智能股份有限公司 人脸静默活体检测方法、装置、计算机设备及存储介质
CN113052035A (zh) * 2021-03-15 2021-06-29 上海商汤智能科技有限公司 活体检测方法、装置、电子设备及存储介质
CN113052034A (zh) * 2021-03-15 2021-06-29 上海商汤智能科技有限公司 基于双目摄像头的活体检测方法及相关装置
CN113139517A (zh) * 2021-05-14 2021-07-20 广州广电卓识智能科技有限公司 人脸活体模型训练方法、检测方法、存储介质和检测系统
CN113723243A (zh) * 2021-08-20 2021-11-30 南京华图信息技术有限公司 一种戴面罩的热红外图像人脸识别方法及应用
CN114140851A (zh) * 2021-12-01 2022-03-04 北京百度网讯科技有限公司 图像检测方法和用于训练图像检测模型的方法
CN114677628A (zh) * 2022-03-30 2022-06-28 北京地平线机器人技术研发有限公司 活体检测方法、装置、计算机可读存储介质及电子设备
CN114694266A (zh) * 2022-03-28 2022-07-01 广州广电卓识智能科技有限公司 一种静默活体检测方法、系统、设备及存储介质
CN116012930A (zh) * 2023-03-28 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于深度学习卷积神经网络的维度表情识别方法
CN117058742A (zh) * 2023-09-26 2023-11-14 腾讯科技（深圳）有限公司 一种人脸伪造的检测方法、装置、电子设备及介质
CN113011385B (zh) * 2021-04-13 2024-07-05 深圳市赛为智能股份有限公司 人脸静默活体检测方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN109255322A (zh) * 2018-09-03 2019-01-22 北京诚志重科海图科技有限公司 一种人脸活体检测方法及装置
CN110443192A (zh) * 2019-08-01 2019-11-12 中国科学院重庆绿色智能技术研究院 一种基于双目图像的非交互式人脸活体检测方法及系统
CN111126366A (zh) * 2020-04-01 2020-05-08 湖南极点智能科技有限公司 一种活体人脸的判别方法、装置、设备及存储介质
CN111209820A (zh) * 2019-12-30 2020-05-29 新大陆数字技术股份有限公司 人脸活体检测方法、系统、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN109255322A (zh) * 2018-09-03 2019-01-22 北京诚志重科海图科技有限公司 一种人脸活体检测方法及装置
CN110443192A (zh) * 2019-08-01 2019-11-12 中国科学院重庆绿色智能技术研究院 一种基于双目图像的非交互式人脸活体检测方法及系统
CN111209820A (zh) * 2019-12-30 2020-05-29 新大陆数字技术股份有限公司 人脸活体检测方法、系统、设备及可读存储介质
CN111126366A (zh) * 2020-04-01 2020-05-08 湖南极点智能科技有限公司 一种活体人脸的判别方法、装置、设备及存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651327A (zh) * 2020-12-22 2021-04-13 平安普惠企业管理有限公司 一种无感的活体检测方法、装置、计算机设备及存储介质
CN113052035A (zh) * 2021-03-15 2021-06-29 上海商汤智能科技有限公司 活体检测方法、装置、电子设备及存储介质
CN113052034A (zh) * 2021-03-15 2021-06-29 上海商汤智能科技有限公司 基于双目摄像头的活体检测方法及相关装置
CN113052035B (zh) * 2021-03-15 2024-07-12 上海商汤智能科技有限公司 活体检测方法、装置、电子设备及存储介质
CN113011385A (zh) * 2021-04-13 2021-06-22 深圳市赛为智能股份有限公司 人脸静默活体检测方法、装置、计算机设备及存储介质
CN113011385B (zh) * 2021-04-13 2024-07-05 深圳市赛为智能股份有限公司 人脸静默活体检测方法、装置、计算机设备及存储介质
CN113139517A (zh) * 2021-05-14 2021-07-20 广州广电卓识智能科技有限公司 人脸活体模型训练方法、检测方法、存储介质和检测系统
CN113139517B (zh) * 2021-05-14 2023-10-27 广州广电卓识智能科技有限公司 人脸活体模型训练方法、检测方法、存储介质和检测系统
CN113723243B (zh) * 2021-08-20 2024-05-17 南京华图信息技术有限公司 一种戴面罩的热红外图像人脸识别方法及应用
CN113723243A (zh) * 2021-08-20 2021-11-30 南京华图信息技术有限公司 一种戴面罩的热红外图像人脸识别方法及应用
CN114140851A (zh) * 2021-12-01 2022-03-04 北京百度网讯科技有限公司 图像检测方法和用于训练图像检测模型的方法
CN114140851B (zh) * 2021-12-01 2023-08-11 北京百度网讯科技有限公司 图像检测方法和用于训练图像检测模型的方法
CN114694266A (zh) * 2022-03-28 2022-07-01 广州广电卓识智能科技有限公司 一种静默活体检测方法、系统、设备及存储介质
CN114677628A (zh) * 2022-03-30 2022-06-28 北京地平线机器人技术研发有限公司 活体检测方法、装置、计算机可读存储介质及电子设备
CN116012930A (zh) * 2023-03-28 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于深度学习卷积神经网络的维度表情识别方法
CN117058742A (zh) * 2023-09-26 2023-11-14 腾讯科技（深圳）有限公司 一种人脸伪造的检测方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN111931594A (zh) 人脸识别活体检测方法、装置、计算机设备和存储介质
US11195037B2 (en) Living body detection method and system, computer-readable storage medium
CN106599772B (zh) 活体验证方法和装置及身份认证方法和装置
CN106203305B (zh) 人脸活体检测方法和装置
CN110232369B (zh) 一种人脸识别方法和电子设备
CN109376592B (zh) 活体检测方法、装置和计算机可读存储介质
Kim et al. A motion and similarity-based fake detection method for biometric face recognition systems
Sepas-Moghaddam et al. Light field-based face presentation attack detection: reviewing, benchmarking and one step further
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN110348270B (zh) 影像物件辨识方法与影像物件辨识系统
CN111611873A (zh) 人脸替换检测方法及装置、电子设备、计算机存储介质
CN113205057A (zh) 人脸活体检测方法、装置、设备及存储介质
CN110837901A (zh) 云试驾预约审核方法及装置、存储介质、云服务器
CN114387548A (zh) 视频及活体检测方法、系统、设备、存储介质及程序产品
CN112149570B (zh) 多人活体检测方法、装置、电子设备及存储介质
CN113850211A (zh) 注入视频攻击检测方法和装置
CN111091089B (zh) 一种人脸图像处理方法、装置、电子设备及存储介质
CN110688878B (zh) 活体识别检测方法、装置、介质及电子设备
CN111241945A (zh) 人脸识别性能的测试方法、装置、计算机设备及存储介质
CN115115552A (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN114387674A (zh) 活体检测方法、系统、设备、存储介质及程序产品
CN111898529B (zh) 脸部检测方法、装置、电子设备和计算机可读介质
CN110781473B (zh) 一种人脸图片识别预处理的方法
CN115830720A (zh) 活体检测方法、装置、计算机设备和存储介质
CN114596638A (zh) 人脸活体检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination