CN115240245A - 人脸活体检测方法、人脸活体检测装置及电子设备 - Google Patents

人脸活体检测方法、人脸活体检测装置及电子设备 Download PDF

Info

Publication number
CN115240245A
CN115240245A CN202210734674.9A CN202210734674A CN115240245A CN 115240245 A CN115240245 A CN 115240245A CN 202210734674 A CN202210734674 A CN 202210734674A CN 115240245 A CN115240245 A CN 115240245A
Authority
CN
China
Prior art keywords
face
living body
score
infrared
body detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210734674.9A
Other languages
English (en)
Inventor
曾钰胜
赖文鹏
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN202210734674.9A priority Critical patent/CN115240245A/zh
Publication of CN115240245A publication Critical patent/CN115240245A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸活体检测方法、人脸活体检测装置、电子设备及计算机可读存储介质。其中，该方法包括：通过双目摄像头进行人像采集，得到相同时刻下的红外图像及彩色图像；分别对红外图像及彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域；将红外人脸区域及彩色人脸区域输入已训练的人脸活体检测模型，得到人脸活体检测模型所输出的人脸评分，其中，人脸活体检测模型包括人脸分类网络及得分辅助监督分支，人脸分类网络学习了人脸的预设区域的特征；根据人脸评分及预设的目标评分确定人脸活体检测结果。通过本申请方案，提升人脸活体检测的准确性及鲁棒性，保障基于人脸识别技术的信息验证系统的信息安全。

Description

人脸活体检测方法、人脸活体检测装置及电子设备
技术领域
本申请属于人脸识别技术领域，尤其涉及一种人脸活体检测方法、人脸活体检测装置、电子设备及计算机可读存储介质。
背景技术
随着人脸识别技术在门禁打卡及金融支付等各类信息验证系统的广泛应用，使用照片或手机上的人脸图像破解信息验证系统的案例逐渐增多。为避免用户的权益因此而受损，各类信息验证系统对人脸活体检测功能的需求日益迫切。
发明内容
本申请提供了一种人脸活体检测方法、人脸活体检测装置、电子设备及计算机可读存储介质，可提升人脸活体检测的准确性及鲁棒性，保障基于人脸识别技术的信息验证系统的信息安全。
第一方面，本申请提供了一种人脸活体检测方法，包括：
通过双目摄像头进行人像采集，得到红外图像及彩色图像，其中，红外图像及彩色图像的拍摄时刻相同；
分别对红外图像及彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域；
将红外人脸区域及彩色人脸区域输入已训练的人脸活体检测模型，得到人脸活体检测模型所输出的人脸评分，其中，人脸活体检测模型包括人脸分类网络及得分辅助监督分支，人脸分类网络学习了真实人脸、打印人脸及屏幕人脸的预设区域的特征；
根据人脸评分及预设的目标评分确定人脸活体检测结果。
第二方面，本申请提供了一种人脸活体检测装置，包括：
获取模块，用于通过双目摄像头进行人像采集，得到红外图像及彩色图像，其中，红外图像及彩色图像的拍摄时刻相同；
识别模块，用于分别对红外图像及彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域；
检测模块，用于将红外人脸区域及彩色人脸区域输入已训练的人脸活体检测模型，得到人脸活体检测模型所输出的人脸评分，其中，人脸活体检测模型包括人脸分类网络及得分辅助监督分支，人脸分类网络学习了真实人脸、打印人脸及屏幕人脸的预设区域的特征；
确定模块，用于根据人脸评分及预设的目标评分确定人脸活体检测结果。
第三方面，本申请提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
本申请与现有技术相比存在的有益效果是：本申请对人脸活体检测模型进行了优化：一方面，根据真实人脸及攻击人脸在不同类型图像上的特征分布规律，对人脸分类网络进行了优化，使人脸分类网络能够着重学习人脸某些特定区域的特征，帮助改善了人脸活体检测模型对活体检测任务特征的提取能力，一定程度提升了人脸活体检测的准确性；另一方面，在人脸分类网络的基础上，增设了得分辅助监督分支，通过该得分辅助分支进一步提升了人脸活体检测的准确性，且保障了人脸活体检测的鲁棒性。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的人脸活体检测方法的实现流程示意图；
图2是本申请实施例提供的满足约束条件的RGB摄像头和红外摄像头的成像平面示例图；
图3是本申请实施例提供的人脸活体检测模型的结构示例图；
图4是本申请实施例提供的人脸活体检测装置的结构框图；
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。
下面对本申请实施例所提出的人脸活体检测方法作出说明。该人脸活体检测方法可应用于搭载有基于人脸识别的信息验证系统的电子设备，例如打卡机或服务器等，本申请实施例不对该电子设备的具体类型作出限定。请参阅图1，该人脸活体检测方法的实现流程详述如下：
步骤101，通过双目摄像头进行人像采集，得到红外图像及彩色图像。
真实人脸为真实用户的活体人脸，攻击人脸为不法分子根据真实用户的人脸特征所伪造的非活体人脸。由于攻击方式众多，因而对于攻击人脸来说，可根据其载体类型划分为两大类，分别为屏幕人脸及打印人脸。可以理解，屏幕人脸指的是：通过各类设备(例如手机、平板或电脑等)的屏幕显示的方式所伪造的非活体人脸；打印人脸指的是：通过打印、印刷或绘画等书面的方式所伪造的非活体人脸。
人脸活体检测技术根据硬件设备的不同分为单目活体检测技术、双目活体检测技术和结构光活体检测技术。其中，单目活体检测技术发展时间较长，主要包括基于单目RGB摄像头的活体检测技术，以及基于单目红外摄像头的活体检测技术；双目活体检测技术主要包括基于RGB摄像头加深度摄像头的活体检测技术，以及基于RGB摄像头加红外摄像头的活体检测技术；结构光活体检测技术主要包括基于3D结构光摄像头的活体检测技术。
对于单目活体检测技术来说：
基于单目RGB摄像头的活体检测技术只使用一个RGB摄像头。针对屏幕人脸，其虽然能够通过屏幕所显示的摩尔纹实现对真实人脸和屏幕人脸的区分，但随着屏幕的刷新率及分辨率的提高，屏幕在成像过程中出现的摩尔纹特征可能逐渐消失，进而影响到人脸活体检测结果。针对打印人脸，其虽然能够通过打印人脸上的人脸畸变以及纹理等信息实现对真实人脸和打印人脸的区分，但打印人脸的载体材质也会影响到人脸活体检测结果。因此，当前基于单目RGB摄像头的活体检测技术存在被破解的风险。
基于单目红外摄像头的活体检测技术只使用一个红外摄像头，其可根据不同物体在红外波段的成像反射率区分真实人脸和攻击人脸。电子设备的屏幕在红外波段具有较高的反射率，导致屏幕人脸无法在红外摄像头成像，这使得该活体检测技术可天然抵御屏幕人脸的攻击。但是，对于打印人脸来说，由于打印人脸的载体材料的特性，打印人脸仍可在红外摄像头成像。也即，当前基于单目红外摄像头的活体检测技术也存在被破解的风险。
对于结构光活体检测技术来说：
基于3D结构光摄像头的活体检测技术所使用的算法较为复杂，且成本过高，难以被广泛使用。
对于双目活体检测技术来说：
基于RGB摄像头加深度摄像头的活体检测技术主要是结合深度图像中人脸的深度信息进行判断，对于屏幕人脸和二维的打印人脸具有较好的抵御能力，但难以区分出三维的打印人脸(例如面具人脸)。并且，彩色图像中的彩色信息需要与深度图像中的深度信息进行匹配，系统复杂度高，硬件成本也较高。
基于RGB摄像头加红外摄像头的活体检测技术主要是结合彩色图像和红外图像上的人脸特征对人脸类型进行综合判断，其不仅硬件成本低，且对于屏幕人脸及打印人脸(包括二维的打印人脸及大部分材质的三维的打印人脸)均具备较高的抵御能力。
综上，本申请实施选择中，电子设备采用RGB摄像头加红外摄像头的活体检测技术。基于此，本步骤的双目摄像头，具体指的是RGB摄像头与红外摄像头所构成的双目摄像头。需要注意的是，在将该双目摄像头投入应用之前，可根据给定的硬件约束条件对RGB摄像头加红外摄像头的安装位姿进行调整，该硬件约束条件可以是：RGB摄像头和红外摄像头的成像平面相平行(或近似平行)。可以理解，由于RGB摄像头及红外摄像头构成了双目摄像头，因而RGB摄像头及红外摄像头之间的安装位姿通常较为接近，也即：二者间距离较小，且二者的视场角高度重合。
请参阅图2，图2示出了满足该约束条件的RGB摄像头和红外摄像头的成像平面的示例；其中，(urgb,vrgb)为现实世界的P点在RGB摄像头的成像平面上所对应的点，也即为该P点在彩色图像上所呈现的点。(uir,vir)为该P点在红外摄像头的成像平面上所对应的点，也即为该P点在红外图像上所呈现的点。显然，(urgb,vrgb)与(uir,vir)相对应，这两点指向了现实世界的同一对象。
在需要进行人脸识别时(例如用户向电子设备发起门禁通过请求或发起支付请求时)，电子设备可通过双目摄像头进行人像采集。具体地，RGB摄像头进行人像采集所得的图像为彩色图像，红外摄像头进行人像采集所得的图像为红外图像，且该彩色图像与该红外图像的拍摄时刻应相同。
步骤102，分别对红外图像及彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域。
通过现有的人脸检测算法分别对彩色图像及红外图像进行人脸检测，可确定出彩色图像中的人脸框及红外图像中的人脸框。为保障图像中的用户的人脸信息不被遗漏，电子设备可将彩色图像中的人脸框以一定的比例适当地扩大，并将扩大后的人脸框在该彩色图像中所框选的区域确定为彩色人脸区域；类似地，电子设备也可将红外图像中的人脸框以相同比例扩大，并将扩大后的人脸框在该红外图像中所框选的区域确定为红外人脸区域。
需要注意的是，如果未能通过人脸检测算法在彩色图像中确定出人脸框，则表明彩色图像中不存在人脸信息，可直接确定人脸活体检测结果为失败；类似地，如果未能通过人脸检测算法在红外图像中确定出人脸框，则表明红外图像中不存在人脸信息，同样可直接确定人脸活体检测结果为失败。
步骤103，将红外人脸区域及彩色人脸区域输入已训练的人脸活体检测模型，得到人脸活体检测模型所输出的人脸评分。
根据前文可知，人脸活体检测任务具体为三分类问题，也即判断拍摄到的用户人脸属于真实人脸、打印人脸及屏幕人脸中的哪一类。考虑到屏幕人脸与打印人脸既存在相同特征(例如载体的边缘)，又存在不同特征(例如在红外图像上的折射率)，如果只使用简单的人脸分类网络，则在出现接近的特征(例如用户人脸为打印人脸时，其在红外图像上的折射率接近于真实人脸在红外图像上的折射率)时，模型可能难以对用户人脸的具体类型作出正确判断，导致出现误分类的情况。考虑到实际应用过程中，只需要区分真实人脸与攻击人脸，因此本申请实施例在人脸活体检测模型中引入了一个得分辅助监督分支，用以对人脸分类网络的分类结果进行监督。
也即，该人脸活体检测模型具体包括如下两部分：人脸分类网络及得分辅助监督分支。具体地，得分辅助监督分支接在人脸分类网络的末端，则该人脸活体检测模型在投入应用时，各部分相关的数据为：
人脸分类网络的输入为相同时刻拍摄而得的红外人脸区域及彩色人脸区域，输出为概率向量，其中，该概率向量具体为三维度向量(也即1×3的向量)，每个维度的值表达了本次拍摄所得的用户人脸分别属于该维度所对应的人脸类型(例如真实人脸、打印人脸或屏幕人脸)的概率。
得分辅助监督分支的输入为人脸分类网络所输出的概率向量，输出为人脸评分。由于增加了该得分辅助监督分支，因而在构建训练样本时，可设定真实人脸的人脸评分标签为预设的第一值，攻击人脸(包括打印人脸及屏幕人脸)的人脸评分标签为预设的第二值，以此实现对包含有得分辅助监督分支的人脸活体检测模型的训练。数据表明，增加了该得分辅助监督分支的人脸活体检测模型具有良好的鲁棒性，且准确性也有所提升。
除此之外，人脸分类网络在判断用户人脸所属的人脸类型时，对某些特定区域的特征具有较强的依赖性。例如，在红外图像上，真实人脸的瞳孔区域存在高亮部分(也即亮瞳效应)。又例如，红外人脸区域及彩色人脸区域均为人脸框扩大一定比例后所框选的对应区域，这使得用户人脸为攻击人脸时，红外人脸区域及彩色人脸区域通常会包含攻击人脸的载体(例如电脑显示器、手机屏幕或纸张)的边缘信息。基于此，本申请实施例对人脸分类网络也进行了一定程度的优化，具体表现为：让人脸分类网络着重学习人脸的预设区域的特征。仅作为示例，根据前文的描述，该预设区域可以是：瞳孔区域及边缘区域(具体为攻击人脸的载体的边缘区域)。
在一些实施例中，具体可在人脸分类网络进行特征图(feature map)提取的部分(也即骨干网络)添加CA注意力机制，使其能够学习人脸的预设区域的特征。
仅作为示例，请参阅图3，图3给出了人脸活体检测模型的结构示例。
步骤104，根据人脸评分及预设的目标评分确定人脸活体检测结果。
可以理解，人脸评分越靠近第一值，用户人脸就越有可能是真实人脸；反之，人脸评分越靠近第二值，用户人脸就越有可能是攻击人脸。基于此，电子设备可以预设的目标评分为评判基础，通过比对该目标评分及所得的人脸评分，实现对当前拍摄所得的用户人脸是否为真实人脸的判断。
其中，目标评分可通过如下方式设定：研发人员可预先在多个不同的测试场景下通过已训练的人脸活体检测模型对不同真实人脸及不同攻击人脸进行测试，并根据测试结果分别设定不同场景下所对应的真实人脸的评分阈值，以此构建得到场景-评分对照表；后续电子设备在投入应用后，可根据当前该电子设备实际所处的场景，在该场景-评分对照表中查找对应的评分作为目标评分。或者，电子设备也可预先设定一通用于各场景的目标评分，此处不作限定。需要注意的是，该目标评分在第一值及第二值之间，且该目标评分通常更靠近第一值。
仅作为示例，若在人脸活体检测模型的训练过程中，将第一值设定为0，将第二值设定为1，则目标评分的典型取值可以为0.3。基于此目标评分，在人脸活体检测模型的应用过程中，记人脸评分为x，在根据人脸评分与目标评分的比对结果确定人脸活体检测结果时：若人脸评分小于目标评分(也即x＜0.3)，则可确定当前的人脸活体检测结果为成功，也即确定当前拍摄到的用户人脸为真实人脸；反之，若人脸评分大于或等于目标评分(也即x≥0.3)，则可确定当前的人脸活体检测结果为失败，也即确定当前拍摄到的用户人脸为攻击人脸。
在一些实施例中，前文已描述了彩色人脸区域由RGB摄像头所拍摄的彩色图像而得，红外人脸区域由红外摄像头所拍摄的红外图像而得，虽然RGB摄像头及红外摄像头的视场角基本重合，且安装位姿基本相同，但同一对象在红外图像及彩色图像所处的位置仍会有细微的差别。基于此，为进一步保障人脸活体检测模型的准确性，电子设备可先将彩色人脸区域与红外人脸区域对齐，之后再将已对齐的红外人脸区域及彩色人脸区域输入人脸活体检测模型进行处理。电子设备可采用传统的棋盘格标定方法进行标定，以实现红外人脸区域和彩色人脸区域的对齐；或者，电子设备也可通过人脸关键点进行标定，以实现红外人脸区域和彩色人脸区域的对齐。该通过人脸关键点进行标定的方法详述如下：
红外图像及彩色图像上的像素点满足单应变换特征，其具体表达形式如下式所示：
Figure BDA0003715258070000091
由上式可知，单应性矩阵共涉及九个参数，也即，至少需要九个方程才可求解出该单应性矩阵；而一对红外图像像素点及彩色图像像素点可以提供两个方程。因而，在双目摄像头的标定阶段，在真实人脸与双目摄像头相隔一定距离的情况下，RGB摄像头和红外摄像头在同一时刻均能够获取到清晰的真实人脸图像，也即真实人脸彩色图像及真实人脸红外图像。电子设备随后通过人脸检测算法，可分别得到真实人脸彩色图像上的多个人脸关键点和真实人脸红外图像上的多个人脸关键点。由于五对相对应的像素点就能够提供十个方程，因而，只要能够获得至少五对关键点对，应用最小二乘法即可求解出单应性矩阵的所有参数，从而可以舍弃传统的棋盘格标定方法，以此简化了标定的流程。后续电子设备只需根据标定所得的单应性矩阵，即可对齐红外人脸区域及彩色人脸区域。
仅作为示例，在关键点对数量为五的情况下，典型的五个关键点对可以分别是：左眼关键点对(由真实人脸彩色图像和真实人脸红外图像上的左眼关键点构成)、右眼关键点对(由真实人脸彩色图像和真实人脸红外图像上的右眼关键点构成)、鼻头关键点对(由真实人脸彩色图像和真实人脸红外图像上的鼻头关键点构成)、左嘴角关键点对(由真实人脸彩色图像和真实人脸红外图像上的左嘴角关键点构成)及右嘴角关键点对(由真实人脸彩色图像和真实人脸红外图像上的右嘴角关键点构成)。
由上可见，通过本申请实施例，对人脸活体检测模型进行了优化：一方面，根据真实人脸及攻击人脸在不同类型图像上的特征分布规律，对人脸分类网络进行了优化，使人脸分类网络能够着重学习人脸某些特定区域的特征，帮助改善了人脸活体检测模型对活体检测任务特征的提取能力，一定程度提升了人脸活体检测的准确性；另一方面，在人脸分类网络的基础上，增设了得分辅助监督分支，通过该得分辅助分支进一步提升了人脸活体检测的准确性，且保障了人脸活体检测的鲁棒性。
对应于上文所提供的人脸活体检测方法，本申请实施例还提供了一种人脸活体检测装置。如图4所示，该人脸活体检测装置400包括：
获取模块401，用于通过双目摄像头进行人像采集，得到红外图像及彩色图像，其中，红外图像及彩色图像的拍摄时刻相同；
识别模块402，用于分别对红外图像及彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域；
检测模块403，用于将红外人脸区域及彩色人脸区域输入已训练的人脸活体检测模型，得到人脸活体检测模型所输出的人脸评分，其中，人脸活体检测模型包括人脸分类网络及得分辅助监督分支，人脸分类网络学习了真实人脸、打印人脸及屏幕人脸的预设区域的特征；
确定模块404，用于根据人脸评分及预设的目标评分确定人脸活体检测结果。
可选地，在人脸活体检测模型中：人脸分类网络的输入为红外人脸区域及彩色人脸区域；人脸分类网络的输出为概率向量；得分辅助监督分支的输入为概率向量；得分辅助监督分支的输出为人脸评分。
可选地，人脸分类网络通过引入CA注意力机制学习了人脸的预设区域的特征。
可选地，预设区域包括：瞳孔区域及边缘区域。
可选地，人脸活体检测装置400还包括：
对齐模块，用于根据标定所得的单应性矩阵，对齐红外人脸区域及彩色人脸区域；
相应地，检测模块403，具体用于将已对齐的红外人脸区域及彩色人脸区域输入人脸活体检测模型，得到人脸评分。
可选地，单应性矩阵的确定过程包括：在双目摄像头的标定阶段，通过双目摄像头对真实人脸进行拍摄及人脸检测，得到至少五个关键点对；根据至少五个关键点对，对单应性矩阵进行求解。
可选地，确定模块404，包括：
评分比对单元，用于将人脸评分与目标评分进行比对；
结果确定单元，用于根据比对结果确定人脸活体检测结果。
由上可见，通过本申请实施例，对人脸活体检测模型进行了优化：一方面，根据真实人脸及攻击人脸在不同类型图像上的特征分布规律，对人脸分类网络进行了优化，使人脸分类网络能够着重学习人脸某些特定区域的特征，帮助改善了人脸活体检测模型对活体检测任务特征的提取能力，一定程度提升了人脸活体检测的准确性；另一方面，在人脸分类网络的基础上，增设了得分辅助监督分支，通过该得分辅助分支进一步提升了人脸活体检测的准确性，且保障了人脸活体检测的鲁棒性。
对应于上文所提供的人脸活体检测方法，本申请实施例还提供了一种电子设备。请参阅图5，本申请实施例中的电子设备5包括：存储器501，一个或多个处理器502(图5中仅示出一个)及存储在存储器501上并可在处理器上运行的计算机程序。其中：存储器501用于存储软件程序以及单元，处理器502通过运行存储在存储器501的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器502通过运行存储在存储器501的上述计算机程序时实现以下步骤：
通过双目摄像头进行人像采集，得到红外图像及彩色图像，其中，红外图像及彩色图像的拍摄时刻相同；
分别对红外图像及彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域；
将红外人脸区域及彩色人脸区域输入已训练的人脸活体检测模型，得到人脸活体检测模型所输出的人脸评分，其中，人脸活体检测模型包括人脸分类网络及得分辅助监督分支，人脸分类网络学习了人脸的预设区域的特征；
根据人脸评分及预设的目标评分确定人脸活体检测结果。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，在人脸活体检测模型中：
人脸分类网络的输入为红外人脸区域及彩色人脸区域；
人脸分类网络的输出为概率向量；
得分辅助监督分支的输入为概率向量；
得分辅助监督分支的输出为人脸评分。
在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，人脸分类网络通过引入CA注意力机制学习了人脸的预设区域的特征。
在上述第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，预设区域包括：瞳孔区域及边缘区域。
在上述第三种可能的实施方式作为基础而提供的第五种可能的实施方式中，在分别对红外图像及彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域之后，处理器502通过运行存储在存储器501的上述计算机程序时还实现以下步骤：
根据标定所得的单应性矩阵，对齐红外人脸区域及彩色人脸区域；
将红外人脸区域及彩色人脸区域输入已训练的人脸活体检测模型，得到人脸活体检测模型所输出的人脸评分，包括：
将已对齐的红外人脸区域及彩色人脸区域输入人脸活体检测模型，得到人脸评分。
在上述第五种可能的实施方式作为基础而提供的第六种可能的实施方式中，单应性矩阵的确定过程包括：
在双目摄像头的标定阶段，通过双目摄像头对真实人脸进行拍摄及人脸检测，得到至少五个关键点对；
根据至少五个关键点对，对单应性矩阵进行求解。
在上述第一种可能的实施方式作为基础而提供的第七种可能的实施方式中，根据人脸评分及预设的目标评分确定人脸活体检测结果，包括：
将人脸评分与目标评分进行比对；
根据比对结果确定人脸活体检测结果。
应当理解，在本申请实施例中，所称处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器501可以包括只读存储器和随机存取存储器，并向处理器502提供指令和数据。存储器501的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器501还可以存储设备类别的信息。
由上可见，通过本申请实施例，对人脸活体检测模型进行了优化：一方面，根据真实人脸及攻击人脸在不同类型图像上的特征分布规律，对人脸分类网络进行了优化，使人脸分类网络能够着重学习人脸某些特定区域的特征，帮助改善了人脸活体检测模型对活体检测任务特征的提取能力，一定程度提升了人脸活体检测的准确性；另一方面，在人脸分类网络的基础上，增设了得分辅助监督分支，通过该得分辅助分支进一步提升了人脸活体检测的准确性，且保障了人脸活体检测的鲁棒性。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人脸活体检测方法，其特征在于，包括：
通过双目摄像头进行人像采集，得到红外图像及彩色图像，其中，所述红外图像及所述彩色图像的拍摄时刻相同；
分别对所述红外图像及所述彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域；
将所述红外人脸区域及所述彩色人脸区域输入已训练的人脸活体检测模型，得到所述人脸活体检测模型所输出的人脸评分，其中，所述人脸活体检测模型包括人脸分类网络及得分辅助监督分支，所述人脸分类网络学习了人脸的预设区域的特征；
根据所述人脸评分及预设的目标评分确定人脸活体检测结果。
2.如权利要求1所述的人脸活体检测方法，其特征在于，在所述人脸活体检测模型中：
所述人脸分类网络的输入为所述红外人脸区域及所述彩色人脸区域；
所述人脸分类网络的输出为概率向量；
所述得分辅助监督分支的输入为所述概率向量；
所述得分辅助监督分支的输出为所述人脸评分。
3.如权利要求1所述的人脸活体检测方法，其特征在于，所述人脸分类网络通过引入CA注意力机制学习了人脸的预设区域的特征。
4.如权利要求1所述的人脸活体检测方法，其特征在于，所述预设区域包括：瞳孔区域及边缘区域。
5.如权利要求1所述的人脸活体检测方法，其特征在于，在所述分别对所述红外图像及所述彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域之后，所述人脸活体检测方法还包括：
根据标定所得的单应性矩阵，对齐所述红外人脸区域及所述彩色人脸区域；
所述将所述红外人脸区域及所述彩色人脸区域输入已训练的人脸活体检测模型，得到所述人脸活体检测模型所输出的人脸评分，包括：
将已对齐的所述红外人脸区域及所述彩色人脸区域输入所述人脸活体检测模型，得到所述人脸评分。
6.如权利要求5所述的人脸活体检测方法，其特征在于，所述单应性矩阵的确定过程包括：
在所述双目摄像头的标定阶段，通过所述双目摄像头对真实人脸进行拍摄及人脸检测，得到至少五个关键点对；
根据所述至少五个关键点对，对所述单应性矩阵进行求解。
7.如权利要求1所述的人脸活体检测方法，其特征在于，所述根据所述人脸评分及预设的目标评分确定人脸活体检测结果，包括：
将所述人脸评分与所述目标评分进行比对；
根据比对结果确定所述人脸活体检测结果。
8.一种人脸活体检测装置，其特征在于，包括：
获取模块，用于通过双目摄像头进行人像采集，得到红外图像及彩色图像，其中，所述红外图像及所述彩色图像的拍摄时刻相同；
识别模块，用于分别对所述红外图像及所述彩色图像进行人脸检测，得到红外人脸区域及彩色人脸区域；
检测模块，用于将所述红外人脸区域及所述彩色人脸区域输入已训练的人脸活体检测模型，得到所述人脸活体检测模型所输出的人脸评分，其中，所述人脸活体检测模型包括人脸分类网络及得分辅助监督分支，所述人脸分类网络学习了人脸的预设区域的特征；
确定模块，用于根据所述人脸评分及预设的目标评分确定人脸活体检测结果。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202210734674.9A 2022-06-27 2022-06-27 人脸活体检测方法、人脸活体检测装置及电子设备 Pending CN115240245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210734674.9A CN115240245A (zh) 2022-06-27 2022-06-27 人脸活体检测方法、人脸活体检测装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210734674.9A CN115240245A (zh) 2022-06-27 2022-06-27 人脸活体检测方法、人脸活体检测装置及电子设备

Publications (1)

Publication Number Publication Date
CN115240245A true CN115240245A (zh) 2022-10-25

Family

ID=83668625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210734674.9A Pending CN115240245A (zh) 2022-06-27 2022-06-27 人脸活体检测方法、人脸活体检测装置及电子设备

Country Status (1)

Country Link
CN (1) CN115240245A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453194A (zh) * 2023-04-21 2023-07-18 无锡车联天下信息技术有限公司 一种人脸属性判别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453194A (zh) * 2023-04-21 2023-07-18 无锡车联天下信息技术有限公司 一种人脸属性判别方法及装置
CN116453194B (zh) * 2023-04-21 2024-04-12 无锡车联天下信息技术有限公司 一种人脸属性判别方法及装置

Similar Documents

Publication Publication Date Title
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2019134536A1 (zh) 基于神经网络模型的人脸活体检测
US20160019420A1 (en) Multispectral eye analysis for identity authentication
CN112381775B (zh) 一种图像篡改检测方法、终端设备及存储介质
US20170091550A1 (en) Multispectral eye analysis for identity authentication
US20160019421A1 (en) Multispectral eye analysis for identity authentication
CN104364798B (zh) 用于面部验证的系统及方法
WO2019137178A1 (zh) 人脸活体检测
CN103577801B (zh) 用于生物特征验证的质量度量的方法和系统
EP4033458A2 (en) Method and apparatus of face anti-spoofing, device, storage medium, and computer program product
CN105335719A (zh) 活体检测方法及装置
CN109948420B (zh) 人脸比对方法、装置及终端设备
US10599925B2 (en) Method of detecting fraud of an iris recognition system
CN112434546A (zh) 人脸活体检测方法及装置、设备、存储介质
CN111767879A (zh) 一种活体检测方法
CN111079687A (zh) 证件伪装识别方法、装置、设备及存储介质
CN113128428A (zh) 基于深度图预测的活体检测方法和相关设备
CN110378351A (zh) 印章鉴别方法及装置
CN111259757B (zh) 一种基于图像的活体识别方法、装置及设备
US20240193987A1 (en) Face liveness detection method, terminal device and non-transitory computer-readable storage medium
CN115240245A (zh) 人脸活体检测方法、人脸活体检测装置及电子设备
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN115578781A (zh) 去遮挡的虹膜检测方法、虹膜识别方法及可读存储介质
CN112800941B (zh) 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统
CN114639130A (zh) 一种可见光活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination