CN116824658A - 带交互式活体检测的人脸认证方法及系统 - Google Patents

带交互式活体检测的人脸认证方法及系统 Download PDF

Info

Publication number
CN116824658A
CN116824658A CN202310432152.8A CN202310432152A CN116824658A CN 116824658 A CN116824658 A CN 116824658A CN 202310432152 A CN202310432152 A CN 202310432152A CN 116824658 A CN116824658 A CN 116824658A
Authority
CN
China
Prior art keywords
iris
image
face
sequence image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310432152.8A
Other languages
English (en)
Inventor
李娟�
翟广辉
海泳
宋运隆
黄爱卿
刘晓燕
陈丽安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuchang University
Original Assignee
Xuchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuchang University filed Critical Xuchang University
Priority to CN202310432152.8A priority Critical patent/CN116824658A/zh
Publication of CN116824658A publication Critical patent/CN116824658A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Abstract

本发明公开提出了一种带交互式活体检测的人脸认证方法及系统，涉及人工智能技术领域，包括：获取用户的第一虹膜序列图像和第二虹膜序列图像；将第一虹膜序列图像中的第一虹膜图像和第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像；判断是否属于活体虹膜；若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和第二虹膜图像的匹配度；在第四虹膜图像对应的匹配度大于阈值的情况下，确定用户人脸认证通过，并获取用户信息。有效的克服当前虹膜检测识别精度较低、识别效率不高的缺陷，并且可以能够同时结合可见光图像的纹理特征、较高的空间分辨率和红外图像的热辐射特征等热效应特点。

Description

带交互式活体检测的人脸认证方法及系统
技术领域
本发明公开涉及人工智能技术领域，尤其涉及一种带交互式活体检测的人脸认证方法及系统。
背景技术
随着人们生活质量的提高，生活住宅物联网化，办公高楼现代化，交通工具日益发达多样化等等，这些无疑都时时刻刻影响着人们的各个方面，从而人们对大到社会治安小到家庭住所的安全更加担忧。飞机场、高铁站、地铁站、海关等公共场所的人流控制、治安管理、潜在犯罪分析等等需求日益增长。大型公共场所比如体育场、足球场或者金融中心等对人流及身份的监控，都需要用到活体检测和识别技术。虹膜识别通过分析不同虹膜之间的纹理差异对人的身份进行识别和认证，具有唯一性高、稳定性强、非侵犯性等优点，已被成功地应用于机场、海关、银行等场合的身份鉴定。然而，随着普及程度的逐渐提高，虹膜识别系统也面临着各种人工伪造技术的威胁和攻击。因而，如何实现提高活体检测的准确度，是目前需要解决的问题。
发明内容
本发明公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本发明公开第一方面实施例提出了一种带交互式活体检测的人脸认证方法，包括：
获取用户当前的人脸序列图像和红外序列图像；
对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像；
将所述第一虹膜序列图像中的第一虹膜图像和所述第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像；
将所述第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像输入至预先训练完成的虹膜活体检测模型中，以判断是否属于活体虹膜；
若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的匹配度；
在任一第四虹膜图像对应的匹配度大于预设阈值的情况下，确定所述用户人脸认证通过，并获取与所述任一第四虹膜图像关联的所述用户的用户信息。
本发明公开第二方面实施例提出了一种带交互式活体检测的人脸认证系统，包括：
第一获取模块，用于获取用户当前的人脸序列图像和红外序列图像；
处理模块，用于对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像；
融合模块，用于将所述第一虹膜序列图像中的第一虹膜图像和所述第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像；
判断模块，用于将所述第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像输入至预先训练完成的虹膜活体检测模型中，以判断是否属于活体虹膜；
确定模块，用于若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的匹配度；
第二获取模块，用于在任一第四虹膜图像对应的匹配度大于预设阈值的情况下，确定所述用户人脸认证通过，并获取与所述任一第四虹膜图像关联的所述用户的用户信息。
本发明公开第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本发明公开第一方面实施例提出的带交互式活体检测的人脸认证方法。
本发明公开第四方面实施例提出了一种非临时性计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如本发明公开第一方面实施例提出的带交互式活体检测的人脸认证方法。
本发明公开提供的带交互式活体检测的人脸认证方法及系统，存在如下有益效果：
本发明公开实施例中，首先获取用户当前的人脸序列图像和红外序列图像，然后对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像，之后将所述第一虹膜序列图像中的第一虹膜图像和所述第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像，然后将所述第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像输入至预先训练完成的虹膜活体检测模型中，以判断是否属于活体虹膜，若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的匹配度，之后在任一第四虹膜图像对应的匹配度大于预设阈值的情况下，确定所述用户人脸认证通过，并获取与所述任一第四虹膜图像关联的所述用户的用户信息。由此，可以将第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像共同作为输入，也即可以将可见光图像、红外图像和融合后的图像共同作为输入，利用虹膜活体检测模型来进行预测和判断，以确定用户当前的虹膜是否是活体虹膜，有效的克服当前虹膜检测识别精度较低、识别效率不高的缺陷，并且可以能够同时结合可见光图像的纹理特征、较高的空间分辨率和红外图像的热辐射特征等热效应特点，来实现对虹膜的活体检测，并在认证通过的情况下，获取关联的用户信息以使用户可以进行确认，改善了用户的体验。
本发明公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明公开的实践了解到。
附图说明
本发明公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明公开实施例所提供的一种带交互式活体检测的人脸认证方法的流程示意图；
图2为本发明公开实施例所提供的一种带交互式活体检测的人脸认证系统的结构框图；
图3示出了适于用来实现本发明公开实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本发明公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明公开，而不能理解为对本发明公开的限制。
下面参考附图描述本发明公开实施例的带交互式活体检测的人脸认证方法及系统。
需要说明的是，人的眼睛结构由巩膜、虹膜、瞳孔晶状体、视网膜等部分组成。虹膜是位于黑色瞳孔和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹、隐窝等的细节特征。而且虹膜在胎儿发育阶段形成后，在整个生命历程中将是保持不变的。这些特征决定了虹膜特征的唯一性，同时也决定了身份识别的唯一性。因此，可以将眼睛的虹膜特征作为每个人的身份识别对象，比起指纹识别，人脸识别等生物特征识别技术，虹膜识别的错误率是最低的，特别是在疫情期间，人们佩戴着口罩、帽子，也能够正确识别。目前，改变虹膜特征的医学难度和手术风险都非常大，虹膜具有细微的动态特征，这让伪造虹膜非常困难。虹膜的应用场景有很多，在信息安全领域，智能手机支持虹膜解屏。在银行、重要岗位等要害部位，虹膜是刷眼进入的唯一通道，有效提高了安全性。在公共安全领域，虹膜识别快捷通道已经开始应用，出入境更加便捷。
需要说明的是，本发明公开实施例中的带交互式活体检测的人脸认证方法的执行主体为带交互式活体检测的人脸认证系统，该装置可以由软件和/或硬件的方式实现，下面将以“带交互式活体检测的人脸认证系统”作为执行主体对本发明公开实施例中提出的带交互式活体检测的人脸认证方法进行说明，在此不进行限定。
图1为本发明公开实施例所提供的带交互式活体检测的人脸认证方法的流程示意图。
如图1所示，该带交互式活体检测的人脸认证方法可以包括以下步骤：
步骤101，获取用户当前的人脸序列图像和红外序列图像。
需要说明的是，人脸序列图像和红外序列图像均为一组图像，也即包含有多帧图像。且人脸序列图像和红外序列图像的数量是相等的。人脸序列图像和红外序列图像中的每帧图像均是对齐的，也即获取的时刻是相等的。人脸序列图像和红外序列图像拍摄的装置是不相同的。人脸序列图像可以是有可见光相机，比如双目相机或者单目相机拍摄的包含用户人脸的人脸图像。红外序列图像是在红外补光灯的照射下拍摄的红外图像。需要注意的是，在获取用户当前的人脸序列图像和红外序列图像时，需要对用户进行初步的活体检测，从而可以简单的判断用户人脸是否是真实人脸图像，也即判断是否是照片或者视频冒充的。如果是真实的人脸图像，再进一步的获取用户当前的人脸序列图像和红外序列图像，从而保障人脸检测的准确性。可选的，可以基于RGB摄像装置实时获取当前摄像范围的场景图像，并基于MTCNN人脸检测算法判断所述场景图像中是否存在人脸，若存在人脸，则通过LightenedCNN人脸识别算法对所述场景图像中的第一人脸图像进行特征提取，以得到多个特征值，将所述多个特征值与真实人脸数据库中的人脸特征值进行匹配，并根据匹配的结果判断所述第一人脸图像是否属于真实人脸图像，若所述第一人脸图像不属于所述真实人脸图像，向目标终端设备发送报警信息。其中，第一人脸图像可以为当前从场景图像中提取出来的人脸图像，其可能是真实人脸，或者也可能是虚假的人脸。其中，真实人脸数据库为预设的数据库，其中的包含有很多个真实人脸对应的人脸特征。通过将从第一人脸图像中提取的各个特征与真实的人脸图像特征进行匹配，可以得到是否是真实人脸。
其中，在人脸检测中应用较广的算法就是MTCNN(Multi-task CascadedConvolutional Networks的缩写)。MTCNN算法是一种基于深度学习的人脸检测和人脸对齐方法，它可以同时完成人脸检测和人脸对齐的任务，相比于传统的算法，它的性能更好，检测速度更快。
作为另一种可能实现的方式，也可以通过对第一人脸图像进行心率检测，从而判断是否是真实的人脸。
需要说明的是，人脸视频心率是利用经验模态分解对远程光学体积描记术信号进行分解获取信号模态数,设计自适应变分模态分解算法,分解信号获取不同频率和带宽的模态，然后根据心率频率范围和模态中心频率重构心率信号，最后进行功率谱密度分析计算心率。需要说明的是，当光源照射人脸皮肤表面，一部分直接经过镜面反射被摄像机捕捉；一部分穿过皮肤组织，经由皮肤组织、毛细血管或其他组织吸收后形成漫反射。漫反射光中包含了血液吸收光的信息，即心脏跳动信息。因此可以通过提取漫反射光的变化信息计算心率。可以理解的是，若第一人脸图像为真实的人脸，则可以通过人脸检测到用户的心率，从而防止被虚假的人脸进行攻击。
作为其他可能实现的方式，也可以对人脸进行睫毛检测，或者鼻孔温度变化检测，从而通过对人的鼻孔温度变化进行判断，来判断人脸是否是真实的人脸。
需要说明的是，终端设备中的虹膜识别原理为利用一个发光二极管(红外光)和光接收传感器工作，在虹膜检测时，首先打开红外LED，红外LED发出红外光，打到人的眼球上再反射回来，由红外摄像头Camera捕捉图片，供后端算法进行识别。
基于该识别原理可知，如果红外光不足，则接收到的发射红外光较弱，虹膜识别效果较差，如果红外光过足，则会导致对终端设备的电量的浪费，影响终端设备的续航能力，其中，红外补光灯用以对红外灯进行红外补光。
可选的，在获取用户当前的红外序列图像之前，首先需要根据实际的情况对红外补光灯进行调整，从而能够使得之后获取得到的红外序列图像的效果更好。
可以首先向用户面部投射结构光源，并拍摄所述结构光源经过用户面部调制的结构光图像，然后获取所述结构光源的结构信息以及结构光处理参数，之后根据与所述结构信息以及结构光处理参数对应的解调信息，解调所述结构光图像中变形位置像素对应的相位，然后根据所述相位获取用户面部的景深信息和结构光传输的时间信息，之后根据所述景深信息和时间信息，确定当前距离用户面部的距离，之后查询预设的电流控制曲线，以确定与所述距离对应的红外补光灯的驱动电流，进行对应调整,并基于调整后的所述红外补光灯拍摄所述用户的红外序列图像，并同时基于RGB摄像装置获取用户当前的人脸序列图像。
具体地，由于用户面部距离拍摄装置的距离于眼睛距离拍摄装置的距离基本相等，因此，为了提高检测容易度，获取用户面部距离拍摄装置的距离。
作为一种可能的实现方式，为了进一步提高用户面部距离拍摄装置的距离的准确度，基于结构光对用户面部距离拍摄装置的距离，比如，激光条纹、格雷码、正弦条纹、或者，非均匀散斑等，由此，由于结构光可以基于整个用户面部确定距离拍摄装置的距离，相对于原有的单点距离检测方式，准确度更高。
为了使得本领域的技术人员更加清楚的了解，如何确定用户面部距离拍摄装置的距离，下面以一种应用广泛的光栅投影技术为例来阐述其具体原理，其中，光栅投影技术属于广义上的面结构光。在使用面结构光投影的时候，通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用CCD相机拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度。当然其中至关重要的一点就是系统的标定，包括系统几何参数的标定和CCD相机以及投影设备的内部参数标定，否则很可能产生误差或者误差耦合。
用户面部距离拍摄装置的距离不同，结构光图像的相位畸变程度不同，因而，向进行虹膜识别的用户面部投射结构光源，并拍摄结构光源经过用户面部调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位确定用户面部距离拍摄装置的距离。
需要说明的是，在实际应用中，可能拍摄装置的数量，以及投影装置和拍摄装置之间的距离和角度等结构光处理参数不同，对距离拍摄装置的距离的面部测得的相位也是不同的，因此为了提高识别准确度，确定结构光源的结构信息以及结构光处理参数，根据与结构信息以及结构光处理参数对应的解调信息，解调结构光图像中变形位置像素对应的相位。在本实例中，考量到结构光处理参数对获取的相位畸变的影响，解调结构光图像中变形位置像素对应的相位，避免由于不考虑结构光处理参数时，直接将根据相位确定用户面部距离拍摄装置的距离导致的测量偏差。
因为系统外部参数不标定则不可能由相位计算出正确的高度信息。具体地，在获知用户面部距离拍摄装置的距离后，根据距离调整红外补光灯的光照强度，如果距离越大，则为了取得较好的虹膜识别效果，补光的光照强度越强，如果距离越小，则此时为了节省终端设备的电量，补光的光照强度越弱。
需要说明的是，根据具体应用需求的不同，可采用不同的方式调整红外补光灯的光照强度。作为一种可能的实现方式，预先根据大量实验获取电流控制曲线，通过该电流控制曲线获取驱动电流和用户面部距离拍摄装置的距离的对应关系，从而，可查询预设的电流控制曲线获取与距离对应的红外补光灯的驱动电流，进行对应调整。作为另一种可能的实现方式，预先根据大量实验获知驱动电流和用户面部距离拍摄装置的距离的对应关系，根据该对应关系设置对应的转换算法，在获取用户面部距离拍摄装置的距离后，根据该转换算法计算出对应的驱动电流。综上所述，本发明实施例的虹膜识别补光方法，向进行虹膜识别的用户面部投射结构光源，并拍摄结构光源经过用户面部调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位确定用户面部距离拍摄装置的距离，以根据距离调整红外补光灯的光照强度。由此，根据用户面部距离拍摄装置的距离调整红外补光灯的强度，避免因为补光过强导致电量浪费，又避免因为补光效果较弱而影响虹膜识别效果。需要说明的是，虹膜识别对红外补光灯的光照强度要求非常高，不同光照强度直接影响虹膜识别效果。可以利用结构光建立3D模型，获取人脸与摄像头的距离，根据人脸与前置摄像头的距离，获取人脸的深度信息，动态调整驱动电流，如果距离较近，则输出驱动较小的电流，补光不需太强，反之，如果距离较远，则输出驱动较大的电流，增强补光。
步骤102，对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像。
需要说明的是，在得到了人脸序列图像之后，可以将人脸序列图像分别进行人脸对齐，之后将对齐后的所述人脸序列图像进行时序组合，以得到多个组合，然后对所述多个组合进行排序，以获得多组人脸面部图像序列，然后对每组所述人脸面部图像序列进行特征提取、下采样操作、以及归一化处理，以得到每组所述人脸面部图像序列的检测结果，之后对各个所述检测结果进行求平均计算，并将计算结果作为所述人脸的活体检测结果，其中，每个所述检测结果和所述活体检测结果均为二维数组，所述二维数组的其中一维代表所述人脸为活体的概率，另一维代表所述人脸不是活体的概率，然后基于所述人脸的活体检测结果，识别所述人脸是否为活体，若所述人脸为活体，执行所述对所述人脸序列图像和所述红外序列图像分别进行处理的操作。
为了定位到人脸的每个部件，提取相应的面部特征，同时提高模型输出结果的准确性，在进行活体检测前，需要将获取到的人脸序列图像分别进行人脸对齐处理。其中人脸对齐处理可以使用目前现有的技术实现，在本申请实施例中以使用RetinaFace人脸关键点检测算法为例进行说明，如下：将获取到的M帧人脸图像通过RetinaFace算法得到每张人脸图像对应的五个人脸关键点，如图2所示，分别为左眼、右眼、鼻子、左嘴角和右嘴角，然后根据每张图片得到的五个关键点对人脸进行对齐，得到M帧人脸面部图像。其中人脸对齐的主要原理如下：假设对齐前的五个关键点矩阵为A，对齐后五个关键点矩阵为B，目的是要找到一个变换矩阵Ω，使得A经过Ω变换后，最接近B。这个过程可以表示为求R＝argminΩ||ΩA-B||F，其中Ω满足条件ΩTΩ＝I，‖·‖F是弗罗贝尼乌斯范数(Frobenius norm)。关于R的求解如下，R＝UVT，M＝UΣVT，M＝BAT，即通过对BAT进行奇异值分解，获得酉矩阵U、V，最终通过UVT获得仿射变换矩阵。
举例来说，若人脸序列图像一共有M张，也就是说，在M张人脸面部图像中取出N张人脸面部图像并组成一组，可以得到种不同的组合，每个组合中包括N张人脸面部图像。
作为一种示例，若M＝4，N＝3，且M张人脸面部图像x0＝(f1,f2,f3,f4)，其中f1,f2,f3,f4分别为4张人脸面部图像，则可以得(f1,f2,f3)、(f2,f3,f4)、(f1,f2,f4)、(f1,f3,f4)种组合，也就是种组合。其中每个组合不考虑各图像之间的顺序。
可以理解，由不同顺序的人脸面部图像组成的人脸面部图像序列所携带的信息不同，则通过人脸活体检测模型提取到的特征信息也会不同，所以为了使人脸活体检测模型能学习到更多的信息，提升模型的鲁棒性，可以将每个组合中的人脸面部图像分别进行排序，已得到尽可能多的人脸面部图像序列。
在本申请实施例中，每种组合中由N张人脸面部图像，将每种组合中的人脸面部图像分别进行排序，可以得到组不同的人脸面部图像序列，从而/>种组合可以得到/>组不同的人脸面部图像序列。基于上述示例，将(f1,f2,f3)、(f2,f3,f4)、(f1,f2,f4)、(f1,f3,f4)四种组合中的人脸面部图像分别进行排序，其中每种组合中的人脸面部图像可以有种排序，则一共有/>组人脸面部图像序列。
根据本申请实施例提出的人脸活体检测方法，通过将多帧人脸面部图像先进行时序组合，再将各组合中的人脸面部图像分别进行排序，相当于将多帧人脸面部图像进行排列组合，以得到尽可能多的固定长度的人脸面部图像序列，从而可以使人脸活体检测模型能提取到更多的特征信息，进一步地提高模型检测的准确性。
根据本申请实施例，将人脸活体检测模型分为特征提取模块、下采样模块和归一化模块，然后对每组所述人脸面部图像序列进行特征提取、下采样操作、以及归一化处理，以得到每组所述人脸面部图像序列的检测结果，不仅可以有效地减少模型参数和网络模型的计算量，也可以减少模型计算出现过拟合的风险，同时可以提高模型计算的效率，从而提升了人脸活体检测的效率及准确性。
需要说明的是，根据多个检测结果来确定人脸的活体检测结果的方式可以为将多个检测结果进行融合处理，比如：求平均的方式，加权平均的方式，或者为其他的方式，本申请实施例以求平均的方式为例进行说明，包括：将多个检测结果进行求平均计算，并将计算结果作为人脸活体检测结果。
在本申请实施例中，每个检测结果和最终的人脸活体检测结果可以是二维数组的形式，该二维数组的其中一维代表人脸为活体的概率，另一维代表人脸不是活体的概率。从而可以根据人脸的活体检测结果，来识别该人脸是否为活体，比如，可以通过设定阈值的方式，若代表人脸为活体的概率超过该阈值，说明该人脸为活体，否则该人脸不是活体。
通过将多帧人脸面部图像进行重组，得到多组固定长度的人脸面部图像序列，并根据固定长度的人脸面部图像序列进行人脸活体检测，也就是说，当人脸图像的帧数发生变化时，输入至模型的图像依然为固定帧数，从而人脸活体检测模型不用重新训练，可以提高模型的适用性，降低了模型训练的成本。此外，根据多组人脸面部图像序列的检测结果来确定人脸的活体检测结果，可以降低模型的抖动影响，提高检测结果的准确性。在人脸检测通过之后，可以进行虹膜检测，从而进一步提高人脸认证的准确性。
可选的，可以首先对所述人脸序列图像进行面部特征检测，以定位所述人脸序列图像中的人脸关键点，然后基于所述人脸序列图像中的各个眼部关键点，对所述人脸序列图像进行定位和分割，以得到对应的每帧眼部图像，之后对所述人脸序列图像对应的所述每帧眼部图像进行处理，以获取第一虹膜序列图像，然后从所述红外序列图像的各帧图像中截取包括所述瞳孔的区域，并在每个所述区域内提取目标对象，其中，所述目标对象包括：瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边界，之后基于所述目标对象对所述红外序列图像的各帧图像进行标签，以得到第二虹膜序列图像。
需要说明的是，由于每帧图像中人眼的睁开程度是不一样的，因而也会导致虹膜的覆盖度是不相同的，也即每帧图像中的瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边界均可能是不相同的。因而，可对红外序列图像的各帧图像中截取包括瞳孔的区域时，可以根据预设的各个参数，进行排查和判断。可选的，可以首先设置好瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边分别对应的瞳孔参考值、眼睑参考值、虹膜外圆参考值、瞳孔边界参考值、眼睑边界参考值和虹膜外边参考值，也即需要首先对每帧图像中目标对象对应的开放度，也即完全可见性进行评估，之后可以将每帧图像中瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边对应的评估值与瞳孔参考值、眼睑参考值、虹膜外圆参考值、瞳孔边界参考值、眼睑边界参考值和虹膜外边参考值分别进行比较，从而可以将满足调节的图像作为目标图像。举例来说，若图像A中瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边分别对应的评分值为0.7、0.56、0.28、0.56、0.6、0.7，瞳孔参考值、眼睑参考值、虹膜外圆参考值、瞳孔边界参考值、眼睑边界参考值和虹膜外边参考值分别为0.8、0.6、0.29、0.33、0.5、0.7，由于瞳孔边界、眼睑边界对应的评分值均小于对应的瞳孔边界参考值、眼睑边界参考值，因而可以认为该帧图像是不满足预设条件的，因而可以将该帧图像进行删去。
可选的，可以基于豪斯多夫距离测量瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边和参考瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边内外边界形状之间的形状相似性，从而可以得到评分值。或者，也可以选用Dice测量这些形状之间的重叠。与此同时，为了降低计算的复杂度，提高算法的鲁棒性，还需要对各帧图像进行去重处理，从而去掉相似度比较高的图像。可以理解的是，为了保证第一虹膜序列图像和第二虹膜序列图像是对齐的，若在第二虹膜序列图像中删除了任一帧图像之后，需要同时删除第一虹膜序列图像中对应的图像。
可选的，还可以对第一虹膜序列图像和第二虹膜序列图像进行二维Gabor滤波器滤波、定位、归一化以及图像增强。
步骤103，将所述第一虹膜序列图像中的第一虹膜图像和所述第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像。
需要说明的是，第二虹膜图像为红外图像，可以根据辐射差异将目标与背景区分开来,这在全天候和全天/整夜的情况下效果很好。第一虹膜图像为可见光图像，可以提供具有高空间分辨率和清晰度的纹理细节。因此,期望融合这两种类型的图像,这可以结合红外图像中的热辐射信息和可见图像中的详细纹理信息的优点。可选的，可以通过IFEVIP(Infrared feature extraction and visual information preservation，红外图像结构抽取和可见光图像信息保留)的方法进行融合，或者，也可以基于NSST(非下采样剪切波算法)算法进行融合。
可以理解的是，目前主流的图像融合有，基于多尺度变换的方法、基于稀疏表示的方法、基于神经网络的方法、基于子空间的方法、基于显著性的方法、基于混合的方法等等，很多。本发明公开中进行融合的方法在此不做限定。
步骤104，将所述第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像输入至预先训练完成的虹膜活体检测模型中，以判断是否属于活体虹膜。
其中，预先训练完成的虹膜活体检测模型可以为一种神经网络模型，其已经达到可用的状态。本发明公开实施例中，可以将第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像共同作为输入。需要说明的是，在构建虹膜活体检测模型时，首先需要收集各种种族、各个国家、各个不同颜色的虹膜图像，需要说明的是，可以获取30000张不同特点的虹膜图像作为训练数据集，然后获取8000张虹膜图像作为验证数据集。其中，训练数据集用于对初始模型做训练。可以理解的是，初始模型可以为支持向量机模型、CNN模型、特征金字塔神经网络模型。其中，每张图像数据中有人工标好的标签。其中，标签中有虹膜特征标签、纹理特征标签、睫毛区域特征标签、眼周特征标签、对比度特征标签。或者，也可以将各个特征进行加权融合，来对初始模型进行训练。可以理解的是，可以基于可见光图像、红外图像和融合图像，以及分别对应的图像特征，计算初始虹膜模型的损失值，然后根据所述损失值训练所述虹膜识别模型，有效提升模型的特征表达能力，提取的虹膜特征更具判别性和鲁棒性，从而显著提高虹膜识别的准确率。其中，训练数据集和验证数据集中的图像中包含有也是预先由可见光和红外图像融合得到的图像，以及可见光图像和红外图像。其中，虹膜活体检测模型在读取输入图像，之后可以在图像上执行变换。例如，调整大小，中央裁剪，正规化等等。然后使用预先训练的权值找出输出向量，输出向量中的每个元素描述模型预测输入图像属于某个特定类的置信度，然后根据得到的分数显示预测，也即是否是活体虹膜。
步骤105，若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的匹配度。
其中，预先记录的虹膜数据库中记录的多个用户对应的第四虹膜图像。需要说明的是，每个用户对应的第四虹膜图像有多个。在用户录入信息时，需要按照指定的姿态来旋转眼睛、瞳孔，并进行眨眼，睁眼睛的动作，从而可以在虹膜数据库中记录任一用户的眼睛在不同的张开状态下的虹膜图像。进而，在确定了虹膜为活体虹膜之后，则可以计算虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的相似度，作为匹配度。
步骤106，在任一第四虹膜图像对应的匹配度大于预设阈值的情况下，确定所述用户人脸认证通过，并获取与所述任一第四虹膜图像关联的所述用户的用户信息。
其中，预设阈值可以为98.5％。若任一第四虹膜图像对应的匹配度大于98.5％，则可以认为用户人脸认证为通过，此时可以基于预设的映射关系，获取与该任一第四虹膜图像关联的用户信息。或者，也可以在多个第四虹膜图像对应的匹配度大于80％，且该多个第四虹膜图像所属的用户为同一用户的情况下，将与该多个第四虹膜图像对应的用户信息作为当前匹配到的用户的用户信息。可以理解的是，在进行人脸认证之前，数据库中已经记录好了当前用户的各个类型的属性信息和用户个人信息，比如年龄、性别、工作等等。若用户人脸认证通过，则可以确定该用户的用户信息得到确认，也即说明此时在摄像装置前面的用户为真实已注册的活体用户。作为一种场景，可以将该本发明公开实施例中所提供的带交互式活体检测的人脸认证方法运用在门禁中，比如家长进校园接孩子时只有通过了人脸认证，才可以得到许可。或者在一些安全要求比较高的园区中，只有通过了人脸认证，用户才可以被允许进入。
本发明公开实施例中，首先获取用户当前的人脸序列图像和红外序列图像，然后对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像，之后将所述第一虹膜序列图像中的第一虹膜图像和所述第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像，然后将所述第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像输入至预先训练完成的虹膜活体检测模型中，以判断是否属于活体虹膜，若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的匹配度，之后在任一第四虹膜图像对应的匹配度大于预设阈值的情况下，确定所述用户人脸认证通过，并获取与所述任一第四虹膜图像关联的所述用户的用户信息。由此，可以将第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像共同作为输入，也即可以将可见光图像、红外图像和融合后的图像共同作为输入，利用虹膜活体检测模型来进行预测和判断，以确定用户当前的虹膜是否是活体虹膜，有效的克服当前虹膜检测识别精度较低、识别效率不高的缺陷，并且可以能够同时结合可见光图像的纹理特征、较高的空间分辨率和红外图像的热辐射特征等热效应特点，来实现对虹膜的活体检测，并在认证通过的情况下，获取关联的用户信息以使用户可以进行确认，改善了用户的体验。
为了实现上述实施例，本发明公开还提出一种带交互式活体检测的人脸认证系统。
图2为本发明公开第二施例所提供的带交互式活体检测的人脸认证系统的结构框图。
如图2所示，该带交互式活体检测的人脸认证系统200可以包括：
第一获取模块210，用于获取用户当前的人脸序列图像和红外序列图像；
处理模块220，用于对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像；
融合模块230，用于将所述第一虹膜序列图像中的第一虹膜图像和所述第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像；
判断模块240，用于将所述第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像输入至预先训练完成的虹膜活体检测模型中，以判断是否属于活体虹膜；
确定模块250，用于若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的匹配度；
第二获取模块260，用于在任一第四虹膜图像对应的匹配度大于预设阈值的情况下，确定所述用户人脸认证通过，并获取与所述任一第四虹膜图像关联的所述用户的用户信息。
可选的，所述第一获取模块，具体用于：
向用户面部投射结构光源，并拍摄所述结构光源经过用户面部调制的结构光图像；
获取所述结构光源的结构信息以及结构光处理参数；
根据与所述结构信息以及结构光处理参数对应的解调信息，解调所述结构光图像中变形位置像素对应的相位；
根据所述相位获取用户面部的景深信息和结构光传输的时间信息；
根据所述景深信息和时间信息，确定当前距离用户面部的距离；
查询预设的电流控制曲线，以确定与所述距离对应的红外补光灯的驱动电流，进行对应调整,并基于调整后的所述红外补光灯拍摄所述用户的红外序列图像，并同时基于RGB摄像装置获取用户当前的人脸序列图像。
可选的，所述处理模块，具体用于：
对所述人脸序列图像进行面部特征检测，以定位所述人脸序列图像中的人脸关键点；
基于所述人脸序列图像中的各个眼部关键点，对所述人脸序列图像进行定位和分割，以得到对应的每帧眼部图像；
对所述人脸序列图像对应的所述每帧眼部图像进行处理，以获取第一虹膜序列图像；
从所述红外序列图像的各帧图像中截取包括所述瞳孔的区域，并在每个所述区域内提取目标对象，其中，所述目标对象包括：瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边界；
基于所述目标对象对所述红外序列图像的各帧图像进行标签，以得到第二虹膜序列图像。
可选的，所述处理模块，还用于：
对所述第一虹膜序列图像和第二虹膜序列图像进行二维Gabor滤波器滤波、定位、归一化以及图像增强。
可选的，第一获取模块，还用于：
基于RGB摄像装置实时获取当前摄像范围的场景图像，并基于MTCNN人脸检测算法判断所述场景图像中是否存在人脸；
若存在人脸，则通过LightenedCNN人脸识别算法对所述场景图像中的第一人脸图像进行特征提取，以得到多个特征值；
将所述多个特征值与真实人脸数据库中的人脸特征值进行匹配，并根据匹配的结果判断所述第一人脸图像是否属于真实人脸图像；
若所述第一人脸图像不属于所述真实人脸图像，向目标终端设备发送报警信息。
可选的，第一获取模块，还用于：
将所述人脸序列图像分别进行人脸对齐；
将对齐后的所述人脸序列图像进行时序组合，以得到多个组合，然后对所述多个组合进行排序，以获得多组人脸面部图像序列；
对每组所述人脸面部图像序列进行特征提取、下采样操作、以及归一化处理，以得到每组所述人脸面部图像序列的检测结果；
对各个所述检测结果进行求平均计算，并将计算结果作为所述人脸的活体检测结果，其中，每个所述检测结果和所述活体检测结果均为二维数组，所述二维数组的其中一维代表所述人脸为活体的概率，另一维代表所述人脸不是活体的概率；
基于所述人脸的活体检测结果，识别所述人脸是否为活体；
若所述人脸为活体，执行所述对所述人脸序列图像和所述红外序列图像分别进行处理的操作。
本发明公开实施例中，首先获取用户当前的人脸序列图像和红外序列图像，然后对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像，之后将所述第一虹膜序列图像中的第一虹膜图像和所述第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像，然后将所述第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像输入至预先训练完成的虹膜活体检测模型中，以判断是否属于活体虹膜，若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的匹配度，之后在任一第四虹膜图像对应的匹配度大于预设阈值的情况下，确定所述用户人脸认证通过，并获取与所述任一第四虹膜图像关联的所述用户的用户信息。由此，可以将第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像共同作为输入，也即可以将可见光图像、红外图像和融合后的图像共同作为输入，利用虹膜活体检测模型来进行预测和判断，以确定用户当前的虹膜是否是活体虹膜，有效的克服当前虹膜检测识别精度较低、识别效率不高的缺陷，并且可以能够同时结合可见光图像的纹理特征、较高的空间分辨率和红外图像的热辐射特征等热效应特点，来实现对虹膜的活体检测，并在认证通过的情况下，获取关联的用户信息以使用户可以进行确认，改善了用户的体验。
为了实现上述实施例，本发明公开还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本发明公开前述实施例提出的带交互式活体检测的人脸认证方法。
为了实现上述实施例，本发明公开还提出一种非临时性计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如本发明公开前述实施例提出的带交互式活体检测的人脸认证方法。
图3示出了适于用来实现本发明公开实施方式的示例性计算机设备的框图。图3显示的计算机设备12仅仅是一个示例，不应对本发明公开实施例的功能和使用范围带来任何限制。
如图3所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明公开所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明公开的限制，本领域的普通技术人员在本发明公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种带交互式活体检测的人脸认证方法，其特征在于，包括：
获取用户当前的人脸序列图像和红外序列图像；
对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像；
将所述第一虹膜序列图像中的第一虹膜图像和所述第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像；
将所述第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像输入至预先训练完成的虹膜活体检测模型中，以判断是否属于活体虹膜；
若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的匹配度；
在任一第四虹膜图像对应的匹配度大于预设阈值的情况下，确定所述用户人脸认证通过，并获取与所述任一第四虹膜图像关联的所述用户的用户信息。
2.根据权利要求1所述的方法，其特征在于，所述获取用户当前的人脸序列图像和红外序列图像，包括：
向用户面部投射结构光源，并拍摄所述结构光源经过用户面部调制的结构光图像；
获取所述结构光源的结构信息以及结构光处理参数；
根据与所述结构信息以及结构光处理参数对应的解调信息，解调所述结构光图像中变形位置像素对应的相位；
根据所述相位获取用户面部的景深信息和结构光传输的时间信息；
根据所述景深信息和时间信息，确定当前距离用户面部的距离；
查询预设的电流控制曲线，以确定与所述距离对应的红外补光灯的驱动电流，进行对应调整,并基于调整后的所述红外补光灯拍摄所述用户的红外序列图像，并同时基于RGB摄像装置获取用户当前的人脸序列图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像，包括：
对所述人脸序列图像进行面部特征检测，以定位所述人脸序列图像中的人脸关键点；
基于所述人脸序列图像中的各个眼部关键点，对所述人脸序列图像进行定位和分割，以得到对应的每帧眼部图像；
对所述人脸序列图像对应的所述每帧眼部图像进行处理，以获取第一虹膜序列图像；
从所述红外序列图像的各帧图像中截取包括所述瞳孔的区域，并在每个所述区域内提取目标对象，其中，所述目标对象包括：瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边界；
基于所述目标对象对所述红外序列图像的各帧图像进行标签，以得到第二虹膜序列图像。
4.根据权利要求1所述的方法，其特征在于，在所述对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像之后，还包括：
对所述第一虹膜序列图像和第二虹膜序列图像进行二维Gabor滤波器滤波、定位、归一化以及图像增强。
5.根据权利要求1所述的方法，其特征在于，在所述获取用户当前的人脸图像和红外图像之前，还包括：
基于RGB摄像装置实时获取当前摄像范围的场景图像，并基于MTCNN人脸检测算法判断所述场景图像中是否存在人脸；
若存在人脸，则通过LightenedCNN人脸识别算法对所述场景图像中的第一人脸图像进行特征提取，以得到多个特征值；
将所述多个特征值与真实人脸数据库中的人脸特征值进行匹配，并根据匹配的结果判断所述第一人脸图像是否属于真实人脸图像；
若所述第一人脸图像不属于所述真实人脸图像，向目标终端设备发送报警信息。
6.根据权利要求1所述的方法，其特征在于，在所述获取用户当前的人脸序列图像和红外序列图像之后，还包括：
将所述人脸序列图像分别进行人脸对齐；
将对齐后的所述人脸序列图像进行时序组合，以得到多个组合，然后对所述多个组合进行排序，以获得多组人脸面部图像序列；
对每组所述人脸面部图像序列进行特征提取、下采样操作、以及归一化处理，以得到每组所述人脸面部图像序列的检测结果；
对各个所述检测结果进行求平均计算，并将计算结果作为所述人脸的活体检测结果，其中，每个所述检测结果和所述活体检测结果均为二维数组，所述二维数组的其中一维代表所述人脸为活体的概率，另一维代表所述人脸不是活体的概率；
基于所述人脸的活体检测结果，识别所述人脸是否为活体；
若所述人脸为活体，执行所述对所述人脸序列图像和所述红外序列图像分别进行处理的操作。
7.一种带交互式活体检测的人脸认证系统，其特征在于，包括：
第一获取模块，用于获取用户当前的人脸序列图像和红外序列图像；
处理模块，用于对所述人脸序列图像和所述红外序列图像分别进行处理，以得到所述用户的第一虹膜序列图像和第二虹膜序列图像；
融合模块，用于将所述第一虹膜序列图像中的第一虹膜图像和所述第二虹膜序列图像中对应的第二虹膜图像进行融合，以得到第三虹膜序列图像；
判断模块，用于将所述第三虹膜序列图像、所述第一虹膜序列图像和所述第二虹膜序列图像输入至预先训练完成的虹膜活体检测模型中，以判断是否属于活体虹膜；
确定模块，用于若属于活体虹膜，确定预先记录的虹膜数据库中各个第四虹膜图像和所述第二虹膜图像的匹配度；
第二获取模块，用于在任一第四虹膜图像对应的匹配度大于预设阈值的情况下，确定所述用户人脸认证通过，并获取与所述任一第四虹膜图像关联的所述用户的用户信息。
8.根据权利要求7所述的系统，其特征在于，所述第一获取模块，具体用于：
向用户面部投射结构光源，并拍摄所述结构光源经过用户面部调制的结构光图像；
获取所述结构光源的结构信息以及结构光处理参数；
根据与所述结构信息以及结构光处理参数对应的解调信息，解调所述结构光图像中变形位置像素对应的相位；
根据所述相位获取用户面部的景深信息和结构光传输的时间信息；
根据所述景深信息和时间信息，确定当前距离用户面部的距离；
查询预设的电流控制曲线，以确定与所述距离对应的红外补光灯的驱动电流，进行对应调整,并基于调整后的所述红外补光灯拍摄所述用户的红外序列图像，并同时基于RGB摄像装置获取用户当前的人脸序列图像。
9.根据权利要求7所述的系统，其特征在于，所述处理模块，具体用于：
对所述人脸序列图像进行面部特征检测，以定位所述人脸序列图像中的人脸关键点；
基于所述人脸序列图像中的各个眼部关键点，对所述人脸序列图像进行定位和分割，以得到对应的每帧眼部图像；
对所述人脸序列图像对应的所述每帧眼部图像进行处理，以获取第一虹膜序列图像；
从所述红外序列图像的各帧图像中截取包括所述瞳孔的区域，并在每个所述区域内提取目标对象，其中，所述目标对象包括：瞳孔、眼睑、虹膜外圆、瞳孔边界、眼睑边界和虹膜外边界；
基于所述目标对象对所述红外序列图像的各帧图像进行标签，以得到第二虹膜序列图像。
10.根据权利要求7所述的系统，其特征在于，所述处理模块，还用于：
对所述第一虹膜序列图像和第二虹膜序列图像进行二维Gabor滤波器滤波、定位、归一化以及图像增强。
CN202310432152.8A 2023-04-20 2023-04-20 带交互式活体检测的人脸认证方法及系统 Pending CN116824658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310432152.8A CN116824658A (zh) 2023-04-20 2023-04-20 带交互式活体检测的人脸认证方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310432152.8A CN116824658A (zh) 2023-04-20 2023-04-20 带交互式活体检测的人脸认证方法及系统

Publications (1)

Publication Number Publication Date
CN116824658A true CN116824658A (zh) 2023-09-29

Family

ID=88119239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310432152.8A Pending CN116824658A (zh) 2023-04-20 2023-04-20 带交互式活体检测的人脸认证方法及系统

Country Status (1)

Country Link
CN (1) CN116824658A (zh)

Similar Documents

Publication Publication Date Title
US20210034864A1 (en) Iris liveness detection for mobile devices
US11775056B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
US6920236B2 (en) Dual band biometric identification system
CN107748869A (zh) 3d人脸身份认证方法与装置
CN107609383A (zh) 3d人脸身份认证方法与装置
KR101495430B1 (ko) 바이오메트릭 인증을 위한 품질 메트릭
CN107633165A (zh) 3d人脸身份认证方法与装置
US20170091550A1 (en) Multispectral eye analysis for identity authentication
US20160019421A1 (en) Multispectral eye analysis for identity authentication
US20160019420A1 (en) Multispectral eye analysis for identity authentication
US20060222212A1 (en) One-dimensional iris signature generation system and method
Boehnen et al. A fast multi-modal approach to facial feature detection
CN104537292A (zh) 用于生物特征验证的电子欺骗检测的方法和系统
CN111344703A (zh) 基于虹膜识别的用户认证设备和方法
CN105426843A (zh) 一种单镜头下掌静脉和掌纹图像采集装置及图像增强和分割方法
CN108416291A (zh) 人脸检测识别方法、装置和系统
Lee et al. An automated video-based system for iris recognition
CN110929570B (zh) 虹膜快速定位装置及其定位方法
CN108197549A (zh) 基于3d成像的人脸识别方法及终端
CN113920591A (zh) 基于多模态生物特征识别的中远距离身份认证方法及装置
Gupta et al. Iris recognition system using biometric template matching technology
Sathish et al. Multi-algorithmic iris recognition
CN116824658A (zh) 带交互式活体检测的人脸认证方法及系统
Mohammed et al. Conceptual analysis of Iris Recognition Systems
CN110069962A (zh) 一种活体检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination