CN114694265A - 活体检测方法、装置及系统 - Google Patents
活体检测方法、装置及系统 Download PDFInfo
- Publication number
- CN114694265A CN114694265A CN202210277598.3A CN202210277598A CN114694265A CN 114694265 A CN114694265 A CN 114694265A CN 202210277598 A CN202210277598 A CN 202210277598A CN 114694265 A CN114694265 A CN 114694265A
- Authority
- CN
- China
- Prior art keywords
- face
- living body
- recognized
- image
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本申请提供了一种活体检测方法、装置及系统,本申请可以获取检测环境下的环境矢量,对进入该检测环境的待识别对象进行人脸识别,得到待识别对象的人脸图像后,通过对该人脸图像进行特征提取,获得待识别对象的人脸姿态模型以及人脸图像的人脸光照信息,从而基于环境光矢量、人脸姿态模型以及人脸光照信息,确定待识别对象是否为活体,使得活体检测结果不受待识别对象的姿态、检测环境等因素的影响,保证了活体检测结果的准确性和可靠性;且无需待识别对象配合,也不接触用户皮肤,也就不会增加用户使用复杂度,满足更多活体检测应用场景的安全精准检测要求。
Description
技术领域
本申请主要涉及人脸识别应用领域,更具体地说是涉及一种活体检测方法、装置及系统。
背景技术
人脸识别技术作为近年来计算机视觉领域的热点研究方向之一,被广泛应用如行人识别追踪、针对各类安全业务的身份认证等多种应用场景,满足相应的应用需求。
在人脸识别实际应用中,通常需要待识别对象执行转头、点头、张嘴、眨眼等动作,据此确定待识别对象为活体对象后,再对采集到的待识别图像进行人脸识别,以通过这种活体检测方式,筛除照片、面具、模型等类型的非法攻击,提高人脸识别的准确性和可靠性。然而,目前这种需要待识别对象配合的活体检测方法,降低了人脸识别效率,用户体验感较差。
发明内容
有鉴于此,本申请提供了一种活体检测方法,所述方法包括:
获取检测环境下的环境光矢量;
对进入所述检测环境的待识别对象进行人脸识别,得到所述待识别对象的人脸图像;
对所述人脸图像进行特征提取,获得所述待识别对象的人脸姿态模型以及所述人脸图像的人脸光照信息;
基于所述环境光矢量、所述人脸姿态模型以及人脸光照信息,确定所述待识别对象是否为活体。
可选的,所述获取检测环境下的环境光矢量,包括:
确定检测环境中的光照区域包括对象识别区域,获取针对所述对象识别区域的场景图像;所述对象识别区域是指对待识别对象进行人脸识别时,所述待识别对象所在的空间位置区域;
对所述场景图像进行光参数提取,利用提取到的光参数,生成针对所述对象识别区域的环境光矢量;
其中,所述光参数至少包括环境光强度、环境光颜色和环境光方向的一种。
可选的,所述基于所述环境光矢量、所述人脸姿态模型以及人脸光照信息,确定所述待识别对象是否为活体,包括:
基于所述环境光矢量,对所述人脸姿态模型进行渲染,获得具有所述人脸姿态模型的活体在所述检测环境下的参考光照信息;
将所述人脸光照信息与所述参考光照信息进行相似比较,得到光照相似度;
基于所述光照相似度,确定所述待识别对象是否为活体;
其中,所述参考光照信息为具有所述人脸姿态模型的活体的人脸区域的参考反射光分布;所述人脸光照信息为所述待识别对象的人脸区域的反射光分布。
可选的,所述基于所述环境光矢量、所述人脸姿态模型以及人脸光照信息,确定所述待识别对象是否为活体,包括:
基于所述环境光矢量和所述人脸姿态模型,得到活体检测条件矢量;所述活体检测条件矢量能够表示具有所述人脸姿态模型的活体,在所述检测环境中的环境光照射下的光照信息;
将所述活体检测条件矢量和所述人脸光照信息输入预训练的活体检测模型,输出针对所述待识别对象的活体检测结果;所述活体检测结果表示所述待识别对象是否为活体。
可选的,所述对所述人脸图像进行特征提取,获得所述待识别对象的人脸姿态模型,包括:
对所述人脸图像进行人脸姿态检测,得到所述待识别对象的人脸姿态信息;
基于人脸先验数据,对所述人脸图像进行特征分析,得到所述待识别对象的三维人脸模型;所述人脸先验数据能够表示不同类别活体的三维人脸模型与人脸关键特征之间的对应关系;
利用所述人脸姿态信息对所述三维人脸模型进行姿态校准,得到所述待识别对象的人脸姿态模型。
可选的,所述对所述人脸图像进行特征提取,获得所述人脸图像的人脸光照信息,包括:
基于所述人脸图像的像素值,对所述人脸图像进行分割处理,得到人脸区域;
基于所述人脸区域中各像素点的亮度值,剔除所述人脸区域包含的过饱和区域和被遮挡区域,得到人脸掩膜图像;
对所述人脸掩膜图像进行光照参数采样,获得所述人脸图像中人脸皮肤区域的反射光分布;所述光照参数至少包括像素值和亮度值。
将所述反射光分布确定为所述待识别对象的人脸皮肤区域的人脸光照信息。
可选的,所述对所述人脸图像进行人脸姿态检测,得到所述待识别对象的人脸姿态信息,包括:
对所述人脸图像进行关键点提取,得到对应关键点位置信息;
基于所述关键点位置信息以及图像采集设备的采集配置参数,获得所述待识别对象相对于所述图像采集设备的旋转矩阵和平移矩阵;
利用所述旋转矩阵和所述平移矩阵,得到所述待识别对象的三维人脸姿态信息。
可选的,所述基于人脸先验数据,对所述人脸图像进行特征分析,得到所述待识别对象的三维人脸模型,包括:
对所述人脸图像进行关键特征提取,利用提取到的人脸关键特征,确定所述待识别对象的活体类别;
查询人脸先验数据,将所述活体类别对应的三维人脸模型为所述待识别对象的三维人脸模型。
本申请还提出了一种活体检测装置,所述装置包括:
环境光矢量获取模块,用于获取检测环境下的环境光矢量;
人脸图像识别模块,用于对进入所述检测环境的待识别对象进行人脸识别,得到所述待识别对象的人脸图像;
人脸数据获得模块,用于对所述人脸图像进行特征提取,获得所述待识别对象的人脸姿态模型以及所述人脸图像的人脸光照信息;
活体检测模块,用于基于所述环境光矢量、所述人脸姿态模型以及人脸光照信息,确定所述待识别对象是否为活体。
本申请还提出了一种活体检测系统,所述系统包括:至少一种光源、图像采集设备以及图像处理设备,其中:
所述光源,用于构建检测环境以及进入所述检测环境的待识别对象的光参数;
所述图像采集设备,用于对所述检测环境或所述待识别对象进行图像采集;
所述图像处理设备包括至少一个通信接口、至少一个存储器和至少一个处理器:
所述存储器,用于存储实现如上述的活体检测方法的程序;
所述处理器,用于加载执行所述程序,实现如上述的活体检测方法。
由此可见,本申请提供了一种活体检测方法、装置及系统,本申请可以获取检测环境下的环境矢量,对进入该检测环境的待识别对象进行人脸识别,得到待识别对象的人脸图像后,通过对该人脸图像进行特征提取,获得待识别对象的人脸姿态模型以及人脸图像的人脸光照信息,从而基于环境光矢量、人脸姿态模型以及人脸光照信息,确定待识别对象是否为活体,使得活体检测结果不受待识别对象的姿态、检测环境等因素的影响,保证了活体检测结果的准确性和可靠性;且无需待识别对象配合,也不接触用户皮肤,也就不会增加用户使用复杂度,满足更多活体检测应用场景的安全精准检测要求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提出的活体检测系统的一可选示例的架构示意图;
图2为本申请提出的活体检测方法的一可选示例的流程示意图;
图3为本申请提出的活体检测方法的又一可选示例的流程示意图;
图4为本申请提出的活体检测方法的又一可选示例的流程示意图;
图5为本申请提出的活体检测方法的又一可选示例的流程示意图;
图6为本申请提出的活体检测方法的又一可选示例的流程示意图;
图7为本申请提出的活体检测装置的一可选示例的结构示意图;
图8为本申请提出的活体检测装置的又一可选示例的结构示意图。
具体实施方式
针对背景技术部分描述的技术问题,提出无需待识别对象配合的活体检测方法,如利用红外摄像头进行待识别对象的温度进行检测,或在红外光源的照射下,利用红外摄像头对待识别对象的瞳孔反光进行检测,来确定待识别对象是否为活体。但这种活体检测方法所需硬件设备成本高,增加了活体检测设备成本和复杂度。
此外,提出控制单色激光光源照射待识别对象的皮肤表面,基于人体皮肤组织对光的折射、散射和透射效应,获取皮肤表面对入射光的发射光、漫反射光,以及部分入射光经过皮肤表面折射进入皮下组织,经过皮下组织的散射后,使得部分散射光透射出皮肤表面,这样就可以对这些光信号进行分析,以判断待识别对象是否为活体。但这需要对待识别对象的皮肤进行接触下检测,过程复杂且设备成本高。
为了降低设备成本,简化操作步骤,还可以获取样本活体的真实皮肤图像和非真实皮肤图像各自对应的皮肤特征,基于深度学习算法或向量机,对获取的不同皮肤特征进行学习训练,得到用于分类真实皮肤图像和非真实皮肤图像的分类器,这样,将待识别对象的皮肤图像输入该分类器,依据所得到得到皮肤分类结果,确定待识别对象是否为活体。但这种活体检测方法的精准度依赖于预训练的分类器的分类识别精准度,且鲁棒性较低,容易被高清皮肤图像攻击,无法保证真实皮肤检测结果的可靠性和高精准度。
为了进一步解决上述问题,本申请分析得知,活体在环境光照射下,人脸区域所具有的光照特征(如皮肤区域的反射光分布等),与如对象照片、面具、模型等非活动对象在该环境光下具有的光照特征存在差异。基于此,本申请可以利用不同姿态的人脸模型在环境光下各自具有的光照特征,对采集到的待识别对象的人脸图像具有的人脸光照信息进行比较,来确定待识别对象是否为活体,无需待识别对象配合,也不用配置高成本的系统设备,也不依赖模型训练样本数据,避免被高清图片攻击,提高活体检测准确性和可靠性。
下面将结合本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图,对本本申请提出的技术方案进行清楚、完整地描述。应该理解,本申请可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框,以及流程图和/或方框图中的流程和/或方框的结合。在实际应用中,可以通过计算机或其他可编程数据处理设备的处理器执行的计算机程序指令,产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置,实现本申请提出的活体检测方法。
需要说明,本申请所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,为了便于描述,附图中仅示出了与有关发明相关的部分,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合,且基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,为本申请提出的活体检测系统的一可选示例的架构示意图,该活体检测系统可以适用于如各支付平台的安全认证、门禁安全认证、企业考勤、设备锁屏/应用锁认证等人脸识别应用场景,本申请对活体检测系统的应用场景不做限制。如图1所示,该活体检测系统可以包括:至少一种光源110、图像采集设备120以及图像处理设备130,其中:
光源110可以用于检测环境以及进入该检测环境的待识别对象的光参数,如光源的光线照射到待识别对象的人脸区域(如人脸皮肤区域),经过反射效应得到的反射光的分布等,本申请对光源110类别及其工作原理不做详述。
应该理解,在不同活体检测的应用场景下,自然环境光条件不同,为了保证后续能够获取待识别对象的清晰人脸图像,此时的光源110可能包括自然环境光源和独立的光源设备,或者仅是独立的光源设备,甚至可以结合建筑结构调整光源设备的光源位置及其光照方向等,以使其输出的可控光照能够至少照射待识别对象的人脸区域。
当然,在自然环境光条件较好,能够清晰看到待识别对象的场景下,光源110可以是自然环境光源等。可见,在不同应用场景下,其实现活体检测的光源110包含的数量和类型可能不同,可视情况而定,本申请实施例在此不做一一举例详述。
图像采集设备120可以用于对检测环境进行图像采集,以获得对待识别对象进行图像采集时,该待识别对象所处环境的场景图像,这样,可以对该场景图像进行分析,实现对待识别对象进行图像采集时所处环境的环境光建模,以便后续分析不同姿态的真实人脸在该环境下所具有的光照特征。
在一些实施例中,对于上述检测环境的图像采集过程,可以实时执行或按时间周期执行或按照预设触发条件等对检测环境进行图像采集,本申请对该图像采集过程的实现方法不做限制。由于该过程所得到的场景图像用于环境光建模,生成针对检测环境的环境光矢量,为了提高用于活体检测的环境光矢量的精准度,可以实时或经过较短周期对检测环境进行图像采集,重新构建环境光矢量。
可选的,为了避免频繁构建环境光矢量,花费大量计算资源,本申请提出在确定检测环境发生变化,即满足预设触发条件后再重新构建环境光矢量,若不满足该预设触发条件,仍可以使用上一次构建的环境光矢量进行活体检测。本申请对该预设触发条件的内容不做限制,包括但并不局限于检测环境的环境光条件变化量达到变化阈值等。
在本申请实施例中,上述图像采集设备120还可以用于对待识别对象进行图像采集,以获得待识别对象的人脸图像,本申请对图像采集设备120实现人脸图像采集的实现方法以及硬件组成等不做限制。可选的,该图像采集设备120可以包括至少一个摄像头,该摄像头的镜头可以是可伸缩、旋转的镜头,以便调整摄像头的图像采集区域,实现对不同类别待识别对象(如不同身高的用户等)的人脸图像;当然,也可以通过配置可伸缩、旋转的支撑机构,将摄像头固定在支撑机构上,通过控制支撑机构实现摄像头的图像采集区域的动态调整等,本申请对图像采集设备120针对不同待识别对象进行动态图像采集的实现方式不做限制。
图像处理设备130可以包括至少一个通信接口131、至少一个存储器132 和至少一个处理器133等,可以基于活体检测方法的实现方式,确定图像处理设备的组成结构,本申请不做一一举例详述。
通信接口131可以包括实现图像处理设备130内部组成器件之间的数据交互的数据接口,如USB接口、串/并口、多媒体接口等;还可以包括能够利用无线通信网络与外部设备通信连接的网络接口,如WIFI模块、5G/6G(第五代移动通信网络/第六代移动通信网络)模块、GPRS模块等通信模块的接口,据此实现图像处理设备130与图像采集设备120之间的无线通信连接,获取如图像采集设备120采集到的场景图像、人脸图像等。在一些实施例中,图像处理设备130还可以将活体检测结果发送至其他业务设备作进一步处理,满足相应业务处理需求。
存储器132可以用于存储实现本申请提出的活体检测方法的程序;处理器133可以用于加载执行存储器132存储的程序,以实现本申请提出的活体检测方法,实现过程可以参照下文方法实施例相应部分的描述,本实施例在此不做详述。
本申请实施例中,存储器131可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器132,可以为中央处理器(CentralProcessing Unit,CPU)、特定应用集成电路(application-specificintegrated circuit,ASIC)、数字信号处理器 (DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
在实际应用中,上述图像处理设备130可以与图像采集设备120集成于同一壳体内,甚至还可以集成上文描述的可控光源,这样就可以利用一个设备实现活体检测。可选的,如在支付安全认证、设备屏幕锁/应用锁的身份认证等应用场景中,上述活体检测系统可以适用于如智能手机、电脑、可穿戴设备、增强现实技术(Augmented Reality,AR)设备、虚拟现实 (Virtual Reality,VR)设备、车载设备、机器人、智慧医疗设备、智慧交通设备、台式计算机等终端设备,也就是说,该终端设备可以集成上述光源110、图像采集设备120以及图像处理设备130,由该终端设备执行活体检测方法。
其中,在活体检测系统适用于如上终端设备的情况下,该终端设备除了上文列举的各组成设备外,还可以包括如天线、传感器模组、电源模组,以及如感应触摸显示面板上的触摸事件的触摸感应单元、键盘、鼠标、拾音器等至少一个输入设备,如显示器、扬声器、振动机构、灯等至少一个输出设备等,可以依据该终端设备的功能需求确定,本申请在此不做一一列举。
在又一些实施例中,如企业考勤、门禁安全认证等应用场景下,上述图像处理设备130与图像采集设备120可以是不同独立设备,图像采集设备 120可以部署在活体检测现场,可以依据应用场景的活体检测需求来确定图像采集设备120的产品类型及其部署安装方式,本申请在此不做一一详述。在本实施例中,图像处理设备130可以是并不局限于上文列举的终端设备,也可以服务器,如独立的物理服务器、多台物理服务器构成的服务器集群,或者是能够实现云计算的云服务器等,以通过无线通信网络与图像处理设备、其他业务设备进行数据交互,满足各业务场景下所需的活体检测,实现过程本申请实施例在此不做详述。
应该理解的是,图1所示的电子设备的结构并不构成对本申请实施例中活体检测系统的限定,在实际应用中,活体检测系统可以包括比图1所示的更多的部件或者组合某些部件,如数据库服务器、业务终端等,本申请不做一一列举。
结合上文描述的活体检测系统的组成结构及其适用场景,下面将对其执行的活体检测方法的实现过程进行描述,其可以包括但并不局限于下文各方法实施例描述的活体检测方法的实现方式,可以依据本申请提出的技术方案进行适应性调整,以适用于不同应用场景下的活体检测需求。
参照图2,为本申请提出的活体检测方法的一可选示例的流程示意图,该方法可以适用于上文描述的活体检测系统,本实施例中,该活体检测方法可以由图像处理设备130执行,如图2所示,该方法可以包括:
步骤S21,获取检测环境下的环境光矢量;
如上文实施例相应部分的描述可知,由于检测环境的环境光照条件、活体类型及活体人脸姿态,以及环境光照射到该活体人脸上所得到的光照信息这三者之间具有关联关系,可以由三者中的两方面信息,分析得到第三方面的信息。本申请可以基于此验证实际采集到的待识别对象的人脸图像的人脸区域光照信息,是否符合该关联关系,由此,确定待识别对象是否为活体。
因此,为了分析上述关联关系,本申请可以对当前的检测环境的环境光进行建模,以获得对应的环境光矢量。可选的,结合上文系统实施例的描述,图像处理设备可以接收图像采集设备发送的检测环境的场景图像,该场景图像可以是待识别对象未进入检测环境的情况下,对检测环境进行图像采集所得到的,本申请对场景图像采集实现方法不做限制。之后,图像处理设备可以基于环境光建模原理,对接收到的场景图像进行分析,生成针对当前检测环境的环境光矢量,即环境光模型。
在又一些实施例中,为了减少环境光建模的计算量及其资源消耗,可以减少环境光建模次数,如对新获取的场景图像与上一次获取的场景图像进行比对分析,来确定检测环境的光照条件是否发生变化,若是,再按照上文描述的方法重新构建当前检测环境的环境光矢量;反之,可以直接调取上一次构建的环境光矢量作为当前检测环境下的环境光矢量。
可选的,关于检测环境的光照条件变化的检测方法,也可以由图像采集设备配置的光敏传感器所感应到的参数变化量是否达到参数阈值,来确定检测环境的环境光照条件的变化情况,由此确定是否需要重新采集场景图像。或者,由图像采集设备对相邻两次采集到的场景图像进行比对,确定环境光照条件变化后,将新采集到的场景图像发送至图像处理设备,以重新构建当前检测环境下的环境光矢量等,本申请对步骤S21的实现方法不做限制,可以依据场景需求确定。
其中,对于上述环境光矢量可以由表征检测环境的环境光条件的各光参数表达,如至少一种环境光的环境光强度、环境光颜色、环境光方向等中的至少一种光参数,这可以构成检测环境的环境光的光源类型和数量等确定,本申请对环境光矢量的表示方式及其内容不做限制。
步骤S22,对进入该检测环境的待识别对象进行人脸识别,得到待识别对象的人脸图像;
步骤S23,对人脸图像进行特征提取,获得待识别对象的人脸姿态模型以及人脸图像的人脸光照信息;
针对任一待识别对象,在其进入检测环境后,图像采集设备可以对待识别对象进行图像采集,对采集到的图像进行人脸识别,得到待识别对象的人脸图像,该过程可以基于人工智能中的人脸识别算法,对直接采集到的图像进行人脸识别,得到该图像中待识别对象的人脸区域,实现过程本申请不做详述。
由于人类活体的视觉系统与认知能力对光照及明暗的变化相当的鲁棒,可以从眼睛捕获的图像中解耦光影信息,以应对各种环境变化对视觉信息的影响,还可以利用该信息满足其他业务处理需求,如通过阴影来反推三维关系,基于此,本申请提出利用检测环境下的环境光条件、活体某姿态下的三维人脸模型,人脸区域具有的光照信息(如明暗分布、反射光分布等)三者之中的两种信息,推测出另一种信息,将其作为参考信息,对实际采集到的对应信息进行正确性验证,据此确定待识别对象是否为活体。
基于上述分析,本申请获得待识别对象的人脸图像后,可以对人脸图像进行特征提取,获得人脸图像中待识别对象的人脸特征,通过对人脸特征进行分析,构建对应的人脸姿态模型,即符合待识别对象在图像采集时的人脸姿态的三维人脸模型,实现过程可以结合三维模型的构建原理确定,本申请在此不做详述。
此外,本申请还可以直接对采集到的人脸图像包含的人脸特征以及光照特征等特征进行分析,确定人脸图像中待识别对象的人脸区域,甚至是人脸皮肤区域的光照特征进行分析,确定待识别对象的人脸光照信息,如人脸皮肤区域的反射光分布等,本申请对如何从二维的人脸图像中,获得人脸光照信息的实现方法不做限制。
步骤S24,基于环境光矢量、人脸姿态模型以及人脸光照信息,确定待识别对象是否为活体。
依据上文对本申请技术方案的相关描述,通过对三维环境光场景(即上述检测环境)下的环境光矢量,以及在该三维环境光场景下的人脸姿态模型进行分析,可以获得该人脸姿态模型的不同视角下的二维人脸区域所具有的光照信息,由此表征真实的活体在检测环境下,该活体的真实人脸在不同视角下形成的光照信息,这样,就可以将其与从采集到的二维人脸图像中提取到的人脸光照信息进行比对,判断该人脸光照信息是否符合当前真实环境光与活体的人脸姿态,由此确定检测环境下的待识别对象是否为活体。
可见,本申请实施例提出的活体检测方法无需待识别对象配合,且不会接触待识别对象的皮肤,不会增加用户使用复杂度;对于图像采集设备可以是低成本的单目RGB摄像头,无需配置红外摄像头,控制了活体检测系统的复杂度及成本;而且,本申请是基于实际检测环境和待识别对象的实际人脸姿态实现活体检测,不受待识别对象的姿态、检测环境等因素对活体检测的限制,保证了活体检测结果的准确性和可靠性,解决了照片、面具、非活体模型等多种人脸识别攻击,满足了人脸识别应用场景的安全性。
参照图3,为本申请提出的活体检测方法的又一可选示例的流程示意图,本实施例可以对上文活体检测方法的一可选细化实现方式进行描述,但并不局限于下文描述的细化实现方法,该细化实现方法仍可以由活体检测系统中的图像处理设备执行,如图3所示,该方法可以包括:
步骤S31,确定检测环境中的光照区域包括对象识别区域,获取针对该对象识别区域的场景图像;
其中,对象识别区域是指对待识别对象进行人脸识别时,待识别对象所在的空间位置区域,可以依据检测环境的环境光条件、图像采集设备的采集参数、活体检测应用场景下待识别对象身高等影响信息,确定该对象识别区域,本申请对不同检测环境下针对不同图像采集设备的对象识别区域的空间位置不做限制,可以理解,在如上文列举的任一种影响信息发生变化,所确定的对象识别区域的空间位置可能相应改变,因此,在检测到任一影响信息发生变化后,可以重新确定对应的对象识别区域,实现过程本申请不做详述。
为了获取当前检测环境的环境光条件,且保证该环境光条件包括待识别对象的人脸区域所在位置的环境光条件,本申请可以确定当前检测环境中的光照区域是否包含对象识别区域,尤其是构成检测环境的环境光的光源是可控光源的场景下,确定对象识别区域位于该可控光源的光照区域内,再执行后续图像采集操作。
反之,若图像采集设备的对象识别区域未位于检测环境中的光照区域内,往往会导致采集到的人脸图像因光照不足而不清楚,进而影响活体检测的可靠性和准确性,因此,在这种情况下,本申请可以控制可控光源改变光照区域,以使当前检测环境下的对象识别区域进入该光照区域,之后,控制图像采集设备针对该对象识别区域进行图像采集,得到包含该对象识别区域的场景图像,将该场景图像发送至图像处理设备。
需要说明,关于如何确定图像采集设备的对象识别区域是否位于检测环境中的光照区域内的实现方法本申请不做限制,可以依据人脸识别应用场景下的业务要求确定,本申请不做一一详述。
步骤S32,对该场景图像进行光参数提取,利用提取到的光参数,生成针对对象识别区域的环境光矢量;
本申请实施例中,从场景图像中提取的光参数至少可以包括环境光强度、环境光颜色和环境光方向,即检测环境下的各光源产生的相应环境光的强度、颜色和方向等参数,本申请对光参数的内容不做限制,可视情况而定。
在一些实施例中,如上文相应部分的描述,在检测环境中的光源是自然光源的情况下,照射到进入该检测环境中的待识别对象的环境光是自然环境光,基于此,对当前检测环境的场景图像进行光参数提取,可以得到自然环境光强度、自然环境光颜色和自然环境光方向等中的一个或多个,由这些光参数表示针对对象识别区域的环境光矢量。其中,这些自然环境光的光参数值会受天气状况、时间等影响,如早上自然环境光的照射方向与下午自然环境光的照射方向、环境光强度、环境光颜色等不同;阴天与晴天下同一位置处的自然环境光方向、强度和颜色也会不同,从而导致同一用户在该自然环境条件下用户脸部区域(其可以是未被遮挡的人脸皮肤区域)的光照信息不同。
可选的,为了提高活体检测精准度和鲁棒性,本申请提出在检测环境中配置可控光源(如LED灯等辅助光源,本申请对该可控光源的设备类型不做限制,可视情况而定),来改变环境光照条件,避免可控光源所形成的环境光条件被提前获知,增大图片攻击风险,可以控制可控光源发射随机方向的光线,照射在检测环境下的对象识别区域,获得具有个性化的环境光条件的场景图像,再对此进行光参数提取,得到自然环境光强度、自然环境光颜色、自然环境光方向、可控环境光强度、可控环境光颜色以及可控环境光方向等一个或多个,由这些参数构成的光参数向量表示环境光矢量。
可见,在检测环境下存在的光源数量不同的情况下,由于构成检测环境的环境光条件的光参数不同,按照上文描述的方法对采集到的对应场景图像进行光参数提取,所得到的光参数可以相应改变,以保证后续据此构建的环境光模型的准确性和可靠性,进而提高活体检测准确性。
在实际应用中,为了保证用于后续活体检测的环境光矢量的精准度,可以控制图像采集设备实时采集更新场景图像,据此生成当前检测环境的环境光矢量;但为了减少计算量,图像处理设备获得新的场景图像后,可以确定其包含的任一个或多个光参数,相对于上一次获得的场景图像的光参数变化量大于参数阈值,再生成新的环境光矢量,用于后续活体检测,实现过程可以参照上文实施例相应部分的描述。
步骤S33,对进入检测环境的待识别对象进行人脸识别,得到待识别对象的人脸图像;
本申请实施例对如何基于人脸识别技术,从采集到的图像分割出待识别对象的人脸图像的实现方法不做详述。
步骤S34,对该人脸图像进行人脸姿态检测,得到待识别对象的人脸姿态信息;
在图像采集设备对用户进行人脸图像采集过程中,用户人脸相对于图像采集设备之间的相对位置关系不同,即人脸姿态改变后,图像采集设备所采集到的人脸图像中,人脸区域包含的人脸特征类别、各人脸特征之间的相对位置关系等往往不同,本申请可以预先构建不同人脸姿态,与该人脸姿态下该图像采集到的人脸图像中各人脸特征之间的相对位置关系之间的对应关系。
示例性的,如用户正面朝向图像采集设备进行人脸识别,所采集到的人脸图像中包含待识别对象的完整人脸特征,可以确定该姿态下眼睛、鼻子、嘴巴、耳朵等关键特征点之间的相对位置关系,如这些关键特征点在人脸区域的位置分布等;若对用户进行人脸图像采集时,用户转头,使得图像采集设备采集到的是用户的人脸侧面图像,按照上文描述的特征提取方法,所提取到的人脸特征及其在人脸区域中的相对位置关系,区别于采集用户正面人脸图像中的信息。
基于此,在活体检测过程中,对人脸图像进行关键人脸特征进行提取,确定提取到的各关键人脸特征类别以及各关键人脸特征对应的特征点之间的相对位置关系,查询预存的该对应关系,获得与该确定的相对位置关系(即提取到的各人脸特征在人脸区域中的位置分布)对应的人脸姿态,结合提取到的关键人脸特征,构成待识别对象的人脸姿态信息。
其中,对于上述确定的如用户正面、侧面或人脸转动一定角度后对应图像采集设备的各种人脸姿态,可以基于图像采集设备构建的相机坐标系,确定提取到的各人脸特征在该相机坐标系中的坐标值,来确定人脸正面方向(如用户鼻子或视线朝前方向)与图像采集设备之间的角度,以此表示当前用户的人脸姿态,但并不局限于这种表示方式。需要说明,本申请对人脸图像中待识别对象的人脸姿态检测实现方法不做限制,包括但并不局限于上文描述的实现方式。
步骤S35,基于人脸先验数据,对人脸图像进行特征分析,得到待识别对象的三维人脸模型;
本申请实施例中,人脸先验数据能够表示不同类别活体的三维人脸模型与人脸关键特征之间的对应关系,也就是说,本申请可以对同一种类的活体,按照预设规则进行分类,如对用户群体按照年龄、性别等进行分类,对每一类别的活体的用户人脸特征进行分析,基于同一类别的活体所具有的个性化的人脸特征,构建该类活体的三维人脸模型。
示例性的,可以构建青年男性的三维人脸模型、青年女性的三维人脸模型、儿童的三维人脸模型、老年人的三维人脸模型等,可以依据活体检测的精准度要求,确定活体分类粒度,基于三维人脸模型构建原理,构建对应类别活体通用的三维人脸模型。需要说明,本申请对三维人脸模型的构建实现过程不做详述。
基于此,本申请预先构建不同类别活体各种对应的三维人脸模型,将其作为不同类别活体的人脸先验数据进行存储。在活体检测应用中,对待识别对象进行人脸识别,得到待识别对象的人脸图像后,由于不同类别的活体的人脸特征(如人脸器官尺寸、形状等)及其相对位置关系(如人脸器官之间的位置分布等)往往不同,本申请可以按照上文描述的方法进行预先记录,这样,在对实际采集到的人脸图像中的待识别对象进行分类时,可以将从该人脸图像中提取到的人脸特征及其相对位置关系,与预先存储到的各类别获取的人脸特征及其相对位置关系进行比对,确定待识别对象所属的目标类别活体,调取该目标类别活体对应的三维人脸模型。
可选的,本申请也可以按照上文描述的分析方式,直接对从采集到的人脸图像中提取到的待识别对象的人脸特征进行分析,确定待识别对象所属目标活体类型,进而从人脸先验数据中,确定该目标活体类型所对应的三维人脸模型等。
可以理解,上文实施例描述的待识别对象的三维人脸模型实际上是待识别对象所属目标活体类别的通用三维人脸模型,相对于在线构建每一个待识别对象的三维人脸模型的实现方式,本申请实施例提出的基于人脸先验数据,获得待识别对象的三维人脸模型的实现方式,大大降低了数据计算了,提高了活体检测效率。
步骤S36,利用人脸姿态信息对该三维人脸模型进行姿态校准,得到待识别对象的人脸姿态模型;
在实际应用中,图像采集设备对待识别对象进行图像采集时,待识别对象的人脸姿态往往是多变的,且人脸姿态的变化,会影响环境光照射到人脸区域的参考光照信息,所以,按照本实施例提出的方式,确定得待识别对象的三维人脸模型,能够体现待识别对象的基本人脸特征,但并不能确定待识别对象的人脸姿态,无法直接分析待识别对象所属目标活体在当前的环境光下,图像采集设备对该待识别对象的图像采集视角方向的人脸区域的参考光照信息。
为了保证后续能够准确推测出目标活体在当前环境光下,图像采集视角方向的人脸区域的光照信息,可以调上述获得的待识别对象的三维人脸模型的姿态,使其与当前的待识别对象相对于图像采集设备的人脸姿态保持一致。因此,本示例提出利用当前待识别对象的人脸姿态信息,对所得到的三维人脸模型进行渲染,即调整三维人脸模型相对于图像采集设备的人脸姿态,使得调整姿态后的三维人脸模型所具有的人脸姿态信息,与从人脸图像中提取道的人脸姿态信息一致时,将该调整姿态后的三维人脸模型确定为人脸姿态模型。本申请对步骤S36的具体实现方法不做限制,包括但并不局限于上文描述的实现方式。
步骤S37,基于环境光矢量,对人脸姿态模型进行渲染,获得具有该人脸姿态模型的活体在检测环境下的参考光照信息;
结合上文实施例相应部分的描述,由于环境光矢量、三维的人脸姿态模型以及对该人脸姿态模型的图像采集视角下的人脸区域的光照信息这三者之间具有对应关系,可以通过两种信息推测分析出第三种信息。所以,本申请按照上文描述的方法,得到当前检测环境的环境光矢量、当前待识别对象的人脸姿态模型后,可以推测分析出待识别对象所属目标活体,处于待识别对象当前的人脸姿态下,人脸区域在当前环境光条件中所生成的参考光照信息,本申请对该参考光照信息的获取方法不做限制。
如步骤S37描述的实现方式,基于环境光矢量对人脸姿态模型进行渲染,可以得到人脸姿态模型处于当前检测环境的环境光条件下,该人脸姿态模型在不同视角下的人脸区域具有的光照信息,之后,可以从中确定图像采集设备的图像采集视角下的人脸区域具有的光照信息,将其记为参考光照信息。
可选的,由于三维人脸模型可近似为郎伯表面,人脸图像的亮度与待识别对象人脸区域的反射光成正比,本实施例可以由人脸区域的反射光分布表示该人脸区域的光照信息,所以,本实施例的参考光照信息可以为具有人脸姿态模型的活体的人脸区域的参考反射光分布;采集到的人脸图像的人脸光照信息可以为待识别对象的人脸区域的反射光分布。其中,人脸区域可以是人脸皮肤区域,即不包括被眼镜、口罩等部件遮挡的面部皮肤区域,本申请对人脸皮肤区域的提取方法不做限制。
步骤S38,将人脸光照信息与参考光照信息进行相似比较,得到光照相似度;
步骤S39,基于光照相似度,确定待识别对象是否为活体;
在本申请实施例中,可以利用合适的相似度算法,获取人脸光照信息与参考光照信息之间的相似度;也可以直接将人脸光照信息与参考光照信息的内容进行一一对比,依据各信息的比对结果是否一致,来确定人脸光照信息与参考光照信息之间的相似度,即光照相似度等,由该光照相似度表征人脸图像是当前检测环境下的真实人脸的图像的概率,即待识别对象为活体的概率,该光照相似度越大,待识别对象为活体的概率越高,本申请对光照相似度的获取方法不做限制。
之后,可以将光照相似度与相似阈值进行比较,若光照相似度大于相似阈值,可以确定待识别对象为活体;反之,光照相似度等于或小于该相似阈值,可以确定待识别对象为非活体。其中,相似阈值可以是待识别对象为活体时,其人脸图像的人脸光照信息与参考光照信息之间的相似度的最小值,本申请对该相似阈值的数值不做限制,可以依据检测环境、待识别对象所属的目标活体类别、环境光条件等多方面信息综合确定,实现过程本申请实施例不做详述。
参照图4,为本申请提出的活体检测方法的又一可选示例的流程示意图,本实施例可以对上文活体检测方法的又一可选细化实现方式进行描述,本实施例可以对上文实施例中人脸姿态模型的获取方法进行细化描述,但并不局限于本实施例描述的人脸姿态模型的获取方法,关于活体检测方法的其他实现步骤,可以参照上文实施例相应部分的描述,本实施例在此不做赘述,如图4所示,人脸姿态模型的获取方法可以包括:
步骤S41,对待识别对象的人脸图像进行关键点提取,得到对应关键点位置信息;
步骤S42,基于关键点位置信息以及图像采集设备的采集配置参数,获得待识别对象相对于图像采集设备的旋转矩阵和平移矩阵;
步骤S43,利用旋转矩阵和平移矩阵,得到待识别对象的三维人脸姿态信息;
本申请实施例提出获取待识别对象在检测环境下的人脸姿态信息的又一种实现方式,在本实施例中,可以依据世界坐标系、相机坐标系和图像坐标系之间的转换关系,将图像采集设备所采集到的人脸图像中的关键点(即关键像素点)的坐标,转换到相机坐标系下,以得到待识别对象相对于图像采集设备的人脸姿态信息,为了实现图像坐标系与相机坐标系下的人脸关键点的坐标转换,可以确定待识别对象相对于图像采集设备的旋转矩阵R和平移矩阵T,即利用这两个矩阵实现人脸关键特征点的坐标转换处理,据此确定待识别对象的三维人脸姿态,实现方法本申请不做详述。
其中,图像采集设备的采集配置参数可以包括但并不局限于对待识别对象进行图像采集时,图像采集设备的拍摄距离、景深/焦距、视场角等,可视情况而定。需要说明,关于待识别对象的人脸姿态的获取方法,包括但并不局限于上文描述的实现方式。
步骤S44,对人脸图像进行关键特征提取,利用提取到的人脸关键特征,确定待识别对象的活体类别;
步骤S45,查询人脸先验数据,将活体类别对应的三维人脸模型为待识别对象的三维人脸模型;
为了减少计算量,提高活体检测效率,可以基于人脸先验数据,获得待识别对象的人脸形状矢量(即三维人脸模型),也就是面部表面矢量F={fi| 1<=i<=n},fi可以表示提取到的关键特征,n可以表示提取的关键特征数量,本申请对其数值不做限制,关于三维人脸模型的获取过程可以参照上文实施例相应部分的描述,本实施例在此不做详述。
在又一些实施例中,对人脸图像进行关键特征提取后,也可以利用三维人脸重构算法,构建待识别对象的精准的三维人脸模型,因此,本申请的人脸姿态模型的获取方法可以包括:对人脸图像进行特征提取,得到人脸姿态特征以及人脸形状特征(即人脸形状矢量);基于人脸姿态特征和人脸形状特征,通过三维人脸重构算法,构建待识别对象的人脸姿态模型。本申请对三维人脸重构算法的运算原理不做详述。
可以理解,按照这种方法构建的人脸姿态模型能够精准表示待识别对象的人脸特征、人脸姿态、人脸形状,甚至是面部表情等,后续均可以更精准地推测待识别对象为活体时,在当前检测环境下的人脸区域的参考光照信息。
步骤S46,利用人脸姿态信息对该三维人脸模型进行姿态校准,得到待识别对象的人脸姿态模型。
关于步骤S46的实现过程以及基于所得到的人脸姿态模型进行活体检测的其他步骤,可以参照上文实施例相应部分的描述,本实施例在此不做赘述。
参照图5,为本申请提出的活体检测方法的又一可选示例的流程示意图,本实施例可以对上文活体检测方法的又一可选细化实现方式进行描述,如图5 所示,该方法可以包括:
步骤S51,获取检测环境下的环境光矢量;
步骤S52,对进入检测环境的待识别对象进行人脸识别,得到待识别对象的人脸图像;
关于步骤S51和步骤S52的实现方法,可以参照上文实施例相应部分的描述,本实施例在此不做赘述。
步骤S53,基于人脸图像的像素值,对人脸图像进行分割处理,得到人脸区域;
步骤S54,基于人脸区域中各像素点的亮度值,剔除人脸区域包含的过饱和区域和被遮挡区域,得到人脸掩膜图像;
本申请实施例中,可以利用图像分割算法,对采集到的人脸图像进行分割处理,以确定该人脸图像中人脸区域(即人脸皮肤区域),为提高人脸图像的人脸光照信息的精准度,在确定该人脸区域时,可以剔除人脸区域包含的过饱和区域和被遮挡区域,得到人脸mask(掩膜,也可以称为遮罩)图像,本申请对人脸mask的获取方法不做限制。
如上述步骤S53和步骤S54的描述,本实施例可以利用待识别对象的人脸图像中,面部皮肤、头发、遮挡物等不同区域的像素值的差异,实现人脸图像的分割处理,提取感兴趣的目标区域即人脸皮肤区域,也就是上文的人脸区域,本申请对图像分割的实现过程不做详述,为了提高效率,可以直接调取图像分割模型,将采集到的人脸图像输入该图像分割模型,输出人脸区域,甚至可以直接输出人脸掩膜图像等。
在同一环境光条件下,活体人脸上不同区域所具有的光照信息往往不同,如图像亮度值与待识别对象人脸不同区域的反射光成正比,反射光可以由朗伯反射与非郎伯反射(如镜面反射,阴影等)确定,为了排除镜面反射与附着阴影等对应干扰区域,本申请可以依据分割得到的整个人脸区域中各像素点的亮度值,识别出过饱和区域以及阴影区域(如被眼镜、口罩等遮挡物遮挡的被遮挡区域),将其从分割处的人脸区域中剔除,将剩余区域确定为待识别对象在当前检测环境下的人脸掩膜图像。本申请对人脸区域图像中的过饱和区域、被遮挡/阴影区域的识别方法不做限制。
步骤S55,对人脸掩膜图像进行光照参数采样,获得人脸图像中人脸皮肤区域的反射光分布;
步骤S56,将该反射光分布确定为待识别对象的人脸皮肤区域的人脸光照信息;
继上文分析,本实施例按照上述分割识别方法,所得到的人脸掩膜图像是待识别对象的面部能够被当前环境光照射到的人脸皮肤区域图像,因此,本申请可以对该人脸掩膜图像中各像素点的像素值和亮度值等光照参数进行采样,或对人脸掩膜图像按照预设数量的像素间隔实现光照参数采样,利用采样得到的各像素点的光照信息,得到实际采集到的待识别对象人脸皮肤区域的反射光分布,但并不局限于本实施例描述的反射光分布获取方法。
另外,关于待识别对象的人脸区域的人脸光照信息,包括但并不局限于上文描述的反射光分布数据,可以依据人脸识别应用场景的实际情况,确定所要提取的人脸光照信息的内容。
步骤S57,对人脸图像进行特征提取,获得待识别对象的人脸姿态模型;
关于步骤S57的实现方法,可以参照但并不局限于上文相应部分的描述,本实施例在此不做赘述。
步骤S58,基于环境光矢量和人脸姿态模型,得到活体检测条件矢量;
本申请实施例中,活体检测条件矢量能够表示具有人脸姿态模型的活体,在检测环境中的环境光照射下的光照信息,可以将其作为验证实际采集到的待识别对象的人脸光照信息的参考光照信息。
其中,上述活体检测条件矢量可以包括三维的人脸姿态模型在环境光矢量表示的环境光条件下,不同视角下的二维人脸区域的光照信息。关于该光照信息的推测分析实现方法本申请不做详述。
步骤S59,将活体检测条件矢量和人脸光照信息输入预训练的活体检测模型,输出针对待识别对象的活体检测结果。
其中,活体检测模型可以基于机器学习算法、深度学习算法、计算机视觉算法、计算机图形处理算法等一种或多种组合人工智能技术,对不同样本活体检测条件矢量,以及对应的多个样本人脸光照信息(其可以通过对相应活体的人脸图像进行处理得到,实现过程可以参照上文待识别对象的人脸光照信息的获取方法)进行学习训练得到,本申请对活体检测模型的训练实现方法不做限制。
在又一些实施例中,本申请也可以将上述人脸识别、人脸图像分割、环境光建模、人脸姿态模型的构建以及光照信息采样等处理过程,构成一个完整的活体检测模型,这样,图像采集设备可以将采集到的场景图像以及人脸图像输入该活体检测模型,输出能够表示待识别对象是否为活体的活体检测结果等。本申请对该活体检测模型的构建及其组成结构不做限制,可以依据实际检测处理需求,对活体检测模型包含的模型结构进行灵活性调整,包括但并不局限于上文描述的内容。
另外,对于如何基于环境光矢量、人脸姿态模型以及人脸光照信息,确定待识别对象是否为活体的实现方法,也可以采用上文实施例描述的其他实现方法,也就是说,可以将上文实施例描述的其他实现方法与本实施例描述的人脸姿态模型构建过程、人脸光照信息获取方法进行组合,得到又一种活体检测方法,实现过程本申请不做详述。
关于上述活体检测结果的输出方式,图像处理设备可以直接发送至管理设备进行非法攻击提示,或发送至图像采集设备输出,以提示待识别对象重新输入人脸图像,据此重新对其进行活体检测,若对其连续检测为非活体的次数达到预设次数阈值,再向管理设备发送非法攻击提示,提高应用场景安全性;在确定待识别对象为活体的情况下,还可以依据场景需求对待识别对象的人脸图像进行身份识别,提高身份识别安全性等,本申请对活体检测结果的输出方式及其后续应用不做限制,可视情而定。
在实际应用中,可以针对不同活体检测应用场景的特点,如环境特点、历史被非法攻击的攻击对象类别(如图片、模型等)、现场部署的设备性能等,可以选择如上文描述的多种活体检测方法及其特征组合,得到适用于对应活体检测应用场景的活体检测方法,及其所需的活体检测系统的组成设备类型和配置等,如在封闭应用场景下,需要配置非自然光源,如可控光源,保证采集到清晰的场景图像和人脸图像等;为了提高活体检测准确性,可以控制可控光源在当前检测环境中的对象识别区域内,产生独特或随机的环境光,避免环境光被模拟到图片中,而增加图片攻击风险等等,本申请在此不做一一举例,可视情况而定。
因此,结合上文各实施例对本申请提出的活体检测方法实现过程的描述,参照图6所示的活体检测方法的又一可选示例的流程示意图,可以由可控光源为检测环境提供环境光照,本实施例对该可控光源的类型及其输出的可控环境光的控制方式不做限制,可视情而定。基于此,在待识别对象进入该检测环境之前,可以控制图像采集设备进行图像采集,得到该可控环境光下的检测环境的场景图像,经过环境光建模,得到对应的环境光矢量,构建过程可以参照上文实施例对应部分的描述,本实施例在此不做赘述。
另外,图像处理设备还可以对图像采集设备采集到的图像进行人脸检测,若得到待识别对象的人脸图像,可以执行后续步骤;若没有得到待识别对象的人脸图像,可以继续对实时或周期性采集到的图像进行人脸检测。对于获得的待识别对象的人脸图像,如上文相应部分的描述,本申请可以直接对其进行图像分割处理,得到人脸掩膜图像(即人脸mask);与此同时,还可以对该人脸图像进行特征提取,获得待识别对象相对于图像采集设备的人脸姿态信息,并基于人脸先验数据,确定待识别对象的人脸形状矢量(即待识别对象所属活体类别的三维人脸模型),实现过程本实施例在此不做赘述。
之后,可以直接对人脸掩膜图像进行反射光分布采样,得到直接采集到的人脸图像中待识别对象的反射光分布;同时,可以由上述环境光矢量、人脸姿态信息以及人脸形状矢量,生成能够指示处于该可控环境光下,待识别对象所属类别活体的人脸区域应该具有的反射光分布的活体检测条件矢量,从而可以依据该活体检测条件矢量,检测人脸图像中待识别对象的反射光分布是否符合当前检测环境下的可控环境光与人脸姿态的活体推测结果,即实现对待识别对象的活体检测,确定待识别对象是否为活体。由于检测环境的可控环境光灵活多变,相对于可预估自然环境光下的活体光照信息,本实施例提出的这种环境光矢量更有助于提高活体检测精准度,进而提高基于活体检测结果执行的后续业务处理的安全性和可靠性。
参照图7,为本申请提出的活体检测装置的一可选示例的结构示意图,该装置可以适用于上文活体检测系统,如图7所示,该装置可以包括:
环境光矢量获取模块710,用于获取检测环境下的环境光矢量;
人脸图像识别模块720,用于对进入所述检测环境的待识别对象进行人脸识别,得到所述待识别对象的人脸图像;
人脸数据获得模块730,用于对所述人脸图像进行特征提取,获得所述待识别对象的人脸姿态模型以及所述人脸图像的人脸光照信息;
活体检测模块740,用于基于所述环境光矢量、所述人脸姿态模型以及人脸光照信息,确定所述待识别对象是否为活体。
在一些实施例中,如图8所示,上述环境光矢量获取模块710可以包括:
场景图像获取单元711,用于确定检测环境中的光照区域包括对象识别区域,获取针对所述对象识别区域的场景图像;
其中,对象识别区域是指对待识别对象进行人脸识别时,所述待识别对象所在的空间位置区域;
环境光矢量生成单元712,用于对所述场景图像进行光参数提取,利用提取到的光参数,生成针对所述对象识别区域的环境光矢量;
其中,所述光参数至少可以包括环境光强度、环境光颜色合环境光方向等中的一种,其内容可视情而定。
在又一些实施例中,如图8所示,上述活体检测模块740可以包括:
参考光照信息获得单元741,用于基于所述环境光矢量,对所述人脸姿态模型进行渲染,获得具有所述人脸姿态模型的活体在所述检测环境下的参考光照信息;
相似比较单元742,用于将所述人脸光照信息与所述参考光照信息进行相似比较,得到光照相似度;
活体确定单元743,用于基于所述光照相似度,确定所述待识别对象是否为活体;
其中,所述参考光照信息为具有所述人脸姿态模型的活体的人脸区域的参考反射光分布;所述人脸光照信息为所述待识别对象的人脸区域的反射光分布。
可选的,上述活体检测模块740也可以包括:
活体检测条件矢量得到单元,用于基于所述环境光矢量和所述人脸姿态模型,得到活体检测条件矢量;所述活体检测条件矢量能够表示具有所述人脸姿态模型的活体,在所述检测环境中的环境光照射下的光照信息;
活体检测结果输出单元,用于将所述活体检测条件矢量和所述人脸光照信息输入预训练的活体检测模型,输出针对所述待识别对象的活体检测结果;所述活体检测结果表示所述待识别对象是否为活体。
结合上文实施例的描述,在又一些实施例中,如图8所示,上述人脸数据获得模块730可以包括:
人脸姿态信息得到单元731,用于对所述人脸图像进行人脸姿态检测,得到所述待识别对象的人脸姿态信息;
三维人脸模型得到单元732,用于基于人脸先验数据,对所述人脸图像进行特征分析,得到所述待识别对象的三维人脸模型;所述人脸先验数据能够表示不同类别活体的三维人脸模型与人脸关键特征之间的对应关系;
姿态校准单元733,用于利用所述人脸姿态信息对所述三维人脸模型进行姿态校准,得到所述待识别对象的人脸姿态模型。
人脸分割单元734,用于基于所述人脸图像的像素值,对所述人脸图像进行分割处理,得到人脸区域;
人脸掩膜图像得到单元735,用于基于所述人脸区域中各像素点的亮度值,剔除所述人脸区域包含的过饱和区域和被遮挡区域,得到人脸掩膜图像;
反射光分布获得单元736,用于对所述人脸掩膜图像进行光照参数采样,获得所述人脸图像中人脸皮肤区域的反射光分布;所述光照参数至少包括像素值和亮度值。
人脸光照信息确定单元737,用于将所述反射光分布确定为所述待识别对象的人脸皮肤区域的人脸光照信息。
可选的,上述人脸姿态信息得到单元731可以包括:
关键点位置信息得到单元,用于对所述人脸图像进行关键点提取,得到对应关键点位置信息;
转换矩阵获得单元,用于基于所述关键点位置信息以及图像采集设备的采集配置参数,获得所述待识别对象相对于所述图像采集设备的旋转矩阵和平移矩阵;
三维人脸姿态信息得到单元,用于利用所述旋转矩阵和所述平移矩阵,得到所述待识别对象的三维人脸姿态信息。
可选的,上述三维人脸模型得到单元732可以包括:
活体类别确定单元,用于对所述人脸图像进行关键特征提取,利用提取到的人脸关键特征,确定所述待识别对象的活体类别;
人脸先验数据查询单元,用于查询人脸先验数据,将所述活体类别对应的三维人脸模型为所述待识别对象的三维人脸模型。
需要说明的是,关于上述各装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
本申请还提供了一种计算机可读存储介质,其上可以存储计算机程序,该计算机程序可以被处理器调用并加载,以实现上述实施例描述的活体检测方法的各个步骤。
最后,需要说明的是,关于上述各实施例中,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在 A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
本申请涉及到的术语诸如“第一”、“第二”等仅用于描述目的,用来将一个操作、单元或模块与另一个操作、单元或模块区分开来,而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外,本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、系统、处理设备而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种活体检测方法,所述方法包括:
获取检测环境下的环境光矢量;
对进入所述检测环境的待识别对象进行人脸识别,得到所述待识别对象的人脸图像;
对所述人脸图像进行特征提取,获得所述待识别对象的人脸姿态模型以及所述人脸图像的人脸光照信息;
基于所述环境光矢量、所述人脸姿态模型以及人脸光照信息,确定所述待识别对象是否为活体。
2.根据权利要求1所述的方法,所述获取检测环境下的环境光矢量,包括:
确定检测环境中的光照区域包括对象识别区域,获取针对所述对象识别区域的场景图像;所述对象识别区域是指对待识别对象进行人脸识别时,所述待识别对象所在的空间位置区域;
对所述场景图像进行光参数提取,利用提取到的光参数,生成针对所述对象识别区域的环境光矢量;
其中,所述光参数至少包括环境光强度、环境光颜色和环境光方向的一种。
3.根据权利要求1或2所述的方法,所述基于所述环境光矢量、所述人脸姿态模型以及人脸光照信息,确定所述待识别对象是否为活体,包括:
基于所述环境光矢量,对所述人脸姿态模型进行渲染,获得具有所述人脸姿态模型的活体在所述检测环境下的参考光照信息;
将所述人脸光照信息与所述参考光照信息进行相似比较,得到光照相似度;
基于所述光照相似度,确定所述待识别对象是否为活体;
其中,所述参考光照信息为具有所述人脸姿态模型的活体的人脸区域的参考反射光分布;所述人脸光照信息为所述待识别对象的人脸区域的反射光分布。
4.根据权利要求1或2所述的方法,所述基于所述环境光矢量、所述人脸姿态模型以及人脸光照信息,确定所述待识别对象是否为活体,包括:
基于所述环境光矢量和所述人脸姿态模型,得到活体检测条件矢量;所述活体检测条件矢量能够表示具有所述人脸姿态模型的活体,在所述检测环境中的环境光照射下的光照信息;
将所述活体检测条件矢量和所述人脸光照信息输入预训练的活体检测模型,输出针对所述待识别对象的活体检测结果;所述活体检测结果表示所述待识别对象是否为活体。
5.根据权利要求1或2所述的方法,所述对所述人脸图像进行特征提取,获得所述待识别对象的人脸姿态模型,包括:
对所述人脸图像进行人脸姿态检测,得到所述待识别对象的人脸姿态信息;
基于人脸先验数据,对所述人脸图像进行特征分析,得到所述待识别对象的三维人脸模型;所述人脸先验数据能够表示不同类别活体的三维人脸模型与人脸关键特征之间的对应关系;
利用所述人脸姿态信息对所述三维人脸模型进行姿态校准,得到所述待识别对象的人脸姿态模型。
6.根据权利要求1或2所述的方法,所述对所述人脸图像进行特征提取,获得所述人脸图像的人脸光照信息,包括:
基于所述人脸图像的像素值,对所述人脸图像进行分割处理,得到人脸区域;
基于所述人脸区域中各像素点的亮度值,剔除所述人脸区域包含的过饱和区域和被遮挡区域,得到人脸掩膜图像;
对所述人脸掩膜图像进行光照参数采样,获得所述人脸图像中人脸皮肤区域的反射光分布;所述光照参数至少包括像素值和亮度值;
将所述反射光分布确定为所述待识别对象的人脸皮肤区域的人脸光照信息。
7.根据权利要求5所述的方法,所述对所述人脸图像进行人脸姿态检测,得到所述待识别对象的人脸姿态信息,包括:
对所述人脸图像进行关键点提取,得到对应关键点位置信息;
基于所述关键点位置信息以及图像采集设备的采集配置参数,获得所述待识别对象相对于所述图像采集设备的旋转矩阵和平移矩阵;
利用所述旋转矩阵和所述平移矩阵,得到所述待识别对象的三维人脸姿态信息。
8.根据权利要求5所述的方法,所述基于人脸先验数据,对所述人脸图像进行特征分析,得到所述待识别对象的三维人脸模型,包括:
对所述人脸图像进行关键特征提取,利用提取到的人脸关键特征,确定所述待识别对象的活体类别;
查询人脸先验数据,将所述活体类别对应的三维人脸模型为所述待识别对象的三维人脸模型。
9.一种活体检测装置,所述装置包括:
环境光矢量获取模块,用于获取检测环境下的环境光矢量;
人脸图像识别模块,用于对进入所述检测环境的待识别对象进行人脸识别,得到所述待识别对象的人脸图像;
人脸数据获得模块,用于对所述人脸图像进行特征提取,获得所述待识别对象的人脸姿态模型以及所述人脸图像的人脸光照信息;
活体检测模块,用于基于所述环境光矢量、所述人脸姿态模型以及人脸光照信息,确定所述待识别对象是否为活体。
10.一种活体检测系统,所述系统包括:至少一种光源、图像采集设备以及图像处理设备,其中:
所述光源,用于构建检测环境以及进入所述检测环境的待识别对象的光参数;
所述图像采集设备,用于对所述检测环境或所述待识别对象进行图像采集;
所述图像处理设备包括至少一个通信接口、至少一个存储器和至少一个处理器:
所述存储器,用于存储实现如权利要求1-8任一项所述的活体检测方法的程序;
所述处理器,用于加载执行所述程序,实现如权利要求1-8任一项所述的活体检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210277598.3A CN114694265A (zh) | 2022-03-21 | 2022-03-21 | 活体检测方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210277598.3A CN114694265A (zh) | 2022-03-21 | 2022-03-21 | 活体检测方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114694265A true CN114694265A (zh) | 2022-07-01 |
Family
ID=82140008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210277598.3A Pending CN114694265A (zh) | 2022-03-21 | 2022-03-21 | 活体检测方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114694265A (zh) |
-
2022
- 2022-03-21 CN CN202210277598.3A patent/CN114694265A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107466411B (zh) | 二维红外深度感测 | |
Chan et al. | Face liveness detection using a flash against 2D spoofing attack | |
Fanello et al. | Learning to be a depth camera for close-range human capture and interaction | |
JP2022547183A (ja) | 生体顔検出方法、装置、設備及びコンピュータプログラム | |
CN103383723B (zh) | 用于生物特征验证的电子欺骗检测的方法和系统 | |
Wechsler | Reliable Face Recognition Methods: System Design, Impementation and Evaluation | |
Raghavendra et al. | Exploring the usefulness of light field cameras for biometrics: An empirical study on face and iris recognition | |
CN111274928B (zh) | 一种活体检测方法、装置、电子设备和存储介质 | |
CN112232155B (zh) | 非接触指纹识别的方法、装置、终端及存储介质 | |
Medioni et al. | Identifying noncooperative subjects at a distance using face images and inferred three-dimensional face models | |
CN112232163B (zh) | 指纹采集方法及装置、指纹比对方法及装置、设备 | |
KR102369989B1 (ko) | 적외선 이미징을 사용한 색상 식별 | |
JP7192872B2 (ja) | 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体 | |
CN112016525A (zh) | 非接触式指纹采集方法和装置 | |
US20210256244A1 (en) | Method for authentication or identification of an individual | |
CN112232159A (zh) | 指纹识别的方法、装置、终端及存储介质 | |
Farrukh et al. | FaceRevelio: a face liveness detection system for smartphones with a single front camera | |
CN112232157B (zh) | 指纹区域检测方法、装置、设备、存储介质 | |
Bastias et al. | A method for 3D iris reconstruction from multiple 2D near-infrared images | |
CN112633222B (zh) | 基于对抗网络的步态识别方法、装置、设备及介质 | |
CN108875472B (zh) | 图像采集装置及基于该图像采集装置的人脸身份验证方法 | |
CN112232152B (zh) | 非接触式指纹识别方法、装置、终端和存储介质 | |
CN114694265A (zh) | 活体检测方法、装置及系统 | |
CN212569821U (zh) | 非接触式指纹采集装置 | |
Nappi et al. | Real time 3D face-ear recognition on mobile devices: New scenarios for 3D biometrics “in-the-Wild” |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |