CN117765584A - 人脸活体检测方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种人脸活体检测方法、装置、设备及介质，属于人工智能技术领域。人脸活体检测方法包括：获取双目相机针对待检测目标在同一时刻采集的第一图像和第二图像；对第一图像和第二图像进行面部特征点提取；在双目相机的图像坐标系中，针对每一特征点类别，确定出位于第一初始面部特征点所在的第一水平线和第二初始面部特征点所在的第二水平线之间的水平校正线；针对每一特征点类别，从第一图像中确定出位于水平校正线上的校正后第一面部特征点，从第二图像中确定出位于水平校正线上的校正后第二面部特征点；基于两者的视差信息，获得人脸活体检测结果。本申请可以提高人脸活体检测检测效果。

Description

人脸活体检测方法、装置、设备及介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种人脸活体检测方法、装置、设备及介质。

背景技术

活体检测(Face Anti-Spoofing)技术可以应用于考勤软件、支付软件、社交软件等。但是，一些非法用户会通过合法用户的照片、视频或者头模等非正常的手段来通过人脸活体检测功能的验证。相关技术中，活体检测技术需要对双目相机采集的两张图像进行像素匹配，从而确定出相匹配的特征点，进而根据相匹配的特征点之间的视差信息进行检测。

但是，相关技术无视了相匹配的特征点之间的定位误差，而强制让两幅图像的纵坐标相等，即默认在同一极线上，不免会导致匹配不准以及视差计算误差较大。

发明内容

本申请的主要目的在于提供一种人脸活体检测方法、装置、设备及介质，旨在解决相关技术由于相匹配的特征点之间的定位误差导致人脸活体检测效果较差的技术问题。

为实现上述目的，第一方面，本申请提供一种人脸活体检测方法，方法包括：

获取双目相机针对待检测目标在同一时刻采集的第一图像和第二图像；

对第一图像和第二图像进行面部特征点提取，获得至少一个第一初始面部特征点和至少一个第二初始面部特征点；

在双目相机的图像坐标系中，针对每一特征点类别，确定出位于第一初始面部特征点所在的第一水平线和第二初始面部特征点所在的第二水平线之间的水平校正线；

针对每一特征点类别，从第一图像中确定出位于水平校正线上的校正后第一面部特征点，以获得包括所有校正后第一面部特征点的第一人脸语义图，从第二图像中确定出位于水平校正线上的校正后第二面部特征点，以获得包括所有校正后第二面部特征点的第二人脸语义图；

基于第一人脸语义图和第二人脸语义图之间各特征点组的视差信息，获得人脸活体检测结果；其中，特征点组包括属于同一特征点类别的校正后第一面部特征点和校正后第二面部特征点。

在本申请可能的一实施例中，针对每一特征点类别，从第一图像中确定出位于水平校正线上的校正后第一面部特征点，以获得包括所有校正后第一面部特征点的第一人脸语义图，从第二图像中确定出位于水平校正线上的校正后第二面部特征点，以获得包括所有校正后第二面部特征点的第二人脸语义图，包括：

针对每一特征点类别，从第一图像中确定出水平校正线穿过的多个第一像素，从第二图像中确定出水平校正线穿过的多个第二像素；

针对每一特征点类别，从多个第一像素中确定出校正后第一面部特征点，从多个第二像素中确定出校正后第二面部特征点；

基于所有校正后第一面部特征点更新第一初始人脸语义图，获得第一人脸语义图，基于所有校正后第二面部特征点更新第二初始人脸语义图，获得第二人脸语义图。

在本申请可能的一实施例中，针对每一特征点类别，从第一图像中确定出水平校正线穿过的多个第一像素，从第二图像中确定出水平校正线穿过的多个第二像素，包括：

从第一图像中提取出各第一初始面部特征点所在的第一像素区域，获得第一人脸语义稀疏图像；

从第二图像中提取出各第二初始面部特征点所在的第二像素区域，获得第二人脸语义稀疏图像；且针对每一特征点类别，第一像素区域和第二像素区域的大小相同；

针对每一特征点类别，从第一像素区域中确定出水平校正线穿过的多个第一像素，从第二像素区域中确定出水平校正线穿过的多个第二像素。

在本申请可能的一实施例中，确定出位于第一面部特征点所在的第一水平线和第二面部特征点所在的第二水平线之间的水平校正线，包括：

将第一水平线和第二水平线的中间平行线作为水平校正线。

在本申请可能的一实施例中，针对每一特征点类别，从多个第一像素中确定出校正后第一面部特征点，从多个第二像素中确定出校正后第二面部特征点，包括：

针对每一特征点类别，将多个第一像素中最大第一概率值对应的第一像素作为校正后第一面部特征点，将多个第二像素中最大第二概率值对应的第二像素作为校正后第一面部特征点；其中，每一第一像素具有识别为第一初始面部特征点的第一概率值，每一第二像素具有识别为第二初始面部特征点的第二概率值。

在本申请可能的一实施例中，基于第一人脸语义图和第二人脸语义图之间各特征点组的视差信息，获得人脸活体检测结果，包括：

对所有特征组中人脸主体部位对应的人脸主体特征组集合的视差信息进行人脸活体检测，获得主体视差分类结果；

对所有特征组中单个器官对应的人脸局部特征组集合的视差信息进行人脸活体检测，获得局部视差分类结果；

基于主体视差分类结果和局部视差分类结果，获得人脸活体检测结果。

在本申请可能的一实施例中，基于主体视差分类结果和局部视差分类结果，获得人脸活体检测结果，包括：

基于主体视差分类结果、主体视差分类结果的第一权重、局部视差分类结果和局部视差分类结果的第二权重，获得人脸活体检测结果。

第二方面，本申请还提供了一种人脸活体检测装置，方法包括：

图像获取模块，用于获取双目相机针对待检测目标在同一时刻采集的第一图像和第二图像；

关键点提取模块，用于对第一图像和第二图像进行面部特征点提取，获得至少一个第一初始面部特征点和至少一个第二初始面部特征点；

校正线生成模块，用于在双目相机的图像坐标系中，针对每一特征点类别，确定出位于第一初始面部特征点所在的第一水平线和第二初始面部特征点所在的第二水平线之间的水平校正线；

特征点校正模块，用于针对每一特征点类别，从第一图像中确定出位于水平校正线上的校正后第一面部特征点，以获得包括所有校正后第一面部特征点的第一人脸语义图，从第二图像中确定出位于水平校正线上的校正后第二面部特征点，以获得包括所有校正后第二面部特征点的第二人脸语义图；

活体检测模块，用于基于第一人脸语义图和第二人脸语义图之间各特征点组的视差信息，获得人脸活体检测结果；其中，特征点组包括属于同一特征点类别的校正后第一面部特征点和校正后第二面部特征点。

第三方面，本申请还提供了一种人脸活体检测设备，包括：处理器，存储器以及存储在存储器中的计算机程序，计算机程序被处理器运行时实现如第一方面的人脸活体检测方法。

第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面的人脸活体检测方法。

本申请实施例提出的一种人脸活体检测方法，方法包括：获取双目相机针对待检测目标在同一时刻采集的第一图像和第二图像；对第一图像和第二图像进行面部特征点提取，获得至少一个第一初始面部特征点和至少一个第二初始面部特征点；在双目相机的图像坐标系中，针对每一特征点类别，确定出位于第一初始面部特征点所在的第一水平线和第二初始面部特征点所在的第二水平线之间的水平校正线；针对每一特征点类别，从第一图像中确定出位于水平校正线上的校正后第一面部特征点，以获得包括所有校正后第一面部特征点的第一人脸语义图，从第二图像中确定出位于水平校正线上的校正后第二面部特征点，以获得包括所有校正后第二面部特征点的第二人脸语义图；基于第一人脸语义图和第二人脸语义图之间各特征点组的视差信息，获得人脸活体检测结果；其中，特征点组包括属于同一特征点类别的校正后第一面部特征点和校正后第二面部特征点。

由此可见，相较于相关技术中默认左右两幅图像的纵坐标相等，本申请实施例在根据人脸结构的不变性，通过人脸语义识别出的面部特征点作为左右图像的匹配基准的基础上，利用基线距约束方法，即从第一水平线和第二水平线之间的水平校正线上确定出校正后第一面部特征点和校正后第二面部特征点，以对识别出的面部特征点进行精确定位，提升了面部特征点坐标的定位精度，从而提升了视差计算精度。

附图说明

图1为本申请人脸活体检测设备的结构示意图；

图2为本申请人脸活体检测方法第一实施例的流程示意图；

图3为本申请人脸活体检测方法的特征点定位校正示意图；

图4为本申请第一水平线和第二水平线的示意图；

图5为本申请第n个面部特征点的校正示意图；

图6为本申请人脸活体检测方法第二实施例的流程示意图；

图7为本申请人脸活体检测方法第二实施例的分支处理示意图；

图8为本申请人脸活体检测装置的模块示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

活体检测(Face Anti-Spoofing)技术可以应用于考勤软件、支付软件、社交软件等。但是，一些非法用户会通过合法用户的照片、视频或者头模等非正常的手段来通过人脸活体检测功能的验证。

相关技术中，活体检测技术需要对双目相机采集的两张图像进行像素匹配，具体为先对双目图像分别进行特征点定位，并依托双目图像中第一图像的特征点通过SAD(Sumof absolute differences)方法在第二图像上对应特征点周围搜索可以匹配的特征点，从而确定两幅图像中匹配的特征点，最后进行视差计算并进行活体检测。SAD算法是一种图像匹配算法，常用于图像块匹配，将每个像素对应数值之差的绝对值求和，据此评估两张图像块的相似度。

然而在双目立体视觉领域，计算视差时需要的约束条件包括极线约束，即指对于左图像中的一点，它在右图像上的对应匹配点必定在同一直线上，这条直线就是极线，且该极线平行于双目相机的基线。但是由于双目相机的制造和安装误差等因素的影响，双目相机在图像坐标系中的投影中心并非必然是位于同一直线上，从而导致在进行视差计算时，相匹配的特征点之间存在定位误差。相关技术无视了该种差异，而强制让两幅图像的纵坐标相等，即默认在同一极线上，不免会导致匹配不准以及视差计算误差较大。

为此，本申请提供了一种解决方案，该解决方案在根据人脸结构的不变性，通过人脸语义识别出的面部特征点作为左右图像的匹配基准的基础上，利用基线距约束方法，即从第一水平线和第二水平线之间的水平校正线上确定出校正后第一面部特征点和校正后第二面部特征点，以对识别出的面部特征点进行精确定位，提升了面部特征点坐标的定位精度，从而提升了视差计算精度。

下面结合一些具体实施例和具体实施方式进一步阐述本申请的发明构思。

以下对本申请实施例涉及的一些技术名词进行解释：

视差：同一个目标在具有一定距离的两个相机中成像，呈现出在像素平面上的偏移差值。距离相机越近的目标，偏移越大，反之越小。从而依托视差可以提取各个目标的距离信息。

参照图1，图1为本申请实施例方案涉及的硬件运行环境的人脸活体检测设备的结构示意图。

如图1所示，该人脸活体检测设备可以包括：处理器1001，例如CPU，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。可选用户接口1003可以是显示屏(Display)、输入单元比如键盘(Keyboard)等。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可以理解的是，人脸活体检测设备还可以包括网络接口1004，网络接口1004可选的包括标准的有线接口、无线接口(如WI-FI接口)。可选地，人脸活体检测设备还可以包括RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。

本领域技术人员可以理解，图1中示出的人脸活体检测设备结构并不构成对人脸活体检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

基于上述结构，提出本申请人脸活体检测方法第一实施例。参阅图2，图2为本申请人脸活体检测方法第一实施例的流程示意图。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例中，人脸活体检测方法包括：

步骤S100、获取双目相机针对待检测目标在同一时刻采集的第一图像和第二图像。

具体而言，本实施例的执行主体为人脸活体检测设备。该人脸活体检测设备可以是智能移动终端、笔记本电脑、个人数字助理(PDA)、平板电脑(PAD)等用户设备(UserEquipment，UE)、服务器或者集成于云端的虚拟服务器等。

人脸活体检测设备可以是从数据库中读取预先存储的第一图像和第二图像。或者，人脸活体检测设备还可以是与客户端建立连接，从而获取客户端实时上传的第一图像和第二图像。可以理解的，客户端可以是智能移动终端、平板电脑、门禁等安装有双目相机，以提供身份验证功能的设备。

第一图像和第二图像均为双目相机针对待检测目标在同一时刻采集的图像。其中，第一图像为双目相机在同一时刻采集得到的两幅图像中的其中一幅，第二图像为两幅图像中的另一幅。可以理解的，双目相机是指由两个平行放置的摄像头组成的相机系统。它通过计算两个摄像头之间的视差，可以得到场景中物体的深度信息，从而实现三维重建和深度感知。当然，本实施例中的第一图像和第二图像可以是同源图像如均为RGB图像。或者还可以是异源图像，如第一图像为IR图像，而第二图像为RGB图像。

而待检测目标可以是真人活体，还可以是视频或者图像中展示的人像画面，乃至于头模等，本实施例即需要识别出待检测目标为真人活体，或者是视频或者图像中展示的人脸画面，或者识别出其为头模。

步骤S200、对第一图像和第二图像进行面部特征点提取，获得至少一个第一面部特征点和至少一个第二面部特征点。

具体而言，在获得第一图像和第二图像之后，可以使用人脸语义识别模型等神经网络对第一图像和第二图像进行面部特征点标注。面部特征点是根据输入的人脸数据自动定位出预先按人脸生理特征定义的关键特征点，如眼角、鼻尖、嘴角和脸部轮廓等。其中，对第一图像和第二图像进行面部特征点标注时，可以按照68点标注方案进行面部特征点提取，或者，为了提高检测精度，标注出的面部特征点数量越多越好，如在一示例中，标注出的面部特征点数量大于1000个。

值得一提的是，在进行面部特征点标注时，可以使用相同的面部特征点识别策略，如采用68点标注方案对第一图像进行面部特征点标注，则同时采用同一68点标注方案对第二图像进行面部特征点标注，从而使得第一图像上的第一面部特征点和第二图像上的第二面部特征点彼此一一对应。

另外，由于第一图像和第二图像可能包括人脸区域和非人脸区域。如用户使用智能移动终端进行身份验证时，智能移动终端采集得到用户的头像。头像除了人脸区域之外，还包括颈部区域以及背景区域等非人脸区域。此时，人脸活体检测设备先对第一图像和第二图像进行人脸检测，从而提取出各自的人脸区域，然后再对各自的人脸区域进行前述的面部特征点标注步骤。

在第一图像和第二图像上各自标注出面部特征点后，即可提取各个面部特征点，生成相应的第一初始人脸语义图和第二初始人脸语义图。可以理解的，第一初始人脸语义图和第二初始人脸语义图中各个特征点具有特征点类别和坐标信息。如在一示例中，对于左嘴角面部特征点，其特征点类别即为左嘴角，其坐标信息为在双目相机的图像坐标系中的坐标信息。

可以理解的，第一初始人脸语义图和第二初始人脸语义图相较于原始的第一图像和第二图像，其为稀疏图像，从而可以节约处理器算力。且此时提取得到的各个第一初始面部特征和各个第二初始面部特征点均为神经网络识别得到的原始面部特征点。

步骤S300、在双目相机的图像坐标系中，针对每一特征点类别，确定出位于第一初始面部特征点所在的第一水平线和第二初始面部特征点所在的第二水平线之间的水平校正线。

在获得第一初始人脸语义图和第二初始人脸语义图后，可以根据双目相机中各个镜头的相机内参，以及相机间的相互关系，在同一图像坐标系中生成该第一初始人脸语义图和第二初始人脸语义图。可以理解的，该图像坐标系中，横轴水平方向即为基线距方向，而纵轴方向为垂直于基线距的方向。

请参阅图3，然后分别针对每一特征点类别对应的特征点组进行特征点定位校正。即对于第n个特征点类别对应的第一初始面部特征点和第二初始面部特征点，生成沿基线距方向延伸并经过第一初始面部特征点的第一水平线，生成沿基线距方向延伸并经过第二初始面部特征点的第二水平线。可以理解的，一般而言，第一水平线和第二水平线在纵轴方向上彼此间隔开。

请参阅图4，此时，其中，Area_n1为属于第n个面部特征点类别的第一初始面部特征点所在的区域，Area_n1为属于第n个面部特征点类别的第二初始面部特征点所在的区域，对于第n个面部特征点类别，第一水平线和第二水平线共同界定出一条形区域Area_l，在条形区域Area_l内可确定出一水平校正线。

可以理解的，请参阅图6，作为本实施例的一种选择，可以是将第一水平线和第二水平线的中间平行线作为水平校正线。也即是，水平校正线和第一水平线和第二水平线的间距相等。

或者，作为本实施例的另一种选择，水平校正线的具体位置还可以根据相机之间的相对关系确定。如可以根据左右相机的投影中心的偏差确定出水平校正线和第一水平线或者和第二水平线的间距，从而确定出水平校正线。

当然，除了上述方式，还可以以其他方式在第一水平线和第二水平线之间确定出水平校正线，本实施例对此并不限制。

步骤S400、针对每一特征点类别，从第一图像中确定出位于水平校正线上的校正后第一面部特征点，以获得包括所有校正后第一面部特征点的第一人脸语义图，从第二图像中确定出位于水平校正线上的校正后第二面部特征点，以获得包括所有校正后第二面部特征点的第二人脸语义图。

在图像坐标系中生成水平校正线后，从在水平校正线在第一图像经过的区域重新确定出可以识别为属于某一特征点类别的面部特征点，即校正后第一面部特征点，同理，可以在水平校正线在第二图像经过的区域重新确定出可以识别为属于某一特征点类别的面部特征点，即校正后第二面部特征点。

作为本实施例的一种选择，可以重新进行面部特征点标注，并在重新进行面部特征点标注时，将某一特征点类别的面部特征点位于一特定水平校正线上作为约束条件，从而获得各校正后第一面部特征点，以及各校正后第二面部特征点。

或者，作为本实施例的另一种选择，步骤S400具体包括：

步骤S410、针对每一特征点类别，从第一图像中确定出水平校正线穿过的多个第一像素，从第二图像中确定出水平校正线穿过的多个第二像素。

也即在图像坐标系中生成水平校正线后，可以根据水平校正线的方程表达式以及左右相机的相机内参，从第一图像中确定出水平校正线穿过，即位于水平校正线上的多个第一像素，并从第二图像中确定出水平校正线穿过，即位于水平校正线上的多个第二像素。

进一步的，在一具体实施方式中，人脸活体检测设备在执行步骤S400时，可以是从第一图像中提取出各第一初始面部特征点所在的第一像素区域，获得第一人脸语义稀疏图像；从第二图像中提取出各第二初始面部特征点所在的第二像素区域，获得第二人脸语义稀疏图像；针对每一特征点类别，从第一像素区域中确定出水平校正线穿过的多个第一像素，从第二像素区域中确定出水平校正线穿过的多个第二像素。其中，且针对每一特征点类别，第一像素区域和第二像素区域的大小相同。

具体的，神经网络在对第一图像和第二图像进行面部特征点标注时，需要计算出各个像素作为某一类别的面部特征点的概率，并将最大概率值对应的像素标注为该特征点类别的面部特征点。可以理解的，对于某一具体特征点类别而言，最终识别得到的第一初始面部特征点所在的第一像素区域中，以5×5的像素区域为例，第一初始面部特征点位于第一像素区域的正中，且其识别为第一初始面部特征点的第一概率值大于其余24个像素各自的识别为第一初始面部特征点的第一概率值。同样的，对于某一具体特征点类别而言，最终识别得到的第二初始面部特征点所在的第二像素区域中，以5×5的像素区域为例，第二初始面部特征点位于第二像素区域的正中，且其识别为第二初始面部特征点的第二概率值大于其余24个像素各自的识别为第二初始面部特征点的第二概率值。

在确定某一特征点类别对应的第一像素和第二像素时，不用遍历第一图像的全部像素，而仅仅遍历该第一面部特征点所在的第一像素区域以及第二面部特征点所在的第二像素区域即可。

也即是对于全部特征点类别而言，此时可以在第一图像的基础上，获得由各个第一面部特征点所在的第一像素区域组成的第一人脸语义稀疏图像，并在第二图像的基础上，获得由各个第二面部特征点所在的第二像素区域组成的第二人脸语义稀疏图像。在确定任一特征点类别对应的第一像素和第二像素时，仅仅从第一人脸语义稀疏图像和第二人脸语义稀疏图像中确定即可，从而节约算力。

步骤S420、针对每一特征点类别，从多个第一像素中确定出校正后第一面部特征点，从多个第二像素中确定出校正后第二面部特征点。

在确定出位于水平校正线上的第一像素和第二像素之后，可以从中获取到校正后第一面部特征点和校正后第二面部特征点。

在一示例中，人脸活体检测设备在执行步骤S420时，可以是将此时涉及的所有第一像素和第二像素中，第一概率值和第二概率值最接近，即差值最小的两个第一像素和第二像素分别作为校正后第一面部特征点和校正后第二面部特征点。

或者，在另一示例中，人脸活体检测设备在执行步骤S420时，还可以针对每一特征点类别，将多个第一像素中最大第一概率值对应的第一像素作为校正后第一面部特征点，将多个第二像素中最大第二概率值对应的第二像素作为校正后第二面部特征点。

请参阅图5，第一水平线Line_1和第二水平线Line_2之间的中间平行线作为水平校正线Line_check。对于第一初始面部特征点P₁，经过面部特征点校正后，校正后第一初始面部特征点P₂位于其上一行像素，即水平校正线Line_check上5个像素中的左侧第二个像素。

不难看出，该种方式确定出的校正后第二面部特征点和校正后第一面部特征点更加接近语义识别结果，从而具有较高的语义识别精度，且两者位于同一极线，即同一水平线上，也具有较高的定位精度。

如在一示例中，针对第n个面部特征点类别，校正水平线依次经过的5个像素的第一概率值分别为：p1，p2，p3，p4和p5，其中，pmax＝p1，因此可将第1个像素作为校正后第一面部特征点n。

步骤S430、基于所有校正后第一面部特征点，获得第一人脸语义图，基于所有校正后第二面部特征点，获得第二人脸语义图。

在获得各校正后第一面部特征点以及各校正后第二面部特征点之后，即可对第一初始人脸语义图和第二初始人脸语义分别进行更新，从而获得第一人脸语义图和第二人脸语义图。

值得一提的是，第一水平线和第二水平线可能共线，此时无需进行校正，即可将第一初始面部特征点和第二初始面部特征点直接分别作为校正后第一面部特征点和校正后第二面部特征点。

步骤S500、基于第一人脸语义图和第二人脸语义图之间各特征点组的视差信息，获得人脸活体检测结果。

其中，特征点组包括属于同一特征点类别的第一面部特征点和第二面部特征点。

在获得第一人脸语义图和第二人脸语义图后，将属于同一特征点类别的第一面部特征点和第二面部特征点作为一组特征点组，从而可以获得一一对应的多个面部特征点对。由此，由于两幅图像上具有的特征点都一一对应构成了面部特征点对，如第一人脸语义图中的左嘴角面部特征点对应于第二人脸语义图中的左嘴角面部特征点，因此无需进行第一人脸语义图和第二人脸语义之间的像素匹配，可以直接对各同一特征点类别的两个面部特征点进行视差计算，从而获得稀疏视差图。然后根据获得的稀疏视差图，计算得到人脸活体检测结果。

容易理解的，相关技术中，由于双目相机采集的两幅图像中人脸部位纹理较少，导致像素匹配效果较差，乃至于由于异源图像常常由于光源位置不同、成像特性差异而导致两幅图像的局部特征存在显著差异而无法完成像素匹配。而本实施例中，直接将第一图像和第二图像，即左右图像通过语义识别得到的面部特征点作为彼此之间的视差计算基准，无需进行像素匹配，从而规避了异源图像由于成像特性差异导致的像素局部特征存在显著差异而无法完成像素匹配的情况，而且还减少了计算量。

此外，不难看出，相较于相关技术默认左图像和右图像相匹配的两个点的纵坐标相同，本实施例中，在根据人脸结构的不变性，通过人脸语义识别出的面部特征点作为左右图像的匹配基准的基础上，利用基线距约束方法，即从第一水平线和第二水平线之间的水平校正线上确定出校正后第一面部特征点和校正后第二面部特征点，以对识别出的面部特征点进行精确定位，提升了面部特征点坐标的定位精度，从而提升了视差计算精度。

另外，基于上述实施例，提出本申请人脸活体检测方法第二实施例。参阅图6，图6为本申请人脸活体检测方法第二实施例的流程示意图。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例中，步骤S500具体包括：

步骤S510、对所有特征组中人脸主体部位对应的人脸主体特征组集合的视差信息进行人脸活体检测，获得主体视差分类结果。

步骤S520、对所有特征组中单个器官对应的人脸局部特征组集合的视差信息进行人脸活体检测，获得局部视差分类结果。

步骤S530、基于主体视差分类结果和局部视差分类结果，获得人脸活体检测结果。

具体而言，请参阅图7，本实施例中，在获得第一人脸语义图和第二人脸语义图之后，计算各特征组的视差信息，从而可以生成稀疏视差图。再利用稀疏视差图进行活体检测时，使用了两个分支，其中一分支为主体部分视差分类，另一分支为局部视差分类。

其中，主体部分是指人脸的全部主要器官，如包括但不限于鼻尖、左眼中心点、右眼中心点、额头中心点、下巴中心点、左脸中心点和右脸中心点等面部特征点构成的集合。将前述列出的面部特征点类别对应的多个特征组构成的集合，即人脸主体特征组集合输入至预先训练的人脸活体检测模型进行检测，从而获得主体视差分类结果。

不难看出，主体部分视差分类可以从全局或者近似于全局的角度进行视差分类，从而主体部分视差分类可以更好的面对照片等平面攻击行为和真人。

其中，局部是指人脸中单个器官所对应的一个或者多个面部特征点。如人脸局部为嘴唇时，将属于嘴唇的全部特征点类别对应的全部特征组构成的集合作为人脸局部特征组集合。然后将该人脸局部特征组集合输入至预先训练的人脸活体检测模型进行检测，从而获得局部视差分类结果。

不难看出，局部视差分类结果所使用的人脸布局特征组集合包括该局部器官更多的细节深度信息，从而可以区分精度较差的真人或者头模等立体攻击行为。

当然，值得一提的是，进行人脸活体检测时并不局限于前述的人脸活体检测模型。

在获得局部视差分类结果和主体部分视差分类后，综合两者结果，即可获得最终的人脸活体检测结果。

作为一种具体实施方式，人脸活体检测模型在执行步骤S530时，可以基于主体视差分类结果、主体视差分类结果的第一权重、局部视差分类结果和局部视差分类结果的第二权重，获得人脸活体检测结果。

具体而言，主体视差分类结果和局部视差分类结果均可以是为活体的概率值(或者置信度值)，此时将主体视差分类结果和第一权重的乘积，局部视差分类结果和第二权重的乘积，两个乘积的和作为人脸活体检测结果。

在不同的使用场景下，主体视差分类结果和局部视差分类结果具有不同的置信度，也即是两者的权重不同，从而可以根据使用场景调整主体视差分类结果的第一权重和局部视差分类结果的第二权重，使得最终的人脸活体检测结果可以更好的适应使用场景。

如对于不同地区的人群时，可以通过调整主体视差分类结果的第一权重和局部视差分类结果的第二权重进行适应，而无需再训练人脸活体检测模型，从而提高场景适应度。

或者，如对于面部轮廓差异更大的种群时，可以增加第一权重的值，从而增强主体视差分类结果所占权重，以提高最终的人脸活体检测质量。

另外，本实施例中，通过主体部分视差分类分支和局部视差分类分支分别进行视差分类，还有助于增强人脸活体检测整体模型的可解释性。可以理解的，提高了算法的可解释性，算法的鲁棒性就会更强，不至于形成过拟合。

参阅图8，基于同一发明构思，第二方面，本申请实施例还提供了一种人脸活体检测装置，包括：

图像获取模块，用于获取双目相机针对待检测目标在同一时刻采集的第一图像和第二图像；

关键点提取模块，用于对第一图像和第二图像进行面部特征点提取，获得至少一个第一初始面部特征点和至少一个第二初始面部特征点；

校正线生成模块，用于在双目相机的图像坐标系中，针对每一特征点类别，确定出位于第一初始面部特征点所在的第一水平线和第二初始面部特征点所在的第二水平线之间的水平校正线；

特征点校正模块，用于针对每一特征点类别，从第一图像中确定出位于水平校正线上的校正后第一面部特征点，以获得包括所有校正后第一面部特征点的第一人脸语义图，从第二图像中确定出位于水平校正线上的校正后第二面部特征点，以获得包括所有校正后第二面部特征点的第二人脸语义图；

活体检测模块，用于基于第一人脸语义图和第二人脸语义图之间各特征点组的视差信息，获得人脸活体检测结果；其中，特征点组包括属于同一特征点类别的校正后第一面部特征点和校正后第二面部特征点。

需要说明的是，本实施例中的关于人脸活体检测装置的各实施方式以及其达到的技术效果可参照前述实施例中人脸活体检测方法的各种实施方式，这里不再赘述。

此外，本申请实施例还提出一种计算机可读存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上文的人脸活体检测方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种人脸活体检测方法，其特征在于，所述方法包括：

获取双目相机针对待检测目标在同一时刻采集的第一图像和第二图像；

对所述第一图像和所述第二图像进行面部特征点提取，获得至少一个第一初始面部特征点和至少一个第二初始面部特征点；

在所述双目相机的图像坐标系中，针对每一特征点类别，确定出位于所述第一初始面部特征点所在的第一水平线和所述第二初始面部特征点所在的第二水平线之间的水平校正线；

针对每一所述特征点类别，从所述第一图像中确定出位于所述水平校正线上的校正后第一面部特征点，以获得包括所有所述校正后第一面部特征点的第一人脸语义图，从所述第二图像中确定出位于所述水平校正线上的校正后第二面部特征点，以获得包括所有所述校正后第二面部特征点的第二人脸语义图；

基于所述第一人脸语义图和所述第二人脸语义图之间各特征点组的视差信息，获得人脸活体检测结果；其中，所述特征点组包括属于同一特征点类别的校正后第一面部特征点和校正后第二面部特征点。

2.根据权利要求1所述的人脸活体检测方法，其特征在于，所述针对每一所述特征点类别，从所述第一图像中确定出位于所述水平校正线上的校正后第一面部特征点，以获得包括所有所述校正后第一面部特征点的第一人脸语义图，从所述第二图像中确定出位于所述水平校正线上的校正后第二面部特征点，以获得包括所有所述校正后第二面部特征点的第二人脸语义图，包括：

针对每一特征点类别，从所述第一图像中确定出所述水平校正线穿过的多个第一像素，从所述第二图像中确定出所述水平校正线穿过的多个第二像素；

针对每一特征点类别，从多个所述第一像素中确定出校正后第一面部特征点，从多个所述第二像素中确定出校正后第二面部特征点；

基于所有所述校正后第一面部特征点，获得所述第一人脸语义图，基于所有所述校正后第二面部特征点，获得所述第二人脸语义图。

3.根据权利要求2所述的人脸活体检测方法，其特征在于，所述针对每一特征点类别，从所述第一图像中确定出所述水平校正线穿过的多个第一像素，从所述第二图像中确定出所述水平校正线穿过的多个第二像素，包括：

从所述第一图像中提取出各所述第一初始面部特征点所在的第一像素区域，获得第一人脸语义稀疏图像；

从所述第二图像中提取出各所述第二初始面部特征点所在的第二像素区域，获得第二人脸语义稀疏图像；且针对每一所述特征点类别，所述第一像素区域和所述第二像素区域的大小相同；

针对每一所述特征点类别，从所述第一像素区域中确定出所述水平校正线穿过的多个所述第一像素，从所述第二像素区域中确定出所述水平校正线穿过的多个所述第二像素。

4.根据权利要求2所述的人脸活体检测方法，其特征在于，所述针对每一特征点类别，从多个所述第一像素中确定出校正后第一面部特征点，从多个所述第二像素中确定出校正后第二面部特征点，包括：

针对每一特征点类别，将多个所述第一像素中最大第一概率值对应的所述第一像素作为校正后第一面部特征点，将多个所述第二像素中最大第二概率值对应的所述第二像素作为校正后第一面部特征点；其中，每一所述第一像素具有识别为所述第一初始面部特征点的第一概率值，每一所述第二像素具有识别为所述第二初始面部特征点的第二概率值。

5.根据权利要求1所述的人脸活体检测方法，其特征在于，所述确定出位于所述第一面部特征点所在的第一水平线和所述第二面部特征点所在的第二水平线之间的水平校正线，包括：

将所述第一水平线和所述第二水平线的中间平行线作为所述水平校正线。

6.根据权利要求1至5任一项所述的人脸活体检测方法，其特征在于，基于所述第一人脸语义图和所述第二人脸语义图之间各特征点组的视差信息，获得人脸活体检测结果，包括：

对所有所述特征组中人脸主体部位对应的人脸主体特征组集合的视差信息进行人脸活体检测，获得主体视差分类结果；

对所有所述特征组中单个器官对应的人脸局部特征组集合的视差信息进行人脸活体检测，获得局部视差分类结果；

基于所述主体视差分类结果和所述局部视差分类结果，获得人脸活体检测结果。

7.根据权利要求6所述的人脸活体检测方法，其特征在于，所述基于所述主体视差分类结果和所述局部视差分类结果，获得人脸活体检测结果，包括：

基于所述主体视差分类结果、所述主体视差分类结果的第一权重、所述局部视差分类结果和所述局部视差分类结果的第二权重，获得人脸活体检测结果。

8.一种人脸活体检测装置，其特征在于，所述方法包括：

图像获取模块，用于获取双目相机针对待检测目标在同一时刻采集的第一图像和第二图像；

关键点提取模块，用于对所述第一图像和所述第二图像进行面部特征点提取，获得至少一个第一初始面部特征点和至少一个第二初始面部特征点；

校正线生成模块，用于在所述双目相机的图像坐标系中，针对每一特征点类别，确定出位于所述第一初始面部特征点所在的第一水平线和所述第二初始面部特征点所在的第二水平线之间的水平校正线；

特征点校正模块，用于针对每一所述特征点类别，从所述第一图像中确定出位于所述水平校正线上的校正后第一面部特征点，以获得包括所有所述校正后第一面部特征点的第一人脸语义图，从所述第二图像中确定出位于所述水平校正线上的校正后第二面部特征点，以获得包括所有所述校正后第二面部特征点的第二人脸语义图；

活体检测模块，用于基于所述第一人脸语义图和所述第二人脸语义图之间各特征点组的视差信息，获得人脸活体检测结果；其中，所述特征点组包括属于同一特征点类别的校正后第一面部特征点和校正后第二面部特征点。

9.一种人脸活体检测设备，其特征在于，包括：处理器，存储器以及存储在所述存储器中的计算机程序，所述计算机程序被所述处理器运行时实现如权利要求1至7中任一项所述人脸活体检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的人脸活体检测方法。