CN113128320B - 基于tof相机的人脸活体检测方法、检测装置及电子设备 - Google Patents

Abstract

本发明提供一种基于TOF相机的人脸活体检测方法、检测装置及电子设备，所述人脸活体检测方法能够基于彩色图像、红外图像以及深度图像采用多模态检测方法依次对屏幕入侵，非正常尺寸人脸入侵以及其他常见的人脸入侵，能够有效地提高人脸活体检测结果的精确度和检测速度。

Description

基于TOF相机的人脸活体检测方法、检测装置及电子设备

技术领域

本发明涉及人脸识别领域，尤其涉及一种基于TOF(Time of fly)深度信息摄像模组的人脸活体检测方法及检测系统。

背景技术

随着机器学习尤其是深度学习技术的不断发展，生物特征识别技术被应用到了诸多的领域，在各种基于生物特征识别的应用中，人脸识别以其自然性、非强制性、非接触性得到了广泛的应用。目前人脸识别技术已经被广泛地应用于政府、军队、银行、社会福利保障、电子商务以及安全防务等领域。

需要指出的是，随着生物特征识别技术的应用领域的不断扩增，生物特征识别系统的安全性也越来越受到重视。生物识别系统的安全性主要是指该系统的鲁棒性、误判率以及抗欺骗能力。对生物识别系统的欺骗指的是，一些具有相同表现形式的生物特征的物品来欺骗生物识别系统，比如照片、视频以及模型等具有生物特征的非活体，给生物识别系统的安全性能带来了极大的挑战。

目前，现有的生物识别系统应对非活体入侵的方式主要是要求用户按照指令做出一些动作，比如眨眼、张嘴等，以供判断用户是否为活体，从而排除照片、视频以及模型等非活体的入侵。但是需要指出的是，传统生物识别系统应对非活体入侵的方式，也就是活体检测方法，需要用户配合才能够完成，不但对用户不友好，而且检测需要较长的时间。

除此之外，目前还有基于RGB图像纹理检测的活体检测方法，但是纹理信息严重依赖于成像设备，从而导致泛化能力较差。还存在利用RGB图像估计深度信息以供进行深度检测的方法，但是由于利用RGB图像估计的深度信息往往是不够准确的，从而导致活体检测的精确度下降。

综上所述，需要对传统活体检测方法进行改进。

发明内容

本发明的一个优势在于提供一种基于TOF相机的人脸活体检测方法、检测装置及电子设备，其采用深度摄像模组的多模态进行人脸活体检测，能够有效地防止多种入侵方式的入侵。

本发明的另一个优势在于提供一种基于TOF相机的人脸活体检测方法、检测装置及电子设备，其能够有效地提升活体检测模块的检测速度。

本发明的另一个优势在于提供一种基于TOF相机的人脸活体检测方法、检测装置及电子设备，其能够有效地解决真实人脸数据和入侵人脸数据不均衡的问题。

相应地，为了实现以上至少一个发明目的，本发明提供一种基于TOF深度相机的人脸活体检测方法，包括：

基于由TOF深度信息摄像模组采集的被测人脸的彩色图像和红外图像，确定所述被测人脸是否为假体；其中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，包括：对所述彩色图像进行人脸检测，以从所述彩色图像中识别和提取出第一人脸框；将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框；对所述第二人脸框进行人脸检测，以获得人脸检测结果；以及，响应于所述人脸检测结果中人脸置信度小于预设阀值，确定所述被测人脸为假体；

响应于所述人脸检测结果中人脸置信度超过预设阀值，基于所述第二人脸框和由所述TOF深度信息摄像模组采集的所述被测人脸的深度图像，确定所述被测人脸是否为假体，其中，基于所述第二人脸框和所述深度图像，确定所述被测人脸是否为假体的过程，包括：对所述第二人脸框进行人脸特征点检测，以识别所述第二人脸框中的人脸特征点；基于所述人脸特征点在所述深度图像上对应的深度信息，获得所述被测人脸中五官的位置和大小；以及，响应于所述五官的位置和大小不满足预设条件，确定所述被测人脸为假体；以及

响应于所述被测人脸的五官的位置和大小满足预设条件，以分类器模型对人脸区域深度图像进行处理，以获取分类结果，并基于所述分类结果确定所述被测人脸是否为活体，其中，所述人脸区域深度图像基于所述人脸特征点在所述深度图像上的对应关系获得。

在本发明的一些优选实施例中，对所述彩色图像进行人脸检测的人脸检测算法和对所述第二人脸框进行人脸检测的人脸检测算法为同一算法。

在本发明的一些优选实施例中，所述人脸检测算法为MTCNN算法。

在本发明的一些优选实施例中，将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框，包括：

基于所述红外图像的长宽比，保持所述彩色图像在高度方向上的尺寸并拉伸所述彩色图像在宽度方向上的尺寸，以使得经过拉伸后的所述彩色图像与所述红外图像呈相似关系；

基于相似比将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的所述第二人脸框。

在本发明的一些优选实施例中，对所述第二人脸框进行人脸检测，以获得人脸检测结果，包括：

记录所述第二人脸框的当前的参数信息；

调整所述第二人脸框的尺寸至特定像素尺寸；

对调整到特定尺寸的所述人脸框进行ONet前传，以获得所述人脸检测结果，其中，所述人脸检测结果包括人脸置信度和坐标修正值。

在本发明的一些优选实施例中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，进一步包括：响应于所述人脸检测结果中人脸置信度超过预设阀值，基于所述坐标修正值对所述第二人脸框的参数信息进行调整。

在本发明的一些优选实施例中，所述分类器模型基于卷积神经网络模型进行构建。

在本发明的一些优选实施例中，基于所述人脸特征点在所述深度图像上的对应关系获得所述人脸区域深度图像的过程，包括：

基于所述人脸特征点在所述深度图像上的对应像素点，确定人脸轮廓；

获得所述人脸轮廓内各像素点的深度信息；以及

对所述人脸轮廓内各像素点的深度信息进行规范化处理，以获得所述人脸区域深度图像。

根据本发明的另一方面，本发明进一步提供一种人脸活体检测装置，包括：

第一活体检测单元，用于基于由TOF深度信息摄像模组采集的被测人脸的彩色图像和红外图像，确定所述被测人脸是否为假体；其中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，包括：对所述彩色图像进行人脸检测，以从所述彩色图像中识别和提取出第一人脸框；将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框；对所述第二人脸框进行人脸检测，以获得人脸检测结果；以及，响应于所述人脸检测结果中人脸置信度小于预设阀值，确定所述被测人脸为假体；

第二活体检测单元，用于响应于所述人脸检测结果中人脸置信度超过预设阀值，基于所述第二人脸框和由所述TOF深度信息摄像模组采集的所述被测人脸的深度图像，确定所述被测人脸是否为假体，其中，基于所述第二人脸框和所述深度图像，确定所述被测人脸是否为假体的过程，包括：对所述第二人脸框进行人脸特征点检测，以识别所述第二人脸框中的人脸特征点；基于所述人脸特征点在所述深度图像上对应的深度信息，获得所述被测人脸中五官的位置和大小；以及，响应于所述五官的位置和大小不满足预设条件，确定所述被测人脸为假体；以及

第三活体检测单元，用于响应于所述被测人脸的五官的位置和大小满足预设条件，以分类器模型对人脸区域深度图像进行处理，以获取分类结果并基于所述分类结果确定所述被测人脸是否为活体，其中，所述人脸区域深度图像基于所述人脸特征点在所述深度图像上的对应关系获得。

根据本发明的另一方面，本发明进一步提供一种电子设备，包括：

处理器；和

存储器，其中，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行人脸活体检测方法，其中所述人脸活体检测方法，包括：

基于由TOF深度信息摄像模组采集的被测人脸的彩色图像和红外图像，确定所述被测人脸是否为假体；其中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，包括：对所述彩色图像进行人脸检测，以从所述彩色图像中识别和提取出第一人脸框；将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框；对所述第二人脸框进行人脸检测，以获得人脸检测结果；以及，响应于所述人脸检测结果中人脸置信度小于预设阀值，确定所述被测人脸为假体；

响应于所述人脸检测结果中人脸置信度超过预设阀值，基于所述第二人脸框和由所述TOF深度信息摄像模组采集的所述被测人脸的深度图像，确定所述被测人脸是否为假体，其中，基于所述第二人脸框和所述深度图像，确定所述被测人脸是否为假体的过程，包括：对所述第二人脸框进行人脸特征点检测，以识别所述第二人脸框中的人脸特征点；基于所述人脸特征点在所述深度图像上对应的深度信息，获得所述被测人脸中五官的位置和大小；以及，响应于所述五官的位置和大小不满足预设条件，确定所述被测人脸为假体；以及

响应于所述被测人脸的五官的位置和大小满足预设条件，以分类器模型对人脸区域深度图像进行处理，以获取分类结果，并基于所述分类结果确定所述被测人脸是否为活体，其中，所述人脸区域深度图像基于所述人脸特征点在所述深度图像上的对应关系获得。

本发明的其他目的和优势，将通过具体实施例、说明书附图以及权利要求进一步阐述。

附图说明

图1是根据本发明的一个优选实施例的基于TOF深度相机的人脸检测方法的框图。

图2是根据本发明的上述优选实施例的基于TOF深度相机的人脸检测方法的流程图。

图3是根据本发明的上述优选实施例的基于TOF深度相机的人脸检测方法中的人脸特征点示意图。

图4是根据本发明的上述优选实施例的基于TOF深度相机的人脸检测方法中的彩色图像与红外图像的对比示意图。

图5是根据本发明的上述优选实施例的基于TOF深度相机的人脸检测方法中人脸区域深度图像获取流程图。

图6是根据本发明的上述优选实施例的基于TOF深度相机的人脸检测方法中的卷积神经网络MobilenetV2中的主要模块bottleneck的结构示意图。

图7是根据本发明的一个优选实施例的基于TOF深度相机的人脸检测装置的框图。

图8是根据本发明的一个优选实施例的基于TOF深度摄像模组的人脸检测电子设备的框图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

参考说明书附图1至图6，本发明所提供的基于TOF深度相机的人脸活体检测方法100被阐述，本发明所提供的所述基于TOF深度相机的人脸活体检测方法100通过多模态进行活体检测，能够有小弟防止多种非活体的入侵，并且能够有效地提升活体检测的速度。

具体地，所述基于TOF深度相机的人脸活体检测方法100包括：

101：基于由TOF深度信息摄像模组采集的被测人脸的彩色图像和红外图像，确定所述被测人脸是否为假体；其中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，包括：

1011：对所述彩色图像进行人脸检测，以从所述彩色图像中识别和提取出第一人脸框；

1012：将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框；

1013：对所述第二人脸框进行人脸检测，以获得人脸检测结果；以及

1014：响应于所述人脸检测结果中人脸置信度小于预设阀值，确定所述被测人脸为假体；

102：响应于所述人脸检测结果中人脸置信度超过(大于或等于)预设阀值，基于所述第二人脸框和由所述TOF深度信息摄像模组采集的所述被测人脸的深度图像，确定所述被测人脸是否为假体；其中，基于所述第二人脸框和所述深度图像，确定所述被测人脸是否为假体的过程，包括：

1021：对所述第二人脸框进行人脸特征点检测，以识别所述第二人脸框中的人脸特征点；

1022：基于所述人脸特征点在所述深度图像上对应的深度信息，获得所述被测人脸中五官的位置和大小；以及

1023：响应于所述五官的位置和大小不满足预设条件，确定所述被测人脸为假体；以及

103：响应于所述被测人脸的五官的位置和大小满足预设条件，以分类器模型对人脸区域深度图像进行处理，以获取分类结果，并基于所述分类结果确定所述被测人脸是否为活体，其中，所述人脸区域深度图像基于所述人脸特征点在所述深度图像上的对应关系获得。

具体地，在所述步骤1011中对所述彩色图像进行人脸检测和所述步骤1013中对所述第二人脸框进行人脸检测所使用的人脸检测算法为同一人脸检测算法。优选地，所述人脸检测算法是MTCNN人脸检测算法。可以理解的是，对所述彩色图像和对所述红外图像的所述第二人脸框进行人脸检测的人脸检测算法还能够是不同的人脸检测算法。

进一步地，在所述步骤1012，将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框，进一步包括：

10121：基于所述红外图像的长宽比，保持所述彩色图像在高度方向上的尺寸，并拉伸所述彩色图像在宽度方向上的尺寸，以使得经过拉伸后的所述彩色图像与所述红外图像呈相似关系；

10122：基于所述红外图像与所述彩色图像的相似比，将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的所述第二人脸框。

可以理解的是，由于所述TOF深度信息摄像模组中获取所述彩色图像的RGB传感器和获取所述红外图像的红外传感器之间存在视差或者视野的不同，如果在获取所述彩色图像中的所述第一人脸框后直接将将所述第一人脸框置于所述红外图像上以获得所述第二人脸框是十分不准确的。因此，在将所述彩色图像中的所述第一人脸框映射到所述红外图像上以获得所述第二人脸框之前需要基于所述TOF深度信息摄像模组的所述RGB传感器和所述红外传感器的空间位置、所述彩色图像和所述红外图像的大小对所述彩色图像和/或所述红外图像进行相应的调整，以供提高获取所述红外图像中的所述第二人脸框的准确性。优选地，对所述彩色图像的调整过程如步骤10121所述。

具体地，在所述步骤10121中，保持所述红外图像的长宽比不发生改变，调整所述彩色图像的长宽比，以使得所述红外图像和所述彩色图像的长宽比相一致。可选地，保持所述彩色图像的长宽比不发生改变，调整所述红外图像的长宽比，以使得所述红外图像和所述彩色图像的长宽比相一致。还可选地，同时调整所述红外图像的长宽比和所述彩色图像的长宽比以使得所述红外图像和所述彩色图像的长宽比相一致。

在所述步骤1021中，保持所述彩色图像在宽度方向上的尺寸不变，调整所述彩色图像在长度方向上的尺寸，以调整所述彩色图像的长宽比，并使得所述彩色图像的长宽比与所述红外图像的长宽比相一致。可选地，保持所述彩色图像在长度方向上的尺寸不变，调整所述彩色图像在宽度方向上的尺寸，以调整所述彩色图像的长宽比。可选地，同时调整所述彩色图像的长度方向上的尺寸和宽度方向上的尺寸，以调整所述彩色图像的长宽比。

示例地，参考说明书附图4，其中方块C表示调整前彩色图像，方块C2表示调整后的彩色图像，方块H表示红外图像，方块K1表示所述第一人脸框，方块K2表示所述第二人脸框，所述第一人脸框的左上角坐标为(x，y)、长度为W、宽度为H。所述彩色图像和所述红外图像和所述红外图像的长宽比不相同(这里假设所述彩色图像的长宽壁大于所述红外图像的长宽比)，基于所述红外图像的长宽比保持所述彩色图像的高度(长度)不变，调整所述红外图像的宽度，以使得所述彩色图像的长宽比与所述红外图像的长宽比相一致，调整后的彩色图像如方块C2所示。在保持所述红外图像的高度不变，调整所述红外图像的宽度的同时，保持所述第一人脸框的高度不变，调整所述第一人脸框的宽度，调整后的所述第一人脸框表示为K11，调整后的所述第一人脸框的左上角坐标为(x1，y)长度为W，宽度为H1。通过所述方块C2与所述方块H之间的缩放比，对调整后的所述第一人脸框K11进行缩放，以在所述红外图像上映射得到所述第二人脸框K2。

可以理解的是，以上的映射在所述红外图像上得到的是一个粗略的人脸框，可以通过人脸检测算法MTCNN中的ONet对所述第二人脸框进行微调以获得更加精确的人脸框。

进一步地，在所述步骤10122中，在所述彩色图像和所述红外图像具有一致的长宽比后，基于所述彩色图像和所述红外图像之间的相似比将所述第一人脸框映射到所述红外图像以获得所述第一人脸框在所述红外图像中对应的所述第二人脸框。

在所述步骤1013中，在识别并获取所述红外图像中的所述第二人脸框之后，对所述第二人脸框进行人脸检测，并获得人脸检测结果，进一步包括：

10131：记录所述第二人脸框的当前的参数信息；

10132：调整所述第二人脸框的尺寸至特定像素尺寸；以及

10133：对调整至特定像素尺寸的所述第二人脸框进行ONet前传，以获得所述人脸检测结果，其中所述人脸检测结果包括人脸置信度和坐标修正值。

具体地，在所述步骤10132中，所述特定像素尺寸的大小为48*48像素大小。

在所述步骤1014中，响应于所述人脸检测结果中的所述人脸置信度小于预设阀值，确定所述被测人脸为假体。优选地，所述预设阀值的大小为0.5。也就是说，当所述人脸置信度小于0.5，确定所述被测人脸为假体。

在所述步骤102中，当所述第二人脸框中的人脸检测结果中的人脸置信度超过(大于或等于)所述预设阀值，基于所述第二人脸框和所述TOF深度信息摄像模组所采集的所述被测人脸的深度图像，确定所述被测人脸是否为假体。

具体地，在所述步骤1021中，首先对所述第二人脸框进行人脸特征点检测，一识别所述第二人脸框中的人脸特征点。优选地，运用68个人脸特征点检测算法，在所述红外图像的所述第二人脸框内获取68个人脸特征点。可选地，在所述红外图像内的所述第二人脸框内所获取的所述人脸特征点的数量还能够是32个或128个。

在所述步骤1022中，在获取所述第二人脸框内的所述人脸特征点之后，获取所述人脸特征点在所述深度图像上所对应的深度信息，以获得所述被测人脸的五官的位置和大小。可以理解的是，所述被测人脸的五官的位置不但指被测人脸的五官在被测人脸的面部的位置还指的五官之间的相互位置关系。

在所述步骤1023中，在获取所述被测人脸的五官位置和大小之后，判断所述被测人脸的五官位置和大小是否满足预设条件，所述预设条件指的是预设的五官位置信息和大小信息，比如左右眼之间的距离，当所获取的所述被测人脸的五官位置和大小不满足预设条件，确定所述被测人脸为假体。

示例地，以瞳距测量为例，识别并获取所述人脸特征点中右眼中心对应的人脸特征点(编号为37-42的6个人脸特征点)的位置的点云深度值，以获取右眼中心的世界坐标系位置，识别并获取所述人脸特征点中左眼中心对应的人脸特征点(编号为43-48的六个人脸特征点)的位置的点云深度值，以获取左眼中心的世界坐标系位置，通过所述左眼世界坐标系位置和所述右眼世界坐标系位置获取镜头前所述被测人脸的真实瞳距(左右眼之间的距离)，预设的瞳孔之间的距离范围是53-73mm，当所述被测人脸的真实瞳距不在所述预设范围53-73mm范围内时，视为非常正常人脸入侵，确定所述被测人脸为假体；当所述被测人脸的真实瞳距在所述预设范围53-73mm范围内时，进行下一步判断。

进一步地，在所述步骤103中，响应于所述被测人脸的五官的位置和大小满足预设条件，以分类器模型对人脸区域深度图像进行处理，以获取分类结果，并基于所述分类结果确定所述被测人脸是否为活体，其中所述人脸区域深度图像基于所述人脸特征点在所述深度图像上的对应关系获得。也就是说，当所述被测人脸的五官的位置和大小满足所述预设条件，以分类器模型对所述人脸区域深度图像进行处理，并基于所获取的分类结果确定所述被测人脸是否为活体。

具体地，基于所述人脸特征点在所述深度图像上的对应关系获得所述人脸区域深度图像的过程，包括：

1031：基于所述人脸特征点在所述深度图像上的对应像素点，确定人脸轮廓；

1032：获得所述人脸轮廓内各像素点的深度信息；以及

1033：对所述人脸轮廓内各像素点的深度信息进行规范化处理，以获得所述人脸区域深度图像。

参考说明书附图5，示例地，基于所述人脸特征点在所述深度图像上的对应关系获得所述人脸区域深度图像的具体过程为：首先将68个所述人脸特征点中的编号为1-17的所述人脸特征点用直线进行连接，然后基于人脸鼻子部分对应的编号为28-31的人脸特征点计算所述被测人脸的倾斜角度和鼻子的长度；基于所述被测人脸的倾斜角度和鼻子的长度在编号为1和17的人脸特征点的上方分别找出两个点，然后将所述两个点和编号为1和17的人脸特征点分别连接以获得一个闭合的人脸轮廓；最后对所述闭合的人脸轮廓进行填充以获得所述人脸轮廓；基于所获取的所述人脸轮廓的位置从所述深度图中获取所述人脸轮廓内区域的深度值；对所述人脸轮廓内区域的深度值进行规范化处理，将深度值拉伸到0-255的范围内，以使得所述人脸区域的对比度更大，所述被测人脸的五官更加突出，便于后续处理中卷积神经网络提取特征。

具体地，在所述步骤103中，所述分类器模型是基于卷积神经网络模型进行构件，也就是说，基于卷积神经网络模型对所述人脸区域深度图像进行处理，并基于分类结果确定所述被测人脸是否为活体。

示例地，在所述步骤103中，采用卷积神经网络对输入的所述人脸区域深度图像进行二分类，也就是基于所述人脸区域深度图像进行是活体还是假体的判断。在实际训练过程中使用一个修改后的轻量级网络MobilenetV2作为特征提取网络，所述人脸区域深度图像的输入大小为128*128像素；使用FocalLoss作为损失函数用于解决活体数据和假体数据不平衡的问题；使用所述步骤1031中基于所述68个人脸特征点所获取的所述人脸轮廓，获取所述人脸轮廓内的点云深度信息，并对该部分的所述点云深度数据进行滤波和规范化操作，并使用该结果作为卷积神经网络的输入图片。

参考说明书附图6，其显示有所述卷积神经网络MobilenetV2的主要模块bottleneck。

值得一提的是，本发明所提供的所述基于TOF深度相机的人脸活体检测方法100能够进行多模态化验证，能够有效地防止多种方式的入侵。针对屏幕入侵，由于红外波段在屏幕上存在高反，屏幕在红外图像中几乎不能够成像，使用MTCNN人脸检测算法中的ONet网络对人脸区域进行检测，能够有效地过滤屏幕入侵的方式。针对不符合正常人脸尺寸的入侵，结合人脸特征点提供的五官位置，同时使用深度相机提供的深度尺寸信息获取五官位置和尺寸，能够对非正常尺寸人脸进行有效地过滤。最后用预训练的卷积神经网络，对人脸区域进行特征提取，能够有效地过滤掉空间形状有异于正常人脸的入侵。

还值得一提的是，本发明所提供的所述基于TOF深度相机的人脸活体检测方法100还能够有效地提升活体检测模块的速度，能够被部署在计算能力受限的嵌入式端；一方面利用深度相机中红外传感器和RGB传感器的空间位置，从而使用RGB人脸检测结果的信息估计出所述红外图上人脸的大概位置，从而使得不需要在红外传感器上重复计算复杂度较大的人脸检测，从而能够提升活体检测模块的速度；另一方面，使用修改后的轻量级MobileNetV2网络进行特征提取，能够同时兼顾活体检测性能和效率。

另一方面，真实人脸数据和入侵人脸数据往往存在着数据不均衡的问题，在卷积神经网络训练过程中使用FocalLoss能够有效地解决真实人脸数据和入侵人脸数据不均衡的问题，有效地解决活体检测算法所面临的泛化能力不足的问题；并且，使用人脸特征点获取人脸区域，能够有效地凸显人脸五官特征，在卷积神经网络训练过程中易于收敛。

参考说明书附图7，根据本发明的另一方面，本发明进一步提供一种基于TOF深度相机的人脸活体检测装置200，包括第一活体检测单元201、第二活体检测单元202以及第三活体检测单元203。

所述第一活体检测单元201用于基于由TOF深度信息摄像模组采集的被测人脸的彩色图像和红外图像，确定所述被测人脸是否为假体；

其中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，包括：

对所述彩色图像进行人脸检测，以从所述彩色图像中识别和提取出第一人脸框；

将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框；

对所述第二人脸框进行检测，以获得人脸检测结果；以及

响应于所述人脸检测结果中人脸置信度小于预设阀值，确定所述被测人脸为假体；

所述第二活体检测单元202用于响应于所述人脸检测结果中人脸置信度超过预设阀值，基于所述第二人脸框和由所述TOF深度信息摄像模组采集的所述被测人脸的深度图像，确定所述被测人脸是否为假体，其中，基于所述第二人脸框和所述深度图像，确定所述被测人脸是否为假体的过程，包括：

对所述第二人脸框进行人脸特征点检测，以识别所述第二人脸框中的人脸特征点；

基于所述人脸特征点在所述深度图像上对应的深度信息，获得所述被测人脸中五官的位置和大小；以及

响应于所述五官的位置和大小不满足预设条件，确定所述被测人脸为假体；

所述第三活体检测单元203用于响应于所述被测人脸的五官的位置和大小满足预设条件，以分类器模型对人脸区域图像进行处理，以获取分类结果，并基于所述分类结果确定所述被测人脸是否为活体，其中，所述人脸区域深度图像基于所述人脸特征点在所述深度图像上的对应关系获得。

参考说明书附图8，根据本发明的另一方面，本发明进一步提供一种电子设备300，所述电子设备300包括一处理器301和一存储器302，其中，所述存储器302中存储有计算机程序指令，所述计算机程序指令在被所述处理器301运行时使得所述处理器执行人脸活体检测方法100，其中所述人脸活体检测方法100包括：

101：基于由TOF深度信息摄像模组采集的被测人脸的彩色图像和红外图像，确定所述被测人脸是否为假体；其中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，包括：

1011：对所述彩色图像进行人脸检测，以从所述彩色图像中识别和提取出第一人脸框；

1012：将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框；

1013：对所述第二人脸框进行人脸检测，以获得人脸检测结果；以及

1014：响应于所述人脸检测结果中人脸置信度小于预设阀值，确定所述被测人脸为假体；

102：响应于所述人脸检测结果中人脸置信度超过(大于或等于)预设阀值，基于所述第二人脸框和由所述TOF深度信息摄像模组采集的所述被测人脸的深度图像，确定所述被测人脸是否为假体；其中，基于所述第二人脸框和所述深度图像，确定所述被测人脸是否为假体的过程，包括：

1021：对所述第二人脸框进行人脸特征点检测，以识别所述第二人脸框中的人脸特征点；

1022：基于所述人脸特征点在所述深度图像上对应的深度信息，获得所述被测人脸中五官的位置和大小；以及

1023：响应于所述五官的位置和大小不满足预设条件，确定所述被测人脸为假体；以及

103：响应于所述被测人脸的五官的位置和大小满足预设条件，以分类器模型对人脸区域深度图像进行处理，以获取分类结果，并基于所述分类结果确定所述被测人脸是否为活体，其中，所述人脸区域深度图像基于所述人脸特征点在所述深度图像上的对应关系获得。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述无须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (10)

1.一种基于TOF相机的人脸活体检测方法，其特征在于，包括：

基于由TOF深度信息摄像模组采集的被测人脸的彩色图像和红外图像，确定所述被测人脸是否为假体；其中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，包括：对所述彩色图像进行人脸检测，以从所述彩色图像中识别和提取出第一人脸框；将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框；对所述第二人脸框进行人脸检测，以获得人脸检测结果；以及，响应于所述人脸检测结果中人脸置信度小于预设阈值，确定所述被测人脸为假体；

响应于所述人脸检测结果中人脸置信度超过预设阈值，基于所述第二人脸框和由所述TOF深度信息摄像模组采集的所述被测人脸的深度图像，确定所述被测人脸是否为假体，其中，基于所述第二人脸框和所述深度图像，确定所述被测人脸是否为假体的过程，包括：对所述第二人脸框进行人脸特征点检测，以识别所述第二人脸框中的人脸特征点；基于所述人脸特征点在所述深度图像上对应的深度信息，获得所述被测人脸中五官的位置和大小；以及，响应于所述五官的位置和大小不满足预设条件，确定所述被测人脸为假体；以及

响应于所述被测人脸的五官的位置和大小满足预设条件，以分类器模型对人脸区域深度图像进行处理，以获取分类结果并基于所述分类结果确定所述被测人脸是否为活体，其中，所述人脸区域深度图像基于所述人脸特征点在所述深度图像上的对应关系获得。

2.根据权利要求1所述的人脸活体检测方法，其中，对所述彩色图像进行人脸检测的人脸检测算法和对所述第二人脸框进行人脸检测的人脸检测算法为同一算法。

3.根据权利要求2所述的人脸活体检测方法，其中，所述人脸检测算法为MTCNN算法。

4.根据权利要求3所述的人脸活体检测方法，其中，将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框，包括：

基于所述红外图像的长宽比，保持所述彩色图像在高度方向上的尺寸并拉伸所述彩色图像在宽度方向上的尺寸，以使得经过拉伸后的所述彩色图像与所述红外图像呈相似关系；

基于相似比将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框。

5.根据权利要求4所述的人脸活体检测方法，其中，对所述第二人脸框进行人脸检测，以获得人脸检测结果，包括：

记录所述第二人脸框的当前的参数信息；

调整所述第二人脸框的尺寸至特定像素尺寸；

对调整至特定像素尺寸的所述第二人脸框进行ONet前传，以获得所述人脸检测结果，其中，所述人脸检测结果包括人脸置信度和坐标修正值。

6.根据权利要求5所述的人脸活体检测方法，其中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，进一步包括：响应于所述人脸检测结果中人脸置信度超过预设阈值，基于所述坐标修正值对所述第二人脸框的参数信息进行调整。

7.根据权利要求1所述的人脸活体检测方法，其中，所述分类器模型基于卷积神经网络模型进行构建。

8.根据权利要求7所述的人脸活体检测方法，其中，基于所述人脸特征点在所述深度图像上的对应关系获得所述人脸区域深度图像的过程，包括：

基于所述人脸特征点在所述深度图像上的对应像素点，确定人脸轮廓；

获得所述人脸轮廓内各像素点的深度信息；以及

对所述人脸轮廓内各像素点的深度信息进行规范化处理，以获得所述人脸区域深度图像。

9.一种人脸活体检测装置，其特征在于，包括：

第一活体检测单元，用于基于由TOF深度信息摄像模组采集的被测人脸的彩色图像和红外图像，确定所述被测人脸是否为假体；其中，基于所述彩色图像和所述红外图像，确定所述被测人脸是否为假体的过程，包括：对所述彩色图像进行人脸检测，以从所述彩色图像中识别和提取出第一人脸框；将所述第一人脸框映射到所述红外图像，以获得所述第一人脸框在所述红外图像中对应的第二人脸框；对所述第二人脸框进行人脸检测，以获得人脸检测结果；以及，响应于所述人脸检测结果中人脸置信度小于预设阈值，确定所述被测人脸为假体；

第二活体检测单元，用于响应于所述人脸检测结果中人脸置信度超过预设阈值，基于所述第二人脸框和由所述TOF深度信息摄像模组采集的所述被测人脸的深度图像，确定所述被测人脸是否为假体，其中，基于所述第二人脸框和所述深度图像，确定所述被测人脸是否为假体的过程，包括：对所述第二人脸框进行人脸特征点检测，以识别所述第二人脸框中的人脸特征点；基于所述人脸特征点在所述深度图像上对应的深度信息，获得所述被测人脸中五官的位置和大小；以及，响应于所述五官的位置和大小不满足预设条件，确定所述被测人脸为假体；以及

第三活体检测单元，用于响应于所述被测人脸的五官的位置和大小满足预设条件，以分类器模型对人脸区域深度图像进行处理，以获取分类结果并基于所述分类结果确定所述被测人脸是否为活体，其中，所述人脸区域深度图像基于所述人脸特征点在所述深度图像上的对应关系获得。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其中，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-8中任一项所述的人脸活体检测方法。

Images