CN111091063A - 活体检测方法、装置及系统 - Google Patents

Abstract

本发明提供了一种活体检测方法、装置及系统，涉及及其视觉技术领域，该方法包括：基于双目相机获取待检测目标的彩色图像和红外图像；对待检测目标的彩色图像和红外图像进行双目立体匹配，获取待检测目标的深度图像；将待检测目标的深度图像和红外图像输入预先训练得到的神经网络模型，通过神经网络模型对深度图像进行3D检测，对红外图像进行活体检测；当神经网络模型检测出深度图像为3D图像，且红外图像为活体图像时，输出待检测目标为活体的检测结果。本发明在节约材料成本的基础上，提升了活体检测的准确率。

Description

活体检测方法、装置及系统

技术领域

本发明涉及机器视觉技术领域，尤其是涉及一种活体检测方法、装置及系统。

背景技术

活体检测是在一些身份验证场景确定对象真实生理特征的方法，在人脸识别应用中，活体检测技术可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。活体检测技术分为动作活体检测和静默活体检测两类，动作活体检测需要用户通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作，由于动作活体检测需要人为配合使用，导致其应用范围有限；静默活体检测无需用户的动作配合，通过获取待检测目标的图像，即可进行活体检测。利用深度图像进行静默活体检测的准确性比较高，然而，深度相机价格昂贵，不适合推广应用，而普通的彩色图像或红外图像进行静默活体检测的准确率又较低。

发明内容

有鉴于此，本发明的目的在于提供一种活体检测方法、装置及系统，能够在节约材料成本的基础上，提升活体检测的准确率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种活体检测方法，包括：基于双目相机获取待检测目标的彩色图像和红外图像；对所述待检测目标的彩色图像和红外图像进行双目立体匹配，获取所述待检测目标的深度图像；将所述待检测目标的深度图像和红外图像输入预先训练得到的神经网络模型，通过所述神经网络模型对所述深度图像进行3D检测，对所述红外图像进行活体检测；当所述神经网络模型检测出所述深度图像为3D图像，且所述红外图像为活体图像时，输出所述待检测目标为活体的检测结果。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对所述待检测目标的彩色图像和红外图像进行双目立体匹配，获取所述待检测目标的深度图像的步骤，包括：基于所述双目相机的内参和外参，对所述待检测目标的彩色图像和红外图像进行校正，以使所述待检测目标的彩色图像和红外图像共面行对准；基于立体匹配算法及校正后的所述彩色图像和所述红外图像，获取所述待检测目标的深度图像。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述基于立体匹配算法及校正后的所述彩色图像和所述红外图像，获取所述待检测目标的深度图像的步骤，包括：基于立体匹配算法对校正后的所述彩色图像和所述红外图像进行立体匹配，获得所述彩色图像和所述红外图像的视差图；基于所述视差图及预设的图像中视差与深度的函数关系确定所述待检测目标的深度图像。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述方法还包括：基于所述双目相机拍摄的棋盘格图像，获取所述双目相机的内参和外参。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述神经网络模型的训练过程包括：获取样本训练集；所述样本训练集包括深度图像样本和红外图像样本，所述深度图像样本包括预先标注有活体标识的第一深度图样本和攻击标识的第二深度图样本，所述红外图像样本包括预先标注有活体标识的第一红外图样本和攻击标识的第二红外图样本；利用所述样本训练集对待训练的神经网络模型进行训练，得到训练后的神经网络模型。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述神经网络模型包括深度图神经网络模块和红外图神经网络模块；所述利用所述样本训练集对待训练的神经网络模型进行训练，得到训练后的神经网络模型的步骤，包括：分别将所述深度图像样本输入所述深度图神经网络模块，将所述红外图像样本输入所述红外图神经网络模块，以对待训练的神经网络模型进行训练，得到训练后的神经网络模型。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，通过所述神经网络模型对所述深度图像进行3D检测，对所述红外图像进行活体检测的步骤，包括：通过所述深度图神经网络模块对所述深度图像进行3D检测，判断所述深度图像是否为3D图像；所述3D图像为3D物体的深度图像；当所述深度图像为3D图像时，通过所述红外图神经网络模块对所述红外图像进行活体检测，判断所述红外图像是否为活体图像。

进一步，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：基于所述待检测目标的彩色图像及预先获取的合法人脸图像信息进行人脸匹配，得到人脸匹配结果。

第二方面，本发明实施例还提供了一种活体检测装置，包括：图像获取模块，用于基于双目相机获取待检测目标的彩色图像和红外图像；深度图像获取模块，用于对所述待检测目标的彩色图像和红外图像进行双目立体匹配，获取所述待检测目标的深度图像；活体检测模块，用于将所述待检测目标的深度图像和红外图像输入预先训练得到的神经网络模型，通过所述神经网络模型对所述深度图像进行3D检测，对所述红外图像进行活体检测；结果输出模块，用于当所述神经网络模型检测出所述深度图像为3D图像，且所述红外图像为活体图像时，输出所述待检测目标为活体的检测结果。

第三方面，本发明实施例提供了一种活体检测系统，所述系统包括：图像采集装置、处理器和存储装置；所述图像采集装置，用于采集图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行上述第一方面任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种活体检测方法、装置及系统，基于双目相机获取待检测目标的彩色图像和红外图像，对待检测目标的彩色图像和红外图像进行双目立体匹配，获取待检测目标的深度图像，将待检测目标的深度图像和红外图像输入预先训练得到的神经网络模型，通过神经网络模型对深度图像进行3D检测，对红外图像进行活体检测，当神经网络模型检测出深度图像为3D图像，且红外图像为活体图像时，输出待检测目标为活体的检测结果。通过上述方式，一方面，无需使用深度相机，通过双目相机即可得到待检测目标的彩色图像和红外图像，基于这两个图像获得待检测目标的深度图像，节约了材料成本；另一方面，基于通过神经网络模型对深度图像和红外图像分别进行3D检测和活体检测，可以有效判断出2D攻击和3D攻击，降低了现有活体检测对2D攻击的漏检率，提升了活体检测的准确率。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种活体检测方法流程图；

图3示出了本发明实施例所提供的一种双目活体检测方法流程图；

图4示出了本发明实施例所提供的一种深度图像获取方法流程图；

图5示出了本发明实施例所提供的一种活体检测装置的结构框图；

图6示出了本发明实施例所提供的另一种活体检测装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

基于现有的活体检测技术还存在活体检测准确率较低的问题，本发明实施例提供了一种活体检测方法、装置及系统，可以应用于提升活体检测的准确率，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的一种活体检测方法、装置及系统的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的活体检测方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等设置有双目相机或与双目相机通信连接的智能终端。

实施例二：

参见图2所示的活体检测方法流程图，该方法可以由诸如前述电子设备执行，该方法主要包括以下步骤S202～步骤S208：

步骤S202，基于双目相机获取待检测目标的彩色图像和红外图像。

上述双目相机包括普通摄像头和红外摄像头，通过上述双目相机上的普通摄像头可以获取到位于该普通摄像头拍摄范围内的待检测目标的彩色图像；通过双目相机上的红外摄像头可以获取到位于该普通摄像头拍摄范围内的待检测目标的红外图像，红外摄像头受光线影响较小，在黑暗场景下也能清楚地拍摄到待检测目标，从而增大了活体检测的使用场景范围。在活体检测时，使用双目相机拍摄待检测目标，从而可以同时获取到待检测目标的彩色图像和红外图像。

在实际应用中，可以通过将待检测目标放置在双目相机的前方的拍摄距离范围内，以使双目相机采集到待检测目标的彩色图像和红外图像，并将双目相机采集到的彩色图像和红外图像上传给用于执行活体检测方法的电子设备。

步骤S204，对待检测目标的彩色图像和红外图像进行双目立体匹配，获取待检测目标的深度图像。

上述彩色图像和红外图像为双目相机拍摄到的待检测目标在同一场景下的左右两幅视点图，通过使用上述双目相机拍摄彩色图像和红外图像进行立体匹配，可以获取到待检测目标的深度图像。

步骤S206，将待检测目标的深度图像和红外图像输入预先训练得到的神经网络模型，通过神经网络模型对深度图像进行3D检测，对红外图像进行活体检测。

预先训练得到的神经网络模型可以通过检测待检测目标的深度图像和红外图像，确定待检测目标是否为活体。具体的，由于深度图像可以反映出图像中待检测目标的深度信息，神经网络模型通过检测待检测目标的深度图像，可以快速确定待检测目标是否为3D物体。由于红外图像是通过获取待检测目标红外光的强度而成的图像，即通过“测量”物体向外辐射的热量而获得的图像，神经网络模型通过检测待检测目标的红外图像，可以确定待检测目标是否为活体。

由于上述神经网络模型在进行活体检测时，主要通过图像检测的方式检测待检测目标是否为活体，因此，上述神经网络模型(也可以称为活体检测模型)可以包括卷积神经网络。

步骤S208，当神经网络模型检测出深度图像为3D图像，且红外图像为活体图像时，输出待检测目标为活体的检测结果。

上述3D图像是指3D物体的深度图像。当待检测目标的深度图像为3D图像时，即待检测目标为3D物体；上述活体图像是指活体成像得到的红外图像，当待检测目标的红外图像为活体图像时，即待检测目标为活体。当待检测目标的深度图像不为3D图像时，即待检测目标不是3D物体，得到的活体检测结果为待检测目标不是活体。当待检测目标的深度图像是3D图像，但待检测目标的红外图像不是活体图像时，得到的活体检测结果为待检测目标不是活体。

在一种实施方式中，上述活体检测方法可以应用于对人脸的活体检测，还可以应用于对小动物面部的活体检测。上述活体检测方法得到的活体检测结果包括待检测目标为活体或待检测目标不是活体，当得到的活体检测结果为待检测目标不是活体时，即待检测目标为攻击活体检测模型。该攻击活体检测模型包括2D攻击活体检测模型和3D攻击活体检测模型，其中，2D攻击活体检测模型包括平面图像，该平面图像可以是位于纸、布或电子屏幕上的图像；3D攻击活体检测模型包括面具或头部模型。例如，在利用上述活体检测方法进行活体检测时，当真实的人脸或小动物面部位于双目相机的拍摄画面内时，得到的活体检测结果为待检测目标为活体；当人脸或小动物面部的图像、视频或头部模型位于双目相机的拍摄画面内时(也可以称为攻击，当2D攻击活体检测模型进入双目相机的拍摄画面内时，称为2D攻击；当3D攻击活体检测模型进入双目相机的拍摄画面内时，称为3D攻击)，得到的活体检测结果为待检测目标为攻击活体检测模型。

进一步的，若神经网络模型检测得到待检测目标的深度图像并非是3D图像，则得到的活体检测结果为待检测目标是2D攻击活体检测模型。利用上述神经网络模型对深度图像的检测，可以快速辨别出2D物体和3D物体，从而有效防止活体检测对2D攻击的漏检。若神经网络模型检测得到待检测目标的深度图像为3D图像，但待检测目标的红外图像不是活体图像，则得到的活体检测结果为待检测目标是3D攻击活体检测模型，即待检测目标是3D物体，但不是活体。

本发明实施例提供的上述活体检测方法，一方面，无需使用深度相机，通过双目相机即可得到待检测目标的彩色图像和红外图像，基于这两个图像获得待检测目标的深度图像，节约了材料成本；另一方面，基于通过神经网络模型对深度图像和红外图像分别进行3D检测和活体检测，可以有效判断出2D攻击和3D攻击，降低了现有活体检测对2D攻击的漏检率，提升了活体检测的准确率。

为了节约材料成本，以便在无需使用深度相机的情况下，也可以获取到待检测目标的深度图像，本实施例提供了对待检测目标的彩色图像和红外图像进行双目立体匹配，获取待检测目标的深度图像的具体实施方式：具体可参照以下步骤(1)～步骤(2)执行：

步骤(1)：基于双目相机的内参和外参，对待检测目标的彩色图像和红外图像进行校正，以使待检测目标的彩色图像和红外图像共面行对准。

首先利用双目相机的内参对待检测目标的彩色图像和红外图像进行畸变校正，消除图像畸变；再利用双目相机的外参对畸变校正后的待检测目标的彩色图像和红外图像进行立体校正，由于双目相机拍摄到的待检测目标的彩色图像和红外图像为非共面行对准的两幅图像，通过对待检测目标的彩色图像和红外图像进行立体校正，将待检测目标的彩色图像和红外图像校正为共面行对准。其中，共面行对准的标准为：双目相机拍摄到的待检测目标的彩色图像和红外图像平面在同一平面上，且同一点投影到彩色图像和红外图像平面时，应该在彩色图像和红外图像像素坐标系的同一行，上述共面行对准是指在数学上进行的对准而非物理上的对准。

上述相机的内参和外参为预先获取的，其中，相机的内参和外参获取方式有多种，在一种实施方式中，可以基于双目相机拍摄的棋盘格图像，获取双目相机的内参和外参。相机的内参反映了摄像头坐标系到图像坐标系之间的投影关系，使用张正友标定法对双目相机的两个摄像头进行标定，可以获取到的相机内参，其中相机的内参包括摄像头的径向畸变和切向畸变。摄像机外参反映了摄像机坐标系和世界坐标系之间的旋转关系和平移关系，如果双目相机的两个摄像头的内参均已知，并且已知双目相机中每个摄像头和世界坐标系之间的旋转关系和平移关系，就可以计算出双目相机中从一个摄像头坐标系到另一个摄像头坐标系之间的位置转换关系。摄像机外参标定也可以使用标定板(即棋盘格图像)进行标定，标定时必须保证双目相机的左、右两个摄像头同时拍摄同一个标定板的图像，外参一旦标定完成，两个摄像头的结构需要保持固定，否则双目相机的外参就会发生变化，需要重新进行外参标定。相机的外参包括旋转参数和平移参数，旋转参数和平移参数可以构成外参矩阵，外参矩阵包括旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到摄像机坐标系。

根据相机标定得到的内参和外参可以实现世界坐标、摄像机坐标、图像坐标和像素坐标四大坐标系的转换。其中，世界坐标系是目标物体位置的参考系，世界坐标可以根据运算方便与否自由放置，在双目视觉中世界坐标系的主要用途包括：标定时确定标定物的位置，作为双目视觉的系统参考系，给出双目相机的两个摄像头相对世界坐标系的关系，从而求出双目相机的两个摄像头之间的相对位置；作为重建得到三维坐标的容器，存放重建后的物体的三维坐标。摄像机坐标系是摄像机(也可以称为摄像头)站在自身角度上衡量物体的坐标系。摄像机坐标系的原点在摄像机的光心上，z轴与摄像机光轴平行。世界坐标系下的物体需先经历刚体变化转化到摄像机坐标系，然后再和图像坐标系发生关系。图像坐标系以图像平面的中心为坐标原点，为了描述成像过程中物体从相机坐标系到图像坐标系的投影投射关系而引入，方便进一步得到像素坐标系下的坐标。像素坐标系以图像平面的左上角顶点为原点，为了描述物体成像后的像素点在图像上的坐标而引入。

步骤(2)：基于立体匹配算法及校正后的彩色图像和红外图像，获取待检测目标的深度图像。

为了获取到待检测目标的深度图像，可以首先基于立体匹配算法对校正后的彩色图像和红外图像进行立体匹配，获得彩色图像和红外图像的视差图；再基于视差图及预设的图像中视差与深度的函数关系确定待检测目标的深度图像。

上述立体匹配算法可以是半全局块匹配(Semi-Global Block Matching，简称SGBM)算法对校正后的彩色图像和红外图像进行立体匹配获取视差图。示例地，首先，对校正后的彩色图像和红外图像进行图像预处理，该图像预处理过程包括：使用sobel算子对校正后的彩色图像和红外图像进行图像预处理，使用映射函数将经过sobel算子预处理后的彩色图像和红外图像上的每个像素点分别映射成新的彩色图像和新的红外图像(上述新的彩色图像和新的红外图像均为灰度图)，其中，上述图像预处理过程实际得到的是图像的梯度信息，该梯度信息可以用于对图像的梯度代价的计算。其次，对图像进行代价计算，主要包括：对上述预处理得到的图像(包括彩色图像和红外图像)的梯度信息基于采样的方法得到梯度代价，对上述校正后的彩色图像和红外图像基于采样的方法得到SAD(Sum ofabsolute differences，绝对差值和)代价。最后，基于上述梯度代价和SAD代价计算上述彩色图像和红外图像的视差，当上述梯度代价和SAD代价取最小值时，可以获得彩色图像和红外图像的视差图。上述立体匹配算法还可以是其他获取彩色图像和红外图像的视差图的立体匹配算法，诸如全局立体匹配算法或半全局匹配(Semi-Global Matching，简称SGM)算法。

上述图像中视差与深度的函数关系为：经过校正后的彩色图像和红外图像中像素点的视差与深度的乘机为常数，该常数代表深度的尺度范围，诸如，该常数取值可以为1，此外，该常数的取值还可以根据相机的内参确定。利用图像中视差与深度的函数关系及立体匹配获取到的视差图，可以获取到待检测目标的深度图像。

为了进一步提升活体检测的准确率，本实施例提供了神经网络模型的训练过程，具体可参照以下步骤1～步骤2执行：

步骤1：获取样本训练集；样本训练集包括深度图像样本和红外图像样本，深度图像样本包括预先标注有活体标识的第一深度图样本和攻击标识的第二深度图样本，红外图像样本包括预先标注有活体标识的第一红外图样本和攻击标识的第二红外图样本。其中，第一深度图样本的获取方式可以是：将活体目标(人脸或小动物面部)放置在双目相机拍摄到的画面中，使双目相机拍摄目标活体获得目标活体的彩色图像和红外图像，利用双目立体匹配算法从目标活体的彩色图像和红外图像中，提取目标活体的深度图像，将提取到的目标活体的深度图像作为第一深度图样本，第一深度图样本为带有活体标识的深度图样本。第二深度图样本的获取方式可以是：将攻击活体检测模型(诸如，人脸图像、人脸视频、面具、头模、小动物图像或小动物视频等)放置在双目相机拍摄到的画面中，使双目相机拍摄攻击活体检测模型，获得攻击活体检测模型的彩色图像和红外图像，利用双目立体匹配算法从攻击活体检测模型的彩色图像和红外图像中，提取攻击活体检测模型的深度图像，将提取到的攻击活体检测模型的深度图像作为第二深度图样本，第二深度图样本为带有攻击标识的深度图样本。第一红外图样本的获取方式可以是：将活体目标放置在双目相机拍摄到的画面中，使双目相机拍摄目标活体获得目标活体的彩色图像和红外图像，将拍摄到的目标活体的红外图像作为第一红外图样本，第一红外图样本为带有活体标识的红外图样本。第二红外图样本的获取方式可以是：将攻击活体检测模型放置在双目相机拍摄到的画面中，使双目相机拍摄攻击活体检测模型，获得攻击活体检测模型的彩色图像和红外图像，将拍摄到的攻击活体检测模型的红外图像作为第二红外图样本，第二红外图样本为带有攻击标识的红外图样本。

步骤2：利用样本训练集对待训练的神经网络模型进行训练，得到训练后的神经网络模型。

将上述步骤1获得的样本训练集输入神经网络模型，对神经网络模型进行训练。为了提升神经网络模型对于深度图像和红外图像的检测效率和检测准确率，在一种实施方式中，上述神经网络模型包括深度图神经网络模块和红外图神经网络模块。分别将深度图像样本输入深度图神经网络模块，将红外图像样本输入红外图神经网络模块，以对待训练的神经网络模型进行训练，得到训练后的神经网络模型。通过将标注有活体标识的第一深度图样本和攻击标识的第二深度图样本输入深度图神经网络模块进行训练，以便使深度图神经网络模块可以根据深度图识别出活体的深度图像和攻击活体检测模型的深度图像。通过将标注有活体标识的第一红外图样本和攻击标识的第二红外图样本输入红外图神经网络模块进行训练，以便使红外图神经网络模块可以根据红外图区分出活体和攻击活体检测模型。

为了提升活体检测的检测效率，快速得到活体检测结果，本实施例提供了将待检测目标的深度图像和红外图像输入预先训练得到的神经网络模型后，通过使神经网络模型对深度图像进行3D检测，对红外图像进行活体检测的具体实施方式，具体可参照步骤a～步骤b执行：

步骤a：通过深度图神经网络模块对深度图像进行3D检测，判断深度图像是否为3D图像；3D图像为3D物体的深度图像。深度图像是将从相机到场景中各点的距离(深度)作为像素值的图像，直接反映了图像中目标可见表面的几何形状。上述深度图神经网络模块是基于预先标注有活体标识的第一深度图样本和攻击标识的第二深度图样本训练得到的，训练得到的神经网络模块获取深度图像的深度信息，以确定待检测目标是平面的2D目标还是3D物体。当深度图像不是3D图像时，即待检测物体不是3D物体，则可以确定待检测目标为2D攻击活体检测模型，无需再通过红外图神经网络模块对红外图像进行活体检测，就可以直接得到待检测目标为2D攻击活体检测模型的活体检测结果。

步骤b：当深度图像为3D图像时，通过红外图神经网络模块对红外图像进行活体检测，判断红外图像是否为活体图像。当深度图神经网络模块检测出待检测目标为3D物体时，由于活体和3D攻击活体检测模型均为3D物体，因此深度图神经网络模块并不能根据深度图像进一步准确判断出待检测目标是活体还是3D攻击活体检测模型。为了进一步提升检测准确率，基于活体与3D攻击活体检测模型间的红外成像区别，本实施例通过红外图神经网络模块获取红外图的红外信息，以判断该红外图像是活体所成的红外图像还是3D攻击活体检测模型所成的红外图像，当该红外图像为活体图像时，即该红外图像为活体所成的红外图像，待检测目标为活体。

上述活体检测方法通过将神经网络模型划分为深度图神经网络模块和红外图神经网络模块的方式，提升了活体检测的准确率。若将待检测目标的深度图像和红外图像输入同一个神经网络检测模块，容易导致该神经网络模块仅关注深度图的深度信息，或仅关注红外图的红外信息，从而影响活体检测的准确率。上述深度图神经网络模块和红外图神经网络模块均涉及到对图像的检测识别，为了提升神经网络模型检测的准确率，上述深度图神经网络模块和红外图神经网络模块均可以采用具有较好的图像识别效果的卷积神经网络。

在一种实施方式中，本实施例提供的活体检测方法还包括：基于待检测目标的彩色图像及预先获取的合法人脸图像信息进行人脸匹配，得到人脸匹配结果。当确定待检测目标为活体时，通过增加合法人脸图像信息进行人脸匹配的步骤实现人脸认证，从而可以应用于需要进行人脸认证的场景，诸如手机刷脸解锁、刷脸支付或远程身份验证等场景。

本实施例提供的上述活体检测方法，通过在神经网络模型中设置深度图神经网络模块和红外图神经网络模块，使深度图神经网络模块对深度图像进行3D检测，以快速检测出2D攻击检测模型，并使红外图神经网络模块对红外图像进行活体检测，以准确地判断出待检测目标是否为活体目标，从而提升了活体检测效率和活体检测准确率。

实施例三：

在实际应用中，参见如图3所示的双目活体检测方法流程图，以将活体检测方法应用于人脸活体检测为例，在该方法中，首先通过双目相机获取待检测目标的彩色图像和红外图像。

然后将待检测目标的彩色图像和红外图像输入深度图计算模块，以使深度图计算模块利用双目立体匹配算法，从待检测目标的彩色图像和红外图像中获取到待检测目标的深度图像，参见如图4所示的深度图像获取方法流程图，以下给出了获取深度图像的方式，具体可参照步骤S402～步骤S408执行：

步骤S402，利用棋盘格对双目相机进行标定，获得双目相机的内参和外参。

步骤S404，基于双目相机的内参和外参，对上述待检测目标的彩色图像和红外图像进行立体校正。通过对待检测目标的彩色图像和红外图像进行立体校正，将上述待检测目标的彩色图像和红外图像由非共面图像校正为共面行对准图像。

步骤S406，使用SGBM算法对校正后的彩色图像和红外图像进行立体匹配，获得立体校正后的彩色图像和红外图像的视差图。

步骤S408，基于视差图及预设的图像中视差与深度的函数关系，获取待检测目标的深度图像。

如图3所示，最后，将上述待检测目标的深度图像和红外图像输入预先训练好的卷积神经网络模型中，卷积神经网络模型中设置有深度图神经网络模块和红外图神经网络模块，以使深度图神经网络模块对深度图像进行3D检测，使红外图神经网络模块对红外图像进行活体检测，以准确地判断出待检测目标是否为活体，得到人脸活体检测结果。上述活体检测结果包括：待检测目标为人脸活体或待检测目标为攻击人脸，上述攻击人脸可以是人脸图像、人脸录像、面具或人脸模型。

本实施例提供的上述人脸活体检测方法，通过待检测目标的彩色图像和红外图像即可获得待检测目标的深度图像，节约了材料成本，基于通过神经网络模型对深度图像进行3D检测，可以有效判断出2D攻击，降低了现有活体检测对2D攻击的漏检率，提升了活体检测的准确率。

实施例四：

对于实施例二中所提供的活体检测方法，本发明实施例提供了一种活体检测装置，参见图5所示的一种活体检测装置的结构框图，该装置包括以下模块：

图像获取模块51，用于基于双目相机获取待检测目标的彩色图像和红外图像。

深度图像获取模块52，用于对待检测目标的彩色图像和红外图像进行双目立体匹配，获取待检测目标的深度图像。

活体检测模块53，用于将待检测目标的深度图像和红外图像输入预先训练得到的神经网络模型，通过神经网络模型对深度图像进行3D检测，对红外图像进行活体检测。

结果输出模块54，用于当神经网络模型检测出深度图像为3D图像，且红外图像为活体图像时，输出待检测目标为活体的检测结果。

本发明实施例提供的上述活体检测装置，一方面，无需使用深度相机，通过双目相机即可得到待检测目标的彩色图像和红外图像，基于这两个图像获得待检测目标的深度图像，节约了材料成本；另一方面，基于通过神经网络模型对深度图像和红外图像分别进行3D检测和活体检测，可以有效判断出2D攻击和3D攻击，降低了现有活体检测对2D攻击的漏检率，提升了活体检测的准确率。

在一种实施方式中，上述深度图像获取模块52，进一步用于基于双目相机的内参和外参，对待检测目标的彩色图像和红外图像进行校正，以使待检测目标的彩色图像和红外图像共面行对准；基于立体匹配算法及校正后的彩色图像和红外图像，获取待检测目标的深度图像。

在一种实施方式中，上述深度图像获取模块52，进一步用于基于立体匹配算法对校正后的彩色图像和红外图像进行立体匹配，获得彩色图像和红外图像的视差图；基于视差图及预设的图像中视差与深度的函数关系确定待检测目标的深度图像。

在一种实施方式中，参见如图6所示的另一种活体检测装置的结构框图，上述装置还包括：参数获取模块65，用于基于双目相机拍摄的棋盘格图像，获取双目相机的内参和外参。

在一种实施方式中，上述装置还包括：网络训练模块66，用于获取样本训练集；样本训练集包括深度图像样本和红外图像样本，深度图像样本包括预先标注有活体标识的第一深度图样本和攻击标识的第二深度图样本，红外图像样本包括预先标注有活体标识的第一红外图样本和攻击标识的第二红外图样本；利用样本训练集对待训练的神经网络模型进行训练，得到训练后的神经网络模型。

在一种实施方式中，神经网络模型包括深度图神经网络模块和红外图神经网络模块；上述网络训练模块66，进一步用于分别将深度图像样本输入深度图神经网络模块，将红外图像样本输入红外图神经网络模块，以对待训练的神经网络模型进行训练，得到训练后的神经网络模型。

在一种实施方式中，上述活体检测模块53，进一步用于通过深度图神经网络模块对深度图像进行3D检测，判断深度图像是否为3D图像；3D图像为3D物体的深度图像；当深度图像为3D图像时，通过红外图神经网络模块对红外图像进行活体检测，判断红外图像是否为活体图像。

在一种实施方式中，上述装置还包括：人脸匹配模块67，用于基于待检测目标的彩色图像及预先获取的合法人脸图像信息进行人脸匹配，得到人脸匹配结果。

本实施例提供的上述活体检测装置，通过在神经网络模型中设置深度图神经网络模块和红外图神经网络模块，使深度图神经网络模块对深度图像进行3D检测，以快速检测出2D攻击检测模型，并使红外图神经网络模块对红外图像进行活体检测，以准确地判断出待检测目标是否为活体目标，从而提升了活体检测效率和活体检测准确率。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例五：

对应于前述实施例所提供的方法和装置，本发明实施例还提供了一种活体检测系统，该系统包括：图像采集装置、处理器和存储装置。

上述图像采集装置，用于采集产品图像。

上述存储装置上存储有计算机程序，所述计算机程序在被处理器运行时执行如前述方法实施例所提供的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本发明实施例所提供的活体检测方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种活体检测方法，其特征在于，包括：

基于双目相机获取待检测目标的彩色图像和红外图像；

对所述待检测目标的彩色图像和红外图像进行双目立体匹配，获取所述待检测目标的深度图像；

将所述待检测目标的深度图像和红外图像输入预先训练得到的神经网络模型，通过所述神经网络模型对所述深度图像进行3D检测，对所述红外图像进行活体检测；

当所述神经网络模型检测出所述深度图像为3D图像，且所述红外图像为活体图像时，输出所述待检测目标为活体的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述待检测目标的彩色图像和红外图像进行双目立体匹配，获取所述待检测目标的深度图像的步骤，包括：

基于所述双目相机的内参和外参，对所述待检测目标的彩色图像和红外图像进行校正，以使所述待检测目标的彩色图像和红外图像共面行对准；

基于立体匹配算法及校正后的所述彩色图像和所述红外图像，获取所述待检测目标的深度图像。

3.根据权利要求2所述的方法，其特征在于，所述基于立体匹配算法及校正后的所述彩色图像和所述红外图像，获取所述待检测目标的深度图像的步骤，包括：

基于立体匹配算法对校正后的所述彩色图像和所述红外图像进行立体匹配，获得所述彩色图像和所述红外图像的视差图；

基于所述视差图及预设的图像中视差与深度的函数关系，确定所述待检测目标的深度图像。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

基于所述双目相机拍摄的棋盘格图像，获取所述双目相机的内参和外参。

5.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程包括：

获取样本训练集；所述样本训练集包括深度图像样本和红外图像样本，所述深度图像样本包括预先标注有活体标识的第一深度图样本和攻击标识的第二深度图样本，所述红外图像样本包括预先标注有活体标识的第一红外图样本和攻击标识的第二红外图样本；

利用所述样本训练集对待训练的神经网络模型进行训练，得到训练后的神经网络模型。

6.根据权利要求5所述的方法，其特征在于，所述神经网络模型包括深度图神经网络模块和红外图神经网络模块；

所述利用所述样本训练集对待训练的神经网络模型进行训练，得到训练后的神经网络模型的步骤，包括：

分别将所述深度图像样本输入所述深度图神经网络模块，将所述红外图像样本输入所述红外图神经网络模块，以对待训练的神经网络模型进行训练，得到训练后的神经网络模型。

7.根据权利要求6所述的方法，其特征在于，通过所述神经网络模型对所述深度图像进行3D检测，对所述红外图像进行活体检测的步骤，包括：

通过所述深度图神经网络模块对所述深度图像进行3D检测，判断所述深度图像是否为3D图像；所述3D图像为3D物体的深度图像；

当所述深度图像为3D图像时，通过所述红外图神经网络模块对所述红外图像进行活体检测，判断所述红外图像是否为活体图像。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

基于所述待检测目标的彩色图像及预先获取的合法人脸图像信息进行人脸匹配，得到人脸匹配结果。

9.一种活体检测装置，其特征在于，包括：

图像获取模块，用于基于双目相机获取待检测目标的彩色图像和红外图像；

深度图像获取模块，用于对所述待检测目标的彩色图像和红外图像进行双目立体匹配，获取所述待检测目标的深度图像；

活体检测模块，用于将所述待检测目标的深度图像和红外图像输入预先训练得到的神经网络模型，通过所述神经网络模型对所述深度图像进行3D检测，对所述红外图像进行活体检测；

结果输出模块，用于当所述神经网络模型检测出所述深度图像为3D图像，且所述红外图像为活体图像时，输出所述待检测目标为活体的检测结果。

10.一种活体检测系统，其特征在于，所述系统包括：图像采集装置、处理器和存储装置；

所述图像采集装置，用于采集图像；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至8任一项所述的方法的步骤。

Images