CN113705408A - 一种人脸活体检测方法及系统 - Google Patents

Abstract

本申请涉及一种人脸活体检测方法及系统，属于人脸检测的技术领域，其方法包括：获取可见光图像；基于所述可见光图像获取基础视频流；获取人脸红外图像；基于所述人脸红外图像获取人脸位置；获取散斑图案；基于所述散斑图案获取深度信息；基于所述基础视频流、所述人脸位置和所述深度信息输出真彩视频流。本申请具有降低人脸识别失败的可能性，提高人脸识别效果的作用。

Description

一种人脸活体检测方法及系统

技术领域

本申请涉及人脸检测的技术领域，尤其是涉及一种人脸活体检测方法及系统。

背景技术

AI智能工业摄像机，主要应用在有活体检测、人脸识别需求的技术领域中或者装置产品上，例如楼宇门禁、卡口系统等。

目前，AI智能工业摄像机的工作原理主要是使用IR红外摄像机和彩色摄像机的方案，利用IR红外摄像机采集的图像进行活体检测分析，将分析出的人脸属性结果叠加在彩色摄像机上，作为摄像视频的结果显示或者人脸识别的检测基准。

针对上述中的相关技术，发明人认为在通过上述方案采集人脸图像进行识别的过程中，经常会由于距离不合适导致人脸识别失败，例如由于距离不合适导致摄像头频繁变焦识别，因此识别效果较弱。

发明内容

为了降低人脸识别失败的可能性，提高人脸识别的效果，本申请提供一种人脸活体检测方法及系统。

第一方面，本申请提供一种人脸活体检测方法，采用如下的技术方案：

一种人脸活体检测方法，包括：

获取可见光图像；

基于所述可见光图像获取基础视频流；

获取人脸红外图像；

基于所述人脸红外图像获取人脸位置；

获取散斑图案；

基于所述散斑图案获取深度信息；

基于所述基础视频流、所述人脸位置和所述深度信息输出真彩视频流。

通过采用上述技术方案，系统获取可见光图像，然后对可见光图像进行编码处理获取基础视频流，同时获取人脸红外图像然后根据人脸红外图像获取人脸的位置，同时系统获取散斑图案，由于不同距离形成的散斑图案不同，根据散斑团获取深度信息，然后将人脸位置和深度信息叠加至基础视频流，从而形成具有人脸识别且能够显示人脸深度的真彩视频流，从而方便使用者调整人脸距离，降低人脸识别失败的可能性，提高人脸识别的效果。

可选的，所述基于所述散斑图案获取深度信息包括如下步骤：

获取散斑图案；

基于所述散斑图案获取图案距离；

基于所述图案距离对所述散斑图案进行处理，获得图案颜色；

基于所述图案颜色生成深度信息。

通过采用上述技术方案，不同的图案颜色匹配不同的散斑图案，从而确定散斑的距离，通过图案颜色生成深度信息能够更加直观显示距离的变化。

可选的，所述获取散斑图案之后还包括：

对所述散斑图案进行降噪。

通过采用上述技术方案，能够提高散斑图案的质量，使散斑图案能够更加准确的被识别。

可选的，所述获取人脸红外图像之后还包括：

基于所述人脸红外图像获取人体生物特征；

基于所述人体生物特征判断人脸是否为活体；

在判断人脸是活体时输出人脸图像。

通过采用上述技术方案，系统从人脸红外图像中提取人体生物特征，然后根据人体生物特征获取向量特征，根据向量特征判断人脸是否为活体，在判断为活体时，输出人脸图像进行识别，从而能够提高识别的准确性。

可选的，所述获取人脸位置包括如下步骤：

基于所述人脸图像获取人脸关键点；

基于所述人脸关键点输出人脸位置。

通过采用上述技术方案，系统获取人脸图像中人脸关键点，然后根据人脸关键点选定范围，然后根据范围输出人脸位置，通过人脸关键点能够提高人脸位置判定的准确性，从而提高识别的准确性。

可选的，所述基于所述人脸红外图像获取人体生物特征之前还包括：

对所述人脸红外图像进行增益和降噪。

通过采用上述技术方案，能够提高人脸红外图像的质量，使人脸红外图像能够更加准确的被识别。

可选的，所述基于所述人体生物特征判断人脸是否为活体包括如下步骤：

基于所述人脸红外图像获取人脸图像和背景图像；

对所述人脸图像进行多颜色空间转换并提取人体生物特征；

基于所述人体生物特征生成空间图像；

获取所述空间图像的向量特征和所述背景图像的向量特征；

将所述空间图像的向量特征和所述背景图像的向量特征进行对比；

若对比结果相同，则判断为活体；

若对比结果不同，则判断为非活体。

通过采用上述技术方案，系统从人脸红外图像中获取人脸图像和背景图像，然后人脸图像进行多颜色空间转换并提取人体生物特征，也就是人脸关键点，然后根据人体生物特征生成空间图像，系统根据光流法获取控及其钠图像的向量特征和背景图像的向量特征，由于光流法对物体运动较为敏感，因而活体显示为不规则的向量，非活体则显示规则有序的向量，从而能够有效的区分活体和非活体。

可选的，所述基于所述人体生物特征生成空间图像之后还包括：

对所述空间图像进行降噪；

对降噪之后的所述空间图像进行归一化处理。

通过采用上述技术方案，能够获得更加清晰的空间图像，从而方便进行活体检测。

第二方面，本申请提供一种人脸活体检测系统，采用如下的技术方案：

一种人脸活体检测系统，包括：

可见光采集模块，用于获取可见光图像；

彩色视频流编码模块，用于基于所述可见光图像获取基础视频流；

红外光采集模块，用于获取人脸红外图像；

人脸识别模块，用于基于所述人脸红外图像获取人脸位置；

散斑采集模块，用于获取散斑图案；

深度识别模块，用于基于所述散斑图案获取深度信息；

可见光字符叠加模块，用于基于所述基础视频流、所述人脸位置和所述深度信息输出真彩视频流。

通过采用上述技术方案，可见光采集模块获取可见光图像之后发送至视频流编码模块进行编码获取基础视频流，同时红外光采集模块获取人脸红外图像然后发送给人脸识别模块，人脸识别模块根据人脸红外图像进行识别获取人脸位置，同时散斑采集模块获取散斑图案然后发送给深度识别模块，深度识别模块根据散斑图案进行编码获取深度信息，最后可见光字符叠加模块将人脸位置和深度信息叠加到基础视频流从而生成具有人脸深度的真彩视频流。

可选的，还包括：

活体检测模块，用于判断人脸是否为活体。

通过采用上述技术方案，活体检测模块能够在人脸识别模块之前对人脸红外图像进行活体检测，从而判断人脸红外图像采集的人脸是否为活体，从而进一步提高人脸检测的准确性。

综上所述，本申请包括以下至少一种有益技术效果：

1.系统获取可见光图像经过处理获取基础视频流，同时获取人脸红外图像然后根据人脸红外图像获取人脸的位置，系统获取散斑图案，由于不同距离形成的散斑图案不同，根据散斑团获取深度信息，然后将人脸位置和深度信息叠加至基础视频流，从而形成具有人脸识别且能够显示人脸深度的真彩视频流，从而方便使用者调整人脸距离，降低人脸识别失败的可能性，提高人脸识别的效果；

2.系统从人脸红外图像中提取人体生物特征，然后根据人体生物特征获取向量特征，根据向量特征判断人脸是否为活体，在判断为活体时，输出人脸图像进行识别，从而能够提高识别的准确性。

附图说明

图1是本申请实施例一种人脸活体检测系统的结构框图；

图2是本申请实施例一种人脸活体检测方法的流程示意图；

图3是本申请实施例获取基础视频流步骤S1的详细流程示意图；

图4是本申请实施例获取获取人脸位置步骤S2的详细流程示意图；

图5是本申请实施例获取人脸深度步骤S3的详细流程示意图。

附图标记说明：

1、可见光采集模块；2、彩色视频流编码模块；3、红外光采集模块；4、红外光人脸视频流编码模块；5、活体检测模块；6、结构光发射模块；7、散斑采集模块；8、结构光编码模块；9、深度识别模块；10、可见光字符叠加模块；11、人脸识别模块。

具体实施方式

以下结合附图1-5对本申请作进一步详细说明。

本申请实施例公开一种人脸活体检测系统。

参照图1，人脸活体检测系统包括结构光发射模块6、可见光采集模块1、彩色视频流编码模块2、红外光采集模块3、人脸识别模块11、散斑采集模块7、深度识别模块9、可见光字符叠加模块10以及活体检测模块5。

可见光采集模块1的输出端与彩色视频流的输入端电连接，彩色视频流的输出端与可见光字符叠加模块10的输入端电连接。可见光采集模块1用于采集可见光图像，然后将可见光图像发送至彩色视频流编码模块2进行编码形成基础视频流，然后将基础视频流发送至可见光字符叠加模块10。

红外光采集模块3的输出端点链接有红外光人脸视频流编码模块4，红外光人脸视频流编码模块4的输出端与活体检测模块5的输入端电连接，活体检测模块5的输出端与人脸识别模块11的输出端电连接，且人脸识别模块11的输出端与可见光字符叠加模块10电连接。红外光采集模块3用于采集人脸红外图像并对人脸红外图像进行增益降噪处理形成一帧完整的视频画面，然后将视频画面传输到红外光人脸视频流编码模块4进行编码，从而形成各种分辨率、帧率、数据格式的图片，从而形成特定颜色格式的数据码流，然后活体检测模块5接收数据码流并识别活体和非活体，在确定为活体时人脸识别模块11对人脸区域进行定位输出人脸的位置，从而提高人脸识别的准确性。

散斑采集模块7的发射端电连接有结构光编码模块8，结构光编码模块8的输出端与深度识别模块9电连接，深度识别模块9的输出端与可见光字符叠加模块10的输入端电连接。结构光发射模块6用于发出激光散斑，然后通过散斑采集模块7采集散斑并形成散斑图案并对散斑图案进行增益降噪之后形成较为清晰的散斑图案，然后散斑图案输送至结构光编码模块8，结构光编码模块8对散斑图案进行编码形成具有颜色的深度视频流，最后深度识别模块9通过识别视频流的颜色获取深度信息。

最后可见光字符叠加模块10将人脸位置和深度信息叠加至基础视频流，从而生成具有显示人脸位置和深度信息的真彩视频流，深度信息即为人脸距离摄像机的距离，从而方便使用者调整人脸距离，降低人脸识别失败的可能性，提高人脸识别的效果。上述图片及视频的处理均可采用公知程序在CPU中处理，下面结合上述系统对人脸活体检测方法的实施进行详细说明。

本申请实施例还公开一种人脸活体检测方法。

参照图2，人脸活体检测方法包括：

S1：获取基础视频流。

具体来说，结合图3，步骤S1包括以下子步骤：

S11：获取可见光图像。

具体来说，通过可见光采集模块1连接的视频探头采集可见光图像，得到初步的原始数据图片，原始数据格式为bayer,自动增益处理后进入摄像镜头ISP（image signalprocessor），经过黑电平补偿、镜头矫正、坏像素矫正、颜色插值、Bayer 噪声去除、白平衡、色彩矫正、Gamma 矫正、色彩空间转换（ RGB 转换为 YUV ）、在 YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出 YUV（ 或者 RGB ）格式的数据，再通过 I/O 接口传输到 CPU 中处理。通过上述的处理，能够提高图片的质量，方便对图片进行后续的处理。ISP信号输出格式有LVDS,DVP,MIPI。

S12：生成基础视频流。

具体来说，合成彩色视频流编码模块212接收可见光采集模块1发送的帧数据（RGB数据），然后进行编码成不同数据格式（YUV/MJPG），不同帧率，不同分辨率，从而生成基础视频流并输出。考虑到兼容电视信号，需要对摄像机帧数据（RGB数据）进行调制，传输亮度信号（Y），及蓝色色差(Cb)和红色色差(Cr)。我国一般采取PAL制式，即采取隔行扫描，一般25帧每秒。按照这个标准进行传输，可以兼容电视信号，从而可以用电视机播放视频数据。

S2：获取人脸位置。

其中，人脸位置是指人脸识别过程中，人脸所在的区域。具体来说，结合图4，步骤S2包括以下子步骤：

S21：获取人脸红外图像。

具体来说，红外光采集模块3连接视频探头，在红外光的照射下获取人脸红外图像，形成基本红外视频图片。再由摄像机ISP对其增益处理，滤波降噪，自动曝光后，基本形成一帧完整的画面，即生成IR红外视频帧数据。然后，经过红外光人脸视频流编码模块422将IR红外视频帧数据，编码成各种分辨率、帧率、数据格式的图片，从而形成特定颜色格式的数据码流，并通过标准接口UVC输出数据。

S22：进行活体检测。

其中，活体检测是指检测识别过程中的物体是人还是其他非活体的物体，例如照片。由于近红外的波长较短，能够得到人体生物特征，对这些生物特征分析，即可区分活体或非活体。且近红外人脸活体检测无需指令配合，检测成功率较高。

具体来说，近红外人脸活体检测主要是基于光流法而实现，所谓光流法，就是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，从图像序列中得到各个像素点的运行信息，采用高斯差分滤波器、LBP特征和支持向量机进行数据统计分析。同时，光流场对物体运动比较敏感，利用光流场可以统一检测眼球移动和眨眼，且活体的光流特征，显示为不规则的向量特征，而非活体（比如照片）的光流特征，则显示为规则的向量特征，从向量特征进行分析，即可区分活体和非活体。这种活体检测方式可以在用户无配合的情况下实现盲测。

具体过程为，活体检测模块5接收红外光采集模块3输出的数据，然后从其中获取帧图像，提取帧图像中的人脸图像和背景图像，然后对人脸图像进行多颜色空间转换之后提取人体生物特征，从而生成空间图像，然后对空间图像的纹理信息进行处理，之后对空间图像进行降噪处理，然后进行归一化处理，最后将处理之后的空间图像根据光流法获取向量特征，同时获取背景图像的向量特征，然后判断两个向量特征是否相同，若相同则判断为非活体，则停止流程；若不同，则判断为活体，此时输出人脸图像。

S23：定位人脸区域。

具体来说，即为人脸检测，人脸检测是通过InsideFace框架下工具MTCNN实现对人脸五个关键点（即两只眼睛、鼻子和两个嘴角）定位，然后输出人脸位置。

人脸识别模块11从人脸图像中获取人脸关键点，人脸关键点即上述的人脸五个关键点，然后根据人脸关键点获取人脸的区域，即获得人脸位置。

S3：获取人脸深度。

其中，人脸深度是指人脸深度信息，即人脸识别过程中，人脸距离镜头的距离信息。具体来说，结合图5，步骤S3包括以下子步骤：

S31：获取散斑图案。

具体来说，结构光发射模块6控制激光散斑发送器发出激光散斑，激光散斑照射物体，然后激光散斑发生反射。然后散斑采集模块7连接特定的散斑探头对散斑扫描后接收，并且形成初步的散斑图案。经过自动增益后送入摄像镜头ISP降噪处理，最终形成较为清晰的散斑图案。不同空间距离的散斑形成的图案是不同的，因而可以通过不同的散斑图案来标识不同深度。

S32：获得图案颜色。

通过不同的图案颜色，能够匹配不同的距离，从而能够直观的反应距离信息。具体来说，结构光编码模块8接收散斑图案，通过对散斑特征分析，同光源已经标定的空间图片进行相关性分析，找出相关的图片对应的深度进行编码。支持的空间距离为0.45-1.5m, 编码方案选用黄色（也可以是其他颜色），将RGB(255,255,0),饱和度为240的黄色作为基色，按照毫米为单位对空间进行标定，可以获得大约1050个标定图片。颜色饱和度也将以1050个单位进行递减，这些标定图片就如一把尺子一样对深度进行对照测量，黄颜色也就随之递减，从而能够获得不同的图案颜色。编码的方法就是整个图片的像素，取得其饱和度及颜色值，进行量化，随之形成一幅黄色对比图。没有物体的地方用0XFF黑色表示。编码后的图片，形成黄色深度视频图，然后连续的视频图生成含有深度信息的视频流。不同的黄色为不同的深度，黑色表示没有激光散斑反射。

S33：提取深度信息。

深度信息即是指人脸距离摄像机镜头的距离。具体来说，深度识别模块9接收视频流，取帧深度数据，进行深度识别，取得某点的坐标（x,y），获取其颜色信息,即可得到颜色对应的深度信息（x,y,depth）。此处，深度图中像素值直接代表深度，单位是mm。在通过convertDepthToWorld这个函数转换到真实坐标系（Worldcoordinates）时Z坐标是不变的。函数会根据Depth坐标系下的(X,Y,Z)，去计算World坐标系下的位置(X’,Y’,Z)，X、Y是depthmap的索引位置（X：为column，Y：为row）。也就是说，在OpenNI里Depth坐标系和World坐标系下Z坐标的意义是相同的。所以，如果只想知道某个点的深度，其实不用转换到真实坐标系中，直接在投影坐标系对Z值做计算就可以了。但是如果想知道两点的距离，那就还是要进行转换，把真实坐标系的X、Y坐标计算出来。

S4：获取真彩视频流。

具体来说，可见光字符叠加模块10接收基础视频流、人脸位置和深度信息，然后对三者进行叠加，使用OSD（是 On Screen Display的缩写，即屏幕菜单式调节方式）在显示器屏幕上产生一些特定的字形或图形，从而可以获得信息。利用利用windows sdk将获取的人脸位置和深度信息，叠加在彩色视频上，在人脸区域显示人脸方框，同时以文字的形式显示人脸深度信息，即显示人脸距离摄像机的距离。因此，进行人脸进行识别时，方便使用者观察人脸距离摄像机的距离，从而方便调整人脸距离，降低人脸识别失败的可能性，提高人脸识别的效果。

本申请实施例一种人脸活体检测方法的实施原理为：系统获取可见光图像，然后根据可见光图像生成基础视频流，同时系统获取人脸红外图像，然后根据人脸红外图像进行活体检测，检测为活体之后定位人脸区域获取人脸位置，同时系统再获取散斑图案，然后根据散斑图案获取图案颜色，并根据图案颜色提取深度信息，最后将人脸位置和深度信息叠加到基础视频流生成具有显示人脸位置和深度信息的真彩视频流并输出。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种人脸活体检测方法，其特征在于，包括：

获取可见光图像；

基于所述可见光图像获取基础视频流；

获取人脸红外图像；

基于所述人脸红外图像获取人脸位置；

获取散斑图案；

基于所述散斑图案获取深度信息；

基于所述基础视频流、所述人脸位置和所述深度信息输出真彩视频流。

2.根据权利要求1所述的方法，其特征在于，所述基于所述散斑图案获取深度信息包括如下步骤：

获取散斑图案；

基于所述散斑图案获取图案距离；

基于所述图案距离对所述散斑图案进行处理，获得图案颜色；

基于所述图案颜色生成深度信息。

3.根据权利要求1所述的方法，其特征在于，所述获取散斑图案之后还包括：

对所述散斑图案进行降噪。

4.根据权利要求1所述的方法，其特征在于，所述获取人脸红外图像之后还包括：

基于所述人脸红外图像获取人体生物特征；

基于所述人体生物特征判断人脸是否为活体；

在判断人脸是活体时输出人脸图像。

5.根据权利要求4所述的方法，其特征在于，所述获取人脸位置包括如下步骤：

基于所述人脸图像获取人脸关键点；

基于所述人脸关键点输出人脸位置。

6.根据权利要求1所述的方法，其特征在于，所述基于所述人脸红外图像获取人体生物特征之前还包括：

对所述人脸红外图像进行增益和降噪。

7.根据权利要求4所述的方法，其特征在于，所述基于所述人体生物特征判断人脸是否为活体包括如下步骤：

基于所述人脸红外图像获取人脸图像和背景图像；

对所述人脸图像进行多颜色空间转换并提取人体生物特征；

基于所述人体生物特征生成空间图像；

获取所述空间图像的向量特征和所述背景图像的向量特征；

将所述空间图像的向量特征和所述背景图像的向量特征进行对比；

若对比结果相同，则判断为活体；

若对比结果不同，则判断为非活体。

8.根据权利要求7所述的方法，其特征在于，所述基于所述人体生物特征生成空间图像之后还包括：

对所述空间图像进行降噪；

对降噪之后的所述空间图像进行归一化处理。

9.一种人脸活体检测系统，其特征在于，包括：

可见光采集模块(1)，用于获取可见光图像；

彩色视频流编码模块(2)，用于基于所述可见光图像获取基础视频流；

红外光采集模块(3)，用于获取人脸红外图像；

人脸识别模块(11)，用于基于所述人脸红外图像获取人脸位置；

散斑采集模块(7)，用于获取散斑图案；

深度识别模块(9)，用于基于所述散斑图案获取深度信息；

可见光字符叠加模块(10)，用于基于所述基础视频流、所述人脸位置和所述深度信息输出真彩视频流。

10.根据权利要求9所述的系统，其特征在于，还包括：

活体检测模块(5)，用于判断人脸是否为活体。

Images