CN112528949A - 一种基于多波段光的双目人脸识别方法和系统 - Google Patents

Abstract

本发明提供了一种于多波段光的双目人脸识别方法和系统，包括：S1.通过左摄像头采集左目图像；S2.根据所述左目图像进行环境可见光亮度检测，若亮度超过亮度阈值，则打开高波段红外补光灯为右摄像头补光，否则，打开低波段红外补光灯以同时为左摄像头和右摄像头补光；S3.分别通过左摄像头和右摄像头采集左目图像和右目图像，同时对左目图像和右目图像进行人脸识别并输出人脸识别结果。本方案采用多波段红外补光方式，解决暗环境下可见光补光刺眼的常规方案的通病，并且采用双目红外补光方式解决暗环境识别问题的同时保留亮环境彩色显示的良好感官显示效果，保证产品品质，提升产品档次。

Description

一种基于多波段光的双目人脸识别方法和系统

技术领域

本发明属于图像处理技术领域，尤其是涉及一种基于多波段光的双目人脸识别方法和系统。

背景技术

随着人脸识别在各行各业的广泛应用，人脸识别的各种技术、成本、工艺等缺陷也在应用过程中一一显露出来，例如在光线较弱时识别率不高，成本高，良率低等问题。

为了解决上述技术问题，人们进行了长期的探索，例如中国专利公开了一种基于可见光和近红外的人脸识别方法[申请号：201910833604.7]，该方法同时获取可见光图像和近红外图像，同时对可见光图像和近红外图像进行人脸检测、识别，从双目人脸识别的角度，在识别过程中结合可见光和近红外的各自优势，最终提升了人脸识别效果。

又如一种基于双目主动红外的人脸识别的系统[申请号：201910351639.7]，该方案通过双目主动红外进行人脸识别，既能满足低拒识率与误识率，又能解决光照和活体检测问题。

上述第一种方案结合可见光和近红外的优势，但是仍然无法解决活体检测问题，没有防伪效果；上述第二种方案通过双目主动红外进行人脸识别，既能满足低拒识率与误识率，又能解决光照和活体检测问题，但是其防伪采用双目3D建模及识别技术，计算量大，无法在轻量级嵌入式SOC芯片上实现，同时双红外摄像头无法获取彩色人脸图像，降低屏幕显示效果，而随着生活质量的提高，人们对品质要求越来越高，故该方案的商业价值十分有限。

发明内容

本发明的目的是针对上述问题，提供一种基于多波段光的双目人脸识别方法和系统。

为达到上述目的，本发明采用了下列技术方案：

一种基于多波段光的双目人脸识别方法，包括：

S1.通过左摄像头采集左目图像；

S2.根据所述左目图像进行环境可见光亮度检测，若亮度超过亮度阈值，则打开高波段红外补光灯为右摄像头补光，否则，打开低波段红外补光灯以同时为左摄像头和右摄像头补光；

S3.分别通过左摄像头和右摄像头采集左目图像和右目图像，同时对左目图像和右目图像进行人脸识别并输出人脸识别结果。

在上述的基于多波段光的双目人脸识别方法中，步骤S3具体包括：

S31.分别通过左摄像头和右摄像头采集左目图像和右目图像；

S32.检测左目图像和右目图像是否都存在人脸，若是，则执行步骤S33，否则返回S31；

S33.分别标定左目图像和右目图像中的人脸关键点坐标并进行深度计算，有深度则执行步骤S34；

S34.对左目图像和右目图像分别进行人脸识别并输出人脸识别结果。

在上述的基于多波段光的双目人脸识别方法中，在步骤S34中，通过将左目图像和右目图像分别与存储模块中的人脸特征模板数据进行比对实现人脸识别。

在上述的基于多波段光的双目人脸识别方法中，左目图像和右目图像中至少一副图像与人脸特征模板数据比对通过则输出识别成功结果。

在上述的基于多波段光的双目人脸识别方法中，左目图像和右目图像与人脸特征模板数据的比对结果均通过，则输出识别成功结果。

在上述的基于多波段光的双目人脸识别方法中，在步骤S1中，将所述的左目图像输出给显示模块进行显示。

在上述的基于多波段光的双目人脸识别方法中，在步骤S1-S3中，实时动态显示最新的左目图像。

在上述的基于多波段光的双目人脸识别方法中，在步骤S32之后，关闭所有红外补光灯。

一种基于多波段光的双目人脸识别系统，包括具有识别控制模块的电路板及安装在所述电路板上且连接于所述识别控制模块的左摄像头、右摄像头、高波段红外补光灯和低波段红外补光灯，所述的左摄像头上安装有仅供可见光和低波段红外光通过的双波段滤光片，所述的右摄像头上安装有仅供低波段红外光和高波段红外光通过的红外滤光片；

所述的识别控制模块连接有显示模块和存储模块，且所述的识别控制模块包括有控制模块和连接于所述控制模块的环境光检测模块、人脸识别模块、人脸检测模块和深度计算模块,其中，

左摄像头，用于采集左目图像；右摄像头，用于采集右目图像；

显示模块，用于显示左目图像和识别结果；

存储模块，用于存储人脸特征模板数据；

环境光检测模块，用于通过左目图像进行环境可见光亮度检测，并将检测结果发送给控制模块；

人脸检测模块，用于检测左目图像和右目图像是否存在人脸，并分别输出人脸关键点坐标信息；

深度计算模块，用于对左目图像和右目图像中的人脸关键点坐标进行深度计算；

人脸识别模块，用于将左目图像和右目图像分别与存储模块中的人脸特征模板数据进行比对实现人脸识别；

控制模块，用于控制左摄像头、右摄像头拍摄及控制显示模块的显示内容，同时用于在亮度超过亮度阈值时，控制高波段红外补光灯打开，反之，控制低波段红外补光灯打开。

在上述的基于多波段光的双目人脸识别系统中，所述的高波段红外补光灯用于提供940nm波段的红外补光，所述的低波段红外补光灯用于提供850nm波段的红外补光；

所述的红外滤光片用于通过至少850nm、940nm波段的红外光；所述的双波段滤光片用于通过可见光和至少850nm波段的红外光，且不通过940nm波段的红外光；

所述左摄像头用于采集可见光成像和850nm波段的红外成像；

所述的右摄像头用于采集850nm波段的红外成像和940nm的红外成像；

所述的左摄像头、右摄像头、高波段红外补光灯和低波段红外补光灯在电路板上呈同平面、同光轴的排布结构。。

本发明的优点在于：

1、采用多波段红外补光方式，解决暗环境下可见光补光刺眼的常规方案的通病；

2、采用双目红外补光方式解决暗环境识别问题的同时保留亮环境彩色显示的良好感官显示效果，保证产品品质，提升产品档次；

3、人脸关键点深度检测解决人脸照片防伪问题，相比基于3D建模的人脸识别方案，其运算量和复杂度大大降低，提升识别速度的同时降低了硬件成本；

4、本方案在保证识别准确率的同时能够降低成本，提高识别速度，还能够保证良好的感官显示效果和更高的产品档次，具有广阔的商业前景；

5、双摄像头和两个红外补光灯进行同平面、同光轴硬件排布设计，可减少生产工艺复的杂度。

附图说明

图1为本发明基于多波段光的双目人脸识别系统的装置结构示意图；

图2为本发明基于多波段光的双目人脸识别系统的系统结构框图；

图3是本发明基于多波段光的双目人脸识别方法的方法流程图。

附图标记：识别控制模块1；环境光检测模块11；人脸检测模块12；深度计算模块13；人脸识别模块14；控制模块15；电路板2；左摄像头3；双波段滤光片31；右摄像头4；红外滤光片41；高波段红外补光灯5；低波段红外补光灯6；显示模块7；存储模块8。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细的说明。

如图1所示，本实施例公开了一种基于多波段光的双目人脸识别系统，包括具有识别控制模块1的电路板2及安装在电路板2上且连接于识别控制模块1的左摄像头3、右摄像头4、高波段红外补光灯5和低波段红外补光灯6，低波段红外补光灯6用于提供相对较低波段的红外光，例如850nm波段的红外补光，当然也可以为其他波段的红外补光，在可见光不足时，同时给左摄像头3、右摄像头4拍摄补光，高波段红外补光灯5用于提供相对较高波段的红外光，例如提供940nm波段的红外补光，当然也可以为其他波段的红外补光，在可见光充足时，只给右摄像头4补光。

左摄像头3内部或上方安装有只允许可见光和高波段红外补光灯5所提供红外光波段以下的红外光通过，具体到本实施例即允许940nm以下波段红外光通过(优选只供850nm红外光通过)的双波段滤光片31，右摄像头4内部或上方安装有同时供低波段红外光和高波段红外光通过的红外滤光片41，至少供850nm和940nm红外光通过，可以是供850-940nm区间波段通过的滤光片，也可以只供850nm和940nm两个单波段红外光通过的滤光片。

左摄像头3用于采集可见光成像和850nm波段红外光成像的左目图像，可优选850nm波段红外光增强CMOS。

右摄像头4用于采集850-940波段红外光成像的右目图像，可优选850nm、940nm波段红外增强CMOS。

具体地，如图2所示，识别控制模块1连接有显示模块7和存储模块8，且识别控制模块1包括有控制模块15和连接于控制模块15的环境光检测模块11、人脸检测模块12、深度计算模块13和人脸识别模块14、,该模块可以是一片高集成度的SOC芯片，也可以是由多个硬件功能模块组合而成的组合模块，其中，

显示模块7，优选彩色显示屏，用于显示左目图像和识别结果，包括人脸识别成功、失败的显示提示等。在可见光充足的情况下，直接显示彩色图像，当可见光不充足时，打开850nm波段红外补光灯，显示灰度图像，可避免暗环境下纯黑屏显示的尴尬。在可见光足够的情况下彩色显示，可见光不充足的暗环境下黑白灰度显示。通过两个摄像头即可实现白天精彩，晚上清晰的效果，具有既能够保证更高的成像品质，又具有成本低，产品体型小等优点。

存储模块8，用于存储已注册的人脸特征模板数据；

环境光检测模块11，用于通过左目图像进行环境可见光亮度检测，并将检测结果发送给控制模块15，控制模块15根据可见光亮度检测结果判断环境光亮度是否满足可见光人脸识别的需求；

人脸检测模块12，采用深度学习算法，用于检测左目图像和右目图像是否存在人脸，并分别输出左目图像和右目图像的人脸关键点坐标信息；

深度计算模块13，用于对左目图像和右目图像中的人脸关键点坐标进行三维深度计算，用于防伪判断是否是人脸照片。此处深度计算模块13只对双目图像已标注出来的人脸关键点进行深度计算，而且不要求超高精度，只要能区分人脸关键点是否处在同一平面上即可，相比基于3D建模的人脸识别方案其运算量及复杂度将大大降低，在提升识别速度的同时可降低硬件配置，从而降低硬件成本；

人脸识别模块14，用于将左目图像和右目图像分别与存储模块8中的人脸特征模板数据进行比对实现人脸识别；

控制模块15，用于控制左摄像头3、右摄像头4拍摄及控制显示模块7的显示内容等，同时用于在亮度超过亮度阈值时，控制高波段红外补光灯5打开为右摄像头4补光，反之，控制低波段红外补光灯6打开同时为左摄像头3和右摄像头4补光，通过控制不同波段的红外光灯替代可见光补光，解决在暗环境下人脸识别时可见光补光直接照射眼睛导致眼睛不舒服的问题。

进一步地，高波段红外补光灯5和低波段红外补光灯6均位于左摄像头3和右摄像头4之间，且低波段红外补光灯6位于靠近所述左摄像头3的一侧，高波段红外补光灯5位于靠近右摄像头4的一侧。当然，高波段红外补光灯5、低波段红外补光灯6、于左摄像头3和右摄像头4的位置也可以根据具体情况互换，这里不进行限制。

优选地，左摄像头3、右摄像头4、高波段红外补光灯5和低波段红外补光灯6装载在电路板2的同一平面且同一轴线上，能够减少工艺复杂度，优选采用焊接贴装技术装载。

进一步地，如图3所示，本基于多波段光的双目人脸识别系统的识别方法包括以下步骤：

S1.控制模块15控制左摄像头3进行图像采集以采集左目图像并将图像传输给环境光检测模块11，同时输出给显示模块7进行直接显示；

S2.环境光检测模块11根据左目图像进行环境可见光亮度检测，若亮度超过亮度阈值，则表明可见光足够亮，则打开高波段红外补光灯5(即打开940nm红外补光灯)为右摄像头4补光，否则，打开低波段红外补光灯6(即打开850nm红外补光灯)以同时为左摄像头3和右摄像头4补光；亮度阈值根据具体情况设定，这里不进行限制；

S31.控制模块15控制左摄像头3和右摄像头4分别进行图像采集以分别采集左目图像和右目图像，并传输给人脸检测模块12，同时将左摄像头3采集的图像实时传输给显示模块7进行动态显示；

S32.人脸检测模块12采用深度学习算法，分别对左目图像和右目图像进行人脸检测，左目图像和右目图像的人脸检测只要有一方没有检测到人脸，则返回S31重新进行图像采集；若左目图像和右目图像均检测到人脸，则关闭所有红外补光灯，降低功耗，同时分别标定左目图像和右目图像的人脸关键点坐标信息并传输给深度计算模块13；

S33.深度计算模块13对左目图像和右目图像中的人脸关键点坐标进行三维深度计算，用于防伪判断是否是人脸照片，有深度则进行下一步人脸识别，无深度则通过显示模块7显示人脸识别失败并结束本流程；

S34.人脸识别模块14分别将左目图像和右目图像分别与存储模块8中的人脸特征模板数据进行比对实现人脸识别。

本实施例优选左目图像和右目图像中有一副图像比对识别成果则输出识别成功结果并结束本流程，否则输出识别失败结果并结束本流程。

当然，也可以为在左目图像和右目图像与人脸特征模板数据的比对结果均通过的情况下输出识别成功结果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了识别控制模块1；环境光检测模块11；人脸检测模块12；深度计算模块13；人脸识别模块14；控制模块15；电路板2；左摄像头3；双波段滤光片31；右摄像头4；红外滤光片41；高波段红外补光灯5；低波段红外补光灯6；显示模块7；存储模块8等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (10)

1.一种基于多波段光的双目人脸识别方法，其特征在于，包括：

S1.通过左摄像头(3)采集左目图像；

S2.根据所述左目图像进行环境可见光亮度检测，若亮度超过亮度阈值，则打开高波段红外补光灯(5)为右摄像头(4)补光，否则，打开低波段红外补光灯(6)以同时为左摄像头(3)和右摄像头(4)补光；

S3.分别通过左摄像头(3)和右摄像头(4)采集左目图像和右目图像，同时对左目图像和右目图像进行人脸识别并输出人脸识别结果。

2.根据权利要求1所述的基于多波段光的双目人脸识别方法，其特征在于，步骤S3具体包括：

S31.分别通过左摄像头(3)和右摄像头(4)采集左目图像和右目图像；

S32.检测左目图像和右目图像是否都存在人脸，若是，则执行步骤S33，否则返回S31；

S33.分别标定左目图像和右目图像中的人脸关键点坐标并进行深度计算，有深度则执行步骤S34；

S34.对左目图像和右目图像分别进行人脸识别并输出人脸识别结果。

3.根据权利要求2所述的基于多波段光的双目人脸识别方法，其特征在于，在步骤S34中，通过将左目图像和右目图像分别与存储模块(8)中的人脸特征模板数据进行比对实现人脸识别。

4.根据权利要求3所述的基于多波段光的双目人脸识别方法，其特征在于，左目图像和右目图像中至少一副图像与人脸特征模板数据比对通过则输出识别成功结果。

5.根据权利要求3所述的基于多波段光的双目人脸识别方法，其特征在于，左目图像和右目图像与人脸特征模板数据的比对结果均通过，则输出识别成功结果。

6.根据权利要求2所述的基于多波段光的双目人脸识别方法，其特征在于，在步骤S1中，将所述的左目图像输出给显示模块(7)进行显示。

7.根据权利要求6所述的基于多波段光的双目人脸识别方法，其特征在于，在步骤S1-S3中，实时动态显示最新的左目图像。

8.根据权利要求2所述的基于多波段光的双目人脸识别方法，其特征在于，在步骤S32之后，关闭所有红外补光灯。

9.一种基于多波段光的双目人脸识别系统，其特征在于，包括具有识别控制模块(1)的电路板(2)及安装在所述电路板(2)上且连接于所述识别控制模块(1)的左摄像头(3)、右摄像头(4)、高波段红外补光灯(5)和低波段红外补光灯(6)，所述的左摄像头(3)上安装有仅供可见光和低波段红外光通过的双波段滤光片(31)，所述的右摄像头(4)上安装有仅供低波段红外光和高波段红外光通过的红外滤光片(41)；

所述的识别控制模块(1)连接有显示模块(7)和存储模块(8)，且所述的识别控制模块(1)包括有控制模块(15)和连接于所述控制模块(15)的环境光检测模块(11)、人脸检测模块(12)和深度计算模块(13)、人脸识别模块(14),其中，

左摄像头(3)，用于采集左目图像；右摄像头(4)，用于采集右目图像；

显示模块(7)，用于显示左目图像和识别结果；

存储模块(8)，用于存储人脸特征模板数据；

环境光检测模块(11)，用于通过左目图像进行环境可见光亮度检测，并将检测结果发送给控制模块(15)；

人脸检测模块(12)，用于检测左目图像和右目图像是否存在人脸，并分别输出人脸关键点坐标信息；

深度计算模块(13)，用于对左目图像和右目图像中的人脸关键点坐标进行深度计算；

人脸识别模块(14)，用于将左目图像和右目图像分别与存储模块(8)中的人脸特征模板数据进行比对实现人脸识别；

控制模块(15)，用于控制左摄像头(3)、右摄像头(4)拍摄及控制显示模块(7)的显示内容，同时用于在亮度超过亮度阈值时，控制高波段红外补光灯(5)打开，反之，控制低波段红外补光灯(6)打开。

10.根据权利要求9所述的基于多波段光的双目人脸识别系统，其特征在于，所述的高波段红外补光灯(5)用于提供940nm波段的红外补光，所述的低波段红外补光灯(6)用于提供850nm波段的红外补光；

所述的红外滤光片(41)用于通过至少850nm、940nm波段的红外光；所述的双波段滤光片(31)用于通过可见光和至少850nm波段的红外光，且不通过940nm波段的红外光；

所述左摄像头(3)用于采集可见光成像和850nm波段的红外成像；

所述的右摄像头(3)用于采集850nm波段的红外成像和940nm的红外成像；

所述的左摄像头(3)、右摄像头(4)、高波段红外补光灯(5)和低波段红外补光灯(6)在电路板(2)上呈同平面、同光轴的排布结构。

Images