CN113837033B - 一种搭载有tof模组的人脸识别方法 - Google Patents

Abstract

本发明公开了一种搭载有TOF模组的人脸识别方法，包括如下步骤：S1、红外热成像相机拍摄红外热成像图，控制器分析符合人体温度范围的面积部分，生成人脸成像图A；S2、TOF摄像机拍摄深度图片，控制器结合人脸成像图A去除非人脸部分图生成人脸深度图B；S3、RGB摄像机通过人脸深度图B进行调焦拍摄彩色图片，生成人脸彩色图C；S4、控制器将人脸成像图A、人脸深度图B和人脸彩色图C均传输至服务器进行比对，判断人脸识别的结果。本发明使用红外热成像相机拍照产生热成像图片、结合人体温度进行计算，界定出活体图像的面积范围，结合TOF深度图像、RGB高清拍照和计算机服务器的数据比对程序，可以提高人脸识别辨识度的准确性和一次性通过率。

Description

一种搭载有TOF模组的人脸识别方法

技术领域

本发明涉及人脸识别领域，特别涉及一种搭载有TOF模组的人脸识别方法。

背景技术

随着科技的发展，智能手机已经逐步的进入到各个人群当中。在智能手机当中，搭载TOF摄像头的智能手机已经逐步的开始流通。通过对3D结构光和TOF两种方案进行对比分析，可得出结论在人脸识别等短距离、精度要求较高的应用场景，3D结构光方案更为适合，运用在前置摄像头上；在AR应用、手势识别等较长距离、精度要求较低的应用场景，TOF方案更为适合，运用在后置摄像头上。

但是，在后置摄像中，单纯的TOF摄像配合RGB摄像进行人脸辨识，在不同角度的人脸和相对暗光源状态下的人脸辨识结果容易失效，从而使得现有的人脸辨识系统的安全性较低。在判断条件过高的情况下，导致用户在人脸辨识判定为失效的时候通过变得困难。

发明内容

本发明所要解决的技术问题是：提供一种搭载有TOF模组的人脸识别方法，提高人脸识别辨识度的准确性和一次性通过率。

本发明解决上述问题所采用的技术方案为：一种搭载有TOF模组的人脸识别方法，包括如下步骤：

S1、提供一红外热成像相机，红外热成像相机拍摄红外热成像图，控制器分析符合人体温度范围的面积部分，生成人脸成像图A；

S2、提供一TOF摄像机，TOF摄像机拍摄深度图片，控制器结合人脸成像图A去除非人脸部分图，生成人脸深度图B；

S3、提供一RGB摄像机，RGB摄像机通过人脸深度图B进行调焦拍摄彩色图片，生成人脸彩色图C；

S4、控制器将人脸成像图A、人脸深度图B和人脸彩色图C均传输至服务器进行比对，判断人脸识别的结果。

与现有技术相比，本发明的优点在于：通过使用红外热成像相机拍照产生热成像图片、结合人体温度参数范围进行计算，界定出活体图像的面积范围，结合了TOF深度图像、RGB高清拍照和计算机服务器的数据比对程序，对数据资料进行综合比对，可以实现一种人脸的识别判断结果，有效提高辨识度的准确性和一次性通过率。

优选的，在步骤S1中，红外热成像相机拍摄多张红外热成像图，控制器分析所有红外热成像图，将符合人体温度范围的面积部分最多的一张红外热成像图生成人脸成像图A。这样，通过对多张红外热成像图进行分析，得到最优最好的红外热成像图，保证红外热成像图的质量。

优选的，红外热成像相机按照既定频率周期性录取动态视频，并在电路模块系统时钟信号的上升沿或下降沿解析每一帧图中温度感测区域的数值指标，保留处于人体温度范围内红外成像图像素，生成红外热成像图。这样，通过逐帧解析，得到较为完整的红外成像图。

优选的，在步骤S2中，TOF摄像机拍摄多张深度图片，控制器将所有深度图片各自结合人脸成像图A去除非人脸部分图，生成各自预设人脸深度图，控制器分析所有的预设人脸深度图，将预设人脸深度图中深浅最明显的生成为人脸深度图B。这样，通过拍摄多张深度照片，得到人脸明暗最明显，距离感最好的人脸深度图，提高深度图片的质量。

优选的，在步骤S3中，RGB摄像机通过人脸深度图B进行调焦拍摄多张彩色图片，控制器分析所有的彩色图片将聚焦最清晰的彩色图片生成人脸彩色图C。这样，通过分析多张彩色照片，得到聚焦最清晰的彩色照片，保证生成的人脸彩色图的质量，提高辨识程度。

优选的，服务器内设有一注视力跟踪机制，注视力跟踪机制包括如下步骤：

S41、在服务器进行比对之前，重复步骤S1至S3，进行连续帧拍摄，得到各自帧数下的人脸成像图A、人脸深度图B和人脸彩色图C，直到达到预设时间进入下一步；

S42、将连续帧状态下的每帧的人脸成像图A组成人脸成像图A集，将连续帧状态下的每帧的人脸深度图B组成人脸深度图B集，将连续帧状态下的每帧的人脸彩色图C组成人脸彩色图C集；

S43、在人脸成像图A集中，选出符合人体温度范围面积部分最多的一张人脸成像图A生成人脸成像图A1；在人脸深度图B集中，选出符合人脸深浅最明显的一张人脸深度图B生成为人脸深度图B1；在人脸彩色图C集中，选出聚焦最清晰的人脸彩色图C生成人脸彩色图C1；

S44、服务器结合人脸成像图A1、人脸深度图B1和人脸彩色图C1与预设的人脸图像进行对比识别，判断人脸识别结果。

这样，通过注视力跟踪机制，能够对数据资料进行综合对比，实现输出一种人脸的识别判断结果，提高一次性通过率。

优选的，在步骤S42中，人脸成像图A集至少包括三张人脸成像图A，人脸深度图B集包括至少三张人脸深度图B，人脸彩色图C集包括至少三张人脸彩色图C。这样，通过采集多张图像，提高精度。

优选的，在步骤S41中，预设时间为5～15毫秒。这样，保证进行人脸识别时候的相应速度。

优选的，红外热成像相机旁设有一用于检测人体运动表面温度的非接触式温度感测装置。这样，红外热成像相机结合非接触式温度感测装置，提高对运动中人体识别的可靠性。

优选的，非接触式温度感测装置为非接触式测温传感器TS305-11C55。

附图说明

图1本发明一种搭载有TOF模组的人脸识别方法流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

如图1所示，本实施例涉及一种搭载有TOF模组的人脸识别方法，包括如下步骤：

S1、提供一红外热成像相机，红外热成像相机拍摄红外热成像图，控制器分析符合人体温度范围的面积部分，生成人脸成像图A；

S2、提供一TOF摄像机，TOF摄像机拍摄深度图片，控制器结合人脸成像图A去除非人脸部分图，生成人脸深度图B；

S3、提供一RGB摄像机，RGB摄像机通过人脸深度图B进行调焦拍摄彩色图片，生成人脸彩色图C；

S4、控制器将人脸成像图A、人脸深度图B和人脸彩色图C均传输至服务器进行比对，判断人脸识别的结果。

结合了TOF摄像模组单元、红外热成像摄影模组单元、RGB摄像模组单元和非接触式温度感测装置以及处理元件的效果是增强识别的可靠性，并使人脸辨识一次性成功率明显提高。

其中，在步骤S1中，红外热成像相机拍摄多张红外热成像图，控制器分析所有红外热成像图，将符合人体温度范围的面积部分最多的一张红外热成像图生成人脸成像图A。这样，通过对多张红外热成像图进行分析，得到最优最好的红外热成像图，保证红外热成像图的质量。

红外热成像相机按照既定频率周期性录取动态视频，并在电路模块系统时钟信号的上升沿或下降沿解析每一帧图中温度感测区域的数值指标，保留处于人体温度范围内红外成像图像素，生成红外热成像图。这样，通过逐帧解析，得到较为完整的红外成像图。

在步骤S2中，TOF摄像机拍摄多张深度(距离)图片，控制器将所有深度图片各自结合人脸成像图A去除非人脸部分图，生成各自预设人脸深度图，控制器分析所有的预设人脸深度图，将预设人脸深度图中深浅最明显的生成为人脸深度图B。这样，通过拍摄多张深度照片，得到人脸明暗最明显，距离感最好的人脸深度图，提高深度图片的质量。

TOF摄像模组单元开始3d照相工作，获得整幅完整的深度图像后，根据红外摄像单元得到的脸部面积，去除深度图中非人脸部份，只保留脸部深度图。

此时得到人脸深度三维模形。

在步骤S3中，RGB摄像机通过人脸深度图B进行调焦拍摄多张彩色图片，控制器分析所有的彩色图片将聚焦最清晰的彩色图片生成人脸彩色图C。这样，通过分析多张彩色照片，得到聚焦最清晰的彩色照片，保证生成的人脸彩色图的质量，提高辨识程度。

根据上述最后得到的人脸深度图距离，进行对RGB摄像模组单元自动调瞧，拍摄出人脸的较佳二维图像。此时得到人脸一张以上高质量二维RGB图像。

在本实施例中，服务器内设有一注视力跟踪机制，注视力跟踪机制包括如下步骤：

S41、在服务器进行比对之前，重复步骤S1至S3，进行连续帧拍摄，得到各自帧数下的人脸成像图A、人脸深度图B和人脸彩色图C，直到达到预设时间进入下一步。

在这一步骤中，预设时间为5～15毫秒。在本实施例中，预设时间为15毫秒。保证整个人脸识别的相应速度足够快。

S42、将连续帧状态下的每帧的人脸成像图A组成人脸成像图A集，将连续帧状态下的每帧的人脸深度图B组成人脸深度图B集，将连续帧状态下的每帧的人脸彩色图C组成人脸彩色图C集。

在这一步骤中，人脸成像图A集至少包括三张人脸成像图A，人脸深度图B集包括至少三张人脸深度图B，人脸彩色图C集包括至少三张人脸彩色图C。

在本实施例中，为了提高人脸识别的精度，人脸成像图A集包括七张人脸成像图A，人脸深度图B集包括七张人脸深度图B，人脸彩色图C集包括七张人脸彩色图C。

S43、在人脸成像图A集中，选出符合人体温度范围面积部分最多的一张人脸成像图A生成人脸成像图A1；在人脸深度图B集中，选出符合人脸深浅最明显的一张人脸深度图B生成为人脸深度图B1；在人脸彩色图C集中，选出聚焦最清晰的人脸彩色图C生成人脸彩色图C1。

S44、服务器结合人脸成像图A1、人脸深度图B1和人脸彩色图C1与预设的人脸图像进行对比识别，判断人脸识别结果。

通过注视力跟踪机制，能够对数据资料进行综合对比，实现输出一种人脸的识别判断结果，提高一次性通过率。

红外热成像相机旁设有一用于检测人体运动表面温度的非接触式温度感测装置。这样，红外热成像相机结合非接触式温度感测装置，提高对运动中人体识别的可靠性。在本实施例中，非接触式温度感测装置为非接触式测温传感器TS305-11C55。

把上述人脸红外成像图面积、人脸深度三维数据模型、人脸RGB二维图像发送给图像数据分析比对的主服器(可以是云主机)，进行三个维度以上的比较判断。最后把比对结果下传到用户终端，包括不限于门锁系统。

本发明的有益效果为：通过使用红外热成像相机拍照产生热成像图片、结合人体温度参数范围进行计算，界定出活体图像的面积范围，结合了TOF深度图像、RGB高清拍照和计算机服务器的数据比对程序，对数据资料进行综合比对，可以实现一种人脸的识别判断结果，有效提高辨识度的准确性和一次性通过率。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员，在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (5)

1.一种搭载有TOF模组的人脸识别方法，其特征在于：包括如下步骤：

S1、提供一红外热成像相机，红外热成像相机拍摄红外热成像图，控制器分析符合人体温度范围的面积部分，生成人脸成像图A；

S2、提供一TOF摄像机，TOF摄像机拍摄深度图片，控制器结合人脸成像图A去除非人脸部分图，生成人脸深度图B；

S3、提供一RGB摄像机，RGB摄像机通过人脸深度图B进行调焦拍摄彩色图片，生成人脸彩色图C；

S4、控制器将人脸成像图A、人脸深度图B和人脸彩色图C均传输至服务器进行比对，判断人脸识别的结果；

红外热成像相机旁设有一用于检测人体运动表面温度的非接触式温度感测装置；

在步骤S1中，红外热成像相机拍摄多张红外热成像图，控制器分析所有红外热成像图，将符合人体温度范围的面积部分最多的一张红外热成像图生成人脸成像图A；

在步骤S2中，TOF摄像机拍摄多张深度图片，控制器将所有深度图片各自结合人脸成像图A去除非人脸部分图，生成各自预设人脸深度图，控制器分析所有的预设人脸深度图，将预设人脸深度图中深浅最明显的生成为人脸深度图B；

在步骤S3中，RGB摄像机通过人脸深度图B进行调焦拍摄多张彩色图片，控制器分析所有的彩色图片将聚焦最清晰的彩色图片生成人脸彩色图C；

服务器内设有一注视力跟踪机制，注视力跟踪机制包括如下步骤：

S41、在服务器进行比对之前，重复步骤S1至S3，进行连续帧拍摄，得到各自帧数下的人脸成像图A、人脸深度图B和人脸彩色图C，直到达到预设时间进入下一步；

S42、将连续帧状态下的每帧的人脸成像图A组成人脸成像图A集，将连续帧状态下的每帧的人脸深度图B组成人脸深度图B集，将连续帧状态下的每帧的人脸彩色图C组成人脸彩色图C集；

S43、在人脸成像图A集中，选出符合人体温度范围面积部分最多的一张人脸成像图A生成人脸成像图A1；在人脸深度图B集中，选出符合人脸深浅最明显的一张人脸深度图B生成为人脸深度图B1；在人脸彩色图C集中，选出聚焦最清晰的人脸彩色图C生成人脸彩色图C1；

S44、服务器结合人脸成像图A1、人脸深度图B1和人脸彩色图C1与预设的人脸图像进行对比识别，判断人脸识别结果。

2.根据权利要求1所述的一种搭载有TOF模组的人脸识别方法，其特征在于：红外热成像相机按照既定频率周期性录取动态视频，并在电路模块系统时钟信号的上升沿或下降沿解析每一帧图中温度感测区域的数值指标，保留处于人体温度范围内红外成像图像素，生成所述红外热成像图。

3.根据权利要求1所述的一种搭载有TOF模组的人脸识别方法，其特征在于：在步骤S42中，人脸成像图A集至少包括三张人脸成像图A，人脸深度图B集包括至少三张人脸深度图B，人脸彩色图C集包括至少三张人脸彩色图C。

4.根据权利要求1所述的一种搭载有TOF模组的人脸识别方法，其特征在于：在步骤S41中，预设时间为5～15毫秒。

5.根据权利要求1所述的一种搭载有TOF模组的人脸识别方法，其特征在于：非接触式温度感测装置为非接触式测温传感器TS305-11C55。