CN110458041B - 一种基于rgb-d相机的人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于RGB‑D相机的人脸识别方法及系统，属于安防监控技术领域，包括分别获取人脸的RGB图像和深度图像；对当前环境的光强度进行检测，得到当前环境的光强度；将当前环境的光强度与设定的光强阈值进行比较；在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像进行人脸检测，随后提取对应的人脸三维点云进行人脸识别。本发明在光线较好的情况下，直接使用RGB图像进行2D图像识别；在光线较差时，2D图像只是提供检测人脸作用，而不进行2D识别，采用3D点云进行人脸识别，提高了不同光线强度下人脸识别的稳定性和准确性。

Description

一种基于RGB-D相机的人脸识别方法及系统

技术领域

本发明涉及安防监控技术领域，特别涉及一种基于RGB-D相机的人脸识别方法及系统。

背景技术

目前，普遍应用与人脸识别的摄像头均是RGB摄像头，识别算法也均是基于2D人脸图像提取特征，进行特征匹配来识别人脸。其存在的缺陷在于：一是，RGB摄像头在光线较差时，拍摄的图像质量会严重下降，从而降低了人脸识别的精度；二是，即使采取了补光灯也是高强度的白光灯，白光对人眼刺激比较强烈，会给用户带来不适感。

发明内容

本发明的目的在于解决上述背景技术存在的问题，以提高人脸识别的准确度。

为实现以上目的，一方面，采用一种基于RGB-D相机的人脸识别方法，包括如下步骤：

分别获取人脸的RGB图像和深度图像；

对当前环境的光强度进行检测，得到当前环境的光强度；

将当前环境的光强度与设定的光强阈值进行比较；

在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；

在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别。

进一步地，所述对当前环境的光强度进行检测，得到当前环境的光强度，包括：

将所述RGB图像转换成HSI图像，并提取I通道的图像；

根据I通道的图像，计算I通道的图像的平均值并将其作为当前环境的光强度值。

进一步地，所述在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别，包括：

在环境光强度大于或等于设定的强度阈值时，预先采集人脸的RGB图像和深度图像构成第一训练数据集，并对第一训练集中的RGB图像进行特征提取，将得到的第一特征向量存储至数据库；

在当前环境的光强度大于或等于设定的强度阈值时，实时采集的人脸RGB图像进行特征提取，得到特征向量；

将该特征向量与数据库中存储的第一特征向量进行匹配，进行人脸识别。

进一步地，在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别，包括：

在环境的光强度小于设定的强度阈值时，预先采集人脸的RGB图像和深度图像；

提取该RGB图像上人脸所在的区域(ui,vi)(i＝1,2,....n)，并利用映射公式将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集；

对第二训练数据集中的三维点云数据进行特征提取，并将提取到的第二特征向量存储至数据库；

在当前环境的光强度小于设定的强度阈值时，利用所述映射公式对实时采集的人脸的RGB图像和深度图像进行处理，得到实时三维点云数据；

对实时三维点云数据特征进行提取，并将提取到的特征向量与数据库中的第二特征向量进行匹配，进行人脸识别。

进一步地，所述映射公式为：

其中，(u,v)是所述RGB图像上对应点的坐标值，I_r是彩色相机内参，T是RGB摄像头坐标系和深度摄像头坐标系之间的[R t]位姿变换矩阵，p＝(x,y,z,1)^T表示三维点坐标，*表示乘积。

进一步地，在所述在当前环境的光强度小于或等于设定的强度阈值时，还包括：

启动红外补光灯，对当前环境的红外线强度进行补光。

另一方面，采用一种基于RGB-D相机的人脸识别系统，包括RGB-D相机和识别设备，RGB-D相机输出端和识别设备连接，识别设备包括图像采集模块、光强度计算模块、比较模块、第一人脸识别模块和第二人脸识别模块；

RGB-D相机用于拍摄人脸的RGB图像和深度图像；

图像采集模块用于对RGB-D相机拍摄的RGB图像和深度图像进行采集；

光强度计算模块对当前环境的光强度进行检测，得到当前环境的光强度；

比较模块用于将当前环境的光强度与设定的光强阈值进行比较；

第一识别模块用于在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；

第二识别模块用于在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别。

进一步地，所述光强度计算模块包括转换单元和计算单元：

转换单元用于将所述RGB图像转换成HSI图像，并提取I通道的图像；

计算单元用于根据I通道的图像，计算I通道的图像的平均值并将其作为当前环境的光强度值。

进一步地，所述第二识别模块包括第一映射单元、提取单元、第二映射单元和匹配单元；

第一映射单元用于在环境的光强度小于设定的强度阈值时，预先采集人脸的RGB图像和深度图像，并提取该RGB图像上人脸所在的区域(u_i,v_i)(i＝1,2,....n)，并利用映射公式将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集；

提取单元用于对第二训练数据集中的三维点云数据进行特征提取，并将提取到的第二特征向量存储至数据库；

第二映射单元用于在当前环境的光强度小于设定的强度阈值时，利用所述映射公式对实时采集的人脸的RGB图像和深度图像进行处理，得到实时三维点云数据；

匹配单元用于对实时三维点云数据特征进行提取，并将提取到的特征向量与数据库中的第二特征向量进行匹配，进行人脸识别。

进一步地，还包括与所述识别设备连接的门禁执行模块；

门禁执行模块用于根据所述识别设备输出的识别结果，控制闸机口打开/关闭。

与现有技术相比，本发明存在以下技术效果：本发明在光线较好的情况下，直接使用RGB图像进行2D图像识别；在光线较差时，2D图像只是提供检测人脸作用，而不进行2D识别，采用3D点云进行人脸识别，提高了不同光线强度下人脸识别的稳定性和准确性。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种基于RGB-D相机的人脸识别方法的流程示意图；

图2是一种基于RGB-D相机的人脸识别系统的结构示意图；

图3是人脸识别的原理框图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种基于RGB-D相机的人脸识别方法，包括如下步骤S1-S5：

S1、分别获取人脸的RGB图像和深度图像；

需要说明的是，可以利用RGB-D相机进行人脸图像采集，RGB-D相机包括两类摄像头，一类是RGB摄像头，用于拍摄人脸的RGB图像，另一类是深度摄像头，用于拍摄人脸的深度图像。

S2、对当前环境的光强度进行检测，得到当前环境的光强度；

S3、将当前环境的光强度与设定的光强阈值进行比较；

S4、在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；

S5、在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别。

需要说明的是，本实施例中强度阈值的设置是在实验室条件下，控制室内的光线，通过采集人脸的RGB图像的识别效果上来进行设定。当RGB图像上识别错误率较高时，此时可以大致判定为当前光照强度已无法保证RGB图像能够具有较高的识别率。但此时人脸的轮廓还是可以检测出来，也就是RGB图像上还是可以检测出人脸所在的区域，此时就可以借助3D点云进行识别，提高识别准确度。

需要说明的是，本实施例在光线较好的情况下，直接使用RGB图像进行2D图像识别；在光线较差时，利用RGB图像进行人脸检测，随后提取对应的人脸三维点云进行人脸识别，即2D图像只是提供检测人脸作用，而不进行2D识别，采用3D点云进行人脸识别，提高了不同光线强度下人脸识别的稳定性和准确性。

具体地，上述步骤S2：对当前环境的光强度进行检测，得到当前环境的光强度，包括如下细分步骤S21-S22：

S21、将所述RGB图像转换成HSI图像，并提取I通道的图像；

S22、根据I通道的图像，计算I通道的图像的平均值并将其作为当前环境的光强度值。

这里与传统的采用光敏传感器去感应环境光不同的是，本方案通过图像的强度来间接表征光线的强度。因为光线较弱，相机拍摄的图像的强度就较小。RGB图像只能表征图像的色彩，但这些信息含有强度分量，通过将RGB空间转换到HSI(H：色调，S:饱和度，I：强度)，即可根据I通道的图像计算环境光强度值，而无需借助其他传感器，降低成本。

进一步地，上述步骤S4：在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别即基于RGB图像的2D人脸识别方法，包括如下步骤S41-S43：

S41、在环境光强度大于或等于设定的强度阈值时，预先采集人脸的RGB图像和深度图像构成第一训练数据集，并对第一训练集中的RGB图像进行特征提取，将得到的第一特征向量存储至数据库；

S42、在当前环境的光强度大于或等于设定的强度阈值时，对实时采集的人脸RGB图像进行特征提取，得到特征向量；

S43、将该特征向量与数据库中存储的第一特征向量进行匹配，进行人脸识别。

需要说明的是，基于RGB图像的2D人脸识别方法，具体包括两个阶段，模型训练阶段和识别阶段：

(1)阶段训练：在当前环境的光强度小于设定的强度阈值时，预先采集需要进出电网基建现场员工脸部的RGB图像和深度图像，并构建为第一训练数据集，对第一训练数据集中的人脸2D图像进行特征提取(如PCA主成分分析法)，然后，将所有训练人脸2D图像的特征向量保存于数据库模块中，以供后续员工进出电网基建现场时进行人脸识别；

(2)识别阶段：在当前环境光强度大于或等于设定的强度阈值时，采用同样的特征提取方法对实时采集的人脸2D图像进行特征向量提取，并将提取的特征向量与数据库模块中的特征向量进行匹配，并将匹配结果输出，根据匹配结果控制电网基建现场闸门开/闭。

进一步地，上述步骤S5：在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别即基于3D点云的人脸识别，包括如下细分步骤S51-S55：

S51、在环境的光强度小于设定的强度阈值时，预先采集人脸的RGB图像和深度图像；

S52、提取该RGB图像上人脸所在的区域(u_i,v_i)(i＝1,2,....n)，并利用映射公式将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集；

具体地，具体可以采用haar人脸检测算法获取人脸在RGB图像上的区域(u_i,v_i)(i＝1,2,....n)，然后，根据映射公式可以获取对应的人脸三维点云p_i＝(x_i,y_i,z_i)^T(i＝1,2,....n)。映射公式为：

其中，(u,v)是所述RGB图像上对应点的坐标值，I_r是彩色相机内参，T是RGB摄像头坐标系和深度摄像头坐标系之间的[R t]位姿变换矩阵，p＝(x,y,z,1)^T表示三维点坐标，*表示乘积。

需要说明的是，本实施例中通过将RGB图像和深度图像进行对齐处理，保证了RGB图像和深度图像对应点的一致性，增加了后续通过三维点云进行人脸识别的准确性。

S53、对第二训练数据集中的三维点云数据进行特征提取，并将提取到的第二特征向量存储至数据库；

S54、利用所述映射公式对实时采集的RGB图像和深度图像进行处理，得到实时三维点云数据；

S55、对实时三维点云数据特征进行提取，并将提取到的特征向量与数据库中的第二特征向量进行匹配，进行人脸识别。

需要说明的是，基于3D点云的人脸识别过程具体包括两个阶段模型训练阶段和识别阶段：

(1)训练阶段：在当前环境的光强度小于设定的强度阈值时，预先采集需要进出电网基建现场员工脸部的RGB图像和深度图像，将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集，对第二训练数据集中的人脸3D点云进行特征提取(如VFH视点特征直方图方法)，然后将所有训练人脸3D点云的特征向量保存于数据库模块中，以供后续员工进出电网基建现场时进行人脸识别。

(2)识别阶段：在当前环境光强度小于设定的强度阈值时，采用同样的特征提取方法对实时采集的人脸3D点云进行特征向量提取，并将提取的特征向量与数据库模块中的特征向量进行匹配，并将匹配结果输出，根据匹配结果控制电网基建现场闸门开/闭。

进一步地，本实施例在所述在当前环境的光强度小于或等于设定的强度阈值时，还包括：启动红外补光灯，对当前环境的红外线强度进行补光。

需要说明的是，本实施例可以在RGB-D摄像头拍摄区域设置红外线补光灯，在光线较差时，额外给予补光以保证光红外图的清晰度，且红外线是人眼观测不到的，因此不会对人眼产生任何刺激。

如图2-3所示，本实施例公开了一种基于RGB-D相机的人脸识别系统，包括RGB-D相机10和识别设备20，RGB-D相机10输出端和识别设备20连接，识别设备20包括图像采集模块21、光强度计算模块22、比较模块23、第一人脸识别模块24和第二人脸识别模块25；

RGB-D相机10用于拍摄人脸的RGB图像和深度图像；

图像采集模块21用于对RGB-D相机10拍摄的RGB图像和深度图像进行采集；

光强度计算模块22对当前环境的光强度进行检测，得到当前环境的光强度；

比较模块23用于将当前环境的光强度与设定的光强阈值进行比较；

第一识别模块用于在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；

第二识别模块用于在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别。

具体地，所述光强度计算模块22包括转换单元和计算单元：

转换单元用于将所述RGB图像转换成HSI图像，并提取I通道的图像；

计算单元用于根据I通道的图像，计算I通道的图像的平均值并将其作为当前环境的光强度值。

具体地，第一识别模块包括第一向量提取单元、第二向量提取单元和比对单元；

第一向量提取单元用于在环境光强度大于或等于设定的强度阈值时，预先采集人脸的RGB图像和深度图像构成第一训练数据集，并对第一训练集中的RGB图像进行特征提取，将得到的第一特征向量存储至数据库；

第二向量提取单元用于在当前环境的光强度大于或等于设定的强度阈值时，对实时采集的人脸RGB图像进行特征提取，得到特征向量；

比对单元用于将第二向量提取单元得到特征向量与数据库中存储的第一特征向量进行匹配，进行人脸识别。

具体地，所述第二识别模块包括第一映射单元、提取单元、第二映射单元和匹配单元；

第一映射单元用于在环境的光强度小于设定的强度阈值时，预先采集人脸的RGB图像和深度图像，并提取该RGB图像上人脸所在的区域(u_i,v_i)(i＝1,2,....n)，并利用映射公式将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集；

提取单元用于对第二训练数据集中的三维点云数据进行特征提取，并将提取到的第二特征向量存储至数据库；

第二映射单元用于在当前环境的光强度小于设定的强度阈值时，利用所述映射公式对实时采集的人脸的RGB图像和深度图像进行处理，得到实时三维点云数据；

匹配单元用于对实时三维点云数据特征进行提取，并将提取到的特征向量与数据库中的第二特征向量进行匹配，进行人脸识别。

进一步地，还包括与所述识别设备20连接的门禁执行模块30；门禁执行模块30用于根据所述识别设备20输出的识别结果，控制闸机口打开/关闭。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于RGB-D相机的人脸识别方法，其特征在于，包括：

分别获取人脸的RGB图像和深度图像；

对当前环境的光强度进行检测，得到当前环境的光强度；

将当前环境的光强度与设定的光强阈值进行比较；

在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；

在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别；

其中，所述在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别，包括：

在环境光强度大于或等于设定的强度阈值时，预先采集人脸的RGB图像和深度图像构成第一训练数据集，并对第一训练集中的RGB图像进行特征提取，将得到的第一特征向量存储至数据库；

在当前环境的光强度大于或等于设定的强度阈值时，对实时采集的人脸RGB图像进行特征提取，得到特征向量；

将该特征向量与数据库中存储的第一特征向量进行匹配，进行人脸识别；

在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别，包括：

在环境的光强度小于设定的强度阈值时，预先采集人脸的RGB图像和深度图像；

提取该RGB图像上人脸所在的区域(u_i,v_i)(i＝1,2,....n)，并利用映射公式将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集；

对第二训练数据集中的三维点云数据进行特征提取，并将提取到的第二特征向量存储至数据库；

在当前环境的光强度小于设定的强度阈值时，利用所述映射公式对实时采集的人脸的RGB图像和深度图像进行处理，得到实时三维点云数据；

对实时三维点云数据特征进行提取，并将提取到的特征向量与数据库中的第二特征向量进行匹配，进行人脸识别。

2.如权利要求1所述的基于RGB-D相机的人脸识别方法，其特征在于，所述对当前环境的光强度进行检测，得到当前环境的光强度，包括：

将所述RGB图像转换成HSI图像，并提取I通道的图像；

根据I通道的图像，计算I通道的图像的平均值并将其作为当前环境的光强度值。

3.如权利要求2所述的基于RGB-D相机的人脸识别方法，其特征在于，所述映射公式为：

其中，(u,v)是所述RGB图像上对应点的坐标值，I_r是彩色相机内参，T是RGB摄像头坐标系和深度摄像头坐标系之间的[R t]位姿变换矩阵，p＝(x,y,z,1)^T表示三维点坐标，*表示乘积。

4.如权利要求1-3任一项所述的基于RGB-D相机的人脸识别方法，其特征在于，在所述在当前环境的光强度小于设定的强度阈值时，还包括：

启动红外补光灯，对当前环境的红外线强度进行补光。

5.一种基于RGB-D相机的人脸识别系统，其特征在于，包括RGB-D相机和识别设备，RGB-D相机输出端和识别设备连接，识别设备包括图像采集模块、光强度计算模块、比较模块、第一人脸识别模块和第二人脸识别模块；

RGB-D相机用于拍摄人脸的RGB图像和深度图像；

图像采集模块用于对RGB-D相机拍摄的RGB图像和深度图像进行采集；

光强度计算模块对当前环境的光强度进行检测，得到当前环境的光强度；

比较模块用于将当前环境的光强度与设定的光强阈值进行比较；

第一识别模块用于在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；

第二识别模块用于在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别；

所述第二识别模块包括第一映射单元、提取单元、第二映射单元和匹配单元；

第一映射单元用于在环境的光强度小于设定的强度阈值时，预先采集人脸的RGB图像和深度图像，并提取该RGB图像上人脸所在的区域(u_i,v_i)(i＝1,2,....n)，并利用映射公式将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集；

提取单元用于对第二训练数据集中的三维点云数据进行特征提取，并将提取到的第二特征向量存储至数据库；

第二映射单元用于在当前环境的光强度小于设定的强度阈值时，利用所述映射公式对实时采集的人脸的RGB图像和深度图像进行处理，得到实时三维点云数据；

匹配单元用于对实时三维点云数据特征进行提取，并将提取到的特征向量与数据库中的第二特征向量进行匹配，进行人脸识别。

6.如权利要求5所述的基于RGB-D相机的人脸识别系统，其特征在于，所述光强度计算模块包括转换单元和计算单元：

转换单元用于将所述RGB图像转换成HSI图像，并提取I通道的图像；

计算单元用于根据I通道的图像，计算I通道的图像的平均值并将其作为当前环境的光强度值。

7.如权利要求6所述的基于RGB-D相机的人脸识别系统，其特征在于，还包括与所述识别设备连接的门禁执行模块；

门禁执行模块用于根据所述识别设备输出的识别结果，控制闸机口打开/关闭。

Images