CN109670487A - 一种人脸识别方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种人脸识别方法，属于人脸识别技术领域，解决了现有技术中人脸识别安全性低的问题。所述方法包括：获取待识别人脸的人脸图像对，该人脸图像对包括可见光图像和深度图像；确定上述深度图像中的人脸关键点；根据上述深度图像中的人脸关键点对该深度图像进行三维重建，构建人脸点云；通过预设第一网络模型基于所述人脸点云获取所述待识别人脸的三维特征，以及，通过预设第二网络模型基于上述可见光图像获取该待识别人脸的二维特征；根据上述三维特征和上述二维特征对该待识别人脸进行人脸识别。本申请公开的人脸识别方法通过结合人脸的三维结构化特征和二维特征进行人脸识别，有效提升了人脸识别的安全性。

Description

一种人脸识别方法、装置及电子设备

技术领域

本申请涉及人脸识别技术领域，尤其涉及一种人脸识别方法、装置及电子设备。

背景技术

人脸识别技术被广泛应用于考勤，地铁机场安检，电子支付等生物特征识别领域，它在给人们生活带来极大便利的同时也给人们的生活带来了一些安全隐患。随着电子设备的普及，个人移动设备中通常携带有个人照片和视频，这些个人照片和视频如果被用于攻击现有的二维人脸识别系统，将会对人脸识别系统的安全带来极大隐患。近年来，随着结构光图像采集设备的发展，三维人脸信息的获取也变得越来越容易，因此如何基于结构光图像采集设备采集的人脸图像中的三维人脸特征进行人脸识别，以提升人脸识别方法安全性是一个迫切需要解决的问题。

发明内容

本申请实施例提供一种人脸识别方法，以提升人脸识别方法的安全性。

第一方面，本申请实施例提供了一种人脸识别方法，包括：

获取待识别人脸的人脸图像对，所述人脸图像对包括可见光图像和深度图像；

确定所述深度图像中的人脸关键点；

根据所述深度图像中的所述人脸关键点对所述深度图像进行三维重建，构建人脸点云；

通过预设第一网络模型基于所述人脸点云获取所述待识别人脸的三维特征，以及，通过预设第二网络模型基于所述可见光图像获取所述待识别人脸的二维特征；

根据所述三维特征和所述二维特征对所述待识别人脸进行人脸识别。

可选的，所述人脸关键点包括鼻尖，所述根据所述深度图像中的所述人脸关键点对所述深度图像进行三维重建，构建人脸点云的步骤，包括：

根据所述深度图像中人脸区域内与所述鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云。

可选的，所述人脸关键点还包括两个瞳孔和两个嘴角，所述根据所述深度图像中人脸区域内与所述鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云的步骤之前，还包括：

根据所述鼻尖、两个瞳孔和两个嘴角中的任意一个或多个人脸关键点，确定所述深度图像中的人脸区域。

可选的，所述根据所述三维特征和所述二维特征对所述待识别人脸进行人脸识别的步骤，包括：

通过将所述待识别人脸的所述三维特征和所述二维特征与预设人脸库中的各人脸模版的三维特征和二维特征进行对应匹配，分别确定所述待识别人脸与各所述人脸模版的三维特征相似度得分和二维特征相似度得分；

对于每个所述人脸模版，将所述待识别人脸与所述人脸模版的三维特征相似度得分和二维特征相似度得分进行加权运算，确定所述待识别人脸与所述人脸模版的人脸匹配度得分。

可选的，所述确定所述深度图像中的人脸关键点的步骤，包括：

确定所述可见光图像中的人脸关键点；

根据所述可见光图像和所述深度图像的像素点对应关系，将所述可见光图像中的人脸关键点映射到所述深度图像中，确定所述深度图像中的所述人脸关键点。

可选的，所述预设第一网络模型为点云卷积神经网络。

第二方面，本申请实施例还提供了一种人脸识别装置，包括：

可见光图像和深度图像获取模块，用于获取待识别人脸的人脸图像对，所述人脸图像对包括可见光图像和深度图像；

人脸关键点确定模块，用于确定所述深度图像中的人脸关键点；

人脸点云构建模块，用于根据所述深度图像中的所述人脸关键点对所述深度图像进行三维重建，构建人脸点云；

三维特征获取模块，用于通过预设第一网络模型基于所述人脸点云获取所述待识别人脸的三维特征；以及，

二维特征获取模块，用于通过预设第二网络模型基于所述可见光图像获取所述待识别人脸的二维特征；

人脸识别模块，用于根据所述三维特征和所述二维特征对所述待识别人脸进行人脸识别。

可选的，所述人脸点云构建模块进一步用于：

根据所述深度图像中人脸区域内与所述鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云。

可选的，所述人脸关键点还包括两个瞳孔和两个嘴角，所述根据所述深度图像中人脸区域内与所述鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云之前，所述人脸点云构建模块用于：

根据所述鼻尖、两个瞳孔和两个嘴角中的任意一个或多个人脸关键点，确定所述深度图像中的人脸区域。

可选的，所述人脸识别模块进一步用于：

通过将所述待识别人脸的所述三维特征和所述二维特征与预设人脸库中的各人脸模版的三维特征和二维特征进行对应匹配，分别确定所述待识别人脸与各所述人脸模版的三维特征相似度得分和二维特征相似度得分；

对于每个所述人脸模版，将所述待识别人脸与所述人脸模版的三维特征相似度得分和二维特征相似度得分进行加权运算，确定所述待识别人脸与所述人脸模版的人脸匹配度得分。

可选的，所述人脸关键点确定模块进一步包括：

第一人脸关键点确定子模块，用于确定所述可见光图像中的人脸关键点；

第二人脸关键点确定子模块，用于根据所述可见光图像和所述深度图像的像素点对应关系，将所述可见光图像中的人脸关键点映射到所述深度图像中，确定所述深度图像中的所述人脸关键点。

可选的，所述预设第一网络模型为点云卷积神经网络。

第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的人脸识别方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请实施例所述的人脸识别方法的步骤。

这样，本申请实施例公开的人脸识别方法，通过获取待识别人脸的人脸图像对，该人脸图像对包括可见光图像和深度图像；确定上述深度图像中的人脸关键点；根据上述深度图像中的人脸关键点对该深度图像进行三维重建，构建人脸点云；通过预设第一网络模型基于所述人脸点云获取所述待识别人脸的三维特征，以及，通过预设第二网络模型基于上述可见光图像获取该待识别人脸的二维特征；根据上述三维特征和上述二维特征对该待识别人脸进行人脸识别，有助于提升人脸识别的安全性。本申请实施例公开的人脸识别方法通过结合人脸的三维结构化特征和二维特征进行人脸识别，避免了单纯依靠人脸的二维特征进行人脸识别存在的安全隐患，有效提升了人脸识别的安全性。同时，通过基于人脸关键点进行三维重建，构建人脸点云，并基于人脸点云通过卷积神经网络提取人脸三维特征用于识别，提升了提取的人脸三维特征的合理性和泛化性，进一步提升人脸识别的准确率和安全性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一的人脸识别方法流程图；

图2是本申请实施例二的人脸识别方法流程图；

图3是本申请实施例三的人脸识别装置结构示意图之一；

图4是本申请实施例三的人脸识别装置结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一：

本实施例提供了一种人脸识别方法，如图1所示，所述方法包括：步骤10至步骤14。

步骤10，获取待识别人脸的人脸图像对，该人脸图像对包括可见光图像和深度图像。

在本申请的一些实施例中，可以采用结构光图像采集设备同时采集待识别人脸的可见光图像和深度图像，该采集设备同时采集的待识别人脸的可见光图像和深度图像构成待识别人脸的人脸图像对，构成人脸图像对的可见光图像和深度图像具有像素点一一对应的特征。

步骤11，确定上述深度图像中的人脸关键点。

具体实施时，可以通过对深度图像进行分析，确定深度图像中瞳孔、鼻尖、嘴角等人脸关键点。在本申请的一些优选实施中，可以通过首先对可见光图像进行人脸检测，确定人脸关键点，再进一步根据可见光图像与深度图像的像素对应关系，确定深度图像中的人脸关键点。

步骤12，根据上述深度图像中的人脸关键点对该深度图像进行三维重建，构建人脸点云。

本申请具体实施时，确定的人脸关键点至少包括鼻尖。在确定了深度图像中的鼻尖对应的像素点之后，可以以确定的鼻尖为坐标原点，建立三维坐标系，对该深度图像进行三维重建，确定该深度图像中每个像素点的三维坐标。然后，计算该每个像素点的三维坐标与鼻尖所在位置的像素点的三维坐标之间的欧式距离，选择欧式距离小于预设距离阈值的该深度图像中像素点对应的三维坐标构建人脸点云。例如，以鼻尖点为球心，以预设距离阈值为半径做球面，则球面所切割的深度图像的区域内(也是人脸区域)的像素点用于构建人脸点云。

步骤13，通过预设第一网络模型基于上述人脸点云获取该待识别人脸的三维特征，以及，通过预设第二网络模型基于上述可见光图像获取该待识别人脸的二维特征。

对深度图像进行三维重建得到的人脸点云实际上可以看作是一幅三通道的图像，每个通道分别对应待识别人脸相应位置的三维坐标。进一步的，可以通过预设的第一网络模型对确定的人脸点云进行卷积运算，获取该待识别人脸的三维特征。具体实施时，本申请实施例中的三维特征包括人脸的三维结构特征，用于表达人脸中各点沿深度方向和水平方向的距离。

另一方面，可以通过预设的第二网络模型对上述可见光图像进行卷积处理，获取上述待识别人脸的二维特征。具体实施时，本申请实施例中的二维特征可以为人脸的二维纹理特征。

步骤14，根据上述三维特征和上述二维特征对该待识别人脸进行人脸识别。

之后，可以根据确定的三维特征和二维特征与预设的人脸库中的每个人脸模版进行比对识别。在本申请的一些实施例中，可以将确定的三维特征和二维特征进行拼接，同时，预设人脸库中的标准人脸的特征也以三维特征和二维特征拼接后的形式存储。然后，通过对待识别人脸的拼接后的人脸特征与人脸库中人脸模版的拼接后的人脸特征进行匹配，实现对待识别人脸的识别。

在本申请的另一些实施例中，预设的人脸库中的人脸模版包括三维特征和二维特征，对于预设的人脸库中的每个人脸模板，分别执行如下操作：将上述待识别人脸的三维特征和该人脸模板的三维特征进行相似度比对，确定三维特征相似度得分；将上述待识别人脸的二维特征和该人脸模板的二维特征进行相似度比对，确定二维特征相似度得分；对确定的三维特征相似度得分和二维特征相似度得分进行加权运算，确定该人脸模板与上述待识别人脸的匹配度得分。具体实施时，对三维特征相似度得分和二维特征相似度得分进行加权运算时，每项得分的权值根据相应的特征的重要程度确定，或者，根据获取相应特征的网络模型的性能指标确定。其中，相应的特征的重要程度可以根据具体人脸识别需求确定，也可以根据人脸图像对采集设备采集可见光图像和深度图像的性能确定，或者根据获取相应特征的网络模型的性能指标确定。

最后，根据人脸模板与上述待识别人脸的匹配度得分，确定与上述待识别人脸匹配的人脸模版，完成对待识别人脸的识别。

本申请实施例公开的人脸识别方法，通过获取待识别人脸的人脸图像对，该人脸图像对包括可见光图像和深度图像；确定上述深度图像中的人脸关键点；根据上述深度图像中的人脸关键点对该深度图像进行三维重建，构建人脸点云；通过预设第一网络模型基于所述人脸点云获取所述待识别人脸的三维特征，以及，通过预设第二网络模型基于上述可见光图像获取该待识别人脸的二维特征；根据上述三维特征和上述二维特征对该待识别人脸进行人脸识别，有助于提升人脸识别的安全性。本申请实施例公开的人脸识别方法通过结合人脸的三维结构化特征和二维特征进行人脸识别，避免了单纯依靠人脸的二维特征进行人脸识别存在的安全隐患，有效提升了人脸识别的安全性。同时，通过基于人脸关键点进行三维重建，构建人脸点云，并基于人脸点云通过卷积神经网络提取人脸三维特征用于识别，提升了提取的人脸三维特征的合理性和泛化性，进一步提升人脸识别的准确率和安全性。

实施例二：

本实施例提供了一种人脸识别方法，如图2所示，所述方法包括：步骤20至步骤26。

步骤20，训练第一网络模型和第二网络模型。

在进行人脸识别之前，首先需要训练第一网络模型和第二网络模型，其中，第一网络模型用于从根据深度图像生成的人脸点云中获取待识别人脸的三维特征，第二网络模型用于从可见光图像中获取待识别人脸的二维特征。

在训练第一网络模型和第二网络模型之前，首先需要采集大量人脸图像对，用于构建每个网络模型的训练数据集。

具体实施时，对于采集到的人脸图像对，首先进行对齐校准，使得每个人脸图像对中的深度图像和可见光图像的像素点位置一一对应。具体实施时，根据采集上述待识别人脸的人脸图像对的图像采集设备的摄像头参数，对采集的可见光图像和深度图像进行对齐校准。例如，根据采集可见光图像的摄像头与采集深度图像的摄像头之间位置关系，结合成像原理，对采集的可见光图像和深度图像进行像素坐标平移。

在本申请的一些实施例中，由于深度图像本身存在一些深度值为0的点，因此，在基于深度图像训练第一网络模型之前，还需要对深度图像进行修复。具体实施时，对深度图像进行修复的具体实施方式可以采用现有技术，如采用openCV中的中值滤波技术对深度图像进行修复。本申请实施例中不再一一例举对深度图像进行修复的具体实施方式。

之后，为了提升训练得到的第一网络模型和第二网络模型提取的人脸特征的准确性，首先对可见光图像和深度图像进行人脸关键点定位。优选的，首先确定所述可见光图像中的人脸关键点；然后，根据所述可见光图像和所述深度图像的像素点对应关系，将所述可见光图像中的人脸关键点映射到所述深度图像中，确定所述深度图像中的所述人脸关键点。具体实施时，可以采用MTCNN(Multi-task Cascaded Convolutional Networks)方法对对齐校准后的可见光图像进行人脸定位和人脸关键点检测，确定可见光图像中的人脸关键点。本申请具体实施时，确定的人脸关键点包括：鼻尖、2个瞳孔，2个嘴角。进一步的，由于对齐校准后人脸图像对中的深度图像和可见光图像的像素点位置一一对应，通过将可见光图像中的人脸关键点映射到对应的深度图像中，就可以确定深度图像中的人脸关键点的像素位置。

具体实施时，还需要根据所述人脸关键点对所述可见光图像进行归一化处理，便于提升第二网络模型提取二维人脸特征的准确性。例如，在确定了可见光图像中的人脸关键点之后，根据确定的人脸关键点的像素位置将可见光图像归一化到预设大小(如归一化到224*224*3，其中，224*224为图像的宽高像素尺寸，3为图像的颜色通道)。具体实施时，如果可见光图像为灰度图像，则将可见光图像归一化到预设大小的图像为单通道图像。之后，对于归一化处理后的每一幅可见光图像，以该可见光图像所述人脸的人脸标识作为样本标签，以归一化处理后的该可见光图像作为样本数据，即生成了一条第二网络模型的训练样本。

进一步的，对于每幅深度图像，在确定了该深度图像中的人脸关键点之后，基于深度图像成像原理，根据鼻尖、瞳孔、嘴角等人脸关键点构建人脸的三维点云。例如，以鼻尖为坐标原点，根据人脸上其他点和鼻尖点的位置关系，分离出人脸点云，取距离人脸鼻尖点距离小于100毫米的点构建人脸的三维点云。进一步的，对于得到的人脸点云可以采用PCL库(PointCloud Library点云库)中的随机采样方法采样到10000个点的人脸点云，采样得到的人脸点云中包含10000个人脸轮廓点，每个人脸轮廓点存储的是各人脸轮廓点在以鼻尖作为坐标原点的三维坐标系中的三维坐标。之后，每一幅深度图像对应的人脸点云作为一条训练样本的样本数据，该深度图像所述人脸的人脸标识作为样本标签，则可以生成一条第一网络模型的训练样本。

最后，根据第一网络模型的训练样本训练第一网络模型；根据第二网络模型的训练样本训练第二网络模型。

本申请具体实施时，第一网络模型采用的卷积神经网络为点云卷积神经网络(PointCNN)。第一网络模型的训练样本为采集的人脸深度图像构建的人脸点云和人脸标识。本申请的一些实施例中，第一网络模型采用卷积神经网络，其包含5个卷积层和一个最大池化层。第一网络模型的训练过程实际上是通过输入至模型的人脸点云经过一系列的卷积层、池化层等处理，进行前向传播，求取与相应人脸标识的损失值；然后，进行反向传播误差，根据随机梯度下降法修改第一网络模型的网络权重，反复训练第一网络模型使其网络权重达到最优，得到最终用于人脸识别的第一网络模型。本实施例中，第一网络模型的网络输入是10000*3的人脸点云，输出为1024维的矢量特征(即输入的人脸点云对应的人脸的三维结构特征)。第一网络模型的具体训练过程参见现有技术，本申请实施例中不再赘述。

本申请的第二网络模型为卷积神经网络，如残差网络Resnet-34。在模第二网络模型训练的过程中，第二网络模型通过对输入至模型的可见光图像经过一系列的卷积层、激活函数、规范化层和全连接层等的处理，进行前向传播，求取人脸标识的损失值，然后，进行反向传播误差。根据随机梯度下降法修改第二网络模型的网络权重，反复训练第二网络模型使其网络权重达到最优，得到最终用于人脸识别的第二网络模型。本实施例中，第二网络模型的网络输入是224*224*3(图片大小为224*224，维度是3)的可见光图像，输出为1024维的矢量特征(即输入的可见光图像中人脸的二维特征)。第二网络模型的具体训练过程参见现有技术，本申请实施例中不再赘述。其中，第二网络模型输出的1024维的矢量特征为该网络的指定层输出的特征。

在本申请的一些实施例中，通过测试样本对训练得到的第一网络模型和第二网络模型分别进行测试，可以确定第一网络模型和第二网络模型的性能指标，该性能指标用于恒量网络模型提取的人脸特征的特征表达能力，直接影响人脸识别的准确性。

步骤21，构建人脸库。

进一步的，为了对待识别人脸进行识别，还需要构建人脸库。具体实施时，可以通过结构光图像采集设备采集标准人脸的人脸图像对。该人脸图像对包括可见光图像和深度图像，每个人脸图像对对应一个人脸标识，即每幅可见光图像和每幅深度图像都对应一个人脸标识。然后，通过前述步骤中训练得到的第一网络模型从每个人脸图像对的深度图像中提取相应人脸标识的人脸的三维特征，通过前述步骤中训练得到的第二网络模型从每个人脸图像对的可见光图像中提取相应人脸标识的人脸的二维特征。最后，根据人脸标识，与该人脸标识对应的三维特征和二维特征构建人脸库。所述人脸库中还可以包括与各人脸标识对应的身份信息等。

步骤22，获取待识别人脸的人脸图像对，该人脸图像对包括可见光图像和深度图像。

在本申请的一些实施例中，采用的结构光图像采集设备可以为Astra相机。以通过Astra相机采集待识别人脸的可见光图像和深度图像举例，拍摄可见光图像和深度图像的两个传感器之间有一定的物理位置差异，在获取到待识别人脸的人脸图像对之后，即获取到待识别人脸的可见光图像和深度图像之后，还包括：对获取的可见光图像和深度图像进行对齐处理。具体实施时，根据采集上述待识别人脸的人脸图像对的图像采集设备的摄像头参数，对采集的可见光图像和深度图像进行对齐校准。通过对待识别人脸的人脸图像对中包括的可见光图像和深度图像进行对齐处理，使得该可见光图像和深度图像中的像素点一一对应。

在本申请的一些实施例中，由于深度图像本身存在一些深度值为0的点，因此，在基于深度图像提取待识别人脸的三维特征之前，还需要对深度图像进行修复。具体实施时，对深度图像进行修复的具体实施方式可以采用现有技术，如采用openCV中的中值滤波技术对深度图像进行修复。本申请实施例中不再一一例举对深度图像进行修复的具体实施方式。

步骤23，确定上述深度图像中的人脸关键点。

本申请具体实施时，上述确定所述深度图像中的人脸关键点的步骤，包括：确定上述可见光图像中的人脸关键点；根据上述可见光图像和上述深度图像的像素点对应关系，将上述可见光图像中的人脸关键点映射到上述深度图像中，确定上述深度图像中的所述人脸关键点。

确定待识别人脸的人脸图像对的可见光图像中的人脸关键点的具体实施方式参见训练第二网络模型时确定可见光图像中的人脸关键点的具体实施方式，此处不再赘述。本申请实施例中确定的人脸关键点包括但不限于：鼻尖、瞳孔、嘴角。

在本申请的一些实施例中，确定可见光图像中的人脸关键点之后，在通过预设第二网络模型基于所述可见光图像获取所述待识别人脸的二维特征的步骤之前，包括：根据确定的人脸关键点对可见光图像进行归一化处理。通过根据瞳孔、鼻尖、嘴角等人脸关键点，对待识别人脸的可见光图像进行归一化处理，将可见光图像归一化到第二网络模型的输入图像的尺寸(如224*224*3)。例如，首先根据瞳孔、鼻尖、嘴角等人脸关键点确定人脸区域；然后，对可见光图像进行旋转对齐和裁剪，保留人脸区域图像；之后，对保留的人脸区域图像进行仿射变换，得到归一化后的可见光图像。

在本申请的一些实施例中，根据可见光图像和深度图像的像素点对应关系，将可见光图像中的人脸关键点映射到深度图像中，确定深度图像中的人脸关键点的步骤之前，还包括：对可见光图像和深度图像进行对齐处理。具体实施时，根据采集上述待识别人脸的人脸图像对的图像采集设备的摄像头参数，对采集的可见光图像和深度图像进行对齐校准。进行对齐校准之后，深度图像中的像素点和可见光图像中的像素点一一对应，则可以像素点对应关系，将上述可见光图像中的人脸关键点映射到上述深度图像中，确定该深度图像中的所述人脸关键点。

步骤24，根据深度图像中的人脸关键点对该深度图像进行三维重建，构建人脸点云。

根据深度图像中的人脸关键点对该深度图像进行三维重建，构建人脸点云的具体实施方式参见训练第一网络模型时基于作为训练样本的深度图像构建人脸点云的具体实施方式，此处不再赘述。执行本步骤之后，将得到待识别人脸的人脸点云。

步骤25，通过预设第一网络模型基于上述人脸点云获取该待识别人脸的三维特征，以及，通过预设第二网络模型基于上述可见光图像获取该待识别人脸的二维特征。

对深度图像进行三维重建得到的人脸点云实际上可以看作是一幅三通道的图像，每个通道分别对应待识别人脸相应位置的三维坐标信息。进一步的，可以通过预设的第一网络模型对确定的人脸点云进行卷积运算，获取上述待识别人脸的三维特征。具体实施时，将确定的待识别人脸的人脸点云输入至预先训练得到的第一网络模型，经过第一网络模型的运算处理，第一网络模型输出的矢量特征即为该待识别人脸的三维特征。具体到实施例中，将待识别人脸的人脸点云(10000*3的人脸数据)输入至第一网络模型之后，第一网络模型输出的1024维的矢量特征为该待识别人脸的三维特征。

另一方面，可以通过预设的第二网络模型对上述可见光图像进行卷积处理，获取上述待识别人脸的二维特征。例如，将该待识别人脸的可见光图像经过归一化处理后得到的可见光图像(如大小为224*224*3的可见光图像)输入至第二网络模型，则第二网络模型输出的1024维的矢量特征为该待识别人脸的二维特征。

步骤26，根据上述三维特征和上述二维特征对该待识别人脸进行人脸识别。

之后，可以根据确定的三维特征和二维特征与预设的人脸库中的每个人脸模版进行比对识别。在实施例中，根据三维特征和二维特征对待识别人脸进行人脸识别的步骤，包括：通过将待识别人脸的三维特征和二维特征与预设人脸库中的各人脸模版的三维特征和二维特征进行对应匹配，分别确定该待识别人脸与各人脸模版的三维特征相似度得分和二维特征相似度得分；对于每个人脸模版，将该待识别人脸与该人脸模版的三维特征相似度得分和二维特征相似度得分进行加权运算，确定该待识别人脸与各人脸模版的人脸匹配度得分。

例如，对于预设的人脸库中的每个人脸模板，分别执行如下操作：将上述待识别人脸的三维特征和该人脸模板的三维特征进行相似度比对，确定三维特征相似度得分；将上述待识别人脸的二维特征和该人脸模板的二维特征进行相似度比对，确定二维特征相似度得分；对确定的三维特征相似度得分和二维特征相似度得分进行加权运算，确定该人脸模板与上述待识别人脸的匹配度得分。

在本申请的一些实施例中，将该待识别人脸与人脸模版的三维特征相似度得分和二维特征相似度得分进行加权运算，确定该待识别人脸与各人脸模版的人脸匹配度得分的步骤，包括：通过公式s＝s1*p1/(p1+p2)+s2*p2/(p1+p2)确定上述待识别人脸与上述人脸模版的人脸匹配度得分s，其中，s1为上述待识别人脸与上述人脸模版的三维特征相似度得分，s2为上述待识别人脸与上述人脸模版的二维特征相似度得分，p1为上述第一网络模型的性能指标，p2为上述第二网络模型的性能指标。具体实施时，第一网络模型的性能指标可以通过测试数据集对第一网络模型进行测试确定，第二网络模型的性能指标可以通过测试数据集对第二网络模型进行测试确定。

最后，根据人脸模板与上述待识别人脸的匹配度得分，确定与上述待识别人脸匹配的人脸模版，完成对待识别人脸的识别。

本申请实施例公开的人脸识别方法，通过预先训练第一网络模型和第二网络模型，并构建标准人脸库，在获取到待识别人脸的人脸图像对之后；确定人脸图像对应的深度图像中的人脸关键点；根据所述深度图像中的所述人脸关键点对该深度图像进行三维重建，构建人脸点云；通过预设第一网络模型基于上述人脸点云获取该待识别人脸的三维特征，以及，通过预设第二网络模型基于人脸图像对中的可见光图像获取该待识别人脸的二维特征；根据获取的三维特征和二维特征对该待识别人脸进行人脸识别，从信息论的角度来说，本申请在提取人脸特征时使用到了更多的有效信息，提取到的人脸特征更具有泛化性，有助于提升人脸识别的安全性。本申请实施例公开的人脸识别方法通过结合人脸的三维结构化特征和二维特征进行人脸识别，避免了单纯依靠人脸的二维特征进行人脸识别存在的安全隐患，有效提升了人脸识别的安全性。

另一方面，通过对可见光进行人脸关键点检测，并将检测到的人脸关键点映射到深度图像中，以确定深度图像中的人脸关键点，以便基于人脸关键点进行三维重建，构建人脸点云，提升了确定人脸关键点的效率和准确性。进一步的，根据人脸关键点对可见光图像进行归一化处理，用于第二网络模型训练或人脸识别，可以提升人脸识别的准确性。

不同类型的相机因为参数不同，对同一人脸采集到的深度图是不相同的，但是经过变换得到的点云都是相同的，因此，基于人脸点云进行人脸识别，可以提升人脸识别的鲁棒性。进一步的，通过卷积神经网络对人脸点云提取人脸三维特征用于人脸识别，相对于采用传统的点云分析方法(比如ICP匹配、法线提取等方法)对点云进行处理提取的人脸三维特征的更具合理性和泛化性，进一步提升人脸识别的准确率和安全性。

实施例三：

相应的，本申请还公开了一种人脸识别装置，如图3所示，所述装置包括：

可见光图像和深度图像获取模块30，用于获取待识别人脸的人脸图像对，上述人脸图像对包括可见光图像和深度图像；

人脸关键点确定模块31，用于确定上述深度图像中的人脸关键点；

人脸点云构建模块32，用于根据上述深度图像中的所述人脸关键点对上述深度图像进行三维重建，构建人脸点云；

三维特征获取模块33，用于通过预设第一网络模型基于上述人脸点云获取上述待识别人脸的三维特征；以及，

二维特征获取模块34，用于通过预设第二网络模型基于上述可见光图像获取上述待识别人脸的二维特征；

人脸识别模块35，用于根据获取的上述三维特征和上述二维特征对上述待识别人脸进行人脸识别。

可选的，上述人脸点云构建模块32进一步用于：

根据上述深度图像中人脸区域内与鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云。

可选的，上述人脸关键点还包括两个瞳孔和两个嘴角，根据上述深度图像中人脸区域内与上述鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云之前，上述人脸点云构建模块32还用于：

根据所述鼻尖、两个瞳孔和两个嘴角中的任意一个或多个人脸关键点，确定上述深度图像中的人脸区域。

可选的，上述人脸识别模块35进一步用于：

通过将上述待识别人脸的上述三维特征和上述二维特征与预设人脸库中的各人脸模版的三维特征和二维特征进行对应匹配，分别确定上述待识别人脸与各所述人脸模版的三维特征相似度得分和二维特征相似度得分；

对于每个所述人脸模版，将上述待识别人脸与所述人脸模版的三维特征相似度得分和二维特征相似度得分进行加权运算，确定上述待识别人脸与所述人脸模版的人脸匹配度得分。

可选的，如图4所示，上述人脸关键点确定模块31进一步包括：

第一人脸关键点确定子模块311，用于确定上述可见光图像中的人脸关键点；

第二人脸关键点确定子模块312，用于根据上述可见光图像和上述深度图像的像素点对应关系，将上述可见光图像中的人脸关键点映射到上述深度图像中，确定上述深度图像中的上述人脸关键点。

在本申请的一些实施例中，确定可见光图像中的人脸关键点之后，在通过预设第二网络模型基于上述可见光图像获取上述待识别人脸的二维特征之前，上述二维特征获取模块34还用于：根据确定的人脸关键点对可见光图像进行归一化处理。

可选的，上述预设第一网络模型为点云卷积神经网络。

本申请实施例公开的人脸识别装置，通过获取待识别人脸的人脸图像对，该人脸图像对包括可见光图像和深度图像；确定上述深度图像中的人脸关键点；根据上述深度图像中的人脸关键点对该深度图像进行三维重建，构建人脸点云；通过预设第一网络模型基于所述人脸点云获取所述待识别人脸的三维特征，以及，通过预设第二网络模型基于上述可见光图像获取该待识别人脸的二维特征；根据上述三维特征和上述二维特征对该待识别人脸进行人脸识别，有助于提升人脸识别的安全性。本申请实施例公开的人脸识别装置通过结合人脸的三维结构化特征和二维特征进行人脸识别，避免了单纯依靠人脸的二维特征进行人脸识别存在的安全隐患，有效提升了人脸识别的安全性。另一方面，通过对可见光进行人脸关键点检测，并将检测到的人脸关键点映射到深度图像中，以确定深度图像中的人脸关键点，以便基于人脸关键点进行三维重建，构建人脸点云，提升了确定人脸关键点的效率和准确性。进一步的，根据人脸关键点对可见光图像进行归一化处理，用于第二网络模型训练或人脸识别，可以提升人脸识别的准确性。

不同类型的相机因为参数不同，对同一人脸采集到的深度图是不相同的，但是经过变换得到的点云都是相同的，因此，基于人脸点云进行人脸识别，可以提升人脸识别的鲁棒性。进一步的，通过卷积神经网络对人脸点云提取人脸三维特征用于人脸识别，相对于采用传统的点云分析方法(比如ICP匹配、法线提取等方法)对点云进行处理提取的人脸三维特征的更具合理性和泛化性，进一步提升人脸识别的准确率和安全性。

相应的，本申请实施例还公开了一种电子设备，所述电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例一和实施例二所述的人脸识别方法。所述电子设备可以为手机、PAD、平板电脑、人脸识别机等。

相应的，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请实施例一和实施例二所述的人脸识别方法的步骤。

本申请的装置实施例与方法相对应，装置实施例中各模块和各单元的具体实现方式参见方法是实施例，此处不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解，在本申请所提供的实施例中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

Claims (14)

1.一种人脸识别方法，其特征在于，包括：

获取待识别人脸的人脸图像对，所述人脸图像对包括可见光图像和深度图像；

确定所述深度图像中的人脸关键点；

根据所述深度图像中的所述人脸关键点对所述深度图像进行三维重建，构建人脸点云；

通过预设第一网络模型基于所述人脸点云获取所述待识别人脸的三维特征，以及，通过预设第二网络模型基于所述可见光图像获取所述待识别人脸的二维特征；

根据所述三维特征和所述二维特征对所述待识别人脸进行人脸识别。

2.根据权利要求1所述的方法，其特征在于，所述人脸关键点包括鼻尖，所述根据所述深度图像中的所述人脸关键点对所述深度图像进行三维重建，构建人脸点云的步骤，包括：

根据所述深度图像中人脸区域内与所述鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云。

3.根据权利要求2所述的方法，其特征在于，所述人脸关键点还包括两个瞳孔和两个嘴角，所述根据所述深度图像中人脸区域内与所述鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云的步骤之前，还包括：

根据所述鼻尖、两个瞳孔和两个嘴角中的任意一个或多个人脸关键点，确定所述深度图像中的人脸区域。

4.根据权利要求1所述的方法，其特征在于，所述根据所述三维特征和所述二维特征对所述待识别人脸进行人脸识别的步骤，包括：

通过将所述待识别人脸的所述三维特征和所述二维特征与预设人脸库中的各人脸模版的三维特征和二维特征进行对应匹配，分别确定所述待识别人脸与各所述人脸模版的三维特征相似度得分和二维特征相似度得分；

对于每个所述人脸模版，将所述待识别人脸与所述人脸模版的三维特征相似度得分和二维特征相似度得分进行加权运算，确定所述待识别人脸与所述人脸模版的人脸匹配度得分。

5.根据权利要求1所述的方法，其特征在于，所述确定所述深度图像中的人脸关键点的步骤，包括：

确定所述可见光图像中的人脸关键点；

根据所述可见光图像和所述深度图像的像素点对应关系，将所述可见光图像中的人脸关键点映射到所述深度图像中，确定所述深度图像中的所述人脸关键点。

6.根据权利要求1所述的方法，其特征在于，所述预设第一网络模型为点云卷积神经网络。

7.一种人脸识别装置，其特征在于，包括：

可见光图像和深度图像获取模块，用于获取待识别人脸的人脸图像对，所述人脸图像对包括可见光图像和深度图像；

人脸关键点确定模块，用于确定所述深度图像中的人脸关键点；

人脸点云构建模块，用于根据所述深度图像中的所述人脸关键点对所述深度图像进行三维重建，构建人脸点云；

三维特征获取模块，用于通过预设第一网络模型基于所述人脸点云获取所述待识别人脸的三维特征；以及，

二维特征获取模块，用于通过预设第二网络模型基于所述可见光图像获取所述待识别人脸的二维特征；

人脸识别模块，用于根据所述三维特征和所述二维特征对所述待识别人脸进行人脸识别。

8.根据权利要求7所述的装置，其特征在于，所述人脸点云构建模块进一步用于：

根据所述深度图像中人脸区域内与所述鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云。

9.根据权利要求8所述的装置，其特征在于，所述人脸关键点还包括两个瞳孔和两个嘴角，所述根据所述深度图像中人脸区域内与所述鼻尖的欧式距离小于预设距离阈值的像素点重建三维点云，确定人脸点云之前，所述人脸点云构建模块还用于：

根据所述鼻尖、两个瞳孔和两个嘴角中的任意一个或多个人脸关键点，确定所述深度图像中的人脸区域。

10.根据权利要求7所述的装置，其特征在于，所述人脸识别模块进一步用于：

通过将所述待识别人脸的所述三维特征和所述二维特征与预设人脸库中的各人脸模版的三维特征和二维特征进行对应匹配，分别确定所述待识别人脸与各所述人脸模版的三维特征相似度得分和二维特征相似度得分；

对于每个所述人脸模版，将所述待识别人脸与所述人脸模版的三维特征相似度得分和二维特征相似度得分进行加权运算，确定所述待识别人脸与所述人脸模版的人脸匹配度得分。

11.根据权利要求7所述的装置，其特征在于，所述人脸关键点确定模块进一步包括：

第一人脸关键点确定子模块，用于确定所述可见光图像中的人脸关键点；

第二人脸关键点确定子模块，用于根据所述可见光图像和所述深度图像的像素点对应关系，将所述可见光图像中的人脸关键点映射到所述深度图像中，确定所述深度图像中的所述人脸关键点。

12.根据权利要求7所述的装置，其特征在于，所述预设第一网络模型为点云卷积神经网络。

13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任意一项所述的人脸识别方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任意一项所述的人脸识别方法的步骤。