CN110147721A - 一种三维人脸识别方法、模型训练方法和装置 - Google Patents

Abstract

本说明书实施例提供一种三维人脸识别方法、模型训练方法和装置，其中，方法可以包括：获取待识别人脸的人脸点云数据；根据所述人脸点云数据，得到多通道图像；将所述多通道图像输入待训练的深度神经网络，经所述深度神经网络提取得到人脸特征；根据所述人脸特征，输出所述待识别人脸对应的人脸类别预测值。

Description

一种三维人脸识别方法、模型训练方法和装置

技术领域

本公开涉及机器学习技术领域，特别涉及一种三维人脸识别方法、模型训练方法和装置。

背景技术

目前，人脸识别系统的采集设备主要还是由RGB摄像头组成，大部分的人脸识别技术还是以RGB图像为主，例如，可以通过深度学习的方式提取二维的人脸RGB图像的高维特征，进行人脸身份的比对验证。而二维人脸识别技术在使用时，人脸的姿态、表情、环境的光照等都会影响到人脸识别的精确度。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种三维人脸识别方法、模型训练方法和装置，以提高人脸识别的精确度。

具体地，本说明书一个或多个实施例是通过如下技术方案实现的：

第一方面，提供一种三维人脸识别模型的训练方法，所述方法包括：

获取待识别人脸的人脸点云数据；

根据所述人脸点云数据，得到多通道图像；

将所述多通道图像输入待训练的深度神经网络，经所述深度神经网络提取得到人脸特征；

根据所述人脸特征，输出所述待识别人脸对应的人脸类别预测值。

第二方面，提供一种三维人脸识别方法，所述方法包括：

获取待识别人脸的人脸点云数据；

根据所述人脸点云数据，得到多通道图像；

将所述多通道图像，输入预先训练得到的三维人脸识别模型；

输出经所述三维人脸识别模型提取得到的人脸特征，以根据所述人脸特征进行待识别人脸的人脸身份确认。

第三方面，提供一种三维人脸识别模型的训练装置，所述装置包括：

数据获取模块，用于获取待识别人脸的人脸点云数据；

数据转换模块，用于根据所述人脸点云数据，得到多通道图像；

特征提取模块，用于将所述多通道图像输入待训练的深度神经网络，经所述深度神经网络提取得到人脸特征；

预测处理模块，用于根据所述人脸特征，输出所述待识别人脸对应的人脸类别预测值。

第四方面，提供一种三维人脸识别装置，所述装置包括：

数据接收模块，用于获取待识别人脸的人脸点云数据；

图像生成模块，用于根据所述人脸点云数据，得到多通道图像；

模型处理模块，用于将所述多通道图像，输入预先训练得到的三维人脸识别模型，输出经所述三维人脸识别模型提取得到的人脸特征，以根据所述人脸特征进行待识别人脸的人脸身份确认。

第五方面，提供一种三维人脸识别模型的训练设备，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请任一实施例所述的三维人脸识别模型的训练的方法步骤。

第六方面，提供一种三维人脸识别设备，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请任一实施例所述的三维人脸识别的方法步骤。

本说明书提供的三维人脸识别方法、模型训练方法和装置，通过对人脸点云数据进行格式转换，使得人脸点云数据可以应用于人脸识别模型的训练，而三维的人脸识别相对于二维的人脸识别，能够更好的抵抗姿态，光线，表情，遮挡等因素的影响，对这些干扰因素有非常好的鲁棒性，从而使得训练得到的模型在识别人脸方面具有更高的准确率。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例提供的一种对三维点云数据处理的流程；

图2为本说明书一个或多个实施例提供的一个拟合球面坐标系；

图3为本说明书一个或多个实施例提供的模型训练原理示意图；

图4为本说明书一个或多个实施例提供的模型训练的流程示意图；

图5为本说明书一个或多个实施例提供的模型训练的流程示意图；

图6为本说明书一个或多个实施例提供的一种三维人脸识别方法；

图7为本说明书一个或多个实施例提供的数据采集处理示意图；

图8为本说明书一个或多个实施例提供的一种三维人脸识别模型的训练装置的结构示意图；

图9为本说明书一个或多个实施例提供的一种三维人脸识别模型的训练装置的结构示意图；

图10为本说明书一个或多个实施例提供的一种三维人脸识别模型的训练装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

三维人脸数据能够很好的避免人脸姿态的变化和环境光照对人脸识别的影响，对人脸识别的姿态、光照等干扰因素有很好的鲁棒性，因此，基于三维人脸数据进行人脸识别的技术将有助于提高人脸识别的精确度。本说明书至少一个实施例旨在提供一种基于深度学习的三维人脸识别方法。

如下的描述中，将分别描述三维人脸识别的模型训练和模型应用。

【模型训练】

首先，可以由深度相机采集用于模型训练的训练样本。深度相机是能够测量物体与相机之间距离的成像设备，例如，部分深度相机可以采集得到人脸的三维点云数据，该三维点云数据包括人脸上各个像素点的x、y、z三种立体空间信息。其中，z可以是深度值(即物体与相机之间的距离)，x和y可以理解为所述距离垂直的二维平面上的坐标信息。

在所述的三维点云数据之外，深度相机还可以同时采集得到人脸的彩色图即RGB图像。该RGB图像可以用于后续的图像处理过程中，后续详述。

深度相机采集的三维点云数据不适配深度学习网络，本说明书至少一个实施例中，将对三维点云数据进行数据格式转化，使得能够作为深度学习网络的输入。图1示例了一个例子的对三维点云数据进行处理的流程，可以包括：

在步骤100中，对人脸点云数据进行双边滤波处理。

本步骤中，对人脸点云数据进行滤波处理，该滤波处理包括但不限于：双边滤波、高斯滤波、条件滤波或直通滤波等，本例子以双边滤波为例。

所述的双边滤波处理，可以是对人脸点云数据中各个点云的深度值进行滤波处理。例如，双边滤波可以按照如下公式(1)执行：

其中，g(i，j)是滤波后的点云(i，j)点的深度值，f(k，l)是滤波前的点云(k，l)点的深度值，w(i,j,k,l)是所述双边滤波的权重，该权重可以根据所述人脸点云数据中相邻点云点的空间距离以及色彩距离得到。

经过双边滤波处理后，深度相机采集的人脸点云数据得以有效降低了噪声，并且提升了人脸点云数据的完整性。

在步骤102中，将述人脸点云数据的深度值，归一化到人脸区域平均深度的前后预定范围内。

本步骤中，对滤波处理后的三维点云数据中各个点云点的深度值进行归一化。例如，前面提到过，深度相机在采集图像时，还同时采集到了人脸的RGB图像。可以根据该人脸RGB图像检测出其中的人脸关键区域(key area)，例如，人脸中的眼睛、鼻子、嘴巴等区域。根据所述人脸关键区域的深度值，得到人脸区域平均深度，示例性的，可以根据鼻子关键区域的深度值确定平均深度。其次，进行脸部区域的分割，排除前景、背景的干扰；最后，将分割得到的人脸区域中各个点云点的深度值，归一化到所述的人脸区域平均深度的前后预定范围内(示例性的，前后40mm的范围)。

通过上述的归一化处理，可以减小不同的训练样本之间由于姿态和距离等因素造成的深度值上的较大差异，能够降低识别时的误差。

在步骤104中，将人脸点云数据进行深度方向的投影，得到深度投影图。

本步骤中，可以将经过上述双边滤波和归一化处理后的人脸点云数据在深度方向投影，得到一幅深度投影图，该深度投影图上的每个像素点的像素值是深度值。

在步骤106中，将人脸点云数据进行二维法线投影，得到两幅二维法线投影图。

本步骤中获得的二维法线投影可以是两幅图像。

所述二维法线投影图的获得，可以包括如下处理：

例如，可以拟合人脸的三维点云数据，得到点云曲面。图2示例了根据三维点云数据拟合的一个球面坐标系，该点云曲面可以是该球面坐标系下的一个曲面。基于该点云曲面，可以得到所述人脸点云数据中每个点云点的法向量。该法向量可以用球坐标系下的参数表示。

人脸点云数据可以基于上述的球面坐标系，将所述人脸点云数据中的每个点云点在所述法向量的两个球坐标参数方向上分别进行投影，得到两个二维法线投影图。

在步骤108中，根据人脸关键区域，得到所述人脸点云数据的区域权重图。

本步骤中，可以根据人脸关键区域(如，眼睛，鼻子，嘴巴)，生成一幅区域权重图。例如，可以利用深度相机采集得到的人脸RGB图像，识别该RGB图像上的人脸关键区域。再根据预设的权重设置策略，根据识别得到的所述人脸关键区域，获得区域权重图，所述区域权重图中的所述人脸关键区域和非关键区域设置为与各自权重对应的像素值，且所述人脸关键区域的权重高于非关键区域的权重。

例如，可以将人脸关键区域的权重设置为1，非关键区域的权重设置为0，从而得到的区域权重图是一幅二值化图像。比如，该二值化图像中，人脸中的嘴巴轮廓、眼睛轮廓、眉毛等部位可以是白色，其他部位区域是黑色。

通过将人脸点云数据转换为包括深度投影图、二维法线投影图和区域权重图的多通道图像，使得人脸点云数据能够适配深度学习网络，进而作为深度学习网络的输入进行模型训练，以提高模型对人脸识别的精确度。

需要说明的是，本例子是以将人脸点云数据转换为深度投影图、二维法线投影图和区域权重图构成的四通道图像为例，实际实施中并不局限于此。多通道图像还可以是其他形式的图像，本例子是以上述的深度投影图、二维法线投影图和区域权重图为例进行说明。例如，还可以是将人脸点云数据转换为深度投影图和二维法线投影图的三通道图像，并将该三通道图像输入模型。如下的描述中仍以四通道图像为例。通过四通道图像可以使得提取的人脸识别特征更加多样化，提高人脸识别的准确率。

在步骤110中，将深度投影图、二维法线投影图和区域权重图构成的四通道图像，进行数据增广操作。

本步骤中，可以将上述由深度投影图、二维法线投影图和区域权重图构成的四通道图像进行旋转、平移、放缩、加噪、模糊等操作，使得数据分布更丰富，从而更接近真实世界的数据特性，能有效的提升算法的性能。

通过数据增广操作，能够使得模型更加适配多种类型的深度相机采集的数据，具有非常强的场景适应能力。

经过上述图1的处理，可以将四通道图像作为待训练的模型输入，训练三维人脸识别模型。其中，需要说明的是，图1中的部分流程，例如，数据增广操作、滤波处理等，均是在实际实施中可选的操作步骤，这些步骤的使用可以起到增强图像处理效果和人脸识别准确度等作用。

图3示例了将图1处理后的四通道图像输入模型进行训练的过程，如图3所示，可以采用神经网络来训练三维人脸识别模型。例如，可以是卷积神经网络(ConvolutionalNeural Networks,简称：CNN)，该CNN可以包括：卷积层(Convolutional Layer)、池化层(Pooling Layer)、非线性层(ReLU Layer)、全连接层(Fully Connected Layer)等。实际实施中，本实施例不限制CNN的网络结构。

请参见图3，可以将四通道图像同时输入CNN卷积神经网络。CNN可以通过卷积层、池化层等特征提取层，同时由上述的四通道图像学习图像特征，得到多个特征图(FeatureMap)，这些特征图中的特征都是提取到的多种类型的人脸特征。人脸特征进行平铺展开，就可以得到一个人脸特征向量，该人脸特征向量可以作为全连接层的输入。

示例性的，一种调整网络参数的方式可以是：该全连接层可以包括多个隐藏层，最终通过分类器输出模型输入的四通道图像分别属于各个人脸类别的概率，分类器的输出可以称为分类向量，该分类向量可以称为人脸类别预测值，该分类向量的维度与人脸类别数量相同，且分类向量的各个维度的取值可以是分别属于各个人脸类别的概率。

图4示例了模型训练的流程，可以包括：

在步骤400中，将所述四通道图像，输入待训练的深度神经网络。

例如，可以将四通道图像同时输入待训练的深度神经网络。

在步骤402中，所述深度神经网络提取得到人脸特征，并根据所述人脸特征，输出所述待识别人脸对应的人脸类别预测值。

本步骤中，CNN提取到的人脸特征可以同时包括由如下图像中提取得到的特征：所述深度投影图、所述二维法线投影图和所述区域权重图。

在步骤404中，基于所述人脸类别预测值与人脸类别标签值之间的差异，调整所述深度神经网络的网络参数。

例如，CNN网络的输入可以是某一个训练样本人脸的人脸点云数据转换得到的四通道图像，该训练样本人脸可以对应一个人脸类别标签值，即这是哪个人的人脸。CNN输出的人脸类别预测值与标签值之间是存在差异的，可以根据该差异计算损失函数值，该损失函数值可以称为人脸差异损失。

CNN网络在训练时，可以是一个训练组(batch)为单位来调整网络参数。例如，可以在计算出一个训练组中各个训练样本的人脸差异损失后，综合该训练组中各个训练样本的人脸差异损失，计算代价函数，并基于该代价函数来调整CNN的网络参数。例如，所述的代价函数可以是交叉熵函数。

为了进一步提高模型的人脸识别性能，请继续参见图3和图5，可以按照图5所示的方法来训练模型：

在步骤500中，将所述四通道图像，输入待训练的深度神经网络。

在步骤502中，基于输入的所述四通道图像，通过所述深度神经网络的第一层卷积提取得到卷积特征图。

例如，参见图3，经过CNN的第一层卷积层，可以提取得到卷积特征Feture Map。

需要说明的是，实际实施中，本步骤可以是通过深度神经网络的卷积模块中的前端卷积层提取得到卷积特征图。例如，深度神经网络的卷积模块可以包括多个卷积层，本步骤可以获取第二层卷积层输出的卷积特征图，或者获取第三卷积层输出的卷积特征图，等。本实施例以获取第一层卷积层输出的卷积特征图为例进行描述。

在步骤504中，根据所述卷积特征图和标签轮廓特征，计算轮廓差异损失。其中，对所述深度投影图，提取得到标签轮廓特征。

本例子中，所述的标签轮廓特征，可以是预先对四通道图像中的深度投影图提取轮廓特征得到。提取轮廓特征的方式可以有多种，例如，可以采用sobel算子提取轮廓。

CNN网络的第一层卷积层提取到的特征与所述的标签轮廓特征之间可能存在差异，本步骤可以计算两者之间的差异，得到轮廓差异损失。例如，可以进行L2loss的方式计算轮廓差异损失。其中的L2loss可以是均方误差损失函数，例如，第一层卷积层提取到特征图，sobel算子提取的轮廓也可以是特征图的形式，可以将两种特征图的对应位置的特征值进行均方误差计算。

在步骤506中，所述深度神经网络提取得到人脸特征，并根据所述人脸特征，输出所述待识别人脸对应的人脸类别预测值。

例如，图3中的分类器输出的分类向量可以作为人脸类别预测值，该分类向量中包括了待识别人脸分别属于各个人脸类别的概率。

在步骤508中，基于所述人脸类别预测值与人脸类别标签值之间的差异，得到人脸差异损失。

本步骤可以根据损失函数计算人脸差异损失。

在步骤510中，基于所述轮廓差异损失，调整所述第一层卷积的网络参数，并基于所述人脸差异损失调整模型的网络参数。

本步骤中，网络参数的调整可以包括两部分。其中，一部分是根据所述轮廓差异损失，调整第一层卷积的网络参数；另一部分是根据所述人脸差异损失调整模型的网络参数。例如，这两部分参数调整时均可以使用梯度的反向传播法。

如上的例子中，通过根据轮廓差异损失调整第一层卷积的网络参数，主要是为了控制训练方向，提高模型训练的效率。

实际实施中，在调整网络参数时，可以是根据一个训练组(batch)中各个训练样本的损失函数值来调整。该训练组中的每一个训练样本都可以得到一个损失函数值，该损失函数值例如可以是上述的人脸差异损失。综合所述训练组中各个训练样本的损失函数值，计算代价函数，示例性的，该代价函数可以如下公式所示(实际实施中还可以是其他公式)：

其中，y是预测值，a是实际值，n是训练组中的样本数，x是其中一个样本，Wx是对应该样本x的权重。并且，该样本权重Wx可以是根据所述训练样本的图像质量确定。例如，若样本的图像质量较差，则可以设置权重大一些。所述的图像质量较差，可以是人脸点云数据的采集点数量缺失较多。其中，图像质量的衡量维度可以包括多种，例如，点云数据的多少，或者对于人脸部位是否存在缺失数据，等，本实施例不限制。实际实施中，可以通过一个质量评分模块按照上述的衡量维度对所有输入数据进行质量评分，并根据质量评分确定权重，在训练阶段将所述权重引入到上述公式中。

在如上例子中，通过在代价函数计算中，对不同的训练样本采用不同的权重，尤其是加大对困难样本(图像质量较低的样本)对应的权重，可以泛化网络的识别能力。

通过上述模型训练过程，可以得到三维人脸识别模型。

【模型应用】

本部分描述如何应用训练好的模型。

图6示例了一种三维人脸识别方法，该方法可以结合图7的示例性应用场景来看。该方法可以包括：

在步骤600中，获取待识别人脸的人脸点云数据。

例如，参见图7，可以通过前端的采集设备71采集人脸的点云数据。该采集设备71可以是深度相机。

示例性的，在刷脸支付的应用中，前端采集设备可以是融合了深度相机功能的人脸采集设备，可以采集到人脸点云数据，也可以采集到人脸的RGB图。

在步骤602中，根据所述人脸点云数据，得到四通道图像。

例如，采集设备71可以将采集的图像传输至后端的服务器72。

该服务器72可以对图像进行处理，例如，双边滤波、归一化、根据点云数据得到四通道图像。其中，所述四通道图像包括：人脸点云数据的深度投影图、人脸点云数据的二维法线投影图、以及人脸点云数据的区域权重图。

同样，本实施例是以深度投影图、二维法线投影图和区域权重图为例进行描述，实际实施中，将人脸点云数据转换得到的多通道图像不局限于此。

在步骤604中，将四通道图像，输入预先训练得到的三维人脸识别模型。

本步骤中，可以将四通道图像输入前面训练完成的模型。

在步骤606中，输出经所述三维人脸识别模型提取得到的人脸特征，以根据所述人脸特征进行待识别人脸的人脸身份确认。

在一些示例性的场景中，该模型与训练阶段的区别是，模型可以只负责提取图像中的特征，而不需要再进行分类的类别预测。例如，在刷脸支付应用中，模型可以只输出提取得到的人脸特征。在另一些示例性的场景中，该模型也可以包括分类预测，与训练阶段的模型结构相同。

以刷脸支付为例，模型输出的人脸特征，可以是图3中的人脸特征或者人脸特征向量。在输出人脸特征之后，可以根据输出的所述人脸特征继续处理，得到刷脸支付的人脸身份确认结果。

例如，在模型的实际使用阶段，可以去除训练阶段的分类层，使用模型来提取人脸识别的特征。示例性的，用户刷脸支付的时候，根据相机采集的人脸点云数据输入模型，模型输出的特征可以是256维的特征向量。再将该特征向量与刷脸支付数据库中预存的各个特征向量(即各个预存人脸特征)进行特征相似性比对，这些预存的各个特征向量可以是用户在刷脸支付注册阶段通过本说明书任一实施例的模型提取并保存的特征。根据相似度计算的分值确定用户身份，可以将相似度最高的预存人脸特征对应的用户身份，确认为所述待识别人脸的人脸身份。将该方法应用于刷脸支付，由于所述的三维人脸识别模型可以提取到更有效和更准确的人脸识别特征，从而可以提高刷脸支付的用户身份识别准确率。

图8为本说明书至少一个实施例提供的三维人脸识别模型的训练装置的结构示意图，该装置可以用于执行本说明书任一实施例的三维人脸识别模型的训练方法。如图8所示，该装置可以包括：数据获取模块81、数据转换模块82、特征提取模块83和预测处理模块84。

数据获取模块81，用于获取待识别人脸的人脸点云数据。

数据转换模块82，用于根据所述人脸点云数据，得到多通道图像。

特征提取模块83，用于将所述多通道图像输入待训练的深度神经网络，经所述深度神经网络提取得到人脸特征。

在一个例子中，上述的多通道图像可以包括：所述人脸点云数据的深度投影图和所述人脸点云数据的二维法线投影图。特征提取模块83经深度神经网络提取得到的人脸特征，可以包括由所述深度投影图和所述二维法线投影图中提取得到的特征。

预测处理模块84，用于根据所述人脸特征，输出所述待识别人脸对应的人脸类别预测值。

在一个例子中，该三维人脸识别模型的训练装置还可以包括：参数调整模块85，用于基于所述人脸类别预测值与待识别人脸对应的人脸类别标签值之间的差异，调整所述深度神经网络的网络参数。

在一个例子中，数据获取模块81，还用于：对所述人脸点云数据进行滤波处理；所述多通道图像中的深度投影图，是对滤波处理后的人脸点云数据进行深度投影得到。

在一个例子中，数据获取模块81，还用于：对所述人脸点云数据进行滤波处理之后，将人脸点云数据的深度值，归一化到人脸区域平均深度的前后预定范围内，所述人脸区域平均深度是根据待识别人脸的人脸关键区域计算得到。

在一个例子中，数据转换模块82，在用于获得二维法线投影图时，包括：拟合所述人脸点云数据的点云曲面，得到所述人脸点云数据中每个点云点的法向量；将所述人脸点云数据中的每个点云点在所述法向量的两个球坐标参数方向上分别进行投影，得到两个二维法线投影图。

在一个例子中，数据转换模块82，还用于：根据预先获取的所述待识别人脸对应的彩色图，识别所述彩色图上的人脸关键区域；根据识别得到的所述人脸关键区域，获得区域权重图，所述区域权重图中的所述人脸关键区域和非关键区域设置为与各自权重对应的像素值，且所述人脸关键区域的权重高于非关键区域的权重；并将所述区域权重图作为所述多通道图像的一部分。

在一个例子中，数据转换模块82，还用于：将所述多通道数据输入待训练的深度神经网络之前，将所述多通道图像进行数据增广操作。

在一个例子中，参数调整模块85，在用于调整所述深度神经网络的网络参数时，包括：确定一个训练组中各个训练样本的损失函数值，所述损失函数值由所述训练样本的人脸类别预测值与人脸类别标签值确定；综合所述训练组中各个训练样本的损失函数值，计算代价函数；其中，所述代价函数中各个训练样本的权重是根据所述训练样本的图像质量确定；根据所述代价函数，调整所述深度神经网络的网络参数。

在一个例子中，参数调整模块85，在用于调整所述深度神经网络的网络参数时，包括：对所述深度投影图，提取得到标签轮廓特征；基于输入的所述多通道图像，通过所述深度神经网络的卷积模块中的前端卷积层提取得到卷积特征图；根据所述卷积特征图和标签轮廓特征，计算轮廓差异损失；基于所述轮廓差异损失，调整所述前端卷积层的网络参数。例如，所述卷积模块中的前端卷积层，是所述卷积模块中的第一个卷积层。

图9为本说明书至少一个实施例提供的三维人脸识别装置的结构示意图，该装置可以用于执行本说明书任一实施例的三维人脸识别方法。如图9所示，该装置可以包括：数据接收模块91、图像生成模块92和模型处理模块93。

数据接收模块91，用于获取待识别人脸的人脸点云数据；

图像生成模块92，用于根据所述人脸点云数据，得到多通道图像。

模型处理模块93，用于将所述多通道图像，输入预先训练得到的三维人脸识别模型，输出经所述三维人脸识别模型提取得到的人脸特征，以根据所述人脸特征进行待识别人脸的人脸身份确认。

例如，图像生成模块92得到的多通道图像可以包括：所述人脸点云数据的深度投影图和所述人脸点云数据的二维法线投影图。

在一个例子中，如图10所示，该装置还可以包括：刷脸处理模块94，用于根据输出的所述人脸特征，得到刷脸支付的人脸身份确认结果。

本说明书至少一个实施例还提供了一种三维人脸识别模型的训练设备，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本说明书任一所述的三维人脸识别模型的训练方法中的处理步骤。

本说明书至少一个实施例还提供了一种三维人脸识别设备，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本说明书任一所述的三维人脸识别方法的处理步骤。

本说明书至少一个实施例还提供了一种计算机可读存储介质，该介质上存储有计算机程序，该程序被处理器执行时，可以实现本说明书任一所述的三维人脸识别模型的训练方法中的处理步骤，或者可以实现本说明书任一所述的三维人脸识别方法的处理步骤。

上述方法实施例中所示流程中的各个步骤，其执行顺序不限制于流程图中的顺序。此外，各个步骤的描述，可以实现为软件、硬件或者其结合的形式，例如，本领域技术人员可以将其实现为软件代码的形式，可以为能够实现所述步骤对应的逻辑功能的计算机可执行指令。当其以软件的方式实现时，所述的可执行指令可以存储在存储器中，并被设备中的处理器执行。

上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据采集设备或者数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (33)

1.一种三维人脸识别模型的训练方法，所述方法包括：

获取待识别人脸的人脸点云数据；

根据所述人脸点云数据，得到多通道图像；

将所述多通道图像输入待训练的深度神经网络，经所述深度神经网络提取得到人脸特征；

根据所述人脸特征，输出所述待识别人脸对应的人脸类别预测值。

2.根据权利要求1所述的方法，所述根据所述人脸点云数据，得到多通道图像，包括：

根据所述人脸点云数据，得到多通道图像，所述多通道图像包括：所述人脸点云数据的深度投影图和所述人脸点云数据的二维法线投影图；

所述经所述深度神经网络提取得到的人脸特征，包括：由所述深度投影图和所述二维法线投影图中提取得到的特征。

3.根据权利要求2所述的方法，

所述获取待识别人脸的人脸点云数据之后，所述得到多通道图像之前，所述方法还包括：对所述人脸点云数据进行滤波处理；

所述多通道图像中的深度投影图，是对滤波处理后的人脸点云数据进行深度投影得到。

4.根据权利要求3所述的方法，所述对所述人脸点云数据进行滤波处理之后，所述得到多通道图像之前，所述方法包括：

将所述人脸点云数据的深度值，归一化到人脸区域平均深度的前后预定范围内，所述人脸区域平均深度是根据所述待识别人脸的人脸关键区域得到。

5.根据权利要求2所述的方法，

所述二维法线投影图的获得，包括如下处理：

拟合所述人脸点云数据的点云曲面，得到所述人脸点云数据中每个点云点的法向量；

将所述人脸点云数据中的每个点云点在所述法向量的两个球坐标参数方向上分别进行投影，得到两个二维法线投影图。

6.根据权利要求2所述的方法，所述多通道图像还包括：所述人脸点云数据的区域权重图；

所述区域权重图的获得，包括如下处理：

根据预先获取的所述待识别人脸对应的彩色图，识别所述彩色图上的人脸关键区域；

根据识别得到的所述人脸关键区域，获得区域权重图，所述区域权重图中的所述人脸关键区域和非关键区域设置为与各自权重对应的像素值，且所述人脸关键区域的权重高于非关键区域的权重。

7.根据权利要求6所述的方法，所述人脸关键区域的权重设置为1，非关键区域的权重设置为0。

8.根据权利要求1所述的方法，所述将所述多通道数据输入待训练的深度神经网络之前，所述方法还包括：

将所述多通道图像进行数据增广操作。

9.根据权利要求1所述的方法，所述输出所述待识别人脸对应的人脸类别预测值之后，所述方法还包括：

基于所述人脸类别预测值与待识别人脸对应的人脸类别标签值之间的差异，调整所述深度神经网络的网络参数。

10.根据权利要求9所述的方法，所述基于所述人脸类别预测值与人脸类别标签值之间的差异，调整所述深度神经网络的网络参数，包括：

确定一个训练组中各个训练样本的损失函数值，所述损失函数值由所述训练样本的人脸类别预测值与人脸类别标签值确定；

综合所述训练组中各个训练样本的损失函数值，计算代价函数；其中，所述代价函数中各个训练样本的权重是根据所述训练样本的图像质量确定，且图像质量越差的训练样本对应的所述权重越高；

根据所述代价函数，调整所述深度神经网络的网络参数。

11.根据权利要求9或10所述的方法，所述基于所述人脸类别预测值与人脸类别标签值之间的差异，调整所述深度神经网络的网络参数，包括：

对所述深度投影图，提取得到标签轮廓特征；

基于输入的所述多通道图像，通过所述深度神经网络的卷积模块中的前端卷积层提取得到卷积特征图；

根据所述卷积特征图和标签轮廓特征，计算轮廓差异损失；

基于所述轮廓差异损失，调整所述前端卷积层的网络参数。

12.根据权利要求11所述的方法，所述卷积模块中的前端卷积层，是所述卷积模块中的第一个卷积层。

13.一种三维人脸识别方法，所述方法包括：

获取待识别人脸的人脸点云数据；

根据所述人脸点云数据，得到多通道图像；

将所述多通道图像，输入预先训练得到的三维人脸识别模型；

输出经所述三维人脸识别模型提取得到的人脸特征，以根据所述人脸特征进行待识别人脸的人脸身份确认。

14.根据权利要求13所述的方法，根据所述人脸点云数据，得到多通道图像，包括：根据所述人脸点云数据，得到多通道图像，所述多通道图像包括：所述人脸点云数据的深度投影图和所述人脸点云数据的二维法线投影图。

15.根据权利要求14所述的方法，

所述二维法线投影图的获得，包括如下处理：

拟合所述人脸点云数据的点云曲面，得到所述人脸点云数据中每个点云点的法向量；

将所述人脸点云数据中的每个点云点在所述法向量的两个球坐标参数方向上分别进行投影，得到两个二维法线投影图。

16.根据权利要求14所述的方法，所述多通道图像还包括：区域权重图；所述区域权重图的获得，包括如下处理：

根据所述待识别人脸对应的彩色图，识别所述彩色图上的人脸关键区域；

根据识别得到的所述人脸关键区域，获得区域权重图，所述区域权重图中的所述人脸关键区域和非关键区域设置为与各自权重对应的像素值，且所述人脸关键区域的权重高于非关键区域的权重。

17.根据权利要求13所述的方法，所述输出经所述三维人脸识别模型提取得到的人脸特征之后，所述方法还包括：

将输出的所述人脸特征与刷脸支付数据库中的各个预存人脸特征进行相似度比较，所述各个预存人脸特征是对应用户在刷脸支付注册时预存的特征，且所述预存人脸特征是通过所述三维人脸识别模型提取得到；

将相似度最高的预存人脸特征对应的用户身份，确认为所述待识别人脸的人脸身份。

18.一种三维人脸识别模型的训练装置，所述装置包括：

数据获取模块，用于获取待识别人脸的人脸点云数据；

数据转换模块，用于根据所述人脸点云数据，得到多通道图像；

特征提取模块，用于将所述多通道图像输入待训练的深度神经网络，经所述深度神经网络提取得到人脸特征；

预测处理模块，用于根据所述人脸特征，输出所述待识别人脸对应的人脸类别预测值。

19.根据权利要求18所述的装置，

所述数据转换模块，得到的所述多通道图像包括：所述人脸点云数据的深度投影图和所述人脸点云数据的二维法线投影图；

所述特征提取模块，在用于经所述深度神经网络提取得到的人脸特征时，包括：由所述深度投影图和所述二维法线投影图中提取得到的特征。

20.根据权利要求19所述的装置，

所述数据获取模块，还用于：对所述人脸点云数据进行滤波处理；所述多通道图像中的深度投影图，是对滤波处理后的人脸点云数据进行深度投影得到。

21.根据权利要求20所述的装置，

所述数据获取模块，还用于：对所述人脸点云数据进行滤波处理之后，所述得到多通道图像之前，将所述人脸点云数据的深度值，归一化到人脸区域平均深度的前后预定范围内，所述人脸区域平均深度是根据所述待识别人脸的人脸关键区域计算得到。

22.根据权利要求19所述的装置，

所述数据转换模块，在用于获得二维法线投影图时，包括：拟合所述人脸点云数据的点云曲面，得到所述人脸点云数据中每个点云点的法向量；将所述人脸点云数据中的每个点云点在所述法向量的两个球坐标参数方向上分别进行投影，得到两个二维法线投影图。

23.根据权利要求19所述的装置，

所述数据转换模块，还用于：根据预先获取的所述待识别人脸对应的彩色图，识别所述彩色图上的人脸关键区域；根据识别得到的所述人脸关键区域，获得区域权重图，所述区域权重图中的所述人脸关键区域和非关键区域设置为与各自权重对应的像素值，且所述人脸关键区域的权重高于非关键区域的权重；并将所述区域权重图作为所述多通道图像的一部分。

24.根据权利要求18所述的装置，

所述数据转换模块，还用于：将所述多通道数据输入待训练的深度神经网络之前，将所述多通道图像进行数据增广操作。

25.根据权利要求18所述的装置，所述装置还包括：

参数调整模块，用于基于所述人脸类别预测值与待识别人脸对应的人脸类别标签值之间的差异，调整所述深度神经网络的网络参数。

26.根据权利要求25所述的装置，

所述参数调整模块，在用于调整所述深度神经网络的网络参数时，包括：确定一个训练组中各个训练样本的损失函数值，所述损失函数值由所述训练样本的人脸类别预测值与人脸类别标签值确定；综合所述训练组中各个训练样本的损失函数值，计算代价函数；其中，所述代价函数中各个训练样本的权重是根据所述训练样本的图像质量确定，且图像质量越差的训练样本对应的所述权重越高；根据所述代价函数，调整所述深度神经网络的网络参数。

27.根据权利要求25或26所述的装置，

所述参数调整模块，在用于调整所述深度神经网络的网络参数时，包括：对所述深度投影图，提取得到标签轮廓特征；基于输入的所述多通道图像，通过所述深度神经网络的卷积模块中的前端卷积层提取得到卷积特征图；根据所述卷积特征图和标签轮廓特征，计算轮廓差异损失；基于所述轮廓差异损失，调整所述前端卷积层的网络参数。

28.根据权利要求27所述的装置，所述卷积模块中的前端卷积层，是所述卷积模块中的第一个卷积层。

29.一种三维人脸识别装置，所述装置包括：

数据接收模块，用于获取待识别人脸的人脸点云数据；

图像生成模块，用于根据所述人脸点云数据，得到多通道图像；

模型处理模块，用于将所述多通道图像，输入预先训练得到的三维人脸识别模型，输出经所述三维人脸识别模型提取得到的人脸特征，以根据所述人脸特征进行待识别人脸的人脸身份确认。

30.根据权利要求29所述的装置，

所述图像生成模块，得到的多通道图像包括：所述人脸点云数据的深度投影图和所述人脸点云数据的二维法线投影图。

31.根据权利要求29所述的装置，所述装置还包括：

刷脸处理模块，用于将输出的所述人脸特征与刷脸支付数据库中的各个预存人脸特征进行相似度比较，所述各个预存人脸特征是对应用户在刷脸支付注册时预存的特征，且所述预存人脸特征是通过所述三维人脸识别模型提取得到；将相似度最高的预存人脸特征对应的用户身份，确认为所述待识别人脸的人脸身份。

32.一种三维人脸识别模型的训练设备，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至12任一所述的方法步骤。

33.一种三维人脸识别设备，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求13至17任一所述的方法步骤。