CN110414370B - 人脸脸型识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种人脸脸型识别方法，所述方法包括：获取待识别的人脸脸部图像；采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征；基于所述3D重建参数重建出3D人脸；提取所述3D人脸中的轮廓特征；基于所述轮廓特征和所述图像特征构建出联合特征；采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果。本发明还提供一种人脸脸型识别装置、电子设备及存储介质。本发明能够仅通过一张人脸脸部图像完成人脸的3D重建，人脸脸型识别结果可靠性高。

Description

人脸脸型识别方法、装置、电子设备及存储介质

技术领域

本发明涉及人脸识别技术领域，具体涉及一种人脸脸型识别方法、装置、电子设备及存储介质。

背景技术

近年来，随着人们物质生活水平的日益提高，人们在个人形象设计方面的需求迅速增长。而为用户提供个人形象设计通常需要先确定用户的脸型，继而根据用户的脸型选择合适的发型、妆容、眼镜、服饰、配饰等等。

基于该需求，人脸识别技术领域目前也提出了一些通过识别图像中的人脸来检测出一个人的脸型的方法。然而，现有的人脸脸型识别方法只有在正面人脸的情况下才能获得较佳的识别结果。由于现实环境的复杂性，往往拍摄得到的图像都不是正脸。虽然将人脸进行三维重建可以解决侧脸旋转到正脸的问题，但是三维重建需要深度摄像机或者在多视角下拍摄多张人脸图像才能完成，重建过程复杂，脸型识别可靠性低。

因此，如何仅通过一张人脸脸部图像识别出人脸脸型成为当前亟待解决的技术问题。

发明内容

鉴于以上内容，有必要提出一种人脸脸型识别、方法、装置、电子设备及存储介质，能够仅通过一张人脸脸部图像完成人脸的3D重建，人脸脸型识别结果可靠性高。

本发明的第一方面提供一种人脸脸型识别方法，所述方法包括：

获取待识别的人脸脸部图像；

采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征；

基于所述3D重建参数重建出3D人脸；

提取所述3D人脸中的轮廓特征；

基于所述轮廓特征和所述图像特征构建出联合特征；

采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果。

在一个可选的实施例中，所述采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征包括：

输入所述人脸脸部图像至所述预先训练好的3D重建参数提取模型中；

获取所述3D重建参数提取模型的最后一层输出的3D重建参数；

获取所述3D重建参数提取模型的倒数第二层输出的图像特征。

在一个可选的实施例中，所述3D重建参数包括：人脸重建形状参数和人脸重建形变参数，所述基于所述3D重建参数重建出3D人脸包括：

获取基准向量和平均脸；

根据所述人脸重建形状参数、所述基准向量和所述平均脸构建正面人脸；

根据所述人脸重建形变参数将所述正面人脸调整为无表情的3D人脸。

在一个可选的实施例中，所述提取所述3D人脸中的轮廓特征包括：

获取所述3D人脸中的几何特征及每个几何特征对应的第一索引；

从所述第一索引中筛选出与人脸轮廓相关的多个第二索引；

提取与所述多个第二索引对应的几何特征作为所述3D人脸的轮廓特征。

在一个可选的实施例中，所述基于所述轮廓特征和所述图像特征构建出联合特征包括：

计算所述轮廓特征对应的坐标值与鼻尖特征对应的坐标值之间的差值；

对经过差值计算之后的轮廓特征与所述图像特征进行连接，形成一维向量；

将所述一维向量作为所述联合特征。

在一个可选的实施例中，在获取待识别的人脸脸部图像之前，所述方法还包括：

采集用户图像；

检测所述用户图像中的人脸脸部区域；

裁剪出所述人脸脸部区域得到人脸脸部图像。

在一个可选的实施例中，所述采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果包括：

采用所述预先设置的人脸脸型分类器识别所述联合特征；

通过梯度回传算法计算风险损失值；

当所述风险损失值达到最小时，输出人脸脸型识别结果作为所述待识别的人脸脸部图像的人脸脸型识别结果。

本发明的第二方面提供一种人脸脸型识别装置，所述装置包括：

获取模块，用于获取待识别的人脸脸部图像；

检测模块，用于采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征；

重建模块，用于基于所述3D重建参数重建出3D人脸；

提取模块，用于提取所述3D人脸中的轮廓特征；

构建模块，用于基于所述轮廓特征和所述图像特征构建出联合特征；

识别模块，用于采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果。

本发明的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述的人脸脸型识别方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的人脸脸型识别方法。

综上，本发明所述的人脸脸型识别方法、装置、电子设备及存储介质，采用预先训练好的3D重建参数提取模型提取待识别的人脸脸部图像中的3D重建参数及图像特征，并基于所述3D重建参数重建出3D人脸后提取所述3D人脸中的轮廓特征，最后基于所述轮廓特征和所述图像特征构建出联合特征，采用预先设置的人脸脸型分类器识别所述联合特征，即可得到人脸脸型识别结果。重建3D人脸时，仅需一张人脸脸部图像，无需多视角下的多张人脸脸部图像，因而，重建3D人脸的过程简单，计算量少，识别人脸脸型的速度更快；同时，将表示人脸几何分布信息的轮廓特征和表示纹理信息的图像特征连接在一起构建出联合特征，信息更为丰富，因而基于联合特征识别出人脸脸型的结果可靠性更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明较佳实施例提供的人脸脸型识别的流程示意图。

图2是本发明实施例提供的网络结构的示意图。

图3是本发明较佳实施例提供的重建正面且无表情的3D人脸的过程示意图。

图4是本发明较佳实施例提供的人脸脸型识别装置的结构图。

图5是本发明较佳实施例提供的电子设备的示意图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一

请同时参阅图1-图3所示，其中，图1为本发明实施例提供的人脸脸型识别的流程示意图。

所述人脸脸型识别方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S11，获取待识别的人脸脸部图像。

本实施例中，若要识别某个用户的脸型，则需先获取这个用户的一张人脸脸部图像，通过识别所述人脸脸部图像来检测出这个用户的人脸脸型。

其中，所述人脸脸部图像为仅包括了人脸脸部区域的图像，而不包括身体部位。通过获取仅包括人脸脸部区域的人脸脸部图像，能够减少对无用数据(例如，身体部位对应的像素)的计算，有助于提高人脸脸型的识别速度；且人脸脸部图像中去除了身体部位对应的像素的干扰，有助于提高人脸脸型的识别精度。

实际生活中，用户可能并不积极配合，或者需要隐蔽的采集用户的图像，则获取到的图像中可能会包括身体部位在内，此时需要对获取的图像进行处理，确保输入至预先训练好的3D重建参数提取模型中的图像为仅包括人脸脸部区域在内的人脸脸部图像。

因此，在一个可选的实施例中，为了确保输入至预先训练好的3D重建参数提取模型中的图像为人脸脸部图像，在获取待识别的人脸脸部图像之前，所述方法还包括：

采集用户图像；

检测所述用户图像中的人脸脸部区域；

裁剪出所述人脸脸部区域得到人脸脸部图像。

其中，所述用户图像可以是仅包括了人脸脸部区域的图像，也可以是包括了其他部位在内的半身图像或全身图像。

无论所述用户图像为人脸脸部图像，还是半身图像或全身图像，均先采用人脸检测算法，例如基于Haar-Like特征的人脸检测算法，或者adaboost人脸检测算法，检测所述用户图像中的人脸脸部区域，并将检测到的人脸脸部区域从所述用户图像中裁剪出来，作为人脸脸部图像。

S12，采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征。

本实施例中，可以预先基于深度神经网络训练3D重建参数提取模型。优选地，所述深度神经网络为深度可分离卷积神经网络，例如，MobileNetV1，MobileNetV2等。深度可分离卷积神经网络由深度可分离卷积所构成，除了第一层输入层之外为全卷积，所有的层都跟着一个batchnorm(批量标准化：通过减少内部协变量转换来加速深度网络训练)以及ReLU非线性激活函数，最后一层全连接层没有非线性激活函数直接送入softmax层进行分类。

在训练3D重建参数提取模型之前，需要从开源的人脸数据库(例如，The300Videos in the Wild(300-VW))获取多个不同人脸脸型的多张人脸脸部图像及每张脸部图像的3D重建参数，然后将人脸脸部图像和3D重建参数作为数据集，并基于所述数据集训练3D重建参数提取模型。所述人脸脸型包括：方形，三角形，椭圆形，心形，圆形，长形及倒三角形等。所述3D重建参数包括：人脸重建形状参数、人脸重建形变参数、人脸位置参数。其中，所述人脸位置参数包括：人脸旋转矩阵以及人脸位移。所述人脸位移是指人脸平移系数。

由于是基于人脸脸部图像和3D重建参数训练深度神经网络得到的3D重建参数提取模型，因而，将一张人脸脸部图像输入至3D重建参数提取模型中，3D重建参数提取模型即可对所输入的人脸脸部图像进行检测，从而输出所述人脸脸部图像对应的3D重建参数。由于本发明的核心思想不在于训练3D重建参数提取模型，故而，本发明对训练过程不做具体阐述。

在一个可选的实施例中，所述采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征包括：

输入所述人脸脸部图像至所述预先训练好的3D重建参数提取模型中；

获取所述3D重建参数提取模型的最后一层输出的3D重建参数；

获取所述3D重建参数提取模型的倒数第二层输出的图像特征。

通常而言，任何一个网络模型的倒数第二层都会对输入倒数第二层的特征图进行计算并输出图像特征至最后一层进行分类或检测。在本实施例中，如图2所示，将人脸图像输入至预先训练的3D重建参数提取模型的输入层，经过中间多层的运算输入图像特征值倒数第二层(位于最后一层之上的一层，可以是池化层)，倒数第二层对输入的图像特征进一步计算输出表征能力更强的图像特征至最后一层(全连接层)全连接层对输入的图像特征进行提取得到3D重建参数。因而，可以获取所述3D重建参数提取模型的倒数第二层输出的图像特征和最后一层输出的3D重建参数。

S13，基于所述3D重建参数重建出3D人脸。

在得到3D重建参数之后，即可基于所述3D重建参数重建出一个3D人脸。本实施例中，可以采3D形变模型(3D Morphable model，3DMM)和3D形状融合模型(3D BlendShapeModel，3DBM)重建3D人脸。

在一个可选的实施例中，由于基于所述3D重建参数重建出的3D人脸包含有表情信息，而表情信息会影响到人脸脸型的识别结果，因而为了进一步的重建出正面且无表情的人脸，所述基于所述3D重建参数重建出3D人脸包括：

获取基准向量和平均脸；

根据所述人脸重建形状参数、所述基准向量和所述平均脸构建正面人脸；

根据所述人脸重建形变参数将所述正面人脸调整为无表情的3D人脸。

其中，所述基准向量包括3D形变模型的第一特征向量及3D形状融合模型的第二特征向量。一些开源的3DMM在发布时会附带一张平均脸和一组用来表示人脸在不同情况下的形状变化的参数，3DBM在发布时会附带一组用来表示人脸在不同情况下的表情变化的参数。将表示人脸在不同情况下的形状变化的参数定义为所述第一特征向量，将表示人脸在不同情况下的表情变化的参数定义为所述第二特征向量。

具体的，可以通过如下公式基于所述人脸重建形状参数、人脸重建形变参数、人脸旋转矩阵及人脸位移、平均脸、第一特征向量及第二特征向量重建出3D人脸：

其中，Face_3d表示重建出的3D人脸；R表示所述人脸旋转矩阵，设置为单位矩阵；

表示所述平均脸；s_i表示所述第一特征向量；3DMM_params表示所述人脸重建形状参数；b_i表示所述第二特征向量，BlendShape_params表示所述人脸重建形变参数，设置为0；T表示所述人脸位移，设置为0；m表示为所述人脸重建形状参数的个数，n表示为所述人脸重建形变参数的个数。

在重建的过程中，将所述人脸旋转矩阵R设置为单位矩阵，人脸位移T设置为0，可以将重建出的3D人脸旋转为正面人脸，同时将所述人脸重建形变参数BlendShape params设置为0，可以消除重建出的3D人脸中包含的表情，如此重定向后的3D人脸Face_3d便为正面且无表情的脸。

图3示出了正面且无表情的3D人脸的重建过程，其中，左边的图为基于所述3D重建参数重建出的3D人脸，非正面且包含了表情的人脸；中间的图为将所述人脸旋转矩阵R设置为单位矩阵和人脸位移T设置为0之后得到的正面3D人脸；右边的图为将所述人脸重建形变参数BlendShape params设置为0之后得到的无表情的3D人脸。

将基于所述3D重建参数重建出的3D人脸旋转为正面人脸，解决了侧脸旋转到正面脸的问题，正面的人脸能够提高人脸脸型的识别准确率；再消除正面脸中的表情，解决了人脸表情的问题，无表情的正面人脸能够进一步的提高人脸脸型的识别准确率，人脸脸型识别结果可信度高。

S14，提取所述3D人脸中的轮廓特征。

脸型是通过面部的轮廓体现出来的，因而需要提取3D人脸上脸颊部分的特征，脸颊部分的特征称之为轮廓特征。

在一个可选的实施例中，所述提取所述3D人脸中的轮廓特征包括：

获取所述3D人脸中的几何特征及每个几何特征对应的第一索引；

从所述第一索引中筛选出与人脸轮廓相关的多个第二索引；

提取与所述多个第二索引对应的几何特征作为所述3D人脸的轮廓特征。

本实施例中，通过3DMM和3D BlendShape Model重定向出正面且无表情的3D人脸，包含了5万多个数据点，每个数据点包含x，y，z坐标，且每个数据点上都标识有一个索引。首先，确定需要提取的关键数据点，再确定出与所述关键数据点对应的目标索引，然后从5万多个数据点中提取出与所述目标索引对应的目标几何特征，将所提取出的目标几何特征作为轮廓特征。示例性的，需要提取128个关键数据点，这128个关键点位于人脸脸颊部分，提取出的128个关键数据点对应的几何特征作为所述3D人脸的轮廓特征。

S15，基于所述轮廓特征和所述图像特征构建出联合特征。

其中，所述联合特征是指连接所述轮廓特征和所述图像特征得到的特征向量。

在一个可选的实施例中，为了使人脸脸颊坐标对称分布，所述基于所述轮廓特征和所述图像特征构建出联合特征包括：

计算所述轮廓特征对应的坐标值与鼻尖特征对应的坐标值之间的差值；

对经过差值计算之后的轮廓特征与所述图像特征进行连接，形成一维向量；

将所述一维向量作为所述联合特征。

本实施例中，根据鼻尖(即，鼻子正中心点)对应的索引，从重定向出正面且无表情的3D人脸中提取出鼻尖坐标作为中心点，将脸型轮廓上的点与中心点做差值，即将所述轮廓特征对应的坐标值与鼻尖特征对应的坐标值做差值，得到以0点为中心的脸型轮廓点将所有进行了差值计算之后的轮廓特征并压缩成一维特征向量，数据大小为128x3＝364。若图像特征大小为1024，则基于所述轮廓特征和所述图像特征构建出的联合特征为1维1388列的特征向量。

所述轮廓特征表示人脸的几何分布信息，所述图像特征表示人脸的纹理信息，因而构建出的联合特征包含了人脸的几何分布信息和纹理信息，信息更为丰富。

S16，采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果。

本实施例中，可以预先设置人脸脸型分类器，如图2所示，人脸脸型分类器包括两层全连接层(FC1层和FC2层)和一个激活层(Activate Layer)，最后一层为损失函数层(Softmax Loss)。

通过3D重建参数提取模型提取所述待识别的人脸脸部图像中的3D重建参数和图像特征，基于3D重建参数重建出3D人脸，再提取出3D人脸中的轮廓特征，最后将轮廓特征和图像特征连接为联合特征并输入至人脸脸型分类器，即可得到人脸脸型识别结果。

在一个可选的实施例中，所述采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果包括：

采用所述预先设置的人脸脸型分类器识别所述联合特征；

通过梯度回传算法计算风险损失值；

当所述风险损失值达到最小时，输出人脸脸型识别结果作为所述待识别的人脸脸部图像的人脸脸型识别结果。

本实施例中，通过梯度回传算法使得所述人脸脸型分类器的风险损失值最小时，表明人脸脸型分类器已经趋于了稳定，此时人脸脸型分类器的参数达到了最优值，得到的人脸脸型识别结果为所述待识别的人脸脸部图像的人脸脸型识别结果。

关于梯度回传算法为现有技术，本发明在此不再阐述。

需要说明的是，在识别的过程中，只需要更新人脸脸型分类器中的两层全连接层(FC1层和FC2层)的权重，3D重建参数提取模型为已经训练好的模型，故3D重建参数提取模型中的权重不做任何更新。

综上，本发明所述的人脸脸型识别方法，采用预先训练好的3D重建参数提取模型提取待识别的人脸脸部图像，得到3D重建参数及图像特征，并基于所述3D重建参数重建出3D人脸后提取所述3D人脸中的轮廓特征，最后基于所述轮廓特征和所述图像特征构建出联合特征，采用预先设置的人脸脸型分类器识别所述联合特征，即可得到人脸脸型识别结果。重建3D人脸时，仅需一张人脸脸部图像，无需多视角下的多张人脸脸部图像，因而，重建3D人脸的过程简单，计算量少，识别人脸脸型的速度更快；同时，将表示人脸几何分布信息的轮廓特征和表示纹理信息的图像特征连接在一起构建出联合特征，信息更为丰富，因而基于联合特征识别出人脸脸型的结果可靠性更高。

此外，本发明通过将得到的3D重建参数中人脸重建形变参数设置为0，人脸旋转矩阵R设置为单位矩阵，人脸位移T设置为0，构建出的3D人脸为正面且无表情的人脸，能够进一步提高人脸脸型的识别结果的可靠性。

上述图1-3详细介绍了本发明的人脸脸型识别方法，下面结合图4和图5，分别对实现所述人脸脸型识别方法的软件系统的功能模块以及实现所述人脸脸型识别方法的硬件系统架构进行介绍。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

实施例二

参阅图4所示，是本发明人脸脸型识别装置的较佳实施例中的功能模块图。

在一些实施例中，所述人脸脸型识别装置40运行于电子设备中。所述人脸脸型识别装置40可以包括多个由程序代码段所组成的功能模块。所述人脸脸型识别装置40中的各个程序段的程序代码可以存储于所述电子设备的存储器中，并由至少一个处理器所执行，以执行(详见图1描述)所述人脸脸型识别功能。

本实施例中，所述人脸脸型识别装置40根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块401、采集模块402、检测模块403、训练模块404、重建模块405、提取模块406、构建模块407及识别模块408。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在所述存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

获取模块401，用于获取待识别的人脸脸部图像。

本实施例中，若要识别某个用户的脸型，则需先获取这个用户的一张人脸脸部图像，通过识别所述人脸脸部图像来检测出这个用户的人脸脸型。

其中，所述人脸脸部图像为仅包括了人脸脸部区域的图像，而不包括身体部位。通过获取仅包括人脸脸部区域的人脸脸部图像，能够减少对无用数据(例如，身体部位对应的像素)的计算，有助于提高人脸脸型的识别速度；且人脸脸部图像中去除了身体部位对应的像素的干扰，有助于提高人脸脸型的识别精度。

实际生活中，用户可能并不积极配合，或者需要隐蔽的采集用户的图像，则获取到的图像中可能会包括身体部位在内，此时需要对获取的图像进行处理，确保输入至预先训练好的3D重建参数提取模型中的图像为仅包括人脸脸部区域在内的人脸脸部图像。

因此，在一个可选的实施例中，为了确保输入至预先训练好的3D重建参数提取模型中的图像为人脸脸部图像，在获取待识别的人脸脸部图像之前，所述人脸脸型识别装置40还包括：采集模块402，用于：

采集用户图像；

检测所述用户图像中的人脸脸部区域；

裁剪出所述人脸脸部区域得到人脸脸部图像。

其中，所述用户图像可以是仅包括了人脸脸部区域的图像，也可以是包括了其他部位在内的半身图像或全身图像。

无论所述用户图像为人脸脸部图像，还是半身图像或全身图像，均先采用人脸检测算法，例如基于Haar-Like特征的人脸检测算法，或者adaboost人脸检测算法，检测所述用户图像中的人脸脸部区域，并将检测到的人脸脸部区域从所述用户图像中裁剪出来，作为人脸脸部图像。

检测模块403，用于采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征。

训练模块404，用于预先基于深度神经网络训练3D重建参数提取模型。优选地，所述深度神经网络为深度可分离卷积神经网络，例如，MobileNetV1，MobileNetV2等。深度可分离卷积神经网络由深度可分离卷积所构成，除了第一层输入层之外为全卷积，所有的层都跟着一个batchnorm(批量标准化：通过减少内部协变量转换来加速深度网络训练)以及ReLU非线性激活函数，最后一层全连接层没有非线性激活函数直接送入softmax层进行分类。

在训练3D重建参数提取模型之前，需要从开源的人脸数据库(例如，The300Videos in the Wild(300-VW))获取多个不同人脸脸型的多张人脸脸部图像及每张脸部图像的3D重建参数，然后将人脸脸部图像和3D重建参数作为数据集，并基于所述数据集训练3D重建参数提取模型。所述人脸脸型包括：方形，三角形，椭圆形，心形，圆形，长形及倒三角形等。所述3D重建参数包括：人脸重建形状参数、人脸重建形变参数、人脸位置参数。其中，所述人脸位置参数包括：人脸旋转矩阵以及人脸位移。所述人脸位移是指人脸平移系数。

由于是基于人脸脸部图像和3D重建参数训练深度神经网络得到的3D重建参数提取模型，因而，将一张人脸脸部图像输入至3D重建参数提取模型中，3D重建参数提取模型即可对所输入的人脸脸部图像进行检测，从而输出所述人脸脸部图像对应的3D重建参数。由于本发明的核心思想不在于训练3D重建参数提取模型，故而，本发明对训练过程不做具体阐述。

在一个可选的实施例中，所述检测模块403采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征包括：

输入所述人脸脸部图像至所述预先训练好的3D重建参数提取模型中；

获取所述3D重建参数提取模型的最后一层输出的3D重建参数；

获取所述3D重建参数提取模型的倒数第二层输出的图像特征。

通常而言，任何一个网络模型的倒数第二层都会对输入倒数第二层的特征图进行计算并输出图像特征至最后一层进行分类或检测。在本实施例中，如图2所示，将人脸图像输入至预先训练的3D重建参数提取模型的输入层，经过中间多层的运算输入图像特征值倒数第二层(位于最后一层之上的一层，可以是池化层)，倒数第二层对输入的图像特征进一步计算输出表征能力更强的图像特征至最后一层(全连接层)全连接层对输入的图像特征进行提取得到3D重建参数。因而，可以获取所述3D重建参数提取模型的倒数第二层输出的图像特征和最后一层输出的3D重建参数。

重建模块405，用于基于所述3D重建参数重建出3D人脸。

在得到3D重建参数之后，即可基于所述3D重建参数重建出一个3D人脸。本实施例中，可以采3D形变模型(3D Morphable model，3DMM)和3D形状融合模型(3D BlendShapeModel，3DBM)重建3D人脸。

在一个可选的实施例中，由于基于所述3D重建参数重建出的3D人脸包含有表情信息，而表情信息会影响到人脸脸型的识别结果，因而为了进一步的重建出正面且无表情的人脸，所述基于所述3D重建参数重建出3D人脸包括：

获取基准向量和平均脸；

根据所述人脸重建形状参数、所述基准向量和所述平均脸构建正面人脸；

根据所述人脸重建形变参数将所述正面人脸调整为无表情的3D人脸。

其中，所述基准向量包括3D形变模型的第一特征向量及3D形状融合模型的第二特征向量。一些开源的3DMM在发布时会附带一张平均脸和一组用来表示人脸在不同情况下的形状变化的参数，3DBM在发布时会附带一组用来表示人脸在不同情况下的表情变化的参数。将表示人脸在不同情况下的形状变化的参数定义为所述第一特征向量，将表示人脸在不同情况下的表情变化的参数定义为所述第二特征向量。

具体的，可以通过如下公式计算所述人脸重建形状参数、人脸重建形变参数、人脸旋转矩阵、人脸位移、平均脸、第一特征向量及第二特征向量得到3D人脸：

其中，Face_3d表示重建出的3D人脸；R表示所述人脸旋转矩阵，设置为单位矩阵；

表示所述平均脸；s_i表示所述第一特征向量；3DMM_params表示所述人脸重建形状参数；b_i表示所述第二特征向量，BlendShape_params表示所述人脸重建形变参数，设置为0；T表示所述人脸位移，设置为0；m表示为所述人脸重建形状参数的个数，n表示为所述人脸重建形变参数的个数。

在重建的过程中，将所述人脸旋转矩阵R设置为单位矩阵，人脸位移T设置为0，可以将重建出的3D人脸旋转为正面人脸，同时将所述人脸重建形变参数BlendShape params设置为0，可以消除重建出的3D人脸中包含的表情，如此重定向后的3D人脸Face_3d便为正面且无表情的脸。

图3示出了正面且无表情的3D人脸的重建过程，其中，左边的图为基于所述3D重建参数重建出的3D人脸，非正面且包含了表情的人脸；中间的图为将所述人脸旋转矩阵R设置为单位矩阵和人脸位移T设置为0之后得到的正面3D人脸；右边的图为将所述人脸重建形变参数BlendShape params设置为0之后得到的无表情的3D人脸。

将基于所述3D重建参数重建出的3D人脸旋转为正面人脸，解决了侧脸旋转到正面脸的问题，正面的人脸能够提高人脸脸型的识别准确率；再消除正面脸中的表情，解决了人脸表情的问题，无表情的正面人脸能够进一步的提高人脸脸型的识别准确率，人脸脸型识别结果可信度高。

提取模块406，用于提取所述3D人脸中的轮廓特征。

脸型是通过面部的轮廓体现出来的，因而需要提取3D人脸上脸颊部分的特征，脸颊部分的特征称之为轮廓特征。

在一个可选的实施例中，所述提取模块406提取所述3D人脸中的轮廓特征包括：

获取所述3D人脸中的几何特征及每个几何特征对应的第一索引；

从所述第一索引中筛选出与人脸轮廓相关的多个第二索引；

提取与所述多个第二索引对应的几何特征作为所述3D人脸的轮廓特征。

本实施例中，通过3DMM和3D BlendShape Model重定向出正面且无表情的3D人脸，包含了5万多个数据点，每个数据点包含x，y，z坐标，且每个数据点上都标识有一个索引。首先，确定需要提取的关键数据点，再确定出与所述关键数据点对应的目标索引，然后从5万多个数据点中提取出与所述目标索引对应的目标几何特征，将所提取出的目标几何特征作为轮廓特征。示例性的，需要提取128个关键数据点，这128个关键点位于人脸脸颊部分，提取出的128个关键数据点对应的几何特征作为所述3D人脸的轮廓特征。

构建模块407，用于基于所述轮廓特征和所述图像特征构建出联合特征。

其中，所述联合特征是指连接所述轮廓特征和所述图像特征得到的特征向量。

在一个可选的实施例中，为了使人脸脸颊坐标对称分布，所述构建模块407基于所述轮廓特征和所述图像特征构建出联合特征包括：

计算所述轮廓特征对应的坐标值与鼻尖特征对应的坐标值之间的差值；

对经过差值计算之后的轮廓特征与所述图像特征进行连接，形成一维向量；

将所述一维向量作为所述联合特征。

本实施例中，根据鼻尖(即，鼻子正中心点)对应的索引，从重定向出正面且无表情的3D人脸中提取出鼻尖坐标作为中心点，将脸型轮廓上的点与中心点做差值，即将所述轮廓特征对应的坐标值与鼻尖特征对应的坐标值做差值，得到以0点为中心的脸型轮廓点并将所有进行了差值计算之后的轮廓特征压缩成一维特征向量，数据大小为128x3＝364。若图像特征大小为1024，则基于所述轮廓特征和所述图像特征构建出的联合特征为1维1388列的特征向量。

所述轮廓特征表示人脸的几何分布信息，所述图像特征表示人脸的纹理信息，因而构建出的联合特征包含了人脸的几何分布信息和纹理信息，信息更为丰富。

识别模块408，用于采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果。

本实施例中，可以预先设置人脸脸型分类器，如图2所示，人脸脸型分类器包括两层全连接层(FC1层和FC2层)和一个激活层(Activate Layer)，最后一层为损失函数层(Softmax Loss)。

通过3D重建参数提取模型提取所述待识别的人脸脸部图像中的3D重建参数和图像特征，基于3D重建参数重建出3D人脸，再提取出3D人脸中的轮廓特征，最后将轮廓特征和图像特征连接为联合特征并输入至人脸脸型分类器，即可得到人脸脸型识别结果。

在一个可选的实施例中，所述识别模块408采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果包括：

采用所述预先设置的人脸脸型分类器识别所述联合特征；

通过梯度回传算法计算风险损失值；

当所述风险损失值达到最小时，输出人脸脸型识别结果作为所述待识别的人脸脸部图像的人脸脸型识别结果。

本实施例中，通过梯度回传算法使得所述人脸脸型分类器的风险损失值最小时，表明人脸脸型分类器已经趋于了稳定，此时人脸脸型分类器的参数达到了最优值，得到的人脸脸型识别结果为所述待识别的人脸脸部图像的人脸脸型识别结果。

关于梯度回传算法为现有技术，本发明在此不再阐述。

需要说明的是，在识别的过程中，只需要更新人脸脸型分类器中的两层全连接层(FC1层和FC2层)的权重，3D重建参数提取模型为已经训练好的模型，故3D重建参数提取模型中的权重不做任何更新。

综上，本发明所述的人脸脸型识别装置，采用预先训练好的3D重建参数提取模型提取待识别的人脸脸部图像，得到3D重建参数及图像特征，并基于所述3D重建参数重建出3D人脸后提取所述3D人脸中的轮廓特征，最后基于所述轮廓特征和所述图像特征构建出联合特征，采用预先设置的人脸脸型分类器识别所述联合特征，即可得到人脸脸型识别结果。重建3D人脸时，仅需一张人脸脸部图像，无需多视角下的多张人脸脸部图像，因而，重建3D人脸的过程简单，计算量少，识别人脸脸型的速度更快；同时，将表示人脸几何分布信息的轮廓特征和表示纹理信息的图像特征连接在一起构建出联合特征，信息更为丰富，因而基于联合特征识别出人脸脸型的结果可靠性更高。

此外，本发明通过将得到的3D重建参数中人脸重建形变参数设置为0，人脸旋转矩阵R设置为单位矩阵，人脸位移T设置为0，构建出的3D人脸为正面且无表情的人脸，能够进一步提高人脸脸型的识别结果的可靠性。

实施例三

参阅图5所示，在本发明较佳实施例中，所述电子设备5包括存储器51、至少一个处理器52、至少一条通信总线53、显示屏幕54。

本领域技术人员应该了解，图5示出的电子设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备5还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述电子设备5包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或者信息处理的设备。所述电子设备5的硬件包括但不限于：微处理器、专用(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)及嵌入式设备等。所述电子设备5还可包括用户设备，所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述电子设备5仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器51用于存储程序代码和各种数据，例如安装在所述电子设备5中的人脸脸型识别装置40，并在电子设备5的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器51包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

在一些实施例中，所述至少一个处理器52可以由组成，例如可以由单个封装的所组成，也可以是由多个相同功能或不同功能封装的所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器52是所述电子设备5的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备5的各个部件，通过运行或执行存储在所述存储器51内的程序或者模块，以及调用存储在所述存储器51内的数据，以执行电子设备5的各种功能和处理数据，例如执行人脸脸型识别的功能。

在一些实施例中，所述至少一条通信总线53被设置为实现所述存储器51、所述至少一个处理器52、所述显示屏幕54等之间的连接通信。

在一些实施例中，所述显示屏幕54可用于显示由观看者输入的信息或提供给观看者的信息以及电子设备5的各种图形观看者接口，这些图形观看者接口可以由图形、文本、图标、视频和其任意组合来构成。所述显示屏幕54可包括显示面板，可选的，可以采用液晶显示屏幕(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)等形式来配置显示面板。

所述显示屏幕54还可以包括触摸面板。如果所述显示屏幕54包括触摸面板，所述显示屏幕54可以被实现为触摸屏，以接收来自观看者的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。所述显示面板与所述触摸面板可以作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将所述显示面板与所述触摸面板进行集成而实现输入和输出功能。

尽管未示出，所述电子设备5还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理系统与所述至少一个处理器52逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备5还可以包括多种传感器、蓝牙模块、通讯模块等。本发明在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，客户端，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。

在进一步的实施例中，结合图1，所述至少一个处理器52可执行所述电子设备5的操作系统以及安装的各类应用程序(如所述的人脸脸型识别装置40)、程序代码等。

所述存储器51中存储有程序代码，且所述至少一个处理器52可调用所述存储器51中存储的程序代码以执行相关的功能。例如，图4中所述的各个模块是存储在所述存储器51中的程序代码，并由所述至少一个处理器52所执行，从而实现所述各个模块的功能。

在本发明的一个实施例中，所述存储器51存储多个指令，所述多个指令被所述至少一个处理器52所执行以实现随机生成神经网络模型的功能。

具体地，所述至少一个处理器52对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种人脸脸型识别方法，其特征在于，所述方法包括：

获取待识别的人脸脸部图像；

采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征，所述3D重建参数包括：人脸重建形状参数和人脸重建形变参数；

基于所述3D重建参数重建出3D人脸，包括：获取基准向量和平均脸；根据所述人脸重建形状参数、所述基准向量和所述平均脸构建正面人脸；根据所述人脸重建形变参数将所述正面人脸调整为无表情的3D人脸；

提取所述3D人脸中的轮廓特征；

基于所述轮廓特征和所述图像特征构建出联合特征；

采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果。

2.如权利要求1所述的人脸脸型识别方法，其特征在于，所述采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征包括：

将所述人脸脸部图像输至所述预先训练好的3D重建参数提取模型中；

获取所述3D重建参数提取模型的最后一层输出的3D重建参数；

获取所述3D重建参数提取模型的倒数第二层输出的图像特征。

3.如权利要求1所述的人脸脸型识别方法，其特征在于，所述提取所述3D人脸中的轮廓特征包括：

获取所述3D人脸中的几何特征及每个几何特征对应的第一索引；

从所述第一索引中筛选出与人脸轮廓相关的多个第二索引；

提取与所述多个第二索引对应的几何特征作为所述3D人脸的轮廓特征。

4.如权利要求3所述的人脸脸型识别方法，其特征在于，所述基于所述轮廓特征和所述图像特征构建出联合特征包括：

计算所述轮廓特征对应的坐标值与鼻尖特征对应的坐标值之间的差值；

对经过差值计算之后的轮廓特征与所述图像特征进行连接，形成一维向量；

将所述一维向量作为所述联合特征。

5.如权利要求1至4中任意一项所述的人脸脸型识别方法，其特征在于，在获取待识别的人脸脸部图像之前，所述方法还包括：

采集用户图像；

检测所述用户图像中的人脸脸部区域；

裁剪出所述人脸脸部区域得到人脸脸部图像。

6.如权利要求1至4中任意一项所述的人脸脸型识别方法，其特征在于，所述采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果包括：

采用所述预先设置的人脸脸型分类器识别所述联合特征；

通过梯度回传算法计算风险损失值；

当所述风险损失值达到最小时，输出人脸脸型识别结果作为所述待识别的人脸脸部图像的人脸脸型识别结果。

7.一种人脸脸型识别装置，其特征在于，所述装置包括：

获取模块，用于获取待识别的人脸脸部图像；

检测模块，用于采用预先训练好的3D重建参数提取模型提取所述人脸脸部图像中的3D重建参数及图像特征，所述3D重建参数包括：人脸重建形状参数和人脸重建形变参数；

重建模块，用于基于所述3D重建参数重建出3D人脸，包括：获取基准向量和平均脸；根据所述人脸重建形状参数、所述基准向量和所述平均脸构建正面人脸；根据所述人脸重建形变参数将所述正面人脸调整为无表情的3D人脸；

提取模块，用于提取所述3D人脸中的轮廓特征；

构建模块，用于基于所述轮廓特征和所述图像特征构建出联合特征；

识别模块，用于采用预先设置的人脸脸型分类器识别所述联合特征，得到人脸脸型识别结果。

8.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6中任意一项所述人脸脸型识别方法。

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述人脸脸型识别方法。

Images