CN109753875A - 基于人脸属性感知损失的人脸识别方法、装置与电子设备 - Google Patents

Abstract

本发明实施例提供一种基于人脸属性感知损失的人脸识别方法、装置与电子设备，其中所述方法包括：分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取待识别人脸的高维人脸特征；将高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；基于特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对待识别人脸的识别。本发明实施例能够更有效的优化人脸的特征表达，从而更准确的进行人脸识别。

Description

基于人脸属性感知损失的人脸识别方法、装置与电子设备

技术领域

本发明实施例涉及人脸识别技术领域，更具体地，涉及一种基于人脸属性感知损失的人脸识别方法、装置与电子设备。

背景技术

近些年来，随着深度学习技术的火热发展，人脸识别作为计算机视觉领域热点问题之一，得到了长足发展。目前，主流的人脸识别方法大多首先采用深度网络将人脸样本映射到高维特征空间，得到具有区分性的特征表达，再通过计算特征距离来对人脸进行分类。

例如，对比损失函数(contrastive loss)、三元组损失函数(tripletloss)以及以centerloss为代表的一系列softmax变体损失，都是通过度量学习的方法来减少类内特征的距离，同时增大类间特征的距离。然而，这些方法并未考虑到人脸样本的潜在语义表达，致使其在高维空间中的特征分布趋于均匀分布。也就是说，采用传统的深度学习损失函数进行人脸识别时，不同类样本的特征相近程度并不能代表样本的潜在语义相似度，因此不利于更准确的进行人脸识别。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于人脸属性感知损失的人脸识别方法、装置与电子设备，用以更有效的优化人脸的特征表达，从而更准确的进行人脸识别。

第一方面，本发明实施例提供一种基于人脸属性感知损失的人脸识别方法，包括：

分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；

将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取所述待识别人脸的高维人脸特征；

将所述高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；

基于所述特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对所述待识别人脸的识别。

第二方面，本发明实施例提供一种基于人脸属性感知损失的人脸识别装置，包括：

预处理模块，用于分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；

特征提取模块，用于将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取所述待识别人脸的高维人脸特征；

聚类模块，用于将所述高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；

识别输出模块，用于基于所述特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对所述待识别人脸的识别。

第三方面，本发明实施例提供一种电子设备，包括：至少一个存储器、至少一个处理器、通信接口和总线；所述存储器、所述处理器和所述通信接口通过所述总线完成相互间的通信，所述通信接口用于所述电子设备与人脸图像设备之间的信息传输；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上第一方面所述的基于人脸属性感知损失的人脸识别方法。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上第一方面所述的基于人脸属性感知损失的人脸识别方法。

本发明实施例提供的基于人脸属性感知损失的人脸识别方法、装置与电子设备，通过引入人脸属性，并构建属性差异和特征差异之间的全局线性映射来优化特征表达，结合使用属性感知损失和多模态输入，使学习出的特征映射更具判别性和鲁棒性，能够有效提高人脸识别方法的准确率和泛化能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的基于人脸属性感知损失的人脸识别方法的流程示意图；

图2为本发明另一实施例提供的基于人脸属性感知损失的人脸识别方法的流程示意图；

图3为本发明实施例提供的基于人脸属性感知损失的人脸识别装置的结构示意图；

图4为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明实施例的一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

为了克服传统的深度学习损失函数的人脸识别算法中，不同类样本的特征相近程度不能代表样本的潜在语义相似度，而不利于更准确的识别人脸的问题，本发明实施例引入人脸属性，例如：种族、性别、年龄等，通过构建属性差异和特征差异之间的全局线性映射来优化特征表达，使得属性相近的类别其特征距离也相近。同时，为了提升识别模型的鲁棒性，对Depth模态数据进行点云化处理，与RGB模态数据相融合作为网络输入，能够有效地提升人脸识别的准确率和鲁棒性。以下将具体通过多个实施例对本发明实施例进行展开说明和介绍。

图1为本发明一实施例提供的基于人脸属性感知损失的人脸识别方法的流程示意图，如图1所示，该方法的处理流程包括：

S101，分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合。

可以理解的是，考虑到虽然基于RGB单模态也能够实现人脸识别，但是表情变化、姿态变化，尤其是光照变化等仍会直接影响到识别的准确程度。随着Kinect、IntelRealSense以及PrimeSense等RGB-D相机的发展，人们可以直接获取到Depth图像数据。因此，为了更大程度的提高对人脸识别的鲁棒性，而采用RGB和Depth多模态结合的方式，来对人脸进行更有效的识别。

具体而言，本发明实施例事先会对待识别人脸进行图像采集，获取待识别人脸的RGB模态数据和Depth模态数据。之后，为了便于将待识别人脸的RGB模态数据和Depth模态数据进行有效融合，分别执行如下处理流程：

首先，对RGB模态数据进行人脸检测和人脸对齐，并裁剪出规格一致的人脸图像，进行尺度归一化处理。例如，可以利用人脸检测器，对RGB模态数据进行人脸检测和关键点定位，根据关键点的位置进行相似变换、缩放、裁剪等操作，保存为112x96像素大小的图像，并将该图像像素做归一化处理。

其次，先根据RGB模态数据上的人脸检测框和关键点位置，得到相对应的Depth模态数据上的人脸检测框和关键点位置，再将Depth模态数据转为相机坐标系下的点云表示，并在点云表示中对人脸的三维区域进行剪裁、处理与至二维平面的重新投影，得到相同尺寸Depth二维图像并进行点云转换和存储。

最后，在信号层级上进行模型数据的融合，将归一化的人脸RGB模态数据和Depth模态数据的点云图像进行通道堆叠与数据融合，组合为6通道，作为深度卷积网络的输入。

S102，将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取待识别人脸的高维人脸特征。

在根据上述步骤进行归一化的人脸RGB模态数据和归一化的人脸Depth模态数据的通道堆叠融合后，得到堆叠融合后的人脸RGB模态数据和人脸Depth模态数据。并且，事先会建立并训练用于人脸识别的识别模型，该识别模型分为多层，第一层用于特征提取，采用深度卷积网络。因此在获取待识别人脸的堆叠融合后的人脸RGB模态数据和人脸Depth模态数据后，将该堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入到训练好的深度卷积网络，利用深度卷积网络进行待识别人脸的高维人脸特征提取。

S103，将高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类。

本发明实施例在上述深度卷积网络之后增加一层人脸属性感知损失与分类损失结合层。设计一种人脸属性感知损失，构建属性差异和特征差异之间的全局线性映射，将该人脸属性感知损失作为一个额外的监督项，与分类损失函数相结合，使得特征在聚类的同时也受到属性的正则化约束，促使具有相似属性的样本其特征聚类也相近，从而优化深度网络的特征表达。将利用深度卷积网络提取的高维人脸特征输入到人脸属性感知损失与分类损失结合层，利用该结合层实现结合人脸属性的人脸特征聚类。

可以理解的是，其中的分类损失可以是朴素的softmax损失(经典的分类损失)，也可以是其它类型的分类损失，如center loss、L2 softmax loss和Contrastive loss等。为便于理解，以下实施例主要以朴素的softmax损失为例进行说明，但不对本发明实施例的保护范围进行限制。

S104，基于特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对待识别人脸的识别。

在根据上述步骤获取待识别人脸的特征聚类的基础上，采用上述相同的处理步骤对人脸图像库中不同人脸图像进行特征聚类，并通过比对待识别人脸的特征聚类和人脸图像库中不同人脸图像的特征聚类的相似度，来实现对待识别人脸的有效识别。

本发明实施例提供的基于人脸属性感知损失的人脸识别方法，通过引入人脸属性，并构建属性差异和特征差异之间的全局线性映射来优化特征表达，结合使用属性感知损失和多模态输入，使学习出的特征映射更具判别性和鲁棒性，能够有效提高人脸识别方法的准确率和泛化能力。

其中，根据上述各实施例可选的，对待识别人脸的Depth模态数据进行人脸图像的尺度归一化处理的步骤具体包括：首先，根据RGB模态数据上的人脸检测框和关键点位置，获取相对应的Depth模态数据上的人脸检测框和关键点位置；其次，将Depth模态数据转换为相机坐标系下的点云表示，并以点云表示上设定关键点的坐标作为球心，根据设定半径对点云表示进行裁剪；再次，对裁剪后的点云进行去中心化处理，并将去中心化后的点云沿深度方向平移固定的值；最后，将平移后的点云重新投影到二维平面，获取尺度归一的Depth图像，并将尺度归一的Depth图像转换为空间点云后，以三通道的二维图像进行存储。

本发明实施例在根据上述各实施例获取RGB模态数据上的人脸检测框和关键点位置的基础上，根据该RGB模态数据上的人脸检测框和关键点位置，获取与该RGB模态数据相对应的Depth模态数据上的人脸检测框和关键点位置，以对Depth模态数据上的人脸图像进行定位与处理。

之后，本发明实施例可以根据相机参数，将Depth模态数据转到三维点云空间，并以人脸点云上的设定关键点，如鼻尖关键点的坐标作为球心，并根据设定半径截取三维点云空间内的球体，获取球体内的点作为人脸区域。可以理解的是，为了保证关键点的有效性，可以取其邻域点坐标均值作为球心。也可以根据经验值，取100mm为半径。

之后，统计人脸区域在X、Y、Z三个坐标轴上的坐标均值，将获得的人脸点云与各自坐标均值相减，得到去中心化的人脸点云区域。随后将其沿Z轴方向平移Z_opt距离，重新投影到二维平面，例如可以得到112x96像素大小的Depth模态数据。鉴于点云相比Depth模态数据可以更好的表达人脸三维形状，将此深度图像经过坐标变换继续转为空间点云，按照二维图像结构进行存储，其中图像三通道分别存取点在X、Y、Z轴的坐标值，在得到点云图后进行尺度归一化操作。

其中，根据上述各实施例可选的，人脸属性感知损失与分类损失结合层中的分类损失项的表达式如下：

式中，表示第i、j个样本的深度特征值，和分别表示最后一个全连接层的权重和偏置，N表示训练集的大小，C表示聚类的最大类别数。

具体而言，对于给定训练样本集及其对应的标签其中，y_i∈{1,...,C}，N为训练集的大小，C为最大类别数，识别模型人脸属性感知损失与分类损失结合层中的朴素softmax损失项可以由上述公式给出。

而针对每一个人脸样本x_i，用向量来表示其所标注的人脸属性，根据上述各实施例可选的，人脸属性感知损失与分类损失结合层中的人脸属性感知损失项的表达式可表示如下：

d(p_i,p_j)＝||p_i-p_j||₂；

式中，表示参数矩阵，需要深度网络学习得到，分别表示第i、j个样本所标注的人脸属性向量，d(p_i,p_j)表示两个属性向量p_i和p_j的欧氏距离，γ为阈值，用来衡量两个属性向量的相近程度，y_i、y_j分别表示第i、j个样本对应的样本标签，f_i、f_j分别表示第i、j个样本的深度特征值。

进一步而言，人脸属性感知损失与分类损失结合层的总优化目标函数表达式可以表示如下：

L＝L_s+λL_a；

式中，L_s表示分类损失项，L_a表示人脸属性感知损失项，λ表示超参数，用来权衡分类损失和脸属性感知损失所占的比重。

根据上式，对整个人脸识别网络进行训练。具体地，针对一个mini-batch的人脸样本其标签为其人脸属性为其中1≤b_k≤N，M表示样本的个数。将上述数据输入到深度卷积网络中，得到的特征一方面经过全连接层到达softmax层和真实标签计算softmax损失，另一方面经过属性感知损失层与人脸标注属性计算属性感知损失。其中L_a关于G和f_k的梯度更新表达式如下：

通过人脸属性感知损失和softmax损失的联合监督，使得特征在聚类的同时也拉近了具有相似属性的特征簇之间的距离，从而优化了网络最终学习的特征表达。

其中，根据上述各实施例可选的，根据RGB模态数据上的人脸检测框和关键点位置，获取相对应的Depth模态数据上的人脸检测框和关键点位置的步骤具体包括：

对于已知RGB模态数据到Depth模态数据坐标映射关系的数据集，直接根据在RGB模态数据上检测得到的人脸框和关键点位置，通过映射关系得到Depth模态数据上的检测框和关键点位置；

对于没有提供RGB模态数据到Depth模态数据坐标映射关系的数据集，对待识别人脸的NIR图像进行人脸检测，得到人脸框和关键点位置，作为RGB模态数据上的检测框和关键点位置。

可以理解的是，对于同一待识别人脸进行RGB模态数据到Depth模态数据的获取时，二者之间可能已经默认进行了坐标映射，即二者间建立了坐标映射关系，也可能没有进行坐标映射。因此，在实际获取Depth模态数据上的人脸检测框和关键点位置时，也分两种处理方式进行。

对于已知RGB模态数据到Depth模态数据坐标映射关系的数据集，直接根据在RGB模态数据上检测得到的人脸框和关键点位置通过映射关系得到Depth模态数据上的检测框和关键点位置。

对于没有提供两者映射关系的数据集，由于Depth模态数据和NIR图像是相互配准的，即Depth模态数据素点的位置和NIR图像素点的位置是一一对应的。为此，对NIR图像进行人脸检测，得到的人脸框和关键点位置即为Depth模态数据上的检测框和关键点位置。

另外，在上述各实施例的基础上，在将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络的步骤之前，本发明实施例的方法还包括：对人脸图像样本的RGB模态数据和Depth模态数据，执行人脸图像的尺度归一化处理至通道堆叠融合的步骤，获取模型输入训练样本；建立深度卷积网络和人脸属性感知损失与分类损失结合层融合的基础人脸识别模型，并利用模型输入训练样本，对基础人脸识别模型进行训练和更新，获取深度卷积网络和人脸属性感知损失与分类损失结合层。

可以理解为，在根据上述各实施例利用识别模型进行人脸识别之前，需要对该识别模型进行建立并利用训练样本进行训练，得到最终的识别模型，包括深度卷积网络层和人脸属性感知损失与分类损失结合层。在根据需要初始化建立基础识别模型之后，利用一定数量的训练样本对该基础识别模型进行训练。对于训练样本人脸的RGB模态数据和Depth模态数据，

首先，对RGB模态数据进行人脸检测和人脸对齐，裁剪出规格一致的人脸图像，进行尺度归一化处理。

其次，进行Depth模态数据点云化处理。根据RGB模态数据上的人脸检测框和关键点位置，得到相对应的Depth模态数据上的人脸检测框和关键点位置，将Depth模态数据转为相机坐标系下的点云表示，以3D点云上鼻尖关键点(及其邻域点坐标的均值)坐标作为球心，以100mm为半径对点云进行裁剪，对裁剪后的点云进行去中心化，将其沿深度方向平移固定的值，重新投影到二维平面，得到一个全新的Depth模态数据，随后将此Depth图转为点云，以三通道的二维图像进行存储，进行尺度归一化处理。

再次，进行模型融合。在信号层级上进行模型融合，将归一化后的RGB模态数据和点云图像进行通道堆叠，组合为6通道，作为深度卷积网络的输入。

最后，进行人脸识别网络训练。设计一种人脸属性感知损失，构建属性差异和特征差异之间的全局线性映射，将其作为一个额外的监督项与softmax损失(经典的分类损失)或其他分类损失函数相结合，使得特征在聚类的同时也受到属性的约束，促使具有相似属性的样本其特征聚类也相近。

为进一步说明本发明实施例的技术方案，本发明实施例根据上述各实施例提供如下具体实施例的处理流程，但不对本发明实施例的保护范围进行限制。

图2为本发明另一实施例提供的基于人脸属性感知损失的人脸识别方法的流程示意图，如图2所示，该方法的处理流程包括：

S201，获取待处理的人脸RGB模态数据和人脸Depth模态数据，利用人脸检测器对RGB模态数据进行人脸检测和5个关键点定位(两眼中心，鼻尖、两个嘴角)，根据关键点的位置进行相似变换、缩放等操作，裁剪出人脸区域保存为112x96像素大小的图像，将图像像素值减去127.5除以128，从[0,255]映射到[-1,1]，做归一化处理。

S202，由于PrimeSense或Kinect等RGB-D相机采集的Depth模态数据只能直观反映场景物体各点到相机的距离，为了更好的描述人脸的三维形状，将深度图像进行点云化处理。其具体操作细节如下：

(1)获取深度图的人脸区域和关键点位置。对于已知RGB模态数据到Depth模态数据坐标映射关系的数据集，直接根据在RGB模态数据上检测得到的人脸框和关键点位置通过映射关系得到深度图上的检测框和关键点位置；对于没有提供两者映射关系的数据集，由于Depth模态数据和NIR图像是相互配准的，即深度图像素点的位置和NIR图像像素点的位置是一一对应的。为此，对NIR图像进行人脸检测，得到的人脸框和关键点位置即为深度图上的检测框和关键点位置。

(2)根据相机参数，将深度图转到三维点云空间。具体地，记深度图上坐标(m,n)处的深度值为z，该像素点从图像坐标(m,n)转换成点云坐标(w_x,w_y,w_z)的计算公式为：

其中，f_x、f_y分别是深度相机在x、y方向上的焦距，c_x、c_y分别是深度相机在x、y方向上的光心。

在获得三维点云后，以鼻尖特征点及其邻域点的坐标均值点作为球心，以100mm(经验值)为半径，获取球体内的点作为人脸区域，统计其在X、Y、Z三个坐标轴上的坐标均值，将获得的人脸点云与各自坐标均值相减，得到去中心化的人脸点云区域。随后将其沿Z轴深度方向平移Z_opt距离，根据透视投影重新投影到二维平面，得到112x96像素大小的深度图。其中，Z_opt为经验值，取800mm时，恰好使投影后的人脸图像铺满112x96像素大小的图像。

具体地，记三维点云上的点(w_x,w_y,w_z)，其透视投影后对应的像素坐标(m,n)分别为：

其中，f_x、f_y分别是深度相机在x、y方向上的焦距，c_x、c_y分别是深度相机在x、y方向上的光心，本实施例中c_x取值为56，c_y为48。

(3)鉴于点云表达三维形状的信息更加丰富，将b获得的深度图经过坐标变换转为空间点云，按照二维图像结构进行存储，其中图像三通道分别存取点在X、Y、Z轴的坐标值，在得到点云图后进行尺度归一化操作，将各通道像素值映射到值域[-1,1]之间。针对每一个点(w_x,w_y,w_z)，计算公式如下：

其中，(x_max,y_max,z_max)和(x_min,y_min,z_min)分别表示点云中所有点在X、Y、Z三个坐标轴上的最大值和最小值。

S203，进行模型融合。本发明在信号层级上进行模型融合，将归一化后的RGB模态数据和点云图进行通道堆叠，组合为6通道，各通道的值范围皆为[-1,1]，作为深度卷积网络输入。

S204，进行人脸识别网络训练。本发明采用Resnet作为基本网络模型，将3通道的RGB模态数据和点云图进行归一化后组合成6通道作为输入，经过深度卷积网络提取特征，输出的特征一方面经过全连接层到达softmax层和真实标签计算softmax损失(或其他的分类损失，本实施例采用softmax损失)；另一方面经过属性感知损失层与人脸标注属性计算属性感知损失。

具体地，给定训练样本集及其对应的标签其中，y_i∈{1,...,C}，N为训练集的大小，C为最大类别数，其softmax损失计算表达式如下：

其中，表示第i个样本的深度特征值(由深度卷积网络得到)，和表示最后一个全连接层的权重和偏置，T为矩阵转置符号。

其中，针对每一个人脸样本x_i，用向量来表示其所标注的人脸属性。以本发明在实验时所使用的数据集为例(非公开)，对训练样本标注了三种人脸属性，分别为性别、种族和年龄。对于性别属性，使用1表示男性，-1表示女性；对于种族属性，本实施例采用的训练集仅包含黄种人和白种人，使用1表示黄种人，反之，-1表示白种人；对于年龄属性，首先将年龄值截断为[0,100]的区间，随后将样本中的年龄映射到[-1,1]之间。至此，可将人脸属性p_i表示成一个三维的向量，即其中表示性别属性，表示种族属性，表示年龄属性。提出的属性感知损失项的表达式如下式所示：

d(p_i,p_j)＝||p_i-p_j||₂；

式中，表示参数矩阵，需要深度网络学习得到，分别表示第i、j个样本所标注的人脸属性向量，d(p_i,p_j)表示两个属性向量p_i和p_j的欧氏距离，γ为阈值，用来衡量两个属性向量的相近程度，从而决定是否对其计算属性感知损失。y_i、y_j分别表示第i、j个样本对应的样本标签，f_i、f_j分别表示第i、j个样本的深度特征值。

基于上述过程，网络的总优化目标可以表示为下式：

L＝L_s+λL_a；

式中，L_s表示分类损失项，L_a表示人脸属性感知损失项，λ表示超参数，用来权衡分类损失和脸属性感知损失所占的比重。

具体地，本发明实施例在训练Resnet的过程中，使用的参数细节如下：数据块规模(batchsize)为200，基础学习率为0.1，分别在40000次和60000次迭代后，衰减为原来的十分之一，权值衰减(weight decay)为0.0005，γ取值范围为[0.01,0.04]，λ取值范围为[0.001,0.00001]，训练采用随机梯度下降的优化算法进行反向更新参数，整个训练过程约需70000次迭代。

本发明实施例通过属性感知损失和softmax损失的联合监督，使得特征在聚类的同时也拉近了具有相似属性的特征簇之间的距离，从而优化了网络最终学习的特征表达。

S205，测试阶段，具体到实际应用，对待识别的人脸RGB模态数据和Depth模态数据进行如步骤S201和S202的预处理操作，预处理后的图像进行通道组合后输入到深度神经网络提取出512维的人脸特征。值得说明的是，本发明通过将512维特征与图像水平翻转后得到的512维特征进行连接最终得到1024维的特征表示，通过计算与注册集中人脸特征的cosine相似距离，得到其对应的相似度得分，设定一定的阈值，高于此阈值则认为是同一人，否则是不同人，从而实现人脸识别。

本发明实施例提供的基于人脸属性感知损失的人脸识别方法，鉴于性别、种族和年龄等属性与人脸面部形状和外观高度相关，该方法通过构建属性差异和特征差异的全局映射，使得在特征空间中，具有相似属性的特征向量也相近，改善了网络学习的特征表达；此外，通过对深度模态数据进行点云化处理，与彩色模态数据进行模型融合，增加了人脸模态数据的多样性，有效的提升了人脸识别方法的准确率和鲁棒性。

作为本发明实施例的另一个方面，本发明实施例根据上述各实施例提供一种基于人脸属性感知损失的人脸识别装置，该装置用于在上述各实施例中实现基于人脸属性感知损失的人脸识别。因此，在上述各实施例的基于人脸属性感知损失的人脸识别方法中的描述和定义，可以用于本发明实施例中各个执行模块的理解，具体可参考上述实施例，此处不在赘述。

根据本发明实施例的一个实施例，基于人脸属性感知损失的人脸识别装置的结构如图3所示，为本发明实施例提供的基于人脸属性感知损失的人脸识别装置的结构示意图，该装置可用于实现上述各方法实施例中基于人脸属性感知损失的人脸识别，该装置包括：预处理模块301、特征提取模块302、聚类模块303和识别输出模块304。其中：

预处理模块301用于分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；特征提取模块302用于将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取待识别人脸的高维人脸特征；聚类模块303用于将高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；识别输出模块304用于基于特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对待识别人脸的识别。

具体而言，为了便于将待识别人脸的RGB模态数据和Depth模态数据进行有效融合，预处理模块301分别执行如下处理流程：首先，预处理模块301对RGB模态数据进行人脸检测和人脸对齐，并裁剪出规格一致的人脸图像，进行尺度归一化处理。其次，预处理模块301先根据RGB模态数据上的人脸检测框和关键点位置，得到相对应的Depth模态数据上的人脸检测框和关键点位置，再将Depth模态数据转为相机坐标系下的点云表示，并在点云表示中对人脸的三维区域进行剪裁、处理与至二维平面的重新投影，得到相同尺寸Depth二维图像并进行点云转换和存储。最后，预处理模块301在信号层级上进行模型数据的融合，将归一化的人脸RGB模态数据和Depth模态数据的点云图像进行通道堆叠与数据融合，组合为6通道，作为深度卷积网络的输入。

在预处理模块301获取待识别人脸的堆叠融合后的人脸RGB模态数据和人脸Depth模态数据后，特征提取模块302将该堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入到训练好的深度卷积网络，利用深度卷积网络进行待识别人脸的高维人脸特征提取。

在特征提取模块302提取待识别人脸的高维人脸特征后，聚类模块303将利用深度卷积网络提取的高维人脸特征输入到人脸属性感知损失与分类损失结合层，利用该结合层实现结合人脸属性的人脸特征聚类。

之后，识别输出模块304采用上述相同的处理步骤对人脸图像库中不同人脸图像进行特征聚类，并通过比对待识别人脸的特征聚类和人脸图像库中不同人脸图像的特征聚类的相似度，来实现对待识别人脸的有效识别。

本发明实施例提供的基于人脸属性感知损失的人脸识别装置，通过设置相应的执行模块，引入人脸属性，并构建属性差异和特征差异之间的全局线性映射来优化特征表达，结合使用属性感知损失和多模态输入，使学习出的特征映射更具判别性和鲁棒性，能够有效提高人脸识别方法的准确率和泛化能力。

可以理解的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现上述各实施例的装置中的各相关程序模块。并且，本发明实施例的基于人脸属性感知损失的人脸识别装置利用上述各程序模块，能够实现上述各方法实施例的基于人脸属性感知损失的人脸识别流程，在用于实现上述各方法实施例中基于人脸属性感知损失的人脸识别时，本发明实施例的装置产生的有益效果与对应的上述各方法实施例相同，可以参考上述各方法实施例，此处不再赘述。

作为本发明实施例的又一个方面，本实施例根据上述各实施例提供一种电子设备，参考图4，为本发明实施例提供的电子设备的实体结构示意图，包括：至少一个存储器401、至少一个处理器402、通信接口403和总线404。

其中，存储器401、处理器402和通信接口403通过总线404完成相互间的通信，通信接口403用于该电子设备与人脸图像设备之间的信息传输；存储器401中存储有可在处理器402上运行的计算机程序，处理器402执行该计算机程序时，实现如上述各实施例所述的基于人脸属性感知损失的人脸识别方法。

可以理解为，该电子设备中至少包含存储器401、处理器402、通信接口403和总线404，且存储器401、处理器402和通信接口403通过总线404形成相互间的通信连接，并可完成相互间的通信，如处理器402从存储器401中读取基于人脸属性感知损失的人脸识别方法的程序指令等。另外，通信接口403还可以实现该电子设备与人脸图像设备之间的通信连接，并可完成相互间信息传输，如通过通信接口403实现对基于人脸属性感知损失的人脸识别等。

电子设备运行时，处理器402调用存储器401中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取待识别人脸的高维人脸特征；将高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；基于特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对待识别人脸的识别等。

上述的存储器401中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还根据上述各实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行如上述各实施例所述的基于人脸属性感知损失的人脸识别方法，例如包括：分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取待识别人脸的高维人脸特征；将高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；基于特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对待识别人脸的识别等。

本发明实施例提供的电子设备和非暂态计算机可读存储介质，通过引入人脸属性，并构建属性差异和特征差异之间的全局线性映射来优化特征表达，结合使用属性感知损失和多模态输入，使学习出的特征映射更具判别性和鲁棒性，能够有效提高人脸识别方法的准确率和泛化能力。

可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。

另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明实施例的单独实施例。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (10)

1.一种基于人脸属性感知损失的人脸识别方法，其特征在于，包括：

分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；

将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取所述待识别人脸的高维人脸特征；

将所述高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；

基于所述特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对所述待识别人脸的识别。

2.根据权利要求1所述的方法，其特征在于，对待识别人脸的Depth模态数据进行人脸图像的尺度归一化处理的步骤具体包括：

根据所述RGB模态数据上的人脸检测框和关键点位置，获取相对应的Depth模态数据上的人脸检测框和关键点位置；

将所述Depth模态数据转换为相机坐标系下的点云表示，并以所述点云表示上设定关键点的坐标作为球心，根据设定半径对所述点云表示进行裁剪；

对裁剪后的点云进行去中心化处理，并将去中心化后的点云沿深度方向平移固定的值；

将平移后的点云重新投影到二维平面，获取尺度归一的Depth图像，并将所述尺度归一的Depth图像转换为空间点云后，以三通道的二维图像进行存储。

3.根据权利要求1所述的方法，其特征在于，所述人脸属性感知损失与分类损失结合层中的人脸属性感知损失项的表达式如下：

d(p_i,p_j)＝||p_i-p_j||₂

式中，表示参数矩阵，需要深度网络学习得到，p_i,分别表示第i、j个样本所标注的人脸属性向量，d(p_i,p_j)表示两个属性向量p_i和p_j的欧氏距离，γ为阈值，用来衡量两个属性向量的相近程度，y_i、y_j分别表示第i、j个样本对应的样本标签，f_i、f_j分别表示第i、j个样本的深度特征值。

4.根据权利要求3所述的方法，其特征在于，所述人脸属性感知损失与分类损失结合层中的分类损失项的表达式如下：

式中，f_i,表示第i、j个样本的深度特征值，和分别表示最后一个全连接层的权重和偏置，N表示训练集的大小，C表示聚类的最大类别数。

5.根据权利要求4所述的方法，其特征在于，所述人脸属性感知损失与分类损失结合层的总优化目标函数表达式如下：

L＝L_s+λL_a

式中，L_s表示所述分类损失项，L_a表示所述人脸属性感知损失项，λ表示超参数，用来权衡分类损失和脸属性感知损失所占的比重。

6.根据权利要求2所述的方法，其特征在于，所述根据所述RGB模态数据上的人脸检测框和关键点位置，获取相对应的Depth模态数据上的人脸检测框和关键点位置的步骤具体包括：

对于已知RGB模态数据到Depth模态数据坐标映射关系的数据集，直接根据在所述RGB模态数据上检测得到的人脸框和关键点位置，通过映射关系得到所述Depth模态数据上的检测框和关键点位置；

对于没有提供RGB模态数据到Depth模态数据坐标映射关系的数据集，对所述待识别人脸的NIR图像进行人脸检测，得到人脸框和关键点位置，作为所述RGB模态数据上的检测框和关键点位置。

7.根据权利要求1-6中任一项所述的方法，其特征在于，在所述将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络的步骤之前，还包括：

对人脸图像样本的RGB模态数据和Depth模态数据，执行所述人脸图像的尺度归一化处理至所述通道堆叠融合的步骤，获取模型输入训练样本；

建立深度卷积网络和人脸属性感知损失与分类损失结合层融合的基础人脸识别模型，并利用所述模型输入训练样本，对所述基础人脸识别模型进行训练和更新，获取所述深度卷积网络和所述人脸属性感知损失与分类损失结合层。

8.一种基于人脸属性感知损失的人脸识别装置，其特征在于，包括：

预处理模块，用于分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；

特征提取模块，用于将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取所述待识别人脸的高维人脸特征；

聚类模块，用于将所述高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；

识别输出模块，用于基于所述特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对所述待识别人脸的识别。

9.一种电子设备，其特征在于，包括：至少一个存储器、至少一个处理器、通信接口和总线；

所述存储器、所述处理器和所述通信接口通过所述总线完成相互间的通信，所述通信接口还用于所述电子设备与人脸图像设备之间的信息传输；

所述存储器中存有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7中任一所述的方法。