CN111353411A - 一种基于联合损失函数的遮挡人脸的识别方法 - Google Patents

Abstract

本发明公开了一种基于联合损失函数的遮挡人脸的识别方法，包括以下步骤：采集YALE数据集、ORL数据集和AgeDB数据集的RGB人脸图像，将所述RGB人脸图像分为训练集和测试集；根据训练集随机生成1/4人脸遮挡部位的人脸图像，并对所述1/4人脸遮挡部位的人脸图像进行垂直和水平翻转；将所述1/4人脸遮挡部位的人脸图像输入至Resnet残差网络，以提取人脸的高维特征；将人脸的高维特征输入至联合损失函数层，以分离得到数个聚类的高维图像特征；计算测试集与Resnet残差网络中高维图像特征的欧式距离，并设定距离阀值，若欧式距离大于距离阀值，则为同一人；否则为不同的人。

Description

一种基于联合损失函数的遮挡人脸的识别方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于联合损失函数的遮挡人脸的识别方法。

背景技术

最近几年，随着图像处理技术的飞速发展与进步，人脸识别取得了巨大的进步；其原因在于：人脸识别与其他方法(虹膜和指纹识别)相比，其具有非接触并且能够抗干扰等明显优势；另外，其市场前景相当巨大。目前，现有技术中基于当前主流的深度卷积学习来区分遮挡的人脸图像，并通过神经网络结构的卷积或池化层来提取图像中的关键特征，然后对提取的特征进行分类。其中，特征的完整性是人脸算法的一个重要因素，这种基于特征的识别方法不受算法复杂度的限制并且容易实现，能够快速准确地识别人脸图像。

然而，关键特征点的识别算法只是单一的提取某种或某几种属性特征融合的方法，没有完整地从图像中提取人脸的关键特征，这会导致算法的识别率较低。另外，此方法也受到外界的许多干扰，尤其在较暗光照条件或者被其它的物体所遮挡时，人脸的识别率极低。在日常生活中，越来越多的人佩戴帽子和口罩等遮挡物，遮挡问题变得尤其突显。传统方法在恶劣环境(光照、遮挡)下对人脸图像进行分析导致算法的误差较大，不能适用在真实环境中。因此，急需要研究出一种在恶劣环境下(遮挡和非遮挡)仍能高效地识别人脸图像的方法。

目前，为了解决遮挡人脸图像的问题，主要采用基于深度学习的度量学习方法，此方法是将人脸遮挡和非遮挡图像输入神经网络中训练。然后，人脸图像通过神经网络结构的卷积和池化层来提取人脸的高维特征。最后，这些特征通过损失函数来分离不相似的特征并聚集相似的特征。因此，这些损失函数在脸识别中起着非常关键的作用。目前，损失函数主要的有以下三类：

第一类是softmax损失函数，此函数通过神经网络的映射来提取人脸的高维特征，然后对高维特征进行分类。softmax损失函数在训练过程中比其他损失函数(如对比损失或三元组损失)收敛速度快，但是此算法有两点缺点：(1)softmax损失函数不能保证人脸图像在整个训练集中均匀分布。因此，当训练数据集中数据差异较大时，所学习的特征不能正确地表示人脸的特征。(2)此损失函数只考虑了分类的正确性，没有考虑类间特征的距离。

第二类是中心损失函数(Center Loss)，中心损失不仅增大了类间的距离，还让每个相似的类都靠近中心聚簇。为了更进一步提升softmax损失函数的性能，中心损失函数在softmax损失的深层特征上添加L2约束以最小化特征之间的距离，极大地提高了softmax损失函数的性能。虽然中心损失函数可以使类内变得紧凑，不能较好地区分不同的类。

第三类是角度损失函数(A-softmax)，A-softmax损失函数通过权重向量和特征向量之间的角度来代替欧氏距离，以进一步提高了softmax损失函数的性能。此函数不仅能够扩大类间距离，还能缩小类内距离。但当训练集的数据不均匀时，此函数容易导致较低的人脸识别率。

因此，急需要提出一种收敛快、性能高的损失函数来扩大类间距离和缩小类内距离，以较明显地区分不同的特征，同时还能提高人脸识别的准确率。

发明内容

针对上述问题，本发明的目的在于提供一种基于联合损失函数的遮挡人脸的识别方法，本发明采用的技术方案如下：

一种基于联合损失函数的遮挡人脸的识别方法，包括以下步骤：

采集YALE数据集、ORL数据集和AgeDB数据集的RGB人脸图像，将所述RGB人脸图像分为训练集和测试集；根据训练集随机生成1/4人脸遮挡部位的人脸图像，并对所述1/4人脸遮挡部位的人脸图像进行垂直和水平翻转；

将所述1/4人脸遮挡部位的人脸图像输入至Resnet残差网络，以提取人脸的高维特征；

将人脸的高维特征输入至联合损失函数层，以分离得到数个聚类的高维图像特征；所述联合损失函数层的联合损失函数L_u的表达式为：

L_u＝L_s+λL_a

其中，λ表示两个损失函数的权重参数，L_s表示softmax损失函数，所述L_a表示属性损失函数；

计算测试集与Resnet残差网络中高维图像特征的欧式距离，并设定距离阀值，若欧式距离大于距离阀值，则为同一人；否则为不同的人。

进一步地，所述识别方法，还包括：

在所述1/4人脸遮挡部位的人脸图像输入至Resnet残差网络之前，将人脸图像分为遮挡图像和非遮挡图像，标记对应属性的标签，并分别划分对应的测试集和训练集，以获取网络模型训练和测试的样本；

将带有标记的训练样本输入Resnet残差网络中，通过联合损失函数得到最优的人脸识别的模型。

优选地，所述人脸的高维特征输入至联合损失函数层时，加入人脸的年龄、种族和性别属性。

优选地，所述Resnet残差网络包括依次连接的4个卷积层、4个归一化层、16个残缺块和2个全连接层；且倒数第二个全连接层内将softmax损失函数和属性损失函数结合得到联合损失函数L_u。

进一步地，所述联合损失函数L_u的构建过程如下：

所述softmax损失函数的表达是为：

其中，f(·)表示残差网络学习的特征向量；w和b分别表示残差网络学习的权重和偏置项；x_i表示第i个样本的人脸的特征值；N表示图片的数目；n表示分类的数目；人脸图像(x_i，x_j)表示通过f(·)映射得到深度特征(f_i，f_j)；

所述属性损失函数的表达式为：

其中，p_i表示在人脸图像x_i中增加的属性；G是训练的矩阵参数；d(p_i，p_j)是特征向量p_i和p_j的距离；τ是用户自定义阈值；f_i和f_j分别表示残差网络学习到的特征映射；L_a表示人脸属性损失函数；

所述联合损失函数的表达为：

L_u＝L_s+λL_a

其中，λ表示两个损失函数的权重参数，L_s表示softmax损失函数，所述L_a表示属性损失函数。

更进一步地，将带有标记的训练样本输入Resnet残差网络中，通过联合损失函数得到最优的人脸识别的模型，包括以下步骤：

利用卷积层上的卷积核提取人脸图像的数个高维特征，并利用残差网络的权重和偏置项得到网络的特征图；

利用联合损失函数计算获得Resnet残差网络的损失值；

计算网络模型反向传播的梯度；

采用梯度下降算法更新网络节点的参数，并得到最优的人脸识别的模型。

一种基于联合损失函数的遮挡人脸的识别系统，包括：

数据处理模块，收集YALE数据集、ORL数据集和AgeDB数据集的RGB人脸图像，随机生成1/4人脸遮挡部位的人脸图像，并对所述1/4人脸遮挡部位的人脸图像进行垂直和水平翻转；所述RGB人脸图像分为训练集和测试集；

特征提取模块，利用Resnet残差网络提取1/4人脸遮挡部位的人脸图像中的高维特征；

聚类模块，加入年龄、种族和性别属性，并联合损失函数聚集相似属性的人脸特征；

人脸识别模块，计算测试集与Resnet残差网络中高维图像特征的欧式距离，并进行人脸识别验证。

优选地，所述Resnet残差网络包括依次连接的4个卷积层、4个归一化层、16个残缺块和2个全连接层；且倒数第二个全连接层内将softmax损失函数和属性损失函数结合得到联合损失函数L_u，其表达式为：

L_u＝L_s+λL_a

其中，λ表示两个损失函数的权重参数，L_s表示softmax损失函数，所述L_a表示属性损失函数。

与现有技术相比，本发明具有以下有益效果：

(1)本发明巧妙地采用改进的损失函数UASL，此函数不仅能提升人脸识别的准确率，还能在不同的数据集上同样有较好的准确率和性能。

(2)本发明新增人脸的年龄、种族和性别三种属性，由于人的年龄，种族和性别等属性与人脸的形状和外貌相关。不同人的面部表情和姿态有明显的差异，新增的人脸属性有助于残差网络提取其他有用的面部特征。本发明结合损失函数(softmax)与属性损失函数来映射人脸特征向量在高维空间中的分布。

(3)本发明通过损失函数(softmax)与属性损失函数的结合构成联合损失函数，其利用属性之间的差异来线性逼近人脸特征向量之间的差异，并在高维空间中聚集相似属性的人脸特征，能够更准确地识别遮挡的人脸图像。

(4)本发明巧妙地使用联合损失函数将相似属性的人脸特征聚集为一类，并减小了类内特征的距离，即相似属性特征的聚类通过联合损失函数后变得更加紧密。

(5)本发明最大化传递网络中各层之间的信息，网络层之间直接相互连接，并引入ResNet残差模块，减少了传统CNN模型的参数，还提高了人脸识别的准确率。另外，引入的残差模块有效地防止网络出现梯度消失和过拟合的现象。

(6)本发明高效地使用了梯度下降算法，网络中的参数计算量小并且计算的速度快，应用在大规模数据集上仍能够有很好的准确率和性能。

(7)本发明巧妙地对1/4遮挡部位的人脸图像进行垂直和水平翻转操作，以增强人脸数据，保证后期识别、验证更准确。

(8)本发明的人脸图像通过残差网络中来提取高维特征，然后通过联合损失函数来聚集相似属性的人脸特征，将测试图像与训练好的网络模型进行匹配，从而识别测试的人脸图像。

综上所述，本发明具有收敛快、性能高、识别准确等优点，在图像处理及时领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明联合损失函数的遮挡人脸识别流程图。

图2为本发明Resnet残差网络结构框架图。

图3为本发明的联合损失函数训练的特征分布比较图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1至图3所示，本实施例提供了一种基于联合损失函数的遮挡人脸的识别系统及方法；其中，识别系统包括

数据处理模块，收集YALE数据集、ORL数据集和AgeDB数据集的RGB人脸图像，随机生成1/4人脸遮挡部位的人脸图像，并对所述1/4人脸遮挡部位的人脸图像进行垂直和水平翻转；所述RGB人脸图像分为训练集和测试集；

特征提取模块，利用Resnet残差网络提取1/4人脸遮挡部位的人脸图像中的高维特征；

聚类模块，加入年龄、种族和性别属性，并联合损失函数聚集相似属性的人脸特征；

人脸识别模块，计算测试集与Resnet残差网络中高维图像特征的欧式距离，并进行人脸识别验证。

下面详细阐述本实施例的识别方法：

第一步，采集YALE数据集、ORL数据集和AgeDB数据集的RGB人脸图像，将所述RGB人脸图像分为训练集和测试集；根据训练集随机生成1/4人脸遮挡部位的人脸图像，并对所述1/4人脸遮挡部位的人脸图像进行垂直和水平翻转；在此对所述1/4人脸遮挡部位的人脸图像进行垂直和水平翻转操作，以增强人脸数据，保证后期识别、验证更准确。

第二步，将人脸图像分为遮挡图像和非遮挡图像，标记对应属性的标签，并分别划分对应的测试集和训练集，以获取网络模型训练和测试的样本；将带有标记的训练样本输入Resnet残差网络中，此Resnet残差网络依次连接的4个卷积层、4个归一化层、16个残缺块和2个全连接层；且在倒数第二个全连接层中将损失函数(softmax)与属性损失函数结合来改进损失函数(UASL)。因此，人脸图像通过联合损失函数得到最优的人脸识别的模型。

在本实施例中，UASL联合损失函数的具体步骤为：

(1)softmax损失函数易于优化并且收敛快，因此广泛地用在人脸图像的分类中，该函数表示如下：

其中，训练样本集A＝{(x_i，x_j)，i＝1,…,N}，x_i∈R^m×n，y_i∈{1,…,C}；f(·)是残差网络学习的特征向量；w和b分别表示残差网络学习的权重和偏置项；x_i表示第i个样本的人脸的特征值；N表示人脸图片的数目；n表示分类的数目；人脸图像(x_i，x_j)通过f(·)函数映射得到深度特征(f_i，f_j)，通过这些特征之间的欧氏距离来计算图像中的相似性。Softmax损失函数优化网络结构中的损失，然后根据分类的结果对人脸图像进行分类和预测。

Softmax损失函数不能分离不同的类，为了学到更具有区分度的特征，中心损失函数L_c要求每一类的深度特征f_i聚集到每一类的聚簇中心{c_yi}，以分离不同的类和聚集相同的类，该函数表示为：

(2)当训练数据集的数据分布变化较大时，所学习的特征映射不能正确地分类。另外，除了脸部的特征外，人脸的其他的属性(如性别、种族和年龄)也是区分人脸图像的重要因素。因此，本发明将人脸的其他属性(性别、种族和年龄)加入到损失函数中，其公式为：

其中，特征向量p_i表示在人脸图像x_i中增加的属性；G是训练的矩阵参数；d(p_i，p_j)是特征向量p_i和p_j的距离；τ是用户自定义阈值，控制着人脸特征向量是否能够相互靠近；f_i和f_j分别表示残差网络学习到的特征映射；L_a表示人脸属性损失函数。

(3)本发明基于第一步的损失函数进行了改进，增加了第二步的人脸属性损失函数，同时考虑了人脸图像受遮挡条件的影响。改进的联合损失函数(UASL)结合了两种损失函数(属性损失函数和softmax损失函数)，以聚类相似的特征，其公式为：

L_u＝L_s+λL_a

其中，L_u为联合损失函数；λ为两个损失函数的权重参数，管控着类间的距离。联合损失函数将相似属性的人脸特征划分一类，扩大了类间的距离并减少了类内的距离，即相似属性特征的聚类通过联合损失函数后变得更加紧密。

下面简要说明本实施例的训练过程：

(1)训练样本集A＝{(x_i，x_j)，i＝1,…,N}，x_i∈R^m×n，标记相应的标签。训练样本和带标签的人脸图像一起输入Resnet残差网络中训练。

(2)在训练和测试阶段，对网络模型进行初始化。

(3)在卷积层(滤波器)上人脸图像通过卷积核来提取的不同的高维特征，并通过相应的权重和偏置项得到网络的特征图。

(4)图像通过归一化层来防止梯度弥散现象，并减少了网络的计算时间。

(5)ResNet残差模块减少了CNN模型的参数，提高了人脸识别的准确率。另外，引入的残差模块有效地防止网络出现梯度消失和过拟合的现象。

(6)前向传播算法根据当前残差网络模型的权重和偏置计算前向传播输出结果，并使用联合损失函数(L_u＝L_τ+λL_a)来计算网络中的损失值。

(7)通过上一步的结果来计算网络模型反向传播的梯度。

(8)采用梯度下降算法更新网络节点的参数，包括权重w、偏置项b和训练的矩阵参数G等，得到最优的人脸识别的模型。

第三步，将所述1/4人脸遮挡部位的人脸图像输入至Resnet残差网络，以提取人脸的高维特征；

第四步，将人脸的高维特征输入至联合损失函数层，以此同时，加入人脸的年龄、种族和性别属性，以分离得到数个聚类的高维图像特征；

第五步，计算测试集与Resnet残差网络中高维图像特征的欧式距离，并设定距离阀值，若欧式距离大于距离阀值，则为同一人；否则为不同的人。

为了验证本发明具有良好的识别性能，特进行以下对比：

本发明采用公开的人脸数据集(包括YALE，ORL和AgeDB)，ORL数据集有12000个不同身份的500000张遮挡和非遮挡图片。另外两种数据集分别是YALE和AgeDB。YALE数据集包含3000个不同身份的12000张遮挡和非遮挡图片，AgeDB数据集包含的6000张遮挡和非遮挡人脸图像。这些数据集通过垂直和水平翻转作为数据增强，然后每张图片随机生成1/4遮挡部位的人脸图像。Resnet网络结构的学习率为0.1，动量为0.9，批处理batch设为64，λ设置为0.6，并采用随机梯度下降法来训练网络模型。

本发明通过不同的数据集(包括YALE，ORL和AgeDB)来验证不同的网络结构对遮挡人脸图像的准确率，其中的网络结构包括Resnet18、Mobilenet、Resnet36和Densenet。实验1结果如表1所示，在三种数据集下，Resnet36网络结构的识别率比其余所有网络结构的识别率都高。因此，实验采用Resnet36作为基础网络结构来识别人脸遮挡的图像。

表1不同损失函数的准确率

基于上述实验1的实验结果，实验2使用Resnet36网络结构，实验中的训练集(包括YALE，ORL和AgeDB)在不同的损失函数(softmax，中心损失函数，A-softmax和UASL)下进行测试，实验2测试的结果如表2所示。改进的UASL在三种数据集上的准确率都优于其他损失函数，在姿态变化较大的ORL数据集和年龄变化大的AgeDB数据集中，准确率增长得越大。因此，改进的UASL不仅提高了人脸识别的准确率，还在其他数据集下也能达到很好的准确率和性能。

表2不同损失函数的准确率

实验2在YALE数据集的结果如图3所示，图中左侧表示带有属性标签的人脸图像，右侧分别使用softmax和属性损失函数进行分类，方块表示男性分类的结果，圆形表示女性分类的结果。由图可知，当训练集男女样本偏差大时，人脸识别的准确率较低。另外，联合损失函数将相似属性的人脸特征划分一类，减小了相似类之间的距离和增大了不同类的距离，即相似的属性特征通过联合损失函数后变得更加接近，不同的特征相距较远。另外，增加人脸属性有助于残差网络提取其他有用的面部特征，因为年龄，种族和性别等属性与人脸的形状和外貌相关。例如，不同人的面部表情和外貌有较大的差别。因此，UASL可以利用属性的外观来提高人脸识别的准确率。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (8)

1.一种基于联合损失函数的遮挡人脸的识别方法，其特征在于，包括以下步骤：

采集YALE数据集、ORL数据集和AgeDB数据集的RGB人脸图像，将所述RGB人脸图像分为训练集和测试集；根据训练集随机生成1/4人脸遮挡部位的人脸图像，并对所述1/4人脸遮挡部位的人脸图像进行垂直和水平翻转；

将所述1/4人脸遮挡部位的人脸图像输入至Resnet残差网络，以提取人脸的高维特征；

将人脸的高维特征输入至联合损失函数层，以分离得到数个聚类的高维图像特征；所述联合损失函数层的联合损失函数L_u的表达式为：

L_u＝L_s+λL_a

其中，λ表示两个损失函数的权重参数，L_s表示softmax损失函数，所述L_a表示属性损失函数；

计算测试集与Resnet残差网络中高维图像特征的欧式距离，并设定距离阀值，若欧式距离大于距离阀值，则为同一人；否则为不同的人。

2.根据权利要求1所述的一种基于联合损失函数的遮挡人脸的识别方法，其特征在于，还包括：

在所述1/4人脸遮挡部位的人脸图像输入至Resnet残差网络之前，将人脸图像分为遮挡图像和非遮挡图像，标记对应属性的标签，并分别划分对应的测试集和训练集，以获取网络模型训练和测试的样本；

将带有标记的训练样本输入Resnet残差网络中，通过联合损失函数得到最优的人脸识别的模型。

3.根据权利要求1所述的一种基于联合损失函数的遮挡人脸的识别方法，其特征在于，所述人脸的高维特征输入至联合损失函数层时，加入人脸的年龄、种族和性别属性。

4.根据权利要求1所述的一种基于联合损失函数的遮挡人脸的识别方法，其特征在于，所述Resnet残差网络包括依次连接的4个卷积层、4个归一化层、16个残缺块和2个全连接层；且倒数第二个全连接层内将softmax损失函数和属性损失函数结合得到联合损失函数L_u。

5.根据权利要求1所述的一种基于联合损失函数的遮挡人脸的识别方法，其特征在于，所述联合损失函数L_u的构建过程如下：

所述softmax损失函数的表达是为：

其中，f(·)表示残差网络学习的特征向量；w和b分别表示残差网络学习的权重和偏置项；x_i表示第i个样本的人脸的特征值；N表示图片的数目；n表示分类的数目；人脸图像(x_i，x_j)表示通过f(·)映射得到深度特征(f_i，f_j)；

所述属性损失函数的表达式为：

其中，p_i表示在人脸图像x_i中增加的属性；G是训练的矩阵参数；d(p_i，p_j)是特征向量p_i和p_j的距离；τ是用户自定义阈值；f_i和f_j分别表示残差网络学习到的特征映射；L_a表示人脸属性损失函数；

所述联合损失函数的表达为：

L_u＝L_s+λL_a

其中，λ表示两个损失函数的权重参数，L_s表示softmax损失函数，所述L_a表示属性损失函数。

6.根据权利要求5所述的一种基于联合损失函数的遮挡人脸的识别方法，其特征在于，将带有标记的训练样本输入Resnet残差网络中，通过联合损失函数得到最优的人脸识别的模型，包括以下步骤：

利用卷积层上的卷积核提取人脸图像的数个高维特征，并利用残差网络的权重和偏置项得到网络的特征图；

利用联合损失函数计算获得Resnet残差网络的损失值；

计算网络模型反向传播的梯度；

采用梯度下降算法更新网络节点的参数，并得到最优的人脸识别的模型。

7.一种基于联合损失函数的遮挡人脸的识别系统，其特征在于，包括：

数据处理模块，收集YALE数据集、ORL数据集和AgeDB数据集的RGB人脸图像，随机生成1/4人脸遮挡部位的人脸图像，并对所述1/4人脸遮挡部位的人脸图像进行垂直和水平翻转；所述RGB人脸图像分为训练集和测试集；

特征提取模块，利用Resnet残差网络提取1/4人脸遮挡部位的人脸图像中的高维特征；

聚类模块，加入年龄、种族和性别属性，并联合损失函数聚集相似属性的人脸特征；

人脸识别模块，计算测试集与Resnet残差网络中高维图像特征的欧式距离，并进行人脸识别验证。

8.根据权利要求7所述的一种基于联合损失函数的遮挡人脸的识别系统，其特征在于，所述Resnet残差网络包括依次连接的4个卷积层、4个归一化层、16个残缺块和2个全连接层；且倒数第二个全连接层内将softmax损失函数和属性损失函数结合得到联合损失函数L_u，其表达式为：

L_u＝L_s+λL_a

其中，λ表示两个损失函数的权重参数，L_s表示softmax损失函数，所述L_a表示属性损失函数。

Images