CN108647583B - 一种基于多目标学习的人脸识别算法训练方法 - Google Patents

Abstract

本发明公开了一种基于多目标学习的人脸识别算法训练方法，包括以下步骤：随机初始化神经网络参数，使用基于人脸身份的损失函数以及基于人脸特征点位置约束的损失函数，以最小化学习目标对深度卷积网络进行训练；当对人脸身份的预测准确率达到阈值后，计算基于人脸特征类内距离的损失函数和基于人脸特征类间距离的损失函数，并对每一个样本使用基于人脸身份的损失函数及人脸特征点位置约束的损失函数计算；基于人工设置权重，对各损失函数进行加权，得到总的损失函数，并基于总的损失函数实现反向传播，实现对网络参数的更新，当准确率稳定后，停止网络训练，得到训练好的人脸识别模型。

Description

一种基于多目标学习的人脸识别算法训练方法

技术领域

本发明涉及人脸识别算法训练技术领域，具体涉及一种基于多目标学习的人脸识别算法训练方法。

背景技术

基于深度卷积网络的人脸识别算法是当前人脸识别算法的主流模型，其中的主要技术包括采用多层卷积神经网络，基于ReLU(修正线性单元，Rectified linear unit)的激活函数以及基于TripLet loss的监督训练方法，其存在的主要缺点包括两点：

一、仅在输入训练图像时对图像进行初步对齐，在训练过程中并不考虑人脸姿态的影响，对人脸姿态变化的鲁棒性有限；

二、训练目标以训练集中样本的预测准确率为目标，在实际部署应用中，基于深度卷积网络所提取的特征要求同一身份的不同人脸图像对应的特征之间相互接近，而不同身份人脸图像对应的特征之间相互远离，算法训练和应用中的目标存在偏差，导致识别算法的泛化能力受限。

发明内容

本发明提供了一种基于多目标学习的人脸识别算法训练方法，一是将人脸面部特征点位置作为识别算法的学习目标之一，进行多目标约束下的学习，提高人脸识别算法对人脸姿态的鲁棒性；二是将最大化人脸类间距离和最小化类内距离作为学习目标之一，与人脸身份预测一起对识别算法进行监督学习，提高人脸识别算法的泛化能力。

本发明所要解决的技术问题有三：一是针对上述现有人脸识别算法的缺点一，提出了一种将人脸特征点位置作为人脸识别算法训练过程中的约束目标之一，提高人脸识别算法对人脸姿态的鲁棒性；二是针对上述现有人脸识别算法的缺点二，提出了一种将人脸样本的类内距离和类间距离作为算法训练时的学习目标之一，使得算法学习得到的人脸特征向量具备类内间距小，类间距离大的特点，与算法应用时的目标保持一致，提高算法的泛化能力；三是针对新加入的约束条件，提出了一种新的训练方法，实现对深度卷积网络的训练。

本发明采取的技术方法如下：

一种基于多目标学习的人脸识别算法训练方法，包括以下步骤：

1)随机初始化神经网络参数，使用基于人脸身份的损失函数以及基于人脸特征点位置约束的损失函数，以最小化学习目标对深度卷积网络进行训练；

2)当对人脸身份的预测准确率达到阈值后，计算基于人脸特征类内距离的损失函数和基于人脸特征类间距离的损失函数，并对每一个样本使用基于人脸身份的损失函数及人脸特征点位置约束的损失函数计算；

3)基于人工设置权重，对步骤2)得到的基于人脸身份的损失函数、基于人脸特征点位置约束的损失函数、基于人脸特征类内距离的损失函数和人脸特征点位置约束的损失函数进行加权，得到总的损失函数，并基于总的损失函数实现反向传播，实现对网络参数的更新，当准确率稳定后，停止网络训练，得到训练好的人脸识别模型。

步骤1)中，此时网络尚没有学习到人脸特征，考虑到训练过程的稳定性和效率，不应加入类间距离和类内距离进行学习。

步骤1)和步骤2)中，所述的基于人脸身份的损失函数，具体包括：

a)对于第i个人脸样本图像对应的特征K_3i，通过全连接网络将其映射为N维向量F_i：

F_i＝M₂K_3i+b₂

其中，M₂为对应全连接网络的权重，b₂为对应全连接网络的偏置；

b)基于softmax函数预测F_i所对应的人脸身份，即V_i＝softmax(F_i),V_i为维向量，且只有其中一维为1，其余为0，设取值为1的维度为第i维，则其预测的人脸身份为i；

c)设计损失函数为马氏距离L_4i，即

I_i为图像中人脸对应的身份；

d)计算L_4i对于M₂和b₂的梯度，将其用于反向传播算法，实现对网络参数的调整。

所述的基于人脸特征点位置约束的损失函数，具体包括：

设计人脸特征点位置损失函数，设对于第i人脸样本，其损失为L_1i，损失函数的表达式为：

L_1i＝L₁(M₁K_1i+b₁,l_i)

其中，L₁为损失函数，M₁为对应全连接网络的权重，b₁为对应全连接网络的偏置，l_i为第i人脸样本对应的人脸特征点位置，K_1i为深度卷积网络某一层的输出，通过线性网络预测人脸特征点位置，设预测的人脸特征点位置为l′_i，则有l′_i＝M₁*K_1i+b₁；

损失函数L₁可以取欧氏距离、马氏距离等机器学习中常规的损失函数。

步骤2)中，阈值为人工选定，如可选为60％，所述的阈值为55％～70％。

基于人脸特征类内距离的损失函数和基于人脸特征类间距离的损失函数的计算需要两个人脸样本图像集合，每个集合包含随机选取身份的人脸样本图像，且两个集合代表的人脸身份不同，需要通过随机选取两个不同身份的人脸样本图像集合，并各自在其中选取相同数量的人脸样本图像。

计算基于人脸特征类内距离的损失函数和基于人脸特征类间距离的损失函数，具体包括：

A：随机选取部分身份为I_i的人脸样本图像

n为选取的样本数量，

为身份为I_i的人脸样本图像总数，基于当前深度网络的参数，计算其人脸特征{K_2i1,K_2i2,…K_2ij…K_2in}，定义类内距离

为

其中μ_i为身份为I_i的人脸图像对应特征的平均值，即

B：选取基于类内距离的损失函数为L₂，计算样本{x_i1,x_i2,…x_in}对应的类内距离的损失为

C：随机选取部分身份为I_i的人脸样本图像

以及身份为I_m的人脸样本图像

为身份为I_i的人脸样本图像总数，

为身份为I_m的人脸样本图像总数，样本选取的数量相同，且为n，基于当前深度网络的参数，计算两者的人脸图像特征分别为{K_2i1,K_2i2,…K_2ij…K_2in}以及{K_2m1,K_2m2,…K_2mj,…K_2mn}，定义类间距离D_bim为：

其中，|x|_p表示x的p阶范数

μ_i为身份为I_i的人脸图像对应特征的平均值，即

μ_m为身份为I_m的人脸图像对应特征的平均值，即

D：选取类间距离的损失函数L₃，即类间距离的损失L_3bim＝L₃(-D_bim)。

步骤B中，损失函数L₂可以在神经网络常用的损失函数中选取，如Hinge类损失函数(Hinge Loss)、二次函数等。

步骤D中，损失函数L₃可以在神经网络常用的损失函数中选取，如Hinge类损失函数、二次函数等，由于类间距离需要最大化，故将类间距离取负作为损失函数L₃的输入。

步骤3)中，权重的确定可以通过交叉验证的方式实现。

与现有技术相比，本发明具有如下优点：

本发明针对现有人脸识别算法在训练过程中存在的问题，提过了改进，其要点包括两点：一是将人脸面部特征点位置作为识别算法的学习目标之一，进行多目标约束下的学习，提高人脸识别算法对人脸姿态的鲁棒性；二是将最大化人脸类间距离和最小化类内距离作为学习目标之一，与人脸身份预测一起对识别算法进行监督学习，提高人脸识别算法的泛化能力。在改进识别算法的基础上，提出了一种新的训练方法，实现对包含上述学习目标的深度卷积网络的训练。

附图说明

图1为本发明中人脸图像中人脸特征点的示意图；

图2为本发明中基于深度卷积网络的人脸识别模型的结构示意图；

图3为不添加类间距离和类内距离的人脸识别模型在LFW人脸测试数据集上的测试结果；

图4为基于本发明得到的人脸识别模型在LFW人脸测试数据集上的测试结果；

图5为本发明基于多目标学习的人脸识别算法训练方法的流程图示意图。

具体实施方式

1.通过人工结合算法的方式构建人脸样本集合X，并将其随机分为训练集和测试集：

1.1获取训练样本图像s_i及图像中人脸对应的身份I_i。

1.2基于现有人脸检测算法对图像中的人脸进行检测，获取人脸所在区域。

1.3基于人脸特征点检测算法对人脸人脸图像中的人脸特征点进行定位，并基于特征点位置对人脸图像进行初步对齐(常用的对齐方法如基于仿射变换的对齐、基于3D人脸模型的对齐等)，得到对齐后的样本图像为s′_i。

1.4裁剪对齐后的图像s′_i，得到包含人脸部分的图像x_i，以及人脸特征点在裁剪后图像上的坐标l_i，作为构成训练样本对(x_i:l_i,l_i)。

1.5整个人脸样本集合构成为X＝{(x_i:l_i,l_i)}_i＝1～S,其中S为训练集样本总数量。

2.确定深度卷积网络结构：

2.1确定网络层数及每层网络的结构，包括卷积核的大小，激活函数的形式，是否采用Drop-out等；

2.2确定各类损失函数的权重，包括人脸特征点位置损失函数、类内距离损失函数，类间距离损失函数，人脸身份预测损失函数的权重，并通过加权和的方式得到总的损失函数。

3.确定深度卷积网络的训练参数：

3.1确定反向传播计算时的初始步长；

3.2确定步长的变化方式，如自适应方式，或是与训练次数成反比的方式；

3.3确定每次训练的样本数量；

3.4确定计算类内距离和类间距离时，需要的每个身份的人脸样本数量；

3.5人脸身份预测准确率阈值。

4.采用基于人脸身份的损失函数和基于人脸特征点位置约束的损失函数对网络进行训练，并在测试集上计算身份预测的准确率。

5.当身份预测准确率达到一定阈值后(阈值为人工设定)，加入基于类内距离和类间距离的损失函数：

5.1在每次迭代中，随机选取两个不同身份的人脸子集；

5.2在所选择的两个人脸子集中随机选取一定数量的人脸样本(选取的数量事先人工给定)；

5.3在所选择的两个样本子集上计算类内距离损失和类间距离损失，并对两个子集内的每个人脸样本计算其基于人脸身份的损失和基于人脸特征点位置约束的损失，基于人工设置权重，对步骤2)得到的基于人脸身份的损失函数、基于人脸特征点位置约束的损失函数、基于人脸特征类内距离的损失函数和人脸特征点位置约束的损失函数进行加权，得到总的损失函数，权重的确定可以通过交叉验证的方式实现；

5.4基于反向传播对网络参数进行训练。

6.当测试集上的准确率稳定后，停止网络训练，得到训练好的人脸识别模型。在应用中基于该模型提取人脸特征(如附图中的K₂层的输出)，用于人脸的识别。

本发明涉及的函数如下：

1.一种基于人脸特征点位置约束的损失函数。

2.一种基于人脸特征类内距离及类间距离的损失函数。

3.一种基于人脸身份的损失函数。

具体方法如下：

1.对于一种基于人脸特征点位置约束的损失函数，采用的具体方法包括：

1.1.对于某一个人脸训练样本(x_i:l_i,l_i)，其中x_i为经过初步对齐且包含样本人脸的图像块；l_i为该人脸样本对应的人脸特征点位置，其中人脸特征点为人脸图像上的一些点，例如附图1中所示，其中特征点为人工定义；I_i为该人脸样本对应的身份信息，通常在人脸识别算法训练时，取整数值，表示N个不同身份人脸中的某一个，取值区间为[0,N-1]；

1.2.设计基于深度卷积网络的人脸识别模型，如附图2所示，其中用于监督训练和人脸识别的人脸特征输出层外，前置网络可以采用常规的卷积层(卷积网络+对应激活层)+全连接层实现，具体包括：若干个卷积层和相对应的若干个池化层，全连接层，特征层和全连接层。跟本发明关系密切的有三层，即人脸特征点位置损失函数特征输入层(图示中表示为K₁，表示其输入到人脸特征点位置约束损失函数的特征为K₁)，类内距离及类间距离损失函数特征输入层(图中表示为K₂，表示其输入到类内距离损失函数的特征为K₂)，以及身份损失函数特征输入层(图中表示为K₃，表示其输入到身份损失函数的特征为K₃)。特征K₁，K₂，K₃可以为不同网络层的输出，也可以是同一网络层的输出，即三者相同。

1.3设计人脸特征点位置损失函数，设对于第i人脸样本，其损失为L_1i，有：

L_1i＝L₁(M₁K_1i+b₁,l_i)

其中，L₁为损失函数，M₁为对应全连接网络的权重，b₁为对应全连接网络的偏置，l_i为第i人脸样本对应的人脸特征点位置，K_1i为深度卷积网络某一层的输出，通过线性网络预测人脸特征点位置，设预测的人脸特征点位置为l′_i，则有l′_i＝M₁*K_1i+b₁。L₁为损失函数，可以取欧氏距离、马氏距离等机器学习中常规的损失函数，例如选取损失函数为欧式距离的时候，损失函数可表示为

L_1i＝L₁(M₁K_1i+b₁,l_i)＝(M₁K_1i+b₁-l_i)^T(M₁K_1i+b₁-l_i)

其中，M₁和b₁分别为对应全连接网络的权重及偏置。

1.4设计人脸识别算法训练方法。采用反向传播算法，对人脸位置约束计算其反向传播的梯度如下：

其具体的梯度形式依赖于损失函数L₁的选取，以欧氏距离为例，损失函数为：

L₁(M₁*K_1i+b₁,l_i)＝(M₁*K_1i+b₁-l_i)^T(M₁*K_1i+b₁-l_i)

其梯度为：

计算得到的梯度将用于反向传播算法对网络参数进行调整；

对于方法2，即一种基于人脸特征类内距离及类间距离的损失函数，其具体方法为：

2.1随机选取部分身份为I_i的人脸样本图像

n为选取的样本数量，

为身份为I_i的人脸样本图像总数。

2.2基于当前深度网络的参数，计算其人脸特征{K_2i1,K_2i2,…K_2ij…K_2in}，其类内距离定义为

其中μ_i为身份为I_i的人脸图像对应特征的平均值，即

2.3选取基于类内距离定义的损失函数L₂，计算样本{x_i1,x_i2,…x_in}对应的损失为

其中损失函数L₂可以在神经网络常用的损失函数中选取，如Hinge类损失函数、二次函数等。

2.4计算类内距离损失

相对于深度网络参数的梯度，用于反向传播算法对神经网络参数的调整。

2.5随机选取部分身份为I_i的人脸样本图像

以及身份为I_m的人脸样本图像

为身份为I_i的人脸样本图像总数，

为身份为I_m的人脸样本图像总数，样本选取的数量相同，且为n。

基于当前深度网络的参数，计算两者的人脸图像特征分别为{K_2i1,K_2i2,…K_2ij…K_2in}以及{K_2m1,K_2m2,…K_2mj,…K_2mn}，定义类间距离D_bim为：

其中，|x|_p表示x的p阶范数

μ_i为身份为I_i的人脸图像对应特征的平均值，μ_m为身份I_m的人脸图像对应特征的平均值；

μ_i为身份I_i的人脸图像对应特征的平均值，即

μ_m为身份I_m的人脸图像对应特征的平均值，即

2.6选取类间距离的损失函数L₃，即L_3bim＝L₃(-D_bim)，其中损失函数L₃可以在神经网络常用的损失函数中选取，如Hinge类损失函数、二次函数等，由于类间距离需要最大化，故将类间距离取负作为损失函数L₃的输入。

2.7计算类间距离损失L_3ij对网络参数的梯度，用于反向传播算法对神经网络参数的调整。

对于方法3，即一种基于人脸身份的损失函数，其具体方法如下：

3.1对于第i个人脸样本图像对应的特征K_3i,通过全连接网络将其映射为N维向量F_i：

F_i＝M₂K_3i+b₂

M₂和b₂分别为全连接网络的权重和偏置。

3.2基于softmax函数预测F_i所对应的人脸身份，即V_i＝softmax(F_i),V_i为维向量，且只有其中一维为1，其余为0。设取值为1的维度为第i维，则其预测的人脸身份为i。

3.3设计损失函数为马氏距离L_4i，即

I_i为图像中人脸对应的身份；

3.4计算L_4i对于M₂和b₂的梯度，将其用于反向传播算法，实现对网络参数的调整。

一种基于多目标学习的人脸识别算法训练方法，包括以下步骤：

4.1随机初始化神经网络参数

4.2以最小化基于人脸身份的损失以及基于人脸特征点位置约束的损失为学习目标，对深度卷积网络进行训练

4.3当网络对人脸身份的预测准确率达到一定阈值(阈值为人工选定，如可选为60％)后，加入基于类内距离和类间距离的损失函数。由于类间距离和类内距离的损失函数的计算需要两个人脸样本图像集合，每个集合包含随机选取身份的人脸图像，且两个集合代表的人脸身份不同，需要通过随机选取两个不同身份的人脸样本图像集合，并各自在其中选取相同数量的人脸样本图像

4.4将两个集合的样本图像输入到神经网络，并计算类内及类间损失函数，并对每一个样本计算基于人脸身份及人脸特征点位置约束的损失函数。

4.5基于人工设置权重对四类损失进行加权，得到总的损失函数，并基于总的损失函数实现反向传播，实现对网络参数的更新。权重的确定可以通过交叉验证的方式实现。

实施例1

基于本发明提出的人脸识别算法及其训练算法，基于微软百万名人数据库进行训练，在LFW人脸数据集上进行测试。测试条件如下：条件一，采用图2的深度网络结构，不添加类间距离和类内距离约束；条件二，采用与条件一相同的深度网络结构，添加类间距离和类内距离约束。

分别在LFW人脸测试数据上进行试验，得到相同人脸图像对及不同人脸图像对之间相似度的分布分别如图3及图4所示，试验结果表明，图4相比图3，相同人脸之间的相似度更高，且分布方差较小，不同人脸之间的相似度更低，且分布的方差较大，说明本发明提出的方法能够有效提高人脸识别的准确率。

图3试验结果：无类间距离及类内距离约束的人脸相似度分布，其中深灰色(左边)：不同人脸图相对相似度，浅灰色(右边)：相同人脸图相对相似度，相似度范围为0到100。

图4试验结果：本发明提出的方法，带有类间距离及类内距离约束的人脸相似度分布，深灰色(左边)：不同人脸图相对相似度，浅灰色(右边)：相同人脸图相对相似度，相似度范围为0到100。

Claims (7)

1.一种基于多目标学习的人脸识别算法训练方法，其特征在于，包括以下步骤：

1)随机初始化神经网络参数，使用基于人脸身份的损失函数以及基于人脸特征点位置约束的损失函数，以最小化学习目标对深度卷积网络进行训练；

2)当对人脸身份的预测准确率达到阈值后，计算基于人脸特征类内距离的损失函数和基于人脸特征类间距离的损失函数，并对样本集中的每一个样本使用基于人脸身份的损失函数及人脸特征点位置约束的损失函数计算；

3)基于人工设置权重，对步骤2)得到的基于人脸身份的损失函数、基于人脸特征点位置约束的损失函数、基于人脸特征类内距离的损失函数和基于人脸特征类间距离的损失函数进行加权，得到总的损失函数，并基于总的损失函数实现反向传播，实现对网络参数的更新，当准确率稳定后，停止网络训练，得到训练好的人脸识别模型。

2.根据权利要求1所述的基于多目标学习的人脸识别算法训练方法，其特征在于，步骤1)和步骤2)中，所述的基于人脸身份的损失函数，具体包括：

a)对于第i个人脸样本图像对应的特征K_3i，通过全连接网络将其映射为N维向量F_i：

F_i＝M₂K_3i+b₂

其中，M₂为对应全连接网络的权重，b₂为对应全连接网络的偏置；

b)基于softmax函数预测F_i所对应的人脸身份，即V_i＝softmax(F_i),V_i为维向量，且只有其中一维为1，其余为0，设取值为1的维度为第i维，则其预测的人脸身份为i；

c)设计损失函数为马氏距离L_4i，即

I_i为图像中人脸对应的身份；

d)计算L_4i对于M₂和b₂的梯度，将其用于反向传播算法，实现对网络参数的调整。

3.根据权利要求1所述的基于多目标学习的人脸识别算法训练方法，其特征在于，步骤1)和步骤2)中，所述的基于人脸特征点位置约束的损失函数，具体包括：

设计人脸特征点位置损失函数，设对于第i人脸样本，其损失为L_1i，损失函数的表达式为：

L_1i＝L₁(M₁K_1i+b₁,l_i)

其中，L₁为损失函数，M₁为对应全连接网络的权重，b₁为对应全连接网络的偏置，l_i为第i人脸样本对应的人脸特征点位置，K_1i为深度卷积网络某一层的输出，通过线性网络预测人脸特征点位置，设预测的人脸特征点位置为l′_i，则有l′_i＝M₁*K_1i+b₁。

4.根据权利要求3所述的基于多目标学习的人脸识别算法训练方法，其特征在于，所述的损失函数L₁为欧氏距离损失函数或者马氏距离损失函数。

5.根据权利要求2所述的基于多目标学习的人脸识别算法训练方法，其特征在于，步骤2)中，所述的阈值为55％～70％。

6.根据权利要求2所述的基于多目标学习的人脸识别算法训练方法，其特征在于，步骤2)中，基于人脸特征类内距离的损失函数和基于人脸特征类间距离的损失函数的计算需要两个人脸样本图像集合，每个集合包含随机选取身份的人脸样本图像，且两个集合代表的人脸身份不同，需要通过随机选取两个不同身份的人脸样本图像集合，并各自在其中选取相同数量的人脸样本图像。

7.根据权利要求2所述的基于多目标学习的人脸识别算法训练方法，其特征在于，步骤2)中，计算基于人脸特征类内距离的损失函数和基于人脸特征类间距离的损失函数，具体包括：

A：随机选取部分身份为I_i的人脸样本图像

n为选取的样本数量，

为身份为I_i的人脸样本图像总数，基于当前深度网络的参数，计算其人脸特征{K_2i1,K_2i2,…K_2ij,…K_2in}，定义类内距离

为

其中μ_i为身份I_i的人脸图像对应特征的平均值，即

B：选取基于类内距离的损失函数为L₂，计算样本{x_i1,x_i2,…x_in}对应的类内距离的损失为

C：随机选取部分身份为I_i的人脸样本图像

以及身份为I_m的人脸样本图像

为身份为I_i的人脸样本图像总数，

为身份为I_m的人脸样本图像总数，样本选取的数量相同，且为n，基于当前深度网络的参数，计算两者的人脸图像特征分别为{K_2i1,K_2i2,…K_2ij,…K_2in}以及{K_2m1,K_2m2,…K_2mj,…K_2mn}，定义类间距离D_bim为：

其中，|x|_p表示x的p阶范数

μ_i为身份I_i的人脸图像对应特征的平均值，即

μ_m为身份I_m的人脸图像对应特征的平均值，即

D：选取类间距离的损失函数L₃，即类间距离的损失L_3bim＝L₃(-D_bim)。

Images