CN109214414A - 面向人脸识别的多任务正半定约束度量学习方法 - Google Patents

Abstract

本发明属于人脸识别技术领域，涉及一种面向人脸识别的多任务正半定约束度量学习方法。包括：对多个相似但不同的人脸识别模型同时进行训练；为每个人脸识别度量学习任务构建训练样本二元组；为每个度量学习任务构建一个单任务正半定学习问题；多个单任务度量学习任务转换为多任务形式；利用梯度下降法求解多任务形式的正半定约束优化问题；构建一个面向人脸识别的基于多任务度量学习的K最近邻分类器。本发明能够使同类别人脸图像之间的距离最小化，不同类别人脸图像之间的距离最大化，降低了人脸图像中的特征干扰的影响，可以把不同人脸识别任务的分类模型同时进行学习，利用任务间的相关信息进行分类器的训练，提高人脸识别分类器的预测性能。

Description

面向人脸识别的多任务正半定约束度量学习方法

技术领域

本发明涉及人脸识别技术领域，更具体地，涉及一种面向人脸识别的多任务正半定约束度量学习方法。

背景技术

随着计算机以及图像识别技术的发展，人脸识别技术得到了世界各个机构的关注，对人脸识别技术的研究应运而生。在过去几十年中，为了提高人脸识别技术的实用性，各机构研究人员提出了各种各样用于人脸识别技术的算法与框架，从而提高了人脸识别分类器的性能。然而，在采集人脸图像的过程中，由于采集环境、采集设备和采集方法没有统一标准，会导致采集出来的人脸图像的质量有高有低，从而使人脸识别分类器的性能无法得到进一步的提高，所以人脸识别在机器学习与数据挖掘领域内仍然是一个富有挑战性的问题。

传统的人脸识别技术中，一般是把采集后的人脸图像的特征提取为计算机可识别的向量，从而进行分类器的训练，然后把这些训练好的分类器用于人脸识别。在这些方法中，一般使用欧式距离公式处理这些人脸图像的距离和相似性。在人脸识别的采集过程中，由于存在年龄，姿势，表情，发型发色，光照，遮挡等不可控的因素，采集出来的人脸图像的特征会受到各式各样的干扰与影响。当采用欧式距离公式计算这些被干扰后的人脸图像的距离和相似性时，计算出来的结果将会与正确结果有偏差。相对于欧式距离公式，度量学习方法能够在类别信息的指导下，让同类别的人脸图像聚集在一起，不同类别的人脸图像远离，从而降低了人脸图像中的特征干扰的影响，训练出一个能够更准确的处理人脸图像之间的距离和相似性的距离度量框架。

另一方面，为了建立一个高精度和高效率的基于度量学习的人脸识别框架，需要大量已经被标记好的人脸图像来进行人脸识别分类器的训练，但是通过人工标记方式来进行标记的人脸图像往往数量很少，如果用来训练的已标记好的人脸图像数量过少，则训练得出来的人脸识别分类器的精度将会不高。但是，使用人工标注的形式对大量人脸图像进行标记的成本又会很高。为了解决训练样本不足的问题，可以把不同人脸识别任务的分类模型同时进行训练，从而利用任务间的相关信息进行分类器的训练，提高各个人脸识别任务的分类性能。因此，如何为这些人脸识别任务建立一个高准确度的多任务正半定约束度量学习分类器是一个急需解决的问题。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种面向人脸识别的多任务正半定约束度量学习方法，采用正半定约束度量学习方法，为人脸识别任务构建出一个合适的分类器，并且把相似的人脸识别任务的分类器进行混合训练，把该混合训练问题看成一个多任务分类问题，提高了人脸识别分类器的预测性能。

为解决上述技术问题，本发明采用的技术方案是：一种面向人脸识别的多任务正半定约束度量学习方法，包括以下步骤：

S1.获取多个相似但不同的人脸识别模型的图像，随机抽取每个人脸识别模型的少量图像，以人工标记的方式，对这些抽取出来的少量图像进行标记，赋予类别标签，并且把一个人脸识别任务看成一个度量学习任务；多个人脸识别模型的训练过程，可以看出多个相似但不同的度量学习任务的训练过程；

S2.为每个人脸识别任务，即度量学习任务，构建训练样本二元组；

S3.为每个度量学习任务构建一个正半定凸优化问题；

S4.在S3步骤的单任务正半定约束优化问题的基础上，将多个度量学习任务同时训练，构建一个多任务正半定约束优化问题；

S5.采用梯度下降的方法，对S4步骤提出的多任务正半定约束度量学习问题进行求解；

S6.根据S5步骤的梯度下降方法的收敛结果，构建一个基于多任务正半定约束度量学习的K最近邻分类器，用于人脸识别。

进一步地，所述的S1中，当存在T个相似但不同的人脸识别任务，则认为此时存在T个度量学习任务，可以对这T个度量学习任务的少量样本进行人工标记，同时利用这些有标记的数据进行分类器的训练，从而训练出T个分类器。

进一步地，所述的S2步骤中，利用在第一步所标记的T个度量学习任务的样本数据，构建T个度量学习任务的样本二元组，其具体方法为：对于第t个度量学习任务，假设存在m个训练样本，构建第i个样本X_i所对应的样本二元组，此时的样本二元组为{(X_i,X₁),...,(X_i,X_i),...(X_i,X_m)}，一共有m个样本二元对。通过构建所有样本所对应的样本二元组，能够得到第t个度量学习任务的所对应的样本二元组。

进一步地，所述的S3步骤中，对于第t个度量学习任务，为了使同类别的数据聚集起来，不同类别的数据扩散开来，其正半定优化问题为：

式中，如果X_i ^t和X_j ^t的是同类别数据，则Y_ij ^t＝-1，否则Y_ij ^t＝1；是一个非负误差项；正半定约束M_t＞＝0保证了本发明所求的度量学习矩阵是正半定的，从而保证了计算出来的距离不会出现小于0的情况；||·||_F代表了矩阵的F范式。显然，该优化问题是凸优化问题，可以求出全局最优解。通过求解该优化问题，能够保证同类别的数据之间的距离小于等于b_t-1，不同类别的数据之间的距离大于等于b_t+1，从而达到了同类别数据聚拢，不同类别数据扩散。

进一步地，S3步骤所提出的正半定约束凸优化问题是一个单任务学习问题，在样本数量不充足的情况下，会导致训练出来的人脸识别分类器的识别效果不佳，为了解决样本不充足的问题，引入多任务学习框架，令M_t＝S₀+S_t，S_t代表着第t个人脸识别任务所独有的距离度量学习矩阵；S₀代表着T个人脸识别任务共享的距离度量学习矩阵，基于该多任务学习框架，构建一个多任务正半定约束优化问题：

式中，权值参数μ₀和μ₁用来控制度量学习矩阵S₀和S_t的大小，从而进一步控制各个人脸识别任务的相关性。如果μ₀趋向于无穷大，那么由T个人脸识别任务所共享的正半定度量学习矩阵S₀将会降为一个零矩阵；相反，如果μ₁趋向于无穷大，那么由每个人脸识别任务所独有的正半定度量学习矩阵S_t将会降为一个零矩阵。如果μ₁趋向于无穷大，并且μ₀的大小是固定的，则导致所有任务的关联性最大，即训练出来的分类器是相同或者非常相似的。从另一方面来看，如果μ₀趋向于无穷大，并且μ₁的大小是固定的，则导致所有任务的关联性最小或者没关联性，训练出来的人脸识别分类器也是任务无关的。

进一步地，所述的S5步骤具体包括：

S51.对多任务正半定约束度量学习目标方程进行求导，则可以得到各个变量的梯度，分别如下：

S52.在每一次梯度下降的迭代过程中，利用上式给出的各个变量的梯度表达形式，对需要训练求解的变量S₀、S_t和b_t进行更新；

S53.在每次变量迭代更新之后，还需要进行变量的映射处理，即强制修正S₀、S_t为正半定矩阵，和强制修正b_t大于等于1，从而使变量S₀、S_t满足正半定约束以及b_t满足大于等于1的约束。

进一步地，所述的S6步骤中，对于第t个人脸识别任务，构建出一个不基于欧式距离的K最近邻分类器，该分类器所采用的距离度量方程为：

D_t(X_i,X_j)＝(X_i ^t-X_j ^t)^T(S₀+S_t)(X_i ^t-X_j ^t)；

其中，K值可以根据实际应用情况，设置为1、3、5、7等奇数值；通过该基于多任务正半定约束度量学习的K最近邻分类器，能够有效处理人脸识别图像之间的距离和相似性，并且能够在训练样本不足的情况下，保证高效的分类性能。

与现有技术相比，有益效果是：本发明提供的一种面向人脸识别的多任务正半定约束度量学习方法，采用正半定约束度量学习方法，为人脸识别任务构建出一个合适的分类器，并且把相似的人脸识别任务的分类器进行混合训练，把该混合训练问题看成一个多任务分类问题，能够使同类别人脸图像之间的距离最小化，不同类别人脸图像之间的距离最大化，从而降低了人脸图像中的特征干扰的影响，并且可以把不同人脸识别任务的分类模型同时进行学习，利用任务间的相关信息进行分类器的训练，进一步提高人脸识别分类器的预测性能。

附图说明

图1是本发明的方法流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

如图1所示，一种面向人脸识别的多任务正半定约束度量学习方法，包括以下步骤：

步骤1.获取多个相似但不同的人脸识别模型的图像，随机抽取每个人脸识别模型的少量图像，以人工标记的方式，对这些抽取出来的少量图像进行标记，赋予类别标签，并且把一个人脸识别任务看成一个度量学习任务；多个人脸识别模型的训练过程，可以看出多个相似但不同的度量学习任务的训练过程；当存在T个相似但不同的人脸识别任务，则认为此时存在T个度量学习任务，可以对这T个度量学习任务的少量样本进行人工标记，同时利用这些有标记的数据进行分类器的训练，从而训练出T个分类器。

步骤2.为每个人脸识别任务，即度量学习任务，构建训练样本二元组；利用在第一步所标记的T个度量学习任务的样本数据，构建T个度量学习任务的样本二元组，其具体方法为：对于第t个度量学习任务，假设存在m个训练样本，构建第i个样本X_i所对应的样本二元组，此时的样本二元组为{(X_i,X₁),...,(X_i,X_i),...(X_i,X_m)}，一共有m个样本二元对。通过构建所有样本所对应的样本二元组，能够得到第t个度量学习任务的所对应的样本二元组。

步骤3.为每个度量学习任务构建一个正半定凸优化问题；对于第t个度量学习任务，为了使同类别的数据聚集起来，不同类别的数据扩散开来，其正半定优化问题为：

式中，如果X_i ^t和X_j ^t的是同类别数据，则Y_ij ^t＝-1，否则Y_ij ^t＝1；是一个非负误差项；正半定约束M_t＞＝0保证了本发明所求的度量学习矩阵是正半定的，从而保证了计算出来的距离不会出现小于0的情况；||·||_F代表了矩阵的F范式。显然，该优化问题是凸优化问题，可以求出全局最优解。通过求解该优化问题，能够保证同类别的数据之间的距离小于等于b_t-1，不同类别的数据之间的距离大于等于b_t+1，从而达到了同类别数据聚拢，不同类别数据扩散。

步骤4.在S3步骤的单任务正半定约束优化问题的基础上，将多个度量学习任务同时训练，构建一个多任务正半定约束优化问题；其中，S3步骤所提出的正半定约束凸优化问题是一个单任务学习问题，在样本数量不充足的情况下，会导致训练出来的人脸识别分类器的识别效果不佳，为了解决样本不充足的问题，引入多任务学习框架，令M_t＝S₀+S_t，S_t代表着第t个人脸识别任务所独有的距离度量学习矩阵；S₀代表着T个人脸识别任务共享的距离度量学习矩阵，基于该多任务学习框架，构建一个多任务正半定约束优化问题：

式中，权值参数μ₀和μ₁用来控制度量学习矩阵S₀和S_t的大小，从而进一步控制各个人脸识别任务的相关性。如果μ₀趋向于无穷大，那么由T个人脸识别任务所共享的正半定度量学习矩阵S₀将会降为一个零矩阵；相反，如果μ₁趋向于无穷大，那么由每个人脸识别任务所独有的正半定度量学习矩阵S_t将会降为一个零矩阵。如果μ₁趋向于无穷大，并且μ₀的大小是固定的，则导致所有任务的关联性最大，即训练出来的分类器是相同或者非常相似的。从另一方面来看，如果μ₀趋向于无穷大，并且μ₁的大小是固定的，则导致所有任务的关联性最小或者没关联性，训练出来的人脸识别分类器也是任务无关的。

步骤5.采用梯度下降的方法，对步骤4提出的多任务正半定约束度量学习问题的进行求解；具体包括：

S51.对多任务正半定约束度量学习目标方程进行求导，则可以得到各个变量的梯度，分别如下：

S52.在每一次梯度下降的迭代过程中，利用上式给出的各个变量的梯度表达形式，对需要训练求解的变量S₀、S_t和b_t进行更新；

S53.在每次变量迭代更新之后，还需要进行变量的映射处理，即强制修正S₀、S_t为正半定矩阵，和强制修正b_t大于等于1，从而使变量S₀、S_t满足正半定约束以及b_t满足大于等于1的约束。

步骤6.根据步骤5的梯度下降方法的收敛结果，构建一个基于多任务正半定约束度量学习的K最近邻分类器，用于人脸识别。对于第t个人脸识别任务，构建出一个不基于欧式距离的K最近邻分类器，该分类器所采用的距离度量方程为：

D_t(X_i,X_j)＝(X_i ^t-X_j ^t)^T(S₀+S_t)(X_i ^t-X_j ^t)；

其中，K值可以根据实际应用情况，设置为1、3、5、7等奇数值；通过该基于多任务正半定约束度量学习的K最近邻分类器，能够有效处理人脸识别图像之间的距离和相似性，并且能够在训练样本不足的情况下，保证高效的分类性能。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种面向人脸识别的多任务正半定约束度量学习方法，其特征在于，包括以下步骤：

S1.获取多个相似但不同的人脸识别模型的图像，随机抽取每个人脸识别模型的少量图像，以人工标记的方式，对这些抽取出来的少量图像进行标记，赋予类别标签，并且把一个人脸识别任务看成一个度量学习任务；

S2.为每个人脸识别任务，即度量学习任务，构建训练样本二元组；

S3.为每个度量学习任务构建一个正半定凸优化问题；

S4.在S3步骤的单任务正半定约束优化问题的基础上，将多个度量学习任务同时训练，构建一个多任务正半定约束优化问题；

S5.采用梯度下降的方法，对S4步骤提出的多任务正半定约束度量学习问题进行求解；

S6.根据S5步骤的梯度下降方法的收敛结果，构建一个基于多任务正半定约束度量学习的K最近邻分类器，用于人脸识别。

2.根据权利要求1所述的面向人脸识别的多任务正半定约束度量学习方法，其特征在于，所述的S1中，当存在T个相似但不同的人脸识别任务，则认为此时存在T个度量学习任务，可以对这T个度量学习任务的少量样本进行人工标记，同时利用这些有标记的数据进行分类器的训练，从而训练出T个分类器。

3.根据权利要求2所述的面向人脸识别的多任务正半定约束度量学习方法，其特征在于，所述的S2步骤中，利用在第一步所标记的T个度量学习任务的样本数据，构建T个度量学习任务的样本二元组，其具体方法为：对于第t个度量学习任务，假设存在m个训练样本，构建第i个样本X_i所对应的样本二元组，此时的样本二元组为{(X_i,X₁),...,(X_i,X_i),...(X_i,X_m)}，一共有m个样本二元对。

4.根据权利要求2所述的面向人脸识别的多任务正半定约束度量学习方法，其特征在于，所述的S3步骤中，对于第t个度量学习任务，其正半定优化问题为：

式中，如果X_i ^t和X_j ^t的是同类别数据，则Y_ij ^t＝-1，否则Y_ij ^t＝1；是一个非负误差项；正半定约束保证了本发明所求的度量学习矩阵是正半定的，从而保证了计算出来的距离不会出现小于0的情况；||·||_F代表了矩阵的F范式，b_t表示第t个度量学习任务的距离基准。

5.根据权利要求4所述的面向人脸识别的多任务正半定约束度量学习方法，其特征在于，所述的S4步骤，具体包括：引入多任务学习框架，令M_t＝S₀+S_t，S_t代表着第t个人脸识别任务所独有的距离度量学习矩阵；S₀代表着T个人脸识别任务共享的距离度量学习矩阵，基于该多任务学习框架，构建一个多任务正半定约束优化问题：

式中，权值参数μ₀和μ₁用来控制度量学习矩阵S₀和S_t的大小。

6.根据权利要求5所述的面向人脸识别的多任务正半定约束度量学习方法，其特征在于，所述的S5步骤具体包括：

S51.对多任务正半定约束度量学习目标方程进行求导，则可以得到各个变量的梯度，分别如下：

S52.在每一次梯度下降的迭代过程中，利用上式给出的各个变量的梯度表达形式，对需要训练求解的变量S₀、S_t和b_t进行更新；

S53.在每次变量迭代更新之后，还需要进行变量的映射处理，即强制修正S₀、S_t为正半定矩阵，和强制修正b_t大于等于1，从而使变量S₀、S_t满足正半定约束以及b_t满足大于等于1的约束。

7.根据权利要求6所述的面向人脸识别的多任务正半定约束度量学习方法，其特征在于，所述的S6步骤中，对于第t个人脸识别任务，构建出一个不基于欧式距离的K最近邻分类器，该分类器所采用的距离度量方程为：

D_t(X_i,X_j)＝(X_i ^t-X_j ^t)^T(S₀+S_t)(X_i ^t-X_j ^t)。