CN109711252A - 一种多人种的人脸识别方法 - Google Patents

Abstract

本发明公开了一种多人种的人脸识别方法，所述方法将多源数据集、迁移学习与深度多任务学习结合，用于实现对多人种的人脸识别，包括以下步骤：构建具有相似性的不同人脸识别的数据集；使用大规模的数据集训练深度神经网络得到深度模型；使用多源数据集利用深度多任务学习在得到的深度模型上继续训练；获得在两个不同任务上都有高精度的深度模型，所述高精度的深度模型用于最终的人脸识别，提高人脸识别的精度。

Description

一种多人种的人脸识别方法

技术领域

本发明涉及人脸识别领域，尤其涉及一种多人种的人脸识别方法，本发明将多源数据集、迁移学习与深度多任务学习结合起来，用于实现对多人种的人脸识别。

背景技术

现今的深度学习技术取得的巨大成功在一定程度上是大规模数据的支撑，然而当某一任务数据量不足又需要完成多个特定任务时，普通的深度学习方法不能满足实际需要。因此，如何在某一任务数据量不足的情况下学习得到在多个任务上都有优异性能的模型是一个亟待解决的问题。

针对某一任务数据量不足的问题，比如深度学习中的人脸识别问题，开源的大规模人脸数据集大都是有欧美人种为主，亚裔或者华裔人种的数据集通常规模很小。假如想同时完成多人种的人脸识别问题。通过直接训练大规模的欧美人种人脸数据集或者直接训练小规模的亚裔或者华裔人种的人脸数据集都很难取得满意的模型精度。前者是因为任务之间的差异性导致在亚裔人脸识别任务上精度欠缺；后者是因为数据量太小，影响模型性能。

面对这种任务通常的解决方法是采用迁移学习的策略，迁移学习首先在具有相似性的大规模数据集上进行训练得到深度模型，然后利用预训练好的深度模型在小规模数据集上进行迁移学习。但是迁移学习的方法会造成最终模型在原始任务上性能下降，不能保证一个模型在不同的任务上都具有良好的性能。

例如：利用大规模的欧美人种人脸数据集训练一个深度模型，此模型在欧美人种人脸识别任务上有很高的精度，在亚裔或华裔人种人脸识别任务上精度不足。利用迁移学习的策略，在模型的基础上利用亚裔或者华裔人种人脸数据集进行微调，微调后的模型在亚裔或者华裔人种人脸识别任务上表现良好，但是在欧美人种人脸识别任务上模型精度相对于预训练的模型会有所下降。

发明内容

本发明提供了一种多人种的人脸识别方法，本发明将多源数据集、与深度多任务学习结合起来用于人脸识别，提高了识别精度，详见下文描述：

一种多人种的人脸识别方法，所述方法将多源数据集、与深度多任务学习结合，用于实现对多人种的人脸识别，所述方法包括以下步骤：

构建具有相似性的不同人脸识别的数据集；使用大规模的数据集训练深度神经网路得到深度模型；

使用多源数据集利用深度多任务学习在得到的深度模型上继续训练；

获得在两个不同任务上都有高精度的深度模型，所述高精度的深度模型用于最终的人脸识别，提高人脸识别的精度。

进一步地，所述构建具有相似性的不同人脸识别的数据集具体为：

使用爬取手段直接从互联网上爬取数据；或，

利用相机或者其他拍摄设备获取数据。

其中，所述使用大规模的数据集训练深度神经网路得到深度模型具体为：

对数据集进行预处理，使用深度卷积神经网络进行模型的训练；

将训练得到的深度模型在一些经典测试集上进行测试，观察测试所得正确率。

具体实现时，所述对数据集进行预处理具体为：对人脸数据集进行五点对齐预处理。

进一步地，所述使用多源数据集利用深度多任务学习在得到的深度模型上继续训练具体为：

将多源数据同时作为深度神经网络的数据输入；在深度模型上进行微调(即fine-tune，是指在原有模型基础上迁移训练)；每个任务有单独的损失函数并回传梯度(其中，损失函数、以及回传梯度均是深度识别领域的专业术语)。

其中，所述获得在两个不同任务上都有高精度的深度模型具体为：

对经典的测试集进行和训练集一样的预处理方式；在不同的测试集上测试深度模型的准确度；根据深度模型在不同阶段的测试结果得到高精度的深度模型。

本发明提供的技术方案的有益效果是：

1、本发明将深度学习技术与迁移学习以及多任务学习方法配合使用，形成了多源数据集的深度多人种识别方法；

2、本方法利用大规模的数据集训练对应的任务，利用迁移学习以及多任务学习在其他相似任务数据量不足的情况下，保证原始任务精度的同时继续训练，使得最终训练得到的深度模型在两个任务上都具有很高的性能，从而满足实际应用或研究需要；

3、本发明利用多源数据集的操作避免了数据处理的繁琐，同时实现多任务学习的框架，使用同一个神经网络同时训练不同的任务，达到了多任务学习的目的，最终的模型在多个任务上均有出色表现；

4、本发明解决了某些任务数据量不足的问题，解决了直接迁移学习导致原任务性能下降的问题，本发明同时在不同的任务上训练都可以取得很高的性能，可以应用于人脸识别、物体识别、以及属性分析等多个领域。

附图说明

图1为一种多人种的人脸识别方法的流程图；

图2为多源数据集、与深度多任务学习结合的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种多人种的人脸识别方法，参见图1和图2，该识别方法包括以下步骤：

一、数据准备阶段

首先寻找大规模的标签精确的人脸数据集MS(MS-Celeb-1M(微软一百万类的名人数据集)的干净子集)和小规模的人脸数据集CCFD，其中MS中为欧美人脸图像，CCFD中全为华裔人脸图像，两者都对应于人脸识别任务但是由于人种差异属于不同的人脸识别子任务。然后对数据集中的所有人脸图像进行5点位置的对齐，将人脸图像归一化为256*256像素。

其中，上述五点位置具体为：两只眼睛瞳孔中心，两侧嘴角，鼻尖。具体实现时，还可以采用112*112或者112*96，具体的归一化尺寸取决于所用的对齐算法和网络输入的限制，本发明实施例对此不做限制。

二、深度模型的训练

利用预处理后的大规模的标签精确的人脸数据集MS，使用深度神经网络Resnet-80进行模型的训练，总的迭代次数是300000，每次迭代训练的样本数为64，每两轮迭代训练进行一次模型参更新，基础学习率为0.06，学习率依多项式形式下降，训练得到一个在经典测试集上精度足够高的深度人脸识别模型，记为Model_pre，即该模型由人脸数据集MS训练得到。

三、多源数据集的深度多任务学习

在预训练的深度人脸识别模型Model_pre的基础上利用MS和CCFD数据集进行微调操作，同时进行训练，其中神经网络的数据层由两种数据组成，共享神经网络的同时分别计算各自任务的损失。在实验中，设两种数据对应的人脸识别任务分别为Task_a和Task_b，两种数据每轮训练的数据样本个数分别为N_a、N_b，则神经网络数据层的数据维度为N＝N_a+N_b，此操作使用深度学习框架的Concat(拼接)层在0维度上进行拼接实现。

神经网络在最后一个全连接层前进行Slice(分割)操作，对不同数据进行分类计算各自的损失。对于每种数据的每个batch，其损失分别为则神经网络每次迭代过程的总损失分别为

四、深度人脸识别模型的测试

对深度人脸识别模型在不同的测试集上进行测试，测试集分别为LFW和CCFD-Test。LFW为公开的经典人脸识别测试集，CCFD-Test是本发明实施例中构建的测试集。其中LFW中主要为欧美人脸图像，CCFD-Test中全部为华裔人脸图像，两个测试集对应于两个训练集。

CCFD-Test测试集共包含91904张人脸图像，其测试结果为错误接受率在0.1％的情况下人脸正确识别率。

经过测试后，获取到最终的深度模型Model_final。

五、多源数据集多任务学习方法结束，最终的深人脸识别度模型在欧美人脸识别和亚裔人脸识别任务上都具有很高的精度。

本发明实施例所使用的算法伪代码如表1所示：

表1

本发明实施例采用的实验数据集如表2所示：

表2

数据集名称	类别数	图像数目	类型
				MS	41857	3095536	训练集
CCFD	701	171792	训练集
				CCFD-Test	301	91904	测试集
LFW	5749	13233	测试集

最终的模型在两个测试集上进行了测试，对比实验采用的是直接训练和fine-tune的方法，其中在LFW数据集上的测试结果如表3所示：

表3

预训练数据集	后续处理方法	LFW十折平均精度
			MS	无	99.23％
MS	Fine-tune(CCFD)	98.38％
			MS	本方法(MS+CCFD)	99.13％

其中，在CCFD数据集上的测试结果如表4所示

表4

预训练数据集	后续处理方法	CCFD Rank-1准确率
			MS	无	64.28％
MS	Fine-tune(CCFD)	69.46％
			MS	本方法(MS+CCFD)	71.88％

本发明实施例具有以下三个关键创造点：

一、设计多源数据集策略；

1)在确定人脸数据集的情况下，不需要额外再次处理训练集；

2)多人种人脸数据共享同一个神经网络。

技术效果：多源数据集策略简化了数据处理操作，并且实现了多任务学习的思想。

二、深度多任务学习方法；不同的人脸数据共享同一个神经网络，实现多任务同时训练，达到了多任务学习的目标。

技术效果：在不增加神经网络设计的难度下，实现多任务同时训练学习。

三、迁移学习与多任务学习的结合；

1)首先利用大规模欧美人种人脸数据集训练一个初始模型，方便模型的迁移；

2)在初始模型上利用迁移学习和多任务学习的技术同时训练多个任务。

技术效果：该策略方便模型的迁移，可以解决相似任务训练数据不足的问题同时达到多任务学习的效果。

综上所述，本发明实施例可以有效利用大规模数据集和与其对应任务相关的小规模数据集，利用卷积神经网络训练大规模数据集得到预训练的模型，然后在预训练的基础上进行迁移学习，在学习过程中利用多源数据集的操作实现深度多任务学习，从而在某任务数据量不足的情况下学得一个在不同任务上均有很高精度的深度模型。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种多人种的人脸识别方法，其特征在于，所述方法将多源数据集、迁移学习与深度多任务学习结合，用于实现对多人种的人脸识别，所述方法包括以下步骤：

构建具有相似性的不同人脸识别的数据集；使用大规模的数据集训练深度神经网路得到深度模型；

使用多源数据集利用深度多任务学习在得到的深度模型上继续训练；

获得在两个不同任务上都有高精度的深度模型，所述高精度的深度模型用于最终的人脸识别，提高人脸识别的精度。

2.根据权利要求1所述的一种多人种的人脸识别方法，其特征在于，所述构建具有相似性的不同人脸识别的数据集具体为：

使用爬取手段直接从互联网上爬取数据；或，

利用相机或者其他拍摄设备获取数据。

3.根据权利要求1所述的一种多人种的人脸识别方法，其特征在于，所述使用大规模的数据集训练深度神经网路得到深度模型具体为：

对数据集进行预处理，使用深度卷积神经网络进行模型的训练；

将训练得到的深度模型在一些经典测试集上进行测试，观察测试所得正确率。

4.根据权利要求3所述的一种多人种的人脸识别方法，其特征在于，所述对数据集进行预处理具体为：对人脸数据集进行五点对齐预处理。

5.根据权利要求1所述的一种多人种的人脸识别方法，其特征在于，所述使用多源数据集利用深度多任务学习在得到的深度模型上继续训练具体为：

将多源数据同时作为深度神经网络的数据输入；在深度模型上进行微调；每个任务有单独的损失函数并回传梯度。

6.根据权利要求1所述的一种多人种的人脸识别方法，其特征在于，所述获得在两个不同任务上都有高精度的深度模型具体为：

对经典的测试集进行和训练集一样的预处理方式；在不同的测试集上测试深度模型的准确度；根据深度模型在不同阶段的测试结果得到高精度的深度模型。