CN111507263B - 一种基于多源数据的人脸多属性识别方法 - Google Patents

Abstract

本发明属于人脸属性识别技术领域，具体涉及一种基于多源数据的人脸多属性识别方法。本发明是针对单一人脸属性数据集往往包含的属性标签有限，经常不能满足多属性识别任务中对所有属性的标注需求的问题，提出的基于多源数据的人脸多属性识别方法，根据任意人脸属性识别任务的具体需求，都可以通过组合多个现有数据集共同满足任务所需的多项属性标注需求，并通过联合训练的方式，多个数据集之间相互促进，对人脸属性识别网络进行有效训练，从而实现对输入人脸图像进行多种属性联合识别。本发明的有益效果为，在满足任务所有属性标注需求的同时，通过多个数据集相互合作实现多属性之间的信息交互，完成多项属性联合训练目标，并提高网络泛化效果。

Description

一种基于多源数据的人脸多属性识别方法

技术领域

本发明属于人脸属性识别技术领域，具体涉及一种基于多源数据的人脸多属性识别方法。

背景技术

随着人工智能的迅速崛起以及图像采集和处理技术的不断发展，对图像进行信息挖掘及利用的人工智能应用在人们生活中随处可见。而人脸作为一种重要的生物特征，包含许多重要的信息，又因为其细节丰富、易获取等特点越来越受到研究人员的青睐。

最开始对人脸数据的研究为人脸识别及人脸检测，这是对人脸信息最直接的应用。而随着人们物质文化需求的不断增长，研究人员也在不断开发对人脸信息的利用，人脸属性识别也就应运而生。不同于人们熟知的人脸检测、人脸验证、人脸对比等技术，人脸属性识别是从人脸数据上获取更加细致的特征信息，比如，给定一张人脸图像，通过算法自动计算出各种不同的人脸属性值，比如性别、种族、年龄值、表情，甚至是“是否佩戴眼镜”，“是否长得好看”等等。

人脸属性识别在金融、刑侦、安防、娱乐等多种领域都有着广泛应用，鉴于此，人脸多属性共同学习在工商业界的应用需求不断提升。

但之前的研究工作大多仅仅是对人脸单一属性识别，比如年龄估计，又或者尽管是多属性识别，也是多个模型并行学习，这样繁琐的模型不仅没有利用到不同属性之间的相关性，而且巨大的参数量和计算量也不利于模型的落地实现。因此，利用单一模型进行多属性识别成为新的研究热点。

另外随着人脸属性研究需求的不断扩大，目前的人脸属性数据集暴露出一些问题严重阻碍了该方向的研究进展。例如，数据集类别分布不平衡，又或者对于多属性识别任务，单一数据集无法提供全部属性标签等。

发明内容

本发明的目的是，针对上述问题，提出一种基于多源数据的人脸多属性识别方法。

本发明的技术方案为：

一种基于多源数据的人脸多属性识别方法，包括以下步骤：

S1、根据本次人脸多属性识别任务的k项目标人脸属性，k≥1，明确输入数据需要带有的属性标签：A＝{a_i|i＝1,...,k}，其中a_i表示第i项目标人脸属性的标签；

S2、根据S1确定的k项属性，基于多源数据选取n个不同的数据集D_j,j＝1,2,...,n，n≥1，每个数据集要求至少包含A中的一项目标人脸属性标注，则D_j包含的目标人脸属性标注记作

其中s_j表示D_j包含的目标人脸属性标注的数量，且1≤s_j≤k；

S3、依次选择数据集D_j，对照任务目标人脸属性标签集A，为D_j中未包含标签的属性添加伪标签，并将添加伪标签后的标签集记作

且

S4、按照k项目标人脸属性的特点，将其分为分类属性和回归属性，并为人脸回归属性的原数值标签添加衍生类别标签，构建人脸识别神经网络，包括所有属性共享的浅层网络以及独立提取一种属性特征的分支网络；

S5、选取数据集D_j，根据包含的目标属性数量s_j及标签

的分布情况自适应地设置损失函数权重和共享层的学习率，通过参数初始化策略对模型进行训练，并在训练完成时保存模型参数W_j；

S6、若j＝n，则模型学习完毕，通过该模型可以对输入人脸图片获得多项目标人脸属性识别结果；否则，令j＝j+1，并回到S5。

本发明总的技术方案，是针对单一人脸属性数据集往往包含的属性标签有限，经常不能满足多属性识别任务中对所有属性的标注需求的问题，提出的基于多源数据的人脸多属性识别方法，根据任意识别任务的需求，通过选取现有的多个数据集共同满足任务所需的多项属性标注需求，并通过联合训练的方式，多个数据集之间相互促进，对人脸属性识别网络进行有效训练，从而实现对输入人脸图像进行多种属性联合识别，并提高网络泛化效果。

进一步的，所述步骤S4中构建的人脸属性识别网络，对于人脸属性中的分类属性，其分支网络直接添加全连接层，最后利用softmax函数对进行属性识别；对于人脸属性中的回归属性，由于数值描述的模糊性，如将年龄表述为20岁左右，为提高其识别准确率，模型设计为原数值标签增加衍生类别标签，并在训练时，采用级联的方式计算该类属性的损失，即对于原数值标签，利用MAE损失函数计算其误差，记作L_value，对于辅助衍生标签向量利用KL散度计算其损失，记作L_vector，对于该类属性，损失函数采用级联的方式计算：

L＝L_value+aL_vector (1)

其中α为值loss和向量loss的平衡因子；

进一步的，所述步骤S5中，采用数据集D_j对人脸多属性识别模型进行训练时，根据其原始目标属性标签集A_j依次设置对应第i项目标属性地损失函数权重λ_i,i＝1,2,...,k:若

则设置对应的λ_i＝0；否则，根据其在数据集D_j中分布的平衡程度，在(0,1]区间内调整λ_i，原则是标签类别分布越不平衡，λ_i越小，则总的损失函数记作：

其中L_i代表第i项属性任务的损失函数。

进一步地，根据数据集D_j包含的目标人脸属性数量s_j，调整共享层的学习率，若j＝1则共享层学习率与全局学习率相同；否则，根据其缺少的属性数量自适应地减小共享层的学习率。且对于数据集D_j的训练，若j＝0，则参数随机初始化，否则用W_j-1初始化。

本发明的有益效果是：在人脸多属性识别任务中，克服了单一数据集无法包含所有属性标注的问题，不必为具体的多属性识别任务重新构建数据集，只需根据任务所涉及到的属性选取现有的数据集，进行组合训练即可，多个数据集联合训练模型促进了属性之间的信息交流，不仅完成了多属性的训练目标，而且提高了网络泛化能力，减少过拟合。

附图说明

图1为本发明的一种基于多源数据的人脸多属性识别方法的流程图；

图2为本发明所构建的人脸多属性识别神经网络模型逻辑结构示意图；

图3为模糊性数值标签生成的衍生辅助向量标签的示意图。

具体实施方式

在发明内容部分已经对本发明的技术方案做了详细描述，为了使本技术领域的人员更好地理解本发明方法，下面结合附图进行补充说明。

如图1所示，为本发明的总体实现流程，其中，对于输入的人脸图像，包含了预处理过程，具体方式是：

1)对输入图像进行人脸关键点检测；

2)按照人脸关键点对人脸进行对齐；

3)对对齐后的人脸进行裁剪，去除无用信息，仅保留包含有效信息的人脸部分；

4)将裁剪后的人脸图片进行缩放至模型对应输入的固定尺寸。

图2为本发明所提出的人脸属性识别网络模型，包括为所有属性任务设计的共享的浅层网络以及根据每项待识别的属性任务分别设计高层网络分支，用于独立提取其特有特征信息。

如图3所示，为本发明中对于人脸回归属性的衍生类别标签的一种生成方法，该方法为采用两点表示的方法，即将数据集标签的值域按照其固定间隔K平均划分，则对于某一数值标签y，其衍生则给定标签真实值y，计算其两点表示如下：

y＝λ₁z₁+λ₂z₂ (3)

式(3)表示真实值在z₁,z₂之间，λ₁,λ₂表示真实值y靠近标记z₁,z₂的程度。则相应的衍生标签向量在对应z₁,z₂位置的值分别为λ₁,λ₂，而其余位置值为0。

根据上述衍生类别标签，在训练时，采用级联的方式计算该类属性的损失，即对于原数值标签，利用MAE损失函数计算其误差，记作

对于辅助衍生标签向量利用KL散度计算其损失，记作

则年龄和颜值损失函数分别记为：

L_age＝L_{a_value}+aL_{a_vector} (8)

L_beauty＝L_{b_value}+aL_{b_vector} (9)

对于类别分布不平衡的属性，根据其类间比例为其设置类别权重，例如属性分别为年龄、性别、种族以及颜值时，模型总的损失记作式：

L_total＝λ_ageL_age+λ_genderL_gender+λ_raceL_race+λ_beautyL_beauty (10)

式中λ_age,λ_gender,λ_race,λ_beauty分别代表年龄、性别、种族以及颜值的损失函数权重，默认为1.0，权重越大，模型越倾向于学习该任务。

另外，当对第一个数据集进行训练时，模型采用随机初始化；否则，模型利用上一数据集训练得到的参数初始化。

Claims (5)

1.一种基于多源数据的人脸多属性识别方法，其特征在于，包括以下步骤：

S1、根据本次人脸多属性识别任务的k项目标人脸属性，k≥1，明确输入数据需要带有的属性标签：A＝{a_i|i＝1,...,k}，其中a_i表示第i项目标人脸属性的标签；

S2、根据S1确定的k项属性，基于多源数据选取n个不同的数据集D_j,j＝1,2,...,n，n≥1，每个数据集要求至少包含A中的一项目标人脸属性标签，则D_j包含的目标人脸属性标签记作

其中s_j表示D_j包含的目标人脸属性标签的数量，且1≤s_j≤k；

S3、依次选择数据集D_j，对照任务目标人脸属性标签集A，为D_j中未包含标签的属性添加伪标签，并将添加伪标签后的标签集记作

且

S4、按照k项目标人脸属性的特点，将其分为分类属性和回归属性，并为人脸回归属性的原数值标签添加衍生类别标签，构建人脸识别神经网络，包括所有属性共享的浅层网络以及独立提取一种属性特征的分支网络；

S5、选取数据集D_j，根据包含的目标属性数量s_j及标签

的分布情况自适应地设置损失函数权重和共享层的学习率，通过参数初始化策略对模型进行训练，并在训练完成时保存模型参数W_j；

S6、若j＝n，则模型学习完毕，通过该模型可以对输入人脸图片获得多项目标人脸属性识别结果；否则，令j＝j+1，并回到S5。

2.根据权利要求1所述的一种基于多源数据的人脸多属性识别方法，其特征在于，所述步骤S4中构建的人脸识别神经网络，对于人脸属性中的分类属性，其分支网络直接添加全连接层，最后利用softmax函数对进行属性识别；对于人脸属性中的回归属性，由于数值描述的模糊性，将模型设计为原数值标签增加衍生类别标签，并在训练时，采用级联的方式计算该类属性的损失，即对于原数值标签，利用MAE损失函数计算其误差，记作L_value，对于衍生类别标签向量利用KL散度计算其损失，记作L_vector，对于该类属性，损失函数采用级联的方式计算：

L＝L_value+αL_vector

其中α为两种损失的平衡因子。

3.根据权利要求2所述的一种基于多源数据的人脸多属性识别方法，其特征在于，所述步骤S5中，采用数据集D_j对人脸多属性识别模型进行训练时，根据其原始目标属性标签集A_j依次设置对应第i项目标属性地损失函数权重λ_i,i＝1,2,...,k:若

则设置对应的λ_i＝0；否则，根据其在数据集D_j中分布的平衡程度，在(0,1]区间内调整λ_i，原则是标签类别分布越不平衡，λ_i越小，则总的损失函数记作：

其中L_i代表第i项属性任务的损失函数。

4.根据权利要求3所述的一种基于多源数据的人脸多属性识别方法，其特征在于，所述步骤S5中，根据数据集D_j包含的目标人脸属性数量s_j，调整共享层的学习率，若j＝1则共享层学习率与全局学习率相同；否则，根据其缺少的属性数量自适应地减小共享层的学习率。

5.根据权利要求4所述的一种基于多源数据的人脸多属性识别方法，其特征在于，所描述的S5中，恰当的参数初始化方法为：对于数据集D_j的训练，若j＝0，则参数随机初始化，否则用W_j-1初始化。

Images