CN111695602B - 多维度任务人脸美丽预测方法、系统及存储介质 - Google Patents

Abstract

本发明公开了多维度任务人脸美丽预测方法、系统及存储介质，其中方法包括：在训练阶段，使用第一人脸图像优化用于提取共享特征的共享特征提取网络和训练多个执行人脸美丽分类任务的分任务网络；在测试阶段，提取第二人脸图像的共享特征；输入共享特征至已训练的多个人脸美丽分类任务；结合多个人脸美丽分类任务的第一输出结果得到第一美丽预测结果。能有效解决人脸美丽预测过程中出现的数据样本不平衡的问题，提高人脸美丽预测的准确性。

Description

多维度任务人脸美丽预测方法、系统及存储介质

技术领域

本发明涉及神经网络领域，特别是多维度任务人脸美丽预测方法、系统及存储介质。

背景技术

在进行人脸美丽预测，由于现实中普通颜值的人数往往比起高颜值和低颜值人数占比更高，所以常常出现数据样本不平衡的问题。数据样本不平衡会使得分类器往多数类的样本倾斜，这使得分类器对于少数类样本分类效果不佳，且提高了整体数据样本的平均分类代价。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供多维度任务人脸美丽预测方法、系统及存储介质。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，多维度任务人脸美丽预测方法，包括以下步骤：

训练阶段：

使用第一人脸图像优化用于提取共享特征的共享特征提取网络和训练多个执行人脸美丽分类任务的分任务网络，其中，所述第一人脸图像标记有反映人脸美丽等级的多维标签，所述多维标签用于监督所述共享特征提取网络，所述多维标签的每一维分别用于监督一个所述分任务网络；

测试阶段：

通过已训练的所述共享特征提取网络提取第二人脸图像的共享特征；

输入所述第二人脸图像的共享特征至已训练的多个所述分任务网络；

结合多个所述分任务网络的第一输出结果得到第一美丽预测结果。

根据本发明的第一方面，在所述训练阶段前，还包括以下步骤：

参数迁移阶段：

输入标记有人脸美丽等级标签的第三人脸图像至迁移网络，其中所述迁移网络包括共享特征层和分类器；

利用人脸美丽等级标签对所述迁移网络监督，并利用反向传播算法优化所述共享特征层和所述分类器的参数；

将所述共享特征层的参数迁移至网络框架，所述网络框架包括所述共享特征提取网络和多个所述分任务网络。

根据本发明的第一方面，在所述测试阶段前，还包括以下步骤：

验证阶段：

输入标记有所述多维标签的第四人脸图像至已训练的所述网络框架；

采集错误样本，所述错误样本是所述分任务网络分类错误所对应的所述第四人脸图像；

将所述错误样本重新输入至所述网络框架，并按次序优化每个所述分任务网络的参数。

根据本发明的第一方面，所述多维标签的每一维分别用于监督一个所述分任务网络具体为：判断一个所述分任务网络输出的第二输出结果与所述多维标签中对应的一维是否相同；计算代价值。

根据本发明的第一方面，第i个所述第一人脸图像的所述K维标签的第k维表示为

其中，yi∈{1,2…K，K+1}，k∈{1,2,3…K}，K为多维标签的总维数；则在监督过程中，所述分任务网络的代价值为：

所述分任务网络的代价敏感损失函数为：

其中，W(k)是所述人脸美丽分类任务的参数，σ(x)是sigmoid函数。

根据本发明的第一方面，在所述训练阶段中，利用反向传播算法循环地对多个所述分任务网络按次序优化每个所述分任务网络的参数。

根据本发明的第一方面，在每次优化一个所述分任务网络的参数的同时，优化所述共享特征提取网络的参数。

根据本发明的第一方面，结合多个所述人脸美丽分类任务的第一输出结果得到第一美丽预测结果具体为：将多个所述分任务网络的第一输出结果转换为与所述多维标签形式相同的集成结果；比较所述集成结果是否对应所述多维标签以判断所述集成结果是否错误；若所述集成结果对应所述多维标签，则将所述集成结果对应的人脸美丽等级作为所述第一美丽预测结果；若所述集成结果不对应所述多维标签，则根据多个所述第一输出结果修正所述集成结果，将修正后的所述集成结果对应的人脸美丽等级作为所述第一美丽预测结果。

本发明的第二方面，应用本发明第一方面所述的多维度任务人脸美丽预测方法的多维度任务人脸美丽预测系统，包括：

共享特征提取网络，用于在训练阶段提取第一人脸图像的共享特征，以及在测试阶段提取第二人脸图像的共享特征，其中，所述第一人脸图像标记有用于反映人脸美丽等级的多维标签，所述多维标签的每一维均为布尔型；

多个分任务网络，每个所述分任务网络分别用于执行一个所述人脸美丽分类任务，所述多维标签的每一维分别用于监督一个所述人脸美丽分类任务；以及

预测结果输出网络，用于结合多个所述分任务网络的第一输出结果得到第一美丽预测结果。

本发明的第三方面，存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行本发明第一方面所述的多维度任务人脸美丽预测方法。

上述方案至少具有以下的有益效果：将单个预测任务拆分为多个人脸美丽分类任务进行，利用单任务数据进行多任务预测学习；在训练阶段利用多维标签分别对每个人脸美丽分类任务进行监督以实现参数的优化；在测试阶段，结合多个人脸美丽分类任务的第一输出结果得到第一美丽预测结果，此能有效解决人脸美丽预测过程中出现的数据样本不平衡的问题，提高人脸美丽预测的准确性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例多维度任务多维度任务人脸美丽预测系统的结构图；

图2是本发明实施例多维度任务人脸美丽预测方法的整体流程图；

图3是本发明实施例多维度任务人脸美丽预测方法的训练阶段的流程图；

图4是本发明实施例多维度任务人脸美丽预测方法的测试阶段的流程图；

图5是本发明实施例多维度任务人脸美丽预测方法的参数迁移阶段的流程图；

图6是本发明实施例多维度任务人脸美丽预测方法的验证阶段的流程图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图2、图3和图4，本发明的某些实施例，提供了多维度任务人脸美丽预测方法，包括以下步骤：

训练阶段：

步骤S110、使用第一人脸图像优化用于提取共享特征的共享特征提取网络10和训练多个执行人脸美丽分类任务的分任务网络20，其中，第一人脸图像标记有反映人脸美丽等级的多维标签，多维标签用于监督共享特征提取网络10，多维标签的每一维分别用于监督一个分任务网络20；

测试阶段：

步骤S210、通过已训练的所述共享特征提取网络10提取第二人脸图像的共享特征；

步骤S220、输入第二人脸图像的共享特征至已训练的已训练的多个分任务网络20；

步骤S230、结合多个分任务网络20的第一输出结果得到第一美丽预测结果。

在该实施例中，将单个预测任务拆分为多个人脸美丽分类任务进行，利用单任务数据进行多任务预测学习；在训练阶段，利用整个多维标签对共享特征提取网络10监督以实现参数的优化，利用多维标签的每一维分别对每个分任务网络20进行监督以实现参数的优化；在测试阶段，结合多个分任务网络20的第一输出结果得到第一美丽预测结果，此能有效解决人脸美丽预测过程中出现的数据样本不平衡的问题，提高人脸美丽预测的准确性。

以共享特征的形式保留各个人脸美丽分类任务之间的关联性，而且每个人脸美丽分类任务更加专门化。将用于反映人脸美丽等级的多维标签以排序方式拆分以用于多任务优化，思路与人脑神经将一个事物拆分为多个部件/多个步骤分别解决且每个部件/每个步骤间具有关联性相似，使得网络的泛化能力更强。

具体地，共享特征提取网络和分任务网络均采用CNN神经网络模型结构。

参照图2和图5，另外，在所述训练阶段前，还包括以下步骤：

参数迁移阶段：

步骤S310、输入标记有人脸美丽等级标签的第三人脸图像至迁移网络，其中所述迁移网络包括共享特征层和分类器；共享特征层具有与共享特征提取网络10相同的结构；其中人脸美丽等级标签直接用常数形式表示，例如1,2,3等；第三人脸图像采用与第一人脸图像相同的图像集；

步骤S320、利用人脸美丽等级标签对迁移网络监督，并利用反向传播算法优化共享特征层和分类器的参数；

步骤S330、将共享特征层的参数迁移至网络框架，网络框架包括共享特征提取网络10和多个分任务网络20。

参照图2和图6，另外，在所述测试阶段前，还包括以下步骤：

验证阶段：

步骤S410、输入标记有多维标签的第四人脸图像至经过所述训练阶段的所述网络框架；第四人脸图像不属于第一人脸图像；

步骤S420、采集错误样本，错误样本是分任务网络20分类错误所对应的第四人脸图像；

步骤S430、将错误样本重新输入至网络框架，并按次序优化每个分任务网络20的参数。

验证阶段能进一步提高网络的泛化能力。

进一步，在步骤S110中，多维标签的每一维分别用于监督一个分任务网络20具体为：判断一个分任务网络20输出的第二输出结果与多维标签中对应的一维是否相同；计算代价值。多维标签起到监督作用，在人脸美丽分类任务训练过程中，分类错误，则标签同样会产生错误。分类的误差程度越大，代价值越高；分类正确，则代价值为0。

需要说明的是，第一输出结果是测试阶段，分任务网络20输出的值；第二输出结果是训练阶段，分任务网络20输出的值。

进一步，对于设置了(K+1)种等级的人脸美丽程度，可以使用K维标签进行表示。第i个第一人脸图像的多维标签的第k维表示为

其中，y_i是三维标签对应的人脸美丽等级，yi∈{1,2…K，K+1}，k∈{1,2,3…K}，K为多维标签的总维数。即例如对于一个三维标签，人脸美丽等级y_i为1对应的三维标签表示为[0,0,0]，人脸美丽等级y_i为2对应的三维标签表示为[1,0,0]，人脸美丽等级y_i为3对应的三维标签表示为[1,1,0]。

则在监督过程中，分任务网络20的代价值具体为：

分任务网络20的代价敏感损失函数为：

其中，W(k)是分任务网络20的参数，σ(x)是sigmoid函数，x_i是第i个输入的人脸图像。

进一步，在训练阶段中，利用反向传播算法循环地对多个人脸美丽分类任务按次序优化每个用于执行人脸美丽分类任务的分任务网络20的参数。这能防止多个人脸美丽分类任务之间的负迁移，使多个人脸美丽分类任务之间能尽量共享特征。

另外，在每次优化一个分任务网络20的参数的同时，优化用于提取第一人脸图像的共享特征的共享特征提取网络10的参数。

进一步，在测试阶段中，在步骤S230中，结合多个分任务网络20的第一输出结果得到第一美丽预测结果具体为：将多个分任务网络20的第一输出结果转换为与多维标签形式相同的集成结果；将集成结果与多维标签比较以判断集成结果是否错误；若错误则修正集成结果；将正确的集成结果对应的人脸美丽等级作为第一美丽预测结果。需要说明的是，经修正的集成结果被认为是正确的集成结果，判断结果为正确的集成结果同样是正确的集成结果，两者对应的人脸美丽等级均可作为第一美丽预测结果。

具体地，多个分任务网络20的第一输出结果按序排列，得到如[a,b,c…]的与多维标签形式相同的集成结果。

另外，若集成结果不与多维标签中的任何一个相同，即集成结果不对应多维标签，则判断集成结果错误。例如，多维标签包括[0,0,0]、[1,0,0]和[1,1,0]分别对应人脸美丽等级1、2和3。而集成结果为[0,1,0]，则集成结果是错误的。其中第一个元素对应第一个人脸美丽分类任务，第二个元素对应第二个人脸美丽分类任务，第三个元素对应第三个人脸美丽分类任务。以出错的人脸美丽分类任务数量最少为标准进行校正，即校正集成结果的至少一个数字即可得到与多维标签对应的正确的结果，则只需要校正一个数字。选择置信度更低的一个人脸美丽分类任务对应的元素进行校正，由于是布尔型元素，则0校正为1,1校正为0即可。

参照图1，本发明的某些实施例，提供了多维度任务人脸美丽预测系统，多维度任务人脸美丽预测系统应用方法实施例的多维度任务人脸美丽预测方法，多维度任务人脸美丽预测系统包括：

共享特征提取网络10，用于在训练阶段提取第一人脸图像的共享特征，以及在测试阶段提取第二人脸图像的共享特征，其中，第一人脸图像标记有用于反映人脸美丽等级的多维标签，多维标签的每一维均为布尔型；

多个分任务网络20，每个分任务网络分别用于执行一个人脸美丽分类任务，多维标签的每一维分别用于监督一个人脸美丽分类任务；以及

预测结果输出网络30，用于结合多个分任务网络20的第一输出结果得到第一美丽预测结果。

在该装置实施例中，多维度任务人脸美丽预测系统应用如方法实施例所述的多维度任务人脸美丽预测方法，能执行人脸美丽预测方法的各个步骤，具有和人脸美丽预测方法相同的技术效果，在此不再详述。

本发明的某些实施例，提供了存储介质，存储介质存储有可执行指令，可执行指令能被计算机执行，使计算机执行如方法实施例所述的多维度任务人脸美丽预测方法。

存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (9)

1.多维度任务人脸美丽预测方法，其特征在于，包括以下步骤：

训练阶段：

使用第一人脸图像优化用于提取共享特征的共享特征提取网络和训练多个执行人脸美丽分类任务的分任务网络，其中，所述第一人脸图像标记有反映人脸美丽等级的多维标签，所述多维标签用于监督所述共享特征提取网络，所述多维标签的每一维分别用于监督一个所述分任务网络；

测试阶段：

通过已训练的所述共享特征提取网络提取第二人脸图像的共享特征；

输入所述第二人脸图像的共享特征至已训练的多个所述分任务网络；

结合多个所述分任务网络的第一输出结果得到第一美丽预测结果；其中，结合多个所述分任务网络的第一输出结果得到第一美丽预测结果具体为：将多个所述分任务网络的第一输出结果按序排列以转换为与所述多维标签形式相同的集成结果；比较所述集成结果是否对应所述多维标签以判断所述集成结果是否错误；若所述集成结果对应所述多维标签，则将所述集成结果对应的人脸美丽等级作为所述第一美丽预测结果；若所述集成结果不对应所述多维标签，则根据多个所述第一输出结果修正所述集成结果，将修正后的所述集成结果对应的人脸美丽等级作为所述第一美丽预测结果；

所述根据多个所述第一输出结果修正所述集成结果具体为：以出错的人脸美丽分类任务数量最少为标准，对所述集成结果中的与置信度更低的一个人脸美丽分类任务对应的元素进行修正；

第i个所述第一人脸图像的所述多维标签的第k维表示为

其中，y_i是三维标签对应的人脸美丽等级，y_i∈{1,2…K，K+1}，k∈{1,2,3…K}，K为所述多维标签的总维数。

2.根据权利要求1所述的多维度任务人脸美丽预测方法，其特征在于，在所述训练阶段前，还包括以下步骤：

参数迁移阶段：

输入标记有人脸美丽等级标签的第三人脸图像至迁移网络，其中所述迁移网络包括共享特征层和分类器；

利用人脸美丽等级标签对所述迁移网络监督，并利用反向传播算法优化所述共享特征层和所述分类器的参数；

将所述共享特征层的参数迁移至网络框架，所述网络框架包括所述共享特征提取网络和多个所述分任务网络。

3.根据权利要求2所述的多维度任务人脸美丽预测方法，其特征在于，在所述测试阶段前，还包括以下步骤：

验证阶段：

输入标记有所述多维标签的第四人脸图像至经过所述训练阶段的所述网络框架；

采集错误样本，所述错误样本是所述分任务网络分类错误所对应的所述第四人脸图像；

将所述错误样本重新输入至所述网络框架，并按次序优化每个所述分任务网络的参数。

4.根据权利要求1至3任一项所述的多维度任务人脸美丽预测方法，其特征在于，所述多维标签的每一维分别用于监督一个所述分任务网络具体为：判断一个所述分任务网络输出的第二输出结果与所述多维标签中对应的一维是否相同；计算代价值。

5.根据权利要求4所述的多维度任务人脸美丽预测方法，其特征在于，在监督过程中，所述分任务网络的代价值为：

所述分任务网络的代价敏感损失函数为：

，其中，W^(k)是所述人脸美丽分类任务的参数，σ(x)是sigmoid函数，X_i是第i个输入的人脸图像。

6.根据权利要求1所述的多维度任务人脸美丽预测方法，其特征在于，在所述训练阶段中，利用反向传播算法循环地对多个所述分任务网络按次序优化每个所述分任务网络的参数。

7.根据权利要求6所述的多维度任务人脸美丽预测方法，其特征在于，在每次优化一个所述分任务网络的参数的同时，优化所述共享特征提取网络的参数。

8.应用如权利要求1至7任一项所述的多维度任务人脸美丽预测方法的多维度任务人脸美丽预测系统，其特征在于，包括：

共享特征提取网络，用于在训练阶段提取第一人脸图像的共享特征，以及在测试阶段提取第二人脸图像的共享特征，其中，所述第一人脸图像标记有用于反映人脸美丽等级的多维标签，所述多维标签的每一维均为布尔型；

多个分任务网络，每个所述分任务网络分别用于执行一个所述人脸美丽分类任务，所述多维标签的每一维分别用于监督一个所述人脸美丽分类任务；以及

预测结果输出网络，用于结合多个所述分任务网络的第一输出结果得到第一美丽预测结果。

9.存储介质，其特征在于，所述存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如权利要求1至7任一项所述的多维度任务人脸美丽预测方法。

Images