CN115410250A - 阵列式人脸美丽预测方法、设备及存储介质 - Google Patents

Abstract

本发明公开了一种阵列式人脸美丽预测方法、设备及存储介质，方法包括通过多个特征提取器从人脸图像中提取多个不同尺度的人脸美丽特征；将多个不同尺度的人脸美丽特征进行阵列式融合，得到多个融合特征；通过人脸美丽分类网络对多个融合特征进行多次二分类处理，得到多个分类结果，其中，人脸美丽分类网络通过代价敏感损失函数监督训练得到，代价敏感损失函数是根据代价敏感的训练标签设定的损失函数；结合多个分类结果进行决策，得到人脸美丽预测结果。本发明进行多尺度的人脸美丽特征提取，并进行阵列式融合，能够加强信息监督，同时通过代价敏感损失函数进行优化能够有效降低分类错误的平均代价，从而提高分类预测的准确性。

Description

阵列式人脸美丽预测方法、设备及存储介质

技术领域

本发明涉及图像数据处理领域，特别涉及一种阵列式人脸美丽预测方法、设备及存储介质。

背景技术

人脸美丽预测是针对不同人脸图像所具有的美学特征，采用机器学习方法进行美丽程度智能预测，从而让机器具有与人类似的人脸美丽感知能力。

相关技术中，人脸美丽预测是对人脸图像进行特征提取后，根据特征进行相应的任务实现预测，从而得到预测结果，目前人脸美丽预测存在特征提取能力不足、预测准确性不足的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供了一种阵列式人脸美丽预测方法、设备及存储介质，特征提取能力强，且人脸美丽预测结果准确。

本发明第一方面实施例提供一种阵列式人脸美丽预测方法，包括如下步骤：

通过多个特征提取器从人脸图像中提取多个不同尺度的人脸美丽特征；

将多个不同尺度的人脸美丽特征进行阵列式融合，得到多个融合特征；

通过人脸美丽分类网络对多个融合特征进行多次二分类处理，得到多个分类结果，其中，人脸美丽分类网络通过代价敏感损失函数监督修正得到，代价敏感损失函数是根据代价敏感的训练标签设定的损失函数；

结合多个分类结果进行决策，得到人脸美丽预测结果。

根据本发明的上述实施例，至少具有如下有益效果：通过多个特征提取器对人脸图像进行多尺度的人脸美丽特征的提取，能够有效提高特征提取能力，能够为后续的预测工作提供全面的特征数据，并且通过对不同尺度的人脸美丽特征进行阵列式融合，能够加强信息监督的效果，并且能够提高模型的拟合性能，同时通过代价敏感损失函数对人脸美丽分类网络进行优化能够有效降低分类错误的平均代价，能够降低因用于训练的数据样本不平衡对人脸美丽分类网络的影响，从而提高分类预测效果，通过集成决策对各个二分类任务的分类结果进行决策，能够综合各个二分类任务的分类结果分析得到最优的人脸美丽预测结果，从而提高人脸美丽预测结果的准确性。

根据本发明第一方面的一些实施例，通过多个特征提取器从人脸图像中提取多个不同尺度的人脸美丽特征，包括：

以卷积神经网络、宽度学习系统、transformer模型分别构建三个特征提取器；

通过三个特征提取器分别对人脸图像进行特征提取，得到三个不同尺度的人脸美丽特征。

根据本发明第一方面的一些实施例，将多个不同尺度的人脸美丽特征进行阵列式融合，得到多个融合特征，包括：

将多个尺度的人脸美丽特征进行阵列式分布，得到特征阵列；

将特征阵列中每两个人脸美丽特征进行融合，得到多个融合特征。

根据本发明第一方面的一些实施例，在将特征阵列中每两个人脸美丽特征进行融合，得到多个融合特征之后，还包括：

将多个融合特征进行融合，得到二次融合特征，其中，二次融合特征用于输入到人脸美丽分类网络进行二分类处理以得到对应的分类结果。

根据本发明第一方面的一些实施例，人脸美丽分类网络的训练方法，包括：

将人脸训练集输入到人脸美丽分类网络，其中，人脸训练集包括多组对应的人脸训练图像和美丽等级训练标签，美丽等级训练标签有多个维度；

人脸美丽分类网络中的各个二分类任务对人脸训练图像进行分类，得到分类训练结果；

根据美丽等级训练标签中的每一维度对每一二分类任务进行监督训练，并通过代价敏感损失函数对二分类任务进行参数调节后得到训练好的人脸美丽分类网络。

根据本发明第一方面的一些实施例，在根据美丽等级训练标签中的每一维度对每一二分类任务进行监督训练之前，包括：

通过联合调试对各个二分类任务进行调节，使得各个二分类任务之间的特征共享。

根据本发明第一方面的一些实施例，根据美丽等级训练标签中的每一维度对每一二分类任务进行监督训练，并通过代价敏感损失函数对二分类任务进行参数调节后得到训练好的人脸美丽分类网络，包括：

当人脸训练集为困难样本，保持各个二分类任务之间的共享特征不变，根据美丽等级训练标签中的每一维度对每一二分类任务进行监督训练，并通过代价敏感损失函数对二分类任务进行参数调节，得到训练好的人脸美丽分类网络。

根据本发明第一方面的一些实施例，在人脸美丽分类网络进行训练之后还进行测试，人脸美丽分类网络的测试方法包括：

通过人脸测试集输入到人脸美丽分类网络，其中，人脸测试集包括人脸测试图像和美丽等级测试标签；

根据美丽等级测试标签对每一分类结果进行出错判断，得到出错结果；

根据出错结果，对相应的二分类任务进行校正，得到完成测试的人脸美丽分类网络。

本发明第二方面实施例提供一种电子设备，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面任意一项的阵列式人脸美丽预测方法。

由于第二方面实施例的电子设备应用第一方面任意一项的阵列式人脸美丽预测方法，因此具有本发明第一方面的所有有益效果。

根据本发明第三方面实施例提供的一种计算机存储介质，存储有计算机可执行指令，计算机可执行指令用于执行第一方面任意一项的阵列式人脸美丽预测方法。

由于第三方面实施例的计算机存储介质可执行第一方面任意一项的阵列式人脸美丽预测方法，因此具有本发明第一方面的所有有益效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例的阵列式人脸美丽预测方法的主要步骤图；

图2是图1中步骤S100的具体步骤示意图；

图3是图1中步骤S200的具体步骤示意图；

图4是本发明实施例的阵列式人脸美丽预测方法中人脸美丽分类网络的训练步骤示意图；

图5是本发明实施例的阵列式人脸美丽预测方法中人脸美丽分类网络的测试步骤示意图；

图6是本发明实施例的阵列式人脸美丽预测方法对应的人脸美丽预测网络模型的结构示意图。

具体实施方式

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

人脸美丽预测是及其学习和计算机视觉领域的前沿课题，人脸美丽预测是针对不同人脸图像所具有的美学特征,采用机器学习方法进行美丽程度智能预测,从而让机器具有与人类似的人脸美丽感知智能。目前，人脸美丽预测面临着监督信息不足、数据样本不平衡、模型容易出现过拟合等问题。

相关技术中，人脸美丽预测是对人脸图像进行特征提取后，根据特征进行相应的任务实现预测，从而得到预测结果，目前人脸美丽预测存在特征提取能力不足、预测准确性不足的问题。

由于缺乏大规模有效的人脸美丽数据库，并且用于提取特征的网络模型的特征提取能力不足，导致人脸美丽预测出现监督信息不足、模型过拟合等问题。此外，在进行人脸美丽预测的时候，通常都是以错误率或准确率作为评价指标，导致每一类样本的预测都是等代价的，而现实中，将一类样本错误地判断成另一类所造成的代价是不同的。例如，在癌症诊断中，讲一个癌症患者预测为健康会使患者错失最好的治疗时间，这与将健康状态的人预测成癌症患者的代价是明显不同的。

因此，在进行模型建立的过程中，不仅仅需要关注结果的准确性，还需要关注预判错误时的平均代价。在人脸美丽预测的领域中，由于现实中普通人的数量比起极有吸引力和极无吸引力的数量更多，这会导致用于训练的数据样本不平衡，分类器用于对多数样本数据对应的类别进行分类时效果良好，但用于对少数样本数据对应的类别进行分类时的效果欠佳。

下面参照图1至图6描述本发明的阵列式人脸美丽预测方法、设备及存储介质，特征提取能力强，且人脸美丽预测结果准确、预测效果好。

参考图1所示，根据本发明第一方面实施例的一种阵列式人脸美丽预测方法，包括但不限于如下步骤：

S100：通过多个特征提取器从人脸图像中提取多个不同尺度的人脸美丽特征；

S200：将多个不同尺度的人脸美丽特征进行阵列式融合，得到多个融合特征；

S300：通过人脸美丽分类网络对多个融合特征进行多次二分类处理，得到多个分类结果，其中，人脸美丽分类网络通过代价敏感损失函数监督修正得到，代价敏感损失函数是根据代价敏感的训练标签设定的损失函数，代价敏感函数用于将分类结果发生错误时的平均代价最小化；

S400：结合多个分类结果进行决策，得到人脸美丽预测结果，其中，集成决策用于将集成多个分类结果进行决策，从而得到人脸美丽预测结果。

通过多个特征提取器对人脸图像进行多尺度的人脸美丽特征的提取，能够有效提高特征提取能力，能够为后续的预测工作提供全面的特征数据，并且通过对不同尺度的人脸美丽特征进行阵列式融合，能够加强信息监督的效果，并且能够提高模型的拟合性能，同时通过代价敏感损失函数对人脸美丽分类网络进行优化能够有效降低分类错误的平均代价，能够降低因用于训练的数据样本不平衡对人脸美丽分类网络的影响，从而提高分类预测效果，通过集成决策对各个二分类任务的分类结果进行决策，能够综合各个二分类任务的分类结果分析得到最优的人脸美丽预测结果，从而提高人脸美丽预测结果的准确性。

需要说明的是，集成决策可以设置为以投票的形式表决各个分类结果，并输出最终的人脸美丽预测结果。

可以理解的是，参考图2所示，步骤S100，通过多个特征提取器从人脸图像中提取多个不同尺度的人脸美丽特征，包括但不限于如下步骤：

S110：以卷积神经网络、宽度学习系统、transformer模型分别构建三个特征提取器；

S120：通过三个特征提取器分别对人脸图像进行特征提取，得到三个不同尺度的人脸美丽特征。

需要说明的是，除了通过卷积神经网络、宽度学习系统、transformer模型构建三个特征提取器，还可以通过其他不同的网络模型构建对应数量的特征提取器，用于对人脸图像进行不同尺度的特征提取，以提高特征提取能力，能够加强信息监督的效果，降低模型出现过拟合等问题的机率。其中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一；宽度学习系统是一种不依赖深度结构的神经网络结构，结构没有层与层之间的耦合，十分简洁；transformer模型是一种自注意力网络模型器。

可以理解的是，参考图3所示，步骤S200，将多个不同尺度的人脸美丽特征进行阵列式融合，得到多个融合特征，包括但不限于以下步骤：

S210：将多个尺度的人脸美丽特征进行阵列式分布，得到特征阵列；

S220：将特征阵列中每两个人脸美丽特征进行融合，得到多个融合特征，其中，前述的特征融合即将特征阵列中的人脸美丽特征进行两两融合，阵列式排布的人脸美丽特征在进行融合时，能够方便进行阵列式特征融合。

人脸美丽特征进行阵列式分布，特征阵列如下所示：

F₁＝ξ(x)

F₂＝ψ(x)

F₃＝θ(x)

其中，x表示人脸图像，ξ表示卷积神经网络的特征提取函数，ψ表示宽度学习提供的特征提取函数，θ表示transformer模型的特征提取函数，F₁、F₂和F₃分别表示对应尺度的人脸美丽特征。

可以理解的是，在步骤S200之后，即在将特征阵列中每两个人脸美丽特征进行融合，得到多个融合特征之后，还包括但不限于如下步骤：

S230：将多个融合特征进行融合，得到二次融合特征，其中，二次融合特征用于输入到人脸美丽分类网络进行二分类处理以得到对应的分类结果。

将人脸美丽特征进行融合得到多个融合特征，将各个融合特征进行融合得到二次融合特征，各个融合特征以及二次融合特征表示如下：

F_a＝F₁+F₂

F_b＝F₁+F₃

F_c＝F₂+F₃

F_sum＝F_a+F_b+F_c

其中，F_a、F_b和F_c分别表示三个人脸美丽特征两联融合后得到的融合特征，F_sum表示各个融合特征融合后的二次融合特征。

可以理解的是，人脸美丽分类网络同时使用融合特征和二次融合特征进行人脸美丽分类，通过将多尺度人脸美丽特征进行阵列式融合，并且将融合后的特征输入到人脸美丽分类网络中进行分类预测，能够有效解决人脸美丽预测所出现的监督信息不足、模型容易过拟合等问题。

可以理解的是，参考图4所示，人脸美丽分类网络的训练方法，包括但不限于如下步骤：

S301：将人脸训练集输入到人脸美丽分类网络，其中，人脸训练集包括多组对应的人脸训练图像和美丽等级训练标签，美丽等级训练标签有多个维度；

S302：人脸美丽分类网络中的各个二分类任务对人脸训练图像进行分类，得到分类训练结果，其中，二分类任务用于进行对应的二分类处理；

S303：根据美丽等级训练标签中的每一维度对每一二分类任务进行监督训练，并通过敏感代价损失函数对二分类任务进行参数调节后得到训练好的人脸美丽分类网络。

将人脸训练集输入到人脸美丽分类网络进行训练，并且通过代价敏感损失函数监督人脸美丽分类网络的训练，能够得到训练好的人脸美丽分类网络。

需要说明的是，在人脸美丽分类网络的训练过程中，设

表示测试集，共N_test个测试样本，设

表示训练集，yi∈{1,2,3,...K}，共N_train个训练样本，其中，

表示第i个人脸训练图像，yi表示第i个训练样本的美丽等级训练标签，用于表示该训练样本的人脸美丽等级标签，共有K个等级，将第i个人脸训练图像的第k维度下的标签表示为：

其中，yi∈R^K-1，k∈{1,2,3…K-1}。

使用上述排序公式重新定义yi为K-1维的向量，把yi中K-1维向量中的每一维度视为一个标签，则第i个人脸训练图像

生成了K-1个布尔型的标签。假设人脸分类网络中的任务设有K-1个且均为二分类任务，则第i个人脸训练图像中

的K-1个标签可以用于监督上述的K-1个二分类任务。能够成功地将人脸美丽分类任务转变成多个二分类任务。

需要进一步说明的是，代价敏感损失函数是在损失函数中引入代价敏感性，

定义的代价式表示为：

其中，k∈{1,2,3…K-1}，将人脸美丽分类任务转变成K-1个二分类任务之后，在每个二分类任务都引入代价敏感损失函数，第K个二分类任务的代价敏感损失函数表示为：

其中，W(^k)表示共享特征和任务k的参数，σ(x)表示relu函数。上述二分类任务的代价敏感损失函数表示错误程度越大，需要付出的代价越高，正确分类则代价为0。使用上述代价敏感损失函数对二分类任务进行监督训练。

可以理解的是，在根据美丽等级训练标签中的每一维度对每一二分类任务进行监督训练之前，包括但不限于如下步骤：

通过联合调试对各个二分类任务进行调节，使得各个二分类任务之间的特征共享。

可以使用卷积神经网络从输入的融合特征和二次融合特征中提取共享特征，各个二分类任务可以使用共享特征进行分类。

具体的，联合调试是将人脸美丽分类任务转变成K-1个二分类任务之后，按照1至K-1的顺序进行对人脸美丽分类网络进行训练与微调。通过联合调试的方式来降低不同二分类任务之间出现负迁移的机率，因为同一二分类任务所关注的特征是相似的，通过联合调试能够使不同任务之间的特征共享，并且以反向传播算法的方式对二分类任务进行调试优化，使得二分类任务之间能够形成共享特征。

通过将人脸美丽分类任务拆分成多个二分类任务进行联合调试优化，不仅能够以共享特征的形式保留各个二分类任务之间的关联性，而且每个二分类任务更加专门化，能够提高人脸美丽分类网络的泛化性能，并且人脸美丽分类使用共享特征，能够避免出现负迁移、以及为了兼顾多个数据而造成网络结构过于庞大。通过在损失函数上引入代价敏感性，能够有效解决人脸训练集中样本不平衡的问题，能够提高人脸美丽预测的准确性。

可以理解的是，根据美丽等级训练标签中的每一维度对每一二分类任务进行监督训练，并通过敏感代价损失函数对二分类任务进行参数调节后得到训练好的人脸美丽分类网络，包括但不限于如下步骤：

当人脸训练集为困难样本，保持各个二分类任务之间的共享特征不变，根据美丽等级训练标签中的每一维度对每一二分类任务进行监督训练，并通过敏感代价损失函数对二分类任务进行参数调节，得到训练好的人脸美丽分类网络，其中，困难样本表示K-1个二分类任务的输出结果相互矛盾的训练样本。

通过引入困难样本的处理可以迫使人脸美丽分类网络学习更深层的特征，通过困难样本对二分类任务进行微调，共享特征不变，只改变二分类任务的参数，能够降低过拟合的机率，同时提高人脸美丽分类网络的表征能力、泛化能力。

可以理解的是，参考图5所示，在人脸美丽分类网络进行训练之后还进行测试，人脸美丽分类网络的测试方法包括但不限于如下步骤：

S401：通过人脸测试集输入到人脸美丽分类网络，其中，人脸测试集包括人脸测试图像和美丽等级测试标签；

S402：根据美丽等级测试标签对每一分类结果进行出错判断，得到出错结果；

S403：根据出错结果，对相应的二分类任务进行校正，得到完成测试的人脸美丽分类网络。

在测试阶段采用集成决策的方式来对单个二分类任务出错进行校正，综合考虑了多个二分类任务的分类结果来表决最终的人脸美丽预测结果，能够提高决策的准确性和鲁棒性。

需要说明的是，集成决策是以投票的形式表决K-1个二分类任务的分类结果，最终输出人脸美丽预测结果，假设每个二分类任务的出错是等概率的，当出现结果不属于任意一类标签时，以出错二分类任务最少的为标准，即假设某些二分类器出现分类错误，以改动最少的二分类任务对应的方式，对相应的二分类任务进行校正，从而得到完成测试的人脸美丽分类网络。当出现瓶颈时，即当出现所需改动的二分类任务的数量相同时，需要比较分别需要改动的二分类任务之间的置信度，判定置信度更低的二分类任务为出错，即对置信度更低的二分类任务进行校正来得到完成测试的人脸美丽分类网络，从而解决瓶颈问题。

具体的，以四分类为例，把各个二分类任务的分类结果整合为向量的形式，若出现测试标签为[0,1,0]，以上述集成决策为准则进行决策，若有二分类任务出错而导致结果为[0,0,0]或[1,1,0]，这时，需要比较第一个二分类任务和第二个二分类任务的置信度，选择置信度低的二分类任务进行校正，例如，第一个二分类任务的置信度更低，则对第一个二分类任务进行校正，以使其分类结果中的1校正为0，并得到完成测试的人脸美丽分类网络。

图6表示阵列式人脸美丽预测方法对应的人脸美丽预测网络模型的结构，以下参照图6对本发明第一方面实施例的一种阵列式人脸美丽预测方法进行说明：

采用卷积神经网络、宽度学习系统、transformer模型分别构建得到特征提取器1、特征提取器2和特征提取器3，用于提取不同尺度的人脸特征即人脸美丽特征；

将不同尺度的人脸特征1、人脸特征2和人脸特征3两两融合，得到融合特征1、融合特征2和融合特征3；

将融合特征1、融合特征2和融合特征3输入到人脸美丽分类模型，其中，人脸美丽分类网络的人脸美丽分类任务拆分成多个二分类任务，分别为任务1、任务2……任务K-1，并且通过多任务预测学习和联合调试进行优化，通过集成决策得到三个分类结果，分别为结果1、结果2和结果3；将结果1、结果2和结果3融合后输入到人脸美丽分类模型，得到另一分类结果为结果4；

通过集成决策对结果1、结果2、结果3和结果4进行表决，得到最终的人脸美丽预测结果为图6中的最终结果。

另外，本发明第二方面实施例还提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。

处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述第一方面实施例的阵列式人脸美丽预测方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的阵列式人脸美丽预测方法，例如，执行以上描述的方法步骤S100至S400、方法步骤S110至S120、方法步骤S210和S220、方法步骤230、方法步骤S301至S303、方法步骤S401至S403。

以上所描述的设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

此外，本发明第三方面实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的阵列式人脸美丽预测方法，例如，执行以上描述的方法步骤S100至S400、方法步骤S110至S120、方法步骤S210和S220、方法步骤230、方法步骤S301至S303、方法步骤S401至S403。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种阵列式人脸美丽预测方法，其特征在于，包括如下步骤：

通过多个特征提取器从人脸图像中提取多个不同尺度的人脸美丽特征；

将多个不同尺度的所述人脸美丽特征进行阵列式融合，得到多个融合特征；

通过人脸美丽分类网络对多个所述融合特征进行多次二分类处理，得到多个分类结果，其中，所述人脸美丽分类网络通过代价敏感损失函数监督修正得到，所述代价敏感损失函数是根据代价敏感的训练标签设定的损失函数；

结合多个所述分类结果进行决策，得到人脸美丽预测结果。

2.根据权利要求1所述的一种阵列式人脸美丽预测方法，其特征在于，所述通过多个特征提取器从人脸图像中提取多个不同尺度的人脸美丽特征，包括：

以卷积神经网络、宽度学习系统、transformer模型分别构建三个所述特征提取器；

通过三个特征提取器分别对所述人脸图像进行特征提取，得到三个不同尺度的人脸美丽特征。

3.根据权利要求1所述的一种阵列式人脸美丽预测方法，其特征在于，所述将多个不同尺度的所述人脸美丽特征进行阵列式融合，得到多个融合特征，包括：

将多个尺度的所述人脸美丽特征进行阵列式分布，得到特征阵列；

将所述特征阵列中每两个所述人脸美丽特征进行融合，得到多个融合特征。

4.根据权利要求3所述的一种阵列式人脸美丽预测方法，其特征在于，在所述将所述特征阵列中每两个所述人脸美丽特征进行融合，得到多个融合特征之后，还包括：

将多个所述融合特征进行融合，得到二次融合特征，其中，所述二次融合特征用于输入到所述人脸美丽分类网络进行二分类处理以得到对应的所述分类结果。

5.根据权利要求1所述的一种阵列式人脸美丽预测方法，其特征在于，所述人脸美丽分类网络的训练方法，包括：

将人脸训练集输入到所述人脸美丽分类网络，其中，所述人脸训练集包括多组对应的人脸训练图像和美丽等级训练标签，所述美丽等级训练标签有多个维度；

所述人脸美丽分类网络中的各个二分类任务对所述人脸训练图像进行分类，得到分类训练结果；

根据所述美丽等级训练标签中的每一维度对每一所述二分类任务进行监督训练，并通过代价敏感损失函数对所述二分类任务进行参数调节后得到训练好的所述人脸美丽分类网络。

6.根据权利要求5所述的一种阵列式人脸美丽预测方法，其特征在于，在所述根据所述美丽等级训练标签中的每一维度对每一所述二分类任务进行监督训练之前，包括：

通过联合调试对各个二分类任务进行调节，使得各个所述二分类任务之间的特征共享。

7.根据权利要求6所述的一种阵列式人脸美丽预测方法，其特征在于，根据所述美丽等级训练标签中的每一维度对每一所述二分类任务进行监督训练，并通过代价敏感损失函数对所述二分类任务进行参数调节后得到训练好的所述人脸美丽分类网络，包括：

当所述人脸训练集为困难样本，保持各个所述二分类任务之间的共享特征不变，根据所述美丽等级训练标签中的每一维度对每一所述二分类任务进行监督训练，并通过代价敏感损失函数对所述二分类任务进行参数调节，得到训练好的所述人脸美丽分类网络。

8.根据权利要求5至7任一项所述的一种阵列式人脸美丽预测方法，其特征在于，在所述人脸美丽分类网络进行训练之后还进行测试，所述人脸美丽分类网络的测试方法包括：

通过人脸测试集输入到人脸美丽分类网络，其中，所述人脸测试集包括人脸测试图像和美丽等级测试标签；

根据所述美丽等级测试标签对每一所述分类结果进行出错判断，得到出错结果；

根据所述出错结果，对相应的所述二分类任务进行校正，得到完成测试的所述人脸美丽分类网络。

9.一种电子设备，其特征在于，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的一种阵列式人脸美丽预测方法。

10.一种计算机存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至8中任意一项所述的一种阵列式人脸美丽预测方法。

Images