CN109344855B - 一种基于排序引导回归的深度模型的人脸美丽评价方法 - Google Patents

Abstract

本发明公开了一种基于排序引导回归的深度模型的人脸美丽评价方法，包括：采集人脸图片并进行预处理和标注；对训练集采样，构建一个可以同时处理排序和回归任务的人脸美丽评价模型，包括回归子网络和排序子网络；将采样得到的成对图片输入到该网络模型中，利用回归损失和排序损失作为监督信号，以层级微调的优化方式来训练网络模型直至收敛；将需要预测的人脸图片输入人脸美丽评价模型的任意一个回归子网络中，输出的分数即为评价结果。本发明通过在深度网络模型的训练阶段中引入了相对审美的机制，有效地反映了人类对人脸审美的本质，使得提取的人脸美丽特征具有更好的泛化能力，从而使深度网络模型的人脸美丽预测能力更加接近于人类水平。

Description

一种基于排序引导回归的深度模型的人脸美丽评价方法

技术领域

本发明属于模式识别与人工智能技术领域，具体涉及一种基于排序引导回归的深度模型的人脸美丽评价方法。

背景技术

现实生活中，人们对美丽的评价标准各自不同，这也导致在很长一段时间内，人们都认为美是一种主观的感知活动。然而，研究者们发现人们对于人脸美丽的评判有着高度的一致性，这种一致性与审美个体所处的民族、文化、年龄和性别等无关，这个结论也证明了人脸美的客观性。

人脸美的客观性为人脸美的自动预测和分析奠定了理论基础。自上个世纪80年代以来，计算机科学的迅猛发展使得建立人脸美丽的计算预测模型变得可行。人们倾向于手工提取人脸图像的几何特征或者表观特征，再结合线性回归、高斯回归或支持向量机等传统的机器学习方法去最大限度地拟合数据，从而对人脸图像的美丽程度进行预测。然而，这种传统方法下所提取的特征是低层次的，表征能力十分有限，预测效果大打折扣。

近年来深度学习迅猛发展，大大推动了人工智能技术的创新应用。鉴于深度网络在图像处理上的独特优势，越来越多的研究者也将深度学习应用在人脸美丽吸引力的智能预测上。深度神经网络的多层次计算为模型提供了更高层次的抽象，具有如下优势：1)深度神经网络可以直接用图像像素值作为输入，从而自动提取高维特征，解决大数据下手工提取特征难的问题；2)除了作为特征提取的工具外，深度学习也为训练一个端到端的人脸美丽预测系统提供了可能。

然而，目前的研究者倾向于将现有的已成功应用于其他课题的模型直接应用于人脸美丽评价上，缺少对于人类审美本质的思考和启发，从而使得现有的方法达不到理想的预测效果。

发明内容

本发明的目的是提供一种基于排序引导回归的深度模型的人脸美丽评价方法，通过构建并训练一个符合人类审美机制的人脸美丽评价模型，在网络训练过程中利用排序任务引导回归任务，从而实现高精度的人脸美丽预测效果。

为了实现上述任务，本发明采用以下技术方案：

一种基于排序引导回归的深度模型的人脸美丽评价方法，包括以下步骤：

步骤1，采集人脸图片，对每张人脸图片进行预处理和人工标注后，划分训练集和测试集；

步骤2，对训练集采样，构建人脸美丽评价模型并进行训练；

对训练集中的人脸图片进行成对采样；

所述的人脸美丽评价模型是一个四分支卷积神经网络，包括一对回归子网络和一对排序子网络，其中：

所述的一对排序子网络采用孪生网络结构，每个排序子网络包括卷积层、激活层以及全连接层，并且所述的一对排序子网络共享卷积层和激活层的权重；

所述的一对回归子网络由两个相同的卷积神经网络组成，每个卷积神经网络包括卷积层、激活层、全局池化层以及全连接层；

训练所述的人脸美丽评价模型；

步骤3，将需要预测的人脸图片输入人脸美丽评价模型的任意一个回归子网络中，输出的分数即为评价结果。

进一步地，步骤1中所述的预处理，包括人脸检测、人脸矫正、人脸裁剪及尺寸归一化。

进一步地，步骤1中所述的人工标注，包括：

邀请打分者对每张人脸图片的吸引力进行打分，打分值为[1,2,3,4,5]，其中越高的分值代表越具有吸引力；对每一张人脸图片，取所有打分者对该图片打分的平均值作为该图片的标签值，以此进行人工标注。

进一步地，步骤2所述的对训练集中的人脸图片进行成对采样，遵照以下规则：

规则1：每一对人脸图片中，两张人脸图片的标签值相差不大于1；

规则2：所有采集的人脸图片对中，人脸图片的分布于训练集中人脸图片的分布保持一致；

规则3：对于每个采集的人脸图片对，根据两张人脸图片的标签值生成一个伪标签，当第一张人脸图片的标签值大于第二张人脸图片时，伪标签设置为+1，反之设置为-1。

进一步地，步骤2中所述的一对排序子网络的输入是两张人脸图片，每张人脸图片分别只输入所述一对排序子网络其中的一个；所述的一对排序子网络的卷积层、激活层分别提取两张人脸图片的高维的特征向量，对这两个特征向量进行按元素相减之后得到一个距离特征，将该距离特征输入全连接层，最后输出一个关于两张人脸的颜值排序的预测结果。

进一步地，步骤2所述的一对回归子网络中，每一个回归子网络的输入都是单张人脸图片，经过卷积层和激活层提取高维的人脸图片的特征之后，接入全局池化层和全连接层，最终输出关于颜值的预测分数。

进一步地，所述的人脸美丽评价模型中，所述的一对回归子网络和一对排序子网络共享卷积层和激活层。

进一步地，步骤2所述的人脸美丽评价模型的训练方法为：

将采样得到的成对图片输入评价模型中，利用损失函数作为监督信号，采用反向传播算法，以层级微调的优化方式来训练评价模型直至收敛。

进一步地，所述的损失函数L_all包括回归损失函数L_reg和排序损失函数L_rank，损失函数L_all的表达式为：

L_all＝L_reg+γ*L_rank 式1

上式中，γ表示排序损失的权重。

进一步地，所述的回归损失函数的公式为：

上式中，θ_rep表示卷积层的权重，ω_reg表示回归子网络全连接层的权重，f_reg(x_i|ω_reg,θ_rep)、(f_reg(x_j|ω_reg,θ_rep)分别表示回归子网络对应输入的人脸图片x_i、x_j的预测分数，y_i、y_j则表示人脸图片x_i、x_j的标签值，(x_i,x_j)表示输入的人脸图片对，Ω表示采样得到的所有人脸图片对构成的集合。

进一步地，所述的排序损失函数的公式为：

上式中，f_rank(x_i,x_j|ω_rank,θ_rep)代表排序子网络对应输入的人脸图片对(x_i,x_j)的颜值排序的预测结果，z_ij表示(x_i,x_j)的伪标签，α是一个手工设定的超参数，用来调整人脸图片x_i和x_j的高维特征向量之间的距离。

本发明与现有技术相比具有以下技术特点：

与普通的卷积神经网络相比，本发明将人类相对审美的机制融入到模型的训练当中，在模型训练阶段利用排序任务引导回归任务，从而使得模型回归的预测值更加接近于人类打分。除此之外，所创建的深度网络模型是灵活的、可通过不同基本网络结构实现的，实现也较方便简单，具有较强的实用性，能够应用于人脸美化算法评估、辅助数字化妆、社交网站推荐、辅助美容整形等。

附图说明

图1是本发明的流程示意图。

图2是本发明的人脸美丽评价模型的示意图，图中的双向箭头代表不同的子网络之间的特征提取模块共享权重。

图3是本发明的网络优化方式示意图。

具体实施方式

人类对人脸的审美存在相对性，也就是说，人们对人脸图片倾向于进行比较而后给出确切的颜值分数，即打分者在给人脸图片打分的过程中容易受到对前面图片的打分的影响。而人脸美丽评价模型的目的就是尽可能学习人类打分的机制，使输出更接近于人类打分的真实值。因此，本发明运用相对审美的机制来引导人脸美丽评价模型的训练，提出了一种基于排序引导回归的深度模型的人脸美丽评价方法，并给出了输入采样规则、网络结构、损失函数、网络训练方法等，使得模型具有高精度的人脸美丽评价效果。本发明详细技术方案如下：

一种基于排序引导回归的深度模型的人脸美丽评价方法，包括以下步骤：

步骤1，数据采集

采集人脸图片，对每张人脸图片进行预处理和人工标注后，划分训练集和测试集；

所述的预处理包括人脸检测、人脸校正、人脸裁剪以及尺寸归一化。所述的人工标注是指邀请打分者对每张人脸图片的吸引力进行打分，打分值为[1,2,3,4,5]，其中越高的分值代表越具有吸引力。对每一张人脸图片，取所有打分者对该图片打分的平均值作为该图片的标签值，以此进行人工标注。

在本实施例中，共采集了5500张人脸图片，经过预处理和人工标注后，将这些图片随机划分为4400张的训练集和1100张的测试集，训练集用于训练深度网络模型，测试集用于测试模型的性能。

步骤2，构建人脸美丽评价模型并进行训练

构建一个可以同时处理排序和回归任务的人脸美丽评价模型，该模型是一个深度网络模型，包括回归子网络和排序子网络。将通过采样得到的成对图片输入到该网络模型中，利用回归损失和排序损失作为监督信号，以层级微调的优化方式来训练网络模型直至收敛。具体包括以下步骤：

步骤2.1，依据以下规则对训练集中的人脸图片进行成对采样：

规则1：每一对人脸图片中，两张人脸图片的标签值相差不大于1；

规则2：所有采集的人脸图片对中，人脸图片的分布于训练集中人脸图片的分布保持一致；

规则3：对于每个采集的人脸图片对，根据两张人脸图片的标签值生成一个能反映相对审美排序的伪标签，当第一张人脸图片的标签值大于第二张人脸图片时，伪标签设置为+1，反之设置为-1。

步骤2.2，构建人脸美丽评价模型

所述的人脸美丽评价模型用于同时处理回归任务和排序任务，其结构如图2所示，是一个四分支卷积神经网络，包括一对回归子网络和一对排序子网络。其中：

排序子网络是基于孪生网络的网络结构进行设计的，因此它的输入是两张人脸图片，每张人脸图片分别只输入所述一对排序子网络的其中之一个；排序子网络包括卷积层、激活层以及全连接层，这一对排序子网络共享所有卷积层和激活层的权重，并分别提取两张人脸图片高维的特征向量；对这两个特征向量进行按元素相减之后得到一个距离特征，将该距离特征输入这两个排序子网络的全连接层中，最后输出一个关于两张人脸的颜值排序的预测结果。

所述的一对回归子网络是由两个相同的普通的卷积神经网络组成，包括卷积层、激活层、全局池化层和全连接层；每一个回归子网络的输入都是单张人脸图片，如图2所示，经过卷积层和激活层提取高维的人脸图片的特征之后，接入全局池化层和全连接层，最终输出关于颜值的预测分数。

本方案中，回归子网络和排序子网络共享一个共同的特征提取模块(即所有卷积层+激活层)，即它们之间共享所有卷积层的结构和参数，目的是为了提取表征能力更强的高维人脸特征。

该四分支卷积神经网络是一个通用的网络结构，它的特征提取模块可以通过嵌入不同的网络的卷积层来实现，例如将四分支网络的特征提取模块替换成残差网络ResNet的卷积层和激活层。需注意的是，全连接层的层数也进行对应的调整，回归子网络和排序子网络的全连接层的层数应保持一致，以保持排序和回归任务的平衡。

步骤2.3，设计损失函数

将成对的人脸图片输入人脸美丽评价模型，其中一张图片分别输入一个排序子网络和一个回归子网络，另一张图片分别输入另一个排序子网络和回归子网络，将得到的预测结果与人脸图片的标签值进行对比，计算总的损失函数L_all；L_all由回归损失函数L_reg和排序损失函数L_rank组成，如式1：

L_all＝L_reg+γ*L_rank 式1

上式中，γ表示排序损失的权重，一般情况下设置为0.1；

所述的回归损失函数L_reg的计算公式如下：

上式中，θ_rep表示卷积层的权重，ω_reg表示回归子网络全连接层的权重，f_reg(x_i|ω_reg,θ_rep)、(f_reg(x_j|ω_reg,θ_rep)分别表示回归子网络对应输入的人脸图片x_i、x_j的预测分数，y_i、y_j则表示人脸图片x_i、x_j的标签值，(x_i,x_j)表示输入的人脸图片对，Ω表示由步骤2.1的采样方法采样得到的所有人脸图片对构成的集合。

所述的排序损失函数L_rank的计算公式如下：

上式中，f_rank(x_i,x_j|ω_rank,θ_rep)代表排序子网络对应输入的人脸图片对(x_i,x_j)的颜值排序的预测结果，z_ij表示(x_i,x_j)的伪标签，α是一个手工设定的超参数，可用来调整人脸图片x_i和x_j的高维特征向量之间的距离，一般情况下取值为3。

步骤2.4，人脸美丽评价模型的训练

将采样得到的成对图片输入评价模型中，利用损失函数作为监督信号，以层级微调的优化方式来训练评价模型直至收敛；本方案中，所述的人脸美丽评价模型的训练采用反向传播算法，通过从最后一层计算传递梯度，逐层传递，更新所有的参数，达到训练模型的目的。

训练采用层级微调的优化方式。如图3所示，第一层级，单独训练回归子网络，该子网络是对ImageNet数据集上预训练的评价模型进行微调的(“微调”是指以预训练的评价模型的权重对当前评价模型进行初始化)；第二层级，在第一层级训练得到的模型上进行微调(以第一层训练得到的模型的权重对当前模型进行初始化)，联合训练回归子网络和排序子网络。值得注意的是，排序子网络的全连接层的权重是随机初始化的。

步骤3，由于人脸美丽评价模型的两个回归子网络完全一样，因此在实际应用时，将需要预测的人脸图片输入经过训练后的人脸美丽评价模型的任意一个回归子网络中，输出的分数即为模型对人脸图片的评价结果。

Claims (9)

1.一种基于排序引导回归的深度模型的人脸美丽评价方法，其特征在于，包括以下步骤：

步骤1，采集人脸图片，对每张人脸图片进行预处理和人工标注后，划分训练集和测试集；

步骤2，对训练集采样，构建人脸美丽评价模型并进行训练；

对训练集中的人脸图片进行成对采样；

所述的人脸美丽评价模型是一个四分支卷积神经网络，包括一对回归子网络和一对排序子网络，其中：

所述的一对排序子网络采用孪生网络结构，每个排序子网络包括卷积层、激活层以及全连接层，并且所述的一对排序子网络共享卷积层和激活层的权重；

所述的一对回归子网络由两个相同的卷积神经网络组成，每个卷积神经网络包括卷积层、激活层、全局池化层以及全连接层；

训练所述的人脸美丽评价模型；

所述的一对排序子网络的输入是两张人脸图片，每张人脸图片分别只输入所述一对排序子网络其中的一个；所述的一对排序子网络的卷积层、激活层分别提取两张人脸图片的高维的特征向量，对这两个特征向量进行按元素相减之后得到一个距离特征，将该距离特征输入全连接层，最后输出一个关于两张人脸的颜值排序的预测结果；

步骤3，将需要预测的人脸图片输入人脸美丽评价模型的任意一个回归子网络中，输出的分数即为评价结果。

2.如权利要求1所述的基于排序引导回归的深度模型的人脸美丽评价方法，其特征在于，步骤1中所述的人工标注，包括：

邀请打分者对每张人脸图片的吸引力进行打分，打分值为[1,2,3,4,5]，其中越高的分值代表越具有吸引力；对每一张人脸图片，取所有打分者对该图片打分的平均值作为该图片的标签值，以此进行人工标注。

3.如权利要求1所述的基于排序引导回归的深度模型的人脸美丽评价方法，其特征在于，步骤2所述的对训练集中的人脸图片进行成对采样，遵照以下规则：

规则1：每一对人脸图片中，两张人脸图片的标签值相差不大于1；

规则2：所有采集的人脸图片对中，人脸图片的分布于训练集中人脸图片的分布保持一致；

规则3：对于每个采集的人脸图片对，根据两张人脸图片的标签值生成一个伪标签，当第一张人脸图片的标签值大于第二张人脸图片时，伪标签设置为+1，反之设置为-1。

4.如权利要求1所述的基于排序引导回归的深度模型的人脸美丽评价方法，其特征在于，步骤2所述的一对回归子网络中，每一个回归子网络的输入都是单张人脸图片，经过卷积层和激活层提取高维的人脸图片的特征之后，接入全局池化层和全连接层，最终输出关于颜值的预测分数。

5.如权利要求1所述的基于排序引导回归的深度模型的人脸美丽评价方法，其特征在于，所述的人脸美丽评价模型中，所述的一对回归子网络和一对排序子网络共享卷积层和激活层。

6.如权利要求1所述的基于排序引导回归的深度模型的人脸美丽评价方法，其特征在于，步骤2所述的人脸美丽评价模型的训练方法为：

将采样得到的成对图片输入评价模型中，利用损失函数作为监督信号，采用反向传播算法，以层级微调的优化方式来训练评价模型直至收敛。

7.如权利要求6所述的基于排序引导回归的深度模型的人脸美丽评价方法，其特征在于，所述的损失函数L_all包括回归损失函数L_reg和排序损失函数L_rank，损失函数L_all的表达式为：

L_all＝L_reg+γ*L_rank 式1

上式中，γ表示排序损失的权重。

8.如权利要求7所述的基于排序引导回归的深度模型的人脸美丽评价方法，其特征在于，所述的回归损失函数的公式为：

上式中，θ_rep表示卷积层的权重，ω_reg表示回归子网络全连接层的权重，f_reg(x_i|ω_reg,θ_rep)、(f_reg(x_j|ω_reg,θ_rep)分别表示回归子网络对应输入的人脸图片x_i、x_j的预测分数，y_i、y_j则表示人脸图片x_i、x_j的标签值，(x_i,x_j)表示输入的人脸图片对，Ω表示采样得到的所有人脸图片对构成的集合。

9.如权利要求7所述的基于排序引导回归的深度模型的人脸美丽评价方法，其特征在于，所述的排序损失函数的公式为：

上式中，f_rank(x_i,x_j|ω_rank,θ_rep)代表排序子网络对应输入的人脸图片对(x_i,x_j)的颜值排序的预测结果，z_ij表示(x_i,x_j)的伪标签，α是一个手工设定的超参数，用来调整人脸图片x_i和x_j的高维特征向量之间的距离。

Images