CN113537398A - 颜值评估模型训练方法及组件，颜值评估方法及组件 - Google Patents

Abstract

本申请公开了一种颜值评估模型训练方法及组件，一种颜值评估方法及组件，在该方案中，将带颜值标签、年龄标签和性别标签的样本作为模型训练样本，同时提取训练样本的人脸特征信息，据此对初始模型中的年龄评估子模型、性别评估子模型和颜值打分子模型进行训练，训练完成即可得到颜值评估模型。模型更新过程综合考虑了性别、年龄、人脸特征等因素，因此由年龄评估子模型、性别评估子模型和颜值打分子模型构成的颜值评估模型能够综合考虑性别、年龄、人脸特征等因素，输出相对综合颜值打分，从而提升了模型打分精度和性能。

Description

颜值评估模型训练方法及组件，颜值评估方法及组件

技术领域

本申请涉及计算机技术领域，特别涉及一种颜值评估模型训练方法及组件，一种颜值评估方法及组件。

背景技术

目前，人脸颜值打分模型未考虑性别、年龄等客观因素，仅基于人脸图像进行颜值打分，而由于颜值本身属于一个相对综合的主观印象，因此现有的人脸颜值打分模型所参考的因素较为局限，不能输出相对综合的颜值分数，即：模型打分精度不够准确。

发明内容

有鉴于此，本申请的目的在于提供一种颜值评估模型训练方法及组件，一种颜值评估方法及组件，以提高人脸颜值打分模型的打分精度。其具体方案如下：

为实现上述目的，一方面，本申请提供了一种颜值评估模型训练方法，包括：

从人脸图片样本集中获取带标签的训练样本，所述标签包括颜值标签、年龄标签和性别标签；

提取所述训练样本的人脸特征信息；

将所述训练样本的标签和人脸特征信息输入初始模型，所述初始模型的年龄评估子模型基于所述人脸特征信息得到年龄权值预测值和年龄预测值；所述初始模型的性别评估子模型基于所述人脸特征信息得到性别权值预测值和性别预测结果；所述初始模型的颜值打分子模型基于所述人脸特征信息、所述年龄权值预测值和所述性别权值预测值得到颜值预测值；

基于所述年龄预测值与所述年龄标签的损失、所述性别预测结果与所述性别标签的损失、以及所述颜值预测值与所述颜值标签的损失确定综合损失；

基于所述综合损失对所述初始模型的参数进行调整，得到更新后的模型；

在符合模型收敛条件时，将更新后的模型作为颜值评估模型。

又一方面，本申请还提供了一种颜值评估方法，其特征在于，包括：

提取人脸图片的人脸特征信息；

将所述脸特征信息输入上述任意一项所述的颜值评估模型，所述颜值评估模型的年龄评估子模型基于所述人脸特征信息得到年龄权值；所述颜值评估模型的性别评估子模型基于所述人脸特征信息得到性别权值；所述颜值评估模型的颜值打分子模型基于所述人脸特征信息、所述年龄权值和所述性别权值得到颜值评估信息。

又一方面，本申请还提供了一种电子设备，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述方法。

又一方面，本申请还提供了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述方法。

本申请将携带颜值标签、年龄标签和性别标签的样本作为模型训练样本，同时提取训练样本的人脸特征信息，利用初始模型的年龄评估子模型处理人脸特征信息得到年龄权值预测值和年龄预测值，利用初始模型的性别评估子模型处理人脸特征信息得到性别权值预测值和性别预测结果，利用初始模型的颜值打分子模型处理年龄权值预测值、性别权值预测值和人脸特征信息得到颜值预测值，并基于年龄预测值与年龄标签的损失、性别预测结果与性别标签的损失、以及颜值预测值与颜值标签的损失，确定综合损失；若基于综合损失对初始模型的参数进行调整后，且在符合模型收敛条件时，将更新后的初始模型作为颜值评估模型。可见，模型更新过程综合考虑了性别、年龄、人脸特征等因素，因此由年龄评估子模型、性别评估子模型和颜值打分子模型构成的颜值评估模型能够综合考虑性别、年龄、人脸特征等因素，输出相对综合颜值打分，从而提升了模型打分精度和性能。

相应地，本申请提供的一种颜值评估模型的训练装置、设备及存储介质，一种颜值评估装置、设备及存储介质也同样具有上述技术效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种本申请适用的物理架构示意图；

图2为本申请提供的一种颜值评估模型训练方法流程图；

图3为本申请提供的一种人脸框示意图；

图4为本申请提供的人脸框矫正前后对比示意图；

图5为本申请提供的一种颜值评估方法流程图；

图6为本申请提供的另一种颜值评估方法流程图；

图7为本申请提供的一种颜值评估模型处理图片的步骤示意图；

图8为本申请提供的一种CNN branch1的结构和处理步骤示意图；

图9为本申请提供的一种CNN branch2的结构和处理步骤示意图；

图10为本申请提供的一种CNN branch3的结构和处理步骤示意图；

图11为本申请提供的一种颜值评估模型训练装置示意图；

图12为本申请提供的一种服务器结构图；

图13为本申请提供的一种终端结构图。

具体实施方式

现有人脸颜值打分模型未考虑性别、年龄等客观因素，仅基于人脸图像进行颜值打分，而由于颜值本身属于一个相对综合的主观印象，因此现有的人脸颜值打分模型所参考的因素较为局限，不能输出相对综合的颜值分数，即：模型打分精度不够准确。

鉴于目前所存在的上述问题，本申请提出了颜值评估方案，该方案在模型更新过程综合考虑了性别、年龄、人脸特征等因素，因此由年龄评估子模型、性别评估子模型和颜值打分子模型构成的颜值评估模型能够综合考虑性别、年龄、人脸特征等因素，输出相对综合颜值打分，从而提升了模型打分精度和性能。

本申请涉及的技术用语：

深度学习算法(Deeplearning)：一个更广泛的机器学习方法家族的一部分，一般是具有表示学习的人工神经网络。

卷积层(Convolution)：通过两个函数f和g生成第三个函数的一种数学算子，表征函数f与g经过翻转和平移的重叠部分函数值乘积对重叠长度的积分。

池化层(Pooling)：是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样，一般有多种不同形式的非线性池化函数。

全连接层：全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。

人脸检测技术：检测一张图片里是否有人脸，难度在于人脸在图像的位置不确定，大小不确定，清晰度等。

为了便于理解，先对本申请所适用的物理框架进行介绍。

应理解，本申请提供的颜值评估模型训练方法可以应用于具有模型训练功能的系统或程序中。当然，本申请提供的颜值评估方法也可以应用于具有颜值评估的系统或程序中。具体的，具有模型训练功能的系统或程序，以及具有颜值评估的系统或程序可以运行于服务器、个人计算机等设备中。

如图1所示，图1为本申请适用的物理架构示意图。在图1中，具有模型训练功能的系统或程序可以运行于服务器，该服务器通过网络从其他终端设备中从人脸图片样本集中获取带标签的训练样本，所述标签包括颜值标签、年龄标签和性别标签；提取所述训练样本的人脸特征信息；将所述训练样本的标签和人脸特征信息输入初始模型，所述初始模型的年龄评估子模型基于所述人脸特征信息得到年龄权值预测值和年龄预测值；所述初始模型的性别评估子模型基于所述人脸特征信息得到性别权值预测值和性别预测结果；所述初始模型的颜值打分子模型基于所述人脸特征信息、所述年龄权值预测值和所述性别权值预测值得到颜值预测值；基于所述年龄预测值与所述年龄标签的损失、所述性别预测结果与所述性别标签的损失、以及所述颜值预测值与所述颜值标签的损失确定综合损失；基于所述综合损失对所述初始模型的参数进行调整，得到更新后的模型；在符合模型收敛条件时，将更新后的模型作为颜值评估模型。

在图1中，具有颜值评估的系统或程序也可以运行于服务器，该服务器通过网络从其他终端设备中获取人脸图片；提取人脸图片的人脸特征信息；将所述脸特征信息输入上述任意一项所述的颜值评估模型，所述颜值评估模型的年龄评估子模型基于所述人脸特征信息得到年龄权值；所述颜值评估模型的性别评估子模型基于所述人脸特征信息得到性别权值；所述颜值评估模型的颜值打分子模型基于所述人脸特征信息、所述年龄权值和所述性别权值得到颜值评估信息。

如图可知，该服务器可以与多个设备建立通信连接，服务器从这些设备中获取符合训练条件或需要评估颜值的人脸图片。服务器通过收集这些设备上传的人脸图片，对包括年龄评估子模型、性别评估子模型和颜值打分子模型的初始模型进行训练，以获得颜值评估模型。当然，服务器也利用训练获得颜值评估模型评估人脸图片中的人脸颜值。

图1中示出了多种终端设备，在实际场景中可以有更多或更少种类的终端设备参与到模型训练或颜值评估的过程中，具体数量和种类因实际场景而定，此处不做限定，另外，图1中示出了一个服务器，但在实际场景中，也可以有多个服务器的参与，具体服务器数量因实际场景而定。

应当注意的是，本实施例提供的颜值评估模型训练方法可以离线进行，即服务器本地存储有人脸图片集，其可以直接利用本申请提供的方案训练得到想要的模型。当然，本实施例提供的颜值评估方法可以离线进行，即服务器本地存储有待评估的人脸图片，其可以直接利用本申请提供的方案对人脸图片进行评估。

可以理解的是，上述具有模型训练功能的系统、程序，或具有颜值评估的系统、程序，也可以运行于个人移动终端，也可以作为云端服务程序的一种，具体运作模式因实际场景而定，此处不做限定。

具体的，在模型训练完成后，获得的颜值评估模型可以应用于视频直播推荐、在线交友推荐等，以根据用户的颜值进行推荐。若用户颜值打分较高，则可以优先推荐。也即：颜值评估方法可以用于视频直播推荐、在线交友推荐等。

结合以上共性，请参见图2，图2为本申请实施例提供的一种颜值评估模型训练方法流程图。如图2所示，该颜值评估模型训练方法可以包括以下步骤：

S201、从人脸图片样本集中获取带标签的训练样本，标签包括颜值标签、年龄标签和性别标签。

其中，人脸图片样本集包括多个人脸图片(即多个训练样本)，这些人脸图片可以为原始人脸图片，也可以是：用人脸检测技术检测原始人脸图片获得的各个人脸框覆盖的局部图片。人脸检测技术检测原始人脸图片，可得到该原始人脸图片对应的人脸框以及相应的人脸关键点信息。人脸框请参见图3。

S202、提取训练样本的人脸特征信息。

在本实施例中，利用人脸识别模型处理训练样本，即可得到相应的人脸特征信息。人脸特征信息可以用人脸特征图表示。

在本实施例中，将人脸识别模型处理人脸图片得到的人脸特征信息作为训练信息。人脸识别模型可以直接使用现有人脸识别模型，该人脸识别模型的作用为：从人脸图片中提取包括人脸通用特征(如：脸型特征、五官特征等)的人脸特征信息。

S203、将训练样本的标签和人脸特征信息输入初始模型，初始模型的年龄评估子模型基于人脸特征信息得到年龄权值预测值和年龄预测值；初始模型的性别评估子模型基于人脸特征信息得到性别权值预测值和性别预测结果；初始模型的颜值打分子模型基于人脸特征信息、年龄权值预测值和性别权值预测值得到颜值预测值。

S204、基于年龄预测值与年龄标签的损失、性别预测结果与性别标签的损失、以及颜值预测值与颜值标签的损失确定综合损失。

其中，上述三个损失的计算可使用相同或不同的损失函数。

S205、基于综合损失对初始模型的参数进行调整，得到更新后的模型。

S206、判断综合损失是否符合模型收敛条件；若是，则执行S207；若否，则执行S201，以从人脸图片样本集中重新获取带标签的训练样本，对模型进行迭代训练。

S207、将更新后的模型作为颜值评估模型。

其中，再次执行S201可以重新获取训练样本，从而对更新后的模型进行迭代训练，直至达到模型收敛条件。

本实施例将携带颜值标签、年龄标签和性别标签的样本作为模型训练样本，同时提取训练样本的人脸特征信息，利用初始模型的年龄评估子模型处理人脸特征信息得到年龄权值预测值和年龄预测值，利用初始模型的性别评估子模型处理人脸特征信息得到性别权值预测值和性别预测结果，利用初始模型的颜值打分子模型处理年龄权值预测值、性别权值预测值和人脸特征信息得到颜值预测值，并基于年龄预测值与年龄标签的损失、性别预测结果与性别标签的损失、以及颜值预测值与颜值标签的损失，确定综合损失；若基于综合损失对初始模型的参数进行调整后，且在符合模型收敛条件时，将更新后的初始模型作为颜值评估模型。否则，重新获取训练样本对更新后的模型进行迭代训练，直至达到模型收敛条件。

其中，基于综合损失对初始模型的参数进行调整，得到更新后的模型，包括：基于综合损失分别更新年龄评估子模型、性别评估子模型和颜值打分子模型的模型参数，并将更新后的年龄评估子模型、更新后的性别评估子模型和更新后的颜值打分子模型组合为更新后的模型。

其中，初始模型包括3个部分：年龄评估子模型、性别评估子模型和颜值打分子模型。年龄评估子模型、性别评估子模型和颜值打分子模型可以为基于深度学习算法的任意结构的模型。

可见，本实施例在模型更新过程中综合考虑了性别、年龄、人脸特征等因素，因此由年龄评估子模型、性别评估子模型和颜值打分子模型构成的颜值评估模型能够综合考虑性别、年龄、人脸特征等因素，输出相对综合颜值打分，从而提升了模型打分精度和性能。

基于上述实施例，年龄评估子模型、性别评估子模型和颜值打分子模型分别对应的详细处理步骤可参照如下介绍。

在一种具体实施方式中，初始模型的年龄评估子模型基于人脸特征信息得到年龄权值预测值和年龄预测值，包括：年龄评估子模型基于人脸特征信息确定年龄加权权重，将年龄加权权重与人脸特征信息的乘积作为年龄特征，从年龄特征中提取年龄深度特征，基于年龄深度特征确定年龄权值预测值和年龄预测值。其中，年龄评估子模型基于人脸特征信息确定年龄加权权重，包括：年龄评估子模型将人脸特征信息转换为向量数据，对向量数据采样得到年龄信息采样结果，对年龄信息采样结果进行线性变换，对线性变换后的年龄信息采样结果进行归一化处理，得到年龄加权权重。

在一种具体实施方式中，初始模型的性别评估子模型基于人脸特征信息得到性别权值预测值和性别预测结果，包括：性别评估子模型基于人脸特征信息确定性别加权权重，将性别加权权重与人脸特征信息的乘积作为性别特征，从性别特征中提取性别深度特征，基于性别深度特征确定性别权值预测值和性别预测结果。其中，性别评估子模型基于人脸特征信息确定性别加权权重，包括：性别评估子模型将人脸特征信息转换为向量数据，对向量数据采样得到性别信息采样结果，对性别信息采样结果进行线性变换，对线性变换后的性别信息采样结果进行归一化处理，得到性别加权权重。

在一种具体实施方式中，初始模型的颜值打分子模型基于人脸特征信息、年龄权值预测值和性别权值预测值得到颜值预测值，包括：颜值打分子模型将年龄权值预测值和性别权值预测值相加得到综合权值，对综合权值进行归一化处理，并将归一化处理后的综合权值与人脸特征信息的乘积作为颜值特征，从颜值特征中提取颜值深度特征，基于颜值深度特征确定颜值预测值。

基于上述实施例，当训练样本是：用人脸检测技术检测原始人脸图片获得的各个人脸框覆盖的局部图片时，在一种具体实施方式中，人脸图片样本集的生成过程包括：获取原始人脸图片构成的数据集；检测所述数据集中每一原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息；针对每个人脸框，利用该人脸框对应的人脸关键点信息对该人脸框进行位置矫正；将位置矫正后的各个人脸框覆盖的局部图片组成所述人脸图片样本集。

其中，检测数据集中每一原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息，可以使用人脸检测技术，具体可以使用基于人脸检测技术的人脸检测网络。

其中，对人脸框进行位置矫正即：对该人脸框进行旋转、平移、缩放等操作，使得人脸框所覆盖的人脸图像上下直立显示，具体可参见图4。

其中，获取原始人脸图片构成的数据集，包括：按照预设帧率对视频进行抽帧，得到多个原始人脸图片，并将多个原始人脸图片组成数据集。可见，原始人脸图片可从视频中抽帧得到。

其中，为了使模型能够适用于黄种人面部特征，原始人脸图片可以是黄种人人脸图像。当然，也可以是其他人种的人脸图像。

在一种具体实施方式中，检测数据集中每一原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息，包括：将数据集中的每个原始人脸图片输入人脸检测网络组合，由人脸检测网络组合输出数据集中的每个原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息。

其中，人脸检测网络组合至少包括三个人脸检测网络。人脸检测网络组合中的各个人脸检测网络的结构一般不同。

若人脸检测网络组合包括三个人脸检测网络，那么第一个人脸检测网络的结构为：3个卷积层；第二个人脸检测网络的结构为：3个卷积层和1个全连接层；第三个人脸检测网络的结构为：4个卷积层和1个全连接层。数据集中的任一个原始人脸图片依次输入第一个人脸检测网络(用于输出粗略地人脸框和相应的人脸关键点信息)、第二个人脸检测网络(用于去除误报的人脸框，也就是非人脸框)、第三个人脸检测网络(用于使人脸框的位置坐标更精细)，即可得到该原始人脸图片对应的人脸框，以及相应的人脸关键点信息。一般地，一个原始人脸图片可对应至少一个人脸框，而每个人脸框对应一个人脸关键点信息。

例如：第一个人脸检测网络为P-Net(Proposal Network)，其结构为3个卷积层。P-Net是一个人脸区域的候选网络，该网络的输入设置为12x12x3的图像，通过3层的卷积层之后，判断这个12x12的图像中是否存在人脸，并且给出人脸框和人脸关键点信息。具体的，网络的第一部分输出是用来判断该图像是否存在人脸，输出向量大小1x1x2，也就是两个值。网络的第二部分给出框的精确位置，一般称为框回归。因为输入P-Net的12×12的图像可能并没有完美的人脸框的位置，如有的时候人脸并不正好为方形，有可能图像中的人脸偏左或偏右，因此需要输出当前框位置相对完美的人脸框位置的偏移。这个偏移大小为1×1×4，即表示框左上角的横坐标的相对偏移，框左上角的纵坐标的相对偏移、框的宽度的误差、框的高度的误差。网络的第三部分给出人脸的5个关键点的位置。5个关键点分别对应着左眼的位置、右眼的位置、鼻子的位置、左嘴巴的位置、右嘴巴的位置。每个关键点需要两维来表示，因此输出是向量大小为1×1×10。

第二个人脸检测网络为R-Net(Refine Network)，该网络的结构和P-Net网络结构有差异，多了一个全连接层，所以会取得更好的抑制false-positive的作用。在第一个网络的输出结果输入R-Net之前，需要缩放到24x24x3。R-Net的输出与P-Net是相同的，R-Net的目的是为了去除大量的非人脸框。

第三个人脸检测网络为O-Net(Output Network)，该网络的结构比R-Net又多了一个卷积层，所以处理的结果会更加精细。输入O-Net的图像大小为48x48x3，输出包括N个人脸框的坐标信息，人脸框的置信度以及关键点位置。

其中，人脸检测网络组合中人脸检测网络的个数、各个人脸检测网络中的卷积层和全连接层的个数都可以增多或减少。减少后处理速度更快，但精度降低；增多后处理速度变慢，但精度会提高。当然，人脸检测网络组合中人脸检测网络所支持的输入尺寸也可以灵活调整。

在一种具体实施方式中，若人脸检测网络组合还输出各个人脸框的置信度，在任一人脸框的置信度高于置信度阈值时，可认为该人脸框不是误报人脸框，因此可执行利用该人脸框对应的人脸关键点信息对该人脸框进行位置矫正的步骤；否则，可认为该人脸框属于误报人脸框，也就是该人脸框覆盖的局部图像并非人脸，因此丢弃该人脸框覆盖的局部图片以及该人脸框对应的人脸关键点信息。

在一种具体实施方式中，将数据集中的每个原始人脸图片输入人脸检测网络组合，由人脸检测网络组合输出数据集中的每个原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息，包括：针对数据集中的每个原始人脸图片，按照不同比例缩放该原始人脸图片，得到不同尺寸的待处理图片；利用人脸检测网络组合分别检测各个待处理图片，得到每个待处理图片对应的人脸框和相应的人脸关键点信息、以及各个人脸框的置信度；基于人脸框的置信度和重复过滤技术，对所有待处理图片对应的人脸框和相应的人脸关键点信息进行筛选，得到该原始人脸图片对应的人脸框和相应的人脸关键点信息。

可见，针对数据集中的任一个原始人脸图片，可以变换该原始人脸图片的尺寸后，对这些尺寸的待处理图片分别处理，从而得到更多人脸框，也就能得到更多训练样本。同时，还可以使颜值评估模型学习到不同尺寸图像的识别能力，提高模型性能。

请参见图5，图5为本申请实施例提供的一种颜值评估方法流程图。如图5所示，该方法可以包括以下步骤：

S501、获取待评估的人脸图片；

S502、提取人脸图片的人脸特征信息；

S503、将脸特征信息输入上述任意实施例中的颜值评估模型，颜值评估模型的年龄评估子模型基于人脸特征信息得到年龄权值；颜值评估模型的性别评估子模型基于人脸特征信息得到性别权值；颜值评估模型的颜值打分子模型基于人脸特征信息、年龄权值和性别权值得到颜值评估信息。

当然，年龄评估子模型还可以输出年龄大小，性别评估子模型还可以输出性别。

本实施例针对任一个待评估的人脸图片，利用颜值评估模型中的年龄评估子模型、性别评估子模型和颜值打分子模型对其进行处理，即可得到该图片的颜值评估信息、年龄大小和性别。当然，若待评估的人脸图片中没有人脸，也即：没有包括人脸的图片被误判为人脸图片，此时可以直接丢弃该图片，并报错。

可见，本实施例利用颜值评估模型评估图片中人脸的颜值，可以得到相对综合的颜值打分，还可以输出年龄大小和性别，因此结果更精确。

下面通过具体的应用场景实例描述，来介绍本申请提供的颜值评估方案。即：利用颜值评估模型评估图片中人脸颜值的具体方案。该方案可以实时评估直播视频中人脸的颜值。若直播视频中人脸的颜值较高，则可以优先推荐该直播视频，那么可以有如下流程。

在直播平台中设置人脸识别模型和颜值评估模型。其中，人脸识别模型用于从图片中提取人脸特征信息，颜值评估模型基于人脸特征信息可实时评估直播视频中人脸的颜值打分、年龄和性别。请参见图6，具体流程包括：

S601、直播终端请求直播平台运行直播业务；

S602、直播平台向直播终端反馈响应消息；

S603、直播终端基于该响应消息开始直播；

S604、直播平台从直播终端实时获取直播视频；

S605、直播平台将直播视频实时输入人脸识别模型，得到人脸特征信息；将人脸特征信息输入颜值评估模型，得到直播视频中人脸的颜值打分、年龄和性别；

S606、直播平台根据颜值打分、年龄和性别确定推荐策略；

S607、直播平台按照推荐策略设置直播视频在平台首页的相应位置。

其中，直播平台可以部署在服务器中，直播终端可以为智能手机、平板电脑、笔记本电脑或台式电脑等能够进行直播的终端。

在图6中，人脸识别模型和颜值评估模型对直播视频中人脸的处理步骤可参照图7。在图7中，base CNN即人脸识别模型，颜值评估模型由CNN branch1(即年龄评估子模型)、CNN branch2(即性别评估子模型)、CNN branch3(即颜值打分子模型)组成。

具体的，base CNN可以基于resnet50和黄种人人脸数据集训练获得。该base CNN可以将人脸图片转换为相应的基特征图(即人脸特征图)。

上述base CNN作为颜值评估模型的预训练模型，预训练模型的输出为基特征图，基特征图之后接三个分支流程，如图8、图9、图10。其中，图8示意CNN branch1的结构和详细处理步骤，最终输出年龄值和权值1；图9示意CNN branch2的结构和详细处理步骤，最终输出性别类和权值2；图10示意CNN branch3的结构和详细处理步骤，最终输出颜值信息(即颜值打分)。

在图8和图9中，CNN branch1和CNN branch2的结构相同，但实际上CNN branch1和CNN branch2的结构可以不同。

其中，图8示意的CNN branch1的详细处理步骤包括：CNN branch1接收base CNN输出的特征图。特征图尺寸记为CHW，C为特征图通道个数，HW分别为特征图的高和宽，一路经过自注意力层(Scale)；另一路经过一个global pooling(池化)层，将特征图矩阵变为向量(长度为C)，然后经过两个全连接层(FC)进行线性变换(此处全连接层的个数可增减，其作用为使年龄加权权重更合理)，再经过一个sigmoid将向量的所有值映射到0-1之间，得到年龄加权权重，与之前的base CNN输出的特征图相乘，得到加权后的特征图；加权后的特征图再经过一个CNN block(包括convolution、batch norm、relu等结构，用于提取更深层次、更全面的特征)，golbal pooling，之后经过两个分支，一个分支经过一个全连接层后给出年龄信息(此处全连接层的个数可增减)，另一个分支经过两个全连接层(此处全连接层的个数可增减)，一个sigmoid后将向量的所有值映射到0-1之间，输出权值1(即年龄权值)。

图9示意的CNN branch2的详细处理步骤与CNN branch1类似，在此不再赘述，CNNbranch2输出性别信息和权值2(即性别权值)。

图10示意的CNN branch3的详细处理步骤包括：CNN branch3接收基特征图；图8、图9输出的权值1和权值2，将权值1和权值2先进行向量的对位相加，然后经过一个sigmoid将向量的所有值映射到0-1之间，与之前的base CNN输出的特征图相乘，得到加权后的特征图，再经过一个CNN block(结构、作用与上述相同)，golbal pooling，一个全连接层(此处全连接层的个数可增减)后，输出最终的颜值分。

可见，本实施例能够针对视频里的人脸图片进行颜值打分。具体包括：直接对视频抽帧得到图片，检测图片中的人脸后，对人脸进行矫正，送入人脸识别模型和颜值评估模型得到年龄、性别、颜值分数。其中的颜值评估模型的打分精度和稳定性都有了更好地提升，同时也给出了性别和年龄大小。在同城交友、漂流瓶等场景上也可以使用人脸识别模型和颜值评估模型，以实现精确推荐，提高用户粘性。

请参见图11，图11为本申请实施例提供的一种颜值评估模型训练装置示意图，包括：

样本获取模块1101，用于从人脸图片样本集中获取带标签的训练样本，标签包括颜值标签、年龄标签和性别标签；

训练特征提取模块1102，用于提取训练样本的人脸特征信息；

处理模块1103，用于将训练样本的标签和人脸特征信息输入初始模型，初始模型的年龄评估子模型基于人脸特征信息得到年龄权值预测值和年龄预测值；初始模型的性别评估子模型基于人脸特征信息得到性别权值预测值和性别预测结果；初始模型的颜值打分子模型基于人脸特征信息、年龄权值预测值和性别权值预测值得到颜值预测值；

损失确定模块1104，用于基于年龄预测值与年龄标签的损失、性别预测结果与性别标签的损失、以及颜值预测值与颜值标签的损失确定综合损失；

更新模块1105，用于基于综合损失对初始模型的参数进行调整，得到更新后的模型；

输出模块1106，用于在符合模型收敛条件时，将更新后的模型作为颜值评估模型。

在一种具体实施方式中，还包括：

迭代模块，用于在不符合模型收敛条件时，从人脸图片样本集中重新获取训练样本，以对更新后的模型进行迭代训练，直至达到模型收敛条件时，将更新后的模型作为颜值评估模型。

在一种具体实施方式中，更新模块具体用于：

基于综合损失分别更新年龄评估子模型、性别评估子模型和颜值打分子模型的模型参数，并将更新后的年龄评估子模型、更新后的性别评估子模型和更新后的颜值打分子模型组合为更新后的模型。

在一种具体实施方式中，年龄评估子模型基于人脸特征信息确定年龄加权权重，将年龄加权权重与人脸特征信息的乘积作为年龄特征，从年龄特征中提取年龄深度特征，基于年龄深度特征确定年龄权值预测值和年龄预测值。

在一种具体实施方式中，年龄评估子模型将人脸特征信息转换为向量数据，对向量数据采样得到年龄信息采样结果，对年龄信息采样结果进行线性变换，对线性变换后的年龄信息采样结果进行归一化处理，得到年龄加权权重。

在一种具体实施方式中，性别评估子模型基于人脸特征信息确定性别加权权重，将性别加权权重与人脸特征信息的乘积作为性别特征，从性别特征中提取性别深度特征，基于性别深度特征确定性别权值预测值和性别预测结果。

在一种具体实施方式中，性别评估子模型将人脸特征信息转换为向量数据，对向量数据采样得到性别信息采样结果，对性别信息采样结果进行线性变换，对线性变换后的性别信息采样结果进行归一化处理，得到性别加权权重。

在一种具体实施方式中，颜值打分子模型将年龄权值预测值和性别权值预测值相加得到综合权值，对综合权值进行归一化处理，并将归一化处理后的综合权值与人脸特征信息的乘积作为颜值特征，从颜值特征中提取颜值深度特征，基于颜值深度特征确定颜值预测值。

在一种具体实施方式中，还包括生成模块，用于生成人脸图片样本集，该生成模块包括：

获取单元，用于获取原始人脸图片构成的数据集；

检测单元，用于检测数据集中每一原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息；

矫正单元，用于针对每个人脸框，利用该人脸框对应的人脸关键点信息对该人脸框进行位置矫正；

组成单元，用于将位置矫正后的各个人脸框覆盖的局部图片组成人脸图片集。

在一种具体实施方式中，获取单元具体用于：

按照预设帧率对视频进行抽帧，得到多个原始人脸图片，并将多个原始人脸图片组成数据集。

在一种具体实施方式中，检测单元具体用于：

将数据集中的每个原始人脸图片输入人脸检测网络组合，由人脸检测网络组合输出数据集中的每个原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息；

其中，人脸检测网络组合至少包括三个人脸检测网络。

在一种具体实施方式中，检测单元还用于：

若人脸检测网络组合还输出各个人脸框的置信度，在任一人脸框的置信度高于置信度阈值时，执行利用该人脸框对应的人脸关键点信息对该人脸框进行位置矫正的步骤；否则，丢弃该人脸框覆盖的局部图片以及该人脸框对应的人脸关键点信息。

在一种具体实施方式中，检测单元包括：

缩放子单元，用于针对数据集中的每个原始人脸图片，按照不同比例缩放该原始人脸图片，得到不同尺寸的待处理图片；

检测子单元，用于利用人脸检测网络组合分别检测各个待处理图片，得到每个待处理图片对应的人脸框和相应的人脸关键点信息、以及各个人脸框的置信度；

筛选子单元，用于基于人脸框的置信度和重复过滤技术，对所有待处理图片对应的人脸框和相应的人脸关键点信息进行筛选，得到该原始人脸图片对应的人脸框和相应的人脸关键点信息。

其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本实施例提供了一种颜值评估模型训练装置，该装置在模型更新过程中综合考虑了性别、年龄、人脸特征等因素，因此由年龄评估子模型、性别评估子模型和颜值打分子模型构成的颜值评估模型能够综合考虑性别、年龄、人脸特征等因素，输出相对综合颜值打分，从而提升了模型打分精度和性能。

进一步的，本申请实施例提供了一种颜值评估装置，该装置包括：

评估特征提取模块，用于提取人脸图片的人脸特征信息；

评估模块，用于将脸特征信息输入如上任意实施例中的颜值评估模型，颜值评估模型的年龄评估子模型基于人脸特征信息得到年龄权值；颜值评估模型的性别评估子模型基于人脸特征信息得到性别权值；颜值评估模型的颜值打分子模型基于人脸特征信息、年龄权值和性别权值得到颜值评估信息。

进一步的，本申请实施例还提供了一种电子设备。其中，上述电子设备既可以是如图12所示的服务器50，也可以是如图13所示的终端60。图12和图13均是根据一示例性实施例示出的电子设备结构图，图中的内容不能被认为是对本申请的使用范围的任何限制。

图12为本申请实施例提供的一种服务器的结构示意图。该服务器50，具体可以包括：至少一个处理器51、至少一个存储器52、电源53、通信接口54、输入输出接口55和通信总线56。其中，所述存储器52用于存储计算机程序，所述计算机程序由所述处理器51加载并执行，以实现前述任一实施例公开的相应方法中的相关步骤。

本实施例中，电源53用于为服务器50上的各硬件设备提供工作电压；通信接口54能够为服务器50创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口55，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器52作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统521、计算机程序522及数据523等，存储方式可以是短暂存储或者永久存储。

其中，操作系统521用于管理与控制服务器50上的各硬件设备以及计算机程序522，以实现处理器51对存储器52中数据523的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序522除了包括能够用于完成前述任一实施例公开的相应方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据523除了可以包括应用程序的更新信息、待处理图片、视频等数据外，还可以包括应用程序的开发商信息等数据。

图13为本申请实施例提供的一种终端的结构示意图，该终端60具体可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。

通常，本实施例中的终端60包括有：处理器61和存储器62。

其中，处理器61可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器61可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器61也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器61可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器61还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器62可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器62还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器62至少用于存储以下计算机程序621，其中，该计算机程序被处理器61加载并执行之后，能够实现前述任一实施例公开的由终端侧执行的颜值评估模型训练方法中的相关步骤。另外，存储器62所存储的资源还可以包括操作系统622和数据623等，存储方式可以是短暂存储或者永久存储。其中，操作系统622可以包括Windows、Unix、Linux等。数据623可以包括但不限于应用程序的更新信息。

在一些实施例中，终端60还可包括有显示屏63、输入输出接口64、通信接口65、传感器66、电源67以及通信总线68。

本领域技术人员可以理解，图13中示出的结构并不构成对终端60的限定，可以包括比图示更多或更少的组件。

进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的相应方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

需要指出的是，上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种颜值评估模型训练方法，其特征在于，包括：

从人脸图片样本集中获取带标签的训练样本，所述标签包括颜值标签、年龄标签和性别标签；

提取所述训练样本的人脸特征信息；

将所述训练样本的标签和人脸特征信息输入初始模型，所述初始模型的年龄评估子模型基于所述人脸特征信息得到年龄权值预测值和年龄预测值；所述初始模型的性别评估子模型基于所述人脸特征信息得到性别权值预测值和性别预测结果；所述初始模型的颜值打分子模型基于所述人脸特征信息、所述年龄权值预测值和所述性别权值预测值得到颜值预测值；

基于所述年龄预测值与所述年龄标签的损失、所述性别预测结果与所述性别标签的损失、以及所述颜值预测值与所述颜值标签的损失确定综合损失；

基于所述综合损失对所述初始模型的参数进行调整，得到更新后的模型；

在符合模型收敛条件时，将更新后的模型作为颜值评估模型。

2.根据权利要求1所述的方法，其特征在于，还包括：

在不符合模型收敛条件时，从所述人脸图片样本集中重新获取训练样本，以对更新后的模型进行迭代训练，直至达到模型收敛条件时，将更新后的模型作为颜值评估模型。

3.根据权利要求1所述的方法，其特征在于，所述基于所述综合损失对所述初始模型的参数进行调整，得到更新后的模型，包括：

基于所述综合损失分别更新所述年龄评估子模型、所述性别评估子模型和所述颜值打分子模型的模型参数，并将更新后的年龄评估子模型、更新后的性别评估子模型和更新后的颜值打分子模型组合为所述更新后的模型。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述初始模型的年龄评估子模型基于所述人脸特征信息得到年龄权值预测值和年龄预测值，包括：

所述年龄评估子模型基于所述人脸特征信息确定年龄加权权重，将所述年龄加权权重与所述人脸特征信息的乘积作为年龄特征，从所述年龄特征中提取年龄深度特征，基于所述年龄深度特征确定所述年龄权值预测值和所述年龄预测值。

5.根据权利要求4所述的方法，其特征在于，所述年龄评估子模型基于所述人脸特征信息确定年龄加权权重，包括：

所述年龄评估子模型将所述人脸特征信息转换为向量数据，对所述向量数据采样得到年龄信息采样结果，对所述年龄信息采样结果进行线性变换，对线性变换后的年龄信息采样结果进行归一化处理，得到所述年龄加权权重。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述初始模型的性别评估子模型基于所述人脸特征信息得到性别权值预测值和性别预测结果，包括：

所述性别评估子模型基于所述人脸特征信息确定性别加权权重，将所述性别加权权重与所述人脸特征信息的乘积作为性别特征，从所述性别特征中提取性别深度特征，基于所述性别深度特征确定所述性别权值预测值和所述性别预测结果。

7.根据权利要求6所述的方法，其特征在于，所述所述性别评估子模型基于所述人脸特征信息确定性别加权权重，包括：

所述性别评估子模型将所述人脸特征信息转换为向量数据，对所述向量数据采样得到性别信息采样结果，对所述性别信息采样结果进行线性变换，对线性变换后的性别信息采样结果进行归一化处理，得到所述性别加权权重。

8.根据权利要求1至3任一项所述的方法，其特征在于，所述初始模型的颜值打分子模型基于所述人脸特征信息、所述年龄权值预测值和所述性别权值预测值得到颜值预测值，包括：

所述颜值打分子模型将所述年龄权值预测值和所述性别权值预测值相加得到综合权值，对所述综合权值进行归一化处理，并将归一化处理后的综合权值与所述人脸特征信息的乘积作为颜值特征，从所述颜值特征中提取颜值深度特征，基于所述颜值深度特征确定所述颜值预测值。

9.根据权利要求1至3任一项所述的方法，其特征在于，所述人脸图片样本集的生成过程包括：

获取原始人脸图片构成的数据集；

检测所述数据集中每一原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息；

针对每个人脸框，利用该人脸框对应的人脸关键点信息对该人脸框进行位置矫正；

将位置矫正后的各个人脸框覆盖的局部图片组成所述人脸图片样本集。

10.根据权利要求9所述的方法，其特征在于，所述获取原始人脸图片构成的数据集，包括：

按照预设帧率对视频进行抽帧，得到多个原始人脸图片，并将所述多个原始人脸图片组成所述数据集。

11.根据权利要求9所述的方法，其特征在于，所述检测所述数据集中每一原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息，包括：

将所述数据集中的每个原始人脸图片输入人脸检测网络组合，由所述人脸检测网络组合输出所述数据集中的每个原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息；

其中，所述人脸检测网络组合至少包括三个人脸检测网络。

12.根据权利要求11所述的方法，其特征在于，还包括：

若所述人脸检测网络组合还输出各个人脸框的置信度，在任一人脸框的置信度高于置信度阈值时，执行所述利用该人脸框对应的人脸关键点信息对该人脸框进行位置矫正的步骤；否则，丢弃该人脸框覆盖的局部图片以及该人脸框对应的人脸关键点信息。

13.根据权利要求11所述的方法，其特征在于，所述将所述数据集中的每个原始人脸图片输入人脸检测网络组合，由所述人脸检测网络组合输出所述数据集中的每个原始人脸图片对应的人脸框，以及各个人脸框分别对应的人脸关键点信息，包括：

针对所述数据集中的每个原始人脸图片，按照不同比例缩放该原始人脸图片，得到不同尺寸的待处理图片；

利用所述人脸检测网络组合分别检测各个待处理图片，得到每个待处理图片对应的人脸框和相应的人脸关键点信息、以及各个人脸框的置信度；

基于人脸框的置信度和重复过滤技术，对所有待处理图片对应的人脸框和相应的人脸关键点信息进行筛选，得到该原始人脸图片对应的人脸框和相应的人脸关键点信息。

14.一种颜值评估方法，其特征在于，包括：

提取人脸图片的人脸特征信息；

将所述脸特征信息输入如权利要求1-13任意一项所述的颜值评估模型，所述颜值评估模型的年龄评估子模型基于所述人脸特征信息得到年龄权值；所述颜值评估模型的性别评估子模型基于所述人脸特征信息得到性别权值；所述颜值评估模型的颜值打分子模型基于所述人脸特征信息、所述年龄权值和所述性别权值得到颜值评估信息。

15.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至14任一项所述的方法。

16.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至14任一项所述的方法。

Images