CN105205479A - 人脸颜值评估方法、装置及终端设备 - Google Patents

Abstract

本公开是关于一种人脸颜值评估方法、装置及终端设备。所述方法包括：通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到所述人脸图像在各卷积层提取出的局部特征，所述人脸图像为原始图像中包含人脸的区域，所述卷积神经网络已经进行了设定个数的任务训练；通过所述卷积神经网络的全连接层对所述卷积层提取出的所述局部特征进行整合并链接为一个设定长度的一维向量；将所述一维向量分别输入至所述卷积神经网络的设定个数的预测层，通过所述设定个数的预测层得到所述设定个数关于所述人脸的评分值。本公开技术方案可以使用户能够根据评分值拍照过程做出更具针对性的调整，以提升后续所拍照片的图像质量或用户的皮肤光滑度。

Description

人脸颜值评估方法、装置及终端设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种人脸颜值评估方法、装置及终端设备。

背景技术

相关技术中在对用户的颜值进行评分时，采用人脸的五官之间的距离作为特征，通过学习五官之间的距离，得到用户五官分布的几何特征。然而，由于五官分布的几何特征受拍摄角度以及环境光照的影响，当用户在不同的光照下采用不同角度拍照时，仅从五官分布的几何特征作为颜值的评分依据不够全面，对用户在实际场景中没有太大的参考价值。

发明内容

为克服相关技术中存在的问题，本公开实施例提供一种人脸颜值评估方法、装置及终端设备，用以从多方面确定人脸颜值，使对颜值的评分更全面。

根据本公开实施例的第一方面，提供一种人脸颜值评估方法，包括：

通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到所述人脸图像在各卷基层提取的局部特征，所述人脸图像为原始图像中包含人脸的区域，所述卷积神经网络已经进行了设定个数的任务训练；

通过所述卷积神经网络的全连接层对所述各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量；

将所述一维向量分别输入至所述卷积神经网络的设定个数的预测层，通过所述设定个数的预测层得到所述设定个数关于所述人脸的评分值。

在一实施例中，所述方法还可包括：

确定所述设定个数关于所述人脸的评分值各自对应的权重系数；

根据所述各自对应的权重系数对所述设定个数关于所述人脸的评分值进行加权求和，得到所述人脸的最终评分值。

在一实施例中，所述方法还可包括：

将所述设定个数关于所述人脸的评分值分别输入至所述所述卷积神经网络的设定个数的损失函数层；

将所述人脸图像中的人脸对应的所述设定个数的标定值分别输入至所述设定个数的损失函数层；

通过所述损失函数层得到所述设定个数的所述评分值和所述设定个数的标定值之间的误差值；

通过所述设定个数的误差值更新所述卷积神经网络中的每一层的参数。

在一实施例中，所述方法还可包括：

检测所述原始图像上关于所述人脸的特征点；

根据所述人脸的特征点从所述原始图像上确定所述人脸的区域图像；

将所述人脸的区域图像根据预设参考特征点进行仿射变换变换得到人脸图像，所述人脸图像的分辨率与所述卷积神经网络的输入层的维数相同。

在一实施例中，所述方法还可包括：

根据所述设定个数关于所述人脸的评分值确定关于所述原始图像的反馈结果。

在一实施例中，所述方法还可包括：

基于预设数量的人脸样本对所述卷积神经网络进行所述设定个数的任务训练；

在确定所述卷积神经网络的迭代次数达到预设次数或者所述卷积神经网络的训练损失函数小于预设阈值时，停止对所述卷积神经网络的训练。

根据本公开实施例的第二方面，提供一种人脸颜值评估装置，包括：

卷积处理模块，被配置为通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到所述人脸图像在各卷积层提取出的局部特征，所述人脸图像为原始图像中包含人脸的区域；

全连接处理模块，被配置为通过所述卷积神经网络的全连接层对所述各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量；

结果处理模块，被配置为将所述全连接处理模块得到的所述一维向量分别输入至所述卷积神经网络的设定个数的预测层，通过所述设定个数的预测层得到所述设定个数关于所述人脸的评分值。

在一实施例中，所述装置还可包括：

第一确定模块，被配置为确定所述结果处理模块得到的所述设定个数关于所述人脸的评分值各自对应的权重系数；

加权求和模块，被配置为根据所述第一确定模块确定的所述各自对应的权重系数对所述设定个数关于所述人脸的评分值进行加权求和，得到所述人脸的最终评分值。

在一实施例中，所述装置还可包括：

第一输入模块，被配置为将所述设定个数关于所述人脸的评分值分别输入至所述所述卷积神经网络的设定个数的损失函数层；

第二输入模块，被配置为将所述人脸图像中的人脸对应的所述设定个数的标定值分别输入至所述设定个数的损失函数层；

误差确定模块，被配置为通过所述损失函数层从所述第一输入模块得到的所述设定个数关于所述人脸的评分值和从所述第二输入模块得到的所述设定个数的标定值得到所述设定个数的所述评分值和所述标定值之间的误差值；

参数更新模块，被配置为通过所述误差确定模块得到的所述设定个数的误差值更新所述卷积神经网络中的每一层的参数。

在一实施例中，所述装置还可包括：

检测模块，被配置为检测所述原始图像上关于所述人脸的特征点；

第二确定模块，被配置为根据所述检测模块检测得到的所述人脸的特征点从所述原始图像上确定所述人脸的区域图像；

仿射变换模块，被配置为将所述第二确定模块确定的所述人脸的区域图像根据预设参考特征点进行仿射变换得到人脸图像，所述人脸图像的分辨率与所述卷积神经网络的输入层的维数相同。

在一实施例中，所述装置还可包括：

提示模块，被配置为根据所述结果处理模块得到的所述设定个数关于所述人脸的评分值确定关于所述原始图像的反馈结果。

在一实施例中，所述装置还可包括：

网络训练模块，被配置为基于预设数量的人脸样本对所述卷积神经网络进行所述设定个数的任务训练；

控制模块，被配置为在确定所述网络训练模块的迭代次数达到预设次数或者通过所述神经网络训练模块训练后的所述卷积神经网络的训练损失函数小于预设阈值时，停止对所述卷积神经网络的训练。

根据本公开实施例的第三方面，提供一种终端设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到所述人脸图像在各卷积层提取出的局部特征，所述人脸图像为原始图像中包含人脸的区域，所述卷积神经网络已经进行了所述设定个数的任务训练；

通过所述卷积神经网络的全连接层对所述各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量；

将所述一维向量分别输入至所述卷积神经网络的设定个数的预测层，得到所述设定个数关于所述人脸的评分值。

本公开的实施例提供的技术方案可以包括以下有益效果：由于卷积神经网络已经进行了多任务(本公开中的设定个数的训练任务)训练，由于设定个数的预测层对应了不同的训练任务，因此从设定个数的预测层对人脸图像进行打分更能体现原始图像在实际拍摄场景中的情形，从而通过各个预测层的评分值给用户更具体的关于人脸颜值的反馈提示，使用户能够根据评分值拍照过程做出更具针对性的调整，以提升后续所拍照片的图像质量或用户的皮肤光滑度。

并且，通过将设定个数关于人脸的评分值进行加权求和，得到人脸的最终评分值，由于是通过设定个数的任务训练得到的该最终评分值，实现了从多方面确定人脸颜值，使对颜值的评估更全面。

通过损失函数层将各个误差再进一步更新卷积神经网络中的每一层已经训练的参数，可以提高卷积神经网络中的每一层的参数精确度，进而提高卷积神经网络得到的人脸评分的准确度。

通过将检测到的人脸图像上的特征点根据预设参考特征点进行仿射变换，进而将从不同分辨率的人脸图像上得到的特征点与预设参考特征点对应的分辨率相同，从而可以使其与人脸样本的分辨率相同，确保人脸图像能够准确地输入到卷积神经网络的输入层。

通过设定个数关于人脸的评分值确定关于原始图像的反馈结果，可以使用户根据具体的反馈结果对原始图像进行改善或者在以后的拍照过程中注意拍照技巧，从而提升用户的拍照质量。

通过对卷积神经网络进行多任务训练，从而可以提供该原始图像上的人脸的评分值，使用户能够根据评分值拍照过程做出更具针对性的调整，以提升后续所拍照片的图像质量或用户的皮肤光滑度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1A是根据一示例性实施例示出的人脸颜值评估方法的流程图。

图1B是根据一示例性实施例示出的卷积神经网络的示意图。

图2是根据一示例性实施例一示出的人脸颜值评估方法的流程图。

图3A是根据一示例性实施例二示出的人脸颜值评估方法的流程图。

图3B是根据一示例性实施例一示出的卷积神经网络的示意图。

图4是根据一示例性实施例三示出的人脸颜值评估方法的流程图。

图5是根据一示例性实施例示出的一种人脸颜值评估装置的框图。

图6是根据一示例性实施例示出的另一种人脸颜值评估装置的框图。

图7是根据一示例性实施例示出的一种适用于人脸颜值评估装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在对该卷积神经网络进行训练之前，可以准备预设数量的人脸样本，并且对这些人脸样本在设定个数的任务训练，对人脸样本进行标定打分，例如，准备5万张人脸样本，然后按照这些人脸样本所归属的用户对这5万张人脸样本进行标定打分，标定分值的范围例如为1到10分，通过上述标定，用户A基于五官、皮肤、图像质量的标定分值分别为5、6、7，此外，还可以结合上述标定分值结合五官、皮肤、图像质量各自对应的权重得到用户A的最终标定值。

在对人脸样本标定分值之后，可以基于预设数量的人脸样本对卷积神经网络进行所述设定个数的任务训练；在确定卷积神经网络的迭代次数达到预设次数或者卷积神经网络的训练损失函数小于预设阈值时，停止对卷积神经网络的训练。其中，迭代次数可以根据对卷积神经网络的训练结果来确定，本公开对迭代次数不做限制。通过对卷积神经网络进行了多任务(本公开中的设定个数的训练任务)训练，从而可以提供该原始图像上的人脸的评分值，使用户能够根据评分值拍照过程做出更具针对性的调整，以提升后续所拍照片的图像质量或用户的皮肤光滑度。

图1A是根据一示例性实施例示出的人脸颜值评估方法的流程图，图1B是根据一示例性实施例示出的卷积神经网络的示意图；该人脸颜值评估方法可以应用在终端设备(例如：智能手机、平板电脑、台式计算机)上，可以通过在智能手机、平板电脑上安装应用的方式或者在台式计算机上安装软件的方式实现，如图1A所示，该人脸颜值评估方法包括以下步骤S101-S103：

在步骤S101中，通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到人脸图像在各卷积层提取出的局部特征，人脸图像为原始图像中包含人脸部分的的区域，其中，卷积神经网络已经进行了设定个数的任务训练。

在一实施例中，卷积神经网络可以根据实际需要设置不同个数的卷积层，通过卷积层对人脸图像进行卷积处理以得到各个卷积层对应的局部特征。

在步骤S102中，通过卷积神经网络的全连接层对各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量。

在一实施例中，全连接层可以根据卷积神经网络中的各个卷积层的输出自适应调整对局部特征进行映射的映射矩阵的维数，例如，卷积层输出的局部特征的维数为16×16，如果全连接层需要输出一个设定长度为8的一维向量，则全连接层可以选择一个8×256的映射矩阵，从而确保全连接层具有一个设定长度为8的一维向量。

在步骤S103中，将一维向量分别输入至卷积神经网络的设定个数的预测层，得到设定个数关于人脸的评分值。

在一实施例中，设定个数可以根据对人脸评分的训练任务来确定，例如，如果从五官、皮肤、图像质量3个训练任务，则设定个数为3，如果仅有五官1个训练任务，则设定个数为1，如果为上述三个方面的任意两个方面来训练，则设定个数可以为2，如果还需要将光照作为训练任务，则设定个数为4，由此可知，本公开对设定个数不做限制，只要能够将训练任务参与到卷积神经网络的训练，并在确定人脸颜值时将训练任务对应的系数应用在卷积神经网络中即可。在一实施例中，预测层可以通过卷积神经网络中的softmax函数实现。

作为一个示例性场景，如图1B所示，卷积神经网络包括3个卷积层，1个全连接层和3个预测层。从原始图像中检测人脸区域，根据人脸区域从原始图像上截取人脸所在的区域，例如，原始图像的分辨率为1000×1000，人脸所在的区域的分辨率为200×200。如果卷积神经网的输入层的维数为128×128，则可以将该包含有人脸所在的区域进行仿射变换，得到分辨率为128×128的人脸图像。

在一实施例中，卷积层11、卷积层12、卷积层13的卷积核大小分别为5×5、3×3、2×2，在卷积层11、卷积层12、卷积层13上，同时还可以具有对人脸图像依次进行下采样的功能，例如，128×128大小的人脸图像通过卷积层11的卷积处理后得到64×64大小的局部特征，64×64大小的局部特征通过卷积层12的卷积处理后得到32×32大小的局部特征，32×32大小的局部特征通过卷积层13的卷积处理后得到16×16大小的局部特征，通过各卷积层的卷积处理，可以使局部特征能够充分表示人脸在五官、皮肤、图像质量等方面的真实特征。

在全连接层14支持设定长度为8的情形下，全连接层14需要将16×16大小的局部特征变换为1*256的一维向量，再将该一维向量通过一个8×256的映射矩阵映射得到一个设定长度为8的一维向量。

在预测层151、预测层152、预测层153表示卷积神经网络需要学习的3个任务，分别对应人脸图像上的人脸的五官、人脸的皮肤以及图像质量。因此通过将该设定长度为8的一维向量输入到预测层151、预测层152、预测层153，预测层151、预测层152、预测层153根据其已经训练到的权重系数计算得到上述关于人脸的五官、人脸的皮肤以及人脸的图像质量的评分值。

本实施例中，由于卷积神经网络已经进行了多任务(本公开中的设定个数的训练任务)训练，由于设定个数的预测层对应了不同的训练任务，因此从设定个数的预测层对人脸图像进行打分更能体现原始图像在实际拍摄场景中的情形，从而通过各个预测层的评分值给用户更具体的关于人脸颜值的反馈提示，使用户能够根据评分值拍照过程做出更具针对性的调整，以提升后续所拍照片的图像质量或用户的皮肤光滑度。

在一实施例中，方法还可包括：

确定设定个数关于人脸的评分值各自对应的权重系数；

根据各自对应的权重系数对设定个数关于人脸的评分值进行加权求和，得到人脸的最终评分值。

在一实施例中，方法还可包括：

将设定个数关于人脸的评分值分别输入至卷积神经网络的设定个数的损失函数层，以及，将人脸图像中的人脸对应的设定个数的标定值分别输入至设定个数的损失函数；

通过损失函数层得到设定个数的评分值和设定个数的标定值之间的误差值；

通过设定个数的误差值更新卷积神经网络中的每一层的参数。

在一实施例中，方法还可包括：

检测原始图像上关于人脸的特征点；

根据人脸的特征点从原始图像上确定人脸的区域图像；

将人脸的区域图像根据预设参考特征点进行仿射变换得到人脸图像，人脸图像的分辨率与卷积神经网络的输入层的维数相同。

在一实施例中，方法还可包括：

根据设定个数关于人脸的评分值确定关于原始图像的反馈结果。

在一实施例中，方法还可包括：

基于预设数量的人脸样本对卷积神经网络进行设定个数的任务训练；

在确定卷积神经网络的迭代次数达到预设次数或者卷积神经网络的训练损失函数小于预设阈值时，停止对卷积神经网络的训练。

具体如何确定原始图像中的人脸颜值的，请参考后续实施例。

至此，本公开实施例提供的上述方法，可以通过各个预测层的评分值给用户更具体的关于人脸颜值的反馈提示，使用户能够根据评分值拍照过程做出更具针对性的调整，以提升后续所拍照片的图像质量或用户的皮肤光滑度。

下面以具体实施例来说明本公开实施例提供的技术方案。

图2是根据一示例性实施例一示出的人脸颜值评估方法的流程图；本实施例利用本公开实施例提供的上述方法，以在通过上述图1A所示实施例确定了设定个数关于人脸的评分值之后，如何得到人脸的最终评分值为例并结合图1B进行示例性说明，如图2所示，包括如下步骤：

在步骤S201中，确定设定个数关于人脸的评分值各自对应的权重系数。

在一实施例中，权重系数可以由用户自定义设置，也可以通过对卷积神经网络进行训练得到。

在步骤S202中，根据各自对应的权重系数对设定个数关于人脸的评分值进行加权求和，得到人脸的最终评分值。

作为一个示例性场景，如图1B所示，如果卷积神经网络已经学习了3个训练任务，该3个训练任务分别为五官、皮肤、图像质量，则共有3个关于人脸的评分值，该3个关于人脸的评分值分别为6、8、7，如果对应的权重系数分别为0.5、0.3、0.2，则得到的最终评分值为6×0.5+8×0.3+7×0.2＝6.8。

本实施例中，通过将设定个数关于人脸的评分值进行加权求和，得到人脸的最终评分值，由于是通过设定个数的任务训练得到的该最终评分值，实现了从多方面确定人脸颜值，使对颜值的评分更全面。

图3A是根据一示例性实施例二示出的人脸颜值评估方法的流程图，图3B是根据一示例性实施例一示出的卷积神经网络的示意图；本实施例利用本公开实施例提供的上述方法，以在通过上述图1A所示实施例确定了设定个数关于人脸的评分值之后，如何更新卷积神经网络中的系数为例进行示例性说明，本实施例中，卷积神经网络还包括设定个数的损失函数层，损失函数层可以采用卷积神经网络中的softmaxloss，如图3A所示，包括如下步骤：

在步骤S301中，将设定个数关于人脸的评分值分别输入至卷积神经网络的设定个数的损失函数层。

在步骤S302中，将人脸图像中的人脸对应的设定个数的标定值分别输入至设定个数的损失函数层。

在一实施例中，可以建立包含有海量的人脸样本的样本库，每一个人脸样本的分辨率经过缩放后与卷进神经网络的输入层的维数相同，对样本库中的每一人脸样本进行人脸检测，检测出人脸的双眼中心点、鼻子、嘴等四个特征点，通过海量的人脸样本上的双眼中心点、鼻子、嘴的特征点得到一个预设参考特征点。由于输入至卷积神经网络的原始图像对应的人脸图像与样本库中的人脸样本的分辨率可能不相同，因此还可以将检测到的人脸图像上的特征点根据预设参考特征点进行仿射变换，进而将从不同分辨率的人脸图像上得到的特征点与预设参考特征点对应的分辨率相同，例如，从原始图像上截取的人脸图像的分辨率为300×300，通过仿射变换将其变换为128×128，从而可以使其与人脸样本的分辨率相同，确保人脸图像能够准确地输入到卷积神经网络的输入层。在一实施例中，人脸图像中的人脸对应的设定个数的标定值可以从样本库中得到。

在步骤S303中，通过损失函数层得到设定个数的评分值和标定值之间的误差值。

在步骤S304中，通过设定个数的误差值更新卷积神经网络中的每一层的参数。

作为一个示例性场景，如图3B所示，预测层151、预测层152、预测层153根据其已经训练到的系数计算得到关于人脸的五官、人脸的皮肤以及人脸的图像质量的评分值，该三个评分值分别输入到损失函数层161、损失函数层162、损失函数层163，并将样本库17中得到的关于该人脸的五官、人脸的皮肤以及人脸的图像质量各自对应的标定值分别输入到损失函数层161、损失函数层162、损失函数层163，损失函数层161、损失函数层162、损失函数层163根据标定值与评分值得到关于人脸的五官、人脸的譬如以及人脸的图像质量的误差，通过该误差可以进一步更新卷积神经网络中的每一层已经训练的参数。

本实施例中，通过损失函数层将各个误差再进一步更新卷积神经网络中的每一层已经训练的参数，可以提高卷积神经网络中的每一层的参数精确度，进而提高卷积神经网络得到的人脸评分的准确度。

图4是根据一示例性实施例三示出的人脸颜值评估方法的流程图；本实施例利用本公开实施例提供的上述方法，以在通过上述图1A所示实施例确定了设定个数关于人脸的评分值之后，如何确定关于上原始图像的反馈结果为例进行示例性说明，如图4所示，包括如下步骤：

在步骤S401中，通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到人脸图像在各卷积层提取出的局部特征，人脸图像为原始图像中包含人脸的区域，卷积神经网络已经进行了设定个数的任务训练。

在步骤S402中，通过卷积神经网络的全连接层对各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量。

在步骤S403中，通过卷积神经网络的全连接层对各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量。

步骤S401至步骤S403的描述请参见上述图1A所示实施例的相关描述，在此不再详述。

在步骤S404中，根据设定个数关于人脸的评分值确定关于原始图像的反馈结果。

作为一个示例性场景，如果通过卷积神经网络对人脸的五官、皮肤、图像三个方面对人脸进行评分，在得到各个方面的评分值后，如果人脸的五官的评分值小于第一预设阈值，可以根据该评分值提示用户调整拍照角度或者对原始图像进行修图。如果人脸的皮肤的评分值小于第二预设阈值，可以根据该评分值提示用户对原始图像进行修图，以提升皮肤光泽度和色泽。如果人脸的图像质量的评分值小于第三预设阈值，可以根据该评分值提示用户注意拍照技巧，注意控制拍照时相机的曝光及噪点。

本实施例在具有上述实施例的有益技术效果的基础上，通过设定个数关于人脸的评分值确定关于原始图像的反馈结果，可以使用户根据具体的反馈结果对原始图像进行改善或者在以后的拍照过程中注意拍照技巧，从而提升用户的拍照质量。

图5是根据一示例性实施例示出的一种人脸颜值评估装置的框图，如图5所示，人脸颜值评估装置包括：

卷积处理模块51，被配置为通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到人脸图像在各卷积层提取出的局部特征，人脸图像为原始图像中包含有人脸的区域。在一实施例中，卷积神经网络可以根据实际需要设置不同个数的卷积层，通过卷积层对人脸图像进行卷积处理以得到各个卷积层对应的局部特征。

全连接处理模块52，被配置为通过卷积神经网络的全连接层对各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量。在一实施例中，全连接层可以根据卷积神经网络中的各个卷积层的输出自适应调整对局部特征进行映射的映射矩阵的维数，例如，卷积层输出的局部特征的维数为16×16，如果全连接层需要输出一个设定长度为8的一维向量，则全连接层可以选择一个8×256的映射矩阵，从而确保全连接层具有一个设定长度为8的一维向量。

结果处理模块53，被配置为将全连接处理模块52得到的一维向量分别输入至卷积神经网络的设定个数的预测层，通过设定个数的预测层得到设定个数关于人脸的评分值。在一实施例中，设定个数可以根据对人脸评分的训练任务来确定，例如，如果从五官、皮肤、图像质量3个训练任务，则设定个数为3，如果仅有五官1个训练任务，则设定个数为1，如果为上述三个方面的任意两个方面来训练，则设定个数可以为2，如果还需要将光照作为训练任务，则设定个数为4，由此可知，本公开对设定个数不做限制，只要能够将训练任务参与到卷积神经网络的训练，并在确定人脸颜值时将训练任务对应的系数应用在卷积神经网络中即可。在一实施例中，预测层可以通过卷积神经网络中的softmax函数实现。

作为一个示例性场景，再如图1B所示，卷积处理模块51包括3个卷积层，1个全连接层和3个预测层。从原始图像中检测人脸区域，根据人脸区域从原始图像上截取人脸所在的区域，例如，原始图像的分辨率为1000×1000，人脸所在的区域的分辨率为200×200。如果卷积神经网的输入层的维数为128×128，则可以将该包含有人脸所在的区域进行仿射变换，得到分辨率为128×128的人脸图像。

在一实施例中，卷积层11、卷积层12、卷积层13的卷积核大小分别为5×5、3×3、2×2，在卷积层11、卷积层12、卷积层13上，同时还可以具有对人脸图像依次进行下采样的功能，例如，128×128大小的人脸图像通过卷积层11的卷积处理后得到64×64大小的局部特征，64×64大小的局部特征通过卷积层12的卷积处理后得到32×32大小的局部特征，32×32大小的局部特征通过卷积层13的卷积处理后得到16×16大小的局部特征，通过各卷积层的卷积处理，可以使局部特征能够充分表示人脸在五官、皮肤、图像质量等方面的真实特征。

在全连接处理模块52的全连接层14支持设定长度为8的情形下，全连接层14需要将16×16大小的局部特征变换为1*256的一维向量，再将该一维向量通过一个8×256的映射矩阵映射得到一个设定长度为8的一维向量。

在结果处理模块53的预测层151、预测层152、预测层153表示卷积神经网络需要学习的3个任务，分别对应人脸图像上的人脸的五官、人脸的皮肤以及图像质量。因此通过将该设定长度为8的一维向量输入到预测层151、预测层152、预测层153，预测层151、预测层152、预测层153根据其已经训练到的权重系数计算得到上述关于人脸的五官、人脸的皮肤以及人脸的图像质量的评分值。

本实施例中，由于卷积神经网络已经进行了多任务(本公开中的设定个数的训练任务)训练，由于设定个数的预测层对应了不同的训练任务，因此结果处理模块53从设定个数的预测层对人脸图像进行打分更能体现原始图像在实际拍摄场景中的情形，从而通过各个预测层的评分值给用户更具体的关于人脸颜值的反馈提示，使用户能够根据评分值拍照过程做出更具针对性的调整，以提升后续所拍照片的图像质量或用户的皮肤光滑度。

图6是根据一示例性实施例示出的另一种人脸颜值评估装置的框图，如图6所示，在上述图5所示实施例的基础上，在一实施例中，装置还可包括：

第一确定模块54，被配置为确定结果处理模块53得到的设定个数关于人脸的评分值各自对应的权重系数。

加权求和模块55，被配置为根据第一确定模块54确定的各自对应的权重系数对设定个数关于人脸的评分值进行加权求和，得到人脸的最终评分值。

作为一个示例性场景，再如图1B所示，如果卷积神经网络已经学习了3个训练任务，该3个训练任务分别为五官、皮肤、图像质量，则第一确定模块54共有3个关于人脸的评分值，该3个关于人脸的评分值分别为6、8、7，如果对应的权重系数分别为0.5、0.3、0.2，则得到的最终评分值为6×0.5+8×0.3+7×0.2＝6.8。

通过加权求和模块55将设定个数关于人脸的评分值进行加权求和，得到人脸的最终评分值，由于是通过设定个数的任务训练得到的该最终评分值，实现了从多方面确定人脸颜值，使对颜值的评分更全面。

在一实施例中，卷积神经网络还包括设定个数的损失函数层，装置还可包括：

第一输入模块56，被配置为将结果处理模块53得到的设定个数关于人脸的评分值分别输入至卷积神经网络的设定个数的损失函数层；

第二输入模块57，被配置为将人脸图像中的人脸对应的设定个数的标定值分别输入至设定个数的损失函数层；

误差确定模块58，被配置为通过损失函数层从第一输入模块56得到的设定个数关于人脸的评分值和从第二输入模块57得到的设定个数的标定值得到设定个数的评分值和标定值之间的误差值；

参数更新模块59，被配置为通过误差确定模块58得到的设定个数的误差值更新卷积神经网络中的每一层的参数。

作为一个示例性场景，再如图3B所示，预测层151、预测层152、预测层153根据其已经训练到的系数计算得到关于人脸的五官、人脸的皮肤以及人脸的图像质量的评分值，该三个评分值分别输入到损失函数层161、损失函数层162、损失函数层163，并将样本库17中得到的关于该人脸的五官、人脸的皮肤以及人脸的图像质量各自对应的标定值分别输入到损失函数层161、损失函数层162、损失函数层163，损失函数层161、损失函数层162、损失函数层163根据标定值与评分值得到关于人脸的五官、人脸的譬如以及人脸的图像质量的误差，通过该误差可以进一步更新卷积神经网络中的每一层已经训练的参数。

通过参数更新模块59更新卷积神经网络中的每一层已经训练的参数，可以提高卷积神经网络中的每一层的参数精确度，进而提高卷积神经网络得到的人脸评分的准确度。

在一实施例中，装置还可包括：

检测模块60，被配置为检测原始图像上关于人脸的特征点；

第二确定模块61，被配置为根据检测模块60检测得到的人脸的特征点从原始图像上确定人脸的区域图像；

仿射变换模块62，被配置为将第二确定模块61确定的人脸区域图像根据预设参考特征点进行仿射变换得到人脸图像，其中，人脸图像的分辨率与所述卷积神经网络的输入层的维数相同。

在一实施例中，可以建立包含有海量的人脸样本的样本库，每一个人脸样本的分辨率经过缩放后与卷进神经网络的输入层的维数相同，对样本库中的每一人脸样本进行人脸检测，检测出人脸的双眼中心点、鼻子、嘴等四个特征点，通过海量的人脸样本上的双眼中心点、鼻子、嘴的特征点得到一个预设参考特征点。由于输入至卷积神经网络的原始图像对应的人脸图像与样本库中的人脸样本的分辨率可能不相同，因此还可以通过仿射变换模块62将检测到的人脸图像上的特征点根据预设参考特征点进行仿射变换，进而将从不同分辨率的人脸图像上得到的特征点与预设参考特征点对应的分辨率相同，例如，从原始图像上截取的人脸图像的分辨率为300×300，通过仿射变换将其变换为128×128，从而可以使其与人脸样本的分辨率相同，确保人脸图像能够准确地输入到卷积神经网络的输入层。在一实施例中，人脸图像中的人脸对应的设定个数的标定值可以从样本库中得到。

通过仿射变换模块62通过仿射变换将人脸区域图像根据预设参考特征点进行仿射变换得到人脸图像，从而可以使其与人脸样本的分辨率相同，确保人脸图像能够准确地输入到卷积神经网络的输入层。

在一实施例中，装置还可包括：

提示模块63，被配置为根据结果处理模块53得到的设定个数关于人脸的评分值确定关于原始图像的反馈结果。

作为一个示例性场景，如果通过卷积神经网络对人脸的五官、皮肤、图像三个方面对人脸进行评分，在得到各个方面的评分值后，如果人脸的五官的评分值小于第一预设阈值，可以根据该评分值提示用户调整拍照角度或者对原始图像进行修图。如果人脸的皮肤的评分值小于第二预设阈值，可以根据该评分值提示用户对原始图像进行修图，以提升皮肤光泽度和色泽。如果人脸的图像质量的评分值小于第三预设阈值，可以根据该评分值提示用户注意拍照技巧，注意控制拍照时相机的曝光及噪点。

通过设定个数关于人脸的评分值确定关于原始图像的反馈结果，提示模块63可以使用户根据具体的反馈结果对原始图像进行改善或者在以后的拍照过程中注意拍照技巧，从而提升用户的拍照质量。

在一实施例中，装置还可包括：

网络训练模块64，被配置为基于预设数量的人脸样本对卷积神经网络进行设定个数的任务训练；

控制模块65，被配置为在确定网络训练模块64的迭代次数达到预设次数或者通过神经网络训练模块训练后的卷积神经网络的训练损失函数小于预设阈值时，停止对卷积神经网络的训练。

例如，网络训练模块64可以从五官、皮肤、图像质量三个方面来训练，则设定个数为3，如果仅有五官1个训练任务，则设定个数为1，如果为上述三个方面的任意两个方面来训练，则设定个数可以为2，如果还需要将光照作为训练任务，则设定个数为4，由此可知，本公开对设定个数不做限制，只要能够将训练任务参与到卷积神经网络的训练，并在确定人脸颜值时将训练任务对应的系数应用在卷积神经网络中即可。

通过网络训练模块64对卷积神经网络进行了多任务(本公开中的设定个数的训练任务)训练，从而可以提供该原始图像上的人脸的评分值，使用户能够根据评分值拍照过程做出更具针对性的调整，以提升后续所拍照片的图像质量或用户的皮肤光滑度。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种适用于人脸颜值评估装置的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理部件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件706为装置700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种人脸颜值评估方法，其特征在于，所述方法包括：

通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到所述人脸图像在各卷积层提取出的局部特征，所述人脸图像为原始图像中包含人脸的区域，所述卷积神经网络已经进行了设定个数的任务训练；

通过所述卷积神经网络的全连接层对所述各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量；

将所述一维向量分别输入至所述卷积神经网络的设定个数的预测层，通过所述设定个数的预测层得到所述设定个数关于所述人脸的评分值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述设定个数关于所述人脸的评分值各自对应的权重系数；

根据所述各自对应的权重系数对所述设定个数关于所述人脸的评分值进行加权求和，得到所述人脸的最终评分值。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述设定个数关于所述人脸的评分值分别输入至所述卷积神经网络的设定个数的损失函数层；

将所述人脸图像中的人脸对应的所述设定个数的标定值分别输入至所述设定个数的损失函数层；

通过所述损失函数层得到所述设定个数的所述评分值和所述设定个数的标定值之间的误差值；

通过所述设定个数的误差值更新所述卷积神经网络中的每一层的参数。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测所述原始图像上关于所述人脸的特征点；

根据所述人脸的特征点从所述原始图像上确定所述人脸的区域图像；

将所述人脸的区域图像根据预设参考特征点进行仿射变换得到人脸图像，所述人脸图像的分辨率与所述卷积神经网络的输入层的维数相同。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述设定个数关于所述人脸的评分值确定关于所述原始图像的反馈结果。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于预设数量的人脸样本对所述卷积神经网络进行所述设定个数的任务训练；

在确定所述卷积神经网络的迭代次数达到预设次数或者所述卷积神经网络的训练损失函数小于预设阈值时，停止对所述卷积神经网络的训练。

7.一种人脸颜值评估装置，其特征在于，所述装置包括：

卷积处理模块，被配置为通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到所述人脸图像在各卷积层提取出的局部特征，所述人脸图像为原始图像中包含人脸的区域；

全连接处理模块，被配置为通过所述卷积神经网络的全连接层对所述各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量；

结果处理模块，被配置为将所述全连接处理模块得到的所述一维向量分别输入至所述卷积神经网络的设定个数的预测层，通过所述设定个数的预测层得到所述设定个数关于所述人脸的评分值。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第一确定模块，被配置为确定所述结果处理模块得到的所述设定个数关于所述人脸的评分值各自对应的权重系数；

加权求和模块，被配置为根据所述第一确定模块确定的所述各自对应的权重系数对所述设定个数关于所述人脸的评分值进行加权求和，得到所述人脸的最终评分值。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第一输入模块，被配置为将所述设定个数关于所述人脸的评分值分别输入至所述卷积神经网络的设定个数的损失函数层；

第二输入模块，被配置为将所述人脸图像中的人脸对应的所述设定个数的标定值分别输入至所述设定个数的损失函数层；

误差确定模块，被配置为通过所述损失函数层从所述第一输入模块得到的所述设定个数关于所述人脸的评分值和从所述第二输入模块得到的所述设定个数的标定值得到所述设定个数的所述评分值和所述标定值之间的误差值；

参数更新模块，被配置为通过所述误差确定模块得到的所述设定个数的误差值更新所述卷积神经网络中的每一层的参数。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

检测模块，被配置为检测所述原始图像上关于所述人脸的特征点；

第二确定模块，被配置为根据所述检测模块检测得到的所述人脸的特征点从所述原始图像上确定所述人脸的区域图像；

仿射变换模块，被配置为将所述第二确定模块确定的所述人脸的区域图像根据预设参考特征点进行仿射变换得到人脸图像，所述人脸图像的分辨率与所述卷积神经网络的输入层的维数相同。

11.根据权利要求7所述的装置，其特征在于，所述装置还包括：

提示模块，被配置为根据所述结果处理模块得到的所述设定个数关于所述人脸的评分值确定关于所述原始图像的反馈结果。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

网络训练模块，被配置为基于预设数量的人脸样本对所述卷积神经网络进行所述设定个数的任务训练；

控制模块，被配置为在确定所述网络训练模块的迭代次数达到预设次数或者通过所述神经网络训练模块训练后的所述卷积神经网络的训练损失函数小于预设阈值时，停止对所述卷积神经网络的训练。

13.一种终端设备，其特征在于，所述终端设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

通过卷积神经网络的卷积层对人脸图像进行卷积处理，得到所述人脸图像在各卷积层提取出的局部特征，所述人脸图像为原始图像中包含人脸的区域，所述卷积神经网络已经进行了设定个数的任务训练；

通过所述卷积神经网络的全连接层对所述各卷积层提取出的局部特征进行整合并连接为一个设定长度的一维向量；

将所述一维向量分别输入至所述卷积神经网络的设定个数的预测层，得到所述设定个数关于所述人脸的评分值。