CN113642479B - 人脸图像的评价方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及人脸识别技术领域，公开了一种人脸图像的评价方法、装置、电子设备及存储介质，人脸图像的评价方法包括：利用属性预测网络获取测试人脸图像的若干属性；将所述属性输入分数预测网络，得到对所述属性的评价分数作为属性分数和所述测试人脸图像为优质图像的概率，所述分数预测网络的训练方式为弱监督训练；根据所述概率和所述属性分数确定所述测试人脸图像的综合分数。使得通过模型处理得到的人脸图像分数可解释性增强，并且能够减少构造网络模型的训练集时存在的分数标签获取难和获取不准的问题。

Description

人脸图像的评价方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及人脸识别技术领域，特别涉及一种人脸图像的评价方法、装置、电子设备及存储介质。

背景技术

在进行人脸识别时，识别的结果不但受到人脸识别网络模型的准确度影响，还会受到人脸图像质量优劣的影响。因此，在进行人脸识别之前，先对人脸图像的质量进行评价，以过滤掉劣质的人脸图像，保证输入人脸识别模型的人脸图像都比较优质，从而提高人脸识别准确度，是很有必要的。目前提出了多种方法对人脸图像进行评价，根据是否需要标准人脸图像作为参照可以分为有参评价和无参评价，根据给出人脸图像分数的方式可以分为直接预测和根据预设规则对人脸图像的属性进行综合评价作为人脸图像的分数。

然而，有参评价在实现时需要针对高质量的标准人脸图像生成的含有质量分数标签的人脸图像训练得到，标签是相对于标准人脸图像得到的，难以确定标准图像，无参评价则不要求先验知识，难以确定标签；直接预测直接给出人脸分数，可解释性太差，而根据预设规则对人脸图像的属性进行综合评价作为人脸图像的分数则由于难以确定规则、预设规则的主观性太强。

发明内容

本发明实施例的目的在于提供一种人脸图像的评价方法、装置、电子设备及存储介质，使得通过人脸评价模型获取的人脸图像分数可解释性增强，并且能够减少构造网络模型的训练集时存在的分数标签获取难和获取不准的问题。

为达到上述目的，本发明的实施例提供了一种人脸图像的评价方法，包括：利用属性预测网络获取测试人脸图像的若干属性；将所述属性输入分数预测网络，得到对所述属性的评价分数作为属性分数和所述测试人脸图像为优质图像的概率，所述分数预测网络的训练方式为弱监督训练；根据所述概率和所述属性分数确定所述测试人脸图像的综合分数。

为达到上述目的，本发明的实施例还提供了一种人脸图像的评价装置，包括：获取模块，用于利用属性预测网络获取测试人脸图像的若干属性；第一评价模块，用于将所述属性输入分数预测网络，得到对所述属性的评价分数作为属性分数和所述测试人脸图像为优质图像的概率，所述分数预测网络的训练方式为弱监督训练；综合评价模块，用于根据所述概率和所述属性分数确定所述测试人脸图像的综合分数。

为达到上述目的，本发明的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的人脸图像的评价方法。

为达到上述目的，本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的人脸图像的评价方法。

本发明实施例提出的人脸图像的评价方法，在获取测试人脸图像的属性之后，将属性输入分数预测网络中，一方面根据属性直接输出测试人脸图像为优质图像的概率，获取测试人脸图像为优质图像的概率实际相当于对测试人脸图像从整体上进行了一次评价，另一方面对各个属性进行评价得到属性分数，从而能够根据属性分数和为优质图像的概率确定出测试人脸图像的综合分数，实现将从整体上对测试人脸图像直接进行评价和根据属性评分间接进行评价相结合，同时具有一定的可解释性和客观性。并且分数预测网络是通过弱监督训练得到的，即分数预测网络的训练集包括具备标签的训练数据和不具备标签的训练数据，将有参评价和无参评价结合起来，使得能够根据初始人脸图像是否能够找到对应的标准人脸图像来灵活确定是否构造标签，从而解决或避免构造网络模型的训练集时存在的难以确定标签或难以确定标准图像的问题。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例中提供的人脸图像的评价方法的流程图；

图2是本发明另一实施例中提供的包括确定权重步骤的人脸图像的评价方法的流程图；

图3是本发明另一实施例中提供的包括确定生成第一训练数据步骤的人脸图像的评价方法的流程图；

图4是本发明另一实施例中提供的包括生成分数标签步骤的人脸图像的评价方法的流程图；

图5是本发明另一实施例中提供的包括联合训练步骤的人脸图像的评价方法的流程图；

图6是本发明另一实施例中提供的人脸图像的评价装置的结构示意图；

图7是本发明另一实施例中提供的电子设备的结构示意图。

具体实施方式

由背景技术可知，当前对人脸图像进行评价的方案可以根据是否有标准人脸图像分为有参评价和无参评价，其中，有参评价的问题在于标准人脸图像难于获取，无参评价的问题在于标签难确定；还可以根据给出评价分数的方式分为直接预测评价分数和先预测多属性再依据评价规则根据多属性给出综合分数，其中，直接预测评价分数的问题在于可解释性太差，先预测多属性再依据评价规则根据多属性给出综合分数的问题在于规则确定困难、受人为主观设定的影响较大。

为解决上述问题，本发明实施例提供了一种人脸图像的评价方法，包括：利用属性预测网络获取测试人脸图像的若干属性；将所述属性输入分数预测网络，得到对所述属性的评价分数作为属性分数和所述测试人脸图像为优质图像的概率，所述分数预测网络的训练方式为弱监督训练；根据所述概率和所述属性分数确定所述测试人脸图像的综合分数。

本发明实施例提出的人脸图像的评价方法，在获取测试人脸图像的属性之后，一方面将属性输入分数预测网络中，根据分数直接输出测试人脸图像为优质图像的概率，获取测试人脸图像为优质图像的概率实际相当于对测试人脸图像从整体上进行了一次评价，另一方面计算出各个属性的分数，从而能够根据属性分数和为优质图像的概率确定出测试人脸图像的综合分数，将从整体上对测试人脸图像直接进行评价和根据属性评分间接进行评价相结合，同时具有一定的可解释性和客观性。并且分数预测网络是通过弱监督训练得到的，即分数预测网络的训练集包括具备标签的训练数据和不具备标签的训练数据，将有参评价和无参评价结合起来，使得能够根据初始人脸图像是否能够找到对应的标准人脸图像来灵活确定是否构造标签，从而解决或避免构造网络模型的训练集时存在的难以确定标签或难以确定标准图像的问题。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。

以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

在一些实施例中，人脸图像的评价方法应用于需要进行人脸检测的终端，如提供刷脸解锁功能的手机、刷脸打卡装置等，如图1所示，人脸图像的评价方法包括以下步骤：

步骤101，利用属性预测网络获取测试人脸图像的若干属性。

具体地说，获取测试人脸图像之后，首先对测试人脸图像进行特征提取，得到测试人脸图像的高维特征向量，然后根据高维特征向量获取测试人脸图像的属性。特别地，特征提取可以是独立的网络，如骨干（Backbone）网络，即先利用特征提取网络进行特征提取，然后将特征提取网络输出的特征向量作为属性预测网络的输入，从而输出属性；也可以将特征提取作为属性预测网络所提供功能的一部分，即将测试人脸图像作为属性预测网络的输入，在属性预测网络内部首先进行特征提取并得到特征向量，然后再根据提取得到的特征向量进行属性检测。

在一些例子中，特征提取是卷积神经网络（Convolutional Neural Network，CNN）网络或者Transformer网络，利用CNN网络或Transformer网络提取一组特征向量，然后将得到的特征向量输入属性预测网络，得到属性预测网络输出的人脸属性。

进一步的，由于属性预测网络输出的属性用于对人脸图像进行评价以确定人脸图像后续是否适合进行人脸识别，因此，从人脸图像是否有利于进行人脸识别的角度出发，属性主要包括两个方面：图像的拍摄质量，如光照、清晰度等，人脸图像中拍摄到的人脸的属性，如姿态、表情、是否存在遮挡等。具体地，图片属性包括以下方面中的一个或组合:左脸亮度、右脸亮度、人脸偏航（yaw）角、人脸俯仰（pitch）角、人脸张嘴程度、人脸闭眼程度、是否存在口罩遮挡、人脸清晰度、人脸无遮挡区域面积所占比例等。

进而，为了得到多个属性，属性预测网络需要设置多个维度的网络，即在一些实施例中，属性预测网络由多组全连接层+批标准化（BatchNorm，BN）层+激活层构成，每个全连接层负责一组或多组属性的估计，其中，激活层使用的激活函数可以是sigmoid、tanh等，具体根据不同属性的分布特点确定相应的激活函数，此处就不再一一赘述了。

在一些例子中，将人脸图像输入到属性预测网络中，在属性预测网络内部先对人脸图像中的人脸进行人脸关键点检测，如利用人脸对齐 (Face Alignment)检测人脸68关键点等，然后基于轮廓关键点、鼻梁关键点、眉毛关键点确定出整个人脸所在区域即人脸区域、左脸区域、右脸区域，进而计算左脸区域的亮度作为左脸亮度和计算右脸区域的亮度作为右脸亮度；根据眼部关键点及嘴巴关键点确定人脸张嘴程度和人脸闭眼程度；通过属性预测网络框架下预设的口罩检测模型确定是否存在口罩；利用属性预测网络框架下预设的人脸分割模型给出人脸纹理区域后将人脸纹理区域与关键点围成的人脸区域取交集作为人脸无遮挡区域，并计算人脸无遮挡区域相对于人脸轮廓关键点围成的人脸区域所占面积比例，实现对人脸无遮挡区域面积所占比例的计算；人脸yaw角、人脸pitch角则通过基于属性预测网络框架下预设的人脸3D形变统计模型（3D Face Morphable Model，3DMM）进行人脸重建得到；计算人脸清晰度时，只考虑人脸无遮挡区域做一次均值模糊之后计算和原图的绝对值差异。特别地，上述属性计算过程通常只考虑关键点围成的人脸区域面积。当然，以上仅为具体说明，在其他实施例中还可以是利用其他模型或方法获取属性。

步骤102，将属性输入分数预测网络，得到对属性的评价分数作为属性分数和测试人脸图像为优质图像的概率，分数预测网络的训练方式为弱监督训练。

具体地，分数预测网络包括两个子分数预测网络，一个为人脸图像分数预测网络，从而能够根据输入的属性直接输出相应人脸图像是否为优质图像的评价结果，即人脸图像为优质图像的概率，一个为属性分数预测网络，从而能够根据输入的属性对各个属性进行评价打分，得到属性分数。

更具体地说，人脸图像分数预测网络为二分类器，从而能够根据输入的属性对测试人脸图像进行分类，输出测试人脸图像的为优质图像的概率，可以理解的是，当测试人脸图像为优质图像的概率为P时，人脸图像为劣质图像的概率P＇与P存在如下关系：P＇=1-P；或者，当人脸图像分数预测网络在对人脸图像直接进行评价时，确定人脸图像分数预测网络占满分的比例p，将p作为人脸图像为优质图像的概率。属性分数预测网络输出的属性分数具体通过如下表达式实现：

其中，

为第i项属性的属性分数，

为属性预测网络中输出的第i项属性的特征值，

和

为属性分数预测网络要学习的第i个属性对应的参数,用于从

映射得到

。

需要说明的是，分数预测网络的训练方式为弱监督训练，更具体地说是基于分数标签的弱监督训练，即分数预测网络的训练集包括具备分数标签的训练数据和不具备分数标签的训练数据，也就是说，分数预测网络实际是将有参评价和无参评价结合起来，使得能够根据人脸图像是否能够找到对应的标准人脸图像来灵活确定是否构造标签，从而避免难以确定标签或难以确定标准图像的问题。

步骤103，根据概率和属性分数确定测试人脸图像的综合分数。

具体地说，利用预设的评价规则，从概率和属性分数两方面对测试人脸图像进行综合评价，得到综合分数。

进一步地，在一些实施例中，如图2所示，步骤103包括：

步骤1031，根据概率确定属性分数的连乘积的权重以及属性分数的累加和的权重。

具体地说，将人脸图像为优质图像的概率作为属性分数的累加和的权重，将人脸图像为劣质图像的概率作为属性分数的连乘积的权重，其中，人脸图像为劣质图像的概率可以为1-P，P为人脸图像为优质图像的概率。

步骤1032，根据连乘积的权重、累加和的权重、连乘积以及累加和确定综合分数。

具体地说，综合分数通过如下表达式确定：

其中，

为综合分数，w0为属性分数的累加和的权重，w1为属性分数的连乘积的权重，

为第i项属性的属性分数，

为对所有属性分数相加的结果即属性分数的累加和，

为所有属性分数相乘的结果即属性分数的连乘积。

值得一提的是，综合分数的确定中引入属性分数的累加和，从而当所有属性都在一个正常分布的范围内，从而属性的叠加会影响综合分数，表现出加性，综合分数的确定中还引入属性分数的连乘积，从而若某个属性很差时，如光照很暗或者角度很大，则人脸图像的分数就很低、质量就很差，实现劣质属性不会被其他优质属性覆盖，避免劣质属性对人脸图像的不利影响无法体现的问题，符合分数评价过程中的木桶原理。更加贴合实际情况，得到的综合分数不仅能够被属性分数和为优质图像的概率的关系进行解释，增强了可解释性，还更加客观准确。

进一步地，在一些实施例中，还包括生成数据集的步骤，如图3所示，步骤101之前，人脸图像的评价方法还包括：

步骤104，获取若干初始人脸图像。

具体地说，可以通过访问公开训练集获取公开训练集中的训练数据作为初始人脸图像，也可以是获取人工制作的数据集，或者从网络上爬取图片，当然，以上仅为具体的举例说明，还可以是任何一种能够获取多张人脸图像的方法，此处就不再一一赘述了。

步骤105，利用初始人脸图像生成具备分数标签的第一训练数据。

具体地说，在一些实施例中，如图4所示，步骤105包括：

步骤1051，根据预设筛选条件从属于同一人的初始人脸图像中确定出标准人脸图像，预设筛选条件包括：类内距离最小或类间距离最大。

具体地说，利用人脸图像识别模型，从某个人的若干张人脸图像挑选出某张人脸图像作为典型特征后，满足类内距离最小或类间距离最大的条件，其中，同一个人的人脸图像构成一个类。

步骤1052，根据初始人脸图像与相应的标准人脸图像之间的相似度生成初始人脸图像的分数标签。

具体地说，生成的分数标签具体可以通过表达式score(OtherA) - score(RefA)= 1- sim(OtherA，RefA)或者表达式score(OtherA) / score(RefA) = sim(OtherA，RefA)实现，其中，RefA和OtherA为同一人的人脸图像，RefA表示标准人脸图像，OtherA其他人脸图像，sim(OtherA，RefA)表示RefA和OtherA的相似度的值，score(OtherA)和score(RefA)分别表示OtherA和RefA的分数。

需要说明的是，上述步骤1051和步骤1052的本质是对于某个人的所有人脸图像组成的集合A，根据识别模型从集合A中确定一张相对质量较好的图像RefA作为该类内的标准人脸图像，为集合A中的其他图像作参考，之后对集合A中的其他人脸图像OtherA可以和RefA计算识别特征的相似度来确定OtherA和RefA质量分数的相对关系，从而得到OtherA的分数作为标签。其中，OtherA和RefA的相似度越高说明OtherA质量越好。为了防止受到识别模型的影响，这里识别模型可以是集成有多个独立训练的模型进行协同，以增强鲁棒性。

值得一提的是，按照人脸图像对应的人对人脸图像进行分类，从而利用类内或类间距离确定出某个人的标准人脸图像，克服了难以得到标准人脸图像的问题，同时耗时短、效率高。

步骤106，利用初始人脸图像生成不具备分数标签的第二训练数据。

具体地说，第二训练数据可以携带质量比较结果标签，而不需要具体的分数标签，其中，质量比较结果标签是在通过对初始人脸图像进行数据增强得到至少一张增强图像后，根据增强图像的数据增强方式对增强图像和对应的初始人脸图像进行质量比较得到的。

可以理解的是，数据增强方式能够指示增强图像和初始人脸图像的质量优劣程度，如对初始人脸图像进行图像模糊处理得到的增强图像的质量比初始人脸图像差、对初始人脸图像施加两种不同程度的高斯噪声得到的两张增强图像比初始人脸图像差且造成干扰程度越高则增强图像的质量越差等，因此，根据具体的数据增强方式能够大致给出初始人脸图像和增强图像的相对优劣程度，从而确定出初始人脸图像和对应的增强图像在分数上的粗略关系，如图像锐化后的增强图像的分数高于原始人脸图像的分数。

需要说明的是，上述人脸图像的数据增强方式可以是图片模糊、图片锐化、图像下采样、图像亮度调整、图像运动模糊、图像噪声干扰等中的一种或多种组合。具体地说，当得到一张增强图像时，可以采用以上任一种数据增强方式；当得到两张增强图像时，对初始人脸图像分别进行图片模糊和图片锐化、对初始人脸图像分别进行图像调亮和图像调暗处理或对初始人脸图像分别进行两种不同程度的下采样等；当得到三张增强图像时，对初始人脸图像分别进行三种不同程度的下采样、对初始图像分别施加三种不同程度的高斯噪声干扰、对初始人脸图像分别进行两种不同程度的图像调亮和一次图像调暗等。当然还可以获取四张及以上数量的增强图像，此处就不再一一赘述了。

还需要说明的是，对于图像模糊和图像锐化，还可以设置分数约束条件：模糊图像C=blur(B)和锐化图像 D= B+(B-C)分别满足Score(D) > Score(B) + m11、Score(B) >Score(C) + m21，其中，Score(D)、Score(B)和Score(C)分别表示锐化图像D、原始图像B和模糊图像C的分数，m11是预设的锐化图像D和原始图像B之间的最小分数间隔，m21是预设的原始图像B和模糊图像C之间的最小分数间隔，blur(B)表示对人脸图像B进行模糊处理，B+(B-C)表示对人脸图像B进行与模糊处理完全相反的操作。类似地，当进行不同程度下采样时，下采样图像C=downSample(B)，下采样图像 D= downSample(C) 分别满足Score(B) >Score(C) + m12和Score(C) > Score(D) + m22，其中，Score(D)、Score(B)和Score(C)分别表示下采样图像D、原始图像B和下采样图像C的分数，m12是预设的下采样图像D和原始图像B之间的最小分数间隔，m22是预设的原始图像B和下采样图像C之间的最小分数间隔；当进行图像调暗和调亮操作时，亮图像C= B+(230- mean(B))，暗图像D= B+(30 - mean(B))分别满足Score(B) > Score(C) + m13和Score(C) > Score(D) + m23，其中，Score(D)、Score(B)和Score(C)分别表示暗图像D、原始图像B和亮图像C的分数，m13是预设的暗图像D和原始图像B之间的最小分数间隔，m23是预设的原始图像B和亮图像C之间的最小分数间隔；当进行不同程度的运动模糊时，运动模糊图像C= motion_blur(B，kernel)，运动模糊图像 D= motion_blur(B，kernel*2) 分别满足Score(B) > Score(C) + m14和Score(C) >Score(D) + m24，其中，Score(D)、Score(B)和Score(C)分别表示运动模糊图像 D、原始图像B和运动模糊图像C的分数，m14是预设的运动模糊图像 D和原始图像B之间的最小分数间隔，m24是预设的原始图像B和运动模糊图像C之间的最小分数间隔；当施加不同程度的高斯噪声时，噪声图像C= B + noise ，噪声图像 D= B + noise*2分别满足Score(B) > Score(C) + m15和Score(C) > Score(D) + m25，其中，Score(D)、Score(B)和Score(C)分别表示噪声图像 D、原始图像B和噪声图像C的分数，m15是预设的噪声图像 D和原始图像B之间的最小分数间隔，m25是预设的原始图像B和噪声图像C 之间的最小分数间隔等。当然，上述是对得到两张增强图像的情况进行举例说明，还可以是一张增强图像，或多张增强图像，此处就不再一一赘述了。

值得一提的是，利用原始的人脸图像通过数据增强生成不同质量的增强人脸图像，实现了在扩展数据集的同时还不需要人工比较人脸图像的质量，效率更高，且通过训练集中训练数据增加实现提高模型的准确性。

步骤107，根据第一训练数据和第二训练数据确定分数预测网络的训练集。

具体地说，第一训练数据和第二训练数据组成的集合为分数预测网络的训练集。

更具体地说，训练集中的每条训练数据为第一训练数据中的某张标准人脸图像和其他图像组成的二元组以及第二训练数据中的原始人脸图像和相应的增强人脸图像组成的二元组或多元组。

进一步地，为了得到更加直观的分数，要让分数预测网络的输出分布在一个预设的区间内，因此，在一些实施例中，为分数预测网络设置一个校正损失子函数，具体地说，就是为分数预测网络中的批标准化层设置一个损失函数作为校正损失子函数。

在一些例子中，校正损失子函数为：

其中，

为校正损失子函数的值，

为分数预测网络中的批标准化层内得到的最小分数值、

为分数预测网络中的批标准化层内得到的最大分数值。这样通过校正损失子函数将一个批标准化层内分数最高和分数最低的人脸图像的分数施加约束使其分别接近1和0，实现分数归一化。

进一步地，为了便于训练，如图5所示，步骤101之前还包括：

步骤108，利用预设的总损失函数对属性预测网络和分数预测网络进行联合训练，属性预测网络的训练方式为监督训练。

具体地说，通过预设的总损失函数实现在属性检测网络和分数预测网络的基础上提供一种端到端的训练方式，其中，属性预测网络的训练方式为监督训练，即利用训练集中带标签的训练数据进行训练，分数预测网络的训练方式为弱监督训练，即利用训练集中带标签的训练数据和不带标签的训练数据一起训练。

为了便于本领域技术人员对联合训练进行理解，以下将以训练集中的训练数据为若干两元组和若干三元组为例进行说明，其中，两元组包括同一人的标准人脸图像RefA和一张其他人脸图像OtherA且RefA和RefA都携带分数标签，三元组包括一张初始人脸图像C、增强图像B和增强图像D且B是C向质量更好的方向进行数据增强得到和D是C向质量更差的方向进行数据增强得到，进而B、C和D携带三者质量比较结果标签。

联合训练的总损失函数为：

其中,

，

，

，

，

为联合训练的总损失函数，w0、w1和w2为预定义的参数，

为属性预测网络的损失函数，

为二元组对应的损失函数，

为三元组对应的损失函数，

为上述校正损失子函数，

是属性预测网络的输出结果，

是人脸图像实际的属性真值标签；OtherA、RefA、B、C和D均表示人脸图像，

表示训练数据中的二元组，OtherA、RefA是同一人的两张人脸图像，RefA是标准人脸图像，（B，C，D）为训练数据中的三元组，

为OtherA和RefA之间的特征相似度，

、

、

、

和

分别表示分数预测网络输出的人脸图像OtherA、RefA、B、C和D为优质图像的概率，且满足人为设定满足

，

，

为B和C之间的间距，

为C和D之间的间距。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明实施例还提供了一种人脸图像的评价装置，如图6所示，包括：

获取模块601，用于利用属性预测网络获取测试人脸图像的若干属性；

初始评价模块602，用于将属性输入分数预测网络，得到对属性的评价分数作为属性分数和测试人脸图像为优质图像的概率，分数预测网络的训练方式为弱监督训练。

综合评价模块603，用于根据概率和属性分数确定测试人脸图像的综合分数。

不难发现，本实施例为与方法实施例相对应的装置实施例，本实施例可与方法实施例互相配合实施。方法实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在方法实施例中。

值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。

本发明实施例还提供了一种电子设备，如图7所示，包括：包括至少一个处理器701；以及，与至少一个处理器701通信连接的存储器702；其中，存储器702存储有可被至少一个处理器701执行的指令，指令被至少一个处理器701执行，以使至少一个处理器701能够执行上述任一方法实施例所描述的人脸图像的评价方法。

其中，存储器702和处理器701采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器701和存储器702的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器701处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传输给处理器701。

处理器701负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器702可以被用于存储处理器701在执行操作时所使用的数据。

本发明的实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种人脸图像的评价方法，其特征在于，包括：

利用属性预测网络获取测试人脸图像的若干属性；

将所述属性输入分数预测网络，得到对所述属性的评价分数作为属性分数和所述测试人脸图像为优质图像的概率，所述分数预测网络的训练方式为弱监督训练；所述分数预测网络包括人脸图像子分数预测网络和属性分数子预测网络，所述人脸图像子分数预测网络用于根据所述属性生成所述概率，所述属性分数子预测网络用于根据所述属性生成所述属性分数；

根据所述概率和所述属性分数确定所述测试人脸图像的综合分数；

其中，所述根据所述概率和所述属性分数确定所述测试人脸图像的综合分数，包括：

根据所述概率确定所述属性分数的连乘积的权重以及所述属性分数的累加和的权重；

根据所述连乘积的权重、所述累加和的权重、所述连乘积以及所述累加和确定所述综合分数。

2.根据权利要求1所述的人脸图像的评价方法，其特征在于，所述利用属性预测网络获取测试人脸图像的若干属性之前，所述方法还包括：

获取若干初始人脸图像；

利用所述初始人脸图像生成具备分数标签的第一训练数据；

利用所述初始人脸图像生成不具备所述分数标签的第二训练数据；

根据所述第一训练数据和所述第二训练数据确定所述分数预测网络的训练集。

3.根据权利要求2所述的人脸图像的评价方法，其特征在于，所述利用所述初始人脸图像生成具备分数标签的第一训练数据，包括：

根据预设筛选条件从属于同一人的所述初始人脸图像中确定出标准人脸图像，所述预设筛选条件包括：类内距离最小或类间距离最大；所述初始人脸图像包含多个人的人脸图像，所述初始人脸图像中属于同一人的人脸图像构成一个类；

根据所述初始人脸图像与相应的所述标准人脸图像之间的相似度生成所述初始人脸图像的所述分数标签。

4.根据权利要求2所述的人脸图像的评价方法，其特征在于，所述第二训练数据中的所述初始人脸图像携带质量比较结果标签，所述质量比较结果标签是在通过对所述初始人脸图像进行数据增强得到至少一张增强图像后，根据所述增强图像的数据增强方式对所述增强图像和对应的所述初始人脸图像进行质量比较得到的。

5.根据权利要求1-4任一项所述的人脸图像的评价方法，其特征在于，所述分数预测网络的校正损失子函数为：

Loss_align＝|reduce_min(scorebatch)-0.05|+|reduce_max(scorebatch)-1|

其中，Loss_align为所述校正损失子函数的值，reduce_min(scorebatch)为所述分数预测网络中的批标准化层内得到的最小分数值、reduce_max(scorebatch)为所述批标准化层内得到的最大分数值。

6.根据权利要求1-4任一项所述的人脸图像的评价方法，其特征在于，所述利用属性预测网络获取测试人脸图像的若干属性之前，所述方法还包括：

利用预设的总损失函数对所述属性预测网络和所述分数预测网络进行联合训练，所述属性预测网络的训练方式为监督训练。

7.一种人脸图像的评价装置，其特征在于，包括：

获取模块，用于利用属性预测网络获取测试人脸图像的若干属性；

初始评价模块，用于将所述属性输入分数预测网络，得到对所述属性的评价分数作为属性分数和所述测试人脸图像为优质图像的概率，所述分数预测网络的训练方式为弱监督训练；所述分数预测网络包括人脸图像子分数预测网络和属性分数子预测网络，所述人脸图像子分数预测网络用于根据所述属性生成所述概率，所述属性分数子预测网络用于根据所述属性生成所述属性分数；

综合评价模块，用于根据所述概率和所述属性分数确定所述测试人脸图像的综合分数；

其中，所述根据所述概率和所述属性分数确定所述测试人脸图像的综合分数，包括：

根据所述概率确定所述属性分数的连乘积的权重以及所述属性分数的累加和的权重；

根据所述连乘积的权重、所述累加和的权重、所述连乘积以及所述累加和确定所述综合分数。

8.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一项所述的人脸图像的评价方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的人脸图像的评价方法。

Images