CN113129252A - 一种图像评分方法及电子设备 - Google Patents

Abstract

本发明提供了一种图像评分方法及电子设备，所述方法包括：获取待评分图像，将所述待评分图像输入至预设的图像质量检测模型，通过预设的图像质量检测模型输出所述待评分图像携带的人脸图像的质量数据，其中，质量数据对应所述待评分图像的特征属性；根据所述待评分图像的质量数据确定所述待评分图像的目标评分。本发明这样通过预设的图像质量检测模型输出带评分图像携带的人脸图像的质量数据，再根据质量数据确定待评分图像的目标评分，以便于根据目标评分对图像进行选取，这样可以自动给出待评分图像的目标评分，提高了图像评分效率，同时也可以提高图像选取的效率。

Description

一种图像评分方法及电子设备

技术领域

本发明涉及图片处理技术领域，尤其涉及的是一种图像评分方法及电子设备。

背景技术

随着智能设备配置的摄像头的性能越来越高，人们越来越多的采用智能设备(例如，智能手机、平板电脑或者智能眼镜等)进行拍照，并且在拍摄的照片中可能会对同一场景进行多次照片，使得相册中会含多张重复场景的照片，其中，重复量最多的照片为人物照。然而，多张重复照片会造成智能终端设备的存储空间浪费。

为了解决重复照片浪费存储空间的问题，目前普遍是通过人眼对照片中所拍摄的目标物是否符合要求进行识别，以确定满意的照片。但是，这种通过人眼对目标物进行识别方式需要用户花费大量时间进行照片选取，造成用户时间浪费，从而给用户的使用带来不便。

发明内容

鉴于上述现有技术中的不足之处，本发明旨在提供了一种图像评分方法及电子设备，以解决现有技术中需要人工识别照片缺陷。

为了解决上述问题，本发明所采用的技术方案为:

一种图像评分方法，其包括：

获取待评分图像，其中，所述待评分图像携带人脸图像；

将所述待评分图像输入至预设的图像质量检测模型，通过预设的图像质量检测模型输出所述待评分图像携带的人脸图像的质量数据，其中，质量数据用于反映所述待评分图像的特征属性的质量；

根据所述待评分图像的质量数据确定所述待评分图像的目标评分。

所述图像评分方法，其中，所述人脸图像包括多张人脸图像，所述将所述待评分图像输入至预设的图像质量检测模型，通过预设的图像质量检测模型输出所述待评分图像携带的人脸图像的质量数据具体为：

将所述待评分图像输入至预设的图像质量检测模型，通过所述图像质量检测模型确定所述待评分图像中的各人脸图像各自对应的质量数据。

所述图像评分方法，其中，所述根据所述待评分图像的质量数据确定所述待评分图像的评分具体包括：

针对于所述待评分图像中的每张人脸图像，获取该人脸图像对应的权重系数，并根据该人脸图像的权重系数和质量数据确定该人脸图像的候选评分；

根据各人脸图像的候选评分确定所述待评分图像对应的目标评分。

所述图像评分方法，其中，所述权重系数根据人脸图像所占面积所对应的分数、人脸所处位置所对应的分数以及人脸朝向所对应的分数确定的。

所述图像评分方法，其中，所述特征属性包括微笑特征、闭眼特征、面部遮挡特征和面部模糊度特征。

所述图像评分方法，其中，所述图像质量检测模型的训练过程具体包括：

预设网络模型根据训练样本集中训练图像，生成所述训练图像对应的预测质量数据；其中，所述训练样本集包括若干训练样本组，每组训练样本均包括训练图像以及训练图像对应的真实质量数据和真实人脸关键点，所述真实质量数据包括特征分数组，所述特征分数组中每一特征分数均为所述训练图像的一特征属性对应的质量分数；

所述预设网络模型根据所述预测质量数据以及所述训练图像对应的真实质量数据对模型参数进行修正，并继续执行根据所述训练样本集中下一组训练图像，生成所述训练图像对应的检测数据的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述图像质量检测模型。

所述图像评分方法，其中，所述预设网络模型包括：特征提取模块和上层网络模块；所述预设网络模型根据训练样本集中训练图像，生成所述训练图像对应的预测质量数据的步骤包括：

将所述训练样本集中训练图像输入所述特征提取模块，通过所述特征提取模块得到所述训练图像对应的特征图像；

将所述特征图像输入所述上层网络模块，通过所述上层网络模块输出所述训练图像对应的预测质量数据以及预测人脸关键点。

所述图像评分方法，其中，所述上层网络模块包括若干并列设置的质量检测单元以及关键点检测单元，各个质量检测单元对应的特征属性互不同；所述将所述特征图像输入所述上层网络模块，通过所述上层网络模块输出所述训练图像对应的预测质量数据以及预测人脸关键点具体包括：

将所述特征图像分别输入至各质量检测单元以及所述关键点检测单元；

通过各检测单元生成各检测单元对应的特征分数，以及通过所述关键点检测单元输出预测人脸关键点，以得到所述训练图像对应的预测质量数据。

所述图像评分方法，其中，所述预设网络模型根据所述预测质量数据以及所述训练图像对应的质量数据对模型参数进行修正的步骤包括：

针对于每个质量检测单元，根据该质量检测单元对应的预测质量分数以及该质量检测单元对应的真实质量分数，计算该质量检测单元对应的第一损失值，并根据所述第一损失值对该质量检测单元对应的模型参数进行修正；

根据所述预测人脸关键点与所述真实人脸关键点计算第二损失值，并根据所述第二损失值对所述关键点检测单元对应的模型参数进行修正；

根据各第一损失值和所述第二损失值对所述特征提取模块对应的模块参数进行修正。

所述图像评分方法，其中，所述方法还包括：

检测所述关键点检测单元的模型参数；

当所述关键点检测单元的模型参数满足预设条件时，对训练样本集中的各训练样本进行对齐处理，以得到对齐后的训练样本集，其中，对齐后的训练样本中的各训练图像中的人脸图像的朝向相同；

采用所述对齐后的训练样本集对所述预设网络模型进行训练。

所述图像评分方法，其中，当待评分图像为至少两张待评分图像时，所述方法还包括：

分别获取每张待评分图像对应的目标评分；

根据获取到的各目标评分确定所述至少两张待评分图像对应的推荐图像。

所述图像评分方法，其中，所述至少两张待评分图像为通过成像器连拍得到的多张图像。

一种电子设备，包括存储器和处理器，所述存储器存储有可被所述处理器执行的计算机可读程序，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像评分方法中的步骤，或者以实现如上任一所述的图像推荐方法中的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，实现如上任一所述的图像评分方法中的步骤，或者实现如上任一所述的图像推荐方法中的步骤。

与现有技术相比，本发明提供了一种图像评分方法及电子设备，所述方法包括：获取待评分图像，将所述待评分图像输入至预设的图像质量检测模型，通过预设的图像质量检测模型输出所述待评分图像携带的人脸图像的质量数据，其中，质量数据对应所述待评分图像的特征属性；根据所述待评分图像的质量数据确定所述待评分图像的目标评分。本发明这样通过预设的图像质量检测模型输出带评分图像携带的人脸图像的质量数据，再根据质量数据确定待评分图像的目标评分，以便于根据目标评分对图像进行选取，这样可以自动给出待评分图像的目标评分，提高了图像评分效率，同时也可以提高图像选取的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的图像评分方法的步骤流程图；

图2是本发明提供的图像评分方法中预设网络模型的原理示意图；

图3是本发明提供的图像评分方法中图像质量检测模型的训练过程的流程图；

图4为本发明提供的一种终端设备的结构原理图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

由于现有技术中的照片选取或推荐方法均是基于用户手动实现，而人眼识别再手动选取照片的方式，不仅仅效率低，而且花费用户大量的时间，而且随着手机相机、平板相机等便携式设备相机的普及，设备中存储大量重复或不符合要求照片越积累越多，从而会给用户带来一定的困扰。基于设备相机自动整理照片的智能性差的问题，本实施例提供了一种可以自动识别目标物属性特征，再根据识别出的目标物属性特征对照片集中照片进行选取或推荐的方法。

下面结合附图，详细说明本发明的各种非限制性实施方式。

本实施例提供的一种图像评分方法，该方法可以由评分装置来执行，所述装置可以由软件实现，应用于诸如智能手机、PC机、服务器、平板电脑或个人数字助理等之类的智能终端上。参见图1，本实施例提供的图像评分方法具体包括：

S10、获取待评分图像。

具体地，所述待评分图像为携带人脸图像，即所述待评分图像中的目标物中包含人。其中，所述待评分图像的获取方式可以包括：通过配置有成像器的终端设备(例如，智能手机以及平板电脑等)拍摄，外部设备发送，以及通过网络(例如，百度等)下载，并且所述待评分图像的图像格式可以包括RGB图像、Bayer图像以及raw图像等。此外，由于所述待评分图像需要携带人脸图像，从而在获取到待评分图像时，可以对待评分图像进行筛查以确定该待评分图像是否携带人像。由此，在本实施例的一个可能实现方式中，所述获取待评分图像可以包括：获取第一待评分图像，并判断该第一待评分图像是否携带人脸图像，当第一待评分图像携带人脸图像时，将第一待评分图像作为待评分图像；当第一待评分图像未携带人脸图像是，提示重新获取待评分图像。同时，在提示重新获取待评分图像时，可以丢弃该第一待评分图像，或者将该第一待评分图像存入缓存内等。

S20、将所述待评分图像输入至预设的图像质量检测模型，通过预设的图像质量检测模型输出所述待评分图像携带的人脸图像的质量数据，其中，质量数据用于反映所述待评分图像的特征属性的质量。

具体地，所述质量数据为所述图像质量检测模型输出的图像质量评价数据，所述质量数据与待评分图像的特征属性相对应，用于反映所述待评分图像的特征属性的质量。在本实施例中，所述质量数据包括待评分图像的至少一个特征属性的分数，其中，所述特征属性可以包括微笑特征、闭眼特征、面部遮挡特征以及面部模糊度特征等。此外，所述质量数据可以包括一个分数，也可以包括多个分数。可以理解的是，当质量数据包括一个分数时，待评分图像包含一个特征属性；当质量数据包括多个分数时，待评分图像包含多个特征属性。同时，当质量数据包括多个分数时，多个分数与待评分图像包含的多个特征属性一一对应，即待评分图像的每个特征属性均对应一个分数。

进一步，所述图像质量检测模型为预先训练的，其输入数据为待评分图像，输出数据为待评分图像对应的质量数据。相应的，如图3所示，在本实施例的一个实现方式中，所述图像质量检测模型的训练过程具体包括：

H10、预设网络模型根据训练样本集中训练图像，生成所述训练图像对应的预测质量数据以及预测人脸关键点；

H20、所述预设网络模型根据所述预测质量数据、所述预测人脸关键点、所述训练图像对应的真实质量数据以及所述训练图像对应的真实人脸关键点对模型参数进行修正，并继续执行根据所述训练样本集中下一组训练图像，生成所述训练图像对应的检测数据的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述图像质量检测模型。

具体地，在所述步骤H10中，所述预设的训练样本集包括若干训练样本组；每组训练样本均包括训练图像、真实质量数据以及真实人脸关键点，其中，所述真实质量数据包括若干特征分数，每一特征分数均为所述训练图像的一特征属性对应的质量分数。所述预测质量数据包括若干预测特征分数，每一预测特征分数均为所述训练图像的一个特征属性对应的预测质量分数，并且对于训练图像的每个特征属性，该特征属性对应的质量分数与该特征属性对应的预测质量分数相对应，并通过该质量分数对各预测质量分数进行评价。此外，所述每组训练样本中的训练图像均携带人脸图像，并且该训练图像仅携带一张人脸图像，这样减少对多张人脸图像中多张人脸区分的时间，从而可以提高预设网络模型的训练速度，同时也可以避免多组质量分数的混淆，提高了预设网络模型训练的准确性。

进一步，所述真实人脸关键点为预先标注的训练图像中人脸图像的人脸关键点，所述预测人脸关键点为通过预设网络模型输出的训练图像中人脸图像的人脸关键点，其中，真实人脸关键点中的人脸关键点数量与预测人脸关键点内的人脸关键点数量相等，并且真实人脸关键点中的人脸关键点与预测人脸关键点内的人脸关键点一一对应。此外，在本实施例的一个可能实现方式中，所述真实人脸关键点和预测人脸关键点可以均包括五官关键点位置信息，或者均包括68个人脸特征点位置信息等。

进一步，在本实施例的一个实现方式中，所述预设网络模型包括：特征提取模块和上层网络模块；所述预设网络模型根据训练样本集中训练图像，生成所述训练图像对应的预测质量数据以及预测人脸关键点的步骤包括：

L10、将所述训练样本集中训练图像输入所述特征提取模块，通过所述特征提取模块得到所述训练图像对应的特征图像；

L20、将所述特征图像输入所述上层网络模块，通过所述上层网络模块输出所述训练图像对应的预测质量数据以及预测人脸关键点。

具体地，所述特征提取模块用于提取训练图像的特征图像，所述特征图像包括人脸图像的基础特征，其中，所述基础特征可以包括边缘、颜色以及形状等。可以理解的是，特征提取模块属于浅层网络模块，该浅层网络模型用于提取人脸图像的基础特征。所述上层网络模块与所述特征提取模块级联，上层网络模块位于特征提取模块的后面，并将特征提取模块的输出项作为其自身的输入项，即上层网络模块的输入项为特征提取模块输出的输出项。

进一步，在本实施例的一个实现方式中，如图2所示，所述上层网络模块包括若干质量检测单元以及关键点检测单元，其中，所述若干质量检测单元以及关键点检测单元均相互独立且并联布置，并且各质量检测单元和关键点检测单元的输入项均是特征提取模块输入的特征图像。相应的，所述将所述特征图像输入所述上层网络模块，通过所述上层网络模块输出所述训练图像对应的预测质量数据以及预测人脸关键点具体包括：

L21、将所述特征图像分别输入至各质量检测单元以及所述关键点检测单元；

L22、通过各检测单元生成各检测单元对应的特征分数，以及通过所述关键点检测单元输出预测人脸关键点，以得到所述训练图像对应的预测质量数据。

具体地，若干质量检测单元与预测质量数据包括的若干质量分数一一对应，每个质量检测单元用于输出一个质量分数，所述关键点检测单元用于输入预测人脸关键点。可以理解的是，若干质量检测单元与训练图像包含的特征属性一一对应，每个质量检测单元用于输入一个特征属性对应的质量分数，而各特征属性对应的质量分数形成预测质量数据。

进一步，在本实施例的一个实现方式中，所述特征属性可以包括微笑特征、闭眼特征、面部遮挡特征以及面部模糊度特征。相应的，所述质量检测单元包括微笑检测单元、闭眼检测单元、面部遮挡检测单元以及面部模糊度检测单元，并分别通过微笑检测单元、闭眼检测单元、面部遮挡检测单元以及面部模糊度检测单元来输出微笑特征对应的微笑特征质量分数、闭眼特征对应的闭眼特征质量分数、面部遮挡特征对应的面部遮挡特征质量分数以及面部模糊度特征对应的面部模糊度特征质量分数。此外，在本实施例的一个可能实现方式中，各属性特征对应质量分数可以用1和0来标识，例如，对于微笑特征，通过预设网络模型输出的质量数据中的微笑特征量分数可以为1或者0，当待评分图像中人脸图像携带笑脸时，待评分图像对应的微笑特征量分数为1，当待评分图像中人脸图像未携带笑脸时，待评分图像对应的微笑特征量分数为0。此外，各属性特征对应的质量分数可以如下表所示：

眨眼分数	眨眼判定(1表示睁眼，0表示闭眼)
		笑容分数	微笑判定(1表示笑，0表示不笑)
模糊分数	模糊判定(1表示清楚，0表示模糊)
		遮挡分数	遮挡判定(1表示遮挡，0表示无遮挡)

。

进一步，在步骤H20中，所述对所述预设网络模型进行修正指的是对所述预设网络模型的模型参数进行修正，直至所述模型参数满足预设条件。所述预设条件包括损失函数值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据图像质量检测模型的精度来确定，这里不做详细说明，所述预设次数可以为预设网络模型的最大训练次数，例如，4000次等。由此，在预设网络模型输出预测质量数据，根据所述预测质量数据以及所述真实质量数据来计算预设网络模型的损失函数值，在计算得到损失函数值后，判断所述损失函数值是否满足预设要求；若损失函数值满足预设要求，则结束训练；若损失函数值不满足预设要求，则判断所述预设网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失函数值对所述预设网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失函数值和训练次数来判断预设网络模型训练是否结束，可以避免因损失函数值无法达到预设要求而造成预设网络模型的训练进入死循环。

进一步，由于对预设网络模型的网络参数进行修改是在预设网络模型的训练情况未满足预设条件(例如，损失函数值未满足预设要求并且训练次数未达到预设次数)，从而在根据损失函数值对所述预设网络模型的网络参数进行修正后，需要继续对预设网络模型进行训练，即继续执行将训练图像集中的训练图像输入预设网络模型的步骤。其中，继续执行将训练图像集中训练图像输入预设网络模型中的训练图像可以为未作为输入项输入过预设网络模型的训练图像。例如，训练图像集中所有训练图像具有唯一图像标识(例如，图像编号)，第一次训练输入预设网络模型的训练图像的图像标识与第二次训练输入预设网络模型的训练图像的图像标识不同，如，第一次训练输入预设网络模型的训练图像的图像编号为1，第二次训练输入预设网络模型的训练图像的图像编号为2，第N次训练输入预设网络模型的训练图像的图像编号为N。当然，在实际应用中，由于训练图像集中的训练图像的数量有限，为了提高图像质量检测模型的训练效果，可以依次将训练图像集中的训练图像输入至预设网络模型以对预设网络模型进行训练，当训练图像集中的所有训练图像均输入过预设网络模型后，可以继续执行依次将训练图像集中的训练图像输入至预设网络模型的操作，以使得训练图像集中的训练图像组按循环输入至预设网络模型。需要说明的是，在将训练图像输入预设网络模型训练的过程中，可以按照各个训练图像的图像编号顺序输入，也可以不按照各个训练图像的图像编号顺序输入，当然，可以重复使用同一张训练图像对预设网络模型进行训练，也可以不重复使用同一张训练图像对预设网络模型进行训练，在本实施例中，不对“继续执行将训练图像集中的训练图像输入预设网络模型的步骤”的具体实现方式进行限定。

进一步，在本实施例的一个实现方式中，所述预设网络模型包括特征提取模块以及上层网络模块，上层网络模块包括若干质量检测单元以及关键点检测单元，其中，特征提取模块、若干质量检测单元以及关键点检测单元均为独立的网络模型。由此，在根据预测质量数据、预测人脸关键点、真实质量数据以及真实关键点对预设网络模型进行修正时，分别对特征提取模块、若干质量检测单元以及关键点检测单元进行单独训练，其中，若干质量检测单元以及关键点检测单元基于其各自输出的预测项与该预测项对应的真实项进行顺序，特征提取模块基于预测质量数据、预测人脸关键点、真实质量数据以及真实关键点进行修正。相应的，在本实施例的一个可能实现方式中，所述所述预设网络模型根据所述预测质量数据以及所述训练图像对应的真实质量数据对模型参数进行修正具体可以包括：

针对于每个质量检测单元，根据该质量检测单元对应的预测质量分数以及该质量检测单元对应的真实质量分数，计算该质量检测单元对应的第一损失值，并根据所述第一损失值对该质量检测单元对应的模型参数进行修正；

根据所述预测人脸关键点与所述真实人脸关键点计算第二损失值，并根据所述第二损失值对所述关键点检测单元对应的模型参数进行修正；

根据各第一损失值和所述第二损失值对所述特征提取模块对应的模块参数进行修正。

具体地，基于损失值进行修正时，均通过损失值计算出梯度值，用反向传输网络对损失值对应的网络参数进行更新迭代，以更新各损失值对应的网络参数，其中，损失值可以为各第一损失值、第二损失值以及第三损失值，所述第三损失值为根据第一损失值和第二损失值计算得到，例如，第三损失值为各第一损失值和第二损失值的和，或者第三损失值为各第一损失值和第二损失值的平均值，再者所述第三损失值为各第一损失值和第二损失值加权得到的，其中，各第一损失值和第二损失值的权重系数可以为预先设置的。可以理解的是，基于各第一损失值、第二损失值以及第三损失值对网络模型的修正过程可以是相同。本实施例这样通过采用各质量检测单元以及关键点检测单元对应的输出项确定各自对应的损失值，并采用各自对应的损失值进行单独训练，可以避免各质量检测模块以及关键点检测模块对应特征图像的重复提取以及重复训练，大大的减轻了网络重复训练时的运算量。

进一步，在本实施例的一个实现方式中，在所述预设网络模型的训练过程中，所述方法还可以包括：

检测所述关键点检测单元的模型参数；

当所述关键点检测单元的模型参数满足预设条件时，对训练样本集中的各训练样本进行对齐处理，以得到对齐后的训练样本集；

采用所述对齐后的训练样本集对所述预设网络模型进行训练。

具体地，所述预设条件可以为包括损失函数值满足预设要求或者训练次数达到预设次数。所述预设条件可以是根据关键点检测单元的精度来确定，这里不做详细说明，所述预设次数可以为关键点检测单元的最大训练次数，例如，2000次等。由此，在关键点检测单元输出预测人脸关键点，根据所述预测人脸关键点以及所述真实人脸关键点来计算关键点检测单元的第二损失值，在计算得到第二损失值后，判断所述第二损失值是否满足预设要求；若第二损失值满足预设要求，则结束训练；若第二损失值不满足预设要求，则判断所述关键点检测单元的训练次数是否达到预测次数，若未达到预设次数，则根据所述第二损失值对所述关键点检测单元的网络参数进行修正；若达到预设次数，则结束训练。这样通过第二损失值和训练次数来判断关键点检测单元训练是否结束，可以避免因第二损失值无法达到预设要求而造成关键点检测单元的训练进入死循环。当然，值得说明的是，所述关键点检测单元为预设网络模型的子单元，并且在关键点检测单元的模型参数满足预设条件后，需要对训练样本进行对齐处理，并采用对齐后的训练样本对预设网络模型进行训练。由此，关键点检测单元对应的损失函数要求低于预设网络模型对应的损失函数要求，并且关键点检测单元对应的检测次数小于预设网络模型对应的检测次数。

进一步，在本实施例的一个实现方式中，所述对训练样本集中各训练样本进行对齐处理指的是：针对于训练样本中的每个训练样本，对该训练样本中的训练图像进行对齐处理，以使得该训练图像中携带的人脸图像朝向预设方向，例如，正前方等。可以理解的是，对齐处理是调整训练图像中人脸图像的朝向，使得人脸图像的朝向为预设方向。此外，在对每个训练样本图像进行对齐处理后，采用对齐后的人脸图像作为训练图像以更新所述训练样本集，并且在更新训练样本集后，采用更新后的训练样本集作为预设网络模型的训练样本，其中，当采用更新后的训练样本集作为训练样本时，预设网络模型的模型参数为采用未更新的训练样本训练得到的模型参数。这样通过对训练样本集进行对齐处理，并采用对齐后的训练样本集对预设网络模型继续训练，可以避免因人脸朝向而造成训练得到的图像质量检测模型的精度低。

进一步，在本实施例的一个实现方式中，在获取到训练完成的图像质量检测模型后，可以训练得到的图像质量检测模型进行后处理，以使得后处理得到的图像质量检测模型的输出项为质量数据。其中，所述后处理的方式可以包括控制关键点检测单元不输出以及去除关键点检测单元等。这样通过后处理可以使得图像质量检测模型的输出项为质量数据，从而可以通过该图像质量检测模型输出待评分图像对应的质量数据。

进一步，由上述图像质量检测模型的训练过程可以知道，图像质量检测模型包括特征提取模块以及上层网络模型，相应的，所述将所述待评分图像输入至预设的图像质量检测模型，通过预设的图像质量检测模型输出所述待评分图像携带的人脸图像的质量数据具体可以包括：

S21、将所述待评分图像输入至特征提取模块，通过所述特征提取模块得到所述训练图像对应的特征图像；

S22、将所述特征图像输入所述上层网络模块，通过所述上层网络模块输出所述训练图像对应的质量数据。

具体地，所述特征提取模块用于提取待评分图像的特征图像，并将所述特征图像输入至上层网络模块，所述上层网络模块根据特征图像提取待评分图像的质量数据。其中，所述图像质量检测模型的特征提取模的对待处理图像的处理与预设网络模型中的特征提取模对训练的处理过程相同，从而所述步骤S21的具体执行过程可以参照步骤L10。同样的，所述图像质量检测模型的上层网络模块的对待评分图像对应的特征图像的处理与预设网络模型中的上层网络模块对训练图像对应的特征图像的处理过程相同，从而所述步骤S22的具体执行过程可以参照步骤L20。

可以理解的是，图像质量检测模型在训练过程中对应的网络结构，与在应用过程(确定待评分图像的质量数据)中所对应的网络结构相同。例如，在训练的过程中，图像质量检测模型包括特征提取模块和上层网络模块，那么相应地，在通过图像质量检测模型输出待评分图像的质量数据时，图像质量检测模型也包括特征提取模块和上层网络模块。

此外，值得说明的，所述上层网络模块的结构与预设网络模型中的上层网络模块的结构基本相同，其区别仅是上层网络模型的关键点检测单元不输出或者上层网络模型去除了关键点检测单元。相应的，所述将所述特征图像输入所述上层网络模块，通过所述上层网络模块输出所述训练图像对应的质量数据具体为：将所述特征图像分别输入至各质量检测单元，通过各质量检测单元输出各自对应的质量分数，并根据输出的各质量分数确定所述待评分图像对应的质量分数。其中，各质量检测单元的处理过程与与预设网络模型中的上层网络模块中的各质量检测单元的处理过程相同，这里就不再赘述。

S30、根据所述待评分图像的质量数据确定所述待评分图像的目标评分。

具体地，所述目标评分为待评分图像对应的分数，用于反映所述待评分图像的质量，其中，所述图像质量是以图像中的人脸图像是否微笑、闭眼、被遮挡或者模糊程度为判断依据，例如，对于两张连续图像，两张连续图像中的第一图像与两张连续图像中的第二图像的区别第一图像中人脸图像处于微笑状态，而第二图像中人脸图像未处于微笑状态，那么第一图像的图像质量高于第二图像的图像质量；再如，对于两张连续图像，两张连续图像中的第三图像与两张连续图像中的第四图像的区别第三图像中人脸图像处于闭眼状态，而第二图像中人脸图像未处于闭眼状态，那么第一图像的图像质量低于第二图像的图像质量。此外，所述目标评分是根据微笑特征、闭眼特征、模糊特征以及被遮挡特征综合得到的，从而图像的质量用于反映微笑特征、闭眼特征、模糊特征以及被遮挡特征的综合效果，并且当目标评分高时，待评分图像对应的图像质量高；当目标评分低时，待评分图像对应的图像质量低。所述目标评分为根据质量数据中各质量分数计算得到，例如，所述目标评分可以为各质量分数的和，或各质量分数的平均值，或各质量分数加权和等。

在本实施例的一个实现方式中，所述目标评分为各质量分数的加权和。由此，在获取到所述待评分图像的质量数据后，提取质量数据中的各质量分数，之后对各质量分数进行加权求和，并加权求和得到值作为待评分图像的目标评分。此外，在对各质量分数进行加权求和时，可以为各质量分数配置不同的权重系数，其中，所述权重系数可以是预先设置，并且各质量分数对应的权重系数可以根据各质量分数对应的属性特征在人脸图像中的重要程度而确定，并且属性特征的重要程度越大，该属性特征对应的权重系数越大。由此，所述待评分图像的目标评分对应的计算公式为：

其中，n是特征属性的数量，k表示第k个特征属性，a_k表示为第k个特征属性对应的质量分数，所述

为第k个特征属性对应的质量分数的权重系数。

进一步，在本实施例的一个实现方式中，所述待评分图像中可以携带多张人脸图像，那么预设的图像质量检测模型获取待评分图像的质量数据为通过所述图像质量检测模型确定所述待评分图像中的各人脸图像各自对应的质量数据。可以理解的，当待评分图像中携带多张人脸图像时，每个人脸图像均可以对应一个质量数据，并且各人脸图像对应的质量数据包括的质量分数一一对应。此外，当根据待评分图像获取到多个质量分数时，在根据质量数据确定目标评分时，是根据多个质量分数来确定待评分图像的目标评分。其中，所述根据多个质量分数来确定待评分图像的目标评分的方式可以包括以下几种方式：第一种方式为根据每个质量分数计算候选评分，再对各候选评分进行求和得到目标评分；第二种方式为根据每个质量分数计算候选评分，再将各候选评分的平均值作为目标评分，第三种方式为根据每个质量分数计算候选评分，之后再将各候选评分进行加权以得到目标评分。

进一步，在本实施例的一个实现方式中，所述根据所述待评分图像的质量数据确定所述待评分图像的评分具体包括：

针对于所述待评分图像中的每张人脸图像，获取该人脸图像对应的权重系数，并根据该人脸图像的权重系数和质量数据确定该人脸图像的候选评分；

根据各人脸图像的候选评分确定所述待评分图像对应的目标评分。

具体地，权重系数用于反映其对应的人脸图像在待评分图像中的重要程度，各人脸图像对应的权重系数根据人脸图像在待评分图像中的位置和/或所占面积确定的。例如，权重系数根据其对应的所占面积确定的，那么权重系数与人脸图像在待评分图像中的所占面积的对应关系可以为：当人脸图像对应的所占面积越大，该人脸图像对应的权重系数越高；当人脸图像对应的所占面积越小，该人脸图像对应的权重系数越低。

进一步，在本实施例的一个实现方式中，所述权重系数是根据人脸图像所占面积、人脸所处位置以及人脸朝向确定，从而所述权重系数包括人脸图像所占面积所对应的分数、人脸所处位置所对应的分数以及人脸朝向所对应的分数。其中，所述人脸图像所占面积指的是人脸图像在所述待评分图像中所占面积，所述人脸位置指的是人脸图像在待评分图像中所处的位置，所述人脸朝向指的是人脸图像在待评分图像中朝向。相应的，所述权重系数的获取过程可以为：

针对于每个人脸图像，获取该人脸图像在所述待评分图像中的所占面积、所处位置信息以及人脸朝向；

根据所占面积确定所占面积对应第一分数，根据所处位置信息计算所处位置对应第二分数，并根据人脸朝向确定人脸朝向对应的第三分数；

根据第一分数、第二分数以及第三分数计算该人脸图像对应的权重系数。

具体地，所述待评分图像中的所占面积、所处位置信息以及人脸朝向可以在获取到待评分图像时，对所述待评分图像进行预处理以得到待评分图像携带的各人脸图像，以及各人脸图像对应的所占面积、所处位置信息以及人脸朝向。此外，第一分数可以根据所占面积与待评分图像的图像面积的比值来确定，当所占面积与待评分图像的图像面积的比值越大时，第一分数越大，当所占面积与待评分图像的图像面积的比值越小时，第一分数越小。第二分数是根据人脸图像所处位置的中心点与图像中心点的距离确定，当中心点距离图像中心点的距离越大时，第二分数越大，当中心点距离图像中心点的距离越小时，第二分数越小。第三分数是根据人脸朝向与正前方的夹角来确定的，当夹角越大时，第三分数越大，当夹角越小时，第三分数越小。

进一步，在获取到第一分数、第二分数以及第三分数后，根据第一分数、第二分数以及第三分数计算权重系数的方式包括：将第一分数、第二分数以及第三分数的和作为权重系数；将第一分数、第二分数以及第三分数的平均值作为权重系数；以及将第一分数、第二分数以及第三分数进行加权，将加权得到分数作为权重系数，其中，所述加权系数可以为预先设定。

进一步，在确定各人脸图像的权重系数后，根据各人脸图像对应的质量数据以及权重系数来计算各人脸图像的候选评分，在根据候选评分计算目标评分。其中，根据各人脸图像对应的质量数据以及权重系数来计算各人脸图像的候选评分的过程可以为：首先根据质量数据计算该人脸图像对应的目标分数，之后再根据目标分数和权重系数计算候选评分，其中，候选评分可以为权重系数与目标分数的和，可以是权重系数与目标分数的乘积等。此外，在确定各人脸图像的候选评分后，所述目标评分可以为各人脸图像对应的候选评分的和，也可以是各人脸图像对应的候选评分的平均值等。在本实施例的一个可能实现方式中，每个人脸图像对应的候选评分为该人脸图像对应的权重系数与目标分数的乘积，目标评分为各候选评分的和。

进一步，在本实施例的一个实现方式中，所述方法还可以包括：

当待评分图像为至少两张待评分图像时，所述方法还包括：

分别获取每张待评分图像对应的目标评分；

根据获取到的各目标评分确定所述至少两张待评分图像对应的推荐图像。

具体地，所述至少两张待评分图像中每张待评分图像均携带人脸图像，并且所述至少两张图像可以为至少两张连续图像，例如，所述至少两张待评分图像为通过成像器对相同场景进行连续拍摄得到的连续图像，再如，所述至少两张连续图像可以为连拍模式下获取到的多张图像。此外，对于至少两张待评分图像中的每一张待评分图像，将该待评分图像输入至图像质量检测模型，通过图像质量检测模型输出该待评分图像的目标评分；在获取到所有待评分图像对应的目标评分后，根据获取到各待评分图像各自对应的目标评分后，根据各目标评分在至少两张待评分图像中选取一张作为推荐图像，其中，推荐图像对应的目标评分可以为各待评分图像对应的目标评分的最大目标评分。

基于上述图像评分方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像处理方法中的步骤。

基于上述图像评分方法，本发明还提供了一种终端设备，如图4所示，其包括至少一个处理器(processor)20；显示面板21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示面板21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示面板21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (14)

1.一种图像评分方法，其特征在于，其包括：

获取待评分图像，其中，所述待评分图像携带人脸图像；

将所述待评分图像输入至预设的图像质量检测模型，通过预设的图像质量检测模型输出所述待评分图像携带的人脸图像的质量数据，其中，质量数据用于反映所述待评分图像的特征属性的质量；

根据所述待评分图像的质量数据确定所述待评分图像的目标评分。

2.根据权利要求1所述图像评分方法，其特征在于，所述人脸图像包括多张人脸图像，所述将所述待评分图像输入至预设的图像质量检测模型，通过预设的图像质量检测模型输出所述待评分图像携带的人脸图像的质量数据具体为：

将所述待评分图像输入至预设的图像质量检测模型，通过所述图像质量检测模型确定所述待评分图像中的各人脸图像各自对应的质量数据。

3.根据权利要求2所述图像评分方法，其特征在于，所述根据所述待评分图像的质量数据确定所述待评分图像的评分具体包括：

针对于所述待评分图像中的每张人脸图像，获取该人脸图像对应的权重系数，并根据该人脸图像的权重系数和质量数据确定该人脸图像的候选评分；

根据各人脸图像的候选评分确定所述待评分图像对应的目标评分。

4.根据权利要求3所述图像评分方法，其特征在于，所述权重系数根据人脸图像所占面积所对应的分数、人脸所处位置所对应的分数以及人脸朝向所对应的分数确定的。

5.根据权利要求1所述图像评分方法，其特征在于，所述特征属性包括微笑特征、闭眼特征、面部遮挡特征和面部模糊度特征。

6.根据权利要求1-5任一所述图像评分方法，其特征在于，所述图像质量检测模型的训练过程具体包括：

预设网络模型根据训练样本集中训练图像，生成所述训练图像对应的预测质量数据；其中，所述训练样本集包括若干训练样本组，每组训练样本均包括训练图像以及训练图像对应的真实质量数据和真实人脸关键点，所述真实质量数据包括特征分数组，所述特征分数组中每一特征分数均为所述训练图像的一特征属性对应的质量分数；

所述预设网络模型根据所述预测质量数据以及所述训练图像对应的真实质量数据对模型参数进行修正，并继续执行根据所述训练样本集中下一组训练图像，生成所述训练图像对应的检测数据的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述图像质量检测模型。

7.根据权利要求6所述的图像评分方法，其特征在于，所述预设网络模型包括：特征提取模块和上层网络模块；所述预设网络模型根据训练样本集中训练图像，生成所述训练图像对应的预测质量数据的步骤包括：

将所述训练样本集中训练图像输入所述特征提取模块，通过所述特征提取模块得到所述训练图像对应的特征图像；

将所述特征图像输入所述上层网络模块，通过所述上层网络模块输出所述训练图像对应的预测质量数据以及预测人脸关键点。

8.根据权利要求7所述的图像评分方法，其特征在于，所述上层网络模块包括若干并列设置的质量检测单元以及关键点检测单元，各个质量检测单元对应的特征属性互不同；所述将所述特征图像输入所述上层网络模块，通过所述上层网络模块输出所述训练图像对应的预测质量数据以及预测人脸关键点具体包括：

将所述特征图像分别输入至各质量检测单元以及所述关键点检测单元；

通过各检测单元生成各检测单元对应的特征分数，以及通过所述关键点检测单元输出预测人脸关键点，以得到所述训练图像对应的预测质量数据。

9.根据权利要求8所述的图像评分方法，其特征在于，所述预设网络模型根据所述预测质量数据以及所述训练图像对应的质量数据对模型参数进行修正的步骤包括：

针对于每个质量检测单元，根据该质量检测单元对应的预测质量分数以及该质量检测单元对应的真实质量分数，计算该质量检测单元对应的第一损失值，并根据所述第一损失值对该质量检测单元对应的模型参数进行修正；

根据所述预测人脸关键点与所述真实人脸关键点计算第二损失值，并根据所述第二损失值对所述关键点检测单元对应的模型参数进行修正；

根据各第一损失值和所述第二损失值对所述特征提取模块对应的模块参数进行修正。

10.根据权利要求8所述的图像评分方法，其特征在于，所述方法还包括：

检测所述关键点检测单元的模型参数；

当所述关键点检测单元的模型参数满足预设条件时，对训练样本集中的各训练样本进行对齐处理，以得到对齐后的训练样本集，其中，对齐后的训练样本集中各训练图像中的人脸朝向相同；

采用所述对齐后的训练样本集对所述预设网络模型进行训练。

11.根据权利要求1所述的图像评分方法，其特征在于，当待评分图像为至少两张待评分图像时，所述方法还包括：

分别获取每张待评分图像对应的目标评分；

根据获取到的各目标评分确定所述至少两张待评分图像对应的推荐图像。

12.根据权利要求11所述图像评分方法，其特征在于，所述至少两张待评分图像为通过成像器连拍得到的多张图像。

13.一种电子设备，包括存储器和处理器，所述存储器存储有可被所述处理器执行的计算机可读程序，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～12任一项所述的图像评分方法中的步骤。

14.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，实现如权利要求1～12任一项所述的图像评分方法中的步骤。

Images