CN110147744B - 一种人脸图像质量评估方法、装置及终端 - Google Patents

Abstract

本发明提供了一种人脸图像质量评估方法、装置及终端，该人脸图像质量评估方法包括：获取人脸图像中的像素点和人脸关键点；基于人脸关键点的属性信息，确定至少一个图像关键点特征，并基于像素点的属性信息，确定至少一个图像像素点特征；其中，人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息、关键点姿态信息或关键点遮挡信息中的至少一种，像素点的属性信息包括像素点位置信息、像素点尺寸信息、像素点灰度值信息或像素点数量信息中的至少一种；对至少一个图像关键点特征和至少一个图像像素点特征进行融合处理；基于融合处理结果，对所述人脸图像质量进行评估。本发明的技术方案能够提高人脸图像质量评估的准确性和鲁棒性。

Description

一种人脸图像质量评估方法、装置及终端

技术领域

本发明属于图像处理技术领域，具体涉及一种人脸图像质量评估方法、装置及终端。

背景技术

人脸图像是计算机视觉领域中的一个重要的研究课题，人脸图像的质量直接决定了后续人脸追踪、人脸关键点、人脸识别等应用的效果。近年来，人脸关键点、人脸识别等技术获得了突破性的进展，但在图像质量较差的情况下，识别精度仍然面临较大的挑战。

现有技术中提出了通过将测试图像分成多个计算块，提取每个计算块中的交流分量，在标准人脸上统计出均值和协方差，依据多维的正太分布计算出测试图相应的计算块的概率，以所有计算块的概率和作为评分标准从而对人脸图像进行评估的方法，除此之外，现有技术还提出了基于卷积神经网络对人脸图像进行评估的方法。

然而现有的标准人脸的计算块中的离散余弦变换分量并没有符合正态分布，绝大多数的方差相差都特别大，且特征提取较为单一，导致人脸图像评估方式单一且准确率不高，基于卷积神经网络的方法虽然可以改善准确率，但该方法需要花费大量的人力和时间收集数据，耗时，成本较高，且该方法对设备依赖性较强，无法在例如移动端等轻量级的场景中应用。

发明内容

本发明提出一种人脸图像质量评估方法、装置及终端，解决现有的人脸图像质量评估方式单一，且难以在移动端或者一般的前端设备上实时运行的问题，提高不同情况下的人脸图像质量评估的准确性和鲁棒性。

一方面，本发明提供了一种，所述方法包括：

获取人脸图像中的像素点和人脸关键点；

基于人脸关键点的属性信息，确定至少一个图像关键点特征，并基于像素点的属性信息，确定至少一个图像像素点特征；其中，所述人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息、关键点姿态信息或关键点遮挡信息中的至少一种，所述像素点的属性信息包括像素点位置信息、像素点尺寸信息、像素点灰度值信息或像素点数量信息中的至少一种；

对所述至少一个图像关键点特征和所述至少一个图像像素点特征进行融合处理；

基于融合处理结果，对所述人脸图像质量进行评估。

另一方面，本发明提供了一种人脸图像质量评估装置，所述装置包括：

获取模块，用于获取人脸图像中的像素点和人脸关键点；

确定模块，用于基于人脸关键点的属性信息，确定至少一个图像关键点特征，并基于像素点的属性信息，确定至少一个图像像素点特征；其中，所述人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息、关键点姿态信息、关键点遮挡信息中的至少一种，所述像素点的属性信息包括像素点位置信息、像素点尺寸信息、像素点灰度值信息、像素点数量信息中的至少一种；

融合处理模块，用于对所述至少一个图像关键点特征和所述至少一个图像像素点特征进行融合处理；

评估模块，用于基于融合处理结果，对所述人脸图像质量进行评估。

另一方面，本发明提供了一种人脸图像质量评估终端，所述终端包括：

处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述所述的人脸图像质量评估方法。

本发明提供的一种人脸图像质量评估方法、装置及终端，根据提取到的人脸图像中的像素点和人脸关键点，对人脸图像质量进行评估，不需要大量的训练数据和标注结果，减少算法实施的成本，算法灵活易于调整，且对基于人脸关键点的属性信息确定的至少一个图像关键点特征，以及基于像素点的属性信息确定的至少一个图像像素点特征进行融合处理，实现了结合更多的人脸特征参数，让质量评估的结果更加的鲁邦和精确，同时，图像质量评估过程简单，时间复杂度比较低，能快速的做出人脸质量的判断，这对于实时视频等应用尤为重要，此外，使用了一个轻量级的方案，解决了在移动端或者一般的前端设备上实时进行人脸质量评估的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的人脸图像质量评估系统的示意图。

图2是本发明实施例提供的人脸图像质量评估方法的一种流程示意图。

图3是本发明实施例提供的基于人脸关键点的属性信息，确定至少一个图像关键点特征的一种流程示意图。

图4是本发明实施例提供的在人脸图像上计算图像尺寸的一种示意图。

图5是本发明实施例提供的基于人脸关键点的属性信息，确定至少一个图像关键点特征的另一种流程示意图。

图6是本发明实施例提供的基于人脸关键点的属性信息，确定至少一个图像关键点特征的另一种流程示意图。

图7是本发明实施例提供的基于人脸关键点的属性信息，确定至少一个图像关键点特征的另一种流程示意图。

图8是本发明实施例提供的在人脸图像上获取右眼最小外接矩形的一种示意图。

图9是本发明实施例提供的在人脸图像上获取嘴巴最小外接矩形的一种示意图。

图10是本发明实施例提供的基于像素点的属性信息，确定至少一个图像像素点特征一种流程示意图。

图11是本发明实施例提供的人脸图像质量评估装置的一种结构示意图。

图12是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本发明实施例提供的一种人脸图像质量评估系统的示意图，如图1所示，该人脸图像质量评估系统可以至少包括服务器01和客户端02。

具体的，本说明书实施例中，所述服务器01可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器01可以为上述客户端02提供后台服务。

具体的，本说明书实施例中，客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载、音箱、电视、机器人等类型的实体设备，也可以包括运行于实体设备中的软体，例如虚拟机等。本发明实施例中客户端02可以支持对人脸图像质量进行评估。

需要说明的是，本发明所涉及的信息、数据以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本发明中涉及到的人脸图像都是在充分授权的情况下获取的。

以下介绍本发明的一种人脸图像质量评估方法，图2是本发明实施例提供的一种人脸图像质量评估方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。具体的如图2所示，所述方法可以包括：

S201：获取人脸图像中的像素点和人脸关键点。

本说明书实施例中，人脸关键点包括但不限于眼睛、眉毛、鼻子、嘴巴以及脸部外轮廓等。

在一些实施例中，可以通过以下方式提取人脸图像中的人脸关键点：

采用提取特征边缘的迭代算法对人脸图像中的特征点进行定位；

对定位得到的特征点进行矫正，得到人脸图像中的人脸关键点。

因为定位算法可能存在误差，因此，可以采用人工或自动校验的方式对定位得到的特征点进行矫正，从而有利于提高面部关键特征点获取的准确性。

S203：基于人脸关键点的属性信息，确定至少一个图像关键点特征，并基于像素点的属性信息，确定至少一个图像像素点特征；其中，所述人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息、关键点姿态信息或关键点遮挡信息中的至少一种，所述像素点的属性信息包括像素点位置信息、像素点尺寸信息、像素点灰度值信息或像素点数量信息中的至少一种。

本说明书实施例中，所述图像关键点特征包括但不限于图像尺寸、人脸角度、人脸遮挡率、人脸表情得分等。

在一些实施例中，所述图像关键点特征包括图像尺寸，可以通过人脸关键点，比如嘴巴和眼睛，以及人脸关键点的属性信息，比如关键点位置信息和关键点尺寸信息，计算所述图像尺寸。如图3所示，所述基于人脸关键点的属性信息，确定至少一个图像关键点特征，可以包括以下步骤：

S301：基于眼睛的位置信息和尺寸信息，获取左眼中心与右眼中心之间的直线上的第一中心点。

本说明书实施例中，可以根据已经提取到的左眼的位置信息（比如坐标信息）以及尺寸信息（比如长宽信息），确定左眼中心点，并根据已经提取到的右眼的位置信息（比坐标信息）以及尺寸信息（比如长宽信息），确定右眼中心点，用直线将左眼中心点与右眼中心点相连，该直线上的中心点即为第一中心点.。

图4所示为本说明书实施例中提供在人脸图像上计算图像尺寸的一种示意图，其中，A点为左眼中心点，B点为右眼中心点，E点为第一中心点。

S303：基于嘴巴的位置信息和尺寸信息，获取左嘴角与右嘴角之间的直线上的第二中心点。

本说明书实施例中，可以根据已经提取到的嘴巴的位置信息（比如坐标信息）和尺寸信息（比如长宽信息），确定左嘴角的位置以及右嘴角的位置，用直线将左嘴角与右嘴角相连，该直线上的中心点即为第二中心点。

如图4所示，图4中的C点为左嘴角的位置，D点为右嘴角的位置，F点为第二中心点。

S305：计算所述第一中心点与所述第二中心点之间的直线距离。

在一些实施例中，在确定出第一中心点与第二中心点之后，可以用直线将第一中心点与第二中心点相连，该直线的长度即为所述第一中心点与所述第二中心点之间的直线距离。

在一个具体的实施例中，直线距离，比如可以为欧式距离。

S307：将所述直线距离映射到[0,1]范围内。

本说明书实施例中，为了消除不同特征的不同计算方式所带来的数据输出尺度的影响，可以将不同特征的计算结果均映射到一个统一的范围。

在一个具体的实施例中，比如，可以将不同特征的计算结果均映射到[0,1]范围内。

S309：基于映射结果，得到所述图像尺寸。

在一些实施例中，可以根据映射结果，控制所述图像尺寸的取值范围为[0,1]。

在实际应用中，S301的计算公式可以如下：

，

其中，表示左眼中心位置，/>表示右眼中心位置，/>表示第一中心点的位置。

S303的计算公式可以如下：

，

其中，表示左嘴角位置，/>表示右嘴角位置，表示第二中心点的位置。

S305- S309的计算公式可以如下：

，

其中，表示第一中心点与第二中心点之间的直线距离，/>表示图像尺寸。

本说明书实施例中，的取值区间是[0,1]，/>越大，表示图像质量越好，而为了保证数据输出尺度的一致性，后续其他特征的取值范围均设置在0~1之间。

在一些的实施例中，所述图像关键点特征包括人脸角度，可以通过人脸关键点，比如眼睛、嘴巴和鼻子，以及人脸关键点的属性信息，比如关键点位置信息，计算所述人脸角度。如图5所示，所述基于人脸关键点的属性信息，确定至少一个图像关键点特征，可以包括以下步骤：

S501：基于眼睛、嘴巴和鼻子的位置信息，获取所述人脸图像在水平方向的偏转角度和竖直方向的俯仰角度。

在一些实施例中，可以使用人脸关键点，比如左眼、右眼、鼻头、左嘴角、右嘴角五个点的位置信息（比如坐标信息），对人脸的3d姿态进行估计得到人脸的roll（转动），pitch（倾斜），yaw（偏离）角度，roll表示图像平面内旋转角度，pitch表示抬头或者点头方向的俯仰角度，yaw表示表示左右摇头的偏转角度，由于roll对于人脸质量没有太大影响，因此，在一个具体的实施例中，可以只选取pitch和yaw作为人脸质量的影响因素。

在一个具体的实施例中，可以通过以下方式对人脸3d姿态进行估计，从而得到人脸的roll（转动），pitch（倾斜），yaw（偏离）角度：预测左眼、右眼、鼻头、左嘴角、右嘴角这五个点的2d坐标点，使用一个3d的模型，通过旋转和平移3d模型，使得3d模型的中对应的5个3d坐标点投影到2d平面的时候与预测的2d坐标点尽可能的接近，通过上述约束来确定人脸的roll、pitch、yaw角度，即通过给定的一组特征点以及它们之间的配对关系，得到人脸的roll、pitch、yaw角度。

S503：比较所述偏转角度和所述俯仰角度。

S505：基于比较结果，得到所述人脸角度。

在实际应用中，S503-S505可以通过比较所述偏转角度和所述俯仰角度之间的大小，取二者之间的最大值，然后将该最大值映射到[0,1]范围内，从而得到人脸角度，可以采用如下计算公式进行计算：

，

其中，表示人脸角度，/>表示忽略上下和左右的正负影响。

本说明书实施例中，的取值越高，表示人脸的质量越差。

在一些实施例中，所述图像关键点特征包括人脸遮挡概率，可以通过人脸关键点，比如眼睛、嘴巴、鼻子、眉毛和脸部轮廓，以及人脸关键点的属性信息，比如关键点遮挡信息和关键点位置信息，计算所述人脸遮挡概率。在实际应用中，关键点位置信息可以包括关键点坐标信息，关键点遮挡信息可以包括关键点被遮挡的概率。如图6所示，所述基于人脸关键点的属性信息，确定至少一个图像关键点特征，可以包括以下步骤：

S601：基于眼睛、嘴巴、鼻子、脸部轮廓的位置信息以及遮挡信息，获取左眼遮挡概率、右眼遮挡概率、嘴巴遮挡概率、鼻子遮挡概率和脸部轮廓遮挡概率。

S603：对所述左眼遮挡概率、所述右眼遮挡概率、所述嘴巴遮挡概率、所述鼻子遮挡概率和所述脸部轮廓遮挡概率进行平均，得到所述人脸遮挡概率。

在实际应用中，S601-S603可以采用如下公式进行计算：

，

其中，表示人脸遮挡概率，n表示人脸关键点的个数，/>表示关键点被遮挡的概率。

在一个具体的实施例中，所述图像关键点特征包括人脸表情得分，可以通过人脸关键点，比如眼睛和嘴巴，以及人脸关键点的属性信息，比如关键点位置信息、关键点尺寸信息和关键点姿态信息，计算所述人脸表情得分。在实际应用中，所述关键点位置信息可以包括关键点坐标信息，所述关键点尺寸信息可以包括关键点的长、宽等信息，关键点姿态信息可以包括关键点的闭合程度、倾斜状态等信息，如图7所示，所述基于人脸关键点的属性信息，确定至少一个图像关键点特征，可以包括以下步骤：

S701：基于眼睛的位置信息和尺寸信息，获取左眼最小外接矩形和右眼最小外接矩形，基于嘴巴的位置信息和尺寸信息，获取嘴巴最小外接矩形。

在一个具体的实施例中，可以通过左眼的坐标信息以及左眼的长、宽等信息获取左眼最小外接矩形，并通过右眼的坐标信息以及右眼的长、宽等信息获取右眼最小外接矩形，同时通过嘴巴的坐标信息以及嘴巴的长、宽等信息获取嘴巴最小外接矩形，右眼最小外接矩形的示意图如图8所示，图8中的H表示右眼的宽度，W表示右眼的长度，嘴巴最小外接矩形的示意图如图9所示，图9中的H表示嘴巴的宽度，W表示嘴巴的长度。

S703：计算所述左眼最小外接矩形的第一长宽比、所述右眼最小外接矩形的第二长宽比和所述嘴巴最小外接矩形的第三长宽比。

S705：将所述第一长宽比、所述第二长宽比和所述第三长宽比分别映射到[0,1]范围内。

S707：基于映射结果，获得所述人脸表情得分。

在实际应用中，通过所述人脸表情得分可以表征当前人脸表情是否为双眼睁开且嘴巴闭合的自然表情，S701-S707可以通过以下公式计算出：

，

其中，表示左眼的宽度，/>表示左眼的长度，/>表示将左眼最小外接矩形的第一长宽比映射到[0,1]范围内的取值，/>表示右眼的宽度，/>表示右眼的长度，/>表示将右眼最小外接矩形的第二长宽比映射到[0,1]范围内的取值，/>表示嘴巴的宽度，/>表示嘴巴的长度，/>表示将嘴巴最小外接矩形的第三长宽比映射到[0,1]范围内的取值，/>表示人脸表情得分。

在一个具体的实施例中，可以表征左眼是否为睁开状态，/>可以表征右眼是否为睁开状态，/>可以表征嘴巴是否为闭合状态，/>可以表征人脸表情是否属于双眼睁开且嘴巴闭合的状态。

在一个具体的实施例中，比如，可以预先设置一个与自然表情对应的取值范围，当在该取值范围之内，则可以确定当前人脸表情为自然状态下的表情。

本说明书实施例中，所述图像像素点特征包括但不限于模糊程度、对比度、光照、亮度等。

在一个具体的实施例中，所述图像像素点特征可以包括模糊程度，可以通过像素点以及像素点的属性信息，比如像素点位置信息、像素点数量信息和像素点灰度值信息，计算所述模糊程度。其中，像素点位置信息可以为像素点坐标信息，像素点数量信息可以为像素点的个数，如图10所示，所述基于像素点的属性信息，确定至少一个图像像素点特征，可以包括以下步骤：

S1001：将所述人脸图像划分为若干个同等大小的计算块。

在一个具体的实施例中，比如，可以将人脸图像划分为16×16的计算块。

S1003：当所述计算块同时满足第一条件和第二条件时，将所述计算快作为目标计算块；所述第一条件为所述计算块中的像素点在竖直方向的方差满足第一预设条件，所述第二条件为所述计算块中的像素点在水平方向的方差满足第二预设条件。

在一个具体的实施例中，可以计算每个计算块中的像素点在竖直方向和水平方向的方差，若某一个计算块中的像素点在竖直方向的方差满足第一预设条件，且在水平方向的方差满足第二预设条件，则将该计算块作为目标计算块。

在实际应用中，可以先计算每个像素点的灰度值减去图像平均灰度值的平方的和，然后将该结果除以总的像素个数，从而计算出方差。

需要说明的是，必须同时满足第一条件和第二条件，才能够将该计算块作为目标计算块，只满足其中一个条件或两个条件均不满足，则不将该计算块作为目标计算块。

S1005：按照灰度值对各个所述目标计算块中的像素点进行排序。

在一个具体的实施例中，可以按照每一个目标计算块中的像素点的灰度值，对每一个目标计算块中的像素点进行排序。

S1007：获取各个所述目标计算块中灰度值满足第三预设条件的像素点以及灰度值满足第四预设条件的像素点。

在一个具体的实施例中，所述第三预设条件可以为灰度值最大，所述第四预设条件可以为灰度值最小。

在一个具体的实施例中，对于某一个目标计算块，可以挑选在竖直方向上灰度值最大的像素点a和灰度值最小的像素点b，同时挑选在水平方向上灰度值最大的像素点c和灰度值最小的像素点d。即每一个目标计算块中最多可以挑选出两个灰度值最大的像素点和两个灰度值最小的像素点。

在实际应用中，会存在一种情况，即竖直方向上灰度值最大的像素点的个数为多个，像素点最小的像素点的个数也为多个，为了避免获得过多的像素点从而影响模糊程度的计算，可以将最先获取到的灰度值最大的像素点作为候选点，比如，在竖直方向上像素点的像素值依次[1,2,3,4,5,4,5,3,2,1]，可以将第一个1对应的像素点作为灰度值最小的像素点，将第一个5对应的像素点作为灰度值最大的像素点。

S1009：基于所述灰度值满足第三预设条件的像素点以及所述灰度值满足第四预设条件的像素点，计算各个所述目标计算块中的像素直线距离，得到像素直线距离集。

在一个具体的实施例中，对于某一个目标计算块，可以计算在竖直方向上灰度值最大的像素点a和灰度值最小的像素点b之间的第一像素直线距离，并计算在水平方向上灰度值最大的像素点c和灰度值最小的像素点d之间的第二像素直线距离，即每一个目标计算块均由两个像素直线距离，根据所有目标计算块中的所有像素直线距离得到像素直线距离集。

S10011：对所述像素直线距离集中的像素直线距离进行平均，得到像素平均距离。

在一个具体的实施例中可以对像素直线距离集中的所有素直线距离进行平均，从而得到像素平均距离。

S10013：将所述像素平均距离映射到[0,1]范围内。

S10015：基于映射结果，得到所述模糊程度。

在实际应用中，S1001-S10015可以通过以下公式计算得到：

，

其中，表示模糊程度，score表示像素平均距离

S205：对所述至少一个图像关键点特征和所述至少一个图像像素点特征进行融合处理。

本说明书实施例中，在计算出图像关键点特征和图像像素点特征之后，可以对至少一个个图像关键点特征和所述至少一个图像像素点特征进行融合处理，基于融合处理结果得到人脸图像的质量得分。

在一个具体的实施例中，所述对所述至少一个图像关键点特征和所述至少一个图像像素点特征进行融合处理，可以包括以下步骤：对所述至少一个图像像素点特征和所述至少一个人脸关键点进行加权平均处理，得到所述人脸图像的质量得分。

在实际应用中，可以对进行融合处理的每一个图像关键点特征和每一个图像像素点特征分配相应的权重，计算公式如下：

，

其中，表示人脸图像的质量得分，/>，/>，/>，/>，/>分别表示/>、/>、/>、和/>的权重。

在实际应用中，可以根据不同应用中人脸质量标准定义不同，灵活的设置和修改不同特征的权重信息，快速的应用到各种业务场景中，提高用户体验，满足实时应用的需求。

在一个具体的实施例中，所述对所述至少一个图像关键点特征和所述至少一个图像像素点特征进行融合处理，还可以包括以下步骤：求所述至少一个图像像素点特征和所述至少一个人脸关键的乘积，得到所述人脸图像的质量得分。计算公式如下：

，

其中，表示人脸图像的质量得分。

S207：基于融合处理结果，对所述人脸图像质量进行评估。

在一个具体的实施例中，所述基于融合处理结果，对所述人脸图像质量进行评估，可以包括以下步骤：

当所述人脸图像的质量得分大于预设阈值时，所述人脸图像为合格图像；

当所述人脸图像的质量得分小于等于预设阈值时，所述人脸图像为不合格图像。

在一些实施例中，当将本说明书实施例中的人脸质量评估方法应用到人脸识别过程中时，若人脸图像为合格图像时，则可以进行后续的人脸识别过程，若人脸图像为不合格图像时，则可以采取其他识别方式或者拒绝识别，从而有效改善人脸识别的准确率。

需要说明的是，本说明书实施例中提供的人脸图像质量评估方法，可以应用在各种相关的物体识别后的图像质量评估中。

本说明书实施例中提供的一种人脸图像质量评估方法，通过提取人脸图像中图像尺寸、模糊程度、人脸角度、人脸遮挡概率、人脸表情等特征信息，通过提取到的多个特征综合计算出人脸图像质量的分数，解决人脸图像质量评估方式中提取特征单一，评估结果准确率不高的问题。由于本说明书实施例中的人脸质量评估方式是一种轻量级的技术方案，涉及的特征计算简单、快速，适用于各种移动端、轻量级的应用场景中，且参数调整方便，能够保证整个人脸图像质量评估的有效性和准确性。

本发明实施例还提供了一种人脸图像质量评估装置，如图11所示，所述装置包括：

获取模块1101，用于获取人脸图像中的像素点和人脸关键点。

确定模块1103，用于基于人脸关键点的属性信息，确定至少一个图像关键点特征，并基于像素点的属性信息，确定至少一个图像像素点特征；其中，所述人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息、关键点姿态信息、关键点遮挡信息中的至少一种，所述像素点的属性信息包括像素点位置信息、像素点尺寸信息、像素点灰度值信息、像素点数量信息中的至少一种。

融合处理模块1105，用于对所述至少一个图像关键点特征和所述至少一个图像像素点特征进行融合处理。

评估模块1107，用于基于融合处理结果，对所述人脸图像质量进行评估。

在一些实施例中，所述人脸关键点包括眼睛和嘴巴，所述人脸关键点的属性信息包括关键点位置信息和关键点尺寸信息，所述图像关键点特征包括图像尺寸，所述确定模块1103进一步包括：

第一中心点确定单元，用于基于眼睛的位置信息和尺寸信息，获取左眼中心与右眼中心之间的直线上的第一中心点；

第二中心点确定单元，用于基于嘴巴的位置信息和尺寸信息，获取左嘴角与右嘴角之间的直线上的第二中心点；

中心点直线距离计算单元，用于计算所述第一中心点与所述第二中心点之间的直线距离；

中心点直线距离映射单元，用于将所述直线距离映射到[0,1]范围内；

图像尺寸获得单元，用于基于映射结果，得到所述图像尺寸。

在一些实施例中，所述人脸关键点包括眼睛、嘴巴和鼻子，所述人脸关键点的属性信息包括关键点位置信息，所述图像关键点特征包括人脸角度，所述确定模块1103进一步包括：

角度获取单元，用于基于眼睛、嘴巴和鼻子的位置信息，获取所述人脸图像在水平方向的偏转角度和竖直方向的俯仰角度；

比较单元，用于比较所述偏转角度和所述俯仰角度；

人脸角度获得单元，用于基于比较结果，得到所述人脸角度。

在一些实施例中，所述人脸关键点包括眼睛、嘴巴、鼻子、眉毛和脸部轮廓，所述人脸关键点的属性信息包括关键点遮挡信息和关键点位置信息，所述图像关键点特征包括人脸遮挡概率，所述确定模块1103进一步包括：

遮挡概率获取单元，用于基于眼睛、嘴巴、鼻子、脸部轮廓的位置信息以及遮挡信息，获取左眼遮挡概率、右眼遮挡概率、嘴巴遮挡概率、鼻子遮挡概率和脸部轮廓遮挡概率；

人脸遮挡概率获得单元，用于对所述左眼遮挡概率、所述右眼遮挡概率、所述嘴巴遮挡概率、所述鼻子遮挡概率和所述脸部轮廓遮挡概率进行平均，得到所述人脸遮挡概率。

在一些实施例中，所述人脸关键点包括眼睛和嘴巴，所述人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息和关键点姿态信息，所述图像关键点特征包括人脸表情得分，所述确定模块1103进一步包括：

最小外接矩形获取单元，用于基于眼睛的位置信息和尺寸信息，获取左眼最小外接矩形和右眼最小外接矩形，基于嘴巴的位置信息和尺寸信息，获取嘴巴最小外接矩形；

长宽比计算单元，用于计算所述左眼最小外接矩形的第一长宽比、所述右眼最小外接矩形的第二长宽比和所述嘴巴最小外接矩形的第三长宽比；

长宽比映射单元，用于将所述第一长宽比、所述第二长宽比和所述第三长宽比分别映射到[0,1]范围内；

人脸表情得分获得单元，用于基于映射结果，获得所述人脸表情得分。

在一些实施例中，所述像素点的属性信息包括像素点位置信息、像素点数量信息和像素点灰度值信息，所述图像像素点特征包括模糊程度，所述确定模块1103进一步包括：

计算块划分单元，用于将所述人脸图像划分为若干个同等大小的计算块；

目标计算块生成单元，用于当所述计算块同时满足第一条件和第二条件时，将所述计算快作为目标计算块；所述第一条件为所述计算块中的像素点在竖直方向的方差满足第一预设条件，所述第二条件为所述计算块中的像素点在水平方向的方差满足第二预设条件；

排序单元，用于按照灰度值对各个所述目标计算块中的像素点进行排序；

像素点获取单元，用于获取各个所述目标计算块中灰度值满足第三预设条件的像素点以及灰度值满足第四预设条件的像素点；

像素直线距离集生成单元，用于基于所述灰度值满足第三预设条件的像素点以及所述灰度值满足第四预设条件的像素点，计算各个所述目标计算块中的像素直线距离，得到像素直线距离集；

像素平均距离生成单元，用于对所述像素直线距离集中的像素直线距离进行平均，得到像素平均距离；

像素平均距离映射单元，用于所述像素平均距离映射到[0,1]范围内；

模糊程度获得单元，用于基于映射结果，得到所述模糊程度。

在一些实施例中，所述融合处理模块1105，进一步用于：

对所述至少一个图像像素点特征和所述至少一个人脸关键点进行加权平均处理，得到所述人脸图像的质量得分；或，进一步用于：

求所述至少一个图像像素点特征和所述至少一个人脸关键的乘积，得到所述人脸图像的质量得分。

在一些实施例中，所述评估模块1107，进一步用于：

当所述人脸图像的质量得分大于预设阈值时，所述人脸图像为合格图像；

当所述人脸图像的质量得分小于等于预设阈值时，所述人脸图像为不合格图像。

所述的装置实施例中的装置与方法实施例基于同样地发明构思。

本发明实施例还提供了一种人脸图像质量评估终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方法实施例所提供的人脸图像质量评估方法。

本发明实施例还提供了一种存储介质，所述存储介质可设置于终端之中以保存用于实现方法实施例中一种人脸图像质量评估方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的人脸图像质量评估方法。

可选地，在本说明书实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本发明实施例所提供的人脸图像质量评估方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图12是本发明实施例提供的人脸图像质量评估方法的服务器的硬件结构框图。如图12所示，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（CentralProcessing Units，CPU）1210（中央处理器1210可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器1230，一个或一个以上存储应用程序1223或数据1222的存储介质1220（例如一个或一个以上海量存储设备）。其中，存储器1230和存储介质1220可以是短暂存储或持久存储。存储在存储介质1220的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1210可以设置为与存储介质1220通信，在服务器1200上执行存储介质1220中的一系列指令操作。服务器1200还可以包括一个或一个以上电源1260，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1240，和/或，一个或一个以上操作系统1221，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

输入输出接口1240可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1200的通信供应商提供的无线网络。在一个实例中，输入输出接口1240包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1240可以为射频（RadioFrequency，RF）模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1200还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。

由上述本发明提供的人脸图像质量评估方法、装置、终端或存储介质的实施例可见，本发明通过人脸图像中的像素点和人脸关键点，提取人脸图像中图像尺寸、模糊程度、人脸角度、人脸遮挡概率、人脸表情等多个特征信息，基于提取出的多个特征，通过加权平均等方式综合计算出人脸图像质量的分数，解决人脸图像质量评估方式单一的问题。由于本说明书实施例中的人脸质量评估方式是一种轻量级的技术方案，涉及的特征计算简单、快速，适用于各种移动端、轻量级的应用场景中，且参数调整方便，能够保证整个人脸图像质量评估的有效性和准确性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种人脸图像质量评估方法，其特征在于，所述方法包括：

获取人脸图像中的像素点和人脸关键点；

基于人脸关键点的属性信息，确定至少一个图像关键点特征，并基于像素点的属性信息，确定至少一个图像像素点特征；其中，所述人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息、关键点姿态信息或关键点遮挡信息中的至少一种；所述像素点的属性信息包括像素点位置信息、像素点数量信息和像素点灰度值信息，所述至少一个图像像素点特征包括模糊程度，所述基于像素点的属性信息，确定至少一个图像像素点特征包括：将所述人脸图像划分为若干个同等大小的计算块；当所述计算块同时满足第一条件和第二条件时，将所述计算块作为目标计算块；所述第一条件为所述计算块中的像素点在竖直方向的方差满足第一预设条件，所述第二条件为所述计算块中的像素点在水平方向的方差满足第二预设条件；按照灰度值对各个所述目标计算块中的像素点进行排序；获取各个所述目标计算块中灰度值最大的像素点以及灰度值最小的像素点；基于所述灰度值最大的像素点以及所述灰度值最小的像素点，计算各个所述目标计算块在竖直方向上灰度值最大的像素点和灰度值最小的像素点之间的第一像素直线距离，并计算在水平方向上灰度值最大的像素点和灰度值最小的像素点之间的第二像素直线距离；根据各个所述目标计算块的第一像素直线距离和所述第二像素直线距离得到像素直线距离集；对所述像素直线距离集中的像素直线距离进行平均，得到像素平均距离；将所述像素平均距离映射到[0,1]范围内；基于映射结果，得到所述模糊程度；

对所述至少一个图像关键点特征和所述至少一个图像像素点特征进行融合处理；

基于融合处理结果，对所述人脸图像质量进行评估。

2.根据权利要求1所述的方法，其特征在于，所述人脸关键点包括眼睛和嘴巴，所述人脸关键点的属性信息包括关键点位置信息和关键点尺寸信息，所述图像关键点特征包括图像尺寸；

所述基于人脸关键点的属性信息，确定至少一个图像关键点特征，包括：

基于眼睛的位置信息和尺寸信息，获取左眼中心与右眼中心之间的直线上的第一中心点；

基于嘴巴的位置信息和尺寸信息，获取左嘴角与右嘴角之间的直线上的第二中心点；

计算所述第一中心点与所述第二中心点之间的直线距离；

将所述直线距离映射到[0,1]范围内；

基于映射结果，得到所述图像尺寸。

3.根据权利要求1所述的方法，其特征在于，所述人脸关键点包括眼睛、嘴巴和鼻子，所述人脸关键点的属性信息包括关键点位置信息，所述图像关键点特征包括人脸角度；

所述基于人脸关键点的属性信息，确定至少一个图像关键点特征，包括：

基于眼睛、嘴巴和鼻子的位置信息，获取所述人脸图像在水平方向的偏转角度和竖直方向的俯仰角度；

比较所述偏转角度和所述俯仰角度；

基于比较结果，得到所述人脸角度。

4.根据权利要求1所述的方法，其特征在于，所述人脸关键点包括眼睛、嘴巴、鼻子、眉毛和脸部轮廓，所述人脸关键点的属性信息包括关键点遮挡信息和关键点位置信息，所述图像关键点特征包括人脸遮挡概率；

所述基于人脸关键点的属性信息，确定至少一个图像关键点特征，包括：

基于眼睛、嘴巴、鼻子、脸部轮廓的位置信息以及遮挡信息，获取左眼遮挡概率、右眼遮挡概率、嘴巴遮挡概率、鼻子遮挡概率和脸部轮廓遮挡概率；

对所述左眼遮挡概率、所述右眼遮挡概率、所述嘴巴遮挡概率、所述鼻子遮挡概率和所述脸部轮廓遮挡概率进行平均，得到所述人脸遮挡概率。

5.根据权利要求1所述的方法，其特征在于，所述人脸关键点包括眼睛和嘴巴，所述人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息和关键点姿态信息，所述图像关键点特征包括人脸表情得分；

所述基于人脸关键点的属性信息，确定至少一个图像关键点特征，包括：

基于眼睛的位置信息和尺寸信息，获取左眼最小外接矩形和右眼最小外接矩形，基于嘴巴的位置信息和尺寸信息，获取嘴巴最小外接矩形；

计算所述左眼最小外接矩形的第一长宽比、所述右眼最小外接矩形的第二长宽比和所述嘴巴最小外接矩形的第三长宽比；

将所述第一长宽比、所述第二长宽比和所述第三长宽比分别映射到[0,1]范围内；

基于映射结果，获得所述人脸表情得分。

6.根据权利要求1所述的方法，其特征在于，所述对所述至少一个图像关键点特征和所述至少一个图像像素点特征进行融合处理，包括：

对所述至少一个图像像素点特征和所述至少一个人脸关键点进行加权平均处理，得到所述人脸图像的质量得分；或，

求所述至少一个图像像素点特征和所述至少一个人脸关键的乘积，得到所述人脸图像的质量得分。

7.根据权利要求6所述的方法，其特征在于，所述基于融合处理结果，对所述人脸图像质量进行评估，包括：

当所述人脸图像的质量得分大于预设阈值时，所述人脸图像为合格图像；

当所述人脸图像的质量得分小于等于预设阈值时，所述人脸图像为不合格图像。

8.一种人脸图像质量评估装置，其特征在于，所述装置包括：

获取模块，用于获取人脸图像中的像素点和人脸关键点；

确定模块，用于基于人脸关键点的属性信息，确定至少一个图像关键点特征，并基于像素点的属性信息，确定至少一个图像像素点特征；其中，所述人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息、关键点姿态信息、关键点遮挡信息中的至少一种；所述像素点的属性信息包括像素点位置信息、像素点数量信息和像素点灰度值信息，所述至少一个图像像素点特征包括模糊程度；所述确定模块包括：计算块划分单元，用于将所述人脸图像划分为若干个同等大小的计算块；目标计算块生成单元，用于当所述计算块同时满足第一条件和第二条件时，将所述计算块作为目标计算块；所述第一条件为所述计算块中的像素点在竖直方向的方差满足第一预设条件，所述第二条件为所述计算块中的像素点在水平方向的方差满足第二预设条件；排序单元，用于按照灰度值对各个所述目标计算块中的像素点进行排序；像素点获取单元，用于获取各个所述目标计算块中灰度值最大的像素点以及灰度值最小的像素点；像素直线距离集生成单元，用于基于所述灰度值最大的像素点以及所述灰度值最小的像素点，计算各个所述目标计算块在竖直方向上灰度值最大的像素点和灰度值最小的像素点之间的第一像素直线距离，并计算在水平方向上灰度值最大的像素点和灰度值最小的像素点之间的第二像素直线距离；根据各个所述目标计算块的第一像素直线距离和所述第二像素直线距离得到像素直线距离集；像素平均距离生成单元，用于对所述像素直线距离集中的像素直线距离进行平均，得到像素平均距离；像素平均距离映射单元，用于将所述像素平均距离映射到[0,1]范围内；模糊程度获得单元，用于基于映射结果，得到所述模糊程度；

融合处理模块，用于对所述至少一个图像关键点特征和所述至少一个图像像素点特征进行融合处理；

评估模块，用于基于融合处理结果，对所述人脸图像质量进行评估。

9.根据权利要求8所述的装置，其特征在于，所述人脸关键点包括眼睛和嘴巴，所述人脸关键点的属性信息包括关键点位置信息和关键点尺寸信息，所述图像关键点特征包括图像尺寸，所述确定模块包括：

第一中心点确定单元，用于基于眼睛的位置信息和尺寸信息，获取左眼中心与右眼中心之间的直线上的第一中心点；

第二中心点确定单元，用于基于嘴巴的位置信息和尺寸信息，获取左嘴角与右嘴角之间的直线上的第二中心点；

中心点直线距离计算单元，用于计算所述第一中心点与所述第二中心点之间的直线距离；

中心点直线距离映射单元，用于将所述直线距离映射到[0,1]范围内；

图像尺寸获得单元，用于基于映射结果，得到所述图像尺寸。

10.根据权利要求8所述的装置，其特征在于，所述人脸关键点包括眼睛、嘴巴和鼻子，所述人脸关键点的属性信息包括关键点位置信息，所述图像关键点特征包括人脸角度；所述确定模块包括：

角度获取单元，用于基于眼睛、嘴巴和鼻子的位置信息，获取所述人脸图像在水平方向的偏转角度和竖直方向的俯仰角度；

比较单元，用于比较所述偏转角度和所述俯仰角度；

人脸角度获得单元，用于基于比较结果，得到所述人脸角度。

11.根据权利要求8所述的装置，其特征在于，所述人脸关键点包括眼睛、嘴巴、鼻子、眉毛和脸部轮廓，所述人脸关键点的属性信息包括关键点遮挡信息和关键点位置信息，所述图像关键点特征包括人脸遮挡概率；所述确定模块包括：

遮挡概率获取单元，用于基于眼睛、嘴巴、鼻子、脸部轮廓的位置信息以及遮挡信息，获取左眼遮挡概率、右眼遮挡概率、嘴巴遮挡概率、鼻子遮挡概率和脸部轮廓遮挡概率；

人脸遮挡概率获得单元，用于对所述左眼遮挡概率、所述右眼遮挡概率、所述嘴巴遮挡概率、所述鼻子遮挡概率和所述脸部轮廓遮挡概率进行平均，得到所述人脸遮挡概率。

12.根据权利要求8所述的装置，其特征在于，所述人脸关键点包括眼睛和嘴巴，所述人脸关键点的属性信息包括关键点位置信息、关键点尺寸信息和关键点姿态信息，所述图像关键点特征包括人脸表情得分；所述确定模块包括：

最小外接矩形获取单元，用于基于眼睛的位置信息和尺寸信息，获取左眼最小外接矩形和右眼最小外接矩形，基于嘴巴的位置信息和尺寸信息，获取嘴巴最小外接矩形；

长宽比计算单元，用于计算所述左眼最小外接矩形的第一长宽比、所述右眼最小外接矩形的第二长宽比和所述嘴巴最小外接矩形的第三长宽比；

长宽比映射单元，用于将所述第一长宽比、所述第二长宽比和所述第三长宽比分别映射到[0,1]范围内；

人脸表情得分获得单元，用于基于映射结果，获得所述人脸表情得分。

13.根据权利要求8所述的装置，其特征在于，所述融合处理模块用于对所述至少一个图像像素点特征和所述至少一个人脸关键点进行加权平均处理，得到所述人脸图像的质量得分；或，用于求所述至少一个图像像素点特征和所述至少一个人脸关键的乘积，得到所述人脸图像的质量得分。

14.根据权利要求13所述的装置，其特征在于，所述评估模块，用于：

当所述人脸图像的质量得分大于预设阈值时，所述人脸图像为合格图像；

当所述人脸图像的质量得分小于等于预设阈值时，所述人脸图像为不合格图像。

15.一种人脸图像质量评估终端，其特征在于，所述终端包括：

处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的人脸图像质量评估方法。

16.一种存储介质，其特征在于，所述存储介质可设置于终端之中以保存用于实现如权利要求1-7任一所述的人脸图像质量评估方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的人脸图像质量评估方法。