CN106803067B - 一种人脸图像质量评估方法及装置 - Google Patents

Abstract

本发明公开了一种人脸图像质量评估方法及装置。该方法中，对获取到的人脸图像，根据时域信息对图像质量进行初次评估，若初次评估结果符合预设条件，则根据该人脸图像的频域信息对该人脸图像进行再次评估，即对符合基本要求的人脸图像计算质量评估值，为后续的图像处理工作提供参考。

Description

一种人脸图像质量评估方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种人脸图像质量评估方法及装置。

背景技术

人脸识别是模式识别研究领域的重要课题，也是一个目前非常活跃的研究方向。它在安全、商贸和经济领域都有广阔的应用前景，例如刑侦破案、证件验证、视频监控、媒体娱乐等诸多领域。

在人脸识别系统中，输入的人脸图像的质量对于系统识别的精度有着较大的影响。图像质量既包括图像本身的全局特性如对比度，分辨率等，也包括跟生物特征相关的属性，比如人脸图像中人脸的姿态等。低质量的人脸图像可能会导致系统识别错误。

因此，需要对人脸图像的质量进行评估。

发明内容

本发明实施例提供了一种人脸图像质量评估方法及装置，用以实现对人脸图像的质量进行评估。

本发明实施例提供的人脸图像质量评估方法包括：

获取人脸图像；

根据所述人脸图像的时域信息，对所述人脸图像的质量进行初次评估；

若所述初次评估的结果符合预设条件，则根据所述人脸的频域信息对所述人脸图像的质量进行再次评估。

可选地，所述对人脸图像的质量进行初次评估，包括以下一种或任意组合：

对所述人脸图像中的人脸的姿态进行估计；

对所述人脸图像中的人脸特征点边缘宽度进行估计；

对所述人脸图像中的人脸是否被遮挡进行估计。

可选地，所述对所述人脸图像中的人脸的姿态进行估计，包括：分别计算所述人脸图像中的人脸在YAW和/或PITCH方向上的角度；

判断所述初次评估的结果是否符合预设条件时，若YAW方向上的角度大于等于预设YAW方向角度阈值，或PITCH方向上的角度大于等于预设PITCH方向角度阈值，则判定所述初次评估的结果不符合预设条件。

可选地，所述对所述人脸图像中的人脸特征点边缘宽度进行估计，包括：提取所述人脸图像中的人脸特征点，所述人脸特征点为五官的边缘特征点；

判断所述初次评估的结果是否符合预设条件时，若满足以下条件之一或任意组合，则判定所述初次评估的结果不符合预设条件：

人脸特征点的邻域内的局部方差小于等于预设方差阈值的个数大于预设数量阈值；

根据人脸特征点确定的特征区域的平均梯度小于等于预设梯度阈值；

人脸特征点的平均边缘宽度大于等于预设边缘宽度阈值。

可选地，所述对人脸图像中的人脸是否被遮挡进行估计，包括：计算人脸是否被遮挡的置信度；

判断所述初次评估的结果是否符合预设条件时，若计算得到的置信度不在预设范围内，则判定所述初次评估的结果不符合预设条件。

可选地，所述根据所述人脸的频域信息对所述人脸图像的质量进行再次评估之前，还包括：

对所述人脸图像的像素值进行傅里叶变换；

使用加权矩阵对傅里叶变换后得到的像素值进行加权；

计算经过加权后的像素值的累加和，得到所述人脸图像的频域信息。

可选地，所述根据所述人脸的频域信息对所述人脸图像的质量进行再次评估，包括：

人脸图像的频域信息乘以第一系数，得到质量评估分量；所述第一系数根据人脸特征点平均边缘宽度与根据所述人脸图像对比度计算得到的阈值之间的大小关系确定；

质量评估分量乘以第二系数，得到人脸图像的质量评估值；所述第二系数根据人脸图像中的人脸在YAW方向上的角度的取值范围和/或在PITCH方向上的角度的取值范围确定。

本发明实施例提供的人脸图像质量评估装置包括：

获取模块，用于获取人脸图像；

第一评估模块，用于根据所述人脸图像的时域信息，对所述人脸图像的质量进行初次评估；

第二评估模块，用于若所述第一评估模块的估计结果符合预设条件，则根据所述人脸的频域信息对所述人脸图像的质量进行再次评估。

可选地，所述第一评估模块，具体用于执行以下操作中的一种或任意组合：

对所述人脸图像中的人脸的姿态进行估计；

对所述人脸图像中的人脸特征点边缘宽度进行估计；

对所述人脸图像中的人脸是否被遮挡进行估计。

可选地，所述第一评估模块，具体用于：

分别计算所述人脸图像中的人脸在YAW和/或PITCH方向上的角度；

判断所述初次评估的结果是否符合预设条件时，若YAW方向上的角度大于等于预设YAW方向角度阈值，或PITCH方向上的角度大于等于预设PITCH方向角度阈值，则判定所述初次评估的结果不符合预设条件。

可选地，所述第一评估模块，具体用于：

提取所述人脸图像中的人脸特征点，所述人脸特征点为五官的边缘特征点；

判断所述初次评估的结果是否符合预设条件时，若满足以下条件之一或任意组合，则判定所述初次评估的结果不符合预设条件：

人脸特征点的邻域内的局部方差小于等于预设方差阈值的个数大于预设数量阈值；

根据人脸特征点确定的特征区域的平均梯度小于等于预设梯度阈值；

人脸特征点的平均边缘宽度大于等于预设边缘宽度阈值。

可选地，所述第一评估模块，具体用于：

计算人脸是否被遮挡的置信度；

判断所述初次评估的结果是否符合预设条件时，若计算得到的置信度不在预设范围内，则判定所述初次评估的结果不符合预设条件。

可选地，所述第二评估模块，在根据所述人脸的频域信息对所述人脸图像的质量进行再次评估之前，还用于：

对所述人脸图像的像素值进行傅里叶变换；

使用加权矩阵对傅里叶变换后得到的像素值进行加权；

计算经过加权后的像素值的累加和，得到所述人脸图像的频域信息。

可选地，所述第二评估模块，具体用于：

人脸图像的频域信息乘以第一系数，得到质量评估分量；所述第一系数根据人脸特征点平均边缘宽度与根据所述人脸图像对比度计算得到的阈值之间的大小关系确定；

质量评估分量乘以第二系数，得到人脸图像的质量评估值；所述第二系数根据人脸图像中的人脸在YAW方向上的角度的取值范围和/或在PITCH方向上的角度的取值范围确定。

在本发明上述实施例中，对获取到的人脸图像，根据时域信息对图像质量进行初次评估，若初次评估结果符合预设条件，则根据该人脸图像的频域信息对该人脸图像进行再次评估，即对符合基本要求的人脸图像计算质量评估值，为后续的图像处理工作提供参考。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的人脸图像质量评估方法的流程示意图；

图2为本发明实施例提供的三维人脸姿态示意图；

图3为本发明实施例提供的选取的人脸特征点示意图；

图4为本发明实施例提供的特征点的5*5邻域示意图；

图5为本发明实施例提供的特征区域的示意图；

图6为本发明实施例提供的特点的八邻域窗口示意图；

图7为本发明实施例提供的法线方向示意图；

图8为本发明实施例提供的人脸图像的频域信息示意图；

图9为本发明实施例提供的频域信息加权矩阵示意图；

图10为本发明实施例提供的另一种频域信息加权矩阵示意图；

图11为本发明实施例提供的一个具体实施例的流程示意图；

图12为本发明实施例提供的一种人脸图像质量评估装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为了实现对人脸图像的质量进行评估，为后续图像处理提供参考，本发明实施例提供了一种人脸图像质量评估的方法及装置，以解决上述问题。

参见图1，为本发明实施例提供的人脸图像质量评估方法的流程示意图，如图所述，该方法包括：

步骤101、获取人脸图像；

步骤102、根据人脸图像的时域信息，对人脸图像的质量进行初次评估；

步骤103、若初次评估的结果符合预设条件，则根据人脸的频域信息对人脸图像的质量进行再次评估。

具体地，在上述步骤102中，由于不同的应用场景对人脸图像的质量要求不同，可以根据具体的应用场景确定用于对人脸图像进行初次评估的估计因子。例如，在身份验证的应用场景中，对人脸图像的质量要求较高，可以对人脸姿态、人脸特征点边缘宽度、人脸是否被遮挡进行估计；而对于用于娱乐人脸图像，对于是否遮挡可能并不在意，因此可以不对是否被遮挡进行估计。

可选地，对人脸图像进行初次评估可以包括以下一种或任意组合：

对人脸图像中的人脸的姿态进行估计；

对人脸图像中的人脸特征点边缘宽度进行估计；

对人脸图像中的人脸是否被遮挡进行估计。

优选地，可以采用上述三种估计因子对人脸图像进行层层过滤，例如，依次对人脸图像中的人脸姿态、人脸特征点边缘宽度、人脸是否被遮挡进行估计，若采用其中一种估计因子对人脸图像的估计结果不符合预设条件，则直接将该人脸图像的质量判定为不合格，不再应用其他估计因子对该人脸图像进行评估；若采用每种估计因子得到的估计结果均符合预设条件，则执行下一步骤。

具体地，若对人脸图像中的人脸的姿态进行估计，可以根据三维人脸姿态估计算法，计算人脸图像中的人脸在YAW、PITCH、ROLL三个方向上的角度，分别记为Sa_yaw、Sa_pitch、Sa_roll。如图2所示，YAW、PITCH、ROLL可以用以表示人脸的偏转角、俯仰角、倾斜角。其中，人脸在ROLL方向上的倾斜角度，可以通过平面旋转进行校正，对后续的处理工作不会带来较大的影响，因此可以不予考虑；若对于人脸在YAW或PITCH方向上的角度过大，则会对后续的处理工作带来较大难度。因此，若Sa_yaw小于预设YAW方向角度阈值，且Sa_pitch小于预设PITCH方向角度阈值，可以认为人脸在YAW和PITCH方向上的角度不会对对后续的处理工作带来较大影响，可以保留；若Sa_yaw或Sa_pitch大于或等于预设阈值，则可以认为人脸在YAW和/或PITCH方向上的角度过大，不适宜后续的处理工作，可以判定该人脸图像的初次评估结果不符合预设条件，即质量评估结果为不合格。

具体地，若对人脸图像中的人脸特征点边缘宽度进行估计，可以先通过人脸特征点定位算法提取人脸图像中的人脸特征点，并从中选取如图3所示的14个人脸关键点：眉毛中心上边缘(即图中的特征点0和特征点5)、右眼的边界点(两个眼角和上、下边缘点，即图中的特征点1～4)、左眼的边界点(两个眼角和上、下边缘点，即图中的特征点6～9)、嘴部的边界点(两个嘴角和上、下边缘点，即图中的特征点10～13)，选取的这14个人脸特征点均为五官的边缘点。其中，特征点0、特征点2、特征点4、特征点5、特征点7、特征点9、特征点11、特征点13，用于计算垂直方向的边缘宽度。为了使算法对于不同尺寸的人脸图像具有通用性，可以将人脸图像中的人脸区域的尺寸调整为统一尺寸，例如120*120(像素*像素，下同)，相应地，在调整尺寸后的图像中确定特征点的对应位置。

对于眼角点和嘴角点来说，不易对其进行边缘估计。因此，可以采用对角点进行平移的方法解决上述问题。

以右眼为例，可以首先根据上边缘点和下边缘点(即特征点2和特征点4)判断眼睛是否闭合：若上边缘点和下边缘点在垂直方向上的距离大于预设阈值，则认为眼睛睁开，将右眼的右眼角点和左眼角点(即特征点1和特征点3)沿水平方向，向右眼的中心位置平移3个像素，沿垂直方向向上平移1个像素；若上边缘点2和下边缘点4在垂直方向上的距离小于预设阈值，则认为眼睛闭合，将右眼的眼角点1和眼角点3沿水平方向，向右眼的中心位置平移1个像素，沿垂直方向向上平移1个像素。经过上述平移后，相当于将特征点1和特征点3平移至右眼的上眼皮上，能够方便对边缘进行估计。

类似地，左眼和嘴部的角点，也可以根据上述平移方法进行平移，以方便对边缘进行估计。

可选地，对人脸特征点边缘宽度进行估计时，可以根据特征点位置的局部方差进行估计。

具体地，可以对提取到的每个特征点，获取其邻域，并对该区域内的像素点的像素值进行方差统计。例如，可以对每个特征点按照如图4所示方式获取该特征点的5*5的邻域，其中，点“◎”表示特征点。仍以上述选取14个人脸特征点为例，若其中不少于8个特征点的局部方差大于预设方差阈值，则可以认为该人脸图像的初次评估结果符合预设条件；否则，认为该人脸图像较为模糊，初次评估结果不符合预设条件，即质量评估结果为不合格。

可选地，还可以根据人脸特征点确定特征区域，对每个特征区域计算平均梯度，若每个特征区域的平均梯度大于预设梯度阈值，则判定该人脸图像的初次评估结果符合预设条件，否则，认为该人脸图像较为模糊，初次评估结果不符合预设条件，即质量评估结果为不合格。

仍以上述选取14个人脸特征点为例，可以根据将特征点划分出右眼区域、左眼区域、嘴部区域，具体地，可以将特征点0～4的外接矩形作为右眼区域，将特征点5～9的外接矩形作为左眼区域，将特征点10～13的外接矩形作为嘴部区域，如图5所示。

对一个区域计算平均梯度是，可以对该区域的中的每个像素点，获取其八邻域的窗口。具体地，如图6所示的3*3的窗口即为点“◎”的八邻域窗口，其中，四个角点位置(即点“※”)距离中心点的距离为

中心点上、下、左、右的四个位置(即点“+”)距离中心点的距离为1。对3*3窗口中的每个像素点，用该像素点的像素值减去该3*3窗口的中心点的像素值，得到一个3*3的表示局部梯度的矩阵，然后利用加权矩阵对局部梯度矩阵进行加权。

其中，加权矩阵可以是根据距离中心点的距离得到的加权矩阵，例如，加权矩阵

对经过加权后的梯度矩阵，可以对大于2的梯度值进行累加，其累加和记为S，将大于2的梯度值的个数记为N，将垂直方向上的最大梯度值记为MAX_G。

然后，对下一个像素点按照上述方法计算加权后的梯度矩阵，直到该区域的全部像素点均按照上述方法计算加权后的梯度矩阵。需要说明的是，对每个像素点计算加权后的梯度矩阵时，大于2的梯度值累加和S、大于2的梯度值的个数N、以及垂直方向上的最大梯度值MAX_G，并不清零，而是持续累加，或持续更新垂直方向上的最大梯度值MAX_G，直到将该区域的全部像素点计算完毕。

在对一个区域的全部像素点经过如上所述方法的计算后，根据公式(1)确定该区域的平均梯度：

其中，AVG_nmg表示平均梯度，AVG_gray表示该区域的平均灰度值。

类似地，其他区域也按照上述方法计算平均灰度值。

可选地，还可以对每个人脸特征点，分别计算边缘宽度，根据每个人脸特征点的边缘宽度计算平均边缘宽度，若平均边缘宽度小于预设边缘宽度预设，则认为该人脸图像的初次评估结果符合预设条件，否则，认为该人脸图像较为模糊，初次评估结果不符合预设条件，即质量评估结果为不合格。

具体地，在计算特征点的边缘宽度时，可以根据该特征点所在区域的对比度进行计算：类似地，特征点所在区域可以如上述右眼区域、左眼区域、嘴部区域的划分方法进行区域划分，然后，分别对每个区域根据公式(2)～公式(4)计算对比度，

其中，FC表示对比度，avg表示该区域的平均灰度，h(i)表示该区域中灰度值为i的像素点的个数。

然后，根据计算出的对比度，可以根据公式(5)确定灰度差阈值，

TH＝3+20×FC (5)

由于选取的人脸特征点为五官的边缘点，因此可以对每个特征点，确定该特征点所在边缘曲线，以该特征点为交点的法线的方向。如图7所示，以该特征点为中心，沿法线方向分别向两侧平移，每次移动1个像素，若平移后的像素点的像素值与该特征点的像素值的差值大于灰度差阈值TH，则终止该侧的平移，并确定向两侧平移的像素个数，分别记为EW1和EW2，该特征点的边缘宽度EW＝EW1+EW2。

在计算出每个特征点的边缘宽度后，可以获取平均边缘宽度Se，若平均边缘宽度大于预设的边缘宽度阈值，则判定该人脸图像的质量评估结果为不合格。

当然，上述对人脸特征点边缘宽度进行估计的方法，也可以组合使用，对人脸图像进行层层过滤。

可选地，若对人脸图像中的人脸是否被遮挡进行估计，可以通过计算人脸图像是否被遮挡的置信度，若置信度在预设范围内，则认为该人脸图像中的人脸未被遮挡；否则，认为该人脸图像中的人脸被遮挡，初次评估结果不符合预设条件，即质量评估结果为不合格。

具体地，可以预先对大量人脸被遮挡的图像和大量人脸未被遮挡的图像进行统计、分析，统计、分析的过程可以是根据局部二值模式(Local Binary Pattern，简称LBP)特征和基于置信度的支持向量机(Support Vector Machine，简称SVM)的方法的统计，可以根据人脸图像的LBP特征和基于置信度的SVM分类方法实现的。

可选地，在上述步骤103之前，可以将人脸图像的尺寸归一化到64*64，以方便计算，然后对人脸图像进行二维快速傅里叶变换，将人脸时域信息转换为频域信息来表征人脸图像。在实际处理过程中，可以对时域信息进行一定的平移，使得频域信息的高频分量集中在中间位置，如图8所示。为了强化高频信息的同时在一定程度上保留低频信息，可以使用如图9所示的加权矩阵对如图8所示的图像进行加权，如图所示，该加权矩阵的像素值由中心向四周递增，但是，边缘位置上的像素值可以设置为0，例如，该加权矩阵的具体数值可以如图10所示。

对经过傅里叶变换以及加权后的图像，对每个像素点的像素值进行累加和，即可获得频域信息和S_f。

可选地，在上述步骤103中，可以将人脸图像的频域信息乘以第一系数，得到质量评估分量，其中，第一系数是根据人脸特征点平均边缘宽度与根据人脸图像对比度计算得到的阈值之间的大小关系确定的。例如，根据人脸图像对比度计算得到的阈值，对人脸特征点平均边缘宽度的取值范围进行区域划分，不同的区域对应不同的第一系数，人脸特征点平均边缘宽度取值较小的区域对应的第一系数较大，反之，人脸特征点平均边缘宽度取值较大的区域对应的第一系数较小。

然后将质量评估分量乘以第二系数，得到人脸图像的质量评估值，其中第二系数是根据人脸图像中的人脸在YAW方向上的角度的取值范围和/或在PITCH方向上的角度的取值范围确定的。例如，对Sa_yaw和Sa_pitch的取值范围进行区域划分，不同的区域对应不同的第二系数，Sa_yaw和Sa_pitch取值较小的区域对应的第二系数较大，即最后得到的质量评估值较大，Sa_yaw和Sa_pitch取值较大的区域对应的第二系数较小，即最后得到的质量评估值较小。

举例说明，在获得人脸图像的频域信息和之后，可以根据公式(6)和公式(7)计算人脸图像的质量评估值。

其中，Q₁表示人脸图像的质量评估分值，Q表示所述人脸图像的质量评估值，S_f表示频域信息和，Se表示平均边缘宽度，Te表示根据人脸图像对比度计算得到的阈值，Sa_yaw表示人脸图像中的人脸在YAW方向上的角度，Sa_pitch表示人脸图像中的人脸在PITCH方向上的角度。

其中，Te的确定方法与上述灰度差阈值TH的确定方法类似，上述灰度差阈值TH是根据一个区域(即右眼区域、左眼区域或嘴部区域)中的像素值获得的，而Te是根据整幅人脸图像的像素值获得的，此处不再赘述。

其中，公式(6)中，Se分别与0.2Te、0.8Te进行比较，系数0.2和0.8均为举例，可以根据不同应用场景对人脸图像质量要求的不同更改相应的系数，本发明对此不做限制。公式(6)中，Q₁可以等于1.2S_f、S_f、0.8S_f，其中系数1.2、1、0.8均为举例，可以根据不同应用场景对人脸图像质量要求的不同更改相应的系数，本发明对此不做限制。公式(7)中，Sa_yaw的取值区域的划分以5、15、20为边界，边界5、15、20均为举例，可以根据不同应用场景对人脸图像质量要求的不同更改相应的系数，本发明对此不做限制，同样地，Sa_pitch的取值区域的划分边界5、20也仅为本发明的一个实施例，本发明对此不做限制。公式(7)中，Q可以等于1.2Q₁、Q₁、0.9Q₁、0.8Q₁，其中系数1.2、1、0.9、0.8均为举例，可以根据不同应用场景对人脸图像质量要求的不同更改相应的系数，本发明对此不做限制。

为了更清楚地理解本发明的上述实施例，下面以一个具体实施例，对本发明上述实施例的具体实现过程进行描述。该具体实施例的流程示意图如图11所示。

步骤1101、输入人脸图像；

步骤1102、使用人脸角度估计方法对人脸图像进行估计；

步骤1103、判断估计结果是否符合预设条件；符合，则转入步骤1005，否则，转入步骤1104；

步骤1104、判定人脸图像的质量不合格；

步骤1105、使用人脸特征点边缘估计方法对人脸图像进行估计；

步骤1106、判断估计结果是否符合预设条件；符合，则转入步骤1007，否则，转入步骤1104；

步骤1107、使用遮挡估计方法对人脸图像进行估计；

步骤1108、判断估计结果是否符合预设条件；符合，则转入步骤1009，否则，转入步骤1104；

步骤1109、获取人脸图像的频域信息和；

步骤1110、对人脸图像的质量进行评分。

在本发明上述实施例中，对获取到的人脸图像，根据时域信息对图像质量进行初次评估，若初次评估结果符合预设条件，则根据该人脸图像的频域信息对该人脸图像进行再次评估，即对符合基本要求的人脸图像计算质量评估值，为后续的图像处理工作提供参考。

基于相同的技术构思，本发明实施例还提供了一种人脸图像质量评估装置，该装置的结构示意图如图12所示，包括：

获取模块1201，用于获取人脸图像；

第一评估模块1202，用于根据人脸图像的时域信息，对人脸图像的质量进行初次评估；

第二评估模块1203，用于若估计模块的估计结果符合预设条件，则根据人脸的频域信息对人脸图像的质量进行再次评估。

可选地，第一评估模块1202，具体用于执行以下操作中的一种或任意组合：

对人脸图像中的人脸的姿态进行估计；

对人脸图像中的人脸特征点边缘宽度进行估计；

对人脸图像中的人脸是否被遮挡进行估计。

可选地，第一评估模块1202，具体用于：分别计算人脸图像中的人脸在YAW和/或PITCH方向上的角度；

判断所述初次评估的结果是否符合预设条件时，若YAW方向上的角度大于等于预设YAW方向角度阈值，或PITCH方向上的角度大于等于预设PITCH方向角度阈值，则判定初次评估的结果不符合预设条件。

可选地，第一评估模块1202，具体用于：提取人脸图像中的人脸特征点，人脸特征点为五官的边缘特征点；

判断所述初次评估的结果是否符合预设条件时，若满足以下条件之一或任意组合，则判定初次评估的结果不符合预设条件：

人脸特征点的邻域内的局部方差小于等于预设方差阈值的个数大于预设数量阈值；

根据人脸特征点确定的特征区域的平均梯度小于等于预设梯度阈值；

人脸特征点的平均边缘宽度大于等于预设边缘宽度阈值。

可选地，第一评估模块1202，具体用于：计算人脸是否被遮挡的置信度；

判断所述初次评估的结果是否符合预设条件时，若计算得到的置信度不在预设范围内，则判定初次评估的结果不符合预设条件。

可选地，第二评估模块1203，在根据人脸的频域信息对人脸图像的质量进行再次评估之前，还用于：

对人脸图像的像素值进行傅里叶变换；

使用加权矩阵对傅里叶变换后得到的像素值进行加权；

计算经过加权后的像素值的累加和，得到人脸图像的频域信息。

可选地，第二评估模块1203，具体用于：

人脸图像的频域信息乘以第一系数，得到质量评估分量；第一系数根据人脸特征点平均边缘宽度与根据人脸图像对比度计算得到的阈值之间的大小关系确定；

质量评估分量乘以第二系数，得到人脸图像的质量评估值；第二系数根据人脸图像中的人脸在YAW方向上的角度的取值范围和/或在PITCH方向上的角度的取值范围确定。

在本发明上述实施例中，对获取到的人脸图像，根据时域信息对图像质量进行初次评估，若初次评估结果符合预设条件，则根据该人脸图像的频域信息对该人脸图像进行再次评估，即对符合基本要求的人脸图像计算质量评估值，为后续的图像处理工作提供参考。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种人脸图像质量评估方法，其特征在于，包括：

获取人脸图像；

根据所述人脸图像的时域信息，对所述人脸图像的质量进行初次评估；

若所述初次评估的结果符合预设条件，则根据所述人脸的频域信息对所述人脸图像的质量进行再次评估；

其中，所述根据所述人脸的频域信息对所述人脸图像的质量进行再次评估，包括：

人脸图像的频域信息乘以第一系数，得到质量评估分量；所述第一系数根据人脸特征点平均边缘宽度与根据所述人脸图像对比度计算得到的阈值之间的大小关系确定；

质量评估分量乘以第二系数，得到人脸图像的质量评估值；所述第二系数根据人脸图像中的人脸在YAW方向上的角度的取值范围和/或在PITCH方向上的角度的取值范围确定。

2.如权利要求1所述的方法，其特征在于，所述对人脸图像的质量进行初次评估，包括以下一种或任意组合：

对所述人脸图像中的人脸的姿态进行估计；

对所述人脸图像中的人脸特征点边缘宽度进行估计；

对所述人脸图像中的人脸是否被遮挡进行估计。

3.如权利要求2所述的方法，其特征在于，所述对所述人脸图像中的人脸的姿态进行估计，包括：分别计算所述人脸图像中的人脸在YAW和/或PITCH方向上的角度；

判断所述初次评估的结果是否符合预设条件时，若YAW方向上的角度大于等于预设YAW方向角度阈值，或PITCH方向上的角度大于等于预设PITCH方向角度阈值，则判定所述初次评估的结果不符合预设条件。

4.如权利要求2所述的方法，其特征在于，所述对所述人脸图像中的人脸特征点边缘宽度进行估计，包括：提取所述人脸图像中的人脸特征点，所述人脸特征点为五官的边缘特征点；

判断所述初次评估的结果是否符合预设条件时，若满足以下条件之一或任意组合，则判定所述初次评估的结果不符合预设条件：

人脸特征点的邻域内的局部方差小于等于预设方差阈值的个数大于预设数量阈值；

根据人脸特征点确定的特征区域的平均梯度小于等于预设梯度阈值；

人脸特征点的平均边缘宽度大于等于预设边缘宽度阈值。

5.如权利要求2所述的方法，其特征在于，所述对人脸图像中的人脸是否被遮挡进行估计，包括：计算人脸是否被遮挡的置信度；

判断所述初次评估的结果是否符合预设条件时，若计算得到的置信度不在预设范围内，则判定所述初次评估的结果不符合预设条件。

6.如权利要求1所述的方法，其特征在于，所述根据所述人脸的频域信息对所述人脸图像的质量进行再次评估之前，还包括：

对所述人脸图像的像素值进行傅里叶变换；

使用加权矩阵对傅里叶变换后得到的像素值进行加权；

计算经过加权后的像素值的累加和，得到所述人脸图像的频域信息。

7.一种人脸图像质量评估装置，其特征在于，包括：

获取模块，用于获取人脸图像；

第一评估模块，用于根据所述人脸图像的时域信息，对所述人脸图像的质量进行初次评估；

第二评估模块，用于若所述第一评估模块的估计结果符合预设条件，则根据所述人脸的频域信息对所述人脸图像的质量进行再次评估；

其中，所述第二评估模块，具体用于：

人脸图像的频域信息乘以第一系数，得到质量评估分量；所述第一系数根据人脸特征点平均边缘宽度与根据所述人脸图像对比度计算得到的阈值之间的大小关系确定；

质量评估分量乘以第二系数，得到人脸图像的质量评估值；所述第二系数根据人脸图像中的人脸在YAW方向上的角度的取值范围和/或在PITCH方向上的角度的取值范围确定。

8.如权利要求7所述的装置，其特征在于，所述第一评估模块，具体用于执行以下操作中的一种或任意组合：

对所述人脸图像中的人脸的姿态进行估计；

对所述人脸图像中的人脸特征点边缘宽度进行估计；

对所述人脸图像中的人脸是否被遮挡进行估计。

9.如权利要求8所述的装置，其特征在于，所述第一评估模块，具体用于：

分别计算所述人脸图像中的人脸在YAW和/或PITCH方向上的角度；

判断所述初次评估的结果是否符合预设条件时，若YAW方向上的角度大于等于预设YAW方向角度阈值，或PITCH方向上的角度大于等于预设PITCH方向角度阈值，则判定所述初次评估的结果不符合预设条件。

10.如权利要求8所述的装置，其特征在于，所述第一评估模块，具体用于：

提取所述人脸图像中的人脸特征点，所述人脸特征点为五官的边缘特征点；

判断所述初次评估的结果是否符合预设条件时，若满足以下条件之一或任意组合，则判定所述初次评估的结果不符合预设条件：

人脸特征点的邻域内的局部方差小于等于预设方差阈值的个数大于预设数量阈值；

根据人脸特征点确定的特征区域的平均梯度小于等于预设梯度阈值；

人脸特征点的平均边缘宽度大于等于预设边缘宽度阈值。

11.如权利要求8所述的装置，其特征在于，所述第一评估模块，具体用于：

计算人脸是否被遮挡的置信度；

判断所述初次评估的结果是否符合预设条件时，若计算得到的置信度不在预设范围内，则判定所述初次评估的结果不符合预设条件。

12.如权利要求7所述的装置，其特征在于，所述第二评估模块，在根据所述人脸的频域信息对所述人脸图像的质量进行再次评估之前，还用于：

对所述人脸图像的像素值进行傅里叶变换；

使用加权矩阵对傅里叶变换后得到的像素值进行加权；

计算经过加权后的像素值的累加和，得到所述人脸图像的频域信息。

Images