CN108537787A - 一种人脸图像的质量判定方法 - Google Patents

Abstract

本发明提供了一种人脸图像的质量判定方法，包括以下步骤：S1、对输入的图像进行人脸检测，确定图像中人脸区域；S2：对检测到人脸的图像进行人脸关键点定位；S3：计算关键点定位之后的人脸图像区域的梯度，得到人脸梯度图像；S4：确定在梯度图像中关键点的坐标位置；S5：计算关键点邻域的梯度信息；S6：根据关键点邻域的梯度信息综合得到人脸图像的质量判定值。本发明不需要借助大量的训练数据进行样本化学习，仅针对待识别图像的关键点进行梯度邻域计算，有效地减轻了系统运行的负担，提升了图像质量判定的准确性和效率。

Description

一种人脸图像的质量判定方法

技术领域

本发明属于图像质量评价技术领域，特别是涉及一种人脸图像的质量判定方法。

背景技术

随着电子技术的发展，图像的获取越来越便利，而图像作为信息载体，相对于文本、声音更加形象直观。在生物识别领域，人脸识别技术引起广泛关注并且具有广阔的应用前景。但是在图像的获取、传输过程中不可避免的会引入一些干扰，如噪声、压缩块状效应等，造成图像质量下降，同时在人脸图像采集过程中，又存在人脸姿态、表情、遮挡等影响因素，上述因素都会降低人脸识别准确率。

现有的图像质量评价算法，根据是否需要参考图像分为全参考、部分参考和无参考评价方法。全参考和部分参考方法需要利用参考图像的相关信息，而无参考方法无需利用参考图像，直接对图像进行质量评价。实际应用过程中，一般无法获得参考图像，所以无参考图像质量评价方法成为研究重点和热点。

深度学习逐渐在各个领域取得良好效果，同样在图像质量评价中也取得了很好地效果，但是基于深度学习的方法在训练过程中耗时费力，并且为确保模型的泛化性和有效性需要准备足够多的数据，数据的获取本身并非一件易事。即使采用传统的机器学习方法仍然需要进行训练，并且对训练数据的依赖性大。

专利文献CN106127752A公开了一种图像质量分析方法与装置，对关键点进行聚类处理并对邻域进行图像质量判断，根据邻域的图像质量确定待处理图片的图像质量，该专利中提出的算法需要对图像进行角点检测之后进行聚类，聚类计算量较大，不能满足实际应用的实时性要求，并且角点对于人脸图像不具有代表性。邵宇等发表于《电子与信息学报》的“基于局部结构张量的无参考型图像质量评价方法”通过分析仿真图像和实际图像的质量评价结果，同时度量因噪声和模糊造成失真后的图像质量，该文章需要对图像中每个像素点的邻域进行图像质量评价，增大计算量，同时当拍摄时针对前景目标进行对焦之后，背景出现离焦的情况图像质量评价结果会产生较大的偏差。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，本发明的目的是提供一种有效、快速的人脸图像质量判定方法，保证进行人脸识别的图像质量从而保证人脸识别的准确率，为了达到上述目的，本发明提出一种人脸图像的质量判定方法，利用人脸图像的局部梯度信息作为整幅人脸图像质量评价的依据。

(二)技术方案

根据本发明的一个方面，提供了一种人脸图像的质量判定方法，包括以下步骤：

S1、对输入的图像进行人脸检测，确定图像中人脸区域；

S2：对检测到人脸的图像进行人脸关键点定位；

S3：计算关键点定位之后的人脸图像区域的梯度，得到人脸梯度图像；

S4：确定在梯度图像中关键点的坐标位置；

S5：计算关键点邻域的梯度信息；

S6：根据关键点邻域的梯度信息综合得到人脸图像的质量判定值。

在某些实施例中，步骤S1还包括：

在确保能通过人脸检测的前提下进行后续的图像质量判定任务，如果图像无法通过人脸检测则不需要进行后续的图像质量判定。

在某些实施例中，步骤S2还包括：

确定人脸关键点的位置，为图像质量判定以及以后的人脸图像处理中人脸对齐、人脸识别做准备；对人脸关键点的外接矩形进行适当扩充，得到人脸区域的图像。

在某些实施例中，在步骤S3中，计算梯度的边缘检测算子为Roberts算子、Sobel算子、Canny算子、Laplacian算子中的一种或多种。

在某些实施例中，在步骤S5中，根据在梯度图像中关键点的坐标位置得到梯度图上关键点M*M大小的邻域，其中M的取值由人脸区域的大小决定，确保人脸关键点的邻域能够包含绝大部分人脸信息。

在某些实施例中，M取值为3、5、7、9。

在某些实施例中，在步骤S6中，计算每个关键点M*M邻域内的梯度，按照梯度值大小排序，梯度值最大的部分梯度值之和占邻域所有梯度值之和的比例作为局部图像块的图像质量指标，将所有邻域的局部质量指标取平均或者加权平均作为整幅人脸图像的质量判定值。

在某些实施例中，梯度值最大的部分梯度值为梯度值最大的前20％梯度值。

在某些实施例中，所述质量判定方法还包括以下步骤：

将获得的人脸图像的质量判定值与预先设定的阈值进行比较，如果质量判定值大于阈值，则认为该人脸图像为清晰图像，否则认为其为模糊图像。

(三)有益效果

从上述技术方案可以看出，本发明一种人脸图像的质量判定方法至少具有以下有益效果其中之一：

(1)本发明针对人脸图像进行关键点检测，人脸关键点邻域能够反映人脸图像的绝大部分信息，因此不需要进行聚类，并且关键点并不只用于图像质量判定，在人脸对齐，人脸识别中关键点定位也是必要步骤，从而避免了重复性工作；

(2)本发明将人脸图像区域作为进行质量判定的目标区域，从而排除了背景区域图像质量的干扰；

(3)本发明不需要依赖大量的训练数据进行训练，而且不需要参考图像，为无参考的图像质量评价，并且耗时短能够满足工程应用的实时性要求，根据图像质量评价结果滤除图像质量较差的图像，从而提高人脸识别的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种人脸图像的质量判定方法的工作流程图。

图2为本发明一种人脸图像的质量判定方法的人脸检测和关键点定位示意图，其中，(a)为输入图像，(b)为输入图像人脸检测结果示意图(c)为输入图像人脸关键点定位。

图3为本发明一种人脸图像的质量判定方法的不同失真程度的人脸图像及其对应的梯度图，其中，(a)为清晰图像，(b)运动模糊程度较小，(c)模糊程度较大的图像，(d)(e)(f)分别为以上三幅图对应的梯度图像。

图4为本发明一种人脸图像的质量判定方法的不同失真程度的人脸图像的截面处梯度变化图，其中虚线代表清晰图像，点画线代表运动模糊程度较小的图像，实线代表运动模糊程度较大的图像。

图5为本发明一种人脸图像的质量判定方法的可见光数据集示例图，第一行为清晰图像，第二行为运动模糊图像，第三行位离焦模糊图像。

图6为本发明一种人脸图像的质量判定方法的近红外数据集示例图，第一行为清晰图像，第二行为模糊图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

为实现对人脸图像的质量评价，为后续的人脸识别等提供可靠的参考，本发明提供一种人脸图像的质量判定方法，以解决上述问题。

图1为本发明一种人脸图像的质量判定方法的工作流程图。如图1所示，本发明一种人脸图像的质量判定方法包括以下步骤：

S1、对输入的图像进行人脸检测，确定图像中人脸区域；

S2：对检测到人脸的图像进行人脸关键点定位；

S3：计算关键点定位之后的人脸图像区域的梯度，得到人脸梯度图像；

S4：确定在梯度图像中关键点的坐标位置；

S5：计算关键点邻域的梯度信息；

S6：根据关键点邻域的梯度信息综合得到人脸图像的质量判定值。

以下分别对各个步骤进行详细描述。

在步骤S1中，对输入的图像进行人脸检测，确定图像中人脸区域，在确保能通过人脸检测的前提下进行后续的图像质量判定任务，如果图像无法通过人脸检测则不需要进行后续的图像质量判定。

在步骤S2中，对能够检测到人脸的图像进行人脸关键点定位，确定人脸关键点的位置，为图像质量判定以及以后的人脸图像处理中人脸对齐、人脸识别做准备；对人脸关键点的外接矩形进行适当扩充，得到人脸区域的图像。

在步骤S3中，计算关键点定位之后的人脸图像区域的梯度，得到人脸梯度图像。常用的计算梯度的边缘检测算子有Roberts算子、Sobel算子、Canny算子、Laplacian算子等，作为优选实施方式，采用Roberts算子进行边缘检测，较为准确快速的定位边缘位置。

在步骤S4中，确定在梯度图像中关键点的坐标位置。根据人脸图像中关键点的位置确定在梯度图像中关键点的坐标位置。

在步骤S5中，计算关键点邻域的梯度信息。根据在梯度图像中关键点的坐标位置得到梯度图上关键点M*M大小的邻域，其中M的取值由人脸区域的大小决定，确保人脸关键点的邻域能够包含绝大部分人脸信息。M取值包括3，5，7，9等多个取值，具体取值由图像的分辨率决定，图像越大，则M的取值要相应变大，保证关键点的邻域能够包含足够多的图像信息。

在步骤S6中，根据关键点邻域的梯度信息综合得到人脸图像的质量判定值。计算每个关键点M*M邻域内的梯度，按照梯度值大小排序，梯度值最大的前20％梯度值之和占邻域所有梯度值之和的比例作为局部图像块的图像质量指标，将所有邻域的局部质量指标取平均作为整幅人脸图像的质量指标。具体地，梯度值降序排列为{G₁,G₂,…,G_M*M}，梯度最大的部分梯度值之和记为G_P＝G₁+G₂+…+G_m(m<n)，邻域所有梯度值之和记为G_T＝G₁+G₂+…+G_M*M，将G_P/G_T作为局部图像块的质量指标。将获得的人脸图像的质量判定值与预先设定的阈值进行比较，如果质量判定值大于阈值，则认为该人脸图像为清晰图像，否则认为其为模糊图像。

示例性实施例：

首先通过摄像头获取人脸图像，进行人脸检测，能够通过人脸检测的图像输入到下一环节中进行关键点定位，得到人脸的关键点的坐标位置，如图2所示；

对人脸关键点的外接矩形进行适当扩充，得到人脸区域的图像，对人脸区域采用Roberts算子进行梯度计算，得到人脸区域的梯度图像。Roberts算子的计算量小，计算速度快，并且得到的梯度图对图像质量判定结果有利。Roberts算子为交叉算子，图像f(x,y)处的梯度幅度为：模板为：

模板运算结果为：

G_x＝1*f(x,y)+0*f(x,y+1)+0*f(x+1,y)+(-1)*f(x+1,y+1)

＝f(x,y)-f(x+1,y+1)

G_y＝0*f(x,y)+1*f(x+1,y)+(-1)*f(x,y+1)+0*f(x+1,y+1)

＝f(x+1,y)-f(x,y+1)

G(x,y)＝|Gx|+|Gy|＝|f(x,y)-f(x+1,y+1)|+|f(x+1,y)-f(x,y+1)|

在某一实施例中，计算人脸区域的梯度图像，并且得到梯度图像上对应的关键点的邻域。具体为，根据定位的人脸的关键点坐标，对图像进行适当的截取，得到人脸区域的图像，对截取之后的图像计算梯度图像，并根据在梯度图像中定位的人脸关键点坐标得到梯度图上关键点5*5邻域。

计算每个邻域内梯度像素点的像素值，按照像素值大小排序，像素值最大的5个像素点在25个像素值总和所占的比例作为该邻域的局部清晰度指标，将像素点的清晰度指标取平均作为整幅人脸图像的清晰度指标。

如图3所示为不同程度的失真图像及其对应的梯度图，水平线为截面位置，图4为对应截面处的梯度变化值。

按照上述方法，分别在不同的测试集上进行测试，得到不同的测试结果如下所示。表格中为设置不同的图像质量判定阈值，图像质量判定结果大于阈值的图像为清晰图像，小于阈值的图像为模糊图像，将清晰图像正确判别的比率为清晰图像通过率，将模糊图像正确判别的比率为模糊图像滤除率，其中加粗的为最优结果。

实验一：在生成的可见光失真图像上进行测试

数据准备：

根据已有的清晰图像，分别采用不同的参数生成不同失真程度的图像，进行实验。

表1可见光数据集

失真类型	离焦模糊	运动模糊
			清晰图像数目	3190	469
失真图像数目	3200	384

图5所示为可见光数据集示例图。

实验结果

对上述数据集进行测试，得到对失真图像的过滤效果以及清晰图像的通过率。

表2对运动模糊图像的滤除效果

表3对离焦模糊图像的滤除效果

阈值	模糊图像滤除率	清晰图像通过率
			0.241	69.1875	98.8088
0.243	75.75	97.931
			0.245	81.25	97.1473
0.247	85.9375	96.1442
			0.249	89.75	94.7335
0.253	95.0625	92.0063

实验二：在近红外图像上进行测试

数据准备：

利用近红外摄像头采集的图像进行实验。

表4近红外数据集

测试图像类型	测试图像数目
		模糊	5125
清晰	8300

图6所示为近红外数据集示例图。

实验结果

表5近红外图像滤除效果

阈值	模糊图像滤除率	清晰图像通过率
			0.296	70.7	97.4
0.301	80.8	94.1
			0.304	86	90.1
0.308	90.8	82.3
			0.314	95.2	65.9

以上结果表明在自采集的红外人脸数据库上测试，能够保证模糊图像滤除率较高的同时保留较多的清晰图像。

至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明一种人脸图像的质量判定方法有了清楚的认识。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换，例如：

梯度算子可以用除本文所提边缘算子及其他改进的边缘算子来代替；

本发明每个邻域按照梯度值大小排序，将最大的20％梯度值之和占整个邻域的比例作为局部图像块的质量评价指标，还可以用其他方式如改变所取最大像素值的比例；

本发明将所有局部图像块的质量评价指标的均值作为整幅图像的质量评价指标，还可以用所有局部图像块的质量评价指标的加权平均值等作为整幅图像的质量评价指标。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

综上所述，本发明提供一种人脸图像的质量判定方法。采用本发明的人脸图像的质量判定方法不需要借助大量的训练数据进行样本化学习，仅针对待识别图像的关键点进行梯度邻域计算，有效地减轻了系统运行的负担，提升了图像质量判定的准确性和效率。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种人脸图像的质量判定方法，其特征在于，包括以下步骤：

S1、对输入的图像进行人脸检测，确定图像中人脸区域；

S2：对检测到人脸的图像进行人脸关键点定位；

S3：计算关键点定位之后的人脸图像区域的梯度，得到人脸梯度图像；

S4：确定在梯度图像中关键点的坐标位置；

S5：计算关键点邻域的梯度信息；

S6：根据关键点邻域的梯度信息综合得到人脸图像的质量判定值。

2.根据权利要求1所述的质量判定方法，其特征在于，步骤S1还包括：

在确保能通过人脸检测的前提下进行后续的图像质量判定任务，如果图像无法通过人脸检测则不需要进行后续的图像质量判定。

3.根据权利要求1所述的质量判定方法，其特征在于，步骤S2还包括：

确定人脸关键点的位置，为图像质量判定以及以后的人脸图像处理中人脸对齐、人脸识别做准备；对人脸关键点的外接矩形进行适当扩充，得到人脸区域的图像。

4.根据权利要求1所述的质量判定方法，其特征在于，在步骤S3中，计算梯度的边缘检测算子为Roberts算子、Sobel算子、Canny算子、Laplacian算子中的一种或多种。

5.根据权利要求1所述的质量判定方法，其特征在于，在步骤S5中，根据在梯度图像中关键点的坐标位置得到梯度图上关键点M*M大小的邻域，其中M的取值由人脸区域的大小决定，确保人脸关键点的邻域能够包含绝大部分人脸信息。

6.根据权利要求5所述的质量判定方法，其特征在于，M取值为3、5、7、9。

7.根据权利要求1所述的质量判定方法，其特征在于，在步骤S6中，计算每个关键点M*M邻域内的梯度，按照梯度值大小排序，梯度值最大的部分梯度值之和占邻域所有梯度值之和的比例作为局部图像块的图像质量指标，将所有邻域的局部质量指标取平均或者加权平均作为整幅人脸图像的质量判定值。

8.根据权利要求7所述的质量判定方法，其特征在于，梯度值最大的部分梯度值为梯度值最大的前20％梯度值。

9.根据权利要求1或7所述的质量判定方法，其特征在于，所述质量判定方法还包括以下步骤：

将获得的人脸图像的质量判定值与预先设定的阈值进行比较，如果质量判定值大于阈值，则认为该人脸图像为清晰图像，否则认为其为模糊图像。