CN109584198B

CN109584198B - 一种人脸图像质量评价方法、装置及计算机可读存储介质

Info

Publication number: CN109584198B
Application number: CN201710877830.6A
Authority: CN
Inventors: 张文萍; 徐琼
Original assignee: Zhejiang Uniview Technologies Co Ltd
Current assignee: Zhejiang Uniview Technologies Co Ltd
Priority date: 2017-09-26
Filing date: 2017-09-26
Publication date: 2022-12-23
Anticipated expiration: 2037-09-26
Also published as: CN109584198A

Abstract

本发明公开了一种人脸图像质量评价方法、装置及计算机可读存储介质，所述人脸图像质量评价方法，获取人脸图像的平均亮度、噪声强度、特征清晰度，并计算得到人脸图像的亮度评价值、噪声评价值、特征清晰度评价值，最后根据对人脸图像的亮度、噪声、特征清晰度的评价值，评价人脸图像的质量。本发明还公开了一种人脸图像质量评价装置及计算机可读存储介质，用于实现方法的各个步骤。本发明的方法、装置及计算机可读存储介质，从亮度、噪声和特征清晰度三个维度来综合评价人脸图像的质量，避免了人眼主观差异导致人脸图像质量的差异，提高了人脸识别率。

Description

一种人脸图像质量评价方法、装置及计算机可读存储介质

技术领域

本发明属于图像质量评价技术领域，尤其涉及一种人脸图像质量评价方法、装置及计算机可读存储介质。

背景技术

随着人工智能的兴起，人脸识别是人工智能研究领域中非常受关注的研究方向，在涉及安防的领域更是极受关注。

在人脸识别系统中，人脸图像质量的好坏，极大影响了系统识别的精度。人脸图像质量受多方面因素影响，既包括图像本身的特性如亮度、对比度、清晰度、噪点等，也包括和人脸特征相关的属性如人脸姿态、光照均匀性等等。低质量的图片可能导致系统匹配错误、匹配精度降低，因此需要对人脸图像质量进行评价。

此外，人脸图像质量评价，也为图像调测研究人员提供了标准，避免了不同人员调测导致的人脸图像质量的差异。

现有技术对于人脸图像质量的评价，有些根据人脸姿态、特征区域的梯度来评价，有些根据人脸对称性、光强度、对比度和清晰度来评价，但是都具有以下缺点：

(1)、在一些实际应用中(如宽动态场景、光照不足的场景)，人脸图像质量受噪点影响明显，现有技术不能反映有噪点的人脸图像质量的高低。

(2)、人眼对人脸亮度比较敏感，现有技术不能反映不同亮度的人脸图像质量的高低。

发明内容

本发明提出了一种人脸图像质量评价方法、装置及计算机可读存储介质，用于解决现有技术存在的上述缺点，更好地对人脸图像质量进行评价。

为了实现上述目的，本发明技术方案如下：

一种人脸图像质量评价方法，所述人脸图像质量评价方法，包括：

获取人脸图像的平均亮度，根据所述平均亮度计算得到人脸图像的亮度评价值；

获取人脸图像的噪声强度，根据所述噪声强度计算得到人脸图像的噪声评价值；

获取人脸图像的特征清晰度，根据所述特征清晰度计算得到人脸图像的特征清晰度评价值；

根据对人脸图像的亮度、噪声、特征清晰度的评价值，评价人脸图像的质量。

进一步地，所述获取人脸图像的平均亮度，根据所述平均亮度计算得到人脸图像的亮度评价值，包括：

设定分界阈值t1、t2、t3、t4，建立人脸图像的亮度评价值Y与平均亮度L的对应关系：

在L>t4时，亮度评价值Y为a1；

在t3≤L<t4时，亮度评价值Y随L单调递减；

在t2≤L<t3时，亮度评价值Y为b1；

在t1≤L<t2时，亮度评价值Y随L单调递增；

在L<t1时，亮度评价值Y为a1；

其中a1、b1为设定的参数。

进一步地，所述获取人脸图像的噪声强度，包括：

对人脸图像的原图像进行降噪，计算降噪后图像与原图像的差，得到含有大边缘的噪声图像I_mix；

对人脸图像的原图像进行低通滤波，将滤波后的图像与原图像合成，得到人脸图像的大边缘信息I_edge；

在噪声图像I_mix中，除去得到的人脸图像的大边缘信息I_edge，得到人脸图像的噪点信息I_noise；

根据所述人脸图像的噪点信息I_noise计算得到人脸图像的噪声强度。

进一步地，所述根据所述人脸图像的噪点信息I_noise计算得到人脸图像的噪声强度，包括：

根据如下公式计算人脸图像的噪声强度E：

其中，(p,q)为图像中像素的坐标，P和Q分别表示人脸图像的宽度和高度。

进一步地，所述根据所述噪声强度计算得到人脸图像的噪声评价值，包括：

设定分界阈值h1、h2，建立人脸图像的噪点评价值N与噪声强度E的对应关系：

在E≤h1时，噪点评价值N为a2；

在h1≤E<h2时，噪点评价值N随E单调递减；

在噪声超过h2时，噪点评价值N为b2；

其中a2、b2为参数。

进一步地，所述获取人脸图像的特征清晰度，包括：

计算人脸图像的有效部分、噪点部分和过锐部分的边缘强度；

根据边缘强度，计算得到人脸图像的特征清晰度B。

进一步地，所述计算人脸图像的有效部分、噪点部分和过锐部分的边缘强度，包括：

提取人脸图像垂直、水平、45°和135°方向的边缘图像；

算子计算垂直、水平、45°和135°方向上的边缘图像；

计算各边缘图像的有效部分、噪点部分和过锐部分的平均强度；

通过加权求和得到有效部分、噪点部分和过锐部分的边缘强度。

进一步地，所述根据所述特征清晰度计算得到人脸图像的特征清晰度评价值，包括：

设定分界阈值z1、z2、z3、z4，建立人脸图像的特征清晰度评价值S与特征清晰度B的对应关系：

在B>z4时，特征清晰度评价值S为a3；

在z3≤B<z4时，特征清晰度评价值S随B单调递减；

在z2≤B<z3时，特征清晰度评价值S为b3；

在z1≤B<z2时，特征清晰度评价值S随B单调递增；

在B<z1时，特征清晰度评价值S为a3；

其中a3、b3为设定的参数。

本发明还提出了一种人脸图像质量评价装置，包括处理器以及存储有若干计算机指令的非易失性存储器，所述计算机指令被处理器执行时实现上述任意一项所述方法的步骤。

本发明还提出了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行，以实现上述任意一项所述方法的步骤。

本发明提出的一种人脸图像质量评价方法、装置及计算机可读存储器，通过分别对人脸图像的亮度、噪声和特征清晰度进行评价，从亮度、噪声和特征清晰度三个维度来综合评价人脸图像的质量，将图像质量数据客观化，并为调测人员提供亮度、噪声和特征清晰度三个维度的调试标准，避免了人眼主观差异导致人脸图像质量的差异，提高了人脸识别率。

附图说明

图1为本发明实施例一种人脸图像质量评价方法流程图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本申请技术方案的核心思想是根据人脸图像亮度、噪点强度、及人脸特征清晰度，来综合评价人脸图像的质量。

如图1所示，本实施例一种人脸图像质量评价方法，包括：

本实施例在进行人脸图像的质量评价时，先获取待评价的人脸图像，并进行亮度评价、噪声评价和清晰度评价，本发明不限于上述三种评价的先后次序。以下分别予以详细说明：

1、对人脸图像的亮度进行评价。

首先计算人脸图像I的平均亮度L，计算公式如下：

其中Gray(p,q)表示像素(p,q)的灰度值，(p,q)为图像中像素的坐标，P和Q分别表示人脸图像的宽度和高度。

然后设定分界阈值t1、t2、t3、t4，根据人眼对亮度的敏感度，对人脸图像的亮度进行评价。

根据人眼对亮度的敏感度，建立人脸图像的亮度评价值Y与平均亮度L的对应关系如下：

其中，t1＝50、t2＝100、t3＝135、t4＝195为分界阈值，可根据实际需要调节。一般来说，人眼在一定的亮度范围内，敏感度最好，过亮或过暗，敏感度都会差。也就是说，在L>t4时，图像过爆，人眼基本不能识别；在t3≤L<t4时，随着亮度的减小图像看起来质量越高；在t2≤L<t3时，亮度的变化基本上没有影响；而当t1≤L<t2，随着亮度的减少图像看起来质量在下降；直至L<t1，图像过暗，人眼基本不能识别。

需要说明的是，上述亮度评价值Y与亮度L的对应关系仅是一种实施例，亮度评价值Y与亮度L的对应关系也可以是其他形式，只要满足区间[t1,t2)，Y随L单调递增；区间[t3,t4)，Y随L单调递减即可。亮度评价值Y与亮度L的对应关系还可以根据样本数据库来形成数据曲线或经验数据表，在得到亮度L后，根据数据曲线或经验数据表查找到对应的亮度评价值Y。本发明对于亮度评价值Y与亮度L的对应关系的具体实施实现不做限制。在后续的建立人脸图像的噪点评价值N与噪声强度E的对应关系、或建立人脸图像的特征清晰度评价值S与特征清晰度B的对应关系时，也同样可以根据样本数据库来形成数据曲线或经验数据表，根据数据曲线或经验数据表查找到对应的噪点评价值N或特征清晰度评价值S，以下不再赘述。此外公式中设定的0和100，是设定的参数，可以记住a1、b1，该参数可以取合适的范围，例如也可以取100和1000。下文中对噪声和特征清晰度进行评价的各个评价公式中具有类似的设置，可以分别记为a2、b2，a3、b3，以下不再赘述。

2、对人脸图像的噪声进行评价。

首先对人脸图像的原图像进行降噪，计算降噪后图像与原图像的差，得到含有大边缘的噪声图像I_mix。

对人脸图像降噪，原图像I与降噪后的图像I_filter：

其中(p,q)为图像中像素的坐标，r为滤波半径，

为卷积符号，f为滤波函数，如中值滤波、高斯滤波等滤波函数。原图像I为待处理的人脸图像。

原图像I与降噪后的图像I_filter做差得到含有大边缘的噪声图像I_mix：

I_mix＝abs(I-I_filter)。

其次，对人脸图像的原图像进行低通滤波，将滤波后的图像与原图像合成，得到人脸图像的大边缘信息I_edge。

对原图像I进行低通滤波得到模糊图像I_lp，将其与原图像I合成，得到人脸图像的大边缘信息I_edge。

由于图像I_edge中既有边缘信息，又有噪点信息。其中噪点和大边缘之间存在显著区别：噪点的平均灰度要远小于大边缘的平均灰度。故，对图像I_edge中的每个像素进行阈值处理，如果灰度值小于设置的阈值，则把I_edge中对应的像素灰度置为0，这样处理后I_edge中只保留了大边缘信息，噪点被滤除了。

然后在噪声图像I_mix中，除去得到的人脸图像的大边缘信息I_edge，得到人脸图像的噪点信息I_noise。由此可计算人脸图像的噪声强度：

其中(p,q)为图像中像素的坐标，P和Q分别表示人脸图像的宽度和高度。

最后，设定分界阈值h1、h2，根据人眼对噪点的敏感度，对人脸图像的噪声进行评价。

根据人眼对噪点的敏感度，建立人脸图像的噪点评价值N与噪声强度E的对应关系如下：

其中，h1＝4、h2＝6为分界阈值，可根据实际需要调节。一般来说，人眼随着噪声的加大感觉图像质量越来越差。也就是说，在E≤h1时，图像看起来质量较好；而在h1≤E<h2时，随着噪声的增加，图像看起来质量下降；而当噪声超过h2时，认为图像较差。

需要说明的是，上述噪声评价值N与噪声强度的对应关系仅是一种实施例，噪点评价值N与噪声强度E的对应关系也可以是其他形式，只要满足区间[h1,h2)，N随E单调递减即可。

本实施例考虑噪声作为人脸图像质量评价的因素之一，适用于多种场景，例如光照不足的环境中也能更准确的评价人脸图像质量。

3、对人脸图像的特征清晰度进行评价。

首先计算人脸图像的有效部分、噪点部分和过锐部分的边缘强度。

计算人脸特征清晰度，计算人脸特征清晰度时，自然是对人脸特征区域的边缘感兴趣，因此用Sobel算子提取边缘，计算边缘强度作为特征清晰度值。本实施例采用Sobel算子，旨在提取图像边缘，其他算子(如canny算子，Robert算子等)也可以达到相同的效果，这里不再赘述。

Sobel算子是整像素图像边缘检测中最重要的算子之一，在机器学习、数字媒体、计算机视觉等信息科技领域起着举足轻重的作用。在技术上，它是一个离散的一阶差分算子，这里不再赘述。

本实施例提取垂直、水平、45°和135°方向的边缘图像，综合这四个方向的灰度值作为人脸特征清晰度值。

垂直算子为

水平算子为

45°方向算子为

135°方向算子为

用以上四个Sobel算子分别求得四个方向上人脸图像的边缘图像Ii，其中，i＝1,2,3,4，分别对应垂直、水平、45°和135°方向的边缘图像。对于边缘图像，既包含了大边缘信息也包含了噪点信息，且图像过锐时，又会加强大边缘信息。而理想的人脸图像希望是人脸清晰不过锐又没有噪点，所以，这里将边缘图像所有的信息分为三个部分：

a)有效部分：定义为灰度值满足一定范围且非孤立的像素点为有效像素。计算所有有效像素的平均强度，值越大，则人脸图像质量越好；

b)噪点部分：定义为灰度值满足一定范围且孤立的像素点，或灰度值小于某阈值的像素点为噪点。计算所有噪点的平均强度，值越大，则人脸图像质量越差；

c)过锐部分：定义为灰度值大于某阈值的像素点为过锐点。计算所有过锐点的平均强度，值越大，则人脸图像质量越差；

以垂直边缘图像I₁为例，计算三部分的强度值：

对于有效部分，先计算有效部分的图像：

I_tmp＝(I₁>Thr1)*(I₁≤Thr2)

其中(I₁>Thr1)*(I₁≤Thr2)的作用是选出灰度值位于区间(Thr1,Thr2]的像素点；I₁₁＝k(I_tmp)>Thr，其中k(I_tmp)表示图I_tmp的连通点的个数；定义连通数大于Thr(这里选取Thr＝10)的为非孤立的点。

再计算有效部分的平均强度：

对于噪点部分，先计算噪点部分的图像：

I₁₂＝k(I_tmp)≤Thr+(I₁≤Thr1)

其中(I₁≤Thr1)的作用是选出灰度值不大于Thr1像素点；k(I_tmp)表示图I_tmp的连通点的个数；定义连通数不大于Thr的为孤立的点。

再计算噪点部分的平均强度：

对于过锐部分，先计算过锐部分的图像：

I₁₃＝(I₁>Thr2)

其中(I₁>Thr2)的作用是选出灰度值大于Thr2的像素点。

再计算过锐部分的平均强度：

综合垂直、水平、45°和135°方向的边缘图像，人脸图像的有效部分、噪点部分和过锐部分的边缘强度(C、NC和RC)的计算值如下：

其中w_i为权重系数，且

根据上面计算得到的边缘强度C、NC和RC，计算得到人脸图像的特征清晰度B：

B＝k*C*(T1-NC)*(T2-RC)

其中，k＝100、T1＝1、T2＝1为常量，可根据实际需要调节。

由于人脸特征清晰度与C呈正相关，与NC和RC呈负相关，故人脸特征清晰度函数模型可以是指数等其他形式，如：

B＝k*e^C/T1*log(NC)*e^-RC

其中，k、T1为常量，可根据实际需要调节，这里不再给出参考值。

然后，设定分界阈值z1、z2、z3、z4，根据人眼对清晰度的敏感度，建立人脸图像的特征清晰度评价值S与特征清晰度B的对应关系如下：

其中，z1＝0.1、z2＝0.2、z3＝0.5、z4＝3为分界阈值，可根据实际需要调节。一般来说，人眼对一定清晰度范围的图像认为最为舒适，清晰度过高或过低，人眼认为图像过锐或者模糊，敏感度变差。也就是说，在B>z4时，图像过锐，人眼看起来很不舒适；在z3≤B<z4时，随着清晰度的减小图像变得柔和，看起来质量越高；在z2≤B<z3时，清晰度的变化基本上没有影响人眼对图像的敏感度；而当z1≤B<z2，随着清晰度的减少图像变得模糊，看起来质量在下降；直至B<z1，图像过度模糊，人眼基本不能识别。

需要说明的是，上述人脸图像的特征清晰度评价值S与特诊清晰度B的对应关系仅是一种实施例，特征清晰度评价值S与特征清晰度B的对应关系也可以是其他形式，只要满足区间[z1,z2)，S随B单调增；区间[z3,z4)，S随B单调减即可。

本实施例，根据对人脸图像的亮度、噪声、特征清晰度的评价值，评价人脸图像的质量：

根据人脸亮度、噪点强度及人脸特征清晰度，计算人脸图像质量评价值为：

V＝w1*Y+w2*N+w3*S

其中w1、w2和w3为权重系数，且w1+w2+w3＝1。

从而可以根据人脸图像质量评价值的大小，来评价人脸图像的质量。

例如，设定一系列的评价阈值V1、V2、V3，当人脸图像质量评价值V小于评价阈值V1时，认为人脸图像的质量不能接受；当人脸图像质量评价值在[V1，V2)区间时，认为人脸图像的质量一般；当人脸图像质量评价值在[V2，V3)区间时，认为人脸图像的质量良好；当人脸图像质量评价值V大于评价阈值V3时，认为人脸图像的质量优秀。

容易理解的是，通过以上实施例的描述，用来进行人脸图像的平均亮度、噪声强度、特征清晰度的获取和计算出各自的评价值，最后再根据对人脸图像的亮度、噪声、特征清晰度的评价值，评价人脸图像的质量，可以借助软件和必须的通用硬件平台的方式来实现，当然也可以仅通过硬件来实现，但很多情况下前者是更佳的实施方式。因此，以下给出两种用于实现上述方法的设备，具体阐述如下：

一种实施例，提出了一种人脸图像质量评价装置，包括处理器以及存储有若干计算机指令的非易失性存储器，其中计算机指令被处理器执行时实现上述方法的步骤。

上述装置可以是手机、计算机、服务器或着其他智能硬件设备，用于执行上述的一种人脸图像质量评价方法。

另一种实施例，提出了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行，在被处理器执行时实现上述方法的步骤。

上述计算机可读存储介质可以是存储有计算机指令的磁盘、U盘或其他可以被计算及读取的存储设备，其中的计算机指令以软件形式存储在可读存储介质中，在需要进行人脸图像质量评价的时候，用计算机或处理器读取，来执行上述的一种人脸图像质量评价方法。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种人脸图像质量评价方法，其特征在于，所述人脸图像质量评价方法，包括：

根据对人脸图像的亮度、噪声、特征清晰度的评价值，评价人脸图像的质量；

所述获取人脸图像的特征清晰度，包括：

根据特征清晰度与有效部分的边缘强度呈正相关，与噪点部分和过锐部分的边缘强度分别呈负相关，计算得到人脸图像的特征清晰度；其中，

所述有效部分为灰度值大于第一阈值且小于等于第二阈值，并且连通点个数大于第三阈值的像素点；

所述噪点部分为灰度值小于等于第一阈值的像素点，或，灰度值大于第一阈值且小于等于第二阈值，并且连通点个数小于等于第三阈值的像素点；

所述过锐部分为灰度值大于第二阈值的像素点。

2.如权利要求1所述的人脸图像质量评价方法，其特征在于，所述获取人脸图像的平均亮度，根据所述平均亮度计算得到人脸图像的亮度评价值，包括：

在L＞t4时，亮度评价值Y为a1；

在t3≤L＜t4时，亮度评价值Y随L单调递减；

在t2≤L＜t3时，亮度评价值Y为b1；

在t1≤L＜t2时，亮度评价值Y随L单调递增；

在L＜t1时，亮度评价值Y为a1；

其中a1、b1为设定的参数。

3.如权利要求1所述的人脸图像质量评价方法，其特征在于，所述获取人脸图像的噪声强度，包括：

4.如权利要求3所述的人脸图像质量评价方法，其特征在于，所述根据所述人脸图像的噪点信息I_noise计算得到人脸图像的噪声强度，包括：

根据如下公式计算人脸图像的噪声强度E：

其中，(p，q)为图像中像素的坐标，P和Q分别表示人脸图像的宽度和高度。

5.如权利要求1所述的人脸图像质量评价方法，其特征在于，所述根据所述噪声强度计算得到人脸图像的噪声评价值，包括：

在E≤h1时，噪点评价值N为a2；

在h1≤E＜h2时，噪点评价值N随E单调递减；

在噪声超过h2时，噪点评价值N为b2；

其中a2、b2为参数。

6.如权利要求1所述的人脸图像质量评价方法，其特征在于，所述计算人脸图像的有效部分、噪点部分和过锐部分的边缘强度，包括：

提取人脸图像垂直、水平、45°和135°方向的边缘图像；

计算垂直、水平、45°和135°方向上的边缘图像；

7.如权利要求1所述的人脸图像质量评价方法，其特征在于，所述根据所述特征清晰度计算得到人脸图像的特征清晰度评价值，包括：

在B＞z4时，特征清晰度评价值S为a3；

在z3≤B＜z4时，特征清晰度评价值S随B单调递减；

在z2≤B＜z3时，特征清晰度评价值S为b3；

在z1≤B＜z2时，特征清晰度评价值S随B单调递增；

在B＜z1时，特征清晰度评价值S为a3；

其中a3、b3为设定的参数。

8.一种人脸图像质量评价装置，包括处理器以及存储有若干计算机指令的非易失性存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求7中任意一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行，以实现权利要求1至权利要求7中任意一项所述方法的步骤。