CN109948564A - 一种基于有监督深度学习的人脸图像质量分类和评估方法 - Google Patents

Abstract

本发明公开了一种基于有监督深度学习的人脸图像质量分类和评估方法，包括从原始图像集Q₀中筛选出高清晰度图像集Q₂；进行不同亮度下的人脸识别测试，选择识别率变化明显时对应的亮度值，得到高清晰度且亮度适宜图像集Q₃；将Q₃中同一个对象的多张图像进行人脸识别测试，选择超过某一阈值且相似性分数高的图像作为标准图像集A；将Q₁和A进行人脸识别测试，根据相似性分数将图像分为可能产生较差的认证结果的非常模糊图像、在大多数环境中可能产生好的认证结果的比较清晰图像以及在任何环境下均可产生好的认证结果的非常清晰图像；再将每一类图像细分为亮度适宜图像、亮度偏亮图像和亮度偏暗图像，最后将人脸图像分为九个类别。

Description

一种基于有监督深度学习的人脸图像质量分类和评估方法

技术领域

本发明涉及人脸识别技术领域，特别涉及一种基于有监督深度学习的人脸图像质量分类和评估方法。

背景技术

人脸图像质量是关乎人脸识别精度的关键性因素，拒绝对低质量的人脸图像进行认证或者识别，准确率会明显提高，因此对人脸图像质量的评估尤为重要。要以有监督深度学习方法对人脸图像质量进行评估，就必须建立人脸图像目标质量标签。

目前建立人脸图像目标质量标签的方式主要有三种：

第一种是将图像质量因子如清晰度、亮度等的各种测量值组合为一个单一值，以反映人脸的整体质量。到目前为止，该方法并没有取得多大的成功，这种评价结果不能代表生物特征样本的质量，即与识别算法非正相关而且与人类评价也不一致。

第二种是人类主观评价即通过人感知图像质量进行标注，让评价者在特定的测试环境下，按照事先规定的评价规则、评价尺度观察待标注人脸图像，根据人主观感受给出评价结果或主观质量分数。因为人脸图像的质量评价属于生物特征样本质量，生物特征样本质量需要根据自动识别性能定义，而人对质量的感知可能不是自动识别性能的直接表示，人主观对人脸图像质量的评价与人脸识别算法输出的匹配分数并没有线性关系，即人类对图像质量的视觉感知可能与识别性能没有很好的相关性。

第三种是根据相似性分数计算质量值，选择高质量的人脸图像作为标准图像库，将待标注人脸图像通过人脸识别算法与标准图像库中同一个对象的人脸图像进行匹配得到相似性分数，作为待标注人脸图像的质量标签。由于特定匹配者和成对质量因素的细微差别(即比较分数是两个人脸图像的函数，但使用分数来标记单个人脸图像的质量)，很难预测基于分数的质量。比较分数是从一对图像中获得的，因此根据比较分数(或性能)对单个图像进行标记是有问题的，在具有不同失真的数据集上，观察者的主观评分和算法评分的相关度这方面并不具有很好的一致性。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种基于有监督深度学习的人脸图像质量分类和评估方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于有监督深度学习的人脸图像质量分类和评估方法，包括以下步骤：

步骤一：从原始图像集Q₀中排除带有干扰因素的图像，得到正常图像集Q₁；

步骤二：从正常图像集Q₁中人工筛选出高清晰度的图像，得到高清晰度图像集Q₂；

步骤三：筛选高清晰度图像集Q₂中不同亮度的图像进行测试以确定亮度适宜的限值，亮度筛选的范围为[k₀-n，k₀+n]，k₀为预设的亮度适宜值，n为正数，每筛选一次，就对筛选出的某一亮度下每一个对象的多张图像进行一次人脸识别测试，得到不同亮度下的识别率{ACC₁，ACC₂，ACC₃，…，ACC_n}，选择识别率变化明显时对应的亮度值，作为亮度适宜的限值[k₀ ^*，k₀ ^#]，k₀ ^*，k₀ ^#为正数，从而得到高清晰度且亮度适宜图像集Q₃；

步骤四：将高清晰度且亮度适宜图像集Q₃中每一个对象的多张图像进行人脸识别测试，选择相似性分数超过FAR＝0.01％时对应的阈值，且相似性分数高的图像作为标准图像集A，FAR为误识率；

步骤五：将正常图像集Q₁和标准图像集A中的同一个对象的图像，进行人脸识别测试，并根据相似性分数将正常图像集Q₁分为以下三类：

非常模糊图像：相似性分数低于阈值1，所述阈值1为FAR＝1％时对应的阈值；

比较清晰图像：相似性分数高于阈值2且低于阈值3，所述阈值2为FAR＝0.1％时对应的阈值，所述阈值3为FAR＝0.01％时对应的阈值；

非常清晰图像：相似性分数高于阈值3；

步骤六：筛选高清晰度图像集Q₂中不同亮度的图像进行测试以确定亮度偏暗和亮度偏亮的限值，亮度筛选的范围为[k₁-n，k₁+n]，k₁为预设的亮度偏暗值，n为正数，每筛选一次，就对筛选出的某一亮度下每一个对象的多张图像与步骤四确定的标准图像集A中同一个对象的图像形成正样本，进行一次人脸识别测试，得到不同亮度下的识别率{ACC₁，ACC₂，ACC₃，…，ACC_n}，选择识别率变化明显时对应的亮度值，作为亮度偏暗的限值[k₁ ^*，k₁ ^#]，k₁ ^*，k₁ ^#为正数；再次将亮度的筛选范围设定为[k₂-n，k₂+n]，k₂为预设的亮度偏亮值，同理可以得到亮度偏亮的限值[k₂ ^*，k₂ ^#]，k₂ ^*，k₂ ^#为正数；

步骤七：将非常模糊图像、比较清晰图像、非常清晰图像按照亮度的限值，在每一类图像中再细分为亮度适宜图像、亮度偏亮图像和亮度偏暗图像，最后将人脸图像分为九个类别，依次为非常模糊且亮度适宜图像，非常模糊且亮度偏亮图像，非常模糊且亮度偏暗图像，比较清晰且亮度适宜图像，比较清晰且亮度偏亮图像，比较清晰且亮度偏暗图像，非常清晰且亮度适宜图像，非常清晰且亮度偏亮图像，非常清晰且亮度偏暗图像；

其中，所述步骤五和步骤六的顺序可调。

本方法根据相似性分数(识别相关)，将相似性分数在某一范围内的划分为一类，与人脸图像质量人工评价方法相结合，对人脸图像进行分类。利用本发明进行分类后，不同的类型代表不同的含义，相似性分数低于阈值1(FAR＝1％时对应的阈值)的非常模糊图像，代表该样本可能产生较差的认证结果或该样本不能用于认证识别，如有可能尽量使用新样本替代它；相似性分数高于阈值2(FAR＝0.1％时对应的阈值)且低于阈值3(FAR＝0.01％时对应的阈值)的比较清晰图像，代表该样本在大多数环境中可能产生好的认证结果，但在需求应用中，有必要包含一个高质量的样本；相似性分数高于阈值3(FAR＝0.01％时对应的阈值)的非常清晰图像，代表该样本在任何环境下都可产生好的认证结果。因此，根据本发明的分类方法可以有效对人脸图像样本进行分类，从而挑选出适宜现场识别的图像样本。

同时更精确的分类可以更有效的定位到人脸图像中存在的问题，在实际应用中可根据评价结果给出相应亮度和清晰度调整提示，在实际识别认证场景中具有重要的指导意义。比如，非常清晰且亮度适宜图像可以作为人脸标准图像存入库中，比较清晰且亮度偏暗图像进行亮度调亮后也可以作为人脸标准图像存入库中，非常清晰且亮度偏亮图像进行亮度调暗后也可以作为人脸标准图像存入库中。评价结果为模糊因素的，可以根据具体情况调整光圈、配置高清摄像头、调节球机最小聚焦限制的距离、确认摄像机外罩是否脏污等手段以提高清晰度，提高图像质量。

总之，本发明利用人脸识别算法相似性分数并结合传统亮度分级方法以及人类视觉系统清晰度等级的分类方法，区别于只利用相似性分数(与人类主观评价不一致)或只利用人类主观评价(与人脸识别准确率不一致)的分类方法，使评价结果在人类主观评价方面，以及对人脸识别准确率有重要意义的客观评价方面有良好的一致性，可以挑选出适宜现场识别的图像样本，并可以给实际识别认证现场相应亮度和清晰度调整提示。

优选的，所述步骤一中的干扰因素包括姿态、遮挡、表情等，人类的视觉系统在识别这些干扰因素方面是直接且有效的，因此人工对图像数据进行筛选，剔除掉包含这些干扰因素的人脸图像。

优选的，所述步骤二中，筛选的参与人至少有两个，且每张高清晰度的图像至少有两个人同时认定为高清晰度。

优选的，所述步骤三和步骤六中，根据灰度值的分布对亮度进行筛选，假设灰度值小于或等于v的像素为偏暗像素，偏暗像素相对于总像素的占比为p，通过调整v和p的大小，来筛选图像的亮度。

优选的，所述步骤五中，对三类人脸图像再进行人工精细化挑选，剔除每类中与人类视觉系统感知不一致的图像，本操作是为了使挑选出的图像同时满足人类主观评价和人脸识别客观评价。

优选的，所述步骤五中，进行人工精细化挑选的判别标准为：当人眼感觉图像未受损害的，认定为非常清晰图像；当人眼感觉图像有损害，但尚悦目/稍感不悦目的，认定为比较清晰图像；当人眼感觉图像不悦目/非常不悦目的，认定为非常模糊图像。

与现有技术相比，本发明的有益效果：

本发明利用人脸识别算法相似性分数并结合传统亮度分级方法以及人类视觉系统清晰度等级的分类方法，区别于只利用相似性分数(与人类主观评价不一致)或只利用人类主观评价(与人脸识别准确率不一致)的分类方法，使评价结果在人类主观评价方面，以及对人脸识别准确率有重要意义的客观评价方面有良好的一致性，可以挑选出适宜现场识别的图像样本，并可以给实际识别认证现场相应亮度和清晰度调整提示。

附图说明：

图1是本发明所述的一种基于有监督深度学习的人脸图像质量分类和评估方法的流程图。

图2是本发明所述的各个图像集的示意图。

图3是本发明所述的九类图像的示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

如图1-图2所示，一种基于有监督深度学习的人脸图像质量分类和评估方法，包括以下步骤：

步骤一：从原始图像集Q₀中排除带有干扰因素的图像，得到正常图像集Q₁，所述干扰因素包括姿态、遮挡、表情等。由于着重研究人脸图像质量中光照和清晰度的影响，所以在确保图像尺寸和分辨率一致的前提下尽可能排除如姿态、遮挡、表情等其它因素的干扰，人类的视觉系统在识别这些因素方面是直接且有效的，因此人工对图像数据进行筛选，剔除掉包含这些因素的人脸图像。

人脸图像质量需要在人脸识别性能的背景下进行分类评估，所以需要找出每个对象的人脸图像一张图像作为标准图像(如果存在)，标准图像会组成一个类别，用这张标准图像与同一个对象的不同人脸图像形成正样本，使用人脸识别算法得到识别率。为了排除同一个人脸识别算法在相同FAR时，由于负样本不同导致阈值不同的情况，以及不同识别算法因负样本不同带来的干扰因素，所以采用的负样本是固定的。

步骤二：根据人类视觉感知与识别之间存在的一致性，从正常图像集Q₁中人工筛选出高清晰度的图像，得到高清晰度图像集Q₂，筛选的参与人至少有两个，且每张高清晰度的图像至少有两个人同时认定为高清晰度。

步骤三：利用传统方法根据灰度值的分布来判断人脸图像的亮度，假设灰度值小于或等于v的像素为偏暗像素，偏暗像素相对于总像素的占比为p，通过调整v和p的大小，来筛选图像的亮度。

首先预设一个亮度适宜情况下的初值v₀和p₀，筛选出高清晰度图像集Q₂中亮度为v₀和p₀的同一个对象的图像，将这些图像组成正样本，通过人脸识别测试计算亮度参数为v₀和p₀时，识别率的大小。接着调整v和p的大小，依次筛选出不同亮度下的图像，将同一个亮度下每个对象的多张图像进行人脸识别测试，得到在不同亮度下的识别率{ACC₁，ACC₂，ACC₃，…，ACC_n}，选择识别率变化明显时对应的v和p作为亮度适宜的限值，从而得到高清晰度且亮度适宜图像集Q₃。

步骤四：将高清晰度且亮度适宜图像集Q₃中每一个对象的多张图像形成正样本，进行人脸识别测试，选择相似性分数超过FAR＝0.01％时对应的阈值，且相似性分数高的图像作为标准图像集A，FAR为误识率。

步骤五：将正常图像集Q₁和标准图像集A中的同一个对象的图像，进行人脸识别测试，并根据相似性分数将正常图像集Q₁分为以下三类：

可能产生较差的认证结果的非常模糊图像：相似性分数低于阈值1，所述阈值1为FAR＝1％时对应的阈值；

在大多数环境中可能产生好的认证结果的比较清晰图像：相似性分数高于阈值2且低于阈值3，所述阈值2为FAR＝0.1％时对应的阈值，所述阈值3为FAR＝0.01％时对应的阈值；

在任何环境下均可产生好的认证结果的非常清晰图像：相似性分数高于阈值3。

对上述三类人脸图像再进行人工精细化挑选，利用人类视觉系统的智能性剔除掉明显不合理图像，进行人工精细化挑选的判别标准如下表1所示，当人眼感觉图像未受损害的，认定为非常清晰图像；当人眼感觉图像有损害，但尚悦目/稍感不悦目的，认定为比较清晰图像；当人眼感觉图像不悦目/非常不悦目的，认定为非常模糊图像。

表1人工精细化挑选的判别标准

清晰度判定	人眼感觉
		非常清晰图像(3blur)	感觉图像未受损害
比较清晰图像(2blur)	感觉图像有损害，但尚悦目/稍感不悦目
		非常模糊图像(1blur)	感觉图像不悦目/非常不悦目

步骤六：筛选高清晰度图像集Q₂中不同亮度的图像进行测试以确定亮度偏暗和亮度偏亮的限值。

具体的，获得亮度偏暗的限值时，首先预设一个亮度偏暗情况下的初值v₁和p₁，筛选出高清晰度图像集Q₂中亮度为v₁和p₁的同一个对象的图像，将这些图像与标准图像集A中同一个对象的图像组成正样本，通过人脸识别测试计算亮度参数为v₁和p₁时，识别率的大小。接着调整v和p的大小，依次筛选出不同亮度下的图像，将同一个亮度下每个对象的多张图像与标准图像集A中同一个对象的图像进行人脸识别测试，得到在不同亮度下的识别率{ACC₁，ACC₂，ACC₃，…，ACC_n}，选择识别率变化明显时对应的v和p作为亮度偏暗的限值；

同理，获得亮度偏亮的限值时，首先预设一个亮度偏亮情况下的初值v₂和p₂，筛选出高清晰度图像集Q₂中亮度为v₂和p₂的同一个对象的图像，将这些图像与标准图像集A中同一个对象的图像组成正样本，通过人脸识别测试计算亮度参数为v₂和p₂时，识别率的大小。接着调整v和p的大小，依次筛选出不同亮度下的图像，将同一个亮度下每个对象的多张图像与标准图像集A中同一个对象的图像进行人脸识别测试，得到在不同亮度下的识别率{ACC₁，ACC₂，ACC₃，…，ACC_n}，选择识别率变化明显时对应的v和p作为亮度偏亮的限值。其中，v₀、v₁、v₂、p₀、p₁、p₂的大小根据人类视觉系统的判断进行预设，所述步骤五和步骤六的顺序可调。

步骤七：将非常模糊图像、比较清晰图像、非常清晰图像按照亮度的三类限值，在每一类图像中再细分为亮度适宜图像、亮度偏亮图像和亮度偏暗图像，最后将人脸图像分为九个类别，依次为非常模糊且亮度适宜图像，非常模糊且亮度偏亮图像，非常模糊且亮度偏暗图像，比较清晰且亮度适宜图像，比较清晰且亮度偏亮图像，比较清晰且亮度偏暗图像，非常清晰且亮度适宜图像，非常清晰且亮度偏亮图像，非常清晰且亮度偏暗图像，如下表2和图3所示。

表2人脸图像的九个类别

以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但本发明不局限于上述具体实施方式，因此任何对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于有监督深度学习的人脸图像质量分类和评估方法，其特征在于，包括以下步骤：

步骤一：从原始图像集Q₀中排除带有干扰因素的图像，得到正常图像集Q₁；

步骤二：从正常图像集Q₁中人工筛选出高清晰度的图像，得到高清晰度图像集Q₂；

步骤三：筛选高清晰度图像集Q₂中不同亮度的图像进行测试以确定亮度适宜的限值，亮度筛选的范围为[k₀-n，k₀+n]，k₀为预设的亮度适宜值，n为正数，每筛选一次，就对筛选出的某一亮度下每一个对象的多张图像进行一次人脸识别测试，得到不同亮度下的识别率{ACC₁，ACC₂，ACC₃，…，ACC_n}，选择识别率变化明显时对应的亮度值，作为亮度适宜的限值[k₀ ^*，k₀ ^#]，k₀ ^*，k₀ ^#为正数，从而得到高清晰度且亮度适宜图像集Q₃；

步骤四：将高清晰度且亮度适宜图像集Q₃中每一个对象的多张图像进行人脸识别测试，选择相似性分数超过FAR＝0.01％时对应的阈值，且相似性分数高的图像作为标准图像集A，FAR为误识率；

步骤五：将正常图像集Q₁和标准图像集A中的同一个对象的图像，进行人脸识别测试，并根据相似性分数将正常图像集Q₁分为以下三类：

非常模糊图像：相似性分数低于阈值1，所述阈值1为FAR＝1％时对应的阈值；

比较清晰图像：相似性分数高于阈值2且低于阈值3，所述阈值2为FAR＝0.1％时对应的阈值，所述阈值3为FAR＝0.01％时对应的阈值；

非常清晰图像：相似性分数高于阈值3；

步骤六：筛选高清晰度图像集Q₂中不同亮度的图像进行测试以确定亮度偏暗和亮度偏亮的限值，亮度筛选的范围为[k₁-n，k₁+n]，k₁为预设的亮度偏暗值，n为正数，每筛选一次，就对筛选出的某一亮度下每一个对象的多张图像与步骤四确定的标准图像集A中同一个对象的图像形成正样本，进行一次人脸识别测试，得到不同亮度下的识别率{ACC₁，ACC₂，ACC₃，…，ACC_n}，选择识别率变化明显时对应的亮度值，作为亮度偏暗的限值[k₁ ^*，k₁ ^#]，k₁ ^*，k₁ ^#为正数；再次将亮度的筛选范围设定为[k₂-n，k₂+n]，k₂为预设的亮度偏亮值，同理可以得到亮度偏亮的限值[k₂ ^*，k₂ ^#]，k₂ ^*，k₂ ^#为正数；

步骤七：将非常模糊图像、比较清晰图像、非常清晰图像按照亮度的限值，在每一类图像中再细分为亮度适宜图像、亮度偏亮图像和亮度偏暗图像，最后将人脸图像分为九个类别，依次为非常模糊且亮度适宜图像，非常模糊且亮度偏亮图像，非常模糊且亮度偏暗图像，比较清晰且亮度适宜图像，比较清晰且亮度偏亮图像，比较清晰且亮度偏暗图像，非常清晰且亮度适宜图像，非常清晰且亮度偏亮图像，非常清晰且亮度偏暗图像；

其中，所述步骤五和步骤六的顺序可调。

2.根据权利要求1所述的一种基于有监督深度学习的人脸图像质量分类和评估方法，其特征在于，所述步骤一中的干扰因素包括姿态、遮挡、表情。

3.根据权利要求1所述的一种基于有监督深度学习的人脸图像质量分类和评估方法，其特征在于，所述步骤二中，筛选的参与人至少有两个，且每张高清晰度的图像至少有两个人同时认定为高清晰度。

4.根据权利要求1所述的一种基于有监督深度学习的人脸图像质量分类和评估方法，其特征在于，所述步骤三和步骤六中，根据灰度值的分布对亮度进行筛选，假设灰度值小于或等于v的像素为偏暗像素，偏暗像素相对于总像素的占比为p，通过调整v和p的大小，来筛选图像的亮度。

5.根据权利要求1所述的一种基于有监督深度学习的人脸图像质量分类和评估方法，其特征在于，所述步骤五中，对三类人脸图像再进行人工精细化挑选，剔除每类中与人类视觉系统感知不一致的图像。

6.根据权利要求5所述的一种基于有监督深度学习的人脸图像质量分类和评估方法，其特征在于，所述步骤五中，进行人工精细化挑选的判别标准为：当人眼感觉图像未受损害的，认定为非常清晰图像；当人眼感觉图像有损害，但尚悦目/稍感不悦目的，认定为比较清晰图像；当人眼感觉图像不悦目/非常不悦目的，认定为非常模糊图像。