CN109544523A - 基于多属性人脸比对的人脸图像质量评价方法及装置 - Google Patents

Abstract

本发明提供了基于多属性人脸比对的人脸图像质量评价方法，该方法包括：分别采用角度、模糊、光照属性的人脸样本图像集，在K种人脸比对方法下，计算对应属性的质量分数映射函数和权重值；选取标记角度、模糊、光照属性的人脸样本图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络进行训练，获取属性质量评价模型；输入待处理图像，检测待处理图像中的人脸区域；采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，计算人脸区域的质量评价分数并输出。与现有的人脸图像质量评价方法相比，本发明可以提高质量评价的准确率。

Description

基于多属性人脸比对的人脸图像质量评价方法及装置

技术领域

本发明涉及图像处理、视频监控以及人脸图像质量评价，特别涉及基于多属性人脸比对的人脸图像质量评价方法及装置。

背景技术

现有的人脸图像质量评价方法主要是结合人脸图像的多种属性评价其质量，包括人脸姿态、遮挡、光照和图像模糊的属性，首先通过机器学习方法计算这些属性值，然后基于人脸的多个属性值使用基于规则的方法排除质量较差的人脸图像。做人脸图像质量评价的主要目的是提高后续人脸比对的成功率，同时减少参与比对的人脸图像。但是现有的人脸图像质量评价方法并没有考虑人脸比对的性能，它所评价的质量较好的人脸图像在进行人脸比对时准确率并不一定很高，另外一些评价规则的设计也有较强的主观性。

公开号为CN107832802A的中国发明专利提出了一种基于人脸比对的人脸图像质量评价方法，可以提高人脸比对的准确率。然而实际场景中，人脸偏转角度、光照程度、以及图像模糊程度对人脸比对有不同的影响值，从而影响人脸图像质量的评价。

为此，目前需要提出一种基于多属性人脸比对的人脸质量评价方法。

发明内容

有鉴于此，本发明的主要目的在于提供一种可以有效提高人脸比对准确率，并且融合多属性影响值的人脸质量评价方法。

为达到上述目的，按照本发明的第一个方面，提供了基于多属性人脸比对的人脸图像质量评价方法，该方法包括：

第一步骤，分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；

第二步骤，选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；

第三步骤，输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；

第四步骤，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，根据角度、模糊、光照属性的质量分数和权重值，计算人脸区域的质量评价分数并输出。

进一步地，所述第一步骤包括：

属性样本图像集选取步骤，分别选取M个身份的N个标记角度、模糊、光照属性的人脸样本图像作为角度属性样本图像集、模糊属性样本图像集、光照属性样本图像集；

属性平均质量分值计算步骤，分别针对角度、模糊、光照的属性样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值；将属性的平均相似度最小值作为对应属性的平均质量分值，根据属性的平均相似度最小值和平均相似度最大值，获取对应属性的质量分数映射函数；

属性权重值计算步骤，根据角度、模糊、光照的平均质量分值fsim_ang、fsim_blur、fsim_bri，计算对应的质量分数影响值fλ_ang＝1-fsim_ang、fλ_blur＝1-fsim_blur、fλ_bri＝1-fsim_bri；根据角度、模糊、光照的质量分数影响值，分别计算角度权重值模糊权重值光照权重值

进一步地，所述平均相似度最值计算法包括：

属性人脸参考和探测图像获取步骤，对每个身份选取R1个标准人脸图像作为人脸参考图像，将属性样本图像集中人脸参考图像外的属性样本图像作为对应属性的人脸探测图像；

同种身份人脸比对相似度计算步骤，针对每个身份，采用K种人脸比对方法，分别计算每个人脸探测图像与对应身份的人脸参考图像的相似度值fsim_kij，0≤k≤K，0≤i≤R2，0≤j≤R1；针对每个身份，统计第k种人脸比对方法下，人脸探测图像与对应身份的人脸参考图像的相似度值的中间值fsim_k，将中间值fsim_k作为对应身份的第k种人脸比对方法的相似度值；针对每个身份，统计K种人脸比对方法的相似度值的平均值fsim，将平均值fsim作为对应身份的人脸比对相似度值；其中，所述k表示第k种人脸比对方法，K表示采用的人脸比对方法的数量；所述i和j分别表示对应身份下第i个人脸探测图像和第j个人脸参考图像，R1和R2分别表示对应身份下人脸探测图像和人脸参考图像的数量；

属性人脸平均相似度最值计算步骤，统计所有身份的人脸比对相似度值，将所有身份的人脸比对相似度值的最小值作为平均相似度最小值fsim_min，将所有身份的人脸比对相似度值的最大值作为平均相似度最大值fsim_max。

进一步地，所述第二步骤包括：

人脸样本选取步骤，选取M个身份的N个标记角度、模糊、光照属性的人脸图像作为人脸样本图像；针对每个身份，从人脸样本图像中选取一张标准人脸图像作为人脸参考图像，将人脸参考图像以外的人脸样本图像作为人脸探测图像；

人脸探测图像属性质量分数获取步骤，对于每个人脸探测图像，采用K种人脸比对方法，分别计算人脸探测图像与对应身份的人脸参考图像的相似度值，计算K种人脸比对方法的相似度值的平均值，根据相似度的平均值和属性质量分数映射函数，分别计算人脸探测图像的角度、模糊、光照属性的质量分数；

卷积神经网络训练步骤，将人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数输入到卷积神经网络中，采用卷积神经网络对人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型。

进一步地，所述第四步骤包括：

属性质量分数获取步骤，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri；

质量评价分数计算步骤，根据人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri，以及角度权重值λ_ang、模糊权重值λ_blur、光照权重值λ_bri，根据质量评价公式fq＝λ_ang×fq_ang+λ_blur×fq_blur+λ_bri×fq_bri，计算人脸区域的质量评价分数fq；

质量评价结果输出步骤，输出人脸区域和对应的质量评价分数。

按照本发明的另一个方面，提供了基于多属性人脸比对的人脸图像质量评价装置，该装置包括：

属性权重值获取模块，用于分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；

属性质量评价模型获取模块，用于选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；

人脸区域获取模块，用于输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；

人脸质量评价分数获取模块，用于采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，根据角度、模糊、光照属性的质量分数和权重值，计算人脸区域的质量评价分数并输出。

进一步地，所述属性权重值获取模块包括：

属性样本图像集选取模块，用于分别选取M个身份的N个标记角度、模糊、光照属性的人脸样本图像作为角度属性样本图像集、模糊属性样本图像集、光照属性样本图像集；

属性平均质量分值计算模块，用于分别针对角度、模糊、光照的属性样本图像集，采用平均相似度最值计算模块，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值；将属性的平均相似度最小值作为对应属性的平均质量分值，根据属性的平均相似度最小值和平均相似度最大值，获取对应属性的质量分数映射函数；

属性权重值计算模块，用于根据角度、模糊、光照的平均质量分值fsim_ang、fsim_blur、fsim_bri，计算对应的质量分数影响值fλ_ang＝1-fsim_ang、fλ_blur＝1-fsim_blur、fλ_bri＝1-fsim_bri；根据角度、模糊、光照的质量分数影响值，分别计算角度权重值模糊权重值光照权重值

进一步地，所述平均相似度最值计算模块包括：

属性人脸参考和探测图像获取模块，用于对每个身份选取R1个标准人脸图像作为人脸参考图像，将属性样本图像集中人脸参考图像外的属性样本图像作为对应属性的人脸探测图像；

同种身份人脸比对相似度计算模块，用于针对每个身份，采用K种人脸比对方法，分别计算每个人脸探测图像与对应身份的人脸参考图像的相似度值fsim_kij，0≤k≤K，0≤i≤R2，0≤j≤R1；针对每个身份，统计第k种人脸比对方法下，人脸探测图像与对应身份的人脸参考图像的相似度值的中间值fsim_k，将中间值fsim_k作为对应身份的第k种人脸比对方法的相似度值；针对每个身份，统计K种人脸比对方法的相似度值的平均值fsim，将平均值fsim作为对应身份的人脸比对相似度值；其中，所述k表示第k种人脸比对方法，K表示采用的人脸比对方法的数量；所述i和j分别表示对应身份下第i个人脸探测图像和第j个人脸参考图像，R1和R2分别表示对应身份下人脸探测图像和人脸参考图像的数量；

属性人脸平均相似度最值计算模块，用于统计所有身份的人脸比对相似度值，将所有身份的人脸比对相似度值的最小值作为平均相似度最小值fsim_min，将所有身份的人脸比对相似度值的最大值作为平均相似度最大值fsim_max。

进一步地，所述属性质量评价模型获取模块包括：

人脸样本选取模块，用于选取M个身份的N个标记角度、模糊、光照属性的人脸图像作为人脸样本图像；针对每个身份，从人脸样本图像中选取一张标准人脸图像作为人脸参考图像，将人脸参考图像以外的人脸样本图像作为人脸探测图像；

人脸探测图像属性质量分数获取模块，用于对于每个人脸探测图像，采用K种人脸比对方法，分别计算人脸探测图像与对应身份的人脸参考图像的相似度值，计算K种人脸比对方法的相似度值的平均值，根据相似度的平均值和属性质量分数映射函数，分别计算人脸探测图像的角度、模糊、光照属性的质量分数；

卷积神经网络训练模块，用于将人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数输入到卷积神经网络中，采用卷积神经网络对人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型。

进一步地，所述人脸质量评价分数获取模块包括：

属性质量分数获取模块，用于采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri；

质量评价分数计算模块，用于根据人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri，以及角度权重值λ_ang、模糊权重值λ_blur、光照权重值λ_bri，根据质量评价公式fq＝λ_ang×fq_ang+λ_blur×fq_blur+λ_bri×fq_bri，计算人脸区域的质量评价分数fq；

质量评价结果输出模块，用于输出人脸区域和对应的质量评价分数。

与现有的人脸图像质量评价方法相比，本发明的基于多属性人脸比对的人脸图像质量评价方法，通过多属性人脸比对得到对应属性的权重值，再通过多属性质量评价网络的训练，得到人脸图像对应属性的质量分数，根据多属性的权重值和质量分数，达到提高比对成功率的同时提高质量评价准确率的目的。

附图说明

图1示出了按照本发明的基于多属性人脸比对的人脸图像质量评价方法的流程图。

图2示出了按照本发明的基于多属性人脸比对的人脸图像质量评价装置的框架图。

具体实施方式

为使本技术领域人员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1给出了按照本发明的基于多属性人脸比对的人脸图像质量评价方法的流程图。如图1所示，按照本发明的基于多属性人脸比对的人脸图像质量评价的方法包括：

第一步骤S1，分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；

第二步骤S2，选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；

第三步骤S3，输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；

第四步骤S4，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，根据角度、模糊、光照属性的质量分数和权重值，计算人脸区域的质量评价分数并输出。

进一步地，所述第一步骤S1包括：

属性样本图像集选取步骤S11，分别选取M个身份的N个标记角度、模糊、光照属性的人脸样本图像作为角度属性样本图像集、模糊属性样本图像集、光照属性样本图像集；

属性平均质量分值计算步骤S12，分别针对角度、模糊、光照的属性样本图像集，采用平均相似度最值计算法S120，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值；将属性的平均相似度最小值作为对应属性的平均质量分值，根据属性的平均相似度最小值和平均相似度最大值，获取对应属性的质量分数映射函数；

属性权重值计算步骤S13，根据角度、模糊、光照的平均质量分值fsim_ang、fsim_blur、fsim_bri，计算对应的质量分数影响值fλ_ang＝1-fsim_ang、fλ_blur＝1-fsim_blur、fλ_bri＝1-fsim_bri；根据角度、模糊、光照的质量分数影响值，分别计算角度权重值模糊权重值光照权重值

进一步地，所述平均相似度最值计算法S120包括：

属性人脸参考和探测图像获取步骤S121，对每个身份选取R1个标准人脸图像作为人脸参考图像，将属性样本图像集中人脸参考图像外的属性样本图像作为对应属性的人脸探测图像；

同种身份人脸比对相似度计算步骤S122，针对每个身份，采用K种人脸比对方法，分别计算每个人脸探测图像与对应身份的人脸参考图像的相似度值fsim_kij，0≤k≤K，0≤i≤R2，0≤j≤R1；针对每个身份，统计第k种人脸比对方法下，人脸探测图像与对应身份的人脸参考图像的相似度值的中间值fsim_k，将中间值fsim_k作为对应身份的第k种人脸比对方法的相似度值；针对每个身份，统计K种人脸比对方法的相似度值的平均值fsim，将平均值fsim作为对应身份的人脸比对相似度值；其中，所述k表示第k种人脸比对方法，K表示采用的人脸比对方法的数量；所述i和j分别表示对应身份下第i个人脸探测图像和第j个人脸参考图像，R1和R2分别表示对应身份下人脸探测图像和人脸参考图像的数量；

属性人脸平均相似度最值计算步骤S123，统计所有身份的人脸比对相似度值，将所有身份的人脸比对相似度值的最小值作为平均相似度最小值fsim_min，将所有身份的人脸比对相似度值的最大值作为平均相似度最大值fsim_max。

所述角度属性的人脸样本图像为标记不同人脸偏转角度，并且清晰、光照正常、无遮挡、无饰物、无表情的人脸图像；所述模糊属性的人脸样本图像为标记不同人脸图像模糊度，并且正面姿态、光照正常、无遮挡、无饰物、无表情的人脸图像；所述光照属性的人脸样本图像为标记不同人脸图像光照度，并且正面姿态、清晰、无遮挡、无饰物、无表情的人脸图像。

进一步地，所述不同人脸偏转角度的范围区间为0°～90°，可以按照人脸偏转角度的所属区间进行分级标注，示例性地，将人脸偏转角度每10°分成一级，分成[0°，10°)、[10°，20°)、[20°，30°)、……、[80°，90°)共9个人脸偏转角度等级，如果一张人脸图像的人脸偏转角度为24°，则将其分配到等级区间[20°，30°)。所述不同人脸偏转角度也可以标注具体的人脸偏转角度。

进一步地，所述不同人脸图像模糊度可以按照模糊的严重程度进行划分，可以划分成3～10个模糊等级。示例性地，将模糊的严重程度划分为4个模糊等级，0为清晰、1为轻微模糊、2为中等模糊、3为严重模糊。

进一步地，所述不同人脸图像光照度可以按照光照的程度进行划分，可以划分成3～7个光照等级。示例性地，将光照程度划分为5个光照等级，0为严重黑暗、1为严重曝光、2为轻度黑暗、3为轻度曝光、4为正常光照。

所述标准人脸图像为正面姿态、光照正常、清晰，且无遮挡、无饰物、无表情的人脸图像。其中标准人脸图像的角度属性为0°，模糊属性为清晰，光照属性为正常光照。

所述M≥1000，N≥20000。

其中，所述人脸比对方法为能够计算两张人脸图像的相似度的方法。所述人脸比对方法可以采用现有的人脸比对或者人脸匹配方法实现，例如：基于动态规划算法的人脸比对.吴忠华，沈世镒.计算机工程与应用.2006.33.53-55”、“基于图像分析的人脸比对技术研究.王峰.《南京理工大学》.2012”、“基于先验概率与小波变换的人脸比对研究.曹东明.电子科技大学.2010”、“SphereFace：Deep Hypersphere Embedding for FaceRecognition.Weiyang Liu，Yandong Wen，Zhiding Yu，Ming Li，Bhiksha Raj，LeSong.CVPR 2017”、“NormFace：L2 Hypersphere Embedding for Face Verification.FengWang，Xiang Xiang，Jian Cheng，Alan L.Yuille.CVPR2017”、“ArcFace：Additive AngularMargin Loss for Deep Face Recognition.Jiankang Deng，Jia Guo，StefanosZafeiriou.CVPR2018”等。

进一步地，所述K的取值范围为3～6。示例性地，采用4种人脸比对方法。

进一步地，所述R1的取值范围为1～8。所述R2根据选取的属性的人脸样本图像集中每种身份的人脸探测图像的数量确定。示例性地，选取了5000个身份的15万个标记角度属性的人脸样本图像作为角度属性样本图像集，其中身份为ID000001的角度属性样本图像有30个，从中选取了5个标准人脸图像作为人脸参考图像，人脸参考图像之外的25个角度属性样本图像作为人脸探测图像。

进一步地，所述属性平均质量分值计算步骤S12中属性的质量分数映射函数获取步骤为：设定属性的平均相似度最小值fsim_min对应质量分数0，设定属性的平均相似度最大值fsim_max对应质量分数1，则属性的质量分数映射函数为其中fsim_i为对应属性的当前人脸探测图像与人脸参考图像的人脸比对相似度值。示例性地，如果角度属性的平均相似度最小值、平均相似度最大值分别为0.2、0.9，则角度属性的质量分数映射函数为其中fsim_i为角度属性的当前人脸探测图像与人脸参考图像的人脸比对相似度值。

进一步地，所述第二步骤S2包括：

人脸样本选取步骤S21，选取M个身份的N个标记角度、模糊、光照属性的人脸图像作为人脸样本图像；针对每个身份，从人脸样本图像中选取一张标准人脸图像作为人脸参考图像，将人脸参考图像以外的人脸样本图像作为人脸探测图像；

人脸探测图像属性质量分数获取步骤S22，对于每个人脸探测图像，采用K种人脸比对方法，分别计算人脸探测图像与对应身份的人脸参考图像的相似度值，计算K种人脸比对方法的相似度值的平均值，根据相似度的平均值和属性质量分数映射函数，分别计算人脸探测图像的角度、模糊、光照属性的质量分数；

卷积神经网络训练步骤S23，将人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数输入到卷积神经网络中，采用卷积神经网络对人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型。

其中，所述卷积神经网络可以通过现有的卷积神经网络结构实现，输入层为角度、模糊、光照对应的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数，输出层为角度属性质量分数、模糊属性质量分数、光照属性质量分数。

进一步地，所述卷积神经网络(Convolutional Neural Network，简称CNN)包括以下一种或者多种的组合：RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD等。

其中，采用采用卷积神经网络对人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练的方法可以通过现有的卷积神经网络训练方法实现。

进一步地，所述第三步骤S3中所述待处理图像为至少一帧的场景图像。实施例，所述场景图像可以通过图像采集设备采集或者外部直接输入。实施例，所述场景图像采集设备可以为现有的图像采集设备或者装置，所述外部可以为图像视频库。

进一步地，所述第三步骤S3中人脸检测法可以通过现有的人脸检测或者人脸定位方法实现，包括以下一种或者多种的组合：基于先验知识的人脸检测法、基于分类器的人脸检测法、基于神经网络的人脸检测法。其中，所述基于先验知识的人脸检测法主要是通过肤色、模板匹配等人脸的先验知识，从图像中提取人脸区域；所述基于分类器的人脸检测法主要是通过特征点提取和分类器训练，从图像中提取人脸区域；所述基于神经网络的人脸检测法主要是通过神经网络训练，从图像中提取人脸区域。

进一步地，所述第四步骤S4包括：

属性质量分数获取步骤S41，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri；

质量评价分数计算步骤S42，根据人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri，以及角度权重值λ_ang、模糊权重值λ_blur、光照权重值λ_bri，根据质量评价公式fq＝λ_ang×fq_ang+λ_blur×fq_blur+λ_bri×fq_bri，计算人脸区域的质量评价分数fq；

质量评价结果输出步骤S43，输出人脸区域和对应的质量评价分数。

图2给出了按照本发明的基于多属性人脸比对的人脸图像质量评价装置的框架图。如图2所示，按照本发明的基于多属性人脸比对的人脸图像质量评价的方法包括：

属性权重值获取模块1，用于分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；

属性质量评价模型获取模块2，用于选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；

人脸区域获取模块3，用于输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；

人脸质量评价分数获取模块4，用于采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，根据角度、模糊、光照属性的质量分数和权重值，计算人脸区域的质量评价分数并输出。

进一步地，所述属性权重值获取模块1包括：

属性样本图像集选取模块11，用于分别选取M个身份的N个标记角度、模糊、光照属性的人脸样本图像作为角度属性样本图像集、模糊属性样本图像集、光照属性样本图像集；

属性平均质量分值计算模块12，用于分别针对角度、模糊、光照的属性样本图像集，采用平均相似度最值计算模块120，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值；将属性的平均相似度最小值作为对应属性的平均质量分值，根据属性的平均相似度最小值和平均相似度最大值，获取对应属性的质量分数映射函数；

属性权重值计算模块13，用于根据角度、模糊、光照的平均质量分值fsim_ang、fsim_blur、fsim_bri，计算对应的质量分数影响值fλ_ang＝1-fsim_ang、fλ_blur＝1-fsim_blur、fλ_bri＝1-fsim_bri；根据角度、模糊、光照的质量分数影响值，分别计算角度权重值模糊权重值光照权重值

进一步地，所述平均相似度最值计算模块120包括：

属性人脸参考和探测图像获取模块121，用于对每个身份选取R1个标准人脸图像作为人脸参考图像，将属性样本图像集中人脸参考图像外的属性样本图像作为对应属性的人脸探测图像；

同种身份人脸比对相似度计算模块122，用于针对每个身份，采用K种人脸比对方法，分别计算每个人脸探测图像与对应身份的人脸参考图像的相似度值fsim_kij，0≤k≤K，0≤i≤R2，0≤j≤R1；针对每个身份，统计第k种人脸比对方法下，人脸探测图像与对应身份的人脸参考图像的相似度值的中间值fsim_k，将中间值fsim_k作为对应身份的第k种人脸比对方法的相似度值；针对每个身份，统计K种人脸比对方法的相似度值的平均值fsim，将平均值fsim作为对应身份的人脸比对相似度值；其中，所述k表示第k种人脸比对方法，K表示采用的人脸比对方法的数量；所述i和j分别表示对应身份下第i个人脸探测图像和第j个人脸参考图像，R1和R2分别表示对应身份下人脸探测图像和人脸参考图像的数量；

属性人脸平均相似度最值计算模块123，用于统计所有身份的人脸比对相似度值，将所有身份的人脸比对相似度值的最小值作为平均相似度最小值fsim_min，将所有身份的人脸比对相似度值的最大值作为平均相似度最大值fsim_max。

所述角度属性的人脸样本图像为标记不同人脸偏转角度，并且清晰、光照正常、无遮挡、无饰物、无表情的人脸图像；所述模糊属性的人脸样本图像为标记不同人脸图像模糊度，并且正面姿态、光照正常、无遮挡、无饰物、无表情的人脸图像；所述光照属性的人脸样本图像为标记不同人脸图像光照度，并且正面姿态、清晰、无遮挡、无饰物、无表情的人脸图像。

进一步地，所述属性质量评价模型获取模块2包括：

人脸样本选取模块21，用于选取M个身份的N个标记角度、模糊、光照属性的人脸图像作为人脸样本图像；针对每个身份，从人脸样本图像中选取一张标准人脸图像作为人脸参考图像，将人脸参考图像以外的人脸样本图像作为人脸探测图像；

人脸探测图像属性质量分数获取模块22，用于对于每个人脸探测图像，采用K种人脸比对方法，分别计算人脸探测图像与对应身份的人脸参考图像的相似度值，计算K种人脸比对方法的相似度值的平均值，根据相似度的平均值和属性质量分数映射函数，分别计算人脸探测图像的角度、模糊、光照属性的质量分数；

卷积神经网络训练模块23，用于将人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数输入到卷积神经网络中，采用卷积神经网络对人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型。

其中，所述卷积神经网络可以通过现有的卷积神经网络结构实现，输入层为角度、模糊、光照对应的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数，输出层为角度属性质量分数、模糊属性质量分数、光照属性质量分数。

进一步地，所述卷积神经网络(Convolutional Neural Network，简称CNN)包括以下一种或者多种的组合：RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD等。

进一步地，所述人脸质量评价分数获取模块4包括：

属性质量分数获取模块41，用于采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri；

质量评价分数计算模块42，用于根据人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri，以及角度权重值λ_ang、模糊权重值λ_blur、光照权重值λ_bri，根据质量评价公式fq＝λ_ang×fq_ang+λ_blur×fq_blur+λ_bri×fq_bri，计算人脸区域的质量评价分数fq；

质量评价结果输出模块43，用于输出人脸区域和对应的质量评价分数。

与现有的人脸图像质量评价方法相比，本发明的基于多属性人脸比对的人脸图像质量评价方法，通过多属性人脸比对得到对应属性的权重值，再通过多属性质量评价网络的训练，得到人脸图像对应属性的质量分数，根据多属性的权重值和质量分数，达到提高比对成功率的同时提高质量评价准确率的目的。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (14)

1.基于多任务的人脸图像质量评价方法，其特征在于，该方法包括：

第一步骤，分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；

第二步骤，选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；

第三步骤，输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；

第四步骤，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，根据角度、模糊、光照属性的质量分数和权重值，计算人脸区域的质量评价分数并输出。

2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：

属性样本图像集选取步骤，分别选取M个身份的N个标记角度、模糊、光照属性的人脸样本图像作为角度属性样本图像集、模糊属性样本图像集、光照属性样本图像集；

属性平均质量分值计算步骤，分别针对角度、模糊、光照的属性样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值；将属性的平均相似度最小值作为对应属性的平均质量分值，根据属性的平均相似度最小值和平均相似度最大值，获取对应属性的质量分数映射函数；

属性权重值计算步骤，根据角度、模糊、光照的平均质量分值fsim_ang、fsim_blur、fsim_bri，计算对应的质量分数影响值fλ_ang＝1-fsim_ang、fλ_blur＝1-fsim_blur、fλ_bri＝1-fsim_bri；根据角度、模糊、光照的质量分数影响值，分别计算角度权重值模糊权重值光照权重值

3.如权利要求2所述的方法，其特征在于，所述平均相似度最值计算法包括：

属性人脸参考和探测图像获取步骤，对每个身份选取R1个标准人脸图像作为人脸参考图像，将属性样本图像集中人脸参考图像外的属性样本图像作为对应属性的人脸探测图像；

同种身份人脸比对相似度计算步骤，针对每个身份，采用K种人脸比对方法，分别计算每个人脸探测图像与对应身份的人脸参考图像的相似度值fsim_kij，0≤k≤K，0≤i≤R2，0≤j≤R1；针对每个身份，统计第k种人脸比对方法下，人脸探测图像与对应身份的人脸参考图像的相似度值的中间值fsim_k，将中间值fsim_k作为对应身份的第k种人脸比对方法的相似度值；针对每个身份，统计K种人脸比对方法的相似度值的平均值fsim，将平均值fsim作为对应身份的人脸比对相似度值；其中，所述k表示第k种人脸比对方法，K表示采用的人脸比对方法的数量；所述i和j分别表示对应身份下第i个人脸探测图像和第j个人脸参考图像，R1和R2分别表示对应身份下人脸探测图像和人脸参考图像的数量；属性人脸平均相似度最值计算步骤，统计所有身份的人脸比对相似度值，将所有身份的人脸比对相似度值的最小值作为平均相似度最小值fsim_min，将所有身份的人脸比对相似度值的最大值作为平均相似度最大值fsim_max。

4.如权利要求2所述的方法，其特征在于，所述角度属性的人脸样本图像为标记不同人脸偏转角度，并且清晰、光照正常、无遮挡、无饰物、无表情的人脸图像；所述模糊属性的人脸样本图像为标记不同人脸图像模糊度，并且正面姿态、光照正常、无遮挡、无饰物、无表情的人脸图像；所述光照属性的人脸样本图像为标记不同人脸图像光照度，并且正面姿态、清晰、无遮挡、无饰物、无表情的人脸图像。

5.如权利要求2所述的方法，其特征在于，所述属性平均质量分值计算步骤中属性的质量分数映射函数获取步骤为：设定属性的平均相似度最小值fsim_min对应质量分数0，设定属性的平均相似度最大值fsim_max对应质量分数1，则属性的质量分数映射函数为其中fsim_i为对应属性的当前人脸探测图像与人脸参考图像的人脸比对相似度值。

6.如权利要求3所述的方法，其特征在于，所述标准人脸图像为正面姿态、光照正常、清晰，且无遮挡、无饰物、无表情的人脸图像。

7.如权利要求1所述的方法，其特征在于，所述第二步骤包括：

人脸样本选取步骤，选取M个身份的N个标记角度、模糊、光照属性的人脸图像作为人脸样本图像；针对每个身份，从人脸样本图像中选取一张标准人脸图像作为人脸参考图像，将人脸参考图像以外的人脸样本图像作为人脸探测图像；

人脸探测图像属性质量分数获取步骤，对于每个人脸探测图像，采用K种人脸比对方法，分别计算人脸探测图像与对应身份的人脸参考图像的相似度值，计算K种人脸比对方法的相似度值的平均值，根据相似度的平均值和属性质量分数映射函数，分别计算人脸探测图像的角度、模糊、光照属性的质量分数；

卷积神经网络训练步骤，将人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数输入到卷积神经网络中，采用卷积神经网络对人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型。

8.如权利要求1所述的方法，其特征在于，所述第四步骤包括：

属性质量分数获取步骤，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri；

质量评价分数计算步骤，根据人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri，以及角度权重值λ_ang、模糊权重值λ_blur、光照权重值λ_bri，根据质量评价公式fq＝λ_ang×fq_ang+λ_blur×fq_blur+λ_bri×fq_bri，计算人脸区域的质量评价分数fq；

质量评价结果输出步骤，输出人脸区域和对应的质量评价分数。

9.如权利要求3或7所述的方法，进一步地，所述M≥1000，N≥20000，K的取值范围为3～6，R1的取值范围为1～8。

10.基于多属性人脸比对的人脸图像质量评价装置，其特征在于，该装置包括：

属性权重值获取模块，用于分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；

属性质量评价模型获取模块，用于选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；

人脸区域获取模块，用于输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；

人脸质量评价分数获取模块，用于采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，根据角度、模糊、光照属性的质量分数和权重值，计算人脸区域的质量评价分数并输出。

11.如权利要求10所述的装置，其特征在于，所述属性权重值获取模块包括：

属性样本图像集选取模块，用于分别选取M个身份的N个标记角度、模糊、光照属性的人脸样本图像作为角度属性样本图像集、模糊属性样本图像集、光照属性样本图像集；

属性平均质量分值计算模块，用于分别针对角度、模糊、光照的属性样本图像集，采用平均相似度最值计算模块，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值；将属性的平均相似度最小值作为对应属性的平均质量分值，根据属性的平均相似度最小值和平均相似度最大值，获取对应属性的质量分数映射函数；

属性权重值计算模块，用于根据角度、模糊、光照的平均质量分值fsim_ang、fsim_blur、fsim_bri，计算对应的质量分数影响值fλ_ang＝1-fsim_ang、fλ_blur＝1-fsim_blur、fλ_bri＝1-fsim_bri；根据角度、模糊、光照的质量分数影响值，分别计算角度权重值模糊权重值光照权重值

12.如权利要求11所述的装置，其特征在于，所述平均相似度最值计算模块包括：

属性人脸参考和探测图像获取模块，用于对每个身份选取R1个标准人脸图像作为人脸参考图像，将属性样本图像集中人脸参考图像外的属性样本图像作为对应属性的人脸探测图像；

同种身份人脸比对相似度计算模块，用于针对每个身份，采用K种人脸比对方法，分别计算每个人脸探测图像与对应身份的人脸参考图像的相似度值fsim_kij，0≤k≤K，0≤i≤R2，0≤j≤R1；针对每个身份，统计第k种人脸比对方法下，人脸探测图像与对应身份的人脸参考图像的相似度值的中间值fsim_k，将中间值fsim_k作为对应身份的第k种人脸比对方法的相似度值；针对每个身份，统计K种人脸比对方法的相似度值的平均值fsim，将平均值fsim作为对应身份的人脸比对相似度值；其中，所述k表示第k种人脸比对方法，K表示采用的人脸比对方法的数量；所述i和j分别表示对应身份下第i个人脸探测图像和第j个人脸参考图像，R1和R2分别表示对应身份下人脸探测图像和人脸参考图像的数量；

属性人脸平均相似度最值计算模块，用于统计所有身份的人脸比对相似度值，将所有身份的人脸比对相似度值的最小值作为平均相似度最小值fsim_min，将所有身份的人脸比对相似度值的最大值作为平均相似度最大值fsim_max。

13.如权利要求10所述的装置，其特征在于，所述属性质量评价模型获取模块包括：

人脸样本选取模块，用于选取M个身份的N个标记角度、模糊、光照属性的人脸图像作为人脸样本图像；针对每个身份，从人脸样本图像中选取一张标准人脸图像作为人脸参考图像，将人脸参考图像以外的人脸样本图像作为人脸探测图像；

人脸探测图像属性质量分数获取模块，用于对于每个人脸探测图像，采用K种人脸比对方法，分别计算人脸探测图像与对应身份的人脸参考图像的相似度值，计算K种人脸比对方法的相似度值的平均值，根据相似度的平均值和属性质量分数映射函数，分别计算人脸探测图像的角度、模糊、光照属性的质量分数；

卷积神经网络训练模块，用于将人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数输入到卷积神经网络中，采用卷积神经网络对人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型。

14.如权利要求10所述的装置，其特征在于，所述人脸质量评价分数获取模块包括：

属性质量分数获取模块，用于采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri；

质量评价分数计算模块，用于根据人脸区域的角度属性质量分数fq_ang、模糊属性质量分数fq_blur、光照属性质量分数fq_bri，以及角度权重值λ_ang、模糊权重值λ_blur、光照权重值λ_bri，根据质量评价公式fq＝λ_ang×fq_ang+λ_blur×fq_blur+λ_bri×fq_bri，计算人脸区域的质量评价分数fq；

质量评价结果输出模块，用于输出人脸区域和对应的质量评价分数。