CN113506260B - 一种人脸图像质量评估方法、装置、电子设备及存储介质 - Google Patents

一种人脸图像质量评估方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113506260B
CN113506260B CN202110765778.1A CN202110765778A CN113506260B CN 113506260 B CN113506260 B CN 113506260B CN 202110765778 A CN202110765778 A CN 202110765778A CN 113506260 B CN113506260 B CN 113506260B
Authority
CN
China
Prior art keywords
local
interest
face
face image
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110765778.1A
Other languages
English (en)
Other versions
CN113506260A (zh
Inventor
刘浩
马英楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN202110765778.1A priority Critical patent/CN113506260B/zh
Publication of CN113506260A publication Critical patent/CN113506260A/zh
Application granted granted Critical
Publication of CN113506260B publication Critical patent/CN113506260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸图像质量评估方法、装置、电子设备及存储介质，包括：获得利用自然图像质量评估(NIQE)方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值；计算人脸感兴趣区域的局部方差的总和；计算人脸感兴趣区域的局部质量评分值与人脸感兴趣区域的局部方差的总和之间的加权和，将加权和作为评估结果。应用本申请实施例方案，由于仅针对人脸感兴趣区域计算图像质量，不受非人脸部分的影响，可以更加准确评估人脸部分的图像质量；另一方面，由于针对人脸感兴趣区域计算局部方差的总和，可以进一步选择出人脸部分细节信息丰富的人脸图像，提高了人脸图像评估的准确性，也更加有利于后续人脸识别的准确性。

Description

一种人脸图像质量评估方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及一种人脸图像质量评估方法，一种人脸图像质量评估装置，一种电子设备，一种计算机可读存储介质以及一种包含指令的计算机程序产品。
背景技术
人脸识别技术通常包括图像质量检测、人脸检测和人脸识别三个重要模块。实际应用中，某些人脸图像全局质量很好，但五官部分存在模糊或者遮挡现象，仍然不利于后续的人脸识别环节。相反，某些图像背景模糊，全局质量不高，但图像中的人脸部分甚至仅人脸的五官部分却非常清晰。因此，针对全局评估的现有技术无法准确评估人脸图像的质量，也不利于后续人脸识别的准确性。
发明内容
本申请实施例提出一种人脸图像质量评估方法，该方法包括：
获得利用自然图像质量评估(NIQE)方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值；
获得所述人脸感兴趣区域的局部方差的总和，所述局部方差为设置的二维高斯窗口内图像像素值与局部均值的方差，用于表示图像细节信息的丰富程度；
计算所述人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的所述加权和作为所述当前待评估的人脸图像的评估结果。
进一步地，
所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤之前，该方法还包括：
利用所述NIQE方法计算所述当前待评估的人脸图像的全局质量评分值；
在确定所述当前待评估的人脸图像的全局质量评分值大于所述全局质量阈值的情况下，从所述当前待评估的人脸图像中确定人脸感兴趣区域。
进一步地，
该方法还包括：
在确定所述当前待评估的人脸图像的全局质量评分值小于或等于所述全局质量阈值的情况下，丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述利用NIQE方法计算所述当前待评估的人脸图像的全局质量评分值的步骤。
进一步地，
所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤，和获得所述人脸感兴趣区域的局部方差的总和的步骤之间，该方法还包括：
在确定所述人脸感兴趣区域的局部质量评分值大于预先设置的局部质量阈值的情况下，执行所述获得人脸感兴趣区域的局部方差的总和的步骤。
进一步地，该方法还包括：
在确定所述人脸感兴趣区域的局部质量评分值小于或等于所述局部质量阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤。
进一步地，
所述获得人脸感兴趣区域的局部方差的总和的步骤，和所述计算人脸感兴趣区域的局部质量评分值与人脸感兴趣区域的局部方差的总和的加权和的步骤之间，该方法还包括：
在确定所述人脸感兴趣区域的局部方差的总和大于预先设置的局部方差阈值的情况下，继续执行所述计算人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和的加权和的步骤。
进一步地，该方法还包括：
在确定所述人脸感兴趣区域的局部方差的总和小于或等于所述局部方差阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤。
进一步地，
所述人脸感兴趣区域为第一区域与第二区域叠加的区域，所述第一区域的边缘和所述第二区域的边缘交叉叠加，所述第一区域为根据人脸关键点获得的区域，所述第二区域是根据第一区域的中心为焦点而设置的椭圆。
进一步地，所述人脸感兴趣区域的局部方差为所述NIQE方法中的局部方差。
本申请实施例还提供一种人脸图像质量评估装置，该装置包括：局部质量评估单元、局部方差计算单元、加权单元；
所述局部质量评估单元，用于获得利用自然图像质量评估(NIQE)方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值；
所述局部方差计算单元，用于获得所述人脸感兴趣区域的局部方差的总和，所述局部方差为设置的二维高斯窗口内图像像素值与局部均值的方差，用于表示图像细节信息的丰富程度；
所述加权单元，用于计算所述人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的所述加权和作为所述人脸图像的评估结果。
进一步地，
该装置进一步包括：人脸感兴趣区域确定单元、全局质量评估单元和第一筛选单元；
所述人脸感兴趣区域确定单元，用于从待评估的人脸图像中确定人脸感兴趣区域；
所述全局质量评估单元，利用所述NIQE方法计算所述待评估的人脸图像的全局质量评分值；
所述第一筛选单元，用于在确定所述当前待评估的人脸图像的全局质量评分值大于所述全局质量阈值的情况下，从所述当前待评估的人脸图像中确定人脸感兴趣区域。
进一步地，
所述第一筛选单元还用于，在确定所述当前待评估的人脸图像的全局质量评分值小于或等于所述全局质量阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述利用NIQE方法计算所述当前待评估的人脸图像的全局质量评分值的步骤。
该装置进一步包括：
第二筛选单元，用于在确定所述人脸感兴趣区域的局部质量评分值大于预先设置的局部质量阈值的情况下，执行所述获得人脸感兴趣区域的局部方差的总和的步骤。
进一步地，
所述第二筛选单元还用于，在确定所述人脸感兴趣区域的局部质量评分值小于或等于所述局部质量阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤。
该装置进一步包括：
第三筛选单元，用于在确定所述人脸感兴趣区域的局部方差的总和大于预先设置的局部方差阈值的情况下，继续执行所述计算人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和的加权和的步骤。
进一步地，
所述第三筛选单元还用于，在确定所述人脸感兴趣区域的局部方差的总和小于或等于所述局部方差阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现任一项所述的人脸图像质量评估方法的步骤。
本申请实施例还提供一种电子设备，该电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一项所述的人脸图像质量评估方法。
本申请实施例还提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述任一项所述的方法。
综上所述，本申请实施例仅针对人脸感兴趣区域，利用自然图像质量评估(NIQE)方法计算图像质量，不受非人脸部分的影响，可以更加准确评估人脸部分的图像质量。另一方面，本申请实施例还针对人脸感兴趣区域计算局部方差的总和，可以进一步选择出人脸部分细节信息丰富的人脸图像，提高了人脸图像评估的准确性，也更加有利于后续人脸识别的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实现人脸图像质量评估方法实施例一的流程图。
图2是本申请实现人脸图像质量评估方法实施例二的流程图。
图3是本申请方法实施例三中拟合多元高斯模型的方法流程图。
图4是人脸图像示例一。
图5是本申请实现人脸图像质量评估方法实施例四的流程图。
图6是人脸感兴趣区域示例一。
图7是人脸感兴趣区域示例二。
图8是人脸图像示例二。
图9是人脸感兴趣区域示例三。
图10是人脸感兴趣区域示例四。
图11是本申请实现人脸图像质量评估的装置实施例一的结构示意图。
图12是本申请实现人脸图像质量评估的装置实施例二的结构示意图。
图13是本申请实施例中的电子设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
由于人脸图像在采集时可能存在运动模糊、人脸不正、人脸不全、闭眼模糊等情况，影响后续人脸识别的效果，因此通常会对人脸图像全局的质量进行评估。本申请实施例针对一些技术方案中对人脸图像全局进行评估的缺陷，提出仅对人脸感兴趣区域进行评估的方法。具体的，本申请实施例利用自然图像质量评估(NIQE)方法对人脸感兴趣区域进行局部质量评估，且计算人脸感兴趣区域的局部方差的总和，然后对局部质量评分值和局部方差的总和进行加权和的计算获得评估结果，从而使得评估更为准确。
图1是本申请实现人脸图像质量评估方法实施例一的流程图。如图1所示，该方法包括：
步骤101：获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值。
如前所述，一些技术方案中是对人脸图像全局进行评估的。但实际应用中，图像中仅人脸部分才是人脸识别的重点部分，图像的全局质量并不能代表人脸部分的质量。因此，为了更加准确地评估人脸部分的质量，可以从当前待评估的人脸图像中先确定出人脸感兴趣区域，所述人脸感兴趣区域是包括人脸五官的区域。在对图像进行质量评估时，一些技术方案中通常采用梯度算法或者神经网络模型来计算图像质量，其运算速度比较慢。而NIQE是自然图像质量评估方法，主要基于构建一系列的用于衡量图像质量的特征，并且将这些特征用于拟合多元的高斯模型，通常用于压缩图像质量的检测中。为了提高运算速度以及便于后续局部方差的总和的计算，本步骤创造性地采用NIQE方法来计算人脸感兴趣区域的局部质量评分值。其中，NIQE方法针对感兴趣区域拟合出多元高斯模型后，会将拟合出的多元高斯模型与预先获得的标准的多元高斯模型进行比较，计算其差异程度，再利用差异程度确定感兴趣区域的质量评分值。
步骤102：获得人脸感兴趣区域的局部方差的总和，所述局部方差为设置的二维高斯窗口内图像像素值与局部均值的方差，用于表示图像细节信息的丰富程度。
本申请发明人在研发过程中发现，即使人脸感兴趣区域部分的图像质量高，也未必适合作为人脸识别的图像。比如，某人脸感兴趣区域的图像质量高，但是存在抿嘴或者闭眼的情况，失去了大量的细节信息，这显然不利于评估的准确性，也不利于后续可能的人脸识别环节。为了避免此情况，本步骤针对人脸感兴趣区域计算其局部方差的总和，将局部方差的总和作为衡量人脸感兴趣区域部分中图像细节信息的丰富程度。本步骤所述局部方差也称为锐利算子，即二维高斯窗口内图像像素值与局部均值的方差，并将人脸感兴趣区域中计算出的所有局部方差相加得到局部方差的总和。
步骤103：计算所述人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的所述加权和作为所述当前待评估的人脸图像的评估结果。
至此，本方法实施例在步骤101已经获得衡量人脸感兴趣区域局部的质量评分值，在步骤102获得了衡量人脸感兴趣区域的细节信息丰富程度的局部方差的总和，本步骤103从两个角度同时对感兴趣区域进行评估，即计算二者的加权和，将加权和作为评估结果。实际应用中，获得当前待评估的人脸图像的评估结果之后，对于评估结果达到评估效果的人脸图像可以进一步进行如人脸识别的处理。
应用本申请方法实施例一，一方面由于仅针对人脸感兴趣区域计算图像质量，不受非人脸部分的影响，可以更加准确评估人脸部分的图像质量；另一方面，由于针对人脸感兴趣区域计算局部方差的总和，可以进一步选择出人脸部分细节信息丰富的人脸图像，提高了人脸图像评估的准确性，也更加有利于后续人脸识别的准确性。
为了更好地说明本申请方案，下面利用其它示例性实施例进行详细说明。
图2是本申请实现人脸图像质量评估方法实施例二的流程图。在本申请方法实施例二中，为了进一步评估出优质的人脸图像，还可以进一步对待评估的人脸图像的全局质量进行筛选，或者对人脸感兴趣区域的局部质量进行筛选，或者对人脸感兴趣区域的细节信息的丰富程度进行筛选。每一种筛选单独实施的具体方法包括：
第一，对待评估的人脸图像的全局质量进行筛选的方法为：
在获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤之前，可以包括：利用所述NIQE方法计算所述当前待评估的人脸图像的全局质量评分值；在确定所述当前待评估的人脸图像的全局质量评分值大于所述全局质量阈值的情况下，从所述当前待评估的人脸图像中确定人脸感兴趣区域。进一步地，在确定所述当前待评估的人脸图像的全局质量评分值小于或等于所述全局质量阈值的情况下，丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述利用NIQE方法计算所述当前待评估的人脸图像的全局质量评分值的步骤。
第二，对人脸感兴趣区域的局部质量进行筛选的方法为：
在获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤，和获得所述人脸感兴趣区域的局部方差的总和的步骤之间，包括：在确定所述人脸感兴趣区域的局部质量评分值大于预先设置的局部质量阈值的情况下，执行所述获得人脸感兴趣区域的局部方差的总和的步骤。进一步地，在确定所述人脸感兴趣区域的局部质量评分值小于或等于所述局部质量阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤。
第三，对人脸感兴趣区域的细节信息的丰富程度进行筛选的方法为：
在获得人脸感兴趣区域的局部方差的总和的步骤，和所述计算人脸感兴趣区域的局部质量评分值与人脸感兴趣区域的局部方差的总和的加权和的步骤之间，包括：在确定所述人脸感兴趣区域的局部方差的总和大于预先设置的局部方差阈值的情况下，继续执行所述计算人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和的加权和的步骤。进一步地，在确定所述人脸感兴趣区域的局部方差的总和小于或等于所述局部方差阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤。
上述分别列出三种筛选方法，还给出了假设单独实施其中一种筛选方法时，如果未达到要求所需要返回的步骤。本申请实施例二同时实施上述三种筛选手段，实际应用中，也可以任意选择其中一种或者任意组合进行筛选。如果任意实施某种筛选方法的组合，其未达到要求时所返回的步骤可以根据实际情况确定。
具体地，如图2所示，本申请方法实施例二的方法包括：
步骤201：利用NIQE方法计算当前待评估的人脸图像的全局质量评分值。
步骤202：将当前待评估的人脸图像的全局质量评分值和预先设置的全局质量阈值进行比较，如果达到所述全局质量阈值，则继续执行步骤203；如果未达到所述全局质量阈值，则执行步骤209。
上述步骤201和步骤202是针对当前待评估的人脸图像进行全局质量筛选的方法。首先，步骤201先利用NIQE方法针对当前待评估的人脸图像计算全局质量评分值，步骤202将达到预设的全局质量阈值的筛选出来进入步骤203下一个环节进行处理，而未达到预设的全局质量阈值的人脸图像将被丢弃。经过步骤201和202的第一种筛选，评估出来的人脸图像不但在人脸感兴趣区域部分的质量很好，而且整个图像全局的质量也达到了一定质量要求。步骤201和步骤202是进一步评估出优质的人脸图像的方法，实际应用中，如果不要求人脸图像的全局质量，也可以省略步骤201和步骤202。
步骤203：从当前待评估的人脸图像中确定人脸感兴趣区域。
实际应用中，可以采用深度学习算法(比如Retinanet网络，Mobilenet V1,V2,V3等模型)确定人脸感兴趣区域。实际应用中，也可以采用其他算法，比如adaboost+AAM等。
步骤204：利用NIQE方法计算人脸感兴趣区域的局部质量评分值。
本步骤与方法实施例一中的步骤101相同。
步骤205：将计算出的人脸感兴趣区域的局部质量评分值和预先设置的局部质量阈值进行比较，如果达到局部质量阈值，则继续执行步骤206；如果未达到局部质量阈值，则执行步骤209。
本步骤是对人脸感兴趣区域的局部质量进行筛选的方法，是本申请方法实施例二中的第二种筛选，达到预设局部质量阈值的将被筛选出来进入下一个环节。另外，本步骤是进一步评估出优质的人脸图像的方法，实际应用中也可以省略本步骤205。
步骤206：计算人脸感兴趣区域的局部方差的总和，所述局部方差为设置的二维高斯窗口内图像像素值与局部均值的方差，用于表示图像细节信息的丰富程度。
本步骤与方法实施例一中的步骤102相同。本步骤在计算感兴趣区域的局部方差时，可以直接利用步骤201或者步骤204在计算NIQE时涉及到的局部方差σ(i,j)，或者步骤504自身在计算时也可以直接利用步骤501计算NIQE时涉及到的局部方差σ(i,j)，即：所述人脸感兴趣区域的局部方差为NIQE方法中的局部方差，从而可以进一步减少计算量，提高运算速度。
步骤207：将计算出的人脸感兴趣区域的局部方差的总和与预先设置的局部方差阈值进行比较，如果达到所述局部方差阈值，则继续执行步骤208；如果未达到所述局部方差阈值，则执行步骤209。
本步骤是对人脸感兴趣区域的细节信息的丰富程度进行筛选的方法，是本申请方法实施例二中的第三种筛选，达到预设局部方差阈值的将被筛选出来进入下一个环节。另外，本步骤是进一步评估出优质的人脸图像的方法，实际应用中也可以省略本步骤207。
步骤208：计算人脸感兴趣区域的局部质量评分值与人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的加权和作为当前待评估的人脸图像的评估结果。
本步骤方法实施例一中的步骤103相同。
步骤209：丢弃当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回步骤201。
与方法实施例一相同，本申请方法实施例二仅针对人脸感兴趣区域计算图像质量，不受非人脸部分的影响，还针对人脸感兴趣区域计算局部方差的总和，可以选择出人脸部分细节信息丰富的人脸图像。另外，由于本申请方法实施例二中还增加了三种筛选方式，可以进一步筛选出优质的人脸图像，提高人脸图像评估的准确性，，也更加有利于后续人脸识别的准确性。
在方法实施例三中，假设事先有N0张符合评估要求的高质量人脸图像，需要利用其生成标准的多元高斯模型。同时，假设有N1张待评估的人脸图像，需要生成拟合的多元高斯模型。此后，将待评估的人脸图像拟合出的多元高斯模型与标准的多元高斯模型进行比较，计算其差异程度，并利用差异程度确定待评估的人脸图像的全局质量评分值。另外，还假设有N2张人脸感兴趣区域，需要生成拟合的多元高斯模型，并与标准的多元高斯模型进行比较，计算其差异程度，利用差异程度确定感兴趣区域的局部质量。可见，不论是计算全局质量评分值，还是计算局部质量评分值，都需要拟合多元高斯模型。下面详细介绍本申请实施例中拟合多元高斯模型的方法。
图3是本申请方法实施例三中拟合多元高斯模型的方法流程图。在本申请实施例中，用于拟合多元高斯模型的图像均统称为待处理的人脸图像，可能为N0张符合评估要求的高质量人脸图像，可能为N1张待评估的人脸图像，也可能为N2张人脸感兴趣区域。如图3所示，该方法包括：
步骤301：从待处理的人脸图像中提取自然场景统计特性(NSS)，计算均值对比度归一化系数(MSCN)。
其中，自然场景统计特性(NSS)包括局部均值μ和局部方差σ。局部均值μ表示二维高斯窗口内的像素平均值，局部方差σ表示二维高斯窗口内的像素与局部均值μ的方差。MSCN系数具有由于失真而改变的特征统计特性，并且量化该变化使得能够预测影响图像的失真类型以及感知质量。计算MSCN的公式由如下公式1表示：
其中，i和j表示待处理的人脸图像的坐标；I(i,j)表示坐标(i,j)处的像素值；μ(i,j)表示坐标(i,j)处的局部均值；σ(i,j)表示坐标(i,j)处的局部方差，c为防止分母为0的常数，表示计算出的MSCN系数。
具体的，μ(i,j)可用公式2表示，σ(i,j)可用公式3表示：
其中，W＝{wk,l|k＝-K，…，K，l＝-L，…，L}，W为二维高斯窗口或称为高斯核，2K为二维高斯窗口的长，2L为二维高斯窗口的宽。
步骤302：分别计算所述待处理的人脸图像中事先划分的各区域块的局部方差的总和，并根据计算出的各区域块的局部方差的总和选择用于拟合多元高斯模型的区域块。
图4是人脸图像示例一。以图4为例，假设待处理的人脸图像事先划分为9块区域，针对每一个区域分别计算局部方差的总和。实际应用中，如果局部方差的总和越大，说明细节信息丰富程度越高，相反则细节信息丰富程度越高。在图4的示例中，假设计算出9个局部方差的总和中，脸部所在区域的局部方差的总和X最大，标志有“A”字样的区域块的局部方差的总和均大于X*60％的值，可以用于参与拟合多元高斯模型。实际应用中，如何选择参与拟合多元高斯模型的区域块由应用本申请实施例的用户自行确定，并不限于此描述。
步骤303：利用选择出的区域块的MSCN系数拟合广义高斯分布(GGD)和非对称广义高斯分布(AGGD)特征，并根据GGD和AGGD特征拟合出多元高斯模型。
本领域技术人员可以理解，被选择的区域中的MSCN系数可以用于拟合广义高斯分布(GGD)和非对称广义高斯分布(AGGD)特征，再利用GGD和AGGD的NSS特征拟合多元高斯模型。比如，可以在被选择的区域块内部以及水平、垂直、正斜和反斜四个方向确定18维NSS特征，并在待处理图像的另一尺度下再次提取18维NSS特征，共获得36维NSS特征。此后，再根据该36维NSS特征拟合出多元高斯模型，多元高斯模型可以用公式4表示：
其中，(x1,...,xk)表示用于拟合的多维NSS特征，比如上述的36维特征，k表示维数，v表示多元高斯分布的均值，∑表示多元高斯分布的协方差。
至此，本申请方法实施例三介绍了如何拟合多元高斯模型。也就是说，根据N0张高质量人脸图像生成标准的多元高斯模型时，可以采用上述方法实施例三；将N1张待评估的人脸图像生成拟合的多元高斯模型时，可以采用上述方法实施例三；将N2张人脸感兴趣区域生成拟合的多元高斯模型时，也可以采用上述方法实施例三。
比如：在方法实施例二的步骤201中，利用NIQE方法计算当前待评估的人脸图像的全局质量评分值时，具体可以为：
A1)针对N0张高质量人脸图像，利用上述步骤301～步骤303生成标准的多元高斯模型MVG1；
A2)针对N1张待评估的人脸图像，利用上述步骤301～步骤303分别生成拟合的多元高斯模型MVG2；
A3)将待评估人脸图像拟合的多元高斯模型MVG2和标准的多元高斯模型MVG1进行比较差异，根据差异获得全局质量评分值。
在衡量两个多元高斯模型的差异或者称距离时，通常是利用如下公式5比较两个多元高斯模型的特征v和∑：
其中，v1和v2分别是两个多元高斯模型的均值，∑1和∑2分别是两个多元高斯模型的协方差。
同理，在已有标准的多元高斯模型MVG1的基础上，方法实施例二的步骤204中，利用NIQE方法计算人脸感兴趣区域的局部质量评分值时，具体可以为：
B1)针对N1张待评估的人脸感兴趣区域，利用上述步骤301～步骤303分别生成拟合的多元高斯模型MVG3；
B2)将待评估的人脸感兴趣区域拟合的多元高斯模型MVG3和标准的多元高斯模型MVG1进行比较差异，并根据如上述公式5所示的方法计算其差异获得局部质量评分值。这里，由于仅评估感兴趣区域的图像质量，而不是整个图像，因此称为局部质量评分值。
在方法实施例二和方法实施例三的基础上，下面介绍实现人脸图像质量评估方法实施例四。在方法实施例四中，仍然假设事先有N0张符合评估要求的高质量人脸图像，需要利用其生成标准的多元高斯模型；假设有N1张待评估的人脸图像需要生成拟合的多元高斯模型；还假设有N2张人脸感兴趣区域，需要生成拟合的多元高斯模型。
图5是本申请实现人脸图像质量评估方法实施例四的流程图。如图5所示，该方法包括：
步骤501：利用NIQE方法计算当前待评估的人脸图像的全局质量评分值。
步骤502：将当前待评估的人脸图像的全局质量评分值和预先设置的全局质量阈值进行比较，如果达到所述全局质量阈值，则继续执行步骤503；如果未达到所述全局质量阈值，则执行步骤509。
上述步骤501～502与方法实施例二中的步骤201～202相同。
在步骤501中，假设针对N0张符合评估要求的高质量人脸图像，利用方法实施例三的步骤301～303生成标准的多元高斯模型MVG1；针对待评估的人脸图像，利用方法实施例三的步骤301～303生成拟合的多元高斯模型MVG2；将待评估人脸图像拟合的多元高斯模型MVG2和标准的多元高斯模型MVG1进行比较差异，根据差异获得全局质量评分值。
在步骤502中，将步骤501计算出的当前待评估的人脸图像的全局质量评分值与预设的全局质量阈值比较，进行第一种筛选。如果达到所述全局质量阈值，将继续下一个环节；如果未达到所述全局质量阈值，说明当前待评估的人脸图像从整体上不符合要求，则直接丢弃再处理下一个待评估的人脸图像。经过第一种筛选的方式，假设从N1张待评估的人脸图像筛选出N2张，后续步骤将仅对这N2张人脸图像的人脸感兴趣区域进行处理。
步骤503：从当前待评估的人脸图像中确定人脸感兴趣区域。
本步骤与方法实施例二中的步骤203相同。
图6的人脸框中的部分，即本申请实施例所述人脸感兴趣区域示例一。实际应用中，利用深度学习等方法确定出来的人脸框不但包括人脸关键点(如左眼、右眼、鼻子、左嘴角、右嘴角)，还包括相关性不大的其他干扰信息。这些干扰信息属于噪声，会影响后续人脸识别的效果。
为此，本申请实施例还提出另外一种确定人脸感兴趣区域的方法：
人脸感兴趣区域为第一区域与第二区域叠加的区域，第一区域的边缘和第二区域的边缘交叉叠加，第一区域为根据人脸关键点获得的区域，第二区域是根据第一区域的中心为焦点而设置的椭圆。
图7是人脸感兴趣区域示例二。如图7所示，第一区域为是根据人脸关键点获得矩形框，第二区域是将第一区域的中心设置为焦点得到的椭圆，将该矩形框和该椭圆叠加得到图7所示的感兴趣区域。在这个感兴趣区域中，既包括必要的人脸关键点等重要信息，同时又去除了非必要的干扰信息。因此，本申请实施例提出的感兴趣区域避免了干扰信息，更加有利于后续的评估。
步骤504：利用NIQE方法计算人脸感兴趣区域的局部质量评分值。
步骤505：将计算出的人脸感兴趣区域的局部质量评分值和预先设置的局部质量阈值进行比较，如果达到局部质量阈值，则继续执行步骤506；如果未达到局部质量阈值，则执行步骤509。
上述步骤504～505与方法实施例二中的步骤204～205相同。
在步骤504中，假设针对N2张中某个待评估的感兴趣区域，利用方法实施例三的步骤301～303生成拟合的多元高斯模型MVG3；将多元高斯模型MVG2和标准的多元高斯模型MVG1进行比较差异，根据差异获得局部质量评分值。
在步骤505中，将步骤504计算出的人脸感兴趣区域的局部质量评分值与预设的局部质量阈值比较，进行第二种筛选。如果达到所述局部质量阈值，将继续下一个环节；如果未达到所述局部质量阈值，说明当前待评估的人脸图像的感兴趣区域的质量不符合要求，则直接丢弃再处理下一个待评估的人脸图像。
实际应用中，在设置局部质量阈值时，可以参考若干不符合要求的人脸图像。假设图8是不符合要求的人脸图像示例二，图9是不符合要求的人脸图像的感兴趣区域示例三，可以根据不符合要求图像的NIQE计算所得值的分布来确定局部质量阈值。
步骤506：计算人脸感兴趣区域的局部方差的总和，所述局部方差为设置的二维高斯窗口内图像像素值与局部均值的方差，用于表示图像细节信息的丰富程度。
步骤507：将计算出的人脸感兴趣区域的局部方差的总和与预先设置的局部方差阈值进行比较，如果达到所述局部方差阈值，则继续执行步骤508；如果未达到所述局部方差阈值，则执行步骤509。
上述步骤506～507与方法实施例二中的步骤206～207相同。
在步骤506中，可以直接采用公式3计算人脸感兴趣区域的局部方差，并将人脸感兴趣区域中计算出的所有局部方差相加得到局部方差的总和。现在技术的局部方差主要用于NIQE算法中，是衡量压缩图像质量检测中的一个环节，而本申请实施例创造性地将其用于衡量细节信息的丰富程度。比如：图10是人脸感兴趣区域示例四。图10的人脸感兴趣区域存在闭眼现象，其细节信息的丰富程度显然不如睁眼的人脸图像。实际应用中还可以存在其他影响人脸识别的图像，比如抿嘴、戴口罩、戴墨镜等(图中未示出)。这些图像由于缺少细节信息，计算出的局部方差的总和较小，不利于后续的人脸识别。在实际应用中可以计算若干细节信息丰富的感兴趣区域的局部方差的总和，以及计算若干细节信息缺失的感兴趣区域的局部方差的总和，从而设置局部方差阈值。
另外，步骤506中的感兴趣区域的局部方差可以直接利用步骤501或者步骤504在计算NIQE时涉及到的局部方差σ(i,j)，或者步骤504自身在计算时也可以直接利用步骤501在计算NIQE时涉及到的局部方差σ(i,j)，从而可以进一步减少计算量，提高运算速度。
在步骤507中，将步骤506计算出的人脸感兴趣区域的局部方差的总和与预先设置的局部方差阈值进行比较，进行第三种筛选。如果达到局部方差阈值，将继续下一个环节；如果未达到局部方差阈值，说明当前待评估人脸图像的感兴趣区域的细节信息的丰富程度不符合要求，则直接丢弃再处理下一个待评估的人脸图像。
步骤508：计算人脸感兴趣区域的局部质量评分值与人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的加权和作为当前待评估的人脸图像的评估结果。
由于步骤504已经获得待评估人脸图像的感兴趣区域的局部质量评分值，步骤506已经获得待评估人脸图像的感兴趣区域的局部方差的总和，本步骤从两个角度同时对感兴趣区域进行评估，计算二者的加权和。实际应用中，加权和可以采用如下公式6表示：
Score＝w1*σ+w2*D2 公式6
其中，D2表示步骤504计算出的局部质量评分值，σ表示步骤506计算出的局部方差的总和，w1和w2分别表示二者的权重，Score则表示加权和。
步骤509：丢弃当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回步骤501。
本步骤509是上述步骤502、步骤505和步骤507在筛选失败时的操作方式，当然如果当前待评估的人脸图像被顺利评估，也需要返回步骤501继续评估下一个待评估人脸图像，从而完成对所有的待评估人脸图像的评估工作。
本申请方法实施例四仅针对人脸感兴趣区域计算图像质量和局部方差，不受非人脸部分的影响。同样，在本申请方法实施例中有三种不同的筛选方式，可以进一步筛选出优质的人脸图像，提高人脸图像评估的准确性，有利于后续人脸识别的准确性。本申请实施例中的感兴趣区域的确定方式可以尽量避免干扰信息，更加有利于后续的评估。此后，本申请实施例中的局部方差可以直接利用NIQE算法中已经得到的局部方差，可以减少计算量，提高运算速度。
基于上述人脸图像质量评估方法，本申请还提供一种人脸质量评估装置。图11是本申请实现人脸图像质量评估的装置实施例一的结构示意图。如图11所示，该装置包括：局部质量评估单元1102、局部方差计算单元1103、加权单元1104。其中：
局部质量评估单元1102，用于获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值。
局部方差计算单元1103，用于获得计算所述人脸感兴趣区域的局部方差的总和，所述局部方差为设置的二维高斯窗口内图像像素值与局部均值的方差，用于表示图像细节信息的丰富程度。
加权单元1104，用于计算所述人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的所述加权和作为所述人脸图像的评估结果。
也就是说，局部质量评估单元1102获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值；局部方差计算单元1103获得所述人脸感兴趣区域的局部方差的总和；加权单元1104计算所述人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的所述加权和作为所述人脸图像的评估结果。
应用本申请装置实施例一，由于局部质量评估单元1102仅针对人脸感兴趣区域计算图像质量，不受非人脸部分的影响，可以更加准确评估人脸部分的图像质量。另外，由于局部方差计算单元1103针对人脸感兴趣区域计算局部方差的总和，可以进一步选择出人脸部分细节信息丰富的人脸图像，提高了人脸图像评估的准确性，也更加有利于后续人脸识别的准确性。
图12是本申请实现人脸图像质量评估的装置实施例二的结构示意图。如图12所示，与装置实施例一相同，该装置包括：局部质量评估单元1102、局部方差计算单元1103、加权单元1104。另外，该装置还包括：人脸感兴趣区域确定单元1101、全局质量评估单元1105、第一筛选单元1106、第二筛选单元1107、第三筛选单元1108。其中：第一筛选单元1106是进一步对待评估的人脸图像的全局质量进行筛选，第二筛选单元1107是进一步对人脸感兴趣区域的局部质量进行筛选，第三筛选单元1108是进一步对人脸感兴趣区域的细节信息的丰富程度进行筛选。实际应用中，第一筛选单元1106、第二筛选单元1107、第三筛选单元1108可以分别单独包含在本申请实施例的装置中。在单独包含的情况下：第一筛选单元1106用于在确定所述当前待评估的人脸图像的全局质量评分值大于所述全局质量阈值的情况下，从所述当前待评估的人脸图像中确定人脸感兴趣区域。进一步地，在确定所述当前待评估的人脸图像的全局质量评分值小于或等于所述全局质量阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述利用NIQE方法计算所述当前待评估的人脸图像的全局质量评分值的步骤。第二筛选单元1107，用于在确定所述人脸感兴趣区域的局部质量评分值大于预先设置的局部质量阈值的情况下，执行所述获得人脸感兴趣区域的局部方差的总和的步骤。进一步地，在确定所述人脸感兴趣区域的局部质量评分值小于或等于所述局部质量阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤。第三筛选单元1108，用于在确定所述人脸感兴趣区域的局部方差的总和大于预先设置的局部方差阈值的情况下，继续执行所述计算人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和的加权和的步骤。进一步地，在确定所述人脸感兴趣区域的局部方差的总和小于或等于所述局部方差阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤。
本申请装置实施例二同时列出了上述三种筛选方式，实际应用中，也可以任意选择其中任意一种或者任意组合进行筛选。如图12所示，本申请装置实施例二中：
人脸感兴趣区域确定单元1101，用于从待评估的人脸图像中确定人脸感兴趣区域。
局部质量评估单元1102，用于获得利用NIQE方法计算出的当前评估人脸图像中的人脸感兴趣区域的局部质量评分值。
局部方差计算单元1103，用于获得所述人脸感兴趣区域的局部方差的总和，所述局部方差为设置的二维高斯窗口内图像像素值与局部均值的方差，用于表示图像细节信息的丰富程度。实际应用中，局部方差计算单元1103在计算人脸感兴趣区域的局部方差时，可以直接利用局部质量评估单元1102或全局质量评估单元1105中NIQE方法中的局部方差，从而可以进一步减少计算量，提高运算速度。
加权单元1104，用于计算所述人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的所述加权和作为所述人脸图像的评估结果。
全局质量评估单元1105，利用所述NIQE方法计算所述待评估的人脸图像的全局质量评分值。
第一筛选单元1106，用于在确定所述当前待评估的人脸图像的全局质量评分值大于所述全局质量阈值的情况下，从所述当前待评估的人脸图像中确定人脸感兴趣区域；在确定所述当前待评估的人脸图像的全局质量评分值小于或等于所述全局质量阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述利用NIQE方法计算所述当前待评估的人脸图像的全局质量评分值的步骤。
上述全局质量评估单元1105是针对N0张符合评估要求的高质量人脸图像，利用方法实施例三的步骤301～303生成标准的多元高斯模型MVG1；针对待评估的人脸图像，利用方法实施例三的步骤301～303生成拟合的多元高斯模型MVG2；将待评估人脸图像拟合的多元高斯模型MVG2和标准的多元高斯模型MVG1进行比较差异，根据差异获得全局质量评分值。第一筛选单元1106计算出的当前待评估的人脸图像的全局质量评分值与预设的全局质量阈值比较，进行第一种筛选。如果达到所述全局质量阈值，将继续下一个环节；如果未达到所述全局质量阈值，说明当前待评估的人脸图像从整体上不符合要求，则直接丢弃再处理下一个待评估的人脸图像。经过第一种筛选的方式，假设从N1张待评估的人脸图像筛选出N2张，后续步骤将仅对这N2张人脸图像的人脸感兴趣区域进行处理。实际应用中，如果不要求人脸图像的全局质量，也可以省略全局质量评估单元1105和第一筛选单元1106。
第二筛选单元1107，用于在确定所述人脸感兴趣区域的局部质量评分值大于预先设置的局部质量阈值的情况下，执行所述获得人脸感兴趣区域的局部方差的总和的步骤。进一步地，在确定所述人脸感兴趣区域的局部质量评分值小于或等于所述局部质量阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述利用NIQE方法计算所述当前待评估的人脸图像的全局质量评分值的步骤。
上述第二筛选单元1107是对人脸感兴趣区域的局部质量进行筛选的方法，是本申请装置实施例二中的第二种筛选，达到预设局部质量阈值的将被筛选出来进入下一个环节。另外，本单元是进一步评估出优质的人脸图像的方法，实际应用中也可以省略第二筛选单元1107。
第三筛选单元1108，用于在确定所述人脸感兴趣区域的局部方差的总和大于预先设置的局部方差阈值的情况下，执行所述计算人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和的加权和的步骤；在确定所述人脸感兴趣区域的局部方差的总和小于或等于所述局部方差阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述利用NIQE方法计算所述当前待评估的人脸图像的全局质量评分值的步骤。
上述第三筛选单元1108是对人脸感兴趣区域的细节信息的丰富程度进行筛选的方法，是本申请装置实施例二中的第三种筛选，达到预设局部方差阈值的将被筛选出来进入下一个环节。另外，本步骤是进一步评估出优质的人脸图像的方法，实际应用中也可以省略第三筛选单元1108。
也就是说，全局质量评估单元1105利用所述NIQE方法计算所述待评估的人脸图像的全局质量评分值；第一筛选单元1106将所述当前待评估的人脸图像的全局质量评分值和预先设置的全局质量阈值比较，进行第一次筛选；人脸感兴趣区域确定单元1101从待评估的人脸图像中确定人脸感兴趣区域；局部质量评估单元1102利用NIQE方法计算所述人脸感兴趣区域的局部质量评分值；第二筛选单元1107将计算出的所述人脸感兴趣区域的局部质量评分值和预先设置的局部质量阈值比较，进行第二次筛选；局部方差计算单元1103计算所述人脸感兴趣区域的局部方差的总和；第三筛选单元1108将计算出的所述人脸感兴趣区域的局部方差的总和与预先设置的局部方差阈值比较，进行第三次筛选；加权单元1104计算所述人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的所述加权和作为所述人脸图像的评估结果。
本申请装置实施例二仅针对人脸感兴趣区域计算图像质量和局部方差，不受非人脸部分的影响。同样，在本申请装置实施例二中，有三种不同的筛选方式，可以进一步筛选出优质的人脸图像，提高人脸图像评估的准确性，有利于后续人脸识别的准确性。此外，本申请实施例中的感兴趣区域可以采用步骤503所示的方式，尽量避免干扰信息，更加有利于后续的评估。本申请实施例中的局部方差计算单元1103可以直接利用NIQE算法中已经得到的局部方差，可以减少计算量，提高运算速度。
本申请实施例还提供一种计算机可读介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时可执行如上所述的人脸图像质量评估方法中的步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，可以实现上述各实施例描述的人脸图像质量评估方法。根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
如图13所示，本发明实施例还提供一种电子设备，其中可以集成本申请实施例实现方法的装置。如图13所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或一个以上处理核心的处理器1301、一个或一个以上计算机可读存储介质的存储器1302以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器1302的程序时，可以实现上述人脸图像质量评估方法。
具体的，实际应用中，该电子设备还可以包括电源1303、输入单元1304、以及输出单元1305等部件。本领域技术人员可以理解，图13中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器1301是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1302内的软件程序和/或模块，以及调用存储在存储器1302内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。
存储器1302可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器1301通过运行存储在存储器1302的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器1302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1302还可以包括存储器控制器，以提供处理器1301对存储器1302的访问。
该电子设备还包括给各个部件供电的电源1303，可以通过电源管理系统与处理器1301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元1304，该输入单元1304可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备还可以包括输出单元1305，该输出单元1305可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令在被处理器执行时实施如上述任一实施例所述的方法。
本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种人脸图像质量评估方法，其特征在于，该方法包括：
获得利用自然图像质量评估(NIQE)方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值；
获得所述人脸感兴趣区域的局部方差的总和，所述局部方差为设置的二维高斯窗口内图像像素值与局部均值的方差，用于表示图像细节信息的丰富程度；
计算所述人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的所述加权和作为所述当前待评估的人脸图像的评估结果。
2.根据权利要求1所述的方法，其特征在于，所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤之前，该方法还包括：
利用所述NIQE方法计算所述当前待评估的人脸图像的全局质量评分值；
在确定所述当前待评估的人脸图像的全局质量评分值大于所述全局质量阈值的情况下，从所述当前待评估的人脸图像中确定人脸感兴趣区域。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在确定所述当前待评估的人脸图像的全局质量评分值小于或等于所述全局质量阈值的情况下，丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述利用NIQE方法计算所述当前待评估的人脸图像的全局质量评分值的步骤。
4.根据权利要求1所述的方法，其特征在于，所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤，和获得所述人脸感兴趣区域的局部方差的总和的步骤之间，该方法还包括：
在确定所述人脸感兴趣区域的局部质量评分值大于预先设置的局部质量阈值的情况下，执行所述获得人脸感兴趣区域的局部方差的总和的步骤。
5.根据权利要求4所述的方法，其特征在于，该方法还包括：
在确定所述人脸感兴趣区域的局部质量评分值小于或等于所述局部质量阈值的情况下，则丢弃所述当前待评估的人脸图像，且将下一个待评估的人脸图像作为当前待评估的人脸图像，并返回所述获得利用NIQE方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值的步骤。
6.根据权利要求1所述的方法，其特征在于，所述获得人脸感兴趣区域的局部方差的总和的步骤，和所述计算人脸感兴趣区域的局部质量评分值与人脸感兴趣区域的局部方差的总和的加权和的步骤之间，该方法还包括：
在确定所述人脸感兴趣区域的局部方差的总和大于预先设置的局部方差阈值的情况下，继续执行所述计算人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和的加权和的步骤。
7.根据权利要求1所述的方法，其特征在于，所述人脸感兴趣区域的局部方差为所述NIQE方法中的局部方差。
8.一种人脸图像质量评估装置，其特征在于，该装置包括：局部质量评估单元、局部方差计算单元、加权单元；
所述局部质量评估单元，用于获得利用自然图像质量评估(NIQE)方法计算出的当前待评估人脸图像中的人脸感兴趣区域的局部质量评分值；
所述局部方差计算单元，用于获得所述人脸感兴趣区域的局部方差的总和，所述局部方差为设置的二维高斯窗口内图像像素值与局部均值的方差，用于表示图像细节信息的丰富程度；
所述加权单元，用于计算所述人脸感兴趣区域的局部质量评分值与所述人脸感兴趣区域的局部方差的总和之间的加权和，将计算出的所述加权和作为所述人脸图像的评估结果。
9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1～7任一项所述的人脸图像质量评估方法的步骤。
10.一种电子设备，其特征在于，该电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1～7任一项所述的人脸图像质量评估方法。
CN202110765778.1A 2021-07-05 2021-07-05 一种人脸图像质量评估方法、装置、电子设备及存储介质 Active CN113506260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110765778.1A CN113506260B (zh) 2021-07-05 2021-07-05 一种人脸图像质量评估方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110765778.1A CN113506260B (zh) 2021-07-05 2021-07-05 一种人脸图像质量评估方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113506260A CN113506260A (zh) 2021-10-15
CN113506260B true CN113506260B (zh) 2023-08-29

Family

ID=78011778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110765778.1A Active CN113506260B (zh) 2021-07-05 2021-07-05 一种人脸图像质量评估方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113506260B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936320B (zh) * 2021-10-21 2022-03-25 北京的卢深视科技有限公司 人脸图像质量评价方法、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506852A (zh) * 2014-12-25 2015-04-08 北京航空航天大学 一种面向视频会议编码的客观质量评估方法
CN107123122A (zh) * 2017-04-28 2017-09-01 深圳大学 无参考图像质量评价方法及装置
CN107481238A (zh) * 2017-09-20 2017-12-15 众安信息技术服务有限公司 图像质量评估方法及装置
CN107862681A (zh) * 2017-10-30 2018-03-30 宁波大学 一种自拍图像质量推荐方法
CN108520510A (zh) * 2018-03-19 2018-09-11 天津大学 一种基于整体和局部分析的无参考立体图像质量评价方法
CN109859180A (zh) * 2019-01-25 2019-06-07 东华大学 融合多种度量准则的图像集质量增强评价方法
CN110046652A (zh) * 2019-03-18 2019-07-23 深圳神目信息技术有限公司 人脸质量评估方法、装置、终端及可读介质
CN110458792A (zh) * 2018-05-04 2019-11-15 北京眼神科技有限公司 人脸图像质量的评价方法及装置
CN111192241A (zh) * 2019-12-23 2020-05-22 深圳市优必选科技股份有限公司 一种人脸图像的质量评估方法、装置及计算机存储介质
CN111193923A (zh) * 2019-09-24 2020-05-22 腾讯科技（深圳）有限公司 视频质量评估方法、装置、电子设备及计算机存储介质
CN112528939A (zh) * 2020-12-22 2021-03-19 广州海格星航信息科技有限公司 一种人脸图像的质量评价方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149126B2 (ja) * 2000-12-05 2008-09-10 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法、画像処理装置および画像撮影装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506852A (zh) * 2014-12-25 2015-04-08 北京航空航天大学 一种面向视频会议编码的客观质量评估方法
CN107123122A (zh) * 2017-04-28 2017-09-01 深圳大学 无参考图像质量评价方法及装置
CN107481238A (zh) * 2017-09-20 2017-12-15 众安信息技术服务有限公司 图像质量评估方法及装置
CN107862681A (zh) * 2017-10-30 2018-03-30 宁波大学 一种自拍图像质量推荐方法
CN108520510A (zh) * 2018-03-19 2018-09-11 天津大学 一种基于整体和局部分析的无参考立体图像质量评价方法
CN110458792A (zh) * 2018-05-04 2019-11-15 北京眼神科技有限公司 人脸图像质量的评价方法及装置
CN109859180A (zh) * 2019-01-25 2019-06-07 东华大学 融合多种度量准则的图像集质量增强评价方法
CN110046652A (zh) * 2019-03-18 2019-07-23 深圳神目信息技术有限公司 人脸质量评估方法、装置、终端及可读介质
CN111193923A (zh) * 2019-09-24 2020-05-22 腾讯科技（深圳）有限公司 视频质量评估方法、装置、电子设备及计算机存储介质
CN111192241A (zh) * 2019-12-23 2020-05-22 深圳市优必选科技股份有限公司 一种人脸图像的质量评估方法、装置及计算机存储介质
CN112528939A (zh) * 2020-12-22 2021-03-19 广州海格星航信息科技有限公司 一种人脸图像的质量评价方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于对称性与方差的快速分形人脸图像压缩;马燕;李顺宝;;光电子.激光(第10期);全文 *

Also Published As

Publication number Publication date
CN113506260A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
Lu et al. Cross-based local multipoint filtering
US20200118248A1 (en) Image noise intensity estimation method, image noise intensity estimation device, and image recognition device
EP3376469A1 (en) Method and device for tracking location of human face, and electronic equipment
CN110929617B (zh) 一种换脸合成视频检测方法、装置、电子设备及存储介质
CN107590427B (zh) 基于时空兴趣点降噪的监控视频异常事件检测方法
CN106204658A (zh) 运动图像跟踪方法及装置
US11526963B2 (en) Image processing apparatus, image processing method, and storage medium
US20140240556A1 (en) Image processing apparatus and image processing method
US20220270266A1 (en) Foreground image acquisition method, foreground image acquisition apparatus, and electronic device
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN108734127B (zh) 年龄识别值调整方法、装置、设备及存储介质
CN113506260B (zh) 一种人脸图像质量评估方法、装置、电子设备及存储介质
CN112862838A (zh) 基于用户实时点击交互的自然图像抠图方法
US8428369B2 (en) Information processing apparatus, information processing method, and program
CN115760870A (zh) 一种图像重点区域的分割方法、装置、设备及存储介质
CN111860248A (zh) 一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法
Roziere et al. Tarsier: Evolving noise injection in super-resolution gans
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
Dutta et al. Weighted low rank approximation for background estimation problems
CN111582654B (zh) 基于深度循环神经网络的服务质量评价方法及其装置
CN112597909A (zh) 一种用于人脸图片质量评价的方法与设备
Zhang et al. Visual saliency: from pixel-level to object-level analysis
CN112084855A (zh) 一种基于改进ransac方法对视频流的外点剔除方法
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220330

Address after: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 101399 room 24, 62 Farm Road, Erjie village, Yangzhen, Shunyi District, Beijing

Applicant before: Beijing fangjianghu Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant