CN113706502B - 一种人脸图像质量评估方法及装置 - Google Patents

一种人脸图像质量评估方法及装置 Download PDF

Info

Publication number
CN113706502B
CN113706502B CN202110990771.XA CN202110990771A CN113706502B CN 113706502 B CN113706502 B CN 113706502B CN 202110990771 A CN202110990771 A CN 202110990771A CN 113706502 B CN113706502 B CN 113706502B
Authority
CN
China
Prior art keywords
image
face image
face
sample set
image sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110990771.XA
Other languages
English (en)
Other versions
CN113706502A (zh
Inventor
刘铂涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202110990771.XA priority Critical patent/CN113706502B/zh
Publication of CN113706502A publication Critical patent/CN113706502A/zh
Application granted granted Critical
Publication of CN113706502B publication Critical patent/CN113706502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种人脸图像质量评估方法及装置，用于提升低质量图像评分的准确性。所述方法包括：获取人脸图像样本集；根据第一质量评分方式，确定所述人脸图像样本集中每个人脸图像的第一图像质量分数；将所述第一图像质量分数低于第一预设阈值的图像集合确定为第一图像样本集；将所述人脸图像样本集和第一图像样本集中的人脸图像进行特征比对，确定所述人脸图像样本集中每个人脸图像的第二图像质量分数。

Description

一种人脸图像质量评估方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸图像质量评估方法及装置。
背景技术
人脸识别在社会中的应用日渐广泛，用于进行人脸识别的图像质量对人脸识别的准确度起着至关重要的作用，因此，人脸图像质量评估在人脸识别应用的过程中起着非常重要的作用。
相关技术中，通过人脸图像质量评估模型实现对人脸图像质量的质量评估，在人脸图像评估模型的训练过程中，最关键的一步是得到一个由人脸图像和对应质量分数标签的训练集，目前，人脸图像对应的质量分数标签可以基于目标人脸图像的同人相似度分布和非同人相似度分布之间的分布距离进行确定。然而，在确定同人相似度分布时，可能因为发型、年龄、体型等变化，使得在确定同人相似度分布时，并非所有的高质量图和高质量图进行相似度计算都会得到较高的分数，其中会有部分高质量的图像被判为较低质量的分数的情况，使得低质量图像评分的准确性较低。
发明内容
本申请实施例提供了一种人脸图像质量评估方法及装置，用于提升低质量图像评分的准确性。
第一方面，提供一种人脸图像质量评估方法，所述方法包括：
获取人脸图像样本集；
根据第一质量评分方式，确定所述人脸图像样本集中每个人脸图像的第一图像质量分数；
将所述第一图像质量分数低于第一预设阈值的图像集合确定为第一图像样本集；
将所述人脸图像样本集和第一图像样本集中的人脸图像进行特征比对，确定所述人脸图像样本集中每个人脸图像的第二图像质量分数。
可选的，所述人脸图像样本集包括至少两个人物的人脸图像，每个人物身份的人脸图像的数量大于1，每个人物的人脸图像对应一个图像样本子集，所述根据第一质量评分方式，确定所述人脸图像样本集中每个人脸图像的第一图像质量分数，包括：
通过人脸识别模型获取所述人脸图像样本集中每个人脸图像的特征向量；
根据所述特征向量，确定每个图像样本子集的中心特征向量；
根据第一图像样本子集中每个人脸图像的特征向量，确定第一人脸图像的第一相似度分布；其中，所述第一人脸图像属于所述第一图像样本子集；
根据所述第一人脸图像的特征向量和除去所述第一图像样本子集之外的其他图像样本子集的中心特征向量，确定所述第一人脸图像的第二相似度分布；
根据所述第一相似度分布和所述第二相似度分布之间的相似度分布距离，确定所述第一人脸图像的第一图像质量分数。
可选的，所述将所述人脸图像样本集和第一图像样本集中的人脸图像进行特征比对，确定所述人脸图像样本集中每个人脸图像的第二图像质量分数，包括：
根据所述人脸图像样本集中每个人脸图像的特征向量，确定第一人脸图像样本子集中每个人脸图像与所述第一图像样本集中每个人脸图像的相似度；
根据所述相似度，确定第三相似度分布和第四相似度分布；其中，所述第三相似度分布表示所述第一人脸图像与所述第一图像样本集中每个人脸图像的相似度统计，所述第四相似度分布表示所述第一图像样本子集中所有人脸图像与所述第一图像样本集中每个人脸图像的相似度统计；
根据所述第三相似度分布和所述第四相似度分布之间的相似度分布距离，确定所述第一人脸图像的第二图像质量分数。
可选的，第四相似度分布中包括的相似度的数量是第三相似度分布中包括的相似度的数量的n倍，所述n为第一图像样本子集中包含的人脸图像的数量。
可选的，根据所述相似度确定第三相似度分布和第四相似度分布，包括：
分别对所述第一图像样本子集中每个人脸图像与所述第一图像样本集中每个人脸图像的相似度按照从大到小的顺序排序；
分别选取预设数量的相似度确定所述第三相似度分布和所述第四相似度分布。
可选的，所述方法还包括：
将所述第一图像质量分数高于第二预设阈值的图像集合确定为第二图像样本集，以及将所述第二图像质量分数低于第三预设阈值的图像集合确定为第三图像样本集；
通过所述第二图像样本集和所述第三图像样本集对预先构建的网络进行训练，获得人脸图像质量评估模型。
可选的，所述方法还包括：
确定所述第二图像样本集和所述第三图像样本集中是否存在相同的图片；
在确定所述第二图像样本集和所述第三图像样本集中存在相同的图片时，将所述第二图像样本集和所述第三图像样本集中相同的图片删除。
第二方面，提供一种人脸图像质量评估装置，所述装置包括：
获取模块，用于获取人脸图像样本集；
处理模块，用于根据第一质量评分方式，确定所述人脸图像样本集中每个人脸图像的第一图像质量分数；
所述处理模块，还用于将所述第一图像质量分数低于第一预设阈值的图像集合确定为第一图像样本集；
所述处理模块，还用于将所述人脸图像样本集和第一图像样本集中的人脸图像进行特征比对，确定所述人脸图像样本集中每个人脸图像的第二图像质量分数。
可选的，所述人脸图像样本集包括至少两个人物的人脸图像，每个人物身份的人脸图像的数量大于1，每个人物的人脸图像对应一个图像样本子集，所述处理模块，具体用于：
通过人脸识别模型获取所述人脸图像样本集中每个人脸图像的特征向量；
根据所述特征向量，确定每个图像样本子集的中心特征向量；
根据第一图像样本子集中每个人脸图像的特征向量，确定第一人脸图像的第一相似度分布；其中，所述第一人脸图像属于所述第一图像样本子集；
根据所述第一人脸图像的特征向量和除去所述第一图像样本子集之外的其他图像样本子集的中心特征向量，确定所述第一人脸图像的第二相似度分布；
根据所述第一相似度分布和所述第二相似度分布之间的相似度分布距离，确定所述第一人脸图像的第一图像质量分数。
可选的，所述处理模块，具体用于：
根据所述人脸图像样本集中每个人脸图像的特征向量，确定所述第一图像样本子集中每个人脸图像与所述第一图像样本集中每个人脸图像的相似度；
根据所述相似度，确定第三相似度分布和第四相似度分布；其中，所述第三相似度分布表示所述第一人脸图像与所述第一图像样本集中每个人脸图像的相似度统计，所述第四相似度分布表示所述第一图像样本子集中所有人脸图像与所述第一图像样本集中每个人脸图像的相似度统计；
根据所述第三相似度分布和所述第四相似度分布之间的相似度分布距离，确定所述第一人脸图像的第二图像质量分数。
可选的，第四相似度分布中包括的相似度的数量是第三相似度分布中包括的相似度的数量的n倍，所述n为第一图像样本子集中包含的人脸图像的数量。
可选的，所述处理模块，具体用于：
分别对所述第一图像样本子集中每个人脸图像与所述第一图像样本集中每个人脸图像的相似度按照从大到小的顺序排序；
分别选取预设数量的相似度确定所述第三相似度分布和所述第四相似度分布。
可选的，所述处理模块，还用于：
将所述第一图像质量分数高于第二预设阈值的图像集合确定为第二图像样本集，以及将所述第二图像质量分数低于第三预设阈值的图像集合确定为第三图像样本集；
通过所述第二图像样本集和所述第三图像样本集对预先构建的网络进行训练，获得人脸图像质量评估模型。
可选的，所述处理模块，还用于：
确定所述第二图像样本集和所述第三图像样本集中是否存在相同的图片；
在确定所述第二图像样本集和所述第三图像样本集中存在相同的图片时，将所述第二图像样本集和所述第三图像样本集中相同的图片删除。
第三方面，提供一种电子设备，所述电子设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中任一所述的方法包括的步骤。
第四方面，提供一种计算可读存储介质，所述计算可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面中任一所述的方法包括的步骤。
第五方面，提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的人脸图像质量评估方法。
在本申请实施例中，首先获取人脸图像样本集，然后根据第一质量评分方式对人脸图像样本集中每个人脸图像进行评分，得到人脸图像样本集中每个人脸图像的第一图像质量分数，将第一图像质量分数低于第一预设阈值的图像集合确定为第一图像样本集，将人脸图像样本集和第一图像样本集中的人脸图像进行特征比对，确定人脸图像样本集中每个人脸图像的第二图像质量分数。
也就是说，本申请通过第一质量评分方式对所有人脸图像进行第一次质量评分之后，还需要将人脸图像样本集和第一次评分图像质量低于第一预设阈值的第一图像样本集中的人脸图像进行特征比对，进一步对所有人脸图像进行第二次质量评分，这样，由于高质量图和低质量图进行特征比对得到相似度较高的概率较低，即将高质量的图像判为较低质量分数的概率较低，从而有效提升了低质量图像评分的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
图1为本申请实施例提供的一种人脸图像质量评估模型应用场景示意图；
图2为本申请实施例提供的一种人脸图像质量评估方法的流程图；
图3为本申请实施例提供的一种相似度分布直方图；
图4本申请实施例提供的另一种相似度分布频率直方图；
图5为本申请实施例提供的一种人脸图像质量评估装置的结构框图；
图6为本发明实施例中的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
为了便于理解，下面先对本发明实施例的技术背景进行介绍。
如前所述，目前，人脸图像对应的质量分数标签可以基于目标人脸图像的同人相似度分布和非同人相似度分布之间的分布距离进行确定。然而，在确定同人相似度分布时，可能因为发型、年龄、体型等变化，使得在确定同人相似度分布时，并非所有的高质量图和高质量图进行相似度计算都会得到较高的分数，其中会有部分高质量的图像被判为较低质量的分数的情况，使得低质量图像评分的准确性较低
鉴于此，本申请实施例提供了一种人脸图像质量评估方法，通过构建一个由若干人物，每个人物的若干人脸图像构成的人脸图像样本集，基于同人相似度分布和非同人相似度分布之间的距离对人脸图像样本集中的人脸图像进行第一次评分，得到第一图像质量分数，选出人脸图像样本集中第一图像质量分数低于第一预设阈值的第一图像样本集，然后将人脸图像样本集和第一图像样本集中的人脸图像进行特征比对，对人脸图像样本集中每个人脸图像进行第二次评分，得到第二图像质量分数。其中，本申请考虑到高质量人脸图像和高质量人脸图像进行相似度计算时，得到较高的分数的图像质量的准确性较高，而得到较低的分数的图像质量的准确性较低，且高质量图像和低质量图像进行相似度计算时得到较高分数的概率较低，因此，在得到第一图像质量分数之后进一步对人脸图像样本集中的所有人脸图像与人脸图像样本集中的低质量人脸图像(第一图像样本集中的人脸图像)进行特征比对(即进行第二次评分)，这样，使得将人脸图像样本集中高质量图像打较低分的概率较低，从而有效提升了低质量图像评分的准确性。
在介绍完本申请实施例的设计思想后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单的介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
在本申请实施例中，所提供的人脸图像质量评估方法可以应用于人脸图像质量评估系统，请参见图1所示，在该人脸图像质量评估系统中包括服务器101和终端102，服务器101和终端102通过网络进行数据传输。其中，服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算等进行云计算的云服务器，终端102可以是智能手机、平板电脑、笔记本电脑、人工收银设备、自助收银设备等具有人脸识别功能的设备。该人脸图像质量评估方法的应用场景包括但不限于以下两种：(1)过滤低质量的人脸图像，仅用高质量的人脸图像进行人脸识别；(2)在人脸抓拍图中，找到最高质量的人脸图像进行存档。
下面结合说明书附图对本申请实施例提供的人脸图像质量评估方法进行介绍。请参见图2所示，本申请实施例中的人脸图像质量评估方法的流程描述如下：
步骤201：获取人脸图像样本集。
步骤202：根据第一质量评分方式，确定人脸图像样本集中每个人脸图像的第一图像质量分数。
在一种可能的实施方式中，人脸图像样本集中包括至少两个人物的人脸图像，每个人物的人脸图像的数量大于1，每个人物的人脸图像对应一个图像样本子集。例如，人脸图像样本集为样本集G，样本集G中包括至少两个人物的人脸图像，每个人物对应的人脸图像样本子集为ID1，ID2，…IDm(表示m个人物)，人物x(即IDx)的人脸图像有n张，n为大于1的整数，人物x对应的人脸图像样本子集中包括的至少两张人脸图像为px，1，px，2，…px，n。
其中，通过第一质量评分方式对人脸图像样本集中每个人脸图像进行评分的步骤如下：
步骤S10：获取人脸图像样本集中每个人脸图像的特征向量；
具体的，通过人脸识别模型中的特征提取部分对每个人脸图像进行处理，获得每个人脸图像的图像特征，其中，人脸图像特征包括肤色、皱纹、发型、发色、眼睛、鼻子、眉毛、嘴巴以及耳朵等面部特征。然后根据每个人脸图像的图像特征确定每个人脸图像的特征向量fx，y(即人物x的第y张图像的特征向量)。
在一种可能的实施方式中，在获取人脸图像样本集中每个人脸图像的特征向量之前，还可以获取人脸图像样本集中的人脸图像的有效人脸区域，然后对该有效人脸区域进行不同比例的缩放和裁剪。或者还可以使用常规的人脸对齐方法进行对齐操作。
步骤S11：确定每个样本子集对应的中心特征向量；
其中，中心特征向量为每个样本子集中包含的人脸图像的特征向量的均值。计算公式如下：
其中，centerx为IDx对应的中心特征向量，n表示IDx中包含n张人脸图像，i表示IDx中的第i张图像，fx，i表示IDx中的第i张图像的特征向量。
步骤S12：根据第一图像样本子集中每个人脸图像的特征向量，确定第一人脸图像的第一相似度分布；
其中，第一人脸图像属于第一图像样本子集，第一图像样本子集可以是前述m个人物中任意一个人物x的人脸图像对应的图像样本子集。第一人脸图像例如为px，y，分别计算第一人脸图像与IDx中每个人脸图像的相似度，具体的，分别计算cos(fx，y，fx，1)，cos(fx，y，fx，2)，......，cos(fx，y，fx，n)，得到n个实数，这n个实数构成一个在实数域上的分布Px，y，Px，y即为第一人脸图像的第一相似度分布。其中，进行相似度计算的公式如下：
步骤S13：根据第一人脸图像的特征向量和除去第一图像样本子集之外的其它图像样本子集的中心特征向量，确定第一人脸图像的第二相似度分布；
具体的，分别计算cos(fx，y，center1)，cos(fx，y，center2)，...，cos(fx，y，centerx-1)，cos(fx，y，centerx+1)，…，cos(fx，y，centerm)，得到m-1个实数，这m-1个实数构成一个在实数域上的分布Qx，y，Qx，y即为第一人脸图像的第二相似度分布。其中，通过确定每个样本子集的中心特征向量，可以有效提升第二相似度分布的准确性。
步骤S14：根据第一相似度分布和第二相似度分布之间的相似度分布距离，确定第一人脸图像的第一图像质量分数。
具体的，计算Px，y和Qx，y之间的距离，例如，推土机距离(Wasserstein Distance，WD)、KL散度和JS距离等。在本申请实施例中采用WD，通过确定一个分布转换为另一个分布(例如Qx，y转换为Px，y)所需要的代价确定第一人脸图像的第一图像质量分数，需要的代价越小，表明第一人脸图像的第一图像质量分数越低，需要的代价越大，表明第一人脸图像的第一图像质量分数越高。
重复执行步骤S12-S14，得到数据集G中所有人脸图像对应的第一图像质量分数。
步骤203：将第一图像质量分数低于第一预设阈值的图像集合确定为第一图像样本集。
在本申请实施例中第一图像样本集(例如也可以称作是第一负例集)是通过上述第一质量评分方式，对人脸图像样本集中的每个人脸图像进行评分得到的第一图像质量分数小于第一预设阈值的图像集合。在一些其他的实施例中，第一图像样本集例如还可以是通过任意训练好但需要进一步优化的人脸图像质量评估模型对数据集G中的所有人脸图像进行预测得到的图像质量分数小于第一预设阈值的图像集合。
步骤204：将人脸图像样本集和第一图像样本集中的人脸图像进行特征比对，确定人脸图像样本集中每个人脸图像的第二图像质量分数。
其中，确定第二图像质量分数的过程例如也可以称作是通过第二质量评分方式对人脸图像样本集中每个人脸图像进行评分的过程，第二质量评分方式的步骤如下：
步骤S20：根据人脸图像样本集中每个人脸图像的特征向量，确定第一图像样本子集中每个人脸图像与第一图像样本集中每个人脸图像的相似度；
例如，记前述得到的第一负例集中的人脸图像为neg1，neg2，......，negM，对应的特征向量为negf1，negf2，......，negfM，其中，M为第一负例集中人脸图像的数量，分别计算第一图像样本子集中每个人脸图像与第一负例集中的每个人脸图像的相似度，包括：
cos(fx，1，negf1)，cos(fx，1，negf2)，…，cos(fx，1，negfM)
cos(fx，2，negf1)，cos(fx，2，negf2)，…，cos(fx，2，negfM)
cos(fx，y，negf1)，cos(fx，y，negf2)，…，cos(fx，y，negfM)
cos(fx，n，negf1)，cos(fx，n，negf2)，…，cos(fx，n，negfM)
步骤S21：根据相似度，确定第三相似度分布和第四相似度分布；
其中，第三相似度分布表示第一人脸图像与第一负例集中每个人脸图像的相似度统计，第四相似度分布表示第一图像样本子集中所有人脸图像与第一负例集中每个人脸图像的相似度统计。如步骤S20所述，将第一图像样本子集中的所有人脸图像与第一负例集中的每个人脸图像进行相似度计算，得到n×M个实数，然后分别对每一行得到的相似度按照从大到小的顺序进行排序，每一行选取预设数量的相似度进行相似度统计。
例如，将Cos(fx，y，negf1)，cos(fx，y，negf2)，…，cos(fx，y，negfM)得到的相似度按照从大到小的顺序排列，选取最大的A个实数，这A个实数构成一个在实数域上的分布Tx，y，即第三相似度分布。同理，将步骤S20每一行得到的相似度按照从大到小排列之后，在每一行选取最大的A个实数，得到A×M个实数，这A×M构成一个在实数域上的分布Tx，即第四相似度分布。
步骤S22：根据第三相似度分布和第四相似度分布之间的相似度分布距离，确定第一人脸图像的第二图像质量分数。
在本申请实施例中，仍然采用推土机距离计算第三相似度分布和第四相似分布之间的分布距离，记为tempx，y＝WD(Tx，y，Tx)，那么第二图像质量分数new_sx，y通过如下公式获得：
new_sx，y＝0.5-α×tempx，y
重复执行步骤S20-S22，得到人脸图像样本集中所有人脸图像对应的第二图像质量分数。
在一种可能的实施方式中，选取第一图像质量分数高于第二预设阈值的图像集合构成第二图像样本集(例如也可以称作是正例集)，以及选取第二图像质量分数低于第三预设阈值的图像集合构成第三图像样本集，通过第二图像样本集和第三图像样本集(例如，也可以将第二图像样本集和第三图像样本集构成的图像集合称作目标样本集)对预先构建的模型进行训练(具体的，通过目标样本集和目标样本集中每个人脸图像对应的图像质量分数对预先构建的网络进行训练)，得到人脸图像质量评估模型。其中，第一预设阈值大于第三预设阈值。
在一种可能的实施方式中，在得到第二图像样本集和第三图像样本集后，可能会存在某一人脸图像同时出现在第二图像样本集和第三图像样本集中，因此，还需要判断第二图像样本集和第三图像样本集中是否存在相同的图片，若存在相同的图片，则将相同的图片从第二图像样本集和第三图像样本集中删除。删除相同图片之后的第二图像样本集和第三图像样本集构成目标样本集。
在一种可能的实施方式中，在得到目标样本集之前，还可以对第二图像样本集和第三图像样本集中的图像进项筛选，例如是多次调整获取第二图像样本集和第三图像样本集过程中的阈值(例如是第一预设阈值、第二预设阈值和/或第三预设阈值)，或者对第二图像样本集和第三图像样本集中的图像进行简单的数据抽样。
优选的，在得到目标样本集之后，还可以继续对目标样本集进行更新，例如，将人脸图像样本集中所有人脸图像对应的图像质量分数更新为第二图像质量分数，得到更新后的人脸图像样本集，然后从更新后的人脸图像样本集中选择图像质量分数小于第四预设阈值的图像组成第四图像样本集，重复前述步骤S20-S22，得到人脸图像样本集中所有人脸图像的第三图像质量分数，最后从人脸图像样本集中选出第三图像质量分数低于第五预设阈值的图像作为更新后的第三图像样本集，更新后的第三图像样本集和正例集构成更新后的目标样本集。其中，对目标样本集更新的实质是对目标样本集中的第三图像样本集进行更新。
在具体的实施过程中，由于高质量图和低质量图进行相似度计算，得到较高分数的可能性较低，因此，在采用第一质量评分方式对人脸图像样本集中的图像进行评分之后，选出人脸图像质量分数较低(即低质量)的图组成第一负例集，然后将人脸图像样本集中的所有图像和第一负例集中的所有图像进行相似度计算，可以有效避免将高质量的图评为低分的情况，同时又考虑到低质量图和低质量图进行相似度计算，可能得到高分的情况。例如，两个戴大墨镜的女性的人脸图像，由于大墨镜几乎遮挡了整个面部，因此，这两个人脸图像都属于低质量图，但他们进行相似度比对时可能得到较高的分数。因此，在选择最终的目标样本集时，选择第一质量评分方式得到的较高分数对应的图像和第二质量评分方式得到的较低分数对应的图像，可以有效提高目标样本集中的图像对应的图像质量分数的准确性。
在一种可能的实施方式中，根据目标样本集和目标样本集中每个人脸图像对应的图像质量分数对预先构建的网络进行训练，得到人脸图像质量评估模型的步骤如下：
其中，预先构建Resnet等流行的端到端的深度学习网络，网络输入为人脸图像，网络输出为一实数值，该Resnet网络的损失函数为：
其中，是第i个样本的预测图像质量分数，yi是指目标样本集中每个人脸图像对应的图像质量分数，batch是训练深度学习神经网络时一次前向传播和反向传播过程所用到的样本数量。需要说明的是，该损失函数例如还可以是其他容易想到的损失函数，本申请实施例中不对网络使用的损失函数进行限定。
在本申请实施例中，将前述得到的目标样本集中的样本图像输入Resnet网络，获得该Resnet网络的预测图像质量分数，然后和目标样本集中每个人脸图像对应的图像质量分数输入该损失函数中，获得损失函数值，基于该损失函数值，对该Resnet网络进行参数更新。
由于需要的是该Resnet网络基于目标样本集中每个人脸图像的输出结果(即预测图像质量分数)与前述得到的目标样本集中每个人脸图像的图像质量分数接近，才可以保证最终得到的人脸质量评估模型在应用时对获得的目标人脸图像进行质量评估的准确性，因此需要在对Resnet网络训练的过程中进行多次训练，更新Resnet网络中的各个参数，直到Resnet网络收敛，则停止继续训练。需要说明的是，预先构建的网络还可以是深度学习网络中公开的其他神经网络，在本申请实施例中，不对进行模型训练的网络进行限定。
在一些其他的实施例中，在通过目标样本集和目标样本集中每个人脸对应的图像质量分数对预先构建的网络进行训练之前，还可以选取一个阈值，将人脸图像质量分数分为0-1类型，将模型训练转换为一个二分类的问题训练二分类模型。或者在进行网络训练之前还可以使用简单的方法，对人脸图像质量分数进行函数变换，例如，将所有的人脸图像质量分数经过一个sigmoid函数进行变换。
模型训练完成之后，通过自建测试集对本申请实施例提供的人脸图像质量评估模型和现有技术的人脸图像质量评估模型的的评分指标进行对比。
自建测试集1，应用于前述的第一种应用场景(即过滤低质量的人脸图像，仅用高质量的人脸图像进行人脸识别)。测试集1是一个图像质量高/低的二分类测试集，定义低质量图的图像质量(例如也可以称作是标签)为0，定义高质量图的标签为1。测试集1中包括15016张低质量图，15264张高质量图。其中，进行对比的指标包括：所有图的准确率(所有图Acc)，低质量图召回率(低质量recall)，高质量图召回率(高质量recall)和精确度(Precision)，每个指标的计算公式如下：
所有图
低质量
高质量
其中，TP表示样本标签是1，模型预测也是1的样本个数；TN表示样本标签是0，模型预测也是0的样本个数；FP表示样本标签是0，模型预测是1，的样本个数；P表示样本标签是1的样本个数；N表示样本标签是0的样本个数。需要说明的是，由于本申请实施例中的人脸质量评估模型输出的是实数，并不是二分类格式的输出，因此，在进行测试时，需要根据模型的输出结果动态确定一个阈值，将输出大于该阈值的人脸图像对应的图像质量确定为1，将输出小于或等于该阈值的人脸图像对应的图像质量确定为0。本申请实施例提供的人脸图像质量评估模型和现有技术的人脸图像质量评估模型的的评分指标对比结果请参见表1所示：
表1
从表1中可以看出，在保证Precision始终等于93％的前提下，运用现有的人脸图像质量评估模型进行评分得到的高质量图召回率为78.98％，运用本申请的人脸图像质量评估模型进行评分得到的高质量图召回率能够达到92.73％，如果继续对目标样本集进行一次更新，得到的高质量图召回率能够进一步提升到92.98％。
自建测试集2，应用于前述的第二种应用场景(即在人脸抓拍图中，找到最高质量的人脸图像进行存档)。测试集2中包括261个人物，每个人物对应的图像样本子集中包括多张人脸图像，标记出每个人物对应的图像样本子集中图像质量最高的人脸图像。用于确定人脸图像质量评估模型评估出的图像质量最高的图像是否与标记出的图像质量最高的图像相同，若相同，则表示人脸图像质量评估模型命中，现有技术和本申请实施例提供的人脸图像质量评估模型的命中率对比结果请参见表2所示：
方法 命中率(％)
现有方法 39.46
目标样本集 48.66
目标样本集1次更新 51.34
表2
其中，命中率＝(人脸图像质量评估模型评估出的图像质量最高的图像与标记出的图像质量最高的图像相同的人物数量)/261.
从表2中可以看出，运用现有的人脸图像质量评估模型进行评分得到的命中率为39.46％，运用本申请的人脸图像质量评估模型进行评分得到的命中率为48.66％，如果继续对目标样本集进行一次更新，得到的命中率为51.34％。
为了更好的理解本申请的技术方案，下面将结合具体的实施例对本申请提供的信息处理方法进行解释说明。
实施例一
步骤1：构建一个数据集G作为人脸图像样本集，数据集G包含411635个人物的人脸图像(即411635个图像样本子集)，每个图像样本子集中包含20～600张的人脸图像，共计18542529张人脸图像。
步骤2：运用人脸识别模型提取数据集G中每个人脸图像的特征向量。需要说明的是，人脸识别模型在训练时没有使用到数据集G中的数据，在本申请实施例中，人脸识别模型采用resnet162网络，每个特征向量由256个浮点数构成。
步骤3：计算每个样本子集对应的中心特征向量，得到411635个中心特征向量，如：center1，center2，…，center411635。
步骤4：计算第一人脸图像的第一相似度分布和第二相似度分布。
其中，第一人脸图像为px，y，根据计算cos(fx，y，fx，1)，cos(fx，y，fx，2)，…，cos(fx，y，fx，n)，得到n个实数，通过频率直方图计算这n个实数(即第一人脸图像)的第一相似度分布Px，y；由于余弦相似度计算得到的n个实数的取值范围是[-1，1]，在本申请实施例中把区间[-1，1]分为20份，然后求得到的n个实数的直方图，最后，将直方图中每个区间的实数个数除以n，即得到了一个分布Px，y。
例如，n个实数为：-0.11，-0.04，0.03，0.05，0.07，0.15，0.18，0.23，0.24，0.36，得到的直方图请参见图3所示。然后将直方图中每个区间的实数个数除以n＝10即得到了一个分布Px，y，请参见图4所示。
根据计算cos(fx，y，center1)，cos(fx，y，center2)，…，cos(fx，y，centerx-1)，…，cos(fx，y，centerx+1)，...，cos(fx，y，center411635)，得到411634个实数，与统计第一相似度分布相同的统计方法得到第一人脸图像的第二相似度分布Qx，y。然后，计算Px，y和Qx，y之间的WD，即得到第一人脸图像的第一图像质量分数Sx，y。最后，对数据集G中每个人脸图像重复执行本步骤，得到数据集G中所有人脸图像的第一图像质量分数。其中，由于人脸图像的数量为18542529张，因此需要再重复18542528次。
步骤5：将数据集G中所有图像质量分数低于第一预设阈值的人脸图像选出形成第一图像样本集(即前述的第一负例集)，并将数据集G中所有图像质量分数高于第二预设阈值的人脸图像选出形成第二图像样本集(即前述的正例集)。例如，第一预设阈值为0.42，得到的第一负例集中人脸图像的数量为997772张，第二预设阈值为0.735，得到的正例集(记作G+)中人脸图像的数量为566889张。
步骤6：计算第一人脸图像px，y与第一负例集中所有人脸图像的相似度，即依次计算cos(fx，y，negf1)，cos(fx，y，negf2)，…，cos(fx，y，negf997772)，得到997772个实数值，将这997772个实数值按照从大到小的顺序进行排列，选择最大的A个相似度(例如A＝1000)，得到1000个实数，由该1000个实数得到第三相似度分布Tx，y，其中，将区间[-1，1]分成100份。
步骤7：计算第一图像样本子集中每个人脸图像与第一负例集中所有人脸图像的相似度，如下：
cos(fx，1，negf1)，cos(fx，1，negf2)，…，cos(fx，1，negf997772)
cos(fx，2，negf1)，cos(fx，2，negf2)，…，cos(fx，2，negf997772)
cos(fx，n，negf1)，cos(fx，n，negf2)，…，cos(fx，n，negf997772)
对上述每一行按照从大到小的顺序进行排序，每一行选取最大的1000个实数，得到1000×n个实数，由该1000×n个实数得到第四相似度分布Tx，同样的，将区间[-1，1]分成100份。明显的，上面n行中，有一行的数据与步骤6中计算得到的数据相同。
步骤8：计算第三相似度分布和第四相似度分布之间的分布距离，记为tempx，y＝WD(Tx，y，Tx)。
步骤9：第一人脸图像px，y的第二图像质量分数new_sx，y＝0.5-α×tempx，y，其中，α＝2。
步骤10：对数据集G中每一张人脸图像重复步骤6-9，得到数据集G中所有人脸图像的第二图像质量分数new_sx，y。
步骤11：将数据集G中第二图像质量分数低于第三预设阈值的所有人脸图像选出形成第三图像样本集。例如，第三预设阈值为0.415，得到的第三图像样本集(记作G-)中人脸图像的数量为607252张。
步骤12：将数据集G+和G-中重复出现的人脸图像删除。其中，数据集G+和G-中重复出现的人脸图像共有4344张，即数据集G+和G-中重复出现的人脸图像各有2172张，得到G+pure和G-pure，将G+pure和G-pure合并得到目标样本集Gtrain，共1169797张人脸图像。
步骤13：构建深度学习神经网络为Resnet10，网络输入为人脸图像，并在人脸图像输入Resnet10网络之前，将人脸图像缩放到64*64，网络输出为一实数，该Resnet10的损失函数选择线性回归损失函数，定义为：
在训练时，设置batch＝96，初始学习率为0.01，每5个训练周期学习率下降为之前的1/2，共训练20个训练周期，得到人脸图像质量评估模型。其中，batch参数、初始学习率和学习率的调整方法可以根据实际需求确定，本申请实施例不进行限定。
步骤14：对目标样本集进行更新。
在本申请实施例中，在得到目标样本集之后，还可以对目标样本集进行更新。具体的，将数据集G中的人脸图像对应的图像质量分数更新为第二图像质量分数，得到数据集G1，然后从数据集G1中选择图像质量分数小于第四预设阈值的图像组成第四图像样本集，重复步骤6-13，得到数据集G1中每个人脸图像的第三图像质量分数，最后从数据集G1中选出第三图像质量分数低于第五预设阈值的图像作为更新后的第三图像样本集，更新后的第三图像样本集和正例集构成更新后的目标样本集。例如，选取第四预设阈值为0.42，得到第四图像样本集中人脸图像的数量为1351088张。
基于同一发明构思，本申请实施例提供了一种人脸图像质量评估装置，该人脸图像质量评估装置能够实现前述的人脸图像质量评估方法对应的功能。该人脸图像质量评估装置可以是硬件结构、软件模块、或硬件结构加软件模块。该人脸图像质量评估装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图5所示，该人脸图像质量评估装置包括获取模块501和处理模块502。其中：
获取模块501，用于获取人脸图像样本集；
处理模块502，用于根据第一质量评分方式，确定所述人脸图像样本集中每个人脸图像的第一图像质量分数；
所述处理模块502，还用于将所述第一图像质量分数低于第一预设阈值的图像集合确定为第一图像样本集；
所述处理模块502，还用于将所述人脸图像样本集和第一图像样本集中的人脸图像进行特征比对，确定所述人脸图像样本集中每个人脸图像的第二图像质量分数。
在一种可能的实施方式中，所述人脸图像样本集包括至少两个人物的人脸图像，每个人物身份的人脸图像的数量大于1，每个人物的人脸图像对应一个图像样本子集，所述处理模块502，具体用于：
通过人脸识别模型获取所述人脸图像样本集中每个人脸图像的特征向量；
根据所述特征向量，确定每个图像样本子集的中心特征向量；
根据第一图像样本子集中每个人脸图像的特征向量，确定所述第一人脸图像的第一相似度分布；其中，所述第一人脸图像属于所述第一图像样本子集；
根据所述第一人脸图像的特征向量和除去所述第一图像样本子集之外的其他图像样本子集的中心特征向量，确定所述第一人脸图像的第二相似度分布；
根据所述第一相似度分布和所述第二相似度分布之间的相似度分布距离，确定所述第一人脸图像的第一图像质量分数。
在一种可能的实施方式中，所述处理模块502，具体用于：
根据所述人脸图像样本集中每个人脸图像的特征向量，确定所述第一图像样本子集中每个人脸图像与所述第一图像样本集中每个人脸图像的相似度；
根据所述相似度，确定第三相似度分布和第四相似度分布；其中，所述第三相似度分布表示所述第一人脸图像与所述第一图像样本集中每个人脸图像的相似度统计，所述第四相似度分布表示所述第一图像样本子集中所有人脸图像与所述第一图像样本集中每个人脸图像的相似度统计；
根据所述第三相似度分布和所述第四相似度分布之间的相似度分布距离，确定所述第一人脸图像的第二图像质量分数。
在一种可能的实施方式中，第四相似度分布中包括的相似度的数量是第三相似度分布中包括的相似度的数量的n倍，所述n为第一图像样本子集中包含的人脸图像的数量。
在一种可能的实施方式中，所述处理模块502，具体用于：
分别对所述第一图像样本子集中每个人脸图像与所述第一图像样本集中每个人脸图像的相似度按照从大到小的顺序排序；
分别选取预设数量的相似度确定所述第三相似度分布和所述第四相似度分布。
在一种可能的实施方式中，所述处理模块502，还用于：
将所述第一图像质量分数高于第二预设阈值的图像集合确定为第二图像样本集，以及将所述第二图像质量分数低于第三预设阈值的图像集合确定为第三图像样本集；
通过所述第二图像样本集和所述第三图像样本集对预先构建的网络进行训练，获得人脸图像质量评估模型。
在一种可能的实施方式中，所述处理模块502，还用于：
确定所述第二图像样本集和所述第三图像样本集中是否存在相同的图片；
在确定所述第二图像样本集和所述第三图像样本集中存在相同的图片时，将所述第二图像样本集和所述第三图像样本集中相同的图片删除。
前述的人脸图像质量评估方法的实施例涉及的各步骤的所有相关内容均可援引到本申请施例中的人脸图像质量评估装置所对应的功能模块的功能描述，在此不再赘述。
本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
基于同一发明构思，本申请实施例提供一种电子设备。请参见图6所示，该电子设备包括至少一个处理器601，以及与至少一个处理器连接的存储器602，本申请实施例中不限定处理器601与存储器602之间的具体连接介质，图6中是以处理器601和存储器602之间通过总线600连接为例，总线600在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线600可以分为地址总线、数据总线、控制总线等，为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令，可以执行前述的人脸图像质量评估方法中所包括的步骤。
其中，处理器601是电子设备的控制中心，可以利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据，电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器601可包括一个或多个处理单元，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。在一些实施例中，处理器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的人脸图像质量评估方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器601进行设计编程，可以将前述实施例中介绍的人脸图像质量评估方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的人脸图像质量评估方法的步骤，如何对处理器601进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种计算可读存储介质，该计算可读存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的人脸图像质量评估方法的步骤。
在一些可能的实施方式中，本申请提供的人脸图像质量评估方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使该检测设备执行本说明书上述描述的根据本申请各种示例性实施方式的人脸图像质量评估方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种人脸图像质量评估方法，其特征在于，所述方法包括：
获取人脸图像样本集中每个人脸图像的特征向量，所述人脸图像样本集包括至少两个图像样本子集，每个图像样本子集包含的人脸图像的数量大于1，一个人物的人脸图像对应一个图像样本子集；
根据第一质量评分方式，确定所述人脸图像样本集中每个人脸图像的第一图像质量分数；
将所述第一图像质量分数低于第一预设阈值的图像集合确定为第一图像样本集；
根据所述人脸图像样本集中每个人脸图像的特征向量，确定第一图像样本子集中每个人脸图像与所述第一图像样本集中每个人脸图像的相似度，所述第一图像样本子集为第一人物对应的图像样本子集，所述第一图像样本子集中包括第一人脸图像；
根据所述相似度，确定第三相似度分布和第四相似度分布；其中，所述第三相似度分布表示所述第一人脸图像与所述第一图像样本集中每个人脸图像的相似度统计，所述第四相似度分布表示所述第一图像样本子集中所有人脸图像与所述第一图像样本集中每个人脸图像的相似度统计；
根据所述第三相似度分布和所述第四相似度分布之间的相似度分布距离，确定所述第一人脸图像的第二图像质量分数。
2.如权利要求1所述的方法，其特征在于，所述根据第一质量评分方式，确定所述人脸图像样本集中每个人脸图像的第一图像质量分数，包括：
根据所述特征向量，确定每个图像样本子集的中心特征向量；
根据第一图像样本子集中每个人脸图像的特征向量，确定第一人脸图像的第一相似度分布；其中，所述第一人脸图像属于所述第一图像样本子集；
根据所述第一人脸图像的特征向量和除去所述第一图像样本子集之外的其他图像样本子集的中心特征向量，确定所述第一人脸图像的第二相似度分布；
根据所述第一相似度分布和所述第二相似度分布之间的相似度分布距离，确定所述第一人脸图像的第一图像质量分数。
3.如权利要求1所述的方法，其特征在于，第四相似度分布中包括的相似度的数量是第三相似度分布中包括的相似度的数量的n倍，所述n为第一图像样本子集中包含的人脸图像的数量。
4.如权利要求1所述的方法，其特征在于，根据所述相似度确定第三相似度分布和第四相似度分布，包括：
分别对所述第一图像样本子集中每个人脸图像与所述第一图像样本集中每个人脸图像的相似度按照从大到小的顺序排序；
分别选取预设数量的相似度确定所述第三相似度分布和所述第四相似度分布。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第一图像质量分数高于第二预设阈值的图像集合确定为第二图像样本集，以及将所述第二图像质量分数低于第三预设阈值的图像集合确定为第三图像样本集；
通过所述第二图像样本集和所述第三图像样本集对预先构建的网络进行训练，获得人脸图像质量评估模型。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
确定所述第二图像样本集和所述第三图像样本集中是否存在相同的图片；
在确定所述第二图像样本集和所述第三图像样本集中存在相同的图片时，将所述第二图像样本集和所述第三图像样本集中相同的图片删除。
7.一种人脸图像质量评估装置，其特征在于，所述装置包括：
获取模块，用于获取人脸图像样本集中每个人脸图像的特征向量，所述人脸图像样本集包括至少两个图像样本子集，每个图像样本子集包含的人脸图像的数量大于1，每个人物的人脸图像对应一个图像样本子集；
处理模块，用于根据第一质量评分方式，确定所述人脸图像样本集中每个人脸图像的第一图像质量分数；将所述第一图像质量分数低于第一预设阈值的图像集合确定为第一图像样本集；根据所述人脸图像样本集中每个人脸图像的特征向量，确定第一图像样本子集中每个人脸图像与所述第一图像样本集中每个人脸图像的相似度，所述第一图像样本子集为第一人物对应的图像样本子集，所述第一图像样本子集中包括第一人脸图像；根据所述相似度，确定第三相似度分布和第四相似度分布；其中，所述第三相似度分布表示所述第一人脸图像与所述第一图像样本集中每个人脸图像的相似度统计，所述第四相似度分布表示所述第一图像样本子集中所有人脸图像与所述第一图像样本集中每个人脸图像的相似度统计；根据所述第三相似度分布和所述第四相似度分布之间的相似度分布距离，确定所述第一人脸图像的第二图像质量分数。
8.一种电子设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-6任一项所述的方法包括的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行如权利要求1-6任一项所述的方法。
CN202110990771.XA 2021-08-26 2021-08-26 一种人脸图像质量评估方法及装置 Active CN113706502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110990771.XA CN113706502B (zh) 2021-08-26 2021-08-26 一种人脸图像质量评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110990771.XA CN113706502B (zh) 2021-08-26 2021-08-26 一种人脸图像质量评估方法及装置

Publications (2)

Publication Number Publication Date
CN113706502A CN113706502A (zh) 2021-11-26
CN113706502B true CN113706502B (zh) 2023-09-05

Family

ID=78655470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110990771.XA Active CN113706502B (zh) 2021-08-26 2021-08-26 一种人脸图像质量评估方法及装置

Country Status (1)

Country Link
CN (1) CN113706502B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782731B (zh) * 2022-05-19 2024-08-27 中科南京软件技术研究院 图像数据集有效性评估方法、装置、设备及存储介质
CN115171198B (zh) * 2022-09-02 2022-11-25 腾讯科技（深圳）有限公司 模型质量评估方法、装置、设备及存储介质
CN115830351B (zh) * 2023-02-15 2023-04-28 杭州盐光文化艺术传播有限公司 图像处理方法、设备以及存储介质
CN116416666A (zh) * 2023-04-17 2023-07-11 北京数美时代科技有限公司 一种基于分布式蒸馏的人脸识别方法、系统和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
WO2018120662A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 一种拍照方法，拍照装置和终端
CN108269254A (zh) * 2018-01-17 2018-07-10 百度在线网络技术（北京）有限公司 图像质量评估方法和装置
CN110163265A (zh) * 2019-04-30 2019-08-23 腾讯科技（深圳）有限公司 数据处理方法、装置及计算机设备
CN110310247A (zh) * 2019-07-05 2019-10-08 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110838119A (zh) * 2019-11-15 2020-02-25 珠海全志科技股份有限公司 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN111738243A (zh) * 2020-08-25 2020-10-02 腾讯科技（深圳）有限公司 人脸图像的选择方法、装置、设备及存储介质
CN112270361A (zh) * 2020-10-30 2021-01-26 重庆紫光华山智安科技有限公司 一种人脸数据处理方法、系统、存储介质及设备
CN112381782A (zh) * 2020-11-11 2021-02-19 腾讯科技（深圳）有限公司 人脸图像质量评估方法、装置、计算机设备及存储介质
CN112597984A (zh) * 2021-03-04 2021-04-02 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN113139462A (zh) * 2021-04-23 2021-07-20 杭州魔点科技有限公司 无监督的人脸图像质量评估方法、电子设备和存储介质
CN114049544A (zh) * 2021-10-09 2022-02-15 杭州魔点科技有限公司 基于特征比对的人脸质量评估方法、装置、设备及介质
CN115496715A (zh) * 2022-09-02 2022-12-20 盛视科技股份有限公司 人脸图像质量评分方法及人脸图像质量评估模型获取方法
CN115830002A (zh) * 2022-12-23 2023-03-21 恒玄科技(上海)股份有限公司 一种红外图像质量评价方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948465B2 (en) * 2012-04-09 2015-02-03 Accenture Global Services Limited Biometric matching technology
US11439344B2 (en) * 2015-07-17 2022-09-13 Origin Wireless, Inc. Method, apparatus, and system for wireless sleep monitoring
US11120537B2 (en) * 2019-09-25 2021-09-14 International Business Machines Corporation Cognitive object emotional analysis based on image quality determination

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120662A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 一种拍照方法，拍照装置和终端
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
CN108269254A (zh) * 2018-01-17 2018-07-10 百度在线网络技术（北京）有限公司 图像质量评估方法和装置
CN110163265A (zh) * 2019-04-30 2019-08-23 腾讯科技（深圳）有限公司 数据处理方法、装置及计算机设备
CN110310247A (zh) * 2019-07-05 2019-10-08 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110838119A (zh) * 2019-11-15 2020-02-25 珠海全志科技股份有限公司 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN111738243A (zh) * 2020-08-25 2020-10-02 腾讯科技（深圳）有限公司 人脸图像的选择方法、装置、设备及存储介质
CN112270361A (zh) * 2020-10-30 2021-01-26 重庆紫光华山智安科技有限公司 一种人脸数据处理方法、系统、存储介质及设备
CN112381782A (zh) * 2020-11-11 2021-02-19 腾讯科技（深圳）有限公司 人脸图像质量评估方法、装置、计算机设备及存储介质
CN112597984A (zh) * 2021-03-04 2021-04-02 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN113139462A (zh) * 2021-04-23 2021-07-20 杭州魔点科技有限公司 无监督的人脸图像质量评估方法、电子设备和存储介质
CN114049544A (zh) * 2021-10-09 2022-02-15 杭州魔点科技有限公司 基于特征比对的人脸质量评估方法、装置、设备及介质
CN115496715A (zh) * 2022-09-02 2022-12-20 盛视科技股份有限公司 人脸图像质量评分方法及人脸图像质量评估模型获取方法
CN115830002A (zh) * 2022-12-23 2023-03-21 恒玄科技(上海)股份有限公司 一种红外图像质量评价方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Controllable List-wise Ranking for Universal No-reference Image Quality Assessment;Fu-Zhao Ou等;《arXiv:1911.10566v1》;第1=10页 *

Also Published As

Publication number Publication date
CN113706502A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN113706502B (zh) 一种人脸图像质量评估方法及装置
CN107944020B (zh) 人脸图像查找方法及装置、计算机装置和存储介质
CN108898087B (zh) 人脸关键点定位模型的训练方法、装置、设备及存储介质
CN109829448B (zh) 人脸识别方法、装置及存储介质
CN107958230B (zh) 人脸表情识别方法及装置
CN111695462B (zh) 一种人脸识别方法、装置、存储介质和服务器
CN110427802B (zh) Au检测方法、装置、电子设备及存储介质
CN114332500B (zh) 图像处理模型训练方法、装置、计算机设备和存储介质
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN113378940A (zh) 神经网络训练方法、装置、计算机设备及存储介质
CN109472292A (zh) 一种图像的情感分类方法、存储介质和服务器
CN114372166A (zh) 一种图像管理的方法及装置
CN113704534A (zh) 图像处理方法、装置及计算机设备
CN116311370A (zh) 一种基于多角度特征的牛脸识别方法及其相关设备
CN111694954A (zh) 图像分类方法、装置和电子设备
CN116227573B (zh) 分割模型训练方法、图像分割方法、装置及相关介质
CN116129496A (zh) 一种图像遮挡方法、装置、计算机设备及存储介质
CN111930935B (zh) 图像分类方法、装置、设备和存储介质
CN112329634B (zh) 课堂行为识别方法、装置、电子设备及存储介质
CN114120341A (zh) 简历文档识别模型训练方法、简历文档识别方法及装置
CN109165097B (zh) 一种数据处理方法以及数据处理装置
CN112784770A (zh) 一种人脸表情的识别方法、可读存储介质及设备
CN111708884A (zh) 文本分类方法、装置及电子设备
CN113408556B (zh) 身份识别方法及装置
Park et al. k-fold Subsampling based Sequential Backward Feature Elimination.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant