CN114049544A - 基于特征比对的人脸质量评估方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及一种基于特征比对的人脸质量评估方法、装置、设备和介质，其中，该基于特征比对的人脸质量评估方法包括：选取预设数量的人脸图像，划分成质量等级不同的多个人脸图像集合；对各个人脸图像集合分别求取平均人脸特征；对待评估人脸图像提取待评估人脸特征；对待评估人脸特征与各个人脸图像集合的平均人脸特征分别计算相似度；根据相似度最大值确定待评估人脸图像的质量等级。通过本申请，解决了对待评估人脸图像质量进行评估时，评估效率较低的问题，提高了评估效率。

Description

基于特征比对的人脸质量评估方法、装置、设备及介质

技术领域

本申请涉及人工智能技术领域，特别是涉及基于特征比对的人脸质量评估方法、装置、设备及介质。

背景技术

人脸图像质量评估已经成为人脸识别系统中不可或缺的一部分，以保证在无约束场景下识别性能的稳定性和可靠性。

在相关技术中，人脸图像质量评估的方法往往仅凭借识别网络的结果对人脸图像的质量进行评估，得到的人脸图像质量评估结果可靠性低；另一方面，对于新的人脸图像质量，每次都需要通过识别网络获取人脸图像的质量得分，再根据质量得分确定人脸图像质量，导致人脸图像质量评估的效率低。

发明内容

本申请实施例提供了一种基于特征比对的人脸质量评估方法、系统、电子设备和存储介质，以至少解决相关技术中对新的人脸图像质量评估时，评估效率较低的问题。

第一方面，本申请实施例提供了一种基于特征比对的人脸质量评估方法，所述方法包括：

选取预设数量的人脸图像，划分成质量等级不同的多个人脸图像集合；

对各所述人脸图像集合分别求取平均人脸特征；

对待评估人脸图像提取待评估人脸特征；

对所述待评估人脸特征与各所述人脸图像集合的平均人脸特征分别计算相似度；

根据所述相似度最大值确定所述待评估人脸图像的质量等级。

在其中一些实施例中，所述的划分成质量等级不同的多个人脸图像集合包括：

对各所述人脸图像计算图像质量分数；

按照所述图像质量分数，将所述预设数量的人脸图像划分成质量等级不同的多个人脸图像集合。

在其中一些实施例中，所述的对各所述人脸图像计算图像质量分数包括：

对人脸图像与所述人脸图像的类内图像计算类内相似度分布；

对所述人脸图像与所述人脸图像的类间图像计算类间相似度分布；

根据所述类内相似度分布和所述类间相似度分布计算图像质量分数。

在其中一些实施例中，所述的根据所述类内相似度分布和所述类间相似度分布计算图像质量分数包括：

计算所述类内相似度分布与所述类间相似度分布之间的推土机距离，得到所述质量分数。

在其中一些实施例中，所述质量等级包括差、一般和好三个等级，且分别对应的平均人脸特征为第一特征、第二特征和第三特征，所述的根据所述相似度最大值确定所述待评估人脸图像的质量等级包括：

若所述待评估人脸特征与所述第一特征的相似度最大，则确定所述待评估人脸图像的质量等级为差；

若所述待评估人脸特征与所述第二特征的相似度最大，则确定所述待评估人脸图像的质量等级为一般；

若所述待评估人脸特征与所述第三特征的相似度最大，则确定所述待评估人脸图像的质量等级为好。

第二方面，本申请实施例提供了一种基于特征比对的人脸质量评估装置，包括：

划分模块，用于选取预设数量的人脸图像，划分成质量等级不同的多个人脸图像集合；

计算模块，用于对各所述人脸图像集合分别求取平均人脸特征；

评估模块，用于对待评估人脸图像提取待评估人脸特征；对所述待评估人脸特征与各所述人脸图像集合的平均人脸特征分别计算相似度；根据所述相似度最大值确定所述待评估人脸图像的质量等级。

在其中一些实施例中，所述划分模块还用于对各所述人脸图像计算图像质量分数；按照所述图像质量分数，将所述预设数量的人脸图像划分成质量等级不同的多个人脸图像集合。

在其中一些实施例中，所述划分模块还用于对人脸图像与所述人脸图像的类内图像计算类内相似度分布；对所述人脸图像与所述人脸图像的类间图像计算类间相似度分布；根据所述类内相似度分布和所述类间相似度分布计算图像质量分数。

第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项所述的方法。

第四方面，本申请实施例一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项所述的方法。

相比于相关技术，本发明的有益效果在于：选取预设数量的人脸图像，划分成质量等级不同的多个人脸图像集合；对各个人脸图像集合分别求取平均人脸特征；对待评估人脸图像提取待评估人脸特征；对待评估人脸特征与各个人脸图像集合的平均人脸特征分别计算相似度；根据相似度最大值确定待评估人脸图像的质量等级。对待评估人脸图像进行质量评估时，本申请能够保证质量评估结果的可靠性的基础上提高质量评估的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例所示的基于特征比对的人脸质量评估方法的流程图；

图2是根据本申请实施例所示的基于特征比对的人脸质量评估装置的结构框图；

图3是根据本申请实施例的电子设备的内部结构示意图。

附图标记说明：21、划分模块；22、计算模块；23、评估模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供了一种人脸图像质量评估方法，解决了相关技术中对待评估人脸图像质量进行评估时，评估效率较低的问题。

图1是根据本申请实施例所示的基于特征比对的人脸质量评估方法的流程图，参照图1所示，该方法可以包括步骤S101至步骤S105。

步骤S101，选取预设数量的人脸图像，划分成质量等级不同的多个人脸图像集合。

步骤S102，对各个人脸图像集合分别求取平均人脸特征。

步骤S103，对待评估人脸图像提取待评估人脸特征。

步骤S104，对该待评估人脸特征与各个人脸图像集合的平均人脸特征分别计算相似度。

步骤S105，根据该相似度最大值确定该待评估人脸图像的质量等级。

综上，本实施例将待评估人脸图像的人脸特征与各该人脸图像集合的平均人脸特征分别计算相似度，根据相似度最大值确定待评估人脸图像的质量等级，在保证了质量评估的可靠性的基础上，提高了人脸图像质量评估的效率。

优选地，在步骤S101中，将选取预设数量的人脸图像数据输入到人脸识别网络中，该人脸识别网络为预先训练好的去掉最后分类层的识别网络，值得说明的是，该人脸识别网络采用insightface、FaceNet等，网络结构采用resnet或inception-resnet，其中网络结构主要包括卷积层、残差块、关注模块等，另外可根据需要添加其他模块；损失函数采用arcface、cosface等；

以预设数量的人脸图像数据中一个人脸图像image举例，该人脸识别网络对人脸图像image分别提取人脸特征embedding，并将人脸特征embedding分别与类内图片、类间图片的人脸特征进行相似度计算得到类内相似度分布P、类间相似度分布Q，值得说明的是，该类内图片为人脸图像数据中属于同一类别的其他所有图片，类间图像是指人脸图像数据中属于不同类别的所有图片，而且，类间相似度分布和类内相似度分布不一样，类内相似度指该张人脸图像与本类(即同一个人)人脸图像的相似度，类间相似度指该张人脸图像与其他类(非同一个人)人脸图像的相似度，其中，相似度的计算可以包括余弦相似度计算或者欧氏距离计算；

通过计算类内相似度分布P与类间相似度分布Q之间的推土机距离，计算上述人脸图像image在人脸识别网络下的质量分数S。按照上述方法，得到预设数量的人脸图像在人脸识别网路下所有的质量分数。

对质量分数进行质量等级划分：若质量分数S在[0～35)之间，则认为该人脸图像质量差；若质量分数S在[35～70)之间，则认为该人脸图像质量一般；若质量分数在[70～100]之间，则认为该人脸图像质量好，由此将预设数量的人脸图像数据依据分数分为三个集合。

进一步地，在步骤S101中，Wasserstein distance作为一种计算两个分布之间距离的度量公式，可以很自然的度量离散分布和连续分布之间的距离，不仅能够度量距离，而且能够将一个分布变换成另一分布，特别是，能够连续地把一个分布变换成另一个分布，且保持分布自身的几何形态特征。

Wasserstein distance的计算公式如下：

其中，

是类内相似度分布，

是类间相似度分布，x_i表示第i张人脸图像，

是

和

分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布γ，可以从中采样

得到一个样本

和

并计算出这对样本的距离

所以可以计算该联合分布γ下，样本对距离的期望值E。

因此，例如质量评估结果的分数在0-100之间，进一步得到质量评估结果的表达式如下：

其中δ的函数表达式如下：

其中

的表达式如下：

其中，WD表示推土机距离，L表示各联合分布的推土机距离的集合。

优选地，在步骤S102中，分别获取各个集合中的人脸图像数据的人脸特征，并分别求取各个集合的平均特征，结合上述质量等级集合的举例，具体地，质量等级差的集合对应的平均人脸特征为第一特征，质量等级一般的集合对应的平均人脸特征为第二特征，质量等级好的集合对应的平均人脸特征为第三特征。

优选地，在步骤S104中，对该待评估人脸特征与各该人脸图像集合的平均人脸特征分别计算相似度，具体地，该待评估人脸特征与第一特征计算相似度得到第一相似度、与第二特征计算相似度得到第二相似度、与第三特征计算相似度得到第三相似度。

优选地，在步骤S105中，通过确定第一相似度、第二相似度和第三相似度中的最大值，来确定待评估人脸图像质量等级。若第一相似度最大，则确定待评估人脸图像的质量等级为差；若第二相似度最大，则确定待评估人脸图像的质量等级为一般；若第三相似度最大，则确定待评估人脸图像的质量等级为好。

作为一个示例，就上述人脸识别网络而言，包括算法准备阶段、算法训练阶段和算法应用阶段。

算法准备阶段：根据业务要求预选择合适的人脸识别算法模型(即人脸识别网络)，例如采用深度学习算法模型。优选的，该算法模型应用于设备端，所以在兼顾识别准确率的同时，保证模型越小越好。在选择合适的算法模型之后，准备训练数据、数据预处理(包括清洗数据)、搭建网络结构。而且，用于训练模型的图像数据指的是对齐后的人脸图像，例如，输入人脸图像后，先通过检测算法检测出人脸，再经过关键点检测模型得到关键点的位置，然后通过变换函数，得到对齐后的人脸，将对齐后的人脸作为人脸识别算法模型的输入。

算法训练阶段：设置合理的超参数、损失函数，在训练模型的过程中，Loss和误识率发生变化，从而可以得到误识率低的模型。因此，在训练模型的过程中，不断调整模型的深度和宽度以及模型中的相关参数，能够得到训练好的模型(即误识率低的模型)。

算法应用阶段：利用训练好的人脸识别算法模型，对人脸图像数据提取特征，通过计算该图像与类内和类间的相似度，得到类内相似度分布和类间相似度分布，然后计算类内相似度分布和类间相似度分布之间的距离，根据该距离得到质量分数，将基于不同模型得到的质量分数进行加权平均得到该图像最终的质量评估结果。

综上，对于选取预设数量的人脸图像，划分成质量等级差、质量等级一般和质量等级好的三个人脸图像集合；对各个人脸图像集合分别求取平均人脸特征；对待评估人脸图像提取待评估人脸特征；对待评估人脸特征与各个人脸图像集合的平均人脸特征分别计算相似度；根据相似度最大值确定待评估人脸图像的质量等级。对待评估人脸图像进行质量评估，本申请能够在保证人脸图像质量评估结果的可靠性的基础上提高人脸图像质量评估的效率。

本申请的一个实施例中还提供了一种基于特征比对的人脸质量评估装置，图2是根据本申请实施例所示的基于特征比对的人脸质量评估装置的结构框图，如图2所示，该装置包括划分模块21、计算模块22和评估模块23：

划分模块21，用于选取预设数量的人脸图像，划分成质量等级不同的多个人脸图像集合；

计算模块22，用于对各人脸图像集合分别求取平均人脸特征；

评估模块23，用于对待评估人脸图像提取待评估人脸特征；对待评估人脸特征与各人脸图像集合的平均人脸特征分别计算相似度；根据相似度最大值确定待评估人脸图像的质量等级。

综上，划分模块21将选取的预设数量的人脸图像划分成质量等级不同的多个人脸图像集合；计算模块22对各人脸图像集合分别求取平均人脸特征；评估模块23对待评估人脸图像提取待评估人脸特征，对待评估人脸特征与各人脸图像集合的平均人脸特征分别计算相似度，并根据相似度最大值确定待评估人脸图像的质量等级，解决了相关技术中对待评估人脸图像质量评估时，评估效率较低的问题。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的人脸图像质量评估方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于特征比对的人脸质量评估的方法。

本申请的一个实施例中还提供了一种电子设备，该电子设备可以是终端。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于特征比对的人脸质量评估的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图3是根据本申请实施例的电子设备的内部结构示意图，如图3所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图3所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于特征比对的人脸质量评估的方法，数据库用于存储数据。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于特征比对的人脸质量评估方法，其特征在于，所述方法包括：

选取预设数量的人脸图像，划分成质量等级不同的多个人脸图像集合；

对各所述人脸图像集合分别求取平均人脸特征；

对待评估人脸图像提取待评估人脸特征；

对所述待评估人脸特征与各所述人脸图像集合的平均人脸特征分别计算相似度；

根据所述相似度最大值确定所述待评估人脸图像的质量等级。

2.根据权利要求1所述的方法，其特征在于，所述的划分成质量等级不同的多个人脸图像集合包括：

对各所述人脸图像计算图像质量分数；

按照所述图像质量分数，将所述预设数量的人脸图像划分成质量等级不同的多个人脸图像集合。

3.根据权利要求2所述的方法，其特征在于，所述的对各所述人脸图像计算图像质量分数包括：

对人脸图像与所述人脸图像的类内图像计算类内相似度分布；

对所述人脸图像与所述人脸图像的类间图像计算类间相似度分布；

根据所述类内相似度分布和所述类间相似度分布计算图像质量分数。

4.根据权利要求3所述的方法，其特征在于，所述的根据所述类内相似度分布和所述类间相似度分布计算图像质量分数包括：

计算所述类内相似度分布与所述类间相似度分布之间的推土机距离，得到所述质量分数。

5.根据权利要求1所述的方法，其特征在于，所述质量等级包括差、一般和好三个等级，且分别对应的平均人脸特征为第一特征、第二特征和第三特征，所述的根据所述相似度最大值确定所述待评估人脸图像的质量等级包括：

若所述待评估人脸特征与所述第一特征的相似度最大，则确定所述待评估人脸图像的质量等级为差；

若所述待评估人脸特征与所述第二特征的相似度最大，则确定所述待评估人脸图像的质量等级为一般；

若所述待评估人脸特征与所述第三特征的相似度最大，则确定所述待评估人脸图像的质量等级为好。

6.一种基于特征比对的人脸质量评估装置，其特征在于，包括：

划分模块，用于选取预设数量的人脸图像，划分成质量等级不同的多个人脸图像集合；

计算模块，用于对各所述人脸图像集合分别求取平均人脸特征；

评估模块，用于对待评估人脸图像提取待评估人脸特征；对所述待评估人脸特征与各所述人脸图像集合的平均人脸特征分别计算相似度；根据所述相似度最大值确定所述待评估人脸图像的质量等级。

7.根据权利要求6所述的装置，其特征在于，所述划分模块还用于对各所述人脸图像计算图像质量分数；按照所述图像质量分数，将所述预设数量的人脸图像划分成质量等级不同的多个人脸图像集合。

8.根据权利要求6所述的装置，其特征在于，所述划分模块还用于对人脸图像与所述人脸图像的类内图像计算类内相似度分布；对所述人脸图像与所述人脸图像的类间图像计算类间相似度分布；根据所述类内相似度分布和所述类间相似度分布计算图像质量分数。

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的基于特征比对的人脸质量评估的方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的基于特征比对的人脸质量评估的方法。

Images