CN110046652A

CN110046652A - 人脸质量评估方法、装置、终端及可读介质

Info

Publication number: CN110046652A
Application number: CN201910205391.3A
Authority: CN
Inventors: 齐德龙; 谭卫军; 陈光炜
Original assignee: Shenzhen Shenmu Information Technology Co Ltd
Current assignee: Shenzhen Shenmu Information Technology Co Ltd
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2019-07-23

Abstract

本发明实施例公开了一种人脸质量评估方法、装置、终端及计算机可读介质，其中，所述方法包括：获取待评估图像，对所述待评估图像进行人脸识别，获取与所述待评估图像对应的第一人脸图像区域；通过预设的特征提取算法，获取所述第一人脸图像区域对应的第一人脸特征向量；将所述第一人脸特征向量输入训练完成的人脸质量评估分类器，通过所述人脸质量评估分类器输出与所述待评估图像对应的人脸质量评估结果。采用本发明实施例，通过人脸图像的特征提取和基于神经网络的分类器来对人脸图像质量进行评估，提高了人脸识别场景中的人脸质量评估的准确率。

Description

人脸质量评估方法、装置、终端及可读介质

技术领域

本发明涉及图像处理及人脸识别技术领域，具体涉及一种人脸质量评估方法、装置、终端及计算机可读介质。

背景技术

随着计算机技术和人工智能技术的发展，人脸识别技术已比较成熟且应用广泛，例如，在很多应用场景下，均采用人脸识别来识别用户身份。虽说在一般情况下，人脸识别技术具有较高的准确度，但是如果进行识别的人脸图像本身存在问题(例如，运动模糊、光线、距离过大、模糊度过大、人脸角度过偏)，就会导致其人脸识别结果的准确率也降低。也就是说，在人脸识别的过程中，首先得需要一张人脸质量、角度、以及人脸大小均较好的人脸图像，如果人脸质量较差或者无法区分较好的人脸，则导致人脸识别的准确率和效率大打折扣，达不到用户身份识别的目的。

在相关技术方案中，人脸图像质量的判断可以是通过对人脸图像区域的模糊度的判断，或者对人脸图像区域的明暗程度的判断，或者通过人脸图像区域的特征点对人脸角度的计算，而这些人脸质量的判断存在准确率较低的问题，达不到用户身份识别的准确性要求。

也就是说，在现有的人脸识别场景中的对人脸质量的评估和判断的技术方案中，对于人脸质量的评估和判断的准确率存在不足。

发明内容

针对上述相关技术方案中存在的技术问题，在本发明中，提供了一种人脸质量评估方法、装置、终端及计算机可读介质，通过人脸图像的特征提取和基于神经网络的分类器来对人脸图像质量进行评估，可提高人脸识别场景中的人脸质量评估的准确率。

本发明解决上述技术问题的技术方案如下：

本发明第一方面提供一种人脸质量评估方法，所述方法包括：

获取待评估图像，对所述待评估图像进行人脸识别，获取与所述待评估图像对应的第一人脸图像区域；

通过预设的特征提取算法，获取所述第一人脸图像区域对应的第一人脸特征向量；

将所述第一人脸特征向量输入训练完成的人脸质量评估分类器，通过所述人脸质量评估分类器输出与所述待评估图像对应的人脸质量评估结果。

在一个可选的实施例中，所述方法还包括：

获取训练样本集，所述训练视样本包括多个样本人脸图像及与所述样本人脸图像对应的样本评估结果；

对所述样本人脸图像进行人脸识别，获取样本人脸图像的第二人脸图像区域；

通过所述特征提取算法，获取所述第二人脸图像区域对应的第二人脸特征向量；

根据所述训练样本集包括的多个样本人脸图像及其对应的样本评估结果、第二人脸特征向量对预设的人脸质量评估分类器进行训练，获取训练完成的人脸质量评估分类器。

在一个可选的实施例中，所述人脸质量评估分类器为MLP分类器。

在一个可选的实施例中，所述对所述待评估图像进行人脸识别，获取与所述待评估图像对应的第一人脸图像区域的步骤之后，还包括：

对所述第一人脸图像区域进行规范化处理，获取在预设尺寸在的第一人脸图像区域。

在一个可选的实施例中，所述通过预设的特征提取算法，获取所述第一人脸图像区域对应的第一人脸特征向量的步骤，还包括：

通过预设的LBP特征提取算法，提取所述第一人脸图像区域对应的LBP特征向量作为第一人脸特征向量；

或，通过预设的多个特征提取算法，分别提取第一人脸图像区域对应的第一子特征向量，将所述提取到的多个子特征向量组合获取第一人脸特征向量。

在一个可选的实施例中，所述人脸质量评估结果包括人脸角度评估结果、和 /或人脸图像质量评估结果。

在一个可选的实施例中，所述对所述待评估图像进行人脸识别，获取与所述待评估图像对应的第一人脸图像区域的步骤，还包括：

通过预设的人脸识别算法，获取所述待评估图像中的人脸区域作为第一人脸图像区域；

或，通过预设的人脸特征识别算法，获取所述待评估图像中的人脸区域进行切割，获取包含人脸五官的第一人脸图像区域。

本发明的第二方面提供了一种人脸质量评估装置，所述装置包括：

模型训练模块，用于获取训练样本集，所述训练视样本包括多个样本人脸图像及与所述样本人脸图像对应的样本评估结果；对所述样本人脸图像进行人脸识别，获取样本人脸图像的第二人脸图像区域；通过所述特征提取算法，获取所述第二人脸图像区域对应的第二人脸特征向量；根据所述训练样本集包括的多个样本人脸图像及其对应的样本评估结果、第二人脸特征向量对预设的人脸质量评估分类器进行训练，获取训练完成的人脸质量评估分类器；

人脸识别模块，用于获取待评估图像，对所述待评估图像进行人脸识别，获取与所述待评估图像对应的第一人脸图像区域；

特征提取模块，用于通过预设的特征提取算法，获取所述第一人脸图像区域对应的第一人脸特征向量；

评估模块，用于将所述第一人脸特征向量输入训练完成的人脸质量评估分类器，通过所述人脸质量评估分类器输出与所述待评估图像对应的人脸质量评估结果。

在本发明的第三方面，还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

在本发明的第四方面，还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

实施本发明实施例，将具有如下有益效果：

采用了上述人脸质量评估方法、装置、终端及计算机可读介质之后，在用户身份识别的人脸识别的情况下，先对人脸图像质量进行评估，具体对人脸图像区域进行特征提取，然后将提取到的特征输入到已经预先训练完成的人脸质量评估分类器中，通过该分类器输出人脸质量评估结果，以完成对人脸图像质量的评估。通过上述人脸质量评估方法、装置、终端及计算机可读介质，可以在用户身份识别的人脸识别的过程中通过人脸图像的特征提取和基于神经网络的分类器来对人脸图像质量进行评估，提高人脸识别场景中的人脸质量评估的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中一种人脸质量评估方法的流程示意图；

图2为一个实施例中一种人脸质量评估方法中的目标分类器的训练方法的流程示意图；

图3为一个实施例中一种人脸质量评估装置的结构示意图；

图4为一个实施例中运行上述人脸质量评估方法的计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本实施例中，特提出了一种人脸质量评估方法，该方法的实现可依赖于计算机程序，该计算机程序可运行于基于冯诺依曼体系的计算机系统之上，该计算机程序可以是对用户身份进行识别的人脸识别、活体识别的应用程序。该计算机系统可以是运行上述计算机程序的例如智能手机、平板电脑、个人电脑等计算机设备。

需要说明的是，在通过图像或视频图像对用户的身份进行识别的过程中，虽然可以通过人脸识别来识别用户的身份，但是还需要对人脸图像质量进行评估，从而才能确定人脸识别结果的准确度和可信度。因此，在对用户进行人脸识别来进行身份识别的过程中，还需要进行人脸图像质量的评估和判断，从而真正提高人脸识别的准确性。

如图1所示，在一个实施例中，提供了一种人脸质量评估方法，具体包括如下步骤S102-S108：

步骤S102：获取待评估图像，对所述待评估图像进行人脸识别，获取与所述待评估图像对应的第一人脸图像区域。

待评估图像需要进行活体识别的预先采集的图像或视频中的图像帧、或者通过摄像头采集的视频图像。例如，待评估图像可以是在人脸识别的过程中通过摄像头采集的图像。在获取到待评估图像之后，通过对待评估图像进行人脸识别来检测待评估图像中包含人脸的窗口，即为第一人脸图像区域。

在本实施例中，通过预设的人脸识别方法获取待评估图像中的人脸，并获取识别到的人脸对应的第一人脸图像区域。例如，采用MTCNN(Multi-task convolutional neuralnetwork，多任务卷积神经网络)算法或者其他人脸识别算法对待评估图像进行人脸识别。

在另一个实施例中，也可以是通过预设的人脸特征识别方法，对待评估图像进行识别，识别待评估图像中的五官等人脸特征，对人脸进行切割，获取仅包含有五官的图像区域作为第一人脸图像区域(也就是说，第一人脸图像区域不包含头发、耳朵或背景图像等，可以提高人脸识别的准确性)。

在一个具体的实施例中，上述人脸特征识别方式可以是通过landmark算法对待评估图像中的人脸进行切割。

在另一个可选的实施例，为了保证后续人脸质量的评估中提取到的特征向量的大小一致、以及人脸质量的评估中对原因、评估的准确性，还可以对识别到的第一人脸图像区域进行归一化处理，也就是说，对于识别到的第一人脸图像区域进行归一化处理，将第一人脸图像区域转换成预设图像尺寸下的标准大小的图像或图像区域。

步骤S104：通过预设的特征提取算法，获取所述第一人脸图像区域对应的第一人脸特征向量。

在确定了待评估图像中对应的第一人脸图像区域之后，即可在该人脸图像区域中进行特征提取和人脸质量的识别和评估。具体的，对第一人脸特征向量对应的图像进行特征提取，获取对应的特征向量(即第一人脸特征向量)。例如，按照预设的特征提取算法提取第一人脸图像区域对应的第一人脸特征向量；或者，按照预设的特征提取算法，获取所述第一目标扩展窗口的LBP(Local Binary Pattern，局部二值模式)特征或HOG(方向梯度直方图，Histogram of Oriented Gradient)特征。

在本实施例中，上述提取第一人脸图像区域的第一人脸特征向量的特征提取过程优先提取LBP特征，因为LBP特征可以用来描述图像局部文理特征，具有旋转不变性和灰度不变性等优先，并且计算量较小，处理速度较快，因此采用提取LBP特征可以保证人脸质量评估的准确性和计算速度。且，还可以是基于LBP 特征提取的其他特征提取方法。

在另一个可选的实施例中，为了进一步的提高本实施例人脸质量评估的准确性，还可以采用多种特征提取算法，分别提取第一人脸图像区域对应的第一子特征向量，然后将多种特征提取算法下提取到的多个子特征向量进行组合，从而获取第一人脸特征向量。具体的，上述特征提取算法包含但不限于LBP特征提取、 HOG特征提取、通过拉普拉斯变换进行特征提取、通过图像灰度值进行特征提取、通过人脸特征点计算角度的特征提取等。

步骤S108：将所述第一人脸特征向量输入训练完成的人脸质量评估分类器，通过所述人脸质量评估分类器输出与所述待评估图像对应的人脸质量评估结果。

在本实施例中，人脸质量评估分类器是通过预先设置的训练样本集进行训练完成之后的分类器，例如，MLP(Multi-Layer Perceptron，多层感知器)分类器或SVM(支持向量机，Support Vector Machine)分类器。通过该目标分类器可以对步骤S104中提取到的人脸特征向量进行人脸质量的识别和评估。

在本实施例中，在步骤S106中计算得到第一人脸特征向量之后，将所述第一人脸特征向量输入所述目标分类器，从而获取目标分类器输出的活体识别结果。

在一个具体的实施例中，上述MLP分类器或者SVM分类器为一种基于神经网络的分类器，在经过训练样本集的训练之后，可以对相应的视频对应的人脸进行活体识别。需要说明的是，在本实施例中，上述MLP分类器或者SVM分类器还可以是其他神经网络模型、卷积神经网络模型或人工智能模型。

需要说明的是，在本实施例中，对待评估图像的人脸质量进行评估，需要对人脸图像的质量进行全方位的评估，主要是可能涉及到后续的人脸识别的准确度的相关人脸质量评估。在本实施例中，上述人脸质量评估结果包括但不限于人脸角度评估结果、和/或人脸图像质量评估结果中的一种或多种。例如，人脸质量评估结果包括但不限于图像模糊度、图像大小、人脸角度、图像清晰度等多种人脸图像的质量评估结果。

进一步的，如图2所示，在本实施例中，还提供了上述人脸质量评估方法中的人脸质量评估分类器的训练方法。具体的，包括如图2所示的步骤S502-S510：

步骤S202：获取训练样本集，所述训练视样本包括多个样本人脸图像及与所述样本人脸图像对应的样本评估结果；

步骤S204：对所述样本人脸图像进行人脸识别，获取样本人脸图像的第二人脸图像区域；

步骤S206：通过所述特征提取算法，获取所述第二人脸图像区域对应的第二人脸特征向量；

步骤S208：根据所述训练样本集包括的多个样本人脸图像及其对应的样本评估结果、第二人脸特征向量对预设的人脸质量评估分类器进行训练，获取训练完成的人脸质量评估分类器。

上述训练样本集包含了多个样本人脸图像，每一个样本人脸图像对应了采集到的用户身份识别过程采集的人脸图像，且每一个样本人脸图像中对应的人脸质量评估的样本评估结果也包含在内。上述提取样本人脸图像的第二人脸特征向量的过程与步骤S102-S106中采集待评估图像的第一人脸特征向量的过程一致，且这两个过程中提取人脸特征向量的方法必须保持一致，才能保证后续的人脸质量评估的品谷结果的准确度。

在对人脸质量评估分类器进行训练的过程中，将样本人脸图像对应的第二人脸特征向量作为输入，将样本人脸图像对应的样本评估结果作为输出，对人脸质量评估分类器进行训练。进一步的，在本实施例中，还可以对样本人脸图像的一部分作为训练样本，另一部分作为验证样本，在验证样本的人脸质量的评估准确率达到一定的阈值的情况下，才认定为人脸质量评估分类器训练完成。

进一步的，如图3所示，在本实施例中，还提出了一种人脸质量评估装置，所述装置包括：

模型训练模块302，用于获取训练样本集，所述训练视样本包括多个样本人脸图像及与所述样本人脸图像对应的样本评估结果；对所述样本人脸图像进行人脸识别，获取样本人脸图像的第二人脸图像区域；通过所述特征提取算法，获取所述第二人脸图像区域对应的第二人脸特征向量；根据所述训练样本集包括的多个样本人脸图像及其对应的样本评估结果、第二人脸特征向量对预设的人脸质量评估分类器进行训练，获取训练完成的人脸质量评估分类器；

人脸识别模块304，用于获取待评估图像，对所述待评估图像进行人脸识别，获取与所述待评估图像对应的第一人脸图像区域；

特征提取模块306，用于通过预设的特征提取算法，获取所述第一人脸图像区域对应的第一人脸特征向量；

评估模块308，用于通过预设的特征提取算法，获取所述第一人脸图像区域对应的第一人脸特征向量；

在一个可选的实施例中，上述特征提取模块306还用于通过预设的LBP特征提取算法，提取所述第一人脸图像区域对应的LBP特征向量作为第一人脸特征向量；或，通过预设的多个特征提取算法，分别提取第一人脸图像区域对应的第一子特征向量，将所述提取到的多个子特征向量组合获取第一人脸特征向量。

在一个可选的实施例中，上述人脸识别模块304还用于对所述第一人脸图像区域进行规范化处理，获取在预设尺寸在的第一人脸图像区域。

在一个可选的实施例中，上述人脸识别模块304还用于通过预设的人脸识别算法，获取所述待评估图像中的人脸区域作为第一人脸图像区域；

图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现短文本过滤方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行人脸质量评估方法。网络接口用于与外部进行通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的人脸质量评估方法可以实现为一种计算机程序的形式，计算机程序可在如图4所示的计算机设备上运行。计算机设备的存储器中可存储组成短文本过滤装置的各个程序模板。比如，模型训练模块302、人脸识别模块304、特征提取模块306、评估模块308。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

上述计算机设备，在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：

需要说明的是，上述人脸质量评估方法、人脸质量评估装置、计算机设备和计算机可读存储介质属于同一个发明构思，人脸质量评估、人脸质量评估装置、计算机设备和计算机可读存储介质中涉及的内容可相互适用。

实施本发明实施例，将具有如下有益效果：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态 RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率 SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种人脸质量评估方法，其特征在于，所述方法包括：

2.根据权利要求1所述的人脸质量评估方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的人脸质量评估方法，其特征在于，所述人脸质量评估分类器为MLP分类器。

4.根据权利要求1所述的人脸质量评估方法，其特征在于，所述对所述待评估图像进行人脸识别，获取与所述待评估图像对应的第一人脸图像区域的步骤之后，还包括：

5.根据权利要求1所述的人脸质量评估方法，其特征在于，所述通过预设的特征提取算法，获取所述第一人脸图像区域对应的第一人脸特征向量的步骤，还包括：

6.根据权利要求1所述的人脸质量评估方法，其特征在于，所述人脸质量评估结果包括人脸角度评估结果、和/或人脸图像质量评估结果。

7.根据权利要求1所述的人脸质量评估方法，其特征在于，所述对所述待评估图像进行人脸识别，获取与所述待评估图像对应的第一人脸图像区域的步骤，还包括：

8.一种人脸质量评估装置，其特征在于，所述装置包括：

9.一种终端，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。