CN113269090B - 基于人脸质量评估的人脸识别方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了涉及人脸识别、人脸评估技术领域，公开了基于人脸质量评估的人脸识别方法、装置、计算机设备和存储介质，用于提高人脸识别效率。方法部分包括：从视频数据中采用间隔方式提取出检测关键帧；对检测关键帧进行人脸检测，得到检测关键帧包含的人脸；从从检测关键帧为起始点采用间隔方式依次从视频数据中提取预设数量的多个评估帧，评估关键帧的提取间隔小于检测关键帧的提取间隔；通过多个评估关键帧对人脸进行人脸质量评估，得到每个评估关键帧中，人脸的评估得分；在预测时段内，从所有评估关键帧中，确定出人脸的评估得分最高的目标图像帧；通过目标图像帧进行人脸识别。

Description

基于人脸质量评估的人脸识别方法、装置、设备及介质

技术领域

本发明涉及人工智能技术领域，应用于人脸识别领域，尤其涉及一种基于人脸质量评估的人脸识别方法、装置、设备及介质。

背景技术

视频场景下的多人脸识别任务，是目前智能生物识别中最常见的一种场景。传统的系统一般直接将视频流转换为多帧图片，采用基于图片的人脸识别系统+基于检测器的多目标追踪的方式，一般是实时对每帧图像进行实时检测、跟踪和识别，由于追踪依赖检测，导致了检测器执行频率高，而且泛用的视频多目标检测系统产生的会有大量低价值的抓拍图，反而加重了人脸识别系统的负担，导致整体人脸识别效率低下。

发明内容

本发明提供一种基于人脸质量评估的人脸识别方法、装置、计算机设备及存储介质，以解决人脸识别效率问题。

一种基于人脸质量评估的人脸识别方法，包括：

从视频数据中采用间隔方式提取出检测关键帧；

对所述检测关键帧进行人脸检测，得到所述检测关键帧包含的人脸；

从所述检测关键帧为起始点采用间隔方式依次从所述视频数据中提取预设数量的多个评估关键帧，所述评估关键帧的提取间隔小于所述检测关键帧的提取间隔；

通过所述多个评估关键帧对所述人脸进行人脸质量评估，得到每个评估关键帧中人脸的评估得分；

在预测时段内，从所有评估关键帧中，确定出所述人脸的评估得分最高的目标图像帧；

通过所述目标图像帧进行人脸识别。

一种基于人脸质量评估的人脸识别装置，包括：

人脸提取单元，用于从视频数据中采用间隔方式提取出检测关键帧；

人脸检测单元，用于对所述检测关键帧进行人脸检测，得到所述检测关键帧对应的个人脸；

所述人脸提取单元，用于从所述检测关键帧为起始点采用间隔方式依次从所述视频数据中提取预设数量的多个评估关键帧，所述评估关键帧的提取间隔小于所述检测关键帧的提取间隔；

人脸质量评估单元，通过所述多个评估关键帧对所述人脸进行人脸质量评估，得到每个评估关键帧中，所述人脸的评估得分；

确定单元，用于在预测时段内，从所有评估关键帧中，确定出所述人脸的评估得分最高的目标图像帧；

人脸识别单元，用于通过所述目标图像帧进行人脸识别。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人脸质量评估的人脸识别方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于人脸质量评估的人脸识别方法的步骤。

上述基于人脸质量评估的人脸识别方法、装置、计算机设备及存储介质所实现的方案中，利用特殊设计的三级沙漏方式(上述相应步骤提及的人脸检测、人脸质量评估和目标图像帧筛选过程)，对于摄像设备所获取的视频数据，并不会对所有图像帧都进行人脸检测，只提取出关键检测帧进行检测，而且在进行人脸质量评估时，也不会对每一帧图像帧都进行评估，而是截取部分图像帧作为评估关键帧进行人脸质量评估，并利用人脸质量评估得分最高的图像帧机进行人脸识别，在人脸识别场景下，能快速准确的从视频中抓取识别所需要的高质量人脸图片，提升了人脸识别的整体效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中人脸识别方法的一应用环境示意图；

图2是本发明实施例中人脸识别系统的一框架示意图；

图3是本发明实施例中人脸识别系统的另一框架示意图；

图4是本发明实施例中人脸识别方法的一流程示意图；

图5是本发明实施例中人脸识别装置的一原理框图；

图6是本发明实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请先参阅图1-图3，其中，本发明实施例提供的基于人脸质量评估的人脸识别方法，可应用在如图1的应用环境中，其中，摄像设备通过网络与服务器进行通信，其中，摄像设备用于对某个有预设区域进行拍摄，得到视频数据，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。图2和图3为基于人脸质量评估的人脸识别系统的框架示意图，服务器用于实时获取摄像设备获取的视频数据，该视频数据包括n个图像帧，从视频数据中采用间隔方式提取出检测关键帧；对检测关键帧进行人脸检测，得到检测关键帧对应的个人脸，也即得到检测到的人脸，从视频数据中提取出多个评估关键帧，评估关键帧采用间隔方式从检测关键帧开始提取，直至遇到下一个检测关键帧，评估关键帧的提取间隔小于检测关键帧的提取间隔；随后，服务器依据提取顺序，进行人脸跟踪，从而依次通过多个评估关键帧对检测出的人脸进行人脸质量评估，这里利用后续得评估关键帧对前面检测出的人脸进行预测并评估，可得到每个评估关键帧对应的人脸对应的评估得分；从多个评估关键帧中，确定出人脸的评估得分最高的图像帧；其中，非关键帧为除检测关键帧和评估关键帧以外的其他图像帧，对非关键帧进行人脸质量评估的评估得分也可以参与到最后的人脸追踪和排序中，最后通过每张人脸的评估得分最高的图像帧进行人脸识别。

其中，进行人脸识别时，可将符合要求的图像帧送入人脸资源池中以用于人脸识别，例如，如图3所示，在对图像帧1、图像帧2和图像帧3进行处理后，可以得到相应的人脸A、B和C对应的评估得分，随后取评评估得分最高的送入到人脸资源池中，例如，对于人脸A，则会将图像帧2送入到人脸资源池中。

可以看出，本发明中，对于摄像设备所获取的视频数据，并不会对所有图像帧都进行人脸检测，只提取出关键检测帧进行检测，而且在进行人脸质量评估时，也不会对每一帧图像帧都进行评估，而是截取部分图像帧作为评估关键帧进行人脸质量评估，并利用人脸质量评估得分最高的图像帧进行人脸识别，在人脸识别场景下，能快速准确的从视频中抓取识别所需要的高质量人脸图片，提升了人脸识别的整体效率。

需要说明的是，本发明提供的基于人脸质量评估的人脸识别方法，可应用在各种各样的视频场景下的监控、监视系统中，应用场景包括室内监控(如地铁内、火车站)、室外监控(如公共广场、街道)等，具体不做限定。

另外，从图2也可以看出，本发明提供的基于人脸质量评估的人脸识别方法，主要包括抓拍模块和识别模块，各模块的主要作用和功能，相比于原先的整体模式，拆分后的这个系统更容易适应不同业务场景，可分为纯前端、前后端分离、纯后端的系统设计方式。如图2所示，下面结合图2，通过具体的实施例，对本发明实施例进行更为详细、完整的描述。

在一实施例中，如图4所示，提供一种基于人脸质量评估的人脸识别方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S10：从视频数据采用间隔方式提取出检测关键帧。

S20：对检测关键帧进行人脸检测，得到该检测关键帧包含的人脸。

在摄像设备拍摄到视频数据后，可以将视频数据反馈至服务器。视频数据是由一帧帧连续图像帧所构成，服务器在获取到视频数据之后，从视频数据流中，采用间隔方式提取得到检测关键帧。这里的间隔方式提取，指的是，本发明中并不会一帧一帧从视频数据中提取出图像帧并处理，而是采用跳帧的方式，从视频数据一帧帧连续的图像帧中间隔提取处图像帧作为人脸检测用的检测关键帧。从该步骤中可以看出，本发明无需一帧帧对视频数据流中的图像帧一一进行人脸检测，可以理解为第一级沙漏，用于过滤掉视频中无人脸区域，降低检测频率，极大了提高了检测效，从而提升整体效率，

比如，取视频数据中的第1帧作为检测关键帧，利用人脸检测算法对该检测关键帧进行检测以获取人脸，该检测关键帧的人脸可能包括人脸A、B、C、D和E。

S30：从所述检测关键帧为起始点采用间隔方式依次从所述视频数据中提取预设数量的多个评估关键帧，所述评估关键帧的提取间隔小于所述检测关键帧的提取间隔。

S40：通过多个评估关键帧对检测出的人脸进行人脸质量评估，得到每个评估关键帧中，所述人脸的评估得分。

本发明中，还会从视频数据中提取出多个评估关键帧，评估关键帧与检测关键帧的区别地方在于，检测关键帧是用于对人脸进行检测的图像帧，评估关键帧是用于对检测出的人脸进行评估的图像帧；与检测关键帧的相同地方在于，检测关键帧和评估关键帧均是利用间隔方式，从视频数据的一帧帧连续图像帧中提取得到，其中，评估关键帧为从检测关键帧开始，采用间隔方式依次提取预设数量的图像帧所得到，评估关键帧的提取间隔小于检测关键帧的提取间隔。其中，作为一个示例，从检测关键帧开始提取预设数量的图像帧，是从当前检测关键帧(包括)到下一检测关键帧(不包括)之间的图像帧中截取得到。

结合上述实施例，假设检测关键帧的提取间隔为12帧，评估关键帧的提取间隔为4帧，那么第1帧为检测关键帧，那么下一检测关键帧为第13帧，该检测关键帧(第1帧)对应的评估关键帧包括第1帧、第5帧、第9帧，按照评估关键帧的间隔提取方式，第13帧应该也为评估关键帧，但是由于下一个检测关键帧为第13帧，因此，该检测关键帧(第1帧)对应的评估关键帧仅包括第1帧、第5帧和第9帧，也即截取出第1帧、第5帧和第9帧作为第1帧检测关键帧对应的评估关键帧。

在从视频数据中提取出检测关键帧对应的多个评估关键帧之后，通过多个评估关键帧对人脸进行人脸质量评估，得到每个评估关键帧中，检测出的人脸对应的评估得分。例如，提取出第1帧、第5帧和第9帧之后，利用第1帧、第5帧和第9帧，对第1帧关键检测帧检测出的每张人脸进行跟踪，得到相应的区域(A、B、C、D和E所在区域)进行人脸质量评估。这样，由于是用不同关键评估帧，那么利用每一帧关键评估帧进行人脸质量评估的结果自然会不一样，因此，会得到每个评估关键帧中每张人脸(A、B、C、D和E)对应的评估得分。

可以看出，在本发明中，在对检测出的人脸进行人脸质量评估时，也是采用了跳帧的方式处理，减少了评估时间，且由于从关键检测帧临近的预设数量的图像帧作为评估关键帧，也能有效的保证人脸质量评估效果。

需要说明的是，上述是以第1帧检测关键帧为例进行说明，当检测到下一检测关键帧(第13帧)，也是同样的处理方式，从而使得对视频数据的处理均是依照本发明所设定的跳帧处理方式，极大了缩短了处理时长，且能有效保证处理效果，另外，上述利用人脸质量评估算法的得到各个人脸的评估得分的过程，可理解为本发明设定的第二级沙漏。

另外需要说明的是，通过多个评估关键帧对人脸进行人脸质量评估，得到每个检测到的人脸对应的评估得分的过程中，需要基于检测关键帧的人脸检测结果(人脸A、B、C、D和E)，利用人脸跟踪技术，对人脸A、B、C、D和E进行跟踪，以便确定多个多个评估关键帧上述人脸的相应区域位置，最后利用人脸质量评估算法，利用人脸质量评估算法，对所述多个评估关键帧的相应区域位置进行计算，以所述多个评估关键帧中所述人脸的对应评估得分，计算得到每个人脸的评估得分。其中，具体的人脸质量评估方法这里不详细展开描述，例如，可通过卡尔曼滤波预测取得，也即可使用卡尔曼滤波预对评估关键帧中A，B，C、D和E的位置进行评估，获得人脸的评估得分，这里不详细展开描述。

在另一实施方式中，针对人脸近似为刚体这一特点，可使用anchor-free检测器(例如CenterNet)，并模型最终输出的【宽高】(两个值，目标范围的矩形)改为直径(一个值，将人脸近似看成一个方形)。进一步提升检测的执行速度，提高跟踪效率。

另外，在一实施方式，可加入人脸角度以及模糊度信息作为辅助追踪项目，有效降低了人脸重叠时，误追踪问题，可以提高鲁棒性。

S50：在预测时段内，从所有评估关键帧中，确定出所述人脸的评估得分最高的目标图像帧。

S60：通过目标图像帧进行人脸识别。

在得到每个评估关键帧中，每张人脸的评估得分后，经过预测时段内，由于对多个关键检测帧进行了相应处理，最后能得到多个评估关键帧中的人脸对应的评估得分，随后从所有评估关键帧中，确定出人脸的评估得分最高的目标图像帧。这里的，筛选出人脸的评估得分最高的目标图像帧进行人脸识别的过程，可以理解为第三级沙漏。

值得注意的是，其中，当某一帧评估关键帧中跟踪不到相应的人脸时，则此时无法利用人脸质量评估算法得到该人脸的评估得分，此时评估得分为空。例如，以上述第1帧检测关键帧为例，结果可如下表1所示：

名称	第1帧分数	第5帧分数	第9帧分数
				A(首次出现：第1帧，未识别)	0.8	0.85	0.9
B(首次出现：第1帧，未识别)	0.7	0.6	0.55
				C(首次出现：第1帧，未识别)	0.6	0.7	0.6
D(首次出现：第1帧，未识别)	0.5	0.45	-
				E	0.4	-	-

表1

例如，如上表所示，第5帧追踪不到人脸E，故利用第5帧对人脸E进行人脸质量评估时，人脸E的评估得分为空，第6帧追踪不到人脸D和E，故利用第6帧对人脸D和E进行人脸质量评估时，人脸D和E的得分为空，由于第1帧即作为关键检测帧，又为评估关键帧，故检测出的A，B，C、D和E均能评估出其相应的评估得分。这样，经过循环处理后，可以得到多个评估关键帧中，确定出人脸的评估得分最高的目标图像帧，例如，所有评估关键帧中，假设第9帧为人脸A的评估得分最高的图像帧，则第9帧为人脸A对应的目标图像帧，那么便可以利用该第9帧对人脸A进行人脸识别。

可以看出，本发明中，提供了一种人脸质量评估的人脸识别方法，利用特殊设计的三级沙漏方式(上述相应步骤提及的人脸检测、人脸质量评估和目标图像帧筛选过程)，对于摄像设备所获取的视频数据，并不会对所有图像帧都进行人脸检测，只提取出关键检测帧进行检测，而且在进行人脸质量评估时，也不会对每一帧图像帧都进行评估，而是截取部分图像帧作为评估关键帧进行人脸质量评估，并利用人脸质量评估得分最高的图像帧机进行人脸识别，在人脸识别场景下，能快速准确的从视频中抓取识别所需要的高质量人脸图片，提升了人脸识别的整体效率。

其中，在一些实施例中，如图3所示，在进行最后的人脸识别时，可先提取人脸关键点，在对人脸进行对齐处理，得到对齐后的人脸，最后再进行人脸识别，具体这里不详细展开描述。

在一实施例中，实现本发明提供的一种人脸质量评估的人脸识别方法时，可以先满足如下两个假设：1：在短时间内(比如200ms内)，同一个人脸的状态是相对一致的(比如侧脸的人，相邻几帧也是侧脸，被遮挡的人，相邻几帧也是被遮挡的)；短时间内，同一个人脸的质量变化是接近于线性的(比如某人在0ms是采样是侧脸90度，500ms是采样是侧脸45度，1000ms采样是正脸0度状态，那么可以近似的认为，他在0ms到1000ms之间，脸是线性的旋转了90度，运动模糊，遮挡也同理)。需要说明的是，在上述两个先验假设的情况下，可以使得后续的人脸检测结果更为快速和精确，具体不做限定。

需要说明的是，在上述实施例中，在处理视频数据时，可以采间隔处理方式，从视频流中提取关键检测帧和评估检测帧，具体地，在本发明中，为了适用更多的场景，以增强鲁棒性和实用性，在本发明中，可以依据实际情况选择采用固定间隔提取方式，或者动态间隔提取方式，以从视频流中依次提取检测关键中和评估关键帧。具体地，作为一个示例，所述检测关键帧和评估关键的间隔提取方式如下步骤：

S101：确定所述视频数据的传输吞吐量是否符合预设稳定状态；

S102：当所述传输吞吐量符合所述预设稳定状态，则分别依据所述检测关键帧和评估关键帧对应的固定间隔提取区间，从所述视频数据中提取所述检测关键帧和评估关键帧；

S103：当所述传输吞吐量为不符合所述预设稳定状态，则分别依据所述检测关键帧和评估关键帧对应的动态间隔提取区间，从所述视频数据中提取所述检测关键帧和评估关键帧；其中，当存在第一预设数量的挤压帧，则在所述检测关键帧对应的动态间隔提取区间范围内，延长所述检测关键帧对应的提取间隔区间，当存在第二预设数量的挤压帧，则所述评估关键帧对应的动态间隔提取区间范围内，延长所述评估关键帧对应的提取间隔区间。

上述步骤S101-S103中，提出了固定间隔提取方式和动态间隔提取方式的具体实施条件。在处理视频数据时，可以先确定所述视频数据的传输吞吐量。其中，该视频数据的传输吞吐量，指的是某单位时间内，摄像设备能传输至服务器的图像帧数量，预设稳定状态指的是传输吞吐量在一定时长内是否保持在某个水平内，如果能保持在某个水平内，则认为传输吞吐量是符合预设稳定状态，如果不能保持在某个水平内，则认为是非预设稳定状态，也即为不符合预设稳定状态。其中，当前的传输吞吐量，服务器可以根据之前接收的视频数据处理过程中所确定，此为事先确定方式，在对本发明中的视频数据进行处理时，也可根据当前实时处理的视频数据中实时确定，这里不仔细展开说明。其中，依据传输吞吐量，本发明提出以下两种处理情况：

第一种，当所述传输吞吐量符合所述预设稳定状态，则分别依据所述检测关键帧和评估关键帧对应的固定间隔提取区间，从所述视频数据中提取所述检测关键帧和评估关键帧。这里所谓的对应的固定间隔提取区间，指的是，分别为检测关键帧和评估关键帧的提取间隔为某一固定的区间，也即提取间隔区间不会改变，此为固定间隔提取方式。例如，检测关键帧为每间隔12帧提取1帧，评估关键帧为每间隔3帧提取1帧，其图像帧均作为非关键帧。

举例说明：

比如，先假定：

检测关键帧的固定间隔提取区间为12帧，

评估关键帧的固定间隔提取区间为3帧。

那么，经过上述固定间隔提取方式对视频数据进行处理后，过程如下所示：

第1帧：固定为检测关键和评估关键帧。

第2帧：距离上一个检测关键帧(第1帧)小于固定间隔提取区间(12)，跳过检测，也即将不会提取第2帧进行人脸检测；

距离上一个评估关键帧(第1帧)小于固定间隔提取区间(3)，跳过评估，即也不会提取该第2帧进行人脸质量评估；

第3帧：距离上一个检测关键帧(第1帧)小于固定间隔提取区间(12)，跳过检测，也即将不会提取第3帧进行人脸检测；

距离上一个评估关键帧(第1帧)小于固定间隔提取区间(3)，跳过评估，即也不会提取该第3帧进行人脸质量评估；

第4帧：距离上一个检测关键帧(第1帧)小于固定间隔提取区间(12)，跳过检测，也即将不会提取第4帧进行人脸检测；

距离上一个评估关键帧(第1帧)不小于固定间隔提取区间(3)，进行评估，即会提取该第4帧进行人脸质量评估；

...

第14帧：距离上一个检测关键帧(第1帧)不小于固定间隔提取区间(12)，进行检测，也即会提取第14帧进行人脸检测；

如上过程所示，采用固定间隔提取方式，依次对提取的检测关键帧和评估关键帧进行处理，达到预测时段后，从所有评估关键帧中，确定出人脸的评估得分最高的图像帧，再通过人脸的评估得分最高的图像帧进行人脸识别。

通过上述例子，也可以明显的看出，如果在事先或者处理过程确定传输吞吐量不是很稳定的场景，那么可以直接采用固定方式处理，实现简单，执行效率比较稳定，适合视频传输吞吐量比较稳定的场景。

第二种，当所述传输吞吐量为不符合所述预设稳定状态，则分别依据所述检测关键帧和评估关键帧对应的动态间隔提取区间，从所述视频数据中提取所述检测关键帧和评估关键帧。这里所谓的对应的动态间隔提取区间，指的是，分别为检测关键帧和评估关键帧的提取间隔做了动态设定，也即在处理过程中，检测关键帧和评估关键帧的提取间隔是可以依据实际情况动态变化的，只是的动态变化的范围在设定的区间内，而具体是在延长提取间隔还是缩短提取间隔，取决于当前是否有挤压帧。对于检测关键帧而言，在提取检测关键帧时，当存在第一预设数量的挤压帧时，则在检测关键帧的动态间隔提取区间范围内，延长检测关键帧的提取间隔；反之，则缩短检测关键帧的提取间隔。对于评估关键帧而言，在提取评估关键帧时，当存在第二预设数量的挤压帧时，则在评估关键帧的动态间隔提取区间范围内，延长评估关键帧的提取间隔；反之，则缩短评估关键帧的提取间隔。此为动态间隔提取方式。

需要说明的是，在一实施例中，所述第一预设数量为所述检测关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的正整数倍以上，且小于所述检测关键帧的动态间隔提取区间；所述第二预设数量为所述评估关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的正整数倍以上，且小于所述评估关键帧的动态间隔提取区间。作为一个示例，该第一预设数量为检测关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的2倍，该第二预设数量为评估关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的2倍，具体本发明不做限定。

举例说明：

比如，先假定：

检测关键帧的动态间隔提取区间为10-20帧，

评估关键帧的动态间隔提取区间为2-10帧。

那么，检测关键帧的动态间隔提取区间中，最小间隔区间为10，依据上述实施方式，检测关键帧对应的第一预设数量为2*10。同理，评估关键帧的动态间隔提取区间中，最小间隔区间为2，依据上述实施方式，评估关键帧对应的第二预设数量为2*2。

那么，经过上述动态间隔提取方式对视频数据进行处理后，过程如下所示：

第1帧：固定为检测关键帧和评估关键帧；

第2帧：距离上一个检测关键帧(第1帧)小于最小检测间隔(10)，跳过检测，也即不对第2帧进行人脸检测；

距离上一个评估关键帧(第1帧)小于最小评估间隔(2)，跳过评估，也即不对第2帧进行人脸质量评估；

第3帧：距离上一个检测关键帧(第1帧)小于最小检测间隔(10)，跳过检测，也即不对第3帧进行人脸检测；

距离上一个评估关键帧(第1帧)不小于最小评估间隔(2)，则判断当前是否存在积压帧：

如存在大于【2*2】的积压帧，跳过评估，也即不对该第3帧进行人脸质量评估；

如不存在大于【2*2】的积压帧，进行评估，也即对该第3帧进行人脸质量评估；

...

第11帧：距离上一个检测关键帧(第1帧)不小于最小检测间隔(10)，判断当前是否存在积压帧：

如存在大于【2*10】的积压帧，跳过检测，也即不对该第11帧进行检测；

如不存在大于【2*10】的积压帧，进行检测，也即对该第11帧进行检测。

如上动态间隔提取过程所示，采用动态间隔提取方式，依次对提取的检测关键帧和评估关键帧进行处理，达到预测时段后，从所有评估关键帧中，确定出人脸的评估得分最高的图像帧，再通过人脸的评估得分最高的图像帧进行人脸识别。

总结来说，在传输吞吐量不符合预设稳定状态的时候，如果传输吞吐量比较低，则会按照最小间隔进行划分，如果传输吞吐量比较高，会按照以高的方向间隔划分，其余情况会根据处理时积压帧的数量，动态计算是否延长间隔。(积压帧数量大于2倍最小间隔则延长，则处理)。可以看出，上述动态间隔提取方式，适合吞吐量不明或者不稳定的场景，优点是自适应性强。

需要说明的是，由于前述实施例中采取了跳帧处理方式进行人脸检测、评估和追踪，为了进行一步提高识别准确率，在一实施例中，在得到每张人脸的评估得分最高的图像帧之后，利用该人脸的评估得分最高的图像帧，进行人脸识别的过程，具体包括如下步骤：

S61：确定出所述预测时段内，所述人脸对应的最佳人脸出现帧区间，所述最佳人脸出现帧区间包括所述目标图像帧、与所述目标图像帧相邻的多个连续图像帧。

其中，预测时段是指预先设定的，需要进行次人脸识别的时段段，在对视频数据处理时，经过预测时段后，由于已经会通过检测关键帧检测到人脸，且会通过对应的评估关键帧评估人脸，因此可以得到，每张人脸对应的不同评估得分的图像帧，在确定出人脸的评估得分最高的图像帧之后，以该人脸的评估得分最高的目标图像帧作为临界点，确定出与该目标图像帧临近的多个连续图像帧，将这多个连续图像帧和目标图像帧，作为该人脸对应的最佳人脸出现帧区间。

在一实施例中，所述多个连续图像帧包括，所述目标图像帧开始往前截取的第一数量的连续图像帧，以及所述目标图像帧开始往后截取的第二数量的连续图像帧，其中，所述目标图像帧的提取间隔越长，则所述第一数量和所述第二数量越大，上述第一数量和第二数量，只要能符合实际要求便可，比如，当评估关键帧的提取间隔为4时，第一数量和第二数量可以是2，当评估关键帧的提取间隔比较大时，相应的第一数量和第二数量可以取大点，比如当评估关键帧的提取间隔为6时，第一数量和第二数量可以是3，以此类推，具体不做限定。

S62：比较所述最佳人脸出现帧区间的每一帧图像帧中，所述人脸对应的评估得分，以从所述最佳人脸出现帧区间中确定出所述人脸对应的评估得分最高的图像帧作为最佳人脸帧。

S63：通过所述最佳人脸帧进行人脸识别。

对于步骤S62-S63，这样，可以从所述最佳人脸出现帧区间中，找寻出所述人脸对应的评估得分最高的最佳人脸帧，综合考虑了原先被剔除的非关键帧，可以有效地减少或避免具有高质量人脸的非关键帧被剔除掉，而是参与到人脸识别中，也能有效地提高后续的人脸识别效果。

为便于理解，现举例说明：

以固定间隔提取方式为例，假设检测关键的提取间隔为12帧，评估关键帧的提取间隔为4帧，过程如下：

第一步，取第1帧作为检测关键帧，进行人脸检测，获取人脸：假设获取到了A-E 5个人脸。(可理解为第一级筛选，从全图找人脸的过程)

第二步，取第1帧作为评估关键帧，对以上获取到的A-E人脸进行人脸质量评估，假设评估结果为A，B，C，D符合人脸识别要求，E不符合(阈值为0.5)，因为可以，认为到下一次人脸检测，E都难以满足人脸识别要求。瑞后结果可如下表所示：

表2

第三步，取第5帧作为评估关键帧进行人脸质量评估，评估区域就是之前A，B，C，D的位置，可通过卡尔曼滤波预测取得，具体这里不展开描述，人脸给评估后，获得新的评估得分。如下表3所示：

名称	第1帧	第5帧
			A(首次出现：第1帧，未识别)	0.8	0.85
B(首次出现：第1帧，未识别)	0.7	0.6
			C(首次出现：第1帧，未识别)	0.6	0.7
D(首次出现：第1帧，未识别)	0.5	0.45(不合格)
			E	0.4(不合格)

表3

第四步，取第9帧进行作为评估关键帧进行人脸质量评估，基于同样方式，又能再次获得新的评估得分(可理解为第二级筛选，人脸质量评估过程)，结果如下表4所示：

表4

取13帧，循环执行上述步骤。

第五步：预测时段内，每个人脸的最佳人脸出现帧区间(不妨取评估关键帧中人脸的评估得分最高的图像帧及临近的2帧)，因此，可得各人脸的最佳人脸出现帧区间如下表5所示：

名称	最佳人脸出现帧区间
		A	第8帧～第10帧
B	第1帧～第3帧
		C	第4帧～第6帧
D	第1帧～第3帧

表5

第六步：再次确定最佳人脸出现帧区间中，非关键帧人脸的评估得分，然后从每个人脸的最佳人脸出现帧区间中，找出评估得分最高的人脸对应的图像帧，也即目标图像帧(可理解为第三级筛选，区间评估，获取最佳人脸)，如下表6：

名称	最佳人脸帧
		A(首次出现帧第1帧，未识别)	第8帧：评估分0.91
B(首次出现帧第1帧，未识别)	第2帧：评估分0.72
		C(首次出现帧第1帧，未识别)	第5帧：评估分0.7
D(首次出现帧第1帧，未识别)	第1帧：评估分0.5

表6

其中，人脸质量评估得分的排序会重复步骤5-6(每间隔一段时间执行一次，目前是选取间隔时间内最佳人脸帧。

在一实施例中，步骤S62中，即通过所述人脸对应的评估得分最高的目标图像帧进行人脸识别，具体包括如下步骤：

S621：将所述最佳人脸帧存储至人脸资源池中。

S622：经过预设时长后，将所述人脸资源池中包含的未识别人脸，划分为超过最大识别间隔人脸，与未超过最大识别间隔人脸。

S623：按照所述超过最大识别间隔人脸的评估得分，依次对所述超过最大识别间隔人脸进行人脸识别后，再按照所述未超过最大识别间隔人脸的评估得分对，所述未超过最大识别间隔人脸进行人脸识别。

对于步骤S621-S623，可以理解，在本实施例中，在得到每张人脸对应的最佳人脸帧后，会将最佳人脸帧存储至人脸资源池中，这样，经过一段时间的检测，也即经过预设时长后，人脸资源池将包含许多质量高的最佳人脸帧，以便于进行后续的人脸识别。其中，在该实施例中，经过预设时长后，将所述人脸资源池的未识别人脸划分为超过最大识别间隔人脸，与未超过最大识别间隔人脸。其中，该最大识别间隔为经验值，例如可以为2s，假设为20帧的间隔，将人脸资源池中未识别人脸分为超过最大识别间隔人脸与未超过间隔人脸两类，并按照评估分排序，优先识别超过最大识别间隔人脸，再识别未超过的。可以理解，在该实施例中，还会对放入人脸资源池的未识别人脸进行优先级划分进行识别，以加快识别效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种人脸质量评估的人脸识别装置，该人脸识别装置与上述实施例中人脸识别方法一一对应。如图5所示，该人脸识别装置包括人脸提取单元101、人脸检测单元102、人脸质量评估单元103、确定单元104和人脸识别单元105。各功能模块详细说明如下：

人脸提取单元101，用于从视频数据中采用间隔方式提取出检测关键帧；

人脸检测单元102，用于对所述检测关键帧进行人脸检测，得到所述检测关键帧对应的个人脸；

所述人脸提取单元101，用于从所述检测关键帧为起始点采用间隔方式依次从所述视频数据中提取预设数量的多个评估关键帧，所述评估关键帧的提取间隔小于所述检测关键帧的提取间隔；

人脸质量评估单元103，通过所述多个评估关键帧对所述人脸进行人脸质量评估，得到每个评估关键帧中，所述人脸的评估得分；

确定单元104，用于在预测时段内，从所有评估关键帧中，确定出所述人脸的评估得分最高的目标图像帧；

人脸识别单元105，用于通过所述目标图像帧进行人脸识别。

在一实施例中，确定单元104用于：

确定出所述预测时段内，所述人脸对应的最佳人脸出现帧区间，所述最佳人脸出现帧区间包括所述目标图像帧、与所述目标图像帧的时刻连续的多个连续图像帧；

比较所述最佳人脸出现帧区间的每一帧图像帧中，所述人脸对应的评估得分，以从所述最佳人脸出现帧区间中确定出所述人脸对应的评估得分最高的图像帧作为最佳人脸帧；

人脸识别单元105，用于通过所述最佳人脸帧进行人脸识别。

在一实施例中，确定单元104用于：

将所述最佳人脸帧存储至人脸资源池中；

经过预设时长后，将所述人脸资源池中包含的未识别人脸，划分为超过最大识别间隔人脸，与未超过最大识别间隔人脸；

人脸识别单元105，用于按照所述超过最大识别间隔人脸的评估得分，依次对所述超过最大识别间隔人脸进行人脸识别后，再按照所述未超过最大识别间隔人脸的评估得分对，所述未超过最大识别间隔人脸进行人脸识别。

在一实施例中，所述多个连续图像帧包括，所述目标图像帧开始往前截取的第一数量的连续图像帧，以及所述目标图像帧开始往后截取的第二数量的连续图像帧，其中，所述目标图像帧的提取间隔越长，则所述第一数量和所述第二数量越大。

在一实施例中，所述人脸提取单元101具体用于：

确定所述视频数据的传输吞吐量是否符合预设稳定状态；

当所述传输吞吐量符合所述预设稳定状态，则分别依据所述检测关键帧和评估关键帧对应的固定间隔提取区间，从所述视频数据中提取所述检测关键帧和评估关键帧；

当所述传输吞吐量为不符合所述预设稳定状态，则分别依据所述检测关键帧和评估关键帧对应的动态间隔提取区间，从所述视频数据中提取所述检测关键帧和评估关键帧；

其中，当存在第一预设数量的挤压帧，则在所述检测关键帧对应的动态间隔提取区间范围内，延长所述检测关键帧对应的提取间隔区间，当存在第二预设数量的挤压帧，则所述评估关键帧对应的动态间隔提取区间范围内，延长所述评估关键帧对应的提取间隔区间。

在一实施例中，人脸质量评估单元103具体用于：

利用人脸跟踪技术对所述人脸进行跟踪，以确定所述人脸在所述多个评估关键帧的相应区域位置；

利用人脸质量评估算法，对所述多个评估关键帧的相应区域位置进行计算，以所述多个评估关键帧中所述人脸的对应评估得分。

在一实施例中，所述第一预设数量为所述检测关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的正整数倍以上，且小于所述检测关键帧的动态间隔提取区间；所述第二预设数量为所述评估关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的正整数倍以上，且小于所述评估关键帧的动态间隔提取区间。

在一实施例中，所述第一预设数量为检测关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的2倍，所述第二预设数量为评估关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的2倍。

关于人脸识别装置的具体限定可以参见上文中对于人脸识别方法的限定，在此不再赘述。上述人脸识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸识别方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

从视频数据中采用间隔方式提取出检测关键帧；

对所述检测关键帧进行人脸检测，得到所述检测关键帧包含的人脸；

从所述检测关键帧为起始点采用间隔方式依次从所述视频数据中提取预设数量的多个评估关键帧，所述评估关键帧的提取间隔小于所述检测关键帧的提取间隔；

通过所述多个评估关键帧对所述人脸进行人脸质量评估，得到每个评估关键帧中人脸的评估得分；

在预测时段内，从所有评估关键帧中，确定出所述人脸的评估得分最高的目标图像帧；

通过所述目标图像帧进行人脸识别。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

从视频数据中采用间隔方式提取出检测关键帧；

对所述检测关键帧进行人脸检测，得到所述检测关键帧包含的人脸；

从所述检测关键帧为起始点采用间隔方式依次从所述视频数据中提取预设数量的多个评估关键帧，所述评估关键帧的提取间隔小于所述检测关键帧的提取间隔；

通过所述多个评估关键帧对所述人脸进行人脸质量评估，得到每个评估关键帧中人脸的评估得分；

在预测时段内，从所有评估关键帧中，确定出所述人脸的评估得分最高的目标图像帧；

通过所述目标图像帧进行人脸识别。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于人脸质量评估的人脸识别方法，其特征在于，包括：

从视频数据中采用间隔方式提取出检测关键帧；

对所述检测关键帧进行人脸检测，得到所述检测关键帧包含的人脸；

从所述检测关键帧为起始点采用间隔方式依次从所述视频数据中提取预设数量的多个评估关键帧，所述评估关键帧的提取间隔小于所述检测关键帧的提取间隔；

通过所述多个评估关键帧对所述人脸进行人脸质量评估，得到每个评估关键帧中人脸的评估得分；

在预测时段内，从所有评估关键帧中，确定出所述人脸的评估得分最高的目标图像帧；

通过所述目标图像帧进行人脸识别；

所述通过所述目标图像帧进行人脸识别，包括：

确定出所述预测时段内，所述人脸对应的最佳人脸出现帧区间，所述最佳人脸出现帧区间包括所述目标图像帧、与所述目标图像帧相邻的多个连续图像帧；

比较所述最佳人脸出现帧区间的每一帧图像帧中，所述人脸对应的评估得分，以从所述最佳人脸出现帧区间中确定出所述人脸对应的评估得分最高的图像帧作为最佳人脸帧；

通过所述最佳人脸帧进行人脸识别；

所述通过所述最佳人脸帧进行人脸识别，包括：

将所述最佳人脸帧存储至人脸资源池中；

经过预设时长后，将所述人脸资源池中包含的未识别人脸，划分为超过最大识别间隔人脸与未超过最大识别间隔人脸；

按照所述超过最大识别间隔人脸的评估得分，依次对所述超过最大识别间隔人脸进行人脸识别后，再按照所述未超过最大识别间隔人脸的评估得分对，所述未超过最大识别间隔人脸进行人脸识别；

所述通过所述多个评估关键帧对所述人脸进行人脸质量评估，得到每个评估关键帧中人脸的评估得分，包括：

利用人脸跟踪技术对所述人脸进行跟踪，以确定所述人脸在所述多个评估关键帧的相应区域位置；

利用人脸质量评估算法，对所述多个评估关键帧的相应区域位置进行计算，以所述多个评估关键帧中所述人脸的对应评估得分。

2.如权利要求1所述的人脸识别方法，其特征在于，所述检测关键帧和评估关键的间隔提取方式如下：

确定所述视频数据的传输吞吐量是否符合预设稳定状态；

当所述传输吞吐量符合所述预设稳定状态，则分别依据所述检测关键帧和评估关键帧对应的固定间隔提取区间，从所述视频数据中提取所述检测关键帧和评估关键帧；

当所述传输吞吐量为不符合所述预设稳定状态，则分别依据所述检测关键帧和评估关键帧对应的动态间隔提取区间，从所述视频数据中提取所述检测关键帧和评估关键帧；

其中，当存在第一预设数量的挤压帧，则在所述检测关键帧对应的动态间隔提取区间范围内，延长所述检测关键帧对应的提取间隔区间，当存在第二预设数量的挤压帧，则所述评估关键帧对应的动态间隔提取区间范围内，延长所述评估关键帧对应的提取间隔区间。

3.如权利要求2所述的人脸识别方法，其特征在于，所述第一预设数量为所述检测关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的正整数倍以上，且小于所述检测关键帧的动态间隔提取区间；所述第二预设数量为所述评估关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的正整数倍以上，且小于所述评估关键帧的动态间隔提取区间。

4.如权利要求3所述的人脸识别方法，其特征在于，所述第一预设数量为检测关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的2倍，所述第二预设数量为评估关键帧的动态间隔提取区间中，最小间隔区间对应的图像帧数量的2倍。

5.一种基于人脸质量评估的人脸识别装置，其特征在于，包括：

人脸提取单元，用于从视频数据中采用间隔方式提取出检测关键帧；

人脸检测单元，用于对所述检测关键帧进行人脸检测，得到所述检测关键帧对应的个人脸；

所述人脸提取单元，用于从所述检测关键帧为起始点采用间隔方式依次从所述视频数据中提取预设数量的多个评估关键帧，所述评估关键帧的提取间隔小于所述检测关键帧的提取间隔；

人脸质量评估单元，通过所述多个评估关键帧对所述人脸进行人脸质量评估，得到每个评估关键帧中，所述人脸的评估得分；

确定单元，用于在预测时段内，从所有评估关键帧中，确定出所述人脸的评估得分最高的目标图像帧；

人脸识别单元，用于通过所述目标图像帧进行人脸识别；

所述确定单元，用于：确定出所述预测时段内，所述人脸对应的最佳人脸出现帧区间，所述最佳人脸出现帧区间包括所述目标图像帧、与所述目标图像帧相邻的多个连续图像帧；

比较所述最佳人脸出现帧区间的每一帧图像帧中，所述人脸对应的评估得分，以从所述最佳人脸出现帧区间中确定出所述人脸对应的评估得分最高的图像帧作为最佳人脸帧；

所述人脸识别单元，用于通过所述最佳人脸帧进行人脸识别；

所述确定单元，用于将所述最佳人脸帧存储至人脸资源池中；经过预设时长后，将所述人脸资源池中包含的未识别人脸，划分为超过最大识别间隔人脸，与未超过最大识别间隔人脸；

所述人脸识别单元，用于按照所述超过最大识别间隔人脸的评估得分，依次对所述超过最大识别间隔人脸进行人脸识别后，再按照所述未超过最大识别间隔人脸的评估得分对，所述未超过最大识别间隔人脸进行人脸识别；

所述人脸质量评估单元，用于利用人脸跟踪技术对所述人脸进行跟踪，以确定所述人脸在所述多个评估关键帧的相应区域位置；利用人脸质量评估算法，对所述多个评估关键帧的相应区域位置进行计算，以所述多个评估关键帧中所述人脸的对应评估得分。

6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述基于人脸质量评估的人脸识别方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于人脸质量评估的人脸识别方法的步骤。