CN111401315B - 基于视频的人脸识别方法、识别装置及存储装置 - Google Patents

Abstract

本申请公开了一种基于视频的人脸识别方法、识别装置及存储装置，其中，所述人脸识别方法包括：对当前视频帧进行人脸检测，以获得所述当前视频帧中的至少一个人脸框；对所述当前视频帧之前的多个视频帧进行人脸跟踪，以输出与每个所述人脸框对应的人脸ID；对每个所述人脸ID对应的人脸图像进行分段优选，并对分段优选获得的优选人脸进行筛选以获得符合筛选条件的最优人脸；将所述最优人脸与预设人脸底库进行比对，以获得比对结果。通过上述方式，本申请能够快速准确识别出人脸，不需要用户过多配合。

Description

基于视频的人脸识别方法、识别装置及存储装置

技术领域

本申请涉及人脸识别技术领域，特别是涉及一种基于视频的人脸识别方法、识别装置及存储装置。

背景技术

人脸识别技术可以应用于很多场景中，例如，生活中常见的考勤场景。具体实现过程可以为：采集用户的正面和侧面两个方向的人脸图像，进行匹配识别。上述流程识别速度较慢，需要用户配合度较高。

发明内容

本申请主要解决的技术问题是提供一种基于视频的人脸识别方法、识别装置及存储装置，能够快速准确识别出人脸，不需要用户过多配合。

为了解决上述技术问题，本申请第一方面提供了一种基于视频的人脸识别方法，包括：对当前视频帧进行人脸检测，以获得所述当前视频帧中的至少一个人脸框；对所述当前视频帧之前的多个视频帧进行人脸跟踪，以输出与每个所述人脸框对应的人脸ID；对每个所述人脸ID对应的人脸图像进行分段优选，并对分段优选获得的优选人脸进行筛选以获得符合筛选条件的最优人脸；将所述最优人脸与预设人脸底库进行比对，以获得比对结果。

为了解决上述技术问题，本申请第二方面提供了一种基于视频的人脸识别装置，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现上述任一实施例中的人脸识别方法。

为了解决上述技术问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，所述程序指令用于实现上述任一实施例中的人脸识别方法。

上述方案中利用人脸检测、人脸跟踪、人脸分段优选和筛选过程可以从视频中筛选出与人脸框对应的符合筛选条件的最优人脸，然后利用该最优人脸与人脸底库进行比对，系统工作效率和准确度较高，且无需用户过多配合，特别适用于人脸闸机、人脸考勤等场景。

此外，在上述方案中进行人脸比对之前，还可以进行活体检测，以防止使用照片、面具等假人脸开门或考勤的情况发生。且对于已经识别成功的人脸，不再进行人脸筛选和人脸比对过程，从而有效提高系统的工作效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本申请基于视频的人脸识别方法一实施方式的流程示意图；

图2为图1中步骤S103对应的一实施方式的流程示意图；

图3为本申请基于视频的人脸识别方法另一实施方式的流程示意图；

图4为本申请基于视频的人脸识别装置一实施方式的框架示意图；

图5为本申请基于视频的人脸识别装置一实施方式的结构示意图；

图6为本申请存储装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请基于视频的人脸识别方法一实施方式的流程示意图。该人脸识别方法包括：

S101：对当前视频帧进行人脸检测，以获得当前视频帧中的至少一个人脸框。

具体地，可采用现有技术中任意一种人脸检测算法进行人脸检测，例如，ACF算法、DMP算法、CNN算法等。在进行上述步骤S101时，可以将人脸置信度范围设置为系统默认的[0,1]，从而可以获得当前视频帧中的所有人脸框。此外，该人脸框可以为矩形，经过上述步骤S101可以获得当前视频帧中所有人脸框的坐标(例如，矩形框的左上、右下顶点坐标)。

S102：对当前视频帧之前的多个视频帧进行人脸跟踪，以输出与每个人脸框对应的人脸ID。

具体地，可采用现有技术中任意一种人脸跟踪算法进行人脸跟踪，例如，FHOG算法、GoTurn算法等。上述步骤S102的具体实现过程可以为：根据步骤S101中获得的人脸框对多个视频帧依次进行跟踪，针对每一视频帧和每一人脸框可以输出跟踪成功与否的标志以及跟踪到的位置，对于跟踪到的与人脸框相同的人脸图像设置相同的人脸ID。

S103：对每个人脸ID对应的人脸图像进行分段优选，并对分段优选获得的优选人脸进行筛选以获得符合筛选条件的最优人脸。

具体地，在一个实施方式中，请参阅图2，图2为图1中步骤S103对应的一实施方式的流程示意图，上述步骤S103具体包括：

S201：判断当前人脸ID在视频帧中累计出现的次数是否为N。

具体地，系统内部可以设置有计数器，且一个人脸ID对应一个计数器。在本实施例中，N的取值为优选时间间隔和帧率的乘积，优选时间间隔可以由用户依据使用场景自行设定，例如，若当前为人脸闸机开门禁的场景，优选时间间隔可以为2秒。上述N的取值方式可以使得系统识别效率较高。

此外，进行步骤S201时，可以把当前视频帧中与当前人脸ID对应的人脸图像累计在内。

S202：若是，则从当前累计的N个人脸图像中获得人脸质量分值最高的优选人脸。

具体地，在该步骤S202之前，还包括利用现有技术中任一人脸质量算法获得所有人脸ID的每个人脸图像对应的人脸质量分值和人脸三个角度，其中，人脸质量分值的范围为[0,1]，人脸的三个角度包括俯仰角、偏航角和翻滚角，且三个角度的范围为[-90°,90°]。

S203：判断优选人脸是否符合筛选条件。

具体地，上述步骤S203包括：判断优选人脸的人脸置信度、人脸质量分值以及人脸角度的绝对值是否均符合各自设置的筛选条件，其中，人脸角度包括俯仰角、偏航角和翻滚角。例如，上述人脸置信度的筛选条件为不小于0.9、人脸质量分值的筛选条件为不小于0.15、人脸的三个角度的绝对值的筛选条件为都不大于15度。上述筛选条件的设置方式可以提高系统识别的准确率，降低误识别的概率。

S204：若符合筛选条件，则将优选人脸作为最优人脸输出。

S205：若不符合筛选条件，则将当前累计的N个人脸图像丢弃，并重新进行累计，返回至步骤S201。

具体地，在本实施例中，若人脸置信度、人脸质量分值以及人脸角度的绝对值中至少有一个不符合各自设置的筛选条件时，均可判定为优选人脸不符合筛选条件。此外，在上述步骤S205中重新累计的当前人脸ID的人脸图像为当前累计的人脸图像之外的其他图像。

在一个实施方式中，为了防止使用照片、面具等假人脸开门或考勤的情况发生，上述步骤S103和步骤S104之间还包括：判断最优人脸是否为活体状态，具体可采用现有技术中任意一种活体状态检测方式来进行，在此不作过多说明。若是，则进入步骤S104；否则，发送与当前人脸ID对应的停止筛选通知。

具体地，该停止筛选通知可以停止对与该非活体的最优人脸的人脸ID相同的人脸图像进行筛选的过程。具体实现方式可以为：系统在接收到停止筛选通知后，对停止筛选通知对应的跟踪结果设置停止筛选标志；例如，可以将停止筛选标志位与对应的人脸ID绑定。该实现方式较为简单，且易于实现。此时，在上述步骤S201或步骤S202之前，还包括：

A、判断是否接收到与当前人脸ID对应的停止筛选通知以及当前人脸ID在视频中连续消失的视频帧的帧数是否超过设定值。

一般而言，在进行人脸跟踪时，设置有人脸跟踪缓存区，而人脸ID是与筛选停止标志位绑定的，上述判断是否接收到与当前待比对的人脸框对应的停止筛选通知的过程可以为：判断缓存区内是否存在绑定有停止筛选标志的人脸ID。

此外，可能存在某个人只是从摄像头前路过的现象，为了提高系统的处理效率，还可以判断当前待比对的人脸框对应的跟踪目标在视频中连续消失的视频帧的帧数是否超过设定值，该设定值可以人为设定，例如，设定为16等。

B、若判断出接收到与当前人脸ID对应的停止筛选通知或者当前人脸ID在视频中连续消失的视频帧的帧数超过设定值，则结束对当前人脸ID的分段优选，即不执行步骤S201或步骤S202。

C、否则，进入步骤S201或步骤S202。其中，该步骤C中否则的意思是指既没有接收到与当前人脸ID对应的停止筛选通知，当前人脸ID也没有在视频中连续消失超过设定值的帧数。

S104：将最优人脸与预设人脸底库进行比对，以获得比对结果。

具体地，上述人脸底库中的图像可以是用户的证件照等，其满足上述设置的筛选条件。在一个实施方式中，上述步骤S104具体包括：

A、将最优人脸和人脸底库中的人脸进行比对，以获得最高比对分值和与最高比对分值对应的底库人脸信息。在本实施例中，可采用现有技术中任意一种人脸识别算法实现上述过程，比对分值的取值范围为[0,1]。例如，可以对优选人脸进行特征值提取，然后将提取出的特征值与人脸底库中的人脸特征值作比对，以获得最高比对分值对应的底库人脸信息。

B、判断最高比对分值是否大于比对阈值。其中，该比对阈值可以预先人为设定，例如，可以设定为0.8等。

C、若是，则输出人脸识别结果以及与当前人脸ID对应的停止筛选通知；否则，继续等待与当前待人脸ID对应的下一个最优人脸。

上述在获得人脸识别结果的同时发送停止筛选通知，可以使得对于已经识别成功的人脸，不再进行人脸筛选和人脸比对过程，从而有效提高系统的工作效率。

下面以门禁开门场景为例，对本申请所提供的基于视频的人脸识别方法作进一步说明。请参阅图3，图3为本申请基于视频的人脸识别方法另一实施方式的流程示意图。

S301：按顺序送入视频帧序列。

S302：利用人脸检测算法获得当前视频帧上的所有人脸框。其中，在进行人脸检测算法时，人脸置信度设置为[0,1]。

S303：利用人脸跟踪算法和当前视频帧上的所有人脸框对当前视频帧之前的多个视频帧进行跟踪，输出人脸ID。其中，处于不同视频帧上的相同人脸具有相同的人脸ID。

S304：采用人脸质量算法获得各个人脸ID的人脸图像对应的人脸质量分值和三个人脸角度。其中，人脸质量分值范围为[0,1]，三个人脸角度分别为俯仰角、偏航角、翻滚角，人脸角度范围为[90°,90°]。

下述步骤S305-S315可以针对不同的人脸ID分别进行。

S305：判断是否接收到当前人脸ID对应的停止筛选通知或者当前人脸ID对应的人脸从视频中是否连续消失超过16帧。

S306：若接收到当前人脸ID对应的停止筛选通知或者当前人脸ID对应的人脸从视频中连续消失超过16帧，则人脸优选模块对当前人脸ID停止筛选。

S307：否则，人脸优选模块采取分段优选策略，针对当前人脸ID每N个人脸图像挑选出一个人脸质量分值最高的作为优选人脸。在本应用场景中，人脸闸机一般设置优选时间间隔是2秒，在视频帧率12帧/s情况下，N＝2*12＝24。

S308：判断优选人脸是否符合筛选条件，其中，筛选条件为人脸置信度不小于0.9、人脸质量分值不小于0.15、以及人脸的三个角度绝对值都不大于15°。

S309：若优选人脸不符合筛选条件，则将该优选人脸丢弃，并等待下一N个人脸图像中的优选人脸。

S310：若优选人脸符合筛选条件，则将优选人脸作为最优人脸输出，并利用人脸活体算法判断最优人脸是否为活体状态。

S311：若优选人脸为非活体状态，则发送停止当前人脸ID的筛选通知。

S312：若优选人脸为活体状态，则利用人脸识别算法将最优人脸和人脸底库中的人脸作对比，输出最高比对分值和对应的底库人脸信息。

S313：判断最高比对分值是否大于比对阈值0.8。

S314：若是，则输出人脸识别结果，并发送停止当前人脸ID的筛选通知。

S315：否则，将比对结果丢弃，并等待下一个最优人脸。

在上述门禁开门场景下，采用本申请所提供的基于视频的人脸识别方法可以在人脸出现2秒便输出识别结果，使得人脸闸机识别过程准确并迅速，识别成功则开门，且单个人脸只需要成功识别一次。首先，为了确保准确识别，本申请中设计了人脸优选模块，采用分段优选策略，人脸出现后，每N个人脸图像挑出一帧最优人脸，同时，人脸优选后根据筛选条件筛选掉质量和角度较差的人脸，这样可以提高人脸识别精度，避免误识别。此外，如果成功识别，便会通知人脸优选模块停止当前人脸的优选，该人脸ID的最优人脸不再输出，降低系统的工作负荷。同时，本申请中加入了人脸活体算法，可以有效防止使用照片或面具开门的情况发生。

请参阅图4，图4为本申请基于视频的人脸识别装置一实施方式的框架示意图。该人脸识别装置包括人脸检测模块10、人脸跟踪模块12、人脸优选模块14和人脸识别模块16。其中，人脸检测模块10用于对当前视频帧进行人脸检测，以获得当前视频帧中的至少一个人脸框。人脸跟踪模块12用于对当前视频帧之前的多个视频帧进行人脸跟踪，以输出与每个人脸框对应的人脸ID。人脸优选模块14用于对每个人脸ID对应的人脸图像进行分段优选，并对分段优选获得的优选人脸进行筛选以获得符合筛选条件的最优人脸。人脸识别模块16用于将最优人脸与预设人脸底库进行比对，以获得比对结果。

上述方案中利用人脸检测模块10、人脸跟踪模块12、人脸优选模块14可以从视频中筛选出与人脸框对应的符合筛选条件的最优人脸，然后利用人脸识别模块16将该最优人脸与人脸底库进行比对，系统工作效率和准确度较高，且无需用户过多配合，特别适用于人脸闸机、人脸考勤等场景。

在一个实施方式中，上述人脸优选模块14包括：第一判断模块、第一执行模块、第二判断模块、第二执行模块和第三执行模块。其中，第一判断模块用于判断当前所述人脸ID在视频帧中累计出现的次数是否为N，N的取值为优选时间间隔和帧率的乘积。第一执行模块用于在第一判断模块判断为是时，则从当前累计的N个人脸图像中获得人脸质量分值最高的优选人脸。第二判断模块用于判断优选人脸是否符合筛选条件。第二执行模块用于在第二判断模块判断为是时，将优选人脸作为最优人脸输出。第三执行模块用于在第二判断模块判断为否时，将当前累计的N个人脸图像丢弃，并重新进行累计，返回至判断当前所述人脸ID在视频帧中累计出现的次数是否为N的步骤。

上述方案中人脸优选模块14采用分段优选策略，人脸出现后，每N个人脸图像挑出一个最优人脸，同时，人脸优选后根据筛选条件筛选掉质量和角度较差的人脸，这样可以提高人脸识别精度，避免误识别。

进一步，在上述第一判断模块之前，人脸优选模块14还包括：第四判断模块和第四执行模块。其中，第四判断模块用于判断是否接收到与当前人脸ID对应的停止筛选通知以及当前人脸ID在视频中连续消失的视频帧的帧数是否超过设定值。第四执行模块用于在第四判断模块判断出接收到与当前人脸ID对应的停止筛选通知或者当前人脸ID在视频中连续消失的视频帧的帧数超过设定值时，结束当前人脸ID筛选；否则，进入第一判断模块。

上述方案可以设置停止人脸优选模块14工作的条件，从而降低系统的数据处理负荷。

在又一个实施方式中，本申请所提供的人脸识别装置还包括人脸活体检验模块，位于人脸优选模块14和人脸识别模块16之间，用于判断最优人脸是否为活体状态；若是，则进入将最优人脸与预设人脸底库进行比对的步骤；否则，发送与当前人脸ID对应的停止筛选通知。

上述方案中通过引入人脸活体检验模块可以有效防止使用照片或面具开门的情况发生。

此外，上述人脸识别模块16具体包括第一比对模块、第五判断模块、第五执行模块和第六执行模块。其中，第一比对模块用于将最优人脸和人脸底库中的人脸进行比对，以获得最高比对分值和与最高比对分值对应的底库人脸信息。第五判断模块用于判断最高比对分值是否大于比对阈值。第五执行模块用于在第五判断模块判断为是时，输出人脸识别结果以及与当前人脸ID对应的停止筛选通知。第六执行模块用于在第五判断模块判断为否时，继续等待人脸框对应的下一个最优人脸。

上述方案可以使得人脸优选模块对成功识别的人脸不再进行优选过程，降低系统的工作负荷。

进一步，本申请所提供的人脸识别装置还包括设置模块，用于在接收到停止筛选通知后，对停止筛选通知对应的人脸ID设置停止筛选标志。该方案较为简单，且易于实现。

请参阅图5，图5为本申请基于视频的人脸识别装置一实施方式的结构示意图。该人脸识别装置包括相互耦接的存储器20和处理器22，存储器20内存储有程序指令，处理器22用于执行程序指令以实现上述任一实施例中的人脸识别方法。

具体而言，处理器22用于控制其自身以及存储器20以实现上述任一数据质量检测方法实施例中的步骤。处理器22还可以称为CPU(Central Processing Unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器22可以由多个集成电路芯片共同实现。

请参阅图6，图6为本申请存储装置一实施方式的结构示意图。存储装置30存储有能够被处理器运行的程序指令300，程序指令300用于实现上述任一人脸识别方法实施例中的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (7)

1.一种基于视频的人脸识别方法，其特征在于，包括：

对当前视频帧进行人脸检测，以获得所述当前视频帧中的至少一个人脸框；

对所述当前视频帧之前的多个视频帧进行人脸跟踪，以输出与每个所述人脸框对应的人脸ID；

判断是否接收到与当前所述人脸ID对应的停止筛选通知以及当前所述人脸ID在所述视频中连续消失的视频帧的帧数是否超过设定值；

若接收到与当前所述人脸ID对应的停止筛选通知或者当前所述人脸ID在所述视频中连续消失的视频帧的帧数超过设定值，则结束对当前所述人脸ID的分段优选；否则，进入判断当前所述人脸ID在视频帧中累计出现的次数是否为N的步骤；

判断当前所述人脸ID在视频帧中累计出现的次数是否为N；

若是，则从当前累计的N个人脸图像中获得人脸质量分值最高的优选人脸；

判断所述优选人脸是否符合筛选条件；

若符合，将所述优选人脸作为最优人脸输出；否则，将当前累计的N个人脸图像丢弃，并重新进行累计，返回至判断当前所述人脸ID在视频帧中累计出现的次数是否为N的步骤；

判断所述最优人脸是否为活体状态；

若是，则进入将所述最优人脸与预设人脸底库进行比对的步骤；否则，发送与当前所述人脸ID对应的停止筛选通知；

将所述最优人脸与预设人脸底库进行比对，以获得比对结果。

2.根据权利要求1所述的人脸识别方法，其特征在于，所述将所述最优人脸与预设人脸底库进行比对，包括：

将所述最优人脸和所述人脸底库中的人脸进行比对，以获得最高比对分值和与所述最高比对分值对应的底库人脸信息；

判断所述最高比对分值是否大于比对阈值；

若是，则输出人脸识别结果以及与当前所述人脸ID对应的停止筛选通知；否则，继续等待与当前所述人脸ID对应的下一个最优人脸。

3.根据权利要求1或2任一项所述的人脸识别方法，其特征在于，

在接收到所述停止筛选通知后，还包括：对所述停止筛选通知对应的跟踪结果设置停止筛选标志。

4.根据权利要求1所述的人脸识别方法，其特征在于，

所述N的取值为优选时间间隔和帧率的乘积。

5.根据权利要求1所述的人脸识别方法，其特征在于，所述判断所述优选人脸是否符合筛选条件，包括：

判断所述优选人脸的人脸置信度、人脸质量分值以及人脸角度的绝对值是否均符合各自设置的筛选条件，其中，所述人脸角度包括俯仰角、偏航角和翻滚角。

6.一种基于视频的人脸识别装置，其特征在于，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至5任一项所述的人脸识别方法。

7.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至5任一项所述的人脸识别方法。