CN111063079A - 一种基于门禁系统的双目活体人脸检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种基于门禁系统的双目活体人脸检测方法及装置，该方法包括：获取第一视频和第二视频，第一视频采用可见光摄像头采集，第二视频采用红外线摄像头采集；在可见光摄像头与红外线摄像头的采集同步的情况下，对第一图像进行人脸检测，第一图像为第一视频中任一帧图像；在第一图像中检测到人脸的情况下，对第二图像进行活体检测，第二图像为第二视频中与第一图像对应的图像；在第二图像中检测到活体人脸，且存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过，第一人脸为第一图像中活体人脸对应的人脸中任一人脸。实施本发明实施例，可以提高门禁的安全性。

Description

一种基于门禁系统的双目活体人脸检测方法及装置

技术领域

本发明涉及图像技术领域，具体涉及一种基于门禁系统的双目活体人脸检测方法及装置。

背景技术

基于安全性的考虑，门禁系统的使用场合越来越多。随着电子技术和计算机技术的不断发展，门禁验证的种类也越来越多，如人脸验证。在基于门禁系统的人脸检测方法中：通过摄像头采集人脸图像，在存储的人脸特征中存在与人脸图像中人脸的人脸特征匹配的人脸特征的情况下，确定该人脸验证通过。然而，上述方法中，人脸图像中的人脸可能是活体人脸，也可能是非活体人脸。因此，在没有门禁权限的用户拿着有门禁权限的用户的照片的情况下，也可以通过门禁验证，以致降低了门禁的安全性。

发明内容

本发明实施例提供一种基于门禁系统的双目活体人脸检测方法及装置，用于提高门禁的安全性。

第一方面提供一种基于门禁系统的双目活体人脸检测方法，包括：

获取第一视频和第二视频，所述第一视频采用可见光摄像头采集，所述第二视频采用红外线摄像头采集；

判断所述可见光摄像头与所述红外线摄像头的采集是否同步；

在判断出所述可见光摄像头与所述红外线摄像头的采集同步的情况下，对第一图像进行人脸检测，所述第一图像为所述第一视频中任一帧图像；

在所述第一图像中检测到人脸的情况下，对第二图像进行活体检测，所述第二图像为所述第二视频中与所述第一图像对应的图像；

在所述第二图像中检测到活体人脸，且存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定所述第一人脸验证通过，所述第一人脸为所述第一图像中所述活体人脸对应的人脸中任一人脸。

使用可见光摄像头采集的视频流检测到人脸的图像之后，对红外线摄像头采集的视频流中该人脸的图像对应的图像进行活体检查，可以保证检测到的人脸和做活体检测的人脸是同一个人。此人脸通过了活体检测后，再进行人脸识别比对，比对通过即可获取进入权限，可见光摄像头与红外线摄像头采集同步，可以避免用有门禁权限的照片攻击的绝大部分场景，即可以避免没有门禁权限的用户拿着有门禁权限的用户的照片通过验证，从而可以提门禁的安全性。

作为一种可能的实施方式，所述方法还包括：

使用第一计数器统计所述可见光摄像头采集的帧数；

使用第二计数器统计所述红外线摄像头采集的帧数；

所述判断所述可见光摄像头与所述红外线摄像头的采集是否同步包括：

判断所述第一计数器统计的帧数与所述第二计数器统计的帧数之间的绝对差是否处于第一参考范围内；

在判断出所述绝对差处于所述第一参考范围内的情况下，确定所述可见光摄像头与所述红外线摄像头的采集同步。

可见，可以通过两个计数器分别统计两个摄像头采集的帧数，并根据统计的帧数可以确定两个摄像头的同步状态。

作为一种可能的实施方式，在所述第一图像中检测到人脸的情况下，所述方法还包括：

将所述第一图像输入人脸质量评估算法，得到所述第一图像中人脸的质量得分；

将所述第一图像输入人脸姿态估计算法，得到所述第一图像中人脸的姿态得分；

将所述第一图像中质量得分大于第一阈值且姿态得分小于第二阈值的人脸确定为待检测人脸；

所述对所述第二图像进行活体检测包括：

对所述第二图像中所述待检测人脸对应的人脸进行活体检测；

在所述第二图像中所述待检测人脸对应的人脸中检测到活体人脸的情况下，确定所述第二图像中检测到活体人脸。

可见，用于活体检测和人脸验证的人脸为采集的图像中质量和姿态较好的人脸，可以过滤掉质量不好或姿态不好的人脸，减少了需要处理的人脸数量，以致可以减少数据处理量，从而可以提高处理效率。

作为一种可能的实施方式，所述方法还包括：

使用人脸跟踪算法对所述第一图像中的人脸进行跟踪；

根据跟踪结果确定所述第一图像中每个人脸的识别状态，所述识别状态为已识别成功、未识别成功或未识别；

所述将所述第一图像中质量得分大于第一阈值且姿态得分小于第二阈值的人脸确定为待检测人脸包括：

将所述第一图像中质量得分大于第一阈值、姿态得分小于第二阈值以及识别状态为未识别成功或未识别的人脸确定为待检测人脸。

由于用于活体检测和人脸验证的人脸为采集的图像中质量和姿态较好，且为未识别成功过的人脸，可以过滤掉质量不好、姿态不好或已识别成功的人脸，减少了需要处理的人脸数量的同时可以避免重复处理，以致可以减少数据处理量，从而可以提高处理效率。

作为一种可能的实施方式，所述方法还包括：

从所述第二视频中获取与所述第一图像对应的第二图像。

可见，用于活体检测的图像并不是随便选取的，而是与第一图像对应的第二图像，可以保证两帧图像是同时采集且采集的内容相同，可以保证用于活体检测与用于验证的图像为相同内容的图像，从而可以提高门禁系统的安全性。

作为一种可能的实施方式，所述从所述第二视频中获取与所述第一图像对应的第二图像包括：

从所述第二视频中选取帧号与所述第一图像的帧号之间的绝对差在第二参考范围内的图像；

从选取的图像中选取存在人脸与第二人脸之间的距离小于第三阈值的图像中的一帧图像为第二图像，所述第二人脸为所述待检测人脸中任一人脸。

可见，可以根据帧号保证两帧图像是同时采集的，以及可以通过人脸之间的距离保证采集的内容相同。

作为一种可能的实施方式，所述方法还包括：

在存储的人脸特征中不存在与所述第一人脸的人脸特征匹配的人脸特征，以及所述第一人脸的识别状态为未识别成功的情况下，从存储的所述第一人脸对应的人脸特征以及提取的第一人脸的人脸特征中选取质量得分在第三参考范围内的人脸特征；

融合选取的人脸特征；

在存储的人脸特征中存在与融合的人脸特征匹配的人脸特征的情况下，确定所述第一人脸验证通过。

可见，在验证未通过，且该人脸之前已经用于验证但未通过的情况下，可以对多次采集的人脸特征中质量较好的人脸特征进行融合之后再进行验证，可以提高验证通过的准确性。

本发明实施例第二方面提供一种基于门禁系统的双目活体人脸检测装置，包括用于执行第一方面或第一方面的任一实施例提供的基于门禁系统的双目活体人脸检测方法的单元。

本发明实施例第三方面提供一种基于门禁系统的双目活体人脸检测装置，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行第一方面或第一方面的任一实施例提供的基于门禁系统的双目活体人脸检测方法。

第四方面提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面或第一方面的任一实施例提供的基于门禁系统的双目活体人脸检测方法。

第五方面提供了一种应用程序，该应用程序用于在运行时执行第一方面或第一方面的任一实施例提供的基于门禁系统的双目活体人脸检测方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种系统架构示意图；

图2是本发明实施例提供的一种基于门禁系统的双目活体人脸检测方法的流程示意图；

图3是本发明实施例提供的另一种基于门禁系统的双目活体人脸检测方法的流程示意图；

图4是本发明实施例提供的一种基于门禁系统的双目活体人脸检测装置的结构示意图；

图5是本发明实施例提供的另一种基于门禁系统的双目活体人脸检测装置的结构示意图；

图6是本发明实施例公开的一种基于门禁系统的双目活体人脸检测的示意图；

图7是本发明实施例公开的另一种基于门禁系统的双目活体人脸检测的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种基于门禁系统的双目活体人脸检测方法及装置，用于提高门禁的安全性。以下分别进行详细说明。

为了更好地理解本发明实施例提供的一种基于门禁系统的双目活体人脸检测方法及装置，下面先对本发明实施例使用的系统架构进行描述。请参阅图1，图1是本发明实施例提供的一种系统架构示意图。如图1所示，该系统架构可以包括主控芯片、处理芯片和双目摄像头模组。双目摄像头模组包括两个摄像头和图像信号处理(image signalprocessor，ISP)。两个摄像头中一个摄像头为可见光摄像头，一个摄像头为红外线摄像头。具体地，红外线摄像头可以为近红外线摄像头。双目摄像头模组，用于通过摄像头采集视频，通过ISP对视频进行处理，将处理后的视频通过移动从产业处理器接口(mobileindustry processor interface，MIPI)发送给处理芯片。发送的视频的格式可以为YUV格式，也可以为其它格式，在此不作限定。在发送的视频的格式为YUV格式的情况下，可以为YUV244格式，也可以为其它YUV格式，在此不作限定。视频的分辨率可以为1080P，也可以为其它值。视频的帧率可以为25fps，也可以为其它值，在此不作限定。处理芯片，用于根据可见光摄像头采集的视频进行人脸检测、人脸跟踪、人脸特征提取和人脸识别，根据红外线摄像头采集的视频进行人脸活体检测，通过串行外设接口(serial peripheral interface，SPI)将识别结果、跟踪结果等信息发送给主控芯片，将可见光摄像头采集的视频流通过MIPI发送给主控芯片，以及通过SPI接口接收来自主控芯片下发的命令。主控芯片，用于向处理芯片发送命令，以及接收来自处理芯片的信息和视频，显示视频。其中，主控芯片可以为RK3288，也可以为其它具有同等功能的芯片。处理芯片可以为RK1608，也可以为其它具有同等功能的芯片。

基于图1所示的系统架构，请参阅图2，图2是本发明实施例提供的一种基于门禁系统的双目活体人脸检测方法的流程示意图。根据不同的需求，图2所示的流程图中的某些步骤可以拆分为几个步骤，几个步骤也可以合为一个步骤。其中，该基于门禁系统的双目活体人脸检测方法是从处理芯片的角度描述的。如图2所示，该基于门禁系统的双目活体人脸检测方法可以包括以下步骤。

201、获取第一视频和第二视频。

处理芯片在门禁系统上电后，或者接收到主控芯片的处理命令之后，可以获取第一视频和第二视频。具体地，可以向双目摄像头模组发送视频采集指令，双目摄像头模组接收到视频采集指令之后，可以通过可见光摄像头和红外线摄像头采集视频，将采集的视频发送给处理芯片。处理芯片接收来自双目摄像头模组的第一视频和第二视频。具体地，也可以是双目摄像头模组接收到主控芯片的采集指令之后，采集视频，将采集的视频发送给处理芯片。其中，第一视频采用可见光摄像头采集，第二视频采用红外线摄像头采集。第一视频包括至少一帧图像，即一帧或一帧以上图像。第二视频包括至少一帧图像。

202、判断可见光摄像头与红外线摄像头的采集是否同步，在判断出可见光摄像头与红外线摄像头的采集同步的情况下，执行步骤203。

获取到第一视频和第二视频之后，可以先判断可见光摄像头与红外线摄像头的采集是否同步，在判断出可见光摄像头与红外线摄像头的采集同步的情况下，表明可见光摄像头与红外线摄像头是针对相同内容进行采集的，即都是针对同一场景进行采集的，执行步骤203。在判断出可见光摄像头与红外线摄像头的采集不同步的情况下，表明可见光摄像头与红外线摄像头是针对不同内容进行采集的，即分别是针对不同场景进行采集的，因此，可能会出现可见光摄像头采集的图像为照片等的图像，红外线摄像头采集的图像为活人的图像，这样一个没有门禁权限的用户只要拿着有门禁权限的用户的照片就可以通过门禁验证，降低了门禁的安全性。处理芯片可以向主控芯片发送摄像头采集不同步的信息，主控芯片接收到该信息之后，可以查询两个摄像头的状态，在两个摄像头的状态均为正常状态的情况下，可以向处理芯片发送同步指令。处理芯片接收到来自主控芯片的同步指令之后，进行同步处理。在两个摄像头的状态中存在摄像头的状态为异常状态的情况下，可以输出用于提示用户查看摄像头的提示信息，以便用户可以对双目摄像头模组进行检查。

由于双目摄像头模组中的可见光摄像头与红外线摄像头在硬件上没有帧同步，可见光摄像头与红外线摄像头的采集在源头上没有同步。因此，假设两路摄像头采集的图像帧本身在时间上偏差不超过几ms，以及两路MIPI的帧率相同。根据以上假设，可以采用两路MIPI中断计数来进行帧数据同步。可以为每路MIPI分别维护一个计数器，分别记为计数器1和计数器2，计数器1可以对应可见光摄像头采集的视频，计数器2可以对应红外线摄像头采集的视频。初始化的时候，可以将计数器1和计数器2的值初始化为0，将可见光摄像头与红外线摄像头的同步状态初始化为未同步。每产生一个MIPI中断，即每通过MIPI接收到一帧图像，相应的计数器可以加1，当计数器的值达到设置的最大值时，重新从零开始计数。最大值可以为2³²-1。当可见光摄像头与红外线摄像头的同步状态为未同步的情况下，如果两路MIPI都出现了中断，即两路的计数器的值与之前保存的计数器的值不一致，则将可见光摄像头与红外线摄像头的同步状态置为初次同步。在将可见光摄像头与红外线摄像头的同步状态置为初次同步的情况下，如果计数器1与计数器2的绝对差超过1，且视频帧缓存数目的一半，则可以将可见光摄像头与红外线摄像头的同步状态置为再次同步。当可见光摄像头与红外线摄像头的同步状态为再次同步时，如果计数器1与计数器2的绝对差超过视频帧缓存数目的一半，则将可见光摄像头与红外线摄像头的同步状态置为未同步。当可见光摄像头与红外线摄像头的同步状态处于未同步状态累计30帧时，可以向主控芯片发送两路视频帧同步异常的信息。主控芯片接收到该信息之后，查询两个摄像头的状态，在两个摄像头的状态均为正常状态的情况下，可以向处理芯片发送同步指令。处理芯片接收到同步指令之后，如果两路MIPI都出现了中断，即两路的计数器的值与之前保存的计数器的值不一致，则将可见光摄像头与红外线摄像头的同步状态置为初次同步。

在一些实施例中，可以使用第一计数器统计可见光摄像头采集的帧数，使用第二计数器统计红外线摄像头采集的帧数，在每次接收到来自可见光摄像头的图像之后，可以先按照上面的规则对计数器进行更新，之后可以判断第一计数器统计的帧数与第二计数器统计的帧数之间的绝对差是否处于第一参考范围内，在判断出绝对差处于第一参考范围内的情况下，确定可见光摄像头与红外线摄像头的采集同步。

203、对第一图像进行人脸检测。

204、在第一图像中检测到人脸的情况下，对第二图像进行活体检测。

在判断出可见光摄像头与红外线摄像头的采集同步的情况下，处理芯片对第一图像进行人脸检测，即检测第一图像中是否存在人脸，在检测到第一图像中存在人脸的情况下，对图像中的人脸标注人脸框。之后对第二图像进行活体检测，即检测第二图像中的人脸是否为活人的人脸。其中，第一图像为第一视频中任一帧图像，第二图像为第二视频中与第一图像对应的图像。

205、在第二图像中检测到活体人脸，且存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过。

在第二图像中检测到活体人脸的情况下，可以将第一人脸的人脸特征与存储的人脸特征进行一一匹配，在存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过。之后可以向主控芯片发送人脸验证通过的结果。主控芯片接收到来自处理芯片的结果之后，可以根据该结果开启门禁。其中，第一人脸为第一图像中活体人脸对应的人脸中任一人脸。

在图2所描述的基于门禁系统的双目活体人脸检测方法中，在可见光摄像头与红外线摄像头的采集同步的情况下，再进行人脸活体检查，在检测到活体人脸的情况下，再进行人脸验证，可以保证两个摄像头是针对相同内容进行采集的，即都是针对同一场景进行采集的，以及采集的人脸为活体人脸，可以避免没有门禁权限的用户拿着有门禁权限的用户的照片通过验证，可以提门禁的安全性。

基于图1所示的系统架构，请参阅图3，图3是本发明实施例提供的另一种基于门禁系统的双目活体人脸检测方法的流程示意图。根据不同的需求，图3所示的流程图中的某些步骤可以拆分为几个步骤，几个步骤也可以合为一个步骤。其中，该基于门禁系统的双目活体人脸检测方法是从处理芯片的角度描述的。如图3所示，该基于门禁系统的双目活体人脸检测方法可以包括以下步骤。

301、获取第一视频和第二视频。

其中，步骤301与步骤201相同，详细描述请参考步骤201，在此不加赘述。

302、判断可见光摄像头与红外线摄像头的采集是否同步，在判断出可见光摄像头与红外线摄像头的采集同步的情况下，执行步骤303。

其中，步骤302与步骤202相同，详细描述请参考步骤202，在此不加赘述。

303、对第一图像进行人脸检测。

304、在第一图像中检测到人脸的情况下，从第一图像中的人脸中选取待检测人脸。

在第一图像中检测到人脸的情况下，可以从第一图像中的人脸中选取待检测人脸。

由于人脸质量对识别准确度的影响较大，以及在双目活体场景下，活体检测算法对人脸姿态有要求，从第一图像中的人脸中选取待检测人脸中，需要考虑人脸的质量和姿态。可以将第一图像输入人脸质量评估算法得到第一图像中人脸的质量得分，将第一图像输入人脸姿态估计算法得到第一图像中人脸的姿态得分，之后将第一图像中质量得分大于第一阈值且姿态得分小于第二阈值的人脸确定为待检测人脸。其中，第一阈值和第二阈值可以是固定不变，也可以是变动的。

针对人脸质量，对于新出现的人脸ID，在质量得分大于(或者大于或等于)初始门限的情况下，认为该人脸可以用于识别。可见，对于新出现的人脸ID，第一阈值为初始门限，是固定不变的。对于已经识别过但未识别成功的人脸ID，在第n次质量得分大于初始阈值与n-1倍步长的和的情况下，认为该人脸可以用于识别。可见，对于已经识别过但未识别成功的人脸ID，第一阈值随着识别次数的不同而不同。已识别成功的人脸ID不进行质量判断。其中，n大于1，初始门限，以及初始门限与n-1倍步长的和的取值均在在0到1之间。可见，针对同一个人脸ID，检测的次数越多，人脸质量要求越高。

针对人脸姿态，对于新出现的人脸ID，在姿态估计值小于(或者不大于)初始门限的情况下，认为该人脸可以用于识别。可见，对于新出现的人脸ID，第二阈值为初始门限，是固定不变的。对于已经识别过但未识别成功的人脸ID，在第n次姿态得分小于初始阈值与n-1倍步长的差的情况下，认为该人脸可以用于识别。可见，对于已经识别过但未识别成功的人脸ID，第二阈值随着识别次数的不同而不同。已识别成功的人脸ID不进行姿态判断。可见，针对同一个人脸ID，检测的次数越多，人脸姿态要求越高。其中，初始门限和初始门限与n-1倍步长的和的取值均在0到15之间。

在一些实施例中，在第一图像中检测到人脸的情况下，可以先使用人脸跟踪算法对第一图像中的人脸进行跟踪。在从第一图像中的人脸中选取待检测人脸的过程中，还可以根据跟踪结果确定第一图像中每个人脸的识别状态为已识别成功、未识别成功或未识别，之后将第一图像中质量得分大于第一阈值、姿态得分小于第二阈值以及识别状态为未识别成功或未识别的人脸确定为待检测人脸。其中，已识别成功为已经识别且通过验证，未识别成功为已经识别且未通过验证，未识别为第一次出现，即未经过识别。

在一些实施例中，可以使用人脸跟踪算法对第一图像中人脸框在第四参考范围内的人脸进行跟踪。为减轻算法链路负担，在进行人脸跟踪时可以限制每帧图像最大跟踪人脸数，最大跟踪人数可以设置为5。在人脸跟踪时也可以限制人脸框的大小，例如：在图像的分辨率为1920*1080的情况下，人脸框要大于108*108，以及小于600*600。

305、从第二视频中获取与第一图像对应的第二图像。

从第一图像中的人脸中选取出待检测人脸之后，可以从第二视频中获取与第一图像对应的第二图像。可以先从第二视频中选取帧号与第一图像的帧号之间的绝对差在第二参考范围内的图像，之后从选取的图像中选取存在人脸与第二人脸之间的距离小于第三阈值的图像中的一帧图像为第二图像。其中，第二人脸为待检测人脸中任一人脸。

306、对第二图像中待检测人脸对应的人脸进行活体检测。

307、在第二图像中检测到活体人脸，且存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过。

从第二视频中获取到与第一图像对应的第二图像之后，可以使用人脸活体检测算法对第二图像中待检测人脸对应的人脸进行活体检测。在第二图像中检测到活体人脸之后，可以将第一人脸的人脸特征与存储的人脸特征进行一一匹配，在存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过。之后可以向主控芯片发送人脸验证通过的结果。主控芯片接收到来自处理芯片的结果之后，可以根据该结果开启门禁。其中，第一人脸为第一图像中活体人脸对应的人脸中任一人脸。

308、在存储的人脸特征中不存在与所述第一人脸的人脸特征匹配的人脸特征，以及第一人脸的识别状态为未识别成功的情况下，从存储的第一人脸对应的人脸特征以及提取的第一人脸的人脸特征中选取质量得分在第三参考范围内的人脸特征，融合选取的人脸特征，在存储的人脸特征中存在与融合的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过。

在存储的人脸特征中不存在与第一人脸的人脸特征匹配的人脸特征的情况下，获取第一人脸的识别状态，在第一人脸的识别状态为未识别成功的情况下，可以从存储的第一人脸对应的人脸特征以及提取的第一人脸的人脸特征中选取质量得分在第三参考范围内的人脸特征，即从存储的第一人脸ID对应的人脸特征以及本次提取的第一人脸的人脸特征中选取质量得分在第三参考范围内的人脸特征。之后融合选取的人脸特征，在存储的人脸特征中存在与融合的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过，后续操作可以参考步骤307。在存储的人脸特征中不存在与融合的人脸特征匹配的人脸特征的情况下，确定第一人脸验证失败。存储的第一人脸对应的人脸特征可以是之前提取的第一人脸对应的人脸特征，在这个人脸特征识别失败之后并没有丢弃，而是存储起来。例如，在本次提取的第一人脸的人脸特征验证失败的情况下，可以不丢弃本次提取的第一人脸的人脸特征，而是存储起来，在下一次识别第一人脸的人脸特征的时候，可以作为存储的第一人脸对应的人脸特征中的一个人脸特征进行使用。

在图3所描述的基于门禁系统的双目活体人脸检测方法中，在可见光摄像头与红外线摄像头的采集同步的情况下，再进行人脸活体检查，在检测到活体人脸的情况下，再进行人脸验证，可以保证两个摄像头是针对相同内容进行采集的，即都是针对同一场景进行采集的，以及采集的人脸为活体人脸，可以避免没有门禁权限的用户拿着有门禁权限的用户的照片通过验证，可以提门禁的安全性。

请参阅图6，图6是本发明实施例公开的一种基于门禁系统的双目活体人脸检测的示意图。如图6所示，在双目活体人脸检测过程中，在判断出可见光摄像头与红外线摄像头的采集同步的情况下，先进行人脸检测，即对第一图像进行人脸检测。在人脸检测中检测到人脸的情况下，进行人脸跟踪。之后进行人脸选优，即从第一图像中的人脸中选取待检测人脸。之后进行活体检测。在活体检测中检测到活体人脸的情况下，进行特征提取，即提取第一图像包括的待检测人脸中活体人脸对应的人脸特征。之后将提取的人脸特征与特征库中存储的人脸特征进行匹配。详细描述可以参考图3对应的描述。

请参阅图7，图7是本发明实施例公开的另一种基于门禁系统的双目活体人脸检测的示意图。如图7所示，在接收到可见光摄像头采集的视频之后，可以将可见光摄像头采集的视频分为三路，一路用于进行降维处理，之后进行人脸检测、人脸跟踪、人脸选优；一路用于后续人脸特征提取，一路用于输出给主控芯片。红外线摄像头采集的视频在人脸选优结束之后进行活体检测。活体检测之后，使用一路可见光摄像头采集的视频进行人脸特征提取和人脸特征匹配(即人脸识别)。对可见光摄像头采集的视频进行降维处理，可以减少数据缓存，以及加快检测和跟踪速率。可以对选优通过的人脸框进行抠图缓存，即从可见光摄像头采集的视频中选取出待检测人脸并缓存。只有选优以及活体检测通过的人脸才进行人脸特征提取和人脸识别，可以减少不必要的识别次数。

基于图1所示的系统架构，请参阅图4，图4是本发明实施例提供的一种基于门禁系统的双目活体人脸检测装置的结构示意图。如图4所示，该基于门禁系统的双目活体人脸检测装置可以包括：

第一获取单元401，用于获取第一视频和第二视频，第一视频采用可见光摄像头采集，第二视频采用红外线摄像头采集；

判断单元402，用于判断可见光摄像头与红外线摄像头的采集是否同步；

检测单元403，用于在判断出可见光摄像头与红外线摄像头的采集同步的情况下，对第一图像进行人脸检测，第一图像为第一视频中任一帧图像；

检测单元403，还用于在第一图像中检测到人脸的情况下，对第二图像进行活体检测，第二图像为第二视频中与第一图像对应的图像；

第一确定单元404，用于在第二图像中检测到活体人脸，且存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过，第一人脸为第一图像中活体人脸对应的人脸中任一人脸。

在一个实施例中，该基于门禁系统的双目活体人脸检测装置还可以包括：

统计单元405，用于使用第一计数器统计可见光摄像头采集的帧数；

统计单元405，还用于使用第二计数器统计红外线摄像头采集的帧数；

判断单元402具体用于：

判断第一计数器统计的帧数与第二计数器统计的帧数之间的绝对差是否处于第一参考范围内；

在判断出绝对差处于第一参考范围内的情况下，确定可见光摄像头与红外线摄像头的采集同步。

在一个实施例中，在第一图像中检测到人脸的情况下，该基于门禁系统的双目活体人脸检测装置还可以包括：

输入单元406，用于将第一图像输入人脸质量评估算法，得到第一图像中人脸的质量得分；

输入单元406，还用于将第一图像输入人脸姿态估计算法，得到第一图像中人脸的姿态得分；

第二确定单元407，用于将第一图像中质量得分大于第一阈值且姿态得分小于第二阈值的人脸确定为待检测人脸；

检测单元403具体用于：

对第二图像中待检测人脸对应的人脸进行活体检测；

在第二图像中待检测人脸对应的人脸中检测到活体人脸的情况下，确定第二图像中检测到活体人脸。

在一个实施例中，该基于门禁系统的双目活体人脸检测装置还可以包括：

跟踪单元408，用于使用人脸跟踪算法对第一图像中的人脸进行跟踪；

第三确定单元409，用于根据跟踪结果确定第一图像中每个人脸的识别状态，识别状态为已识别成功、未识别成功或未识别；

第二确定单元407，具体用于将第一图像中质量得分大于第一阈值、姿态得分小于第二阈值以及识别状态为未识别成功或未识别的人脸确定为待检测人脸。

在一个实施例中，该基于门禁系统的双目活体人脸检测装置还可以包括：

第二获取单元410，用于从第二视频中获取与第一图像对应的第二图像。

在一个实施例中，第二获取单元410具体用于：

从第二视频中选取帧号与第一图像的帧号之间的绝对差在第二参考范围内的图像；

从选取的图像中选取存在人脸与第二人脸之间的距离小于第三阈值的图像中的一帧图像为第二图像，第二人脸为待检测人脸中任一人脸。

在一个实施例中，该基于门禁系统的双目活体人脸检测装置还可以包括：

选取单元411，用于在存储的人脸特征中不存在与第一人脸的人脸特征匹配的人脸特征，以及第一人脸的识别状态为未识别成功的情况下，从存储的第一人脸对应的人脸特征以及提取的第一人脸的人脸特征中选取质量得分在第三参考范围内的人脸特征；

融合单元412，用于融合选取的人脸特征；

第一确定单元404，还用于在存储的人脸特征中存在与融合的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过。

有关上述第一获取单元401、判断单元402、检测单元403、第一确定单元404、统计单元405、输入单元406、第二确定单元407、跟踪单元408、第三确定单元409、第二获取单元410、选取单元411和融合单元412更详细的描述可以直接参考上述图2-图3所示的方法实施例中的相关描述直接得到，这里不加赘述。

基于图1所示的系统架构，请参阅图5，图5是本发明实施例提供的另一种基于门禁系统的双目活体人脸检测装置的结构示意图。如图5所示，该基于门禁系统的双目活体人脸检测装置可以包括处理器501、存储器502和总线503。存储器502可以是独立存在，也可以和处理器501集成在一起。总线503在上述组件之间传送信息。其中：

存储器502中存储有一组程序代码，处理器501用于调用存储器502中存储的程序代码执行以下操作：

获取第一视频和第二视频，第一视频采用可见光摄像头采集，第二视频采用红外线摄像头采集；

判断可见光摄像头与红外线摄像头的采集是否同步；

在判断出可见光摄像头与红外线摄像头的采集同步的情况下，对第一图像进行人脸检测，第一图像为第一视频中任一帧图像；

在第一图像中检测到人脸的情况下，对第二图像进行活体检测，第二图像为第二视频中与第一图像对应的图像；

在第二图像中检测到活体人脸，且存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过，第一人脸为第一图像中活体人脸对应的人脸中任一人脸。

在一个实施例中，处理器501还用于调用存储器502中存储的程序代码执行以下操作：

使用第一计数器统计可见光摄像头采集的帧数；

使用第二计数器统计红外线摄像头采集的帧数；

处理器501判断可见光摄像头与红外线摄像头的采集是否同步包括：

判断第一计数器统计的帧数与第二计数器统计的帧数之间的绝对差是否处于第一参考范围内；

在判断出绝对差处于第一参考范围内的情况下，确定可见光摄像头与红外线摄像头的采集同步。

在一个实施例中，在第一图像中检测到人脸的情况下，处理器501还用于调用存储器502中存储的程序代码执行以下操作：

将第一图像输入人脸质量评估算法，得到第一图像中人脸的质量得分；

将第一图像输入人脸姿态估计算法，得到第一图像中人脸的姿态得分；

将第一图像中质量得分大于第一阈值且姿态得分小于第二阈值的人脸确定为待检测人脸；

处理器501对第二图像进行活体检测包括：

对第二图像中待检测人脸对应的人脸进行活体检测；

在第二图像中待检测人脸对应的人脸中检测到活体人脸的情况下，确定第二图像中检测到活体人脸。

在一个实施例中，处理器501还用于调用存储器502中存储的程序代码执行以下操作：

使用人脸跟踪算法对第一图像中的人脸进行跟踪；

根据跟踪结果确定第一图像中每个人脸的识别状态，识别状态为已识别成功、未识别成功或未识别；

处理器501将第一图像中质量得分大于第一阈值且姿态得分小于第二阈值的人脸确定为待检测人脸包括：

将第一图像中质量得分大于第一阈值、姿态得分小于第二阈值以及识别状态为未识别成功或未识别的人脸确定为待检测人脸。

在一个实施例中，处理器501还用于调用存储器502中存储的程序代码执行以下操作：

从第二视频中获取与第一图像对应的第二图像。

在一个实施例中，处理器501从第二视频中获取与第一图像对应的第二图像包括：

从第二视频中选取帧号与第一图像的帧号之间的绝对差在第二参考范围内的图像；

从选取的图像中选取存在人脸与第二人脸之间的距离小于第三阈值的图像中的一帧图像为第二图像，第二人脸为待检测人脸中任一人脸。

在一个实施例中，处理器501还用于调用存储器502中存储的程序代码执行以下操作：

在存储的人脸特征中不存在与第一人脸的人脸特征匹配的人脸特征，以及第一人脸的识别状态为未识别成功的情况下，从存储的第一人脸对应的人脸特征以及提取的第一人脸的人脸特征中选取质量得分在第三参考范围内的人脸特征；

融合选取的人脸特征；

在存储的人脸特征中存在与融合的人脸特征匹配的人脸特征的情况下，确定第一人脸验证通过。

其中，步骤201-205、步骤301-308可以由基于门禁系统的双目活体人脸检测装置中的处理器501和存储器502来执行。

其中，第一获取单元401、判断单元402、检测单元403、第一确定单元404、统计单元405、输入单元406、第二确定单元407、跟踪单元408、第三确定单元409、第二获取单元410、选取单元411和融合单元412可以由基于门禁系统的双目活体人脸检测装置中的处理器501和存储器502来实现。

上述基于门禁系统的双目活体人脸检测装置还可以用于执行前述方法实施例中执行的各种方法，不再赘述。

在一个实施例中提供了一种可读存储介质，该可读存储介质用于存储应用程序，应用程序用于在运行时执行图2或图3的基于门禁系统的双目活体人脸检测方法。

在一个实施例中提供了一种应用程序，该应用程序用于在运行时执行图2或图3的基于门禁系统的双目活体人脸检测方法。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于门禁系统的双目活体人脸检测方法，其特征在于，包括：

获取第一视频和第二视频，所述第一视频采用可见光摄像头采集，所述第二视频采用红外线摄像头采集；

判断所述可见光摄像头与所述红外线摄像头的采集是否同步；

在判断出所述可见光摄像头与所述红外线摄像头的采集同步的情况下，对第一图像进行人脸检测，所述第一图像为所述第一视频中任一帧图像；

在所述第一图像中检测到人脸的情况下，对第二图像进行活体检测，所述第二图像为所述第二视频中与所述第一图像对应的图像；

在所述第二图像中检测到活体人脸，且存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定所述第一人脸验证通过，所述第一人脸为所述第一图像中所述活体人脸对应的人脸中任一人脸。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

使用第一计数器统计所述可见光摄像头采集的帧数；

使用第二计数器统计所述红外线摄像头采集的帧数；

所述判断所述可见光摄像头与所述红外线摄像头的采集是否同步包括：

判断所述第一计数器统计的帧数与所述第二计数器统计的帧数之间的绝对差是否处于第一参考范围内；

在判断出所述绝对差处于所述第一参考范围内的情况下，确定所述可见光摄像头与所述红外线摄像头的采集同步。

3.根据权利要求1所述的方法，其特征在于，在所述第一图像中检测到人脸的情况下，所述方法还包括：

将所述第一图像输入人脸质量评估算法，得到所述第一图像中人脸的质量得分；

将所述第一图像输入人脸姿态估计算法，得到所述第一图像中人脸的姿态得分；

将所述第一图像中质量得分大于第一阈值且姿态得分小于第二阈值的人脸确定为待检测人脸；

所述对所述第二图像进行活体检测包括：

对所述第二图像中所述待检测人脸对应的人脸进行活体检测；

在所述第二图像中所述待检测人脸对应的人脸中检测到活体人脸的情况下，确定所述第二图像中检测到活体人脸。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

使用人脸跟踪算法对所述第一图像中的人脸进行跟踪；

根据跟踪结果确定所述第一图像中每个人脸的识别状态，所述识别状态为已识别成功、未识别成功或未识别；

所述将所述第一图像中质量得分大于第一阈值且姿态得分小于第二阈值的人脸确定为待检测人脸包括：

将所述第一图像中质量得分大于第一阈值、姿态得分小于第二阈值以及识别状态为未识别成功或未识别的人脸确定为待检测人脸。

5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：

从所述第二视频中获取与所述第一图像对应的第二图像。

6.根据权利要求5所述的方法，其特征在于，所述从所述第二视频中获取与所述第一图像对应的第二图像包括：

从所述第二视频中选取帧号与所述第一图像的帧号之间的绝对差在第二参考范围内的图像；

从选取的图像中选取存在人脸与第二人脸之间的距离小于第三阈值的图像中的一帧图像为第二图像，所述第二人脸为所述待检测人脸中任一人脸。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在存储的人脸特征中不存在与所述第一人脸的人脸特征匹配的人脸特征，以及所述第一人脸的识别状态为未识别成功的情况下，从存储的所述第一人脸对应的人脸特征以及提取的第一人脸的人脸特征中选取质量得分在第三参考范围内的人脸特征；

融合选取的人脸特征；

在存储的人脸特征中存在与融合的人脸特征匹配的人脸特征的情况下，确定所述第一人脸验证通过。

8.一种基于门禁系统的双目活体人脸检测装置，其特征在于，包括：

第一获取单元，用于获取第一视频和第二视频，所述第一视频采用可见光摄像头采集，所述第二视频采用红外线摄像头采集；

判断单元，用于判断所述可见光摄像头与所述红外线摄像头的采集是否同步；

第一检测单元，用于在判断出所述可见光摄像头与所述红外线摄像头的采集同步的情况下，对第一图像进行人脸检测，所述第一图像为所述第一视频中任一帧图像；

第二检测单元，用于在所述第一图像中检测到人脸的情况下，对第二图像进行活体检测，所述第二图像为所述第二视频中与所述第一图像对应的图像；

第一确定单元，用于在所述第二图像中检测到活体人脸，且存储的人脸特征中存在与第一人脸的人脸特征匹配的人脸特征的情况下，确定所述第一人脸验证通过，所述第一人脸为所述第一图像中所述活体人脸对应的人脸中任一人脸。

9.一种基于门禁系统的双目活体人脸检测装置，其特征在于，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行如权利要求1-7任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。

Images