CN110942545A - 基于人脸识别和视频围栏的人员密集出入口门禁控制系统及方法 - Google Patents

Abstract

本发明提供一种基于人脸识别和视频围栏的人员密集出入口门禁控制系统及方法，所述方法包括获取监控摄像头拍摄的实时视频流；对实时视频流进行解析，得到人脸的特征值；基于人脸的特征值对人脸进行跟踪，同时对跟踪的人脸不停的抓取人脸图像；当所跟踪的人脸进入预设的电子围栏区域时，选取最佳人脸图像进行人脸识别，得到人脸身份信息；根据人脸身份信息进行权限认证与识别，在图像上进行不同标绘；当检测到人体进入布控区域时，触发人员出入权限判定。本发明可以解决人员密集出入口通行速度与人员身份鉴别的矛盾，实现开放式环境下的人员身份鉴别与出入控制，达到不需要人员主动配合，快速通行、有效身份识别与门禁控制的效果。

Description

基于人脸识别和视频围栏的人员密集出入口门禁控制系统及 方法

技术领域

本发明涉及一种门禁控制技术领域，具体是一种基于人脸识别和视频围栏的人员密集出入口门禁控制系统及方法。

背景技术

现代社会对公共安全的要求越来越高，这给智能监控和视频分析技术带来了巨大的发展机遇和挑战。许多场合，如人口密集区的检测，火车站、银行、证券交易场所等重要场所的安全管控，都需要用到视频分析技术，在这种场景下，用户更关心视频监控中的异常行为，识别监控画面中的异常情况，并能够以实时可靠的方式发出警报，有效的协助监控人员获取准确信息和处理突发事件以阻止更多危险活动的发生。因此如何将这些异常行为准确检测和识别并及时通知处理是急需解决的问题。

人脸识别技术的研究起源于上世纪60年代末期，发展大致分为四个阶段：第一个阶段以J.S.Bruner和B ledsoe为代表，主要是研究人脸识别所需要的面部特征，这个阶段研究人员手工选择若干个面部特征，计算机通过分析这些特征值之间的距离来进行人脸识别。这种研究方法仅适用于实验人员正面图像。第二个阶段开始于二十世纪七十年代，以Allen和Parke为代表，在前阶段的基础上增加了神经网络，线性分类器等方法，使得人脸识相对于手工来说干扰减少了很多。第三个阶段以Harmon和LeSk为代表，用几何特征参数来表示人脸正面图像，大量的新方法大大简化了研究人员的手工工作，例如基于gabor的识别技术，基于局部二值模式的人脸识别等。第四个阶段研究人员加强了分类器的训练和设计研究，在此期间向量机，Bagging分类算法等被应用到人脸识别。现阶段研究人员逐渐开始关注特征提取、特征选择、模式分类等算法相互结合的研究方法。目前大多数研究旨在改进算法性能，提高算法效率；或者研究非理想条件下人脸识别算法的性能变化。

通过对海康、大华、中控等国内主流安防厂家的调研，国内现阶段基于人脸识别的门禁系统主要有两种模式：

1、单人脸识别门禁

单人脸识别门禁类似于指纹，在大门口，重要部位部署人脸识别门禁，当人员进出入门禁时，需要人脸主动配合摄像机，且不能有遮挡，这种方案下的门禁系统需要对人员进行严格控制，人员识别准确率较高，主要用于公司规模不大的人脸考勤或门禁，监狱的出入口管理，或其它安全级别要求较高的场所。不适用于开放式或人流量较大的环境。以中控为代表的中端产品厂家大多采用此类方案。

2、多人脸识别门禁

多人脸识别门禁通常用于大门口等人流量范围较大的情况下使用。不需要人员主动配合，由视频进行抓拍，但鉴于环境的复杂性，门禁通常会设置成通道，尽量缩小识别范围，从而进行有效的人员控制。其缺点在于：有限范围内的人脸识别受光照、角度、遮挡等因素的影响较大，识别速度有限，导致人员通行速度慢，人员拥堵现象严重。海康、大华、旷视等厂家主要提供此类方案。

以上两种人脸识别都需要对识别对象提出多项配合要求，以便提高识别准确性。例如，要求被识别人员逐一单独通过识别通道，在特定位置静止并采用固定姿态配合人脸图样的采集，获取较高质量的人脸图像送入比对模块，其间对于光照、表情等细节都有较为严格的要求。此种应用模式增加了系统使用的管理难度，限制了人脸识别技术的实际应用。

我国人口众多，在很多场合地点都不可能对通行人流进行过多的约束和限制，特别是对于城市中心地段的开放式出入口，如果采用门禁方式限行识别，极容易造成人流的迟滞或拥堵，并且未体现出隐性识别的优越性，从而无法达到使用人脸识别技术提高公共安全监控的目的。

发明内容

针对现有技术存在的上述不足，本发明提供一种基于人脸识别和视频围栏的人员密集出入口门禁控制系统及方法，可以解决人员密集出入口通行速度与人员身份鉴别的矛盾，实现开放式环境下的人员身份鉴别与出入控制，达到不需要人员主动配合，快速通行、有效身份识别与门禁控制的效果。

一种基于人脸识别和视频围栏的人员密集出入口门禁控制方法，包括如下步骤：

获取监控摄像头拍摄的实时视频流；

对所述实时视频流进行解析，通过运动目标检测技术和多目标检测技术对运动目标进行检测，再通过人脸识别算法提取人脸特征，得到人脸的结构化数据，形成人脸的特征值；

基于所述人脸的特征值对人脸进行跟踪，同时对跟踪的人脸不停的抓取人脸图像，并存入人脸抓拍库；

当所跟踪的人脸进入预设的电子围栏区域时，在所述人脸抓拍库中选取最佳的人脸图像进行人脸识别，得到人脸身份信息；

根据所述人脸身份信息进行权限认证与识别，对于白名单内的人脸，在图像上进行正常人员标绘，对于黑名单、灰名单人脸，在图像上进行异常报警人员标绘；

当检测到人体进入布控区域时，触发人员出入权限判定：当判定进入人员为白名单人或灰名单人员，输出禁止通行信号，控制门禁关闭，同时联动报警。

进一步的，所述最佳的人脸图像是人脸数据信息最全且光照度最好的图像。

进一步的，在获取监控摄像头拍摄的实时视频流步骤前还包括建立人脸库步骤，其中人脸库包含人脸对比库、人脸抓拍库，人脸对比库包含黑、白名单、灰名单，其中黑名单包括门禁禁止通行人员名单，白名单包括门禁允许通行人员名单，灰名单包括门禁徐需要管控人员名单，所述人脸抓拍库用于管理人脸抓拍数据，在视频流中对监测的人脸经过图像处理形成人脸抓拍照片和对应的场景照片，针对不同性别、年龄、表情、光照角度来对图标进行结构化描述，方便抓拍照片的检索及深层次人脸数据应用。

进一步的，在获取监控摄像头拍摄的实时视频流步骤前还包括区域布控步骤，在实时视频画面中距离门禁通道前一定距离的位置进行电子围栏画线，作为人员出入权限判定的区域。

一种基于人脸识别和视频围栏的人员密集出入口门禁控制系统，包括：

视频流获取模块，用于获取监控摄像头拍摄的实时视频流；

运动目标检测模块，用于对所述实时视频流进行解析，通过运动目标检测技术和多目标检测技术对运动目标进行检测得到有人脸的图像，再通过人脸识别算法提取人脸特征，得到人脸的结构化数据，形成人脸的特征值；

人脸跟踪模块，用于基于所述人脸的特征值对人脸进行跟踪，同时对跟踪的人脸不停的抓取人脸图像，并存入人脸抓拍库；

身份识别模块，用于当所跟踪的人脸进入预设的电子围栏区域时，在所述人脸抓拍库中选取最佳的人脸图像进行人脸识别，得到人脸身份信息；

权限认证与识别模块，用于根据所述人脸身份信息进行权限认证与识别，对于白名单内的人脸，在图像上进行正常人员标绘，对于黑名单、灰名单人脸，在图像上进行异常报警人员标绘；

权限判定模块，用于当检测到人体进入布控区域时，触发人员出入权限判定：当判定进入人员为白名单人或灰名单人员，输出禁止通行信号，控制门禁关闭，同时联动报警。

进一步的，所述身份识别模块选取的最佳的人脸图像是人脸数据信息最全且光照度最好的图像。

进一步的，还包括区域布控模块，用于在实时视频画面中距离门禁通道前一定距离的位置进行电子围栏画线，作为人员出入权限判定的区域。

本发明基于复杂环境下的目标跟踪，提前对人体进行检测、跟踪，增加识别范围和次数，提高人脸识别率；本发明采用在运动状态下，用户非配合下的快速身份识别技术，可以从监控视频图象中实时查找人脸，并与人脸数据库进行实时比对，从而实现快速身份识别，实现智能预警；另外通过在门禁口前方画出视频围栏区域，只有当检测到有人体进入到视频围栏的位置的时候，才触发人员出入门禁的权限判定，提升了人员权限判定效率，从而加快了通行速度。

附图说明

图1是本发明实施例基于人脸识别和视频围栏的人员密集出入口门禁控制方法的流程示意图；

图2是本发明中人脸抓拍库所存储的抓取人脸示意图；

图3是本发明中设置电子围栏的示意图；

图4是本发明实施例基于人脸识别和视频围栏的人员密集出入口门禁控制系统的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。

请参阅图1，本发明实施例提供一种基于人脸识别和视频围栏的人员密集出入口门禁控制方法，包括如下步骤：

步骤S11、获取监控摄像头拍摄的实时视频流。

大部分人脸识别的场景，是建立在对实时视频流(图片流)的基础之上，本发明通过与监控摄像头对接，以获取监控摄像头的实时视频流，具体的，本发明了、采用opencv开源库读取RTSP(Real TimeStreaming Protocol，实时流传输协议)视频流流，为人脸识别提供数据来源。

步骤S12、对所述实时视频流进行解析，通过运动目标检测技术和多目标检测技术对运动目标进行检测得到有人脸的图像，再通过人脸识别算法提取人脸特征，得到人脸的结构化数据，形成人脸的特征值。

具体的，通过人脸检测方法(运动目标检测技术和多目标检测技术)得到有人脸的图像并对该图像进行一定的预处理，如归一化、小波分解等；通过预处理后的图像保留了人脸最本质、对特征提取最有利的部分，滤去了外界的部分干扰因如光照、饰物等，然后选定一种特征提取算法对该预处理过的图像进行特征提取，进而形成人脸的特征值。

人脸检测的过程实质可以看做是一个穷举匹配的过程，检测框从待检测图像的左上角开始，按照从左到右，从上到下的顺序，选取适当的移动步长依次移动，对待检测窗口逐个进行判断。如果某个位置的判断结果为真则表明该位置处存在人脸，然后标出检测到的人脸区域。检测初期检测框的大小和训练样本的大小一致，一次遍历结束之后按照指定的放大倍数放大检测窗口，再次进行遍历，这样不停地放大检测窗口对待检测图像进行遍历检测，直到检测窗口超出待检测区域的一半以后停止检测。

步骤S13、基于所述人脸的特征值对人脸进行跟踪，同时对跟踪的人脸不停的抓取人脸图像，并存入人脸抓拍库。

对于开放式出入口的人脸检测，摄像头覆盖范围较大，通过人员在摄像头区域内会存在较长的一段时间，针对开放式出入口特性，需要系统同时识别两位数以上的数量级，如果不能够减少比对工作量，将会严重影响系统的工作效率。为了避免同一人多次识别比对的情况，本发明采用运动跟踪的办法进行人脸识别，对抓取到的人脸不做比对，而是做基于人脸特征值的运动跟踪，跟踪方法为在两帧之间做类似于运动矢量估计的特征值匹配算法，同时对跟踪的人脸不停的抓取图像进行暂存。采用此种识别模式，能够在不降低人脸识别准确率的情况下，有效的增加系统工作效率。

步骤S14、当所跟踪的人脸进入预设的电子围栏区域时，在所述人脸抓拍库(如图2所示)中选取人脸数据信息最全且光照度最好的人脸图像进行人脸识别，得到人脸身份信息。如图2所示，图片中居左的人脸图像即是从人脸抓拍库所存储的众多抓拍数据中信息最全且光照度最好的人脸图像，使用此人脸图像进行人脸识别，得到的人脸身份信息是最准确的。

步骤S15、根据所述人脸身份信息进行权限认证与识别，对于白名单内的人脸，在图像上进行正常人员标绘，对于黑名单、灰名单人脸，在图像上进行异常报警人员标绘；

具体的，通过算法，触发人员进出权限判定，对权限判定结果用消息队列进行推送，同时对接门禁系统的门禁控制服务，可对门禁状态的开启进行控制，通过websocket服务将处置结果发送到实时出入监控页面，可实时展示当前报警人员信息。在实时出入监控界面上对抓取到的人脸进行跟踪标注，当人员进入电子围栏发生报警时，系统自动将此人的标注框更改为显著色(例如红色)，这样，安保监控人员能够在密集人群的监控场景中迅速定位嫌疑人，并快速进行盘查抓捕，在不影响识别效率的同时，提升了抓捕效率。

步骤S16、当检测到人体进入布控区域时，触发人员出入权限判定：当判定进入人员为白名单人或灰名单人员，输出禁止通行信号，控制门禁关闭，同时联动报警。

在另一实施例中，在步骤S11之前还包括：建立人脸库步骤，具体的，人脸库是人脸数据的储存管理中心，能够为人脸识别提供比对模板，为抓拍人脸数据提供管理空间，为人脸算法检测提供测试样本。

所述人脸库包含人脸对比库、人脸抓拍库、人脸数据集，人脸对比库包含黑、白名单、灰名单，其中黑名单包括门禁禁止通行人员名单，白名单包括门禁允许通行人员名单，灰名单包括门禁徐需要管控人员名单。

所述人脸抓拍库用于管理人脸抓拍数据，在视频流中对算法监测的人脸经过图像处理形成人脸抓拍照片和对应的场景照片，针对不同性别、年龄、表情、光照角度来对图标进行结构化描述，方便抓拍照片的检索及深层次人脸数据应用；

所述人脸数据集用于检测人脸算法效果和训练算法效果的数据库，常用人脸集包含webFace、FaceScrub、FDDB、CK+、IMDB-WIKI等数据库进行人脸识别、人脸采集、人脸结构化。

在另一实施例中，在步骤S11之前还包括：区域布控步骤，具体的，在实时视频画面中引入电子围栏的概念，视频电子围栏是一个概念意义上的描述，表示人员出入门禁的权限检测区域的临界点。在视频图像中是一条直线。在实时视频画面中距离门禁通道前一定距离(如1米左右)的位置进行电子围栏画线(如图3中红线所示)，作为人员出入权限判定的区域。本发明基于视频电子围栏进行人员入侵检测，当视频监控系统判定有人员跨过电子围栏画线进入该区域(即步骤S14判断所跟踪的人脸进入预设的电子围栏区域)，即检测到人员进入电子围栏后立即发出入侵信号，此时才开始进行门禁的权限判定步骤，即在所述人脸抓拍库中选取人脸数据信息最全且光照度最好的人脸图像进行人脸识别，得到人脸身份信息，接着执行步骤S15。

请参阅图4，本发明实施还提供一种基于人脸识别和视频围栏的人员密集出入口门禁控制系统，包括：

视频流获取模块21，用于获取监控摄像头拍摄的实时视频流；

运动目标检测模块22，用于对所述实时视频流进行解析，通过运动目标检测技术和多目标检测技术对运动目标进行检测得到有人脸的图像，再通过人脸识别算法提取人脸特征，得到人脸的结构化数据，形成人脸的特征值；

人脸跟踪模块23，用于基于所述人脸的特征值对人脸进行跟踪，同时对跟踪的人脸不停的抓取人脸图像，并存入人脸抓拍库；

身份识别模块24，用于当所跟踪的人脸进入预设的电子围栏区域时，在所述人脸抓拍库中选取人脸数据信息最全且光照度最好的人脸图像进行人脸识别，得到人脸身份信息；

权限认证与识别模块25，用于根据所述人脸身份信息进行权限认证与识别，对于白名单内的人脸，在图像上进行正常人员标绘，对于黑名单、灰名单人脸，在图像上进行异常报警人员标绘；

权限判定模块26，用于当检测到人体进入布控区域时，触发人员出入权限判定：当判定进入人员为白名单人或灰名单人员，输出禁止通行信号，控制门禁关闭，同时联动报警。

在其他实施例中，还包括区域布控模块，用于在实时视频画面中距离门禁通道前一定距离(如1米左右)的位置进行电子围栏画线(如图3中红线所示)，作为人员出入权限判定的区域。

本发明具有如下特点和有益效果：

1、基于复杂环境下的目标跟踪，可增加识别范围和次数，提高人脸识别率：

鉴于复杂环境下的门禁系统，在人流量较大的情况下，为了有效的对人员进行出入控制，通常将门禁设置成通道，将识别范围缩小。但由于有限范围内的别受光线、角度、遮挡等因素的影响，识别速度不高。本发明在复杂环境的门禁应用场所下，通过加大人体检测的范围，提前对人体进行检测、跟踪，增加识别范围和次数，从而减少了光照、遮挡等问题对人体检测与跟踪的影响，加大了人员检测的几率与识别率，提高了人脸的识别率。

2、基于监控视频的人脸鉴别实现快速身份识别

目前基于人脸识别的门禁系统是采用近距离人脸识别的方案，在特定的区域或者范围之内进行识别，该方案对识别对角度、距离、位置的要求会比较高。近距离静态人脸识别的特点就在于用户容量小，比较适合一些小型公司的门禁之类的使用，图形识别率较高，可达到95％以上。在人流密度大的门禁出入场景下，该方案会导致人员出入等待，出入效率低下的情况。本发明基于监控视频的人脸鉴别是一种运动状态下，用户非配合下的快速身份识别技术，采用快速人脸检测技术可以从监控视频图象中实时查找人脸，并与人脸数据库进行实时比对，从而实现快速身份识别，实现智能预警。

3、采用视频触发判定，加快通行速度。

常用的人脸识别门禁对人员出入权限判定的方案是，在视频识别过程中，识别到人脸就触发门禁是否开启的判定，这种方式会造成一定的资源和效率浪费。本发明采用视频围栏触发判定，在门禁口前方画出视频围栏区域，只有当检测到有人体进入到视频围栏的位置的时候，才触发人员出入门禁的权限判定，若识别到人员为白名单人员，系统发出放行信号，若为非白名单人员，系统输出报警信号，本发明减少了人员在移动过程中重复的权限判定过程，提升了人员权限判定效率，从而加快了通行速度。

保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于人脸识别和视频围栏的人员密集出入口门禁控制方法，其特征在于包括如下步骤：

获取监控摄像头拍摄的实时视频流；

对所述实时视频流进行解析，通过运动目标检测技术和多目标检测技术对运动目标进行检测，再通过人脸识别算法提取人脸特征，得到人脸的结构化数据，形成人脸的特征值；

基于所述人脸的特征值对人脸进行跟踪，同时对跟踪的人脸不停的抓取人脸图像，并存入人脸抓拍库；

当所跟踪的人脸进入预设的电子围栏区域时，在所述人脸抓拍库中选取最佳的人脸图像进行人脸识别，得到人脸身份信息；

根据所述人脸身份信息进行权限认证与识别，对于白名单内的人脸，在图像上进行正常人员标绘，对于黑名单、灰名单人脸，在图像上进行异常报警人员标绘；

当检测到人体进入布控区域时，触发人员出入权限判定：当判定进入人员为白名单人或灰名单人员，输出禁止通行信号，控制门禁关闭，同时联动报警。

2.如权利要求1所述的基于人脸识别和视频围栏的人员密集出入口门禁控制方法，其特征在于：所述最佳的人脸图像是人脸数据信息最全且光照度最好的图像。

3.如权利要求1所述的基于人脸识别和视频围栏的人员密集出入口门禁控制方法，其特征在于：在获取监控摄像头拍摄的实时视频流步骤前还包括建立人脸库步骤，其中人脸库包含人脸对比库、人脸抓拍库，人脸对比库包含黑、白名单、灰名单，其中黑名单包括门禁禁止通行人员名单，白名单包括门禁允许通行人员名单，灰名单包括门禁徐需要管控人员名单，所述人脸抓拍库用于管理人脸抓拍数据，在视频流中对监测的人脸经过图像处理形成人脸抓拍照片和对应的场景照片，针对不同性别、年龄、表情、光照角度来对图标进行结构化描述，方便抓拍照片的检索及深层次人脸数据应用。

4.如权利要求1所述的基于人脸识别和视频围栏的人员密集出入口门禁控制方法，其特征在于：在获取监控摄像头拍摄的实时视频流步骤前还包括区域布控步骤，在实时视频画面中距离门禁通道前一定距离的位置进行电子围栏画线，作为人员出入权限判定的区域。

5.一种基于人脸识别和视频围栏的人员密集出入口门禁控制系统，其特征在于包括：

视频流获取模块，用于获取监控摄像头拍摄的实时视频流；

运动目标检测模块，用于对所述实时视频流进行解析，通过运动目标检测技术和多目标检测技术对运动目标进行检测得到有人脸的图像，再通过人脸识别算法提取人脸特征，得到人脸的结构化数据，形成人脸的特征值；

人脸跟踪模块，用于基于所述人脸的特征值对人脸进行跟踪，同时对跟踪的人脸不停的抓取人脸图像，并存入人脸抓拍库；

身份识别模块，用于当所跟踪的人脸进入预设的电子围栏区域时，在所述人脸抓拍库中选取最佳的人脸图像进行人脸识别，得到人脸身份信息；

权限认证与识别模块，用于根据所述人脸身份信息进行权限认证与识别，对于白名单内的人脸，在图像上进行正常人员标绘，对于黑名单、灰名单人脸，在图像上进行异常报警人员标绘；

权限判定模块，用于当检测到人体进入布控区域时，触发人员出入权限判定：当判定进入人员为白名单人或灰名单人员，输出禁止通行信号，控制门禁关闭，同时联动报警。

6.如权利要求5所述的基于人脸识别和视频围栏的人员密集出入口门禁控制系统，其特征在于：所述身份识别模块选取的最佳的人脸图像是人脸数据信息最全且光照度最好的图像。

7.如权利要求5所述的基于人脸识别和视频围栏的人员密集出入口门禁控制系统，其特征在于：还包括区域布控模块，用于在实时视频画面中距离门禁通道前一定距离的位置进行电子围栏画线，作为人员出入权限判定的区域。

Images