CN108932783A - 一种基于二维人脸识别的面向大流量场景的门禁系统 - Google Patents

Abstract

本发明公开一种基于二维人脸识别的面向大流量场景的门禁系统，包括设在出入口的门禁终端，所述门禁终端通过通信网络与远程服务器、用户出入记录管理网站和远程实时监控终端相连，所述门禁终端中设有树莓派摄像头、人脸检测模块、人脸识别模块及门禁控制模块，所述远程服务器中设有人脸信息表，人脸信息表包含用户的照片编码信息，编码信息通过将用户正脸或侧脸照片进行68关键点检测调整，再通过FaceNet深度卷积神经网络进行128个参数的编码得到，本发明在识别率和安全性上都有不错的效果并且无需大量人脸数据，在安全的情况下，不需用户严格配合，大大提高门禁效率。利用人员出入信息进行数据挖掘，通过出入记录数据分析人员生活习惯，检测用户异常状态。

Description

一种基于二维人脸识别的面向大流量场景的门禁系统

技术领域

本发明属于智能门禁系统领域，具体涉及一种基于二维人脸识别的面向大流量场景的门禁系统。

背景技术

随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。

近些年来，并没有比较好的人脸识别应用，传统人脸识别也存在许多弊端，检测速度慢，需要数据集量大，对环境要求过高，如申请号为CN201711416630.7的专利公开一种智能门禁系统，包括人脸识别模块、超声模块、门禁开关控制模块，门禁开关控制模块与人脸识别模块电性连接，超声模块与人脸识别模块电性连接。其图像采集采用是基于视频流的特征提取，过程较为繁琐，且需要进行多次图像抓取以及多种特征点提取。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种基于二维人脸识别的面向大流量场景的门禁系统，解决传统人脸识别检测对环境要求高，检测速度慢和安全性差的缺点，并运行于树莓派物联网平台上，同时可以解决现有的使用神经网络进行人脸检测面临着训练数据收集困难的困境。本发明将计算机视觉与机器学习有机融合，实现了一个快速的准确率高的人脸识别系统。

为实现上述目的，本发明采用的技术方案是：

一种基于二维人脸识别的面向大流量场景的门禁系统，包括设置在人员出入口的门禁终端，所述门禁终端通过通信网络与远程服务器、用户出入记录管理网站和远程实时监控终端相连，所述门禁终端中设有树莓派摄像头、人脸检测模块、人脸识别模块及门禁控制模块，所述远程服务器中设有人脸信息表，所述人脸信息表包含用户的照片编码信息，所述编码信息通过将用户正脸或侧脸照片进行68关键点检测调整，再通过FaceNet深度卷积神经网络进行128个参数的编码得到。

具体的，所述门禁终端为树莓派3B硬件。

具体包括以下步骤：

步骤1，通过超声波传感器实现对物体靠近的检测，同时通过树莓派摄像头捕获人脸照片，通过人脸检测模块确定有人靠近，若人脸检测模块确定无人靠近则更新人脸信息表；

步骤2，将捕获的人脸照片通过人脸识别模块处理，提取人脸，去除周边环境；

步骤3，人脸识别模块根据步骤2中提取的人脸采用FaceNet深度卷积神经网络生成128个参数的编码信息，将生成的编码信息与人脸信息表中的编码信息进行相似对比，若相似度达到设定的阈值，则通过门禁控制模块打开门禁，并将此人的出入信息存入到用户出入记录管理网站上，若相似度没达到设定的阈值，则发出警报音，并将捕获的人脸照片也存入远程服务器；

步骤4，将此人的出入信息显示在远程监控终端上，实现管理者的远程管理，所述远程终端可以是PC端网站或者手机端APP。

具体的，步骤1中人脸检测模块通过HOG确定是否有人靠近。

首先将图片进行灰度处理，然后会对图片中的每个像素进行查看，也要同时查看单个元素的周围元素，目的是找到当前像素与其周边像素的像素深度，并用箭头代表图像变暗的方向。如果将所有像素都是用此方法进行替代，则最终像素会被箭头代替；但这运算量太大，为了做到这一点，将图像分割成一些16×16像素的小方块，在每个小方块中，计算出每个主方向上有多少个梯度(有多少指向上，指向右上，指向右等)。然后用指向性最强那个方向的箭头来代替原来的那个小方块，之后，只需要与从许许多多的脸部照片中生成的HOG进行比较，找到相似的地方就是脸部。

具体的，步骤2中通过面部特征点估计的算法进行人脸提取及去掉周边环境。

具体的，所述面部特征点估计的算法具体步骤为：先训练一个机器学习算法，让它能够在任何脸部都能找到68关键点，在知道眼睛和嘴巴的位置后，机器学习算法再将图像进行旋转、缩放和错切，使得眼睛和嘴巴靠近中心。

先训练一个机器学习算法，让它能够在任何脸部，如正脸和侧脸上都能找到人脸68个特定的点，在知道眼睛和嘴巴的位置后，机器学习算法再将图像进行旋转、缩放和错切，使得眼睛和嘴巴尽可能靠近中心，这样无论人脸朝向哪边，都能将眼睛和嘴巴向中间挪动到大致相同的位置。

给脸部编码时，我们通过一个训练好的FaceNet深度卷积神经网络，每次训练让它为脸部生成128个测量值，卷积神经网络训练的方法是：每次训练要观察三个不同的脸部图像：

1.加载一张已知的人的面部训练图像；

2.加载同一个人的另一张照片；

3.加载另外一个人的照片；

然后，查看它自己为这三个图片生成的测量值，再然后，稍微调整神经网络，以确保第一张和第二张生成的测量值接近，而第二张和第三张生成的测量值略有不同；在为几千个人的数百万图像重复该步骤数百万次之后，神经网络学习了如何可靠地为每个人生成128个测量值。将生成的编码与人脸信息表中的编码进行相似对比，采用SVM分类器算法，即可完成分类，通过分类器后，就是我们所要找到的人。

具体的，所述门禁控制模块还包括用于检测人员是否通过门禁的红外传感器。

与现有技术相比，本发明的有益效果是：

1、解决传统人脸识别检测对环境要求高，检测速度慢和安全性差的缺点；

2、解决现有的使用神经网络进行人脸检测面临着训练数据收集困难的困境。

附图说明

图1为本发明中的人脸识别模块第一步所要找的68个特征点图，用于侧脸矫正；

图2为本发明中的门禁系统工作流程图；

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

如图1-2所示，一种基于二维人脸识别的面向大流量场景的门禁系统，包括设置在人员出入口的门禁终端，所述门禁终端通过通信网络与远程服务器、用户出入记录管理网站和远程实时监控终端相连，所述门禁终端中设有树莓派摄像头、人脸检测模块、人脸识别模块及门禁控制模块，所述远程服务器中设有人脸信息表，所述人脸信息表包含用户的照片编码信息，所述编码信息通过将用户正脸或侧脸照片进行68关键点检测调整，再通过FaceNet深度卷积神经网络进行128个参数的编码得到。

具体的，所述门禁终端为树莓派3B硬件。

具体包括以下步骤：

步骤1，通过超声波传感器实现对物体靠近的检测，同时通过树莓派摄像头捕获人脸照片，通过人脸检测模块确定有人靠近，若人脸检测模块确定无人靠近则更新人脸信息表；

步骤2，将捕获的人脸照片通过人脸识别模块处理，提取人脸，去除周边环境；

步骤3，人脸识别模块根据步骤2中提取的人脸采用FaceNet深度卷积神经网络生成128个参数的编码信息，将生成的编码信息与人脸信息表中的编码信息进行相似对比，若相似度达到设定的阈值，则通过门禁控制模块打开门禁，并将此人的出入信息存入到用户出入记录管理网站上，若相似度没达到设定的阈值，则发出警报音，并将捕获的人脸照片也存入远程服务器；

步骤4，将此人的出入信息显示在远程监控终端上，实现管理者的远程管理，所述远程终端可以是PC端网站或者手机端APP。

具体的，步骤1中人脸检测模块通过HOG确定是否有人靠近。

首先将图片进行灰度处理，然后会对图片中的每个像素进行查看，也要同时查看单个元素的周围元素，目的是找到当前像素与其周边像素的像素深度，并用箭头代表图像变暗的方向。如果将所有像素都是用此方法进行替代，则最终像素会被箭头代替；但这运算量太大，为了做到这一点，将图像分割成一些16×16像素的小方块，在每个小方块中，计算出每个主方向上有多少个梯度(有多少指向上，指向右上，指向右等)。然后用指向性最强那个方向的箭头来代替原来的那个小方块，之后，只需要与从许许多多的脸部照片中生成的HOG进行比较，找到相似的地方就是脸部。

具体的，步骤2中通过面部特征点估计的算法进行人脸提取及去掉周边环境。

具体的，所述面部特征点估计的算法具体步骤为：先训练一个机器学习算法，让它能够在任何脸部都能找到68关键点，在知道眼睛和嘴巴的位置后，机器学习算法再将图像进行旋转、缩放和错切，使得眼睛和嘴巴靠近中心。

先训练一个机器学习算法，让它能够在任何脸部，如正脸和侧脸上都能找到人脸68个特定的点，在知道眼睛和嘴巴的位置后，机器学习算法再将图像进行旋转、缩放和错切，使得眼睛和嘴巴尽可能靠近中心，这样无论人脸朝向哪边，都能将眼睛和嘴巴向中间挪动到大致相同的位置。

给脸部编码时，我们通过一个训练好的FaceNet深度卷积神经网络，每次训练让它为脸部生成128个测量值，卷积神经网络训练的方法是：每次训练要观察三个不同的脸部图像：

1.加载一张已知的人的面部训练图像；

2.加载同一个人的另一张照片；

3.加载另外一个人的照片；

然后，查看它自己为这三个图片生成的测量值，再然后，稍微调整神经网络，以确保第一张和第二张生成的测量值接近，而第二张和第三张生成的测量值略有不同；在为几千个人的数百万图像重复该步骤数百万次之后，神经网络学习了如何可靠地为每个人生成128个测量值。将生成的编码与人脸信息表中的编码进行相似对比，采用SVM分类器算法，即可完成分类，通过分类器后，就是我们所要找到的人。

具体流程如下，以学校门禁为例：

在出入口各放置一块树莓派3B硬件。

1.上电开启后，自动连接远程服务器，获取人脸信息表,每隔一定时间，重新连接服务器，更新人脸信息表。

2.超声波传感器监测到有物体靠近，树莓派摄像头开始工作，检测到视野区域有人脸后，在本地屏幕上实时显示人脸照片。同时生成每张人脸128个编码信息，遍历人脸信息表，逐一匹配，当两张人脸编码信息相似度超过一定阈值后，认为匹配成功，退出遍历。

3.当匹配成功后，在屏幕上打印该学生姓名学号。同时打开门禁。

4.将当前人脸信息代表的学生学号添加到用户出入记录管理网站，出入记录管理网站自动填充当前时间，和出入方向。并根据出入方向，更新出入记录管理网站的允许通过者的状态。

5.当网络条件良好及学生出入流压力较小时，将人脸信息上传到远程服务器，并更新本地的人脸信息表，以应变突发网络中断场景。

6.可在同一个局域网内的电脑上，输入密码，连接树莓派，监视实时出入记录和视频。

7.当连续一定次数识别失败后，触发蜂鸣器告警，提醒门卫宿管等。

管理人员可以通过访问远程实时监控终端，输入密码登录；为安全起见，远程实时监控终端需要账号密码才可以打开。通过反向ssh技术，和阿里云服务器端口绑定，实现在公网远程访问监控视频流。视频文件保存在阿里云服务器上，可以回调查看。

1.可查看学生的实时出入记录，学生状态，并支持排序，筛选，搜索等基本功能。

2.支持实时增删人脸信息表记录。支持从PC端和手机端添加修改学生基本信息，上传学生照片，自动生成人脸编码信息保存到人脸信息表。支持连接外部数据库导入数据，支持批量上传。

3.支持当外人来访等情景下，手动添加出入记录，人脸信息表自动填充时间。

4.定时检查使用者状态，以学生门禁系统为例，当发生学生夜不归宿，或长期没有出入记录等异常情况时，自动生成异常学生名单通过邮件给指定负责人，如辅导员等。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于二维人脸识别的面向大流量场景的门禁系统，其特征在于，包括设置在人员出入口的门禁终端，所述门禁终端通过通信网络与远程服务器、用户出入记录管理网站和远程实时监控终端相连，所述门禁终端中设有树莓派摄像头、人脸检测模块、人脸识别模块及门禁控制模块，所述远程服务器中设有人脸信息表，所述人脸信息表包含用户的照片编码信息，所述编码信息通过将用户正脸或侧脸照片进行68关键点检测调整，再通过FaceNet深度卷积神经网络进行128个参数的编码得到。

2.如权利要求1所述的一种基于二维人脸识别的面向大流量场景的门禁系统，其特征在于，所述门禁终端为树莓派3B硬件。

3.如权利要求1所述的一种基于二维人脸识别的面向大流量场景的门禁系统，其特征在于，包括以下步骤：

步骤1，通过超声波传感器实现对物体靠近的检测，同时通过树莓派摄像头捕获人脸照片，通过人脸检测模块确定有人靠近，若人脸检测模块确定无人靠近则更新人脸信息表；

步骤2，将捕获的人脸照片通过人脸识别模块处理，提取人脸，去除周边环境；

步骤3，人脸识别模块根据步骤2中提取的人脸采用FaceNet深度卷积神经网络生成128个参数的编码信息，将生成的编码信息与人脸信息表中的编码信息进行相似对比，若相似度达到设定的阈值，则通过门禁控制模块打开门禁，并将此人的出入信息存入到用户出入记录管理网站上，若相似度没达到设定的阈值，则发出警报音，并将捕获的人脸照片也存入远程服务器；

步骤4，将此人的出入信息显示在远程监控终端上，实现管理者的远程管理，所述远程终端可以是PC端网站或者手机端APP。

4.如权利要求3所述的一种基于二维人脸识别的面向大流量场景的门禁系统，其特征在于，步骤1中人脸检测模块通过HOG确定是否有人靠近。

5.如权利要求3所述的一种基于二维人脸识别的面向大流量场景的门禁系统，其特征在于，步骤2中通过面部特征点估计的算法进行人脸提取及去掉周边环境。

6.如权利要求5所述的一种基于二维人脸识别的面向大流量场景的门禁系统，其特征在于，所述面部特征点估计的算法具体步骤为：先训练一个机器学习算法，让它能够在任何脸部都能找到68关键点，在知道眼睛和嘴巴的位置后，机器学习算法再将图像进行旋转、缩放和错切，使得眼睛和嘴巴靠近中心。

7.如权利要求1所述的一种基于二维人脸识别的面向大流量场景的门禁系统，其特征在于，所述门禁控制模块还包括用于检测人员是否通过门禁的红外传感器。