CN109377616B - 一种基于二维人脸识别的门禁控制系统 - Google Patents

Abstract

本发明公开了一种基于二维人脸识别的门禁控制系统，该系统先将用户基准照片传到服务器，生成128个基准特征参数并保存。当待识别用户接近门锁系统时，摄像头拍摄照片，首先识别是否有人脸，然后触发人脸识别模块识别是否为真人，随后形成128个待识别人脸的特征参数与基准特征参数比对；当比对通过时，系统打开门锁，并记录用户出入信息。若有人逗留时间过长而且多次识别失败，则记录下此人的照片，并发送到网站或App中，提醒预设用户注意安全，用户也可通过App或者网站系统的临时解锁。本系统支持多张人脸同时识别，使用了眨眼检测技术预防照片欺骗，提高门锁的安全性；无需大量人脸数据，能在保证安全的情况下，大大提高门锁的效率。

Description

一种基于二维人脸识别的门禁控制系统

技术领域

本发明属于人脸识别领域，特别涉及一种基于二维人脸识别的门禁控制系统。

背景技术

随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。

近些年来，并没有比较好的电脑人脸识别软件，传统人脸也存在许多弊端，检测速度慢，需要数据集量大，对环境要求过高。

发明内容

本专利发明了一种基于二维人脸识别的门禁控制系统，解决传统人脸识别检测对环境要求高，检测速度慢和安全性差的缺点，采用专业的摄像头模块，解决现有的使用神经网络进行人脸检测面临着训练数据收集困难的困境；还将计算机视觉与机器学习有机融合，实现了一个快速的准确率高的人脸识别系统，具体通过以下技术方案实现。

一种基于二维人脸识别的门禁控制系统，包括门锁、摄像头、语音模块、显示屏、无线通信模块、服务器、存储模块、数据库；包括以下步骤：

S1、导入预设用户的基准照片，通过无线通信模块提交至服务器；通过人脸识别算法对基准照片生成128个基准特征参数，储存在存储模块和数据库中；

S2、当探测到摄像头前2m内具有待识别物体时，摄像头拍摄待识别物体照片，通过人脸识别算法对待识别物体照片进行初次人脸识别，获取其中的人脸照片；若不能获取人脸照片，则终止识别；

S3、对步骤S2获取的人脸照片进行人脸真实度识别，若经识别为真实人脸，则触发人脸识别模块，完成二次人脸识别；否则终止识别；

S4、对人脸照片中的128个基准特征参数之间的欧氏距离设立匹配阈值；触发人脸识别模块后，将待识别人员的人脸与所有预设用户的人脸逐一比对，若经识别其与基准照片的欧氏距离不超过匹配阈值，则识别为预设用户，打开门锁，同时将出入信息录入存储模块，并通过无线通信模块传输至服务器和数据库；若经多次识别其相似度仍大于匹配阈值，则识别为非法闯入者，发出警报并通过无线通信模块提醒预设用户，同时拍摄非法闯入者照片并传送给房屋主人。

其中，所述人脸识别算法的具体为：

a1、选择若干人脸照片，利用方向梯度直方图HOG方法，对这些照片进行灰度处理，将每张人脸照片分割成若干个16×16像素的小方块区域；

a2、计算每个小方块区域的向上、向右、右上三个主方向的梯度值，选取梯度值最高的主方向相应的箭头，用该箭头代替该小方块区域形成若干人脸的方向梯度直方图HOG；

a3、导入预设用户的基准照片或待识别人员的照片，与步骤a2的若干人脸的方向梯度直方图HOG进行比对，计算待识别人员与基准照片的128位编码所对应的欧氏距离，比较欧氏距离与匹配阈值的大小，完成待识别人员脸部识别确认；

a4、通过dlib中卷积神经网络选取预设用户的基准照片或待识别照片的人脸上的68个特征点，以眼睛和嘴巴位置的特征点为基准，对人脸照片进行旋转、缩放和错切，使眼睛和嘴巴处于中心区域；

a5、通过训练好的FaceNet深度卷积神经网络，在预设用户的基准照片或待识别照片的人脸上最终形成128个特征参数。

上述系统所采用的方法中，门锁、摄像头、语音模块、显示屏、无线通信模块、服务器、存储模块、数据库等硬件，都是常见、通用的硬件模块，设计一种能够利用人脸的若干参数进行人脸识别的算法，首先在数据库中导入预设用户的人脸基准特征参数，作为人脸比对的基准数据；在检测时，通过摄像头等硬件测摄像头前方一定距离内的一个或若干个移动物体，判断其是否为人，并识别出人脸，在人脸上生成若干特征参数；然后判断人脸是真人的人脸还是照片、杂志、书本、电子显示屏等物体上显示的人脸；判别为真人的人脸，则完成与数据库中预设用户的人脸基准特征参数的比对，以预设的匹配阈值为标准，判断相似度，从而确定摄像头前的人是否为预设用户，或确定摄像头前的若干人中是否有预设用户。为了提高识别精准度和安全管理，当网络条件良好及出入流压力较小时，将存储模块中的出入信息可以远程传输至服务器和数据库。

为了提高系统的精度，本专利技术的摄像头采用树莓派高清摄像头，该摄像头可连接至任何的树莓派或计算模块，可以拍摄高清视频和静止的照片。该摄像头采用索尼Sony的IMX219PQ图像传感器，提供高速视频成像和高灵敏度。该摄像头模块可减少图像污染，如固定模式噪声和拖尾效应，还具有自动控制功能，如曝光控制、白平衡和亮度检测。

上述系统所采用的方法中，卷积神经网络是用于机器学习的一种深度前馈人工神经网络，已成功地应用于图像识别。上述系统主要采用二维卷积神经网络识别摄像头拍摄的照片中的人脸部分。卷积神经网络在使用前需要通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习，在不断修正调整中使模型的误差最小；由于同一特征映射面上的神经元权值相同，所以网络可以并行学习。

由于现实人脸识别中，人的脸可能没有正对摄像头，这样可能会造成误差，所以通过使用68个特征点检测找到人脸的位置，通过旋转、缩放和错切等方法，使得人脸变为正对摄像头；而128位编码是本技术的重中之重，通过FaceNet后，将照片等效为128个数字，计算这些照片在128维空间中的距离，并与阈值比较，即可判断照片属性。dlib中的68个特征点检测的方法使用方便，已有训练好的数据可供使用。FaceNet与其他应用于人脸识别的神经网络不同，其他神经网络需要大量人脸照片，同一张脸也需要多张照片的才可以达成实现人脸识别的目的，而FaceNet的数据集中每个数据是三张照片，这三张照片，有两张是同一个人的照片，有一个是其他人的照片。通过FaceNet神经网络将这三张分别进行128为数值编码，并映射到128维空间中。计算这三张脸之间的欧式距离，通过调整神经网络，使得两张相同的照片编码后的距离不断接近，而使这两张相同的照片与那个不同的照片越来越远。反复调整，最终得到比较好的模型。

向量机SVM分类器算法是一种常见的判别方法，在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。在本专利中，在FaceNet深度卷积神经网络作用并分别形成128个待识别人员人脸的特征参数及预设用户人脸的基准特征参数的基础上，向量机SVM分类器算法则用来判断比对两者之间实际误差的大小。在系统中预设一个阈值，即待识别人员的人脸的特征参数与预设用户的基准特征参数之间误差可接受的最大值，比对实际误差与阈值大小，即可判断待识别人员是否为预设用户。

综合来说，上述系统所采用的方法能够高效快捷的对人脸进行检测，摒弃传统人脸识别的速度慢，周边环境要求过高，照片集大等因素；支持多张人脸识别，使得一台电脑可以拥有多个主人。

优选地，所述人脸识别算法的具体步骤a5中，FaceNet深度卷积神经网络的训练方法具体为：

b1、每次训练导入三张脸部照片，第一张为第一人的人脸照片，第二张为第一人的另一张基准照片，第三张为第二人的人脸照片；

b2、查看FaceNet深度卷积神经网络对三张脸部照片各生成的128个特征参数，调整FaceNet深度卷积神经网络，保证第一张和第二张的128个特征参数相似，且第一、二张与第三张的128个特征参数不同；

b3、选用不同人的人脸照片按照步骤b1和b2重复多次，完成FaceNet深度卷积神经网络的训练。

更优选地，步骤S1具体为：

S11、导入预设用户的基准正脸、侧脸照片；

S12、利用FaceNet深度卷积神经网络，在预设用户的基准正脸、侧脸照片上生成128个基准特征参数，并通过无线通信模块保存到服务器和数据库中。

更优选地，系统还设有红外传感器、光线传感器和补光灯，步骤S2的具体为：

S21、通过红外传感器识别距离摄像头2m内的待识别物体发热及其靠近情况，通过摄像头和人脸识别算法识别待识别物体照片中的一个或若干个待识别人脸及其移动情况，利用光线传感器识别当前外界光照情况，处于暗光情况下时，开启补光灯；

S22、若红外传感器识别到待识别物体照片发热且靠近，人脸识别算法识别到待识别物体照片中存在一个或若干个待识别人脸及其移动，则进入步骤S3；否则终止识别。

更优选地，系统还设有语音模块，步骤S3具体为：

S31、将从待识别物体照片中获取的一个或若干个待识别人员的人脸照片，通过dlib中卷积神经网络选取待识别人员的人脸的68个特征点；

S32、语音模块要求待识别人员在指定时间内完成眨眼动作，摄像头拍摄眨眼前后的待识别人员的人脸照片，并分别获取每张人脸照片的眼部的6个特征点的坐标值，分别为p₁、p₂、p₃、p₄、p₅、p₆；

S33、根据眼睛纵横比EAR计算公式计算眨眼过程中的眼睛纵横比EAR的值，眼睛纵横比EAR的计算公式为

S34、若眼睛纵横比EAR的值出现波动，且出现波动的帧数大于4帧图像时，识别其为有效眨眼，从而识别摄像头前的是真人，触发人脸识别模块；若指定时间内眼睛纵横比EAR的值未出现波动或出现波动的帧数不大于4帧图像时，则识别其为静态图片或虚假人物，从而识别摄像头前的不是真人，并终止识别。

上述判断人脸真实度的方法，其原理是，眼睛的长宽比EAR在眼睛张开的时候大致是恒定的，但是在发生眨眼时会迅速下降到零。因此，我们可以通过对EAR的检测从而实现对眨眼的检测；同时，在眨眼时逐帧拍摄人脸，当EAR从恒定值降至零产生的波动的照片超过4帧时，则判定该眨眼是有效的，是由真人做出的动作。否则，则判定为不是人脸照片，或不是真人的人脸照片。

更优选地，步骤S4具体为：

S41、通过摄像头和人脸识别模块获取一个或若干个待识别人员的人脸照片，并生成每张人脸照片的128个特征参数；

S42、搜索数据库中所有预设用户的每张人脸照片的128个基准特征参数，与待识别人员每张人脸的照片的128个特征参数逐一比对；

S43、利用向量机SVM分类器算法，预设一个匹配阈值，当待识别人员的人脸照片和预设用户的每张人脸照片的128个基准特征参数的相似度不超过匹配阈值时，则识别成功，打开门锁，同时语音模块播报提示信息，显示屏显示识别出的待识别人员的姓名，将待识别人员的出入信息录入存储模块，并通过无线通信模块传输至服务器和数据库；

S44、当待识别人员的人脸照片和预设用户的每张人脸照片的128个基准特征参数的相似度经多次识别仍大于匹配阈值，或红外传感器检测到发热物体靠近而人脸识别算法无法识别到人脸时，则识别失败，语音模块提示报警，将照片及识别信息录入存储模块，并通过无线通信模块传输至服务器和数据库。

更优选地，系统还包括用于移动设备的APP，预设用户通过所述APP向系统发送临时解锁信号，远程控制临时开门；对于识别失败的待识别人员的人脸照片，预设用户通过所述APP选择将该照片传输至存储模块、数据库和服务器中。

上述APP还具有以下若干基础功能：可查看实时出入记录，人员状态，并支持排序，筛选，搜索等基本功能；支持实时增删人脸数据库记录，支持添加修改人员基本信息，上传预设用户照片，自动生成人脸特征参数保存到特征参数存储模块或者数据库；支持当外客来访等情景下，可远程授权临时开门，可在访客记录表中手动添加访客信息，数据库自动填充时间；支持主动查看当前视频监控。

与现有技术相比，本发明的有益效果是：

1、本发明基于人脸识别，作为门锁系统，识别迅速且安全性高。不仅解决了传统人脸检测对环境要求高，对数据集要求高，检测速度慢局限性，还检验了摄像头前是否为真人，与管理员远程连接，管理员实时可以介入，提高了安全性；

2、本方案不需要大量数据集进行训练，只需要用户提供单张图片，操作方便。

附图说明

图1为实施例所述的一种基于二维人脸识别的门禁控制系统工作时的流程图；

图2为实施例所述的一种基于二维人脸识别的门禁控制系统的人脸识别算法中在人脸照片上生成的68个特征点；

图3为实施例所述的一种基于二维人脸识别的门禁控制系统的眼部睁眼时的特征点示意图；

图4为实施例所述的一种基于二维人脸识别的门禁控制系统的眼部闭眼时的特征点示意图。

具体实施方式

以下将结合附图对本专利中实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利的一部分实施例，而不是全部的实施例。基于本专利的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本专利所保护的范围。

实施例

本实施例所采用的基于二维人脸识别的门禁控制系统，包括相互电连接的门锁、摄像头、语音模块、显示屏、无线通信模块、服务器、存储模块、数据库、红外传感器、光线传感器、补光灯、语音模块，还包括APP软件。门锁是常见的电子锁，摄像头采用树莓派高清摄像头，语音模块主要包括扬声器和相应电路板，无线通信模块选用常见的用于门禁系统、车辆监控、遥控、小型无线网络、无线抄表、小区传呼、身份识别等领域的模块，服务器、数据库、存储模块、红外传感器、光线传感器、补光灯、语音模块均为常见的计算机硬件设备。

该系统在夜间正常运行的主要步骤为：

(1)导入预设用户的基准正脸、侧脸照片；

(2)利用FaceNet深度卷积神经网络，在预设用户的基准正脸、侧脸照片上生成128个基准特征参数，并通过无线通信模块保存到服务器和数据库中；

(3)启动树莓派摄像头，初始化连接远端的服务器和数据库，并获取预存的预设用户人脸信息，通过红外传感器识别距离摄像头2m内的待识别物体发热及其靠近情况，利用光线传感器识别当前外界光照情况，由于处于夜间环境，开启补光灯；通过摄像头和人脸识别算法识别到待识别物体照片中的人脸；若未识别到，则终止识别；

(4)将识别到的待识别人员的人脸照片，通过dlib中卷积神经网络选取待识别人员的人脸的68个特征点；

(5)按照语音模块的要求，待识别人员在指定时间内完成眨眼动作，摄像头拍摄眨眼前后的待识别人员的人脸照片，并分别获取每张人脸照片的眼部的6个特征点的坐标值，分别为p₁、p₂、p₃、p₄、p₅、p₆；

(6)根据眼睛纵横比EAR计算公式

计算眨眼过程中的眼睛纵横比EAR的值。

(7)若EAR的值出现的波动的帧数大于4帧图像，因此系统识别其为有效眨眼，从而识别摄像头前的是真人，触发人脸识别模块；若EAR的值未出现波动或出现的波动的帧数不大于4帧图像，则判断摄像头前的不是真人，终止识别；

(8)通过摄像头和人脸识别模块获取待识别人员的人脸照片上的128个特征参数；

(9)搜索数据库中所有预设用户的每张人脸照片的128个基准特征参数，与待识别人员的人脸照片的128个特征参数逐一比对；

(10)对人脸照片中的128个基准特征参数之间的欧氏距离设立匹配阈值；触发人脸识别模块后，当待识别人员的人脸照片和预设用户的每张人脸照片的128个基准特征参数的相似度不超过匹配阈值时，则识别成功，打开门锁，同时语音模块播报提示信息，显示屏显示识别出的待识别人员的姓名，将待识别人员的出入信息录入存储模块，并通过无线通信模块传输至服务器和数据库；

(11)当待识别人员的人脸照片和预设用户的每张人脸照片的128个基准特征参数的相似度经多次识别仍大于匹配阈值，或红外传感器检测到发热物体靠近而人脸识别算法无法识别到人脸时，则识别失败，语音模块提示报警，将照片及识别信息录入存储模块，并通过无线通信模块传输至服务器和数据库；

以上即本实施例提供的基于二维人脸识别的门禁控制系统的运行流程。

上述系统中的APP除了完成基本的操作以外，还可以在远端时刻监测系统记录的每一次出入的信息，并调取待识别人员的照片；可以发送指令要求系统临时解锁门锁，让待识别人员临时进出；并且还能查看识别失败的相关信息。

Claims (4)

1.一种基于二维人脸识别的门禁控制系统，包括门锁、摄像头、语音模块、显示屏、无线通信模块、服务器、存储模块、数据库；

其特征在于，系统还包括语音模块，包括以下步骤：

S1、导入预设用户的基准照片，通过无线通信模块提交至服务器；通过人脸识别算法对基准照片生成128个基准特征参数，储存在存储模块和数据库中；

S2、当探测到摄像头前2m内具有待识别物体时，摄像头拍摄待识别物体照片，通过人脸识别算法对待识别物体照片进行初次人脸识别，获取其中的人脸照片；若不能获取人脸照片，则终止识别；

S3、对步骤S2获取的人脸照片进行人脸真实度识别，若经识别为真实人脸，则触发人脸识别模块，完成二次人脸识别；否则终止识别；步骤S3具体为：

S31、将从待识别物体照片中获取的一个或若干个待识别人员的人脸照片，通过dlib中卷积神经网络选取待识别人员的人脸的68个特征点；

S32、语音模块要求待识别人员在指定时间内完成眨眼动作，摄像头拍摄眨眼前后的待识别人员的人脸照片，并分别获取每张人脸照片的眼部的6个特征点的坐标值，分别为p₁、p₂、p₃、p₄、p₅、p₆；

S33、根据眼睛纵横比EAR计算公式计算眨眼过程中的眼睛纵横比EAR的值，眼睛纵横比EAR的计算公式为

S34、若眼睛纵横比EAR的值出现波动，且出现波动的帧数大于4帧图像时，识别其为有效眨眼，从而识别摄像头前的是真人，触发人脸识别模块；若指定时间内眼睛纵横比EAR的值未出现波动或出现波动的帧数不大于4帧图像时，则识别其为静态图片或虚假人物，从而识别摄像头前的不是真人，并终止识别；

S4、对人脸照片中的128个基准特征参数之间的欧氏距离设立匹配阈值；触发人脸识别模块后，将待识别人员的人脸与所有预设用户的人脸逐一比对，若经识别其与基准照片的欧氏距离不超过匹配阈值，则识别为预设用户，打开门锁，同时将出入信息录入存储模块，并通过无线通信模块传输至服务器和数据库；若经多次识别其相似度仍大于匹配阈值，则识别为非法闯入者，发出警报并通过无线通信模块提醒预设用户，同时拍摄非法闯入者照片并传送给房屋主人；步骤S4具体为：

S41、通过摄像头和人脸识别模块获取一个或若干个待识别人员的人脸照片，并生成每张人脸照片的128个特征参数；

S42、利用向量机SVM分类器算法，预设一个匹配阈值，搜索数据库中所有预设用户的每张人脸照片的128个基准特征参数，与待识别人员每张人脸的照片的128个特征参数逐一比对；

S43、当待识别人员的人脸照片和预设用户的每张人脸照片的128个基准特征参数的相似度不超过匹配阈值时，则识别成功，打开门锁，同时语音模块播报提示信息，显示屏显示识别出的待识别人员的姓名，将待识别人员的出入信息录入存储模块，并通过无线通信模块传输至服务器和数据库；

S44、当待识别人员的人脸照片和预设用户的每张人脸照片的128个基准特征参数的相似度经多次识别仍大于匹配阈值，或红外传感器检测到发热物体靠近而人脸识别算法无法识别到人脸时，则识别失败，语音模块提示报警，将照片及识别信息录入存储模块，并通过无线通信模块传输至服务器和数据库；

其中，所述人脸识别算法具体为：

a1、选择若干人脸照片，利用方向梯度直方图HOG方法，对这些照片进行灰度处理，将每张人脸照片分割成若干个16×16像素的小方块区域；

a2、计算每个小方块区域的向上、向右、右上三个主方向的梯度值，选取梯度值最高的主方向相应的箭头，用该箭头代替该小方块区域形成若干人脸的方向梯度直方图HOG；

a3、导入预设用户的基准照片或待识别人员的照片，与步骤a2的若干人脸的方向梯度直方图HOG进行比对，计算待识别人员与基准照片的128位编码所对应的欧氏距离，比较欧氏距离与匹配阈值的大小，完成待识别人员脸部识别确认；

a4、通过dlib中卷积神经网络选取预设用户的基准照片或待识别照片的人脸上的68个特征点，以眼睛和嘴巴位置的特征点为基准，对人脸照片进行旋转、缩放和错切，使眼睛和嘴巴处于中心区域；

a5、通过训练好的FaceNet深度卷积神经网络，在预设用户的基准照片或待识别照片的人脸上最终形成128个特征参数；

所述人脸识别算法的具体步骤a5中，FaceNet深度卷积神经网络的训练方法具体为：

b1、每次训练导入三张脸部照片，第一张为第一人的人脸照片，第二张为第一人的另一张基准照片，第三张为第二人的人脸照片；

b2、查看FaceNet深度卷积神经网络对三张脸部照片各生成的128个特征参数，调整FaceNet深度卷积神经网络，保证第一张和第二张的128个特征参数相似，且第一、二张与第三张的128个特征参数不同；

b3、选用不同人的人脸照片按照步骤b1和b2重复多次，完成FaceNet深度卷积神经网络的训练。

2.根据权利要求1所述的一种基于二维人脸识别的门禁控制系统，其特征在于，步骤S1具体为：

S11、导入预设用户的基准正脸、侧脸照片；

S12、利用FaceNet深度卷积神经网络，在预设用户的基准正脸、侧脸照片上生成128个基准特征参数，并通过无线通信模块保存到服务器和数据库中。

3.根据权利要求2所述的一种基于二维人脸识别的门禁控制系统，其特征在于，系统还设有红外传感器、光线传感器和补光灯，步骤S2具体为：

S21、通过红外传感器识别距离摄像头2m内的待识别物体发热及其靠近情况，通过摄像头和人脸识别算法识别待识别物体照片中的一个或若干个待识别人脸及其移动情况，利用光线传感器识别当前外界光照情况，处于暗光情况下时，开启补光灯；

S22、若红外传感器识别到待识别物体照片发热且靠近，人脸识别算法识别到待识别物体照片中存在一个或若干个待识别人脸及其移动，则进入步骤S3；否则终止识别。

4.根据权利要求1所述的一种基于二维人脸识别的门禁控制系统，其特征在于，系统还包括用于移动设备的APP，预设用户通过所述APP向系统发送临时解锁信号，远程控制临时开门；对于识别失败的待识别人员的人脸照片，预设用户通过所述APP选择将该照片传输至存储模块、服务器和数据库中。

Images