CN110555931A - 一种基于深度学习识别的人脸检测与门禁系统装置 - Google Patents

Abstract

本发明属于模式识别与深度学习技术领域，公开了一种基于深度学习识别的人脸检测与门禁系统装置，包括图像采集设备、前端图像处理服务器、后端数据服务器、身份认证主机、电力驱动器、执行机构；所述身份认证主机中包含主板以及主板上外接的显示模块、键盘模块、二维码模块和语音模块。本发明使用双目深度摄像机，热成像摄像机，结合人脸防伪/活体检测算法，进一步提高了利用人脸信息进行身份认证的快速性和准确率，有效避免和减少了因为人员身份错判、误判带来的不必要损失；通过后端数据服务器建立系统工作环境中的人员信息数据库，易于数据维护和更新，更便于通过工作日志和匹配记录信息进行工作环境人员信息分析。

Description

一种基于深度学习识别的人脸检测与门禁系统装置

技术领域

本发明属于模式识别与深度学习技术领域，特别设计一种基于深度学习识别的人脸检测与门禁系统装置。

背景技术

近年来，人工智能相关技术发展迅猛，更具智能化和自动化的应用技术与解决方案为人们的生活带来了巨大便利，其中基于深度学习的人脸识别技术则是一个具体表现。当前，人脸识别技术被广泛应用在区域安防、物业管理、办公自动化场景，主要进行人员身份认证；然而，该技术主要从编程算法方面着手，注重的是对输入图像中的人脸特征进行提取和辨别，判别方式较为单一，通常无法判断输入图像中人脸的真伪性，即采用照片或打印的人脸二维图像也可能被识别为正确人脸。在互联网及网络通讯软件高度发达的时代,获取一张目标对象的人脸照片较为容易,所以传统的人脸识别系统将面临伪造人脸数据的攻击,一旦攻击生效,将会带来无法预知的后果。

随着深度摄像机(Depth Camera)和热成像摄像机(Thermal Imaging Camera)的发展，人们可以直接通过硬件搭配使用来获取三维重构的立体图像数据和具有红外热效应的活体图像数据。当前，人脸防伪/活体检测（Face Anti-Spoofing）技术得到了越来越多的关注，该技术主要实现的功能是分辨出系统输入人脸图像的真伪性，若进一步在传统人脸识别技术的基础上加入人脸三维重构图像信息，人脸红外图像信息，可以有效增强人脸识别系统的安全性和可靠性，在当今社会各项实际应用中具有深远意义。

实现基于多维度图像数据和人脸防伪/活体检测技术的深度学习人脸识别技术，可以为区域安防、物业管理、办公自动化提供可靠依据，在人脸快速识别的基础上有效避免或减少错误识别、恶意攻击等因素造成的不必要损失。

本发明针对传统人脸识别技术中可能出现的对伪造、非活体人脸错误识别的特点，结合深度摄像机、热成像摄像机和人脸防伪/活体检测技术设计了一种基于深度学习识别的人脸检测与门禁系统装置，可以直接应用于区域安防、物业管理、办公自动化场景。

发明内容

本发明的目的在于克服现有工作模式、技术的缺点与不足，提供适用于区域安防、物业管理、办公自动化场景的人脸检测与门禁系统装置。通过深度摄像机、热成像摄像机结合人脸防伪/活体检测技术有效区分并筛选出活体人脸图像；利用深度神经网络，提高人脸检测过程中图像识别、目标检测的时效性与准确性。整套装置具有快速、精确、实用的特点，能够有效避免传统人脸识别实际应用中存在的误判和错判问题。

本发明的目的通过以下的技术方案实现：

一种基于深度学习识别的人脸检测与门禁系统装置，包括图像采集设备、前端图像处理服务器、后端数据服务器、身份认证主机、电力驱动器、执行机构；所述身份认证主机中包含主板以及主板上外接的显示模块、键盘模块、二维码模块和语音模块；

图像采集设备用于采集人脸图像数据并将其发送至前端图像处理服务器；前端图像处理服务器对人脸图像数据进行筛选并将筛选后的人脸图像数据传输至身份认证主机；后端数据服务器存储已录入人脸图像数据；身份认证主机将从接收到的经过筛选的人脸图像数据与已录入人脸图像数据进行对比和匹配，匹配成功后发送信号至电力驱动器，电力驱动器发送驱动信号至执行机构。

具体的，图像采集设备包含双目深度摄像机、热成像摄像机与普通摄像头，并且设置在需要进行身份认证的工作场景，用于采集指定环境中出现的人脸图像数据，根据需求和场地条件，分别通过无线网络或有线连接的方式将采集到的多维度人脸图像数据传输至前端图像处理服务器，所述多维度人脸图像数据包括普通摄像头采集的平面彩色图像，双目深度摄像机采集的三维重构彩色立体图像数据和热成像摄像机获取的具有红外热效应的活体图像数据。

具体的，前端图像处理服务器包含人脸防伪/活体检测算法，用于对图像采集设备采集到的多维度人脸图像数据进行筛选，排除非活体人脸图像数据；前端图像处理服务器执行Python、C++语言指令，实现人脸防伪/活体检测算法，对采集到的多维度人脸图像数据进行筛选，将前端图像处理服务器的工作日志和记录传输至后端数据服务器进行储存，将筛选后的人脸图像数据传输至身份认证主机。

具体的，后端数据服务器执行Java、HTML语言指令，用于存储使用单位或个人的已录入人脸图像数据、匹配信息、系统硬件工作日志以及进行数据处理分析；后端数据服务器进行数据处理分析包括人为增删存储数据、修改数据的存储有效期以及根据数据修改日期、数据大小、添加时间对存储数据进行分类排序。

具体的，身份认证主机执行Java语言指令，利用其包含的深度神经网络，实现人脸识别匹配，将从前端图像处理服务器处接收到的经过筛选的人脸图像数据与后端数据服务器中的已录入人脸图像数据进行对比和匹配，进而对身份进行确认，匹配信息存入后端数据服务器，同时匹配信息也在显示模块显示；键盘模块和二维码模块分别对应密码输入和二维码扫码认证身份的功能，语音模块用于执行机构内外人员语音通信功能；需要进行身份认证的个体也通过输入密码、手机二维码扫码方式进行身份认证；当人脸图像数据匹配成功、密码输入正确或二维码扫码认证身份成功三个条件中满足一项后，身份认证主机向电力驱动器传输成功匹配信号；否则，停止向电力驱动器传输成功匹配信号，通过显示模块显示验证失败；身份认证主机的工作日志和记录同时传输至后端数据服务器进行存储。

具体的，利用身份认证主机中的显示模块直接查看后端服务器中的存储数据、工作日志和数据分析信息。

具体的，电力驱动器接收到身份认证主机传输的成功匹配信号后，将电信号转化为执行机构的驱动信号并将驱动信号传输到执行机构。

具体的，执行机构根据接收到的驱动信号执行相应工作指令。

本发明与现有技术相比，具有如下优点和有益效果：

本发明使用深度摄像机和热成像摄像机，结合人脸防伪/活体检测算法，提高了利用人脸信息进行身份认证的快速性和准确率，有效避免和减少了因为人员身份错判、误判带来的不必要损失；通过后端数据服务器建立系统工作环境中的人员信息数据库，易于数据维护和更新，更便于通过工作日志和匹配记录信息进行工作环境人员信息分析。

附图说明

图1是本发明实施例中的装置硬件结构示意图；

图2是本发明实施例中的装置具体实施示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

一种基于深度学习识别的人脸检测与门禁系统装置，如图1所示，包括图像采集设备、前端图像处理服务器、后端数据服务器、身份认证主机、电力驱动器、执行机构；所述身份认证主机中包含主板以及主板上外接的显示模块、键盘模块、二维码模块和语音模块；

图像采集设备用于采集人脸图像数据并将其发送至前端图像处理服务器；前端图像处理服务器对人脸图像数据进行筛选并将筛选后的人脸图像数据传输至身份认证主机；后端数据服务器存储已录入人脸图像数据；身份认证主机将从接收到的经过筛选的人脸图像数据与已录入人脸图像数据进行对比和匹配，匹配成功后发送信号至电力驱动器，电力驱动器发送驱动信号至执行机构。

如图2所示，一种基于深度学习识别的人脸检测与门禁系统装置在实际应用中的结构具体包括：待确认身份人员、受保护区域、服务器设置区域。图中的虚线箭头表示信息流向。

受保护区域表示受到门禁系统保护的区域，包括身份认证主机、电力驱动器、图像采集设备、执行机构、显示模块、键盘模块、二维码模块、语音模块。其中图像采集设备、执行机构、显示模块、键盘模块、二维码模块、语音模块设置在受保护区域内外交接处，通常设置在门或窗位置。

服务器设置区域主要用于存放前端图像处理服务器和后端数据服务器，根据实际场景需求，服务器设置区域可以设置在受保护区域内部。

待确认身份人员在受保护区域和服务器设置区域外部，需要身份认证后，通过执行机构进入受保护区域。

本实施例中的图像采集设备包括有线摄像机，无线摄像机，深度摄像机和热成像摄像机，有线摄像机采用AX-0148-168.V3.0模组，500万像素工业相机，无线摄像机采用DS-2CD3T56WD-I3，500万像素高清工业相机，深度摄像机采用MYNT EYE S 标准（彩色）双目摄像头，热成像摄像机采用HIKVISION H10摄像机；

本实施例中的前端图像处理服务器采用新创云Intel(R) Core(TM) i7-6498DU CPU,16G内存，120G硬盘存储，Ubuntu 16.04操作系统主机；

本实施例中的后端数据服务器采用DELL-T430-E5-2603v3服务器；

本实施例中的身份认证主机的主板采用RK3399安卓开发板；

本实施例中的显示模块采用SAERJENG SJ-T741显示器；

本实施例中的键盘模块采用BOW HW159键盘；

本实施例中的语音模块采用TELESKY+ISD 1820模组；

本实施例中的电力驱动器采用Arduino Mega2560开发板；

本实施例中的执行机构采用Kaadas TK2电子锁。

图像采集设备采集到待确认身份人员的多维度人脸图像数据后，通过互联网连接传输至前端图像处理服务器，前端图像处理服务器内包含的人脸防伪/活体检测算法可以对采集到的多维度人脸图像数据进行筛选，排除非活体人脸图像数据：若检测到活体人脸图像数据，则将筛选后人脸图像数据通过互联网连接传输至身份认证主机；若没有检测到活体人脸图像数据或检测到非活体人脸图像数据，停止向身份认证主机传输数据，并在显示模块显示拒绝进入。前端图像处理服务器的工作日志和记录同时通过互联网连接传输至后端数据服务器进行存储。

具体地，人脸防伪/活体检测算法主要方案为：针对普通摄像机采集的图像，首先输入连续的人脸图像（若相邻两幅人脸图像不为同一状态则予以丢弃，重新输入多幅连续的人脸图像），对每幅人脸图像确定瞳孔位置并裁剪出人眼区域；然后通过支持向量机训练方法和AdaBoost训练方法对睁眼和闭眼样本进行快速训练，最后判断眼珠睁闭状态，若存在眨眼过程则通过活体判别，采用该算法的优点是：有效拒绝非真实人脸欺骗识别，提高计算速度，且不受应用场景的约束（参考：彭飞. 一种活体人脸的快速识别方法：中国,103400122.2013-11-20.）。针对双目深度摄像机和热成像摄像机采集的图像，考虑基于HSV颜色空间统计特征的人脸活体检测方法，将人脸图像从RGB颜色空间转换到YCrCb空间;进行预处理（包括肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理）后获取人脸矩形区域的坐标；进而将待检测的人脸图像分图像块，获取待检测人脸图像中左右图像块的三个颜色分量特征值；最后将归一化的特征值作为待检测样本送入训练好的支持向量中进行检测，确定包含人脸的图像是否为活体真实人脸图像（参考：严迪群，王让定，刘华成等.一种基于HSV颜色空间特征的活体人脸检测方法：中国,103116763.2013-05-22.）。

后端数据服务器中存储使用单位或个人的已录入人脸图像数据，即可以通过身份验证的人脸图像数据。身份认证主机接收到前端图像处理服务器传输的筛选后人脸图像数据后，根据已录入人脸图像数据预先训练的深度神经网络，对图像中的人脸特征信息进行提取，同时读取后端数据服务器中的已录入人脸图像数据，通过深度神经网络分类输出图像匹配和验证的结果。若验证成功，通过串口通讯向电力驱动器发送成功匹配信号；若验证失败，停止向电力驱动器发送成功匹配信号，通过显示模块显示验证失败。身份认证主机的工作日志和记录同时通过互联网连接传输至后端数据服务器进行存储。

具体地，深度神经网络采用VGG-16卷积神经网络模型（参考：Simonyan K ,Zisserman A . Very Deep Convolutional Networks for Large-Scale ImageRecognition[J]. Computer Science, 2014.），该网络利用后端数据服务器中已录入的人脸图像数据进行训练，确定网络中参数的权值大小，形成分类标签，并可根据前端图像处理服务器输入的人脸图像数据进行快速对比和匹配。

待确认身份人员也可以分别通过键盘模块输入在身份认证主机上设置好的密码，或扫描在身份认证主机中的二维码模块上已生成的二维码密码进行身份认证：若验证成功，身份认证主机通过串口通讯向电力驱动器发送成功指令；若验证失败，停止向电力驱动器发送指令，通过显示模块显示验证失败。

电力驱动器接收到成功匹配信号后，将220V交流电转化为执行机构允许的驱动信号，通过电缆传输至执行机构，驱动信号为脉冲信号或脉宽调制信号。

本实施例中，执行机构接收到驱动信号后，执行相应指令即打开电子锁。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习识别的人脸检测与门禁系统装置，其特征在于，包括图像采集设备、前端图像处理服务器、后端数据服务器、身份认证主机、电力驱动器、执行机构；所述身份认证主机中包含主板以及主板上外接的显示模块、键盘模块、二维码模块和语音模块；

图像采集设备用于采集人脸图像数据并将其发送至前端图像处理服务器；前端图像处理服务器对人脸图像数据进行筛选并将筛选后的人脸图像数据传输至身份认证主机；后端数据服务器存储已录入人脸图像数据；身份认证主机将从接收到的经过筛选的人脸图像数据与已录入人脸图像数据进行对比和匹配，匹配成功后发送信号至电力驱动器，电力驱动器发送驱动信号至执行机构。

2.根据权利要求1所述的一种基于深度学习识别的人脸检测与门禁系统装置，其特征在于，图像采集设备包含双目深度摄像机、热成像摄像机与普通摄像头，并且设置在需要进行身份认证的工作场景，用于采集指定环境中出现的人脸图像数据，根据需求和场地条件，分别通过无线网络或有线连接的方式将采集到的多维度人脸图像数据传输至前端图像处理服务器；所述多维度人脸图像数据包括普通摄像头采集的平面彩色图像、双目深度摄像机采集的三维重构彩色立体图像数据和热成像摄像机获取的具有红外热效应的活体图像数据。

3.根据权利要求1所述的一种基于深度学习识别的人脸检测与门禁系统装置，其特征在于，前端图像处理服务器包含人脸防伪/活体检测算法，用于对图像采集设备采集到的多维度人脸图像数据进行筛选，排除非活体人脸图像数据；前端图像处理服务器执行Python、C++语言指令，实现人脸防伪/活体检测算法，对采集到的多维度人脸图像数据进行筛选，将前端图像处理服务器的工作日志和记录传输至后端数据服务器进行储存，将筛选后的人脸图像数据传输至身份认证主机。

4.根据权利要求1所述的一种基于深度学习识别的人脸检测与门禁系统装置，其特征在于，后端数据服务器执行Java、HTML语言指令，用于存储使用单位或个人的已录入人脸图像数据、匹配信息、系统硬件工作日志以及进行数据处理分析；后端数据服务器进行数据处理分析包括人为增删存储数据、修改数据的存储有效期以及根据数据修改日期、数据大小、添加时间对存储数据进行分类排序。

5.根据权利要求1所述的一种基于深度学习识别的人脸检测与门禁系统装置，其特征在于，身份认证主机执行Java语言指令，利用其包含的深度神经网络，实现人脸识别匹配，将从前端图像处理服务器处接收到的经过筛选的人脸图像数据与后端数据服务器中的已录入人脸图像数据进行对比和匹配，进而对身份进行确认，匹配信息存入后端数据服务器，同时匹配信息也在显示模块显示；键盘模块和二维码模块分别对应密码输入和二维码扫码认证身份的功能，语音模块用于执行机构内外人员语音通信功能；需要进行身份认证的个体也通过输入密码、手机二维码扫码方式进行身份认证；当人脸图像数据匹配成功、密码输入正确或二维码扫码认证身份成功三个条件中满足一项后，身份认证主机向电力驱动器传输成功匹配信号；否则，停止向电力驱动器传输成功匹配信号，通过显示模块显示验证失败；身份认证主机的工作日志和记录同时传输至后端数据服务器进行存储。

6.根据权利要求1所述的一种基于深度学习识别的人脸检测与门禁系统装置，其特征在于，利用身份认证主机中的显示模块直接查看后端服务器中的存储数据、工作日志和数据分析信息。

7.根据权利要求1所述的一种基于深度学习识别的人脸检测与门禁系统装置，其特征在于，电力驱动器接收到身份认证主机传输的成功匹配信号后，将电信号转化为执行机构的驱动信号并将驱动信号传输到执行机构。

8.根据权利要求1所述的一种基于深度学习识别的人脸检测与门禁系统装置，其特征在于，执行机构根据接收到的驱动信号执行相应工作指令。