CN110246244A - 基于人脸识别的智能前台管理系统 - Google Patents

Abstract

本发明公开了基于人脸识别的智能前台管理系统，包括信息采集模块、人脸检测模块、人脸识别模块、前台控制模块、人机交互模块和前台管理模块，本发明采用基于深度学习卷积神经网络的人脸识别技术，利用人脸识别的安全性、便捷性，实现了动态的、非配合式的员工考勤、门禁控制、访客管理、贵宾接待功能，前台人员只需留意前台管理模块，必要时进行人工干预，无需时刻留意前台状况，降低了工作负担，提高了前台管理效率，本系统可应用于企业前台、楼宇社区、超市商场等多种场景，提升前台形象。

Description

基于人脸识别的智能前台管理系统

技术领域

本发明涉及门禁安防技术领域，具体为基于人脸识别的智能前台管理系统。

背景技术

前台作为企业、楼宇、园区等场所的入口，被赋予了人员考勤、访客接待、陌生人管理、门禁控制等多种功能，现有的前台多依赖于人工管理模式，配备保安、行政人员等进行全天候专人监管，耗费大量的人力财力，此外，由于前台管理的趣味性差、持续时间久、人员的精力有限，人工监管存在管理效率低、疏漏风险大等弊端；

随着人工智能的普及，前台管理相关的现代化技术大量涌现，如，专利《智能动态人脸识别考勤记录管理系统》(专利号为CN106910258 A)基于人脸识别判断是否为授权用户，从而自动完成人员的考勤录入；专利《一种嵌入式人脸识别门禁系统》(专利号为CN103035051 B)提出了一种小体积的嵌入式门禁系统，通过人脸识别控制电子门锁开关，实用新型专利《一种前台迎客系统》(专利号为CN 201508601 U)提出了一种基于红外探测的提醒装置，当检测到有人员走近时通过语音提醒相关值守人员，然而，现有的技术只考虑了单个应用场景，没有充分发挥人脸识别的智能化功能，形成一体化的前台管理方案，对人力的依赖程度依然较高，效率存在一定限制。

发明内容

本发明的目的在于提供基于人脸识别的智能前台管理系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于人脸识别的智能前台管理系统，包括信息采集模块、人脸检测模块、人脸识别模块、前台控制模块、人机交互模块和前台管理模块，其中：

所述信息采集模块用于实时采集高清的前台监控视频图像；

所述人脸检测模块包括检测子模块、抠图子模块和图像归一化子模块，所述检测子模块采用深度学习卷积神经网络技术，基于人脸检测模型对前台监控视频图像进行实时的检测，获得人脸检测结果，该结果可以是单个或多个人脸的位置，该位置包括人脸所在方形区域的左上角及右下角坐标，所述抠图子模块，基于所述单个或多个人脸位置，对前台监控视频图像进行截图，获得所述单个或多个人脸所在的方形区域的图像，所述图像归一化子模块用于对所述单个或多个人脸的方形区域图像进行幅值及尺寸归一化，得到单个或多个归一化后的人脸图像；

所述人脸识别模块包括特征提取子模块、相似度计算子模块和身份比对子模块，所述特征提取子模块采用深度学习卷积神经网络技术，基于人脸识别模型对尺寸归一化后的人脸图像进行处理，得到多维度的人脸特征向量，所述相似度计算子模块用于计算该人脸特征向量与预设特征数据库中所有人脸特征向量之间的多个相似度，所述身份比对子模块用于计算所述多个相似度的最大值，并将所述最大值与预设阈值进行比较获得身份识别结果，若所述最大值大于预设阈值，则身份识别结果为所述相似度最大值对应的身份ID，否则身份识别结果为识别失败的提示信息；

所述前台控制模块包括门禁控制模块、考勤管理模块、迎宾接待模块和访客管理模块，所述门禁控制模块用于基于所述身份识别结果，发送门禁控制指令，若身份识别结果为身份ID，则控制门禁开门，否则，不作处理，所述考勤管理模块用于基于所述身份识别结果，记录刷脸信息，若身份识别结果为正常人员的身份ID，则记录该ID的签到时间，否则，不作处理，所述迎宾接待模块用于基于身份识别结果，进行重要客户、贵宾的自主接待，若身份识别结果为贵宾的身份ID等，则发送贵宾来访的提醒消息至后台管理模块，所述访客管理模块用于基于所述身份识别结果，进行访客来访提醒，若身份识别结果为识别失败，则发送陌生人员来访的提醒消息至后台管理模块；

所述人机交互模块包括显示子模块和语音子模块，所述显示子模块用于基于身份识别结果，展示问候欢迎语，若身份识别结果为普通人员的身份ID，则显示该ID对应的姓名及预设问候语，若身份识别结果为贵宾的身份ID，则显示预设的贵宾接待欢迎语，否则显示预设的外来陌生访客欢迎语，所述语音子模块用于基于身份识别结果，播报问候欢迎语，若身份识别结果为正常人员的身份ID，则播报该ID对应的姓名及预设问候语，若身份识别结果为贵宾的身份ID，则播报预设的贵宾接待欢迎语，否则播报预设的外来陌生访客欢迎语；

所述前台管理模块包括人员信息录入子模块、特征数据库构建子模块和人员管理子模块，所述人员信息录入子模块用于录入新的人员信息，包括人员姓名、性别、人员正面人脸照片、人员所属类别(普通人员或贵宾)，特征数据库构建子模块用于基于多个人员的多张正面人脸照片，采用深度学习卷积神经网络技术，通过人脸检测模型和人脸特征提取模型，获得多个人员的人脸特征向量，所述人员管理子模块用于对人员信息进行查看、删除、修改操作，导出考勤记录、查看访客记录、设置问候语及欢迎语。

根据上述技术方案，所述检测子模块采用深度学习卷积神经网络技术，基于人脸检测模型对前台监控视频图像进行实时的检测，获得人脸检测结果，该结果可以是单个或多个人脸的位置，该位置包含人脸所在方形区域的左上角及右下角坐标，所述人脸检测模型可以是Fast RCNN、YOLO等模型，本发明中采用的人脸检测模型由三个子模型级联而成，第一个子模型包含3层卷积层，其中卷积核大小均为3x3，通道数分别为10、16、32，第二个子模型包含3层卷积层，1层全连接层，其中卷积核大小分别为3x3、3x3、2x2，通道数分别为28、48、64，全连接层神经元个数为128，第三个子模型包含4 层卷积层，1层全连接层，其中卷积核大小分别为3x3、3x3、3x3、2x2，通道数分别为32、64、64、128，全连接层神经元个数为256。

根据上述技术方案，所述图像归一化子模块归一化之后的图像尺寸可以是224x224。

根据上述技术方案，所述特征提取子模块采用深度学习卷积神经网络技术，基于人脸识别模型对尺寸归一化后的人脸图像进行处理，得到多维度的人脸特征向量，人脸识别模型可以是AlexNet、VGG、GoogleNet、ResNet等模型，本发明中采用的人脸检测模型包含3个卷积层、3个局部卷积层、1个全连接层，其中，卷积层的卷积核尺寸均为3x3，步长为1，通道数为128，局部卷积层的卷积核尺寸均为3x3，步长为1，通道数为256，全连接层的神经元个数为128。

根据上述技术方案，所述相似度计算子模块用于计算该人脸特征向量与预设特征数据库中所有人脸特征向量之间的多个相似度，相似度可以采用欧式距离或者余弦距离。

根据上述技术方案，所述身份比对子模块用于计算所述多个相似度的最大值，并将所述最大值与预设阈值进行比较获得身份识别结果，该预设阈值可以是0.95。

与现有技术相比，本发明的有益效果是：本发明采用基于深度学习卷积神经网络的人脸识别技术，利用人脸识别的安全性、便捷性，实现了动态的、非配合式的员工考勤、门禁控制、访客管理、贵宾接待功能，前台人员只需留意前台管理模块，必要时进行人工干预，无需时刻留意前台状况，降低了工作负担，提高了前台管理效率，本系统可应用于企业前台、楼宇社区、超市商场等多种场景，提升前台形象。

附图说明

图1是本发明的操作方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：基于人脸识别的智能前台管理系统，包括信息采集模块、人脸检测模块、人脸识别模块、前台控制模块、人机交互模块和前台管理模块，其中：

信息采集模块用于实时采集高清的前台监控视频图像；

人脸检测模块包括检测子模块、抠图子模块和图像归一化子模块，检测子模块采用深度学习卷积神经网络技术，基于人脸检测模型对前台监控视频图像进行实时的检测，获得人脸检测结果，该结果可以是单个或多个人脸的位置，该位置包括人脸所在方形区域的左上角及右下角坐标，抠图子模块，基于单个或多个人脸位置，对前台监控视频图像进行截图，获得单个或多个人脸所在的方形区域的图像，图像归一化子模块用于对单个或多个人脸的方形区域图像进行幅值及尺寸归一化，得到单个或多个归一化后的人脸图像；

人脸识别模块包括特征提取子模块、相似度计算子模块和身份比对子模块，特征提取子模块采用深度学习卷积神经网络技术，基于人脸识别模型对尺寸归一化后的人脸图像进行处理，得到多维度的人脸特征向量，相似度计算子模块用于计算该人脸特征向量与预设特征数据库中所有人脸特征向量之间的多个相似度，身份比对子模块用于计算多个相似度的最大值，并将最大值与预设阈值进行比较获得身份识别结果，若最大值大于预设阈值，则身份识别结果为相似度最大值对应的身份ID，否则身份识别结果为识别失败的提示信息；

前台控制模块包括门禁控制模块、考勤管理模块、迎宾接待模块和访客管理模块，门禁控制模块用于基于身份识别结果，发送门禁控制指令，若身份识别结果为身份ID，则控制门禁开门，否则，不作处理，考勤管理模块用于基于身份识别结果，记录刷脸信息，若身份识别结果为正常人员的身份ID，则记录该ID的签到时间，否则，不作处理，迎宾接待模块用于基于身份识别结果，进行重要客户、贵宾的自主接待，若身份识别结果为贵宾的身份ID等，则发送贵宾来访的提醒消息至后台管理模块，访客管理模块用于基于身份识别结果，进行访客来访提醒，若身份识别结果为识别失败，则发送陌生人员来访的提醒消息至后台管理模块；

人机交互模块包括显示子模块和语音子模块，显示子模块用于基于身份识别结果，展示问候欢迎语，若身份识别结果为普通人员的身份ID，则显示该ID对应的姓名及预设问候语，若身份识别结果为贵宾的身份ID，则显示预设的贵宾接待欢迎语，否则显示预设的外来陌生访客欢迎语，语音子模块用于基于身份识别结果，播报问候欢迎语，若身份识别结果为正常人员的身份 ID，则播报该ID对应的姓名及预设问候语，若身份识别结果为贵宾的身份ID，则播报预设的贵宾接待欢迎语，否则播报预设的外来陌生访客欢迎语；

前台管理模块包括人员信息录入子模块、特征数据库构建子模块和人员管理子模块，人员信息录入子模块用于录入新的人员信息，包括人员姓名、性别、人员正面人脸照片、人员所属类别(普通人员或贵宾)，特征数据库构建子模块用于基于多个人员的多张正面人脸照片，采用深度学习卷积神经网络技术，通过人脸检测模型和人脸特征提取模型，获得多个人员的人脸特征向量，人员管理子模块用于对人员信息进行查看、删除、修改操作，导出考勤记录、查看访客记录、设置问候语及欢迎语。

根据上述技术方案，检测子模块采用深度学习卷积神经网络技术，基于人脸检测模型对前台监控视频图像进行实时的检测，获得人脸检测结果，该结果可以是单个或多个人脸的位置，该位置包含人脸所在方形区域的左上角及右下角坐标，人脸检测模型可以是Fast RCNN、YOLO等模型，本发明中采用的人脸检测模型由三个子模型级联而成，第一个子模型包含3层卷积层，其中卷积核大小均为3x3，通道数分别为10、16、32，第二个子模型包含3 层卷积层，1层全连接层，其中卷积核大小分别为3x3、3x3、2x2，通道数分别为28、48、64，全连接层神经元个数为128，第三个子模型包含4层卷积层，1层全连接层，其中卷积核大小分别为3x3、3x3、3x3、2x2，通道数分别为32、64、64、128，全连接层神经元个数为256。

根据上述技术方案，图像归一化子模块归一化之后的图像尺寸可以是 224x224。

根据上述技术方案，特征提取子模块采用深度学习卷积神经网络技术，基于人脸识别模型对尺寸归一化后的人脸图像进行处理，得到多维度的人脸特征向量，人脸识别模型可以是AlexNet、VGG、GoogleNet、ResNet等模型，本发明中采用的人脸检测模型包含3个卷积层、3个局部卷积层、1个全连接层，其中，卷积层的卷积核尺寸均为3x3，步长为1，通道数为128，局部卷积层的卷积核尺寸均为3x3，步长为1，通道数为256，全连接层的神经元个数为128。

根据上述技术方案，相似度计算子模块用于计算该人脸特征向量与预设特征数据库中所有人脸特征向量之间的多个相似度，相似度可以采用欧式距离或者余弦距离。

根据上述技术方案，身份比对子模块用于计算多个相似度的最大值，并将最大值与预设阈值进行比较获得身份识别结果，该预设阈值可以是0.95。

一种基于前台的面部识别方法，包括：

获取前台摄像头采集到的面部视频图像；

对面部视频图像进行处理，得到目标面部图像；

对目标面部图像进行处理，得到面部识别结果；

根据面部识别结果调用预设服务器中与面部识别结果匹配的预设控制指令，并根据预设控制指令控制前台的输出设备生成提示信息。

根据上述技术方案，对面部视频图像进行处理，根据第一预设卷积神经网络对面部视频图像进行检测，得到面部位置坐标，根据面部位置坐标对面部视频图像进行截图，得到面部区域图像，对面部区域图像进行归一化处理，得到目标面部图像。

根据上述技术方案，对目标面部图像进行处理，根据第二预设卷积神经网络对目标面部图像进行处理，得到面部特征向量，对面部特征向量和预设特征数据库中的多个预设面部特征向量进行计算，得到多个相似度数值，获取多个相似度数值中的最大相似度数值，比较最大相似度数值和预设相似度阈值的大小关系，得到面部识别结果。

根据上述技术方案，预设控制指令包括预设前台控制指令、预设人机交互控制指令和预设前台管理控制指令，根据预设前台控制指令控制前台的输出设备生成第一提示信息，第一提示信息包括门禁控制信息、考勤信息、迎宾接待信息和访客信息至少之一，或者根据预设人机交互控制指令控制前台的输出设备生成第二提示信息，第二提示信息包括显示信息和语音信息至少之一，或者根据预设前台管理控制指令控制前台的输出设备生成第三提示信息，第三提示信息包括人员属性录入界面信息、特征数据库构建界面信息和人员管理信息至少之一。

一种基于前台的面部识别装置，包括：

获取单元，用于获取前台摄像头采集到的面部视频图像；

第一处理单元，用于对面部视频图像进行处理，得到目标面部图像；

第二处理单元，用于对目标面部图像进行处理，得到面部识别结果；

生成单元，用于根据面部识别结果调用预设服务器中与面部识别结果匹配的预设控制指令，并根据预设控制指令控制前台的输出设备生成提示信息。

根据上述技术方案，第一处理单元包括检测子单元、截图子单元和第一处理子单元，检测子单元，用于根据第一预设卷积神经网络对面部视频图像进行检测，得到面部位置坐标，截图子单元，用于根据面部位置坐标对面部视频图像进行截图，得到面部区域图像，第一处理子单元，用于对面部区域图像进行归一化处理，得到目标面部图像。

根据上述技术方案，第二处理单元包括第二处理子单元、计算子单元、获取子单元和比较子单元，第二处理子单元，用于根据第二预设卷积神经网络对目标面部图像进行处理，得到面部特征向量，计算子单元，用于对面部特征向量和预设特征数据库中的多个预设面部特征向量进行计算，得到多个相似度数值，获取子单元，用于获取多个相似度数值中的最大相似度数值，比较子单元，用于比较最大相似度数值和预设相似度阈值的大小关系，得到面部识别结果。

根据上述技术方案，预设控制指令包括预设前台控制指令、预设人机交互控制指令和预设前台管理控制指令，生成单元包括第一生成子单元、第二生成子单元和第三生成子单元，第一生成子单元，用于根据预设前台控制指令控制前台的输出设备生成第一提示信息，第一提示信息包括门禁控制信息、考勤信息、迎宾接待信息和访客信息至少之一，或者第二生成子单元，用于根据预设人机交互控制指令控制前台的输出设备生成第二提示信息，第二提示信息包括显示信息和语音信息至少之一，或者第三生成子单元，用于根据预设前台管理控制指令控制前台的输出设备生成第三提示信息，第三提示信息包括人员属性录入界面信息、特征数据库构建界面信息和人员管理信息至少之一。

基于上述，本发明的优点在于，通过信息采集模块实时获取前台监控视频图像，可以实现全天候24小时不间断工作；人脸检测模块可以实时检测单个或多个人脸，采用深度学习卷积神经网络技术保证了检测的高性能，确保检测无疏漏；人脸识别模块采用深度学习卷积神经网络提取人脸的高维特征向量，进行相似度比对，确保识别的高精度；前台控制模块可以基于人脸身份识别结果，进行门禁、考勤、迎宾接待、访客等管理，提供完善的前台功能；人机交互模块实现画面及语音交互，提升用户体验及友好度；前台管理模块便于相关监管人员操作使用，降低前台工作量，提升监管效率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包括”或者其任何其他变体意在涵盖非排他性的包括，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.基于人脸识别的智能前台管理系统，其特征在于：包括信息采集模块、人脸检测模块、人脸识别模块、前台控制模块、人机交互模块和前台管理模块，其中：

所述信息采集模块用于实时采集高清的前台监控视频图像；

所述人脸检测模块包括检测子模块、抠图子模块和图像归一化子模块，所述检测子模块采用深度学习卷积神经网络技术，基于人脸检测模型对前台监控视频图像进行实时的检测，获得人脸检测结果，该结果可以是单个或多个人脸的位置，该位置包括人脸所在方形区域的左上角及右下角坐标，所述抠图子模块，基于所述单个或多个人脸位置，对前台监控视频图像进行截图，获得所述单个或多个人脸所在的方形区域的图像，所述图像归一化子模块用于对所述单个或多个人脸的方形区域图像进行幅值及尺寸归一化，得到单个或多个归一化后的人脸图像；

所述人脸识别模块包括特征提取子模块、相似度计算子模块和身份比对子模块，所述特征提取子模块采用深度学习卷积神经网络技术，基于人脸识别模型对尺寸归一化后的人脸图像进行处理，得到多维度的人脸特征向量，所述相似度计算子模块用于计算该人脸特征向量与预设特征数据库中所有人脸特征向量之间的多个相似度，所述身份比对子模块用于计算所述多个相似度的最大值，并将所述最大值与预设阈值进行比较获得身份识别结果，若所述最大值大于预设阈值，则身份识别结果为所述相似度最大值对应的身份ID，否则身份识别结果为识别失败的提示信息；

所述前台控制模块包括门禁控制模块、考勤管理模块、迎宾接待模块和访客管理模块，所述门禁控制模块用于基于所述身份识别结果，发送门禁控制指令，若身份识别结果为身份ID，则控制门禁开门，否则，不作处理，所述考勤管理模块用于基于所述身份识别结果，记录刷脸信息，若身份识别结果为正常人员的身份ID，则记录该ID的签到时间，否则，不作处理，所述迎宾接待模块用于基于身份识别结果，进行重要客户、贵宾的自主接待，若身份识别结果为贵宾的身份ID等，则发送贵宾来访的提醒消息至后台管理模块，所述访客管理模块用于基于所述身份识别结果，进行访客来访提醒，若身份识别结果为识别失败，则发送陌生人员来访的提醒消息至后台管理模块；

所述人机交互模块包括显示子模块和语音子模块，所述显示子模块用于基于身份识别结果，展示问候欢迎语，若身份识别结果为普通人员的身份ID，则显示该ID对应的姓名及预设问候语，若身份识别结果为贵宾的身份ID，则显示预设的贵宾接待欢迎语，否则显示预设的外来陌生访客欢迎语，所述语音子模块用于基于身份识别结果，播报问候欢迎语，若身份识别结果为正常人员的身份ID，则播报该ID对应的姓名及预设问候语，若身份识别结果为贵宾的身份ID，则播报预设的贵宾接待欢迎语，否则播报预设的外来陌生访客欢迎语；

所述前台管理模块包括人员信息录入子模块、特征数据库构建子模块和人员管理子模块，所述人员信息录入子模块用于录入新的人员信息，包括人员姓名、性别、人员正面人脸照片、人员所属类别(普通人员或贵宾)，特征数据库构建子模块用于基于多个人员的多张正面人脸照片，采用深度学习卷积神经网络技术，通过人脸检测模型和人脸特征提取模型，获得多个人员的人脸特征向量，所述人员管理子模块用于对人员信息进行查看、删除、修改操作，导出考勤记录、查看访客记录、设置问候语及欢迎语。

2.根据权利要求1所述的基于人脸识别的智能前台管理系统，其特征在于：所述检测子模块采用深度学习卷积神经网络技术，基于人脸检测模型对前台监控视频图像进行实时的检测，获得人脸检测结果，该结果可以是单个或多个人脸的位置，该位置包含人脸所在方形区域的左上角及右下角坐标，所述人脸检测模型可以是Fast RCNN、YOLO等模型，本发明中采用的人脸检测模型由三个子模型级联而成，第一个子模型包含3层卷积层，其中卷积核大小均为3x3，通道数分别为10、16、32，第二个子模型包含3层卷积层，1层全连接层，其中卷积核大小分别为3x3、3x3、2x2，通道数分别为28、48、64，全连接层神经元个数为128，第三个子模型包含4层卷积层，1层全连接层，其中卷积核大小分别为3x3、3x3、3x3、2x2，通道数分别为32、64、64、128，全连接层神经元个数为256。

3.根据权利要求1所述的基于人脸识别的智能前台管理系统，其特征在于：所述图像归一化子模块归一化之后的图像尺寸可以是224x224。

4.根据权利要求1所述的基于人脸识别的智能前台管理系统，其特征在于：所述特征提取子模块采用深度学习卷积神经网络技术，基于人脸识别模型对尺寸归一化后的人脸图像进行处理，得到多维度的人脸特征向量，人脸识别模型可以是AlexNet、VGG、GoogleNet、ResNet等模型，本发明中采用的人脸检测模型包含3个卷积层、3个局部卷积层、1个全连接层，其中，卷积层的卷积核尺寸均为3x3，步长为1，通道数为128，局部卷积层的卷积核尺寸均为3x3，步长为1，通道数为256，全连接层的神经元个数为128。

5.根据权利要求1所述的基于人脸识别的智能前台管理系统，其特征在于：所述相似度计算子模块用于计算该人脸特征向量与预设特征数据库中所有人脸特征向量之间的多个相似度，相似度可以采用欧式距离或者余弦距离。

6.根据权利要求1所述的基于人脸识别的智能前台管理系统，其特征在于：所述身份比对子模块用于计算所述多个相似度的最大值，并将所述最大值与预设阈值进行比较获得身份识别结果，该预设阈值可以是0.95。