CN114694228A - 一种未登记人员的识别管理系统和方法 - Google Patents

Abstract

本发明涉及一种未登记人员的识别管理系统和方法，所述包括：登记模块，用于对人员信息进行登记和录入，其中，对于新访客，将身份信息以及对应的脸部图像、脸部特征、身体图像、身体特征进行登记和存储；图像获取模块，包括图像获取装置，安装在监控场所，用于实时采集和获取监控区域内出现的人员的图像或视频；识别模块，用于对图像获取模块获取的图像或视频进行处理，提取图像或视频中的人员特征信息，包括身体特征、脸部特征，进行人员识别；比对模块，利用识别模块识别提取的身体特征、脸部特征与数据库中的登记人员特征进行比对；提示模块，用于向显示界面发出提示消息，或者通过声音广播提示当前有未登记人员，或者通过发光器件提示。

Description

一种未登记人员的识别管理系统和方法

技术领域

本发明涉及人工智能和图像识别领域，尤其是一种未登记人员的识别管理系统和方法。

背景技术

针对陌生访客的登记管理，传统方式是采用客人主动配合，使用身份证阅读器、人工登记等方式录入访客管理系统。

传统的陌生人识别是基于值班员发现后主动询问方式，针对客人的回答没有办法识别、判断对错，数据不具备真实有效的特征，人工管理也就无法实现对人员的管理。

现有的访客管理系统软件，基于BS架构开发，用于值班员和管理人员管理访客，授予访问时间、地点、事由，访问时需要采集人员身份信息和人脸图像信息。

人脸抓拍摄像机可以区分该人信息和身份，虽然很多单位安装了监控摄像机，但不具备人脸抓拍比对功能，没有与已登记人员照片进行比对，无法实现基于人脸识别和管理系统的访客管理。人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。对局部纹理和特征进行建模分析，将被识别的人脸特征与数据库中人脸特征作对比。

由人员人工进行管理，需要大量人力成本，且效率极低，靠人眼观察记忆进行判断也是难上加难，未登记人员不被及时发现来进行下一步的处理，安全隐患不能及时排除。传统的登记手段，还可能存在登记信息错误等问题，出了问题，无法提供查找的有力线索，导致漏网之鱼不断增多，至此发现，该解决方案收效甚微。

人脸识别技术在理想实验环境中，识别准确率较高，但在实际应用中仍发现以下问题：

其一，人人佩戴口罩，扫描设备(摄像头)检测到人脸后，对局部纹理和特征进行建模效果差，导致误报。其二，目前该技术的现实应用中需要过滤掉的人脸并不仅有已登记在数据库中的人脸，还需要对一些不便于登记的人进行过滤，现有的技术，针对儿童和一些不便于登记的残障人士不能做到有效过滤，造成多余的无效提示。其三，提示之后只是展示一张提示的图片，如果扫描设备取到的图中有多人，通过观察图片无法直观的区分图中哪一个为陌生人哪一个是已经登记过的人，实用性较差。最后一点，现有的技术不能很好的区分侧脸，正脸，可能会报一些工作人员无法辨认的信息，增加其工作压力，信息有效性不足。

发明内容

本发明提出一种未登记人员的识别管理系统和方法，提示提示提示针对配戴口罩不易进行人脸识别的问题，本发明提出的方法对不受佩戴口罩影响的特征进行建模，在抓拍到人脸与登记人员进行比对时，用到不受口罩影响多处提取建模的特征进行比对，减少误报，提高准确度。

本发明的技术方案为：一种未登记人员的识别管理系统，包括：登记模块，用于对人员信息进行登记和录入，其中，对于新访客，将身份信息以及对应的脸部图像、脸部特征、身体图像、身体特征进行登记和存储；

图像获取模块，包括图像获取装置，安装在监控场所，用于实时采集和获取监控区域内出现的人员的图像或视频；

识别模块，用于对图像获取模块获取的图像或视频进行处理，提取图像或视频中的人员特征信息，包括身体特征、脸部特征，进行人员识别；

比对模块，利用识别模块识别提取的身体特征、脸部特征与数据库中的登记人员特征进行比对；

提示模块，用于向显示界面发出提示消息，或者通过声音广播提示当前有未登记人员，或者通过发光器件提示。

进一步的，登记模块用于对人员信息进行登记和录入，对脸部的局部纹理和特征进行建模，所述建模方法包括局部二值子和灰度共生矩阵融合特征提取建模，还记录如下特征：

第一协助识别特征：外眼角到下颏的距离与瞳距的比例，其中，对于戴口罩的人员，口罩下边缘中点和下颏重合，以此获取戴口罩情况下的面部信息；

第二协助识别特征：眼睛处于脸部的位置，即眼睛以上和眼睛以下距离的比例；

第三识别特征：对眼形状分类，包含标准眼、丹凤眼、细长眼和三角眼四；

第四协助识别特征：对眉形进行分类，包含一字眉、柳叶眉、高挑眉和剑眉四类；

所述的识别模块所述提取的脸部特征也包括上述四类协助识别特征。

进一步的，对于儿童人员的识别，在检测环节，将预先采集的多个人脸图像作为训练图像，将人脸特征加入deepface模型训练，利用训练好的模型，对提取出的人脸特征使用SVR 处理以提取出人脸及对应的六个基本点，包括2只眼睛中心、1个鼻子点、3个嘴上的点；

眼睛以上部分比例，鼻子部分长度，脸部整体形状，耳朵部分比例，眉毛位置、眼睛大小比例和形状；

在人脸对齐环节，引入3D人脸模型对有姿态的人脸进行分片的仿射对齐。

在人脸表示环节，利用多层(例如9层)的深度卷积网络DCNN在包含4000人、400 万张人脸的数据集上学习人脸表示，训练好的深度卷积网络DCNN用于人脸表示。

进一步的，还包括提示查询模块，能够按提示地点查询，或按照提示时间查询。

进一步的，还包括：有效期控制模块，用于设置登记人员的有效期限；

所述有效期限用于控制登记人员的有效安全期，过了有效期之后，系统将已登记人员的信息自动进行删除，该已登记人员身份转变为未登记人员。

进一步的，还包括：值班管理模块，在每次提示后，该提示默认归类为未处置类型，交接班之前，保证换班前员工将所有未处置提示进行处置，按实际情况，确实为陌生人的，劝导登记，确认为已登记人员的，点击误报，不必进行处置，同时，每个处置提示人员都拥有独立账号，处置提示后中会显示处置该提示人员的姓名。

进一步的，还包括：对于管理系统和处置流程，通过工作人员按下空格键对新访客拍照，输入房间号，回车键将图像上传到数据库，该过程小于三秒。

根据本发明的另一方面，还提出一种未登记人员的识别管理方法，包括如下步骤：

登记步骤，用于对人员信息进行登记和录入，其中，对于新访客，将身份信息以及对应的脸部图像、脸部特征、身体图像、身体特征进行登记和存储；

图像获取步骤，利用安装在监控场所图像获取装置，实时采集和获取监控区域内出现的人员的图像或视频；

特征识别步骤，对图像获取模块获取的图像或视频进行处理，提取图像或视频中的人员特征信息，包括身体特征、脸部特征，进行人员识别；

人员特征比对步骤，利用提取的身体特征、脸部特征与数据库中的登记人员特征进行比对；

提示步骤，用于向显示界面发出提示消息，或者通过声音广播提示当前有未登记人员，或者通过发光器件提示。

有益效果

本发明可以用于如酒店等来监测人员是否已经登记，在人人佩戴口罩的情况下，也可通过除口罩遮挡以外的面部特征进行分析，依然可以做到有效提示。另外实用性方面，尽可能保证每一次提示都是来自可疑人员的提示，减少甚至消除无效提示，并且提示信息醒目易懂，在提高工作人员工作效率的前提下，也大大减轻了其工作强度。

当识别对象通过视频监控的有效范围时系统将自动进行采集、比对、识别，一旦发现陌生人，系统自动提示，有效的解决了传统视频监控系统耗费大量人力和时间资源问题。

另外，对比传统的提示处置，该管理系统本身也是实用性强大，可以全面记录、保存陌生或者未登记人员的位置信息、图像信息并对数据提供便捷的多方式查询，将目前手工填写签到登记管理、电话咨询等传统方式转变为高科技的计算机化、数字化处理，消除了手写登记填写时间长，信息缺失虚假多，不易保存，信息查询困难等种种弊端。可以真正做到人员、照片二者统一。安装该系统后，用户可实现“数字化登记、安全管理”，大幅提升工作人员的工作效率和安全性。

图1：本发明的系统框图；

图2：本发明针对儿童的面部识别特征；

图3：本发明的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

根据本发明的一种未登记人员的识别管理系统，如图1所示，包括：

登记模块，用于对人员信息进行登记和录入，其中，对于新访客，将身份信息以及对应的脸部图像、脸部特征、身体图像、身体特征进行登记和存储；

图像获取模块，包括图像获取装置，安装在监控场所，用于实时采集和获取监控区域内出现的人员的图像或视频；

根据一个实施例，所述的图像获取模块包括图像获取装置，例如摄像机或摄像头等，安装在监控场所，例如酒店的门口或大厅、前台等位置，用于获取酒店附近或酒店内出现的行走、逗留的人员的图像和视频；

识别模块，用于对图像获取模块获取的图像或视频进行处理，提取图像或视频中的人员特征信息，包括身体特征、脸部特征，进行人员识别；

比对模块，利用识别模块识别提取的身体特征、脸部特征与数据库中的登记人员特征进行比对；

提示模块，用于向显示界面发出提示消息，或者通过声音广播提示当前有未登记人员，或者通过发光器件提示。

根据本发明的一个实施例，针对AI人脸识别进行优化，首先，登记人员录入时不仅对脸部的局部纹理和特征进行建模，所述建模方法包括局部二值子LBP灰度共生矩阵GLCM融合特征提取建模；更重要的，为了避免口罩对面部特征识别的影响，本发明还考虑了如下特征：

第一协助识别特征：外眼角到下颏的距离与瞳距的比例，其中，对于戴口罩的人员，口罩下边缘中点和下颏基本重合，因此，可以以此获取戴口罩下的面部信息；

第二协助识别特征：眼睛处于脸部的位置，即眼睛以上和眼睛以下距离的比例；

第三识别特征：对眼形状分类，包含标准眼、丹凤眼、细长眼和三角眼四类；；

第四协助识别特征：对眉形进行分类，包含一字眉、柳叶眉、高挑眉和剑眉四类；

根据本发明的实施例，这些不受佩戴口罩影响的特征进行建模，在抓拍到人脸与登记人员进行比对时，用到以上不受口罩影响多处提取建模的特征进行比对，减少误报，提高准确度。

根据本发明的又一实施例，如果人员为孩子，目前传统的年龄算法主要是根据小孩五官的位置由于下颏尚未长全，眼(含)以上面部稍长于1/2这一特点来计算年龄；根据本发明的实施例，优选的，如图2所示，在提取的特征中增加头身比例，眼睛占脸部比例、耳朵比例、脸型圆润程度、眉毛高度、鼻子相对长度等特征作为代表性的特征，进行模型训练；如图2所示，提取以下特征：

眼睛以上部分1，鼻子部分2，脸部整体形状3，耳朵部分比例4，眉毛位置5、眼睛6；例如，通常眼睛以上部分1稍长于1/2，鼻子部分2长度较短，脸部整体形状3比较圆润，耳朵部分的比例4比成年人的比例大，眉毛位置5一般偏高，眼睛6较大且圆。

进一步的，在现有技术基础上，本发明将人脸特征加入deepface模型训练-适用于Python 的轻量级深脸识别和面部属性分析(年龄，性别，情感)框架，对提取出的特征使用SVR 处理以提取出人脸及对应的六个基本点(2只眼睛中心、1个鼻子点、3个嘴上的点)，如图 2所示。本发明采用“检测-对齐-人脸表示-分类”的方法，根据此实施例，本发明对人脸对齐和人脸表示环节进行了改进，实现更好的识别，具体如下：

1)在人脸对齐环节，引入了3D人脸模型对人脸进行分片的仿射对齐，仿射变换会保持二维图形的“平直性”和“平行性”，仅角度发生改变。

2)在人脸表示环节，利用一个9层的深度卷积在包含4000人、400万张人脸的数据集上学习人脸表示，这个9层的DCNN网络有超过1.2亿个参数。模型在LFW数据集上取得了97.25％的平均精度(逼近了人类97.5％的极限)。

本发明改进后尤其对于佩戴口罩情况下是否为儿童的判断准确率大大提高，很好的解决了问题。

根据本发明的一个实施例，如果图像获取模块获取的图像中包括多个人员，则进一步针对每个人脸区域进行扫描和特征提取，对于每个人脸分别与已登记的人脸特征进行对比，并对其进行相似度分析，对于相似度超过阈值的人脸判断为已登记人员，对于相似度小于过阈值的人脸判断为未登记人员；提示模块对已登记和未登记人进行区别显示进行提示输出。

所述比对模块用于对提取的人员特征与已登记的人员的特征信息进行比对，判断当前提取的人员是否为已登记人员；如果否，则向提示模块传递判断结果；另外，优选的，根据人脸的五官特性以及脸部长宽比例判断是否为侧脸，如果是侧脸不进行无效输出提示。

进一步的，所述的登记模块用于对人员信息进行登记，对于新访客等，可将其姓名、身份证号、电话等身份信息以及对应的脸部图像、身体图像进行登记和存储；

进一步的，所述的提示模块，用于向显示界面发出提示消息，或者通过声音广播提示当前有未登记人员，或者通过发光器件等提示；针对提示后查询也非常方便，优选的，可以进一步包括提示查询模块，可按提示地点查询，也可按时间查询。

进一步的，还包括有效期控制模块，用于设置登记人员的有效期限；

根据本发明的一个实施例，可以控制登记人员的有效安全期，过了有效期之后，系统将已登记人员的信息自动进行删除，该已登记人员身份转变为未登记人员。该有效期例如可以是访客住宿的时间长度，也可以是根据系统设置一个默认值；

进一步的，还包括值班管理模块，在每次提示后，该提示默认归类为未处置类型，交接班之前，保证换班前员工将所有未处置提示进行处置，按实际情况，确实为陌生人的，劝导登记，确认为已登记人员的，点击误报，不必进行处置，同时，每个处置提示人员都拥有独立账号，处置提示后中会显示处置该提示人员的姓名，以便建立“谁处置，谁负责”的合理的追责，问责制度。

对于管理系统和处置流程，为了进一步提升效率，由刚开始的鼠标点击拍照，键盘输入住客信息，鼠标点击确定进行上传近十秒的繁琐过程简化为空格键拍照，输入房间号，回车键上传不到三秒的过程。针对提示后查询也非常方便，可按提示地点查询，也可按时间查询。每次提示后，该提示默认归类为未处置类型，交接班之前，保证换班前员工将所有未处置提示进行处置，按实际情况，确实为陌生人的，劝导登记，确认为已登记人员的，点击误报，不必进行处置，同时，每个处置提示人员都拥有独立账号，处置提示后中会显示处置该提示人员的姓名，以便建立“谁处置，谁负责”的合理的追责，问责制度。

综上，本发明的技术方案针对AI人脸识别进行优化，针对背景技术中的问题：

第一点，本发明登记人员录入时不仅对脸部的局部纹理和特征进行建模，还包含了外眼角到下颏的距离与瞳距的比例(口罩下边缘中点和下颏基本重合便于获取戴口罩下的面部信息)，眼睛处于脸部的位置(眼睛以上和以下距离的比例)等不受佩戴口罩影响的特征进行建模，减少误报，提高准确度。

针对第二点，对于儿童，目前年龄算法主要是根据小孩五官的位置由于下颏尚未长全，眼以上面部稍长于1/2这一特点来计算年龄，现增加头身比例，眼睛占脸部比例等特征加入模型训练。

改进后尤其对于佩戴口罩情况下是否为儿童的判断准确率大大提高，对于行为判断为坐立的进行过滤，很好的解决了问题。

对于第三点，扫描设备取到多张人脸后分别进行对比，并对其进行相似度分析，提示后对已登记和未登记人进行区别显示进行提示输出。

最后一点，根据人脸的五官特性以及脸部长宽比例判断是否为侧脸，如果是侧脸不进行无效输出提示。

根据本发明的另一个实施例，还提出一种未登记人员的识别管理方法，如图3所示，包括如下步骤：

登记步骤，用于对人员信息进行登记和录入，其中，对于新访客，将身份信息以及对应的脸部图像、脸部特征、身体图像、身体特征进行登记和存储；

图像获取步骤，利用安装在监控场所图像获取装置，实时采集和获取监控区域内出现的人员的图像或视频；

特征识别步骤，对图像获取模块获取的图像或视频进行处理，提取图像或视频中的人员特征信息，包括身体特征、脸部特征，进行人员识别；

人员特征比对步骤，利用提取的身体特征、脸部特征与数据库中的登记人员特征进行比对；

提示步骤，用于向显示界面发出提示消息，或者通过声音广播提示当前有未登记人员，或者通过发光器件提示。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (8)

1.一种未登记人员的识别管理系统，其特征在于，包括：

登记模块，用于对人员信息进行登记和录入，其中，对于新访客，将身份信息以及对应的脸部图像、脸部特征、身体图像、身体特征进行登记和存储；

图像获取模块，包括图像获取装置，安装在监控场所，用于实时采集和获取监控区域内出现的人员的图像或视频；

识别模块，用于对图像获取模块获取的图像或视频进行处理，提取图像或视频中的人员特征信息，包括身体特征、脸部特征，进行人员识别；

比对模块，利用识别模块识别提取的身体特征、脸部特征与数据库中的登记人员特征进行比对；

提示模块，用于向显示界面发出提示消息，或者通过声音广播提示当前有未登记人员，或者通过发光器件提示。

2.根据权利要求1所述的一种未登记人员的识别管理系统，其特征在于，登记模块用于对人员信息进行登记和录入，对脸部的局部纹理和特征进行建模，所述建模方法包括局部二值子和灰度共生矩阵融合特征提取建模，还记录如下特征：

第一协助识别特征：外眼角到下颏的距离与瞳距的比例，其中，对于戴口罩的人员，口罩下边缘中点和下颏重合，以此获取戴口罩情况下的面部信息；

第二协助识别特征：眼睛处于脸部的位置，即眼睛以上和眼睛以下距离的比例；

第三识别特征：对眼形状分类，包含标准眼、丹凤眼、细长眼和三角眼四；

第四协助识别特征：对眉形进行分类，包含一字眉、柳叶眉、高挑眉和剑眉四类；

所述的识别模块所述提取的脸部特征也包括上述四类协助识别特征。

3.根据权利要求2所述的一种未登记人员的识别管理系统，其特征在于，

对于儿童人员的识别，在检测环节，将预先采集的多个人脸图像作为训练图像，将人脸特征加入deepface模型训练，利用训练好的模型，对提取出的人脸特征使用SVR处理以提取出人脸及对应的六个基本点，包括2只眼睛中心、1个鼻子点、3个嘴上的点；还包括以下特征：

眼睛以上部分比例，鼻子部分长度，脸部整体形状，耳朵部分比例，眉毛位置、眼睛大小比例和形状；

在人脸对齐环节，引入3D人脸模型对有姿态的人脸进行分片的仿射对齐。

在人脸表示环节，利用深度卷积网络DCNN在包含4000人、400万张人脸的数据集上学习人脸表示，训练好的深度卷积网络DCNN用于人脸表示。

4.根据权利要求1所述的一种未登记人员的识别管理系统，其特征在于，

还包括提示查询模块，能够按提示地点查询，或按照提示时间查询。

5.根据权利要求1所述的一种未登记人员的识别管理系统，其特征在于，还包括：有效期控制模块，用于设置登记人员的有效期限；

所述有效期限用于控制登记人员的有效安全期，过了有效期之后，系统将已登记人员的信息自动进行删除，该已登记人员身份转变为未登记人员。

6.根据权利要求1所述的一种未登记人员的识别管理系统，其特征在于，还包括：值班管理模块，在每次提示后，该提示默认归类为未处置类型，交接班之前，保证换班前员工将所有未处置提示进行处置，按实际情况，确实为陌生人的，劝导登记，确认为已登记人员的，点击误报，不必进行处置，同时，每个处置提示人员都拥有独立账号，处置提示后中会显示处置该提示人员的姓名。

7.根据权利要求1所述的一种未登记人员的识别管理系统，其特征在于，还包括：对于管理系统和处置流程，通过工作人员按下空格键对新访客拍照，输入房间号，回车键将图像上传到数据库，该过程小于三秒。

8.一种未登记人员的识别管理方法，其特征在于，包括如下步骤：

登记步骤，用于对人员信息进行登记和录入，其中，对于新访客，将身份信息以及对应的脸部图像、脸部特征、身体图像、身体特征进行登记和存储；

图像获取步骤，利用安装在监控场所图像获取装置，实时采集和获取监控区域内出现的人员的图像或视频；

特征识别步骤，对图像获取模块获取的图像或视频进行处理，提取图像或视频中的人员特征信息，包括身体特征、脸部特征，进行人员识别；

人员特征比对步骤，利用提取的身体特征、脸部特征与数据库中的登记人员特征进行比对；

提示步骤，用于向显示界面发出提示消息，或者通过声音广播提示当前有未登记人员，或者通过发光器件提示。

Images