CN107230267B - 基于人脸识别算法的幼儿园智能签到方法 - Google Patents

Abstract

本发明公开了一种基于人脸识别算法的幼儿园智能签到方法，属于机器视觉与模式识别领域。首先对孩子家长的信息进行录入和头像进行采集和特征提取，并且建立特征库；其后在实时状态下，对进出校门的人员通过基于深度神经网络的人脸识别进行身份识别；然后对于识别出来的人员，显示出身份信息，同时发送指令到闸机，进行闸机的开启；最后把身份信息和幼儿园的班级信息关联起来，形成幼儿园的智能签到。该项研究为幼儿园的人员管控和签到提供了新思路，也为进一步探索幼儿园的智能化管理等奠定了基础。

Description

基于人脸识别算法的幼儿园智能签到方法

技术领域

本发明涉及计算机视觉技术与深度学习技术，具体涉及一种基于人脸识别算法的幼儿园智能签到方法。

背景技术

智慧校园视觉分析系统主要是以网络摄像头作为校园物联网的前端采集器，后端配以人脸识别、行为分析等核心技术，达到智能签到、人员出入管控、个性化行为分析等目的，是智慧校园发展的高级阶段。

我们注意到，随着社会各界对教育安全的重视，一些幼儿园、小学、培训机构等单位采用家长接送刷卡或者指纹的形式进行登记和管理，但这些技术措施都难以真正有效管控学生安全。

目前校园里面由于安防的需要，基本上部署了大量的摄像头和网络设施，但是除了一般的对车辆牌照进行分析以外，更深层的对人员身份识别，目前在无论在市场还是产品技术上，基本上是空白。

考虑到图像识别和人脸识别技术的发展，基本达到了实战的效果，把相关的技术用于幼儿园智能签到成为必然。

发明内容

本发明的目的是对幼儿园进出校门的家长身份进行识别，为此提出一种基于人脸识别算法的幼儿园智能签到方法。

本发明采用的技术方案是：基于人脸识别算法的幼儿园智能签到方法包括以下步骤：

步骤1，系统软硬件的搭建，幼儿园家长身份信息的录入和家长人像数据的采集、提取特征、建库；步骤2，进出幼儿园校门家长身份的实时识别，包括初始化库容，摄像机实时捕捉信息，对视频帧的人脸进行检测，并提取特征，与库容内的人脸特征进行比对，找出对应的人员；步骤3，幼儿园门口闸机的控制，如果在步骤里面正确从库里面识别出了人员，对应的闸机自动启动，放行家长和孩子进入；步骤4，幼儿园智能签到，数据库记录孩子签到信息，根据班级预录的信息，定期自动形成签到报表；

进一步，所述步骤1具体包括：

首先在校园门口架设网络摄像机和闸机，并在门卫的值班室配置电脑硬件，安装人脸识别软件，电脑通过网络连接闸机，以便控制；然后利用人脸识别软件的注册功能，对家长进行现场拍摄，并注册信息到系统内；

进一步，对家长的人像进行注册建库的具体方法是：

步骤1.1，通过RTSP协议，从网络摄像机内提取一帧图像，利用滑动窗口算法，提取出图像块，并送入基于LBP特征的分类器，判断当前的图像块是否为人脸，并对同一区域检测出的人脸进行融合，最终提取出人脸；

步骤1.2，把提取出的人脸图像块送入人脸特征提取器，进行特征提取。我们的人脸特征提取器是基于类似于VGG网络的深度学习网络架构；

步骤1.3，把提取出的人脸特征进行归一化，并用局部敏感哈希(Locality-Sensitive Hashing,LSH)对特征进行散列化，用序列化方法存储到硬盘。建立索引过程如下：

(1)选取满足(d1,d2,p1,p2)-sensitive的LSH hash functions；

(2)根据对查找结果的准确率(即相邻的数据被查找到的概率)确定hash table的个数L，每个table内的hash functions的个数K，以及跟LSH hash function自身有关的参数；

(3)将所有数据经过LSH hash function哈希到相应的桶内，构成了一个或多个hash table；

进一步，所述步骤2的具体过程是：

步骤2.1，人脸识别软件通过RTSP协议，实时抓取视频图像，并送入人脸检测算法模块；

步骤2.2，人脸检测算法模块采用滑动窗口算法，提取图像块，对图像块提取LBP特征，送入SVM分类算法中，提取出包含人脸的图像块，并对同区域的人脸图像块进行融合，提取出人脸；

步骤2.3，将检测出的人脸送入深度神经网络，提取人脸特征，并归一化，采用LSH算法与库内人脸进行比对，过程如下：

(1)将查询数据经过LSH hash function哈希得到相应的桶号；

(2)将桶号中对应的数据取出；(为了保证查找速度，通常只需要取出前2L个数据即可)；

(3)计算查询数据与这2L个数据之间的相似度或距离，返回最近邻的数据；

根据设定的阈值，判断出是库内的那个人员，或者根本就不在库内；

进一步，所述步骤3具体过程是：

步骤3.1，将库内识别出来的人员信息发送到人脸识别软件界面前端，并向闸机发送信息；

步骤3.2，闸机收到人脸识别软件发过来的信息，启动闸机；

步骤3.3，对应的家长和孩子通行；

进一步，所述步骤4的具体过程是：

步骤4.1，将库内识别出来的人员记录进入对应的数据库；

步骤4.2，在电脑的软件上显示出识别出来的家长；

步骤4.3，系统后台根据幼儿园各个班级的信息，自动汇总形成签到表。

本发明的有益效果是：

传统保安管控幼儿园门口进出的方式费时费力，且无法真正有效管控不良人员的进出，幼儿园仍然存在潜在的风险。目前有些幼儿园采用的打卡进出的方式虽然通过卡关联人员身份信息，但是存在卡遗失、盗用等问题，仍然存在安全隐患。这里提出了一种通过人脸识别技术进行幼儿园自动签到的方法。我们的人脸识别技术采用最新的基于深度神经网络的VGG网络技术，通过深层特征的提取，能够形成对人脸更好的表达。利用人脸注册和人脸识别算法，既可以管控人员的进出，也可以防止刷卡的盗用和遗失，增强幼儿园的安全防卫。在人脸注册和识别上，需要对人员头像特征建库，我们采用LSH的算法，通过对头像的特征向量进行散列化，可以更快的进行人脸特征比对，优化了人脸识别的性能。这种通过机器视觉人脸识别技术对家长身份进行识别，既便于幼儿园对进出人员的管控，提高幼儿园的安全性，也能够为幼儿园的签到提供了技术基础，对提高幼儿园管理的自动化和智能化监控水平提供技术支撑。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细说明：

图1是幼儿园智能签到流程图。

图2是人脸识别算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为幼儿园智能签到流程图，其中人员注册的目的是录入家长信息和头像的特征，并建立特征库，以便后续的准确快速比对；人脸识别模块是在实时的状态下，快速的识别出当前人员的身份，决定是否放行；通过对闸机的控制来放行人员；通过对识别出的人员进行记录，在某个时间段内完成幼儿园的智能签到。

如图2所示为人脸识别算法流程，步骤1，系统软硬件的搭建，幼儿园家长身份信息的录入和家长人像数据的采集、提取特征、建库；

(1)通过RTSP协议，从网络摄像机内提取一帧图像，利用滑动窗口算法，提取出图像块，并送入基于LBP特征的分类器，判断当前的图像块是否为人脸，并对同一区域检测出的人脸进行融合，最终提取出人脸；

(2)把提取出的人脸图像块送入人脸特征提取器，进行特征提取。我们的人脸特征提取器是基于类似于VGG网络的深度学习网络架构；

(3)把提取出的人脸特征进行归一化，并用局部敏感哈希(Locality-SensitiveHashing,LSH)对特征进行散列化，用序列化方法存储到硬盘。建立索引过程如下：

(a)选取满足(d1,d2,p1,p2)-sensitive的LSH hash functions；hash function需要满足以下两个条件：

1)如果d(x,y)≤d1，则h(x)＝h(y)的概率至少为p1；

2)如果d(x,y)≥d2，则h(x)＝h(y)的概率至多为p2；

其中d(x,y)表示x和y之间的距离，d1<d2，h(x)和h(y)分别表示对x和y进行hash变换。

满足以上两个条件的hash functions称为(d1,d2,p1,p2)-sensitive。而通过一个或多个(d1,d2,p1,p2)-sensitive的hash function对原始数据集合进行hashing生成一个或多个hash table的过程称为Locality-sensitive Hashing。

(b)根据对查找结果的准确率(即相邻的数据被查找到的概率)确定hash table的个数L，每个table内的hash functions的个数K，以及跟LSH hash function自身有关的参数；在幼儿园人脸识别中，具体的实施例我们取L＝1，K＝家长的数目，即每个家长一张头像注册，不同的家长特征向量形成不同的hash value，方便快速查找比对。

(c)将所有数据经过LSH hash function哈希到相应的桶内，构成了一个hashtable；

步骤2，进出幼儿园校门家长身份的实时识别，包括初始化库容，摄像机实时捕捉信息，对视频帧的人脸进行检测，并提取特征，与库容内的人脸特征进行比对，找出对应的人员；

(1)人脸识别软件通过RTSP协议，实时抓取视频图像，并送入人脸检测算法模块；

(2)人脸检测算法模块采用滑动窗口算法，即把图像分成80*80的最小块，步长位2的区块，从用从左往右，从上往下的方式，提取多尺度图像块，对图像块提取LBP特征，送入SVM分类算法中，我们这里采用径向基(RBF)核函数(高斯核函数)，提取出包含人脸的图像块，并对同区域的人脸图像块进行融合，提取出人脸；

(3)将检测出的人脸送入深度神经网络(采用VGG神经网络，网络每层结构配置的输入为归一化大小的224*224的人脸图像块，训练时用softmax作为监督方法，提取特征输出fc7层)，提取人脸特征，并归一化，采用LSH算法与库内人脸进行比对，过程如下：

(1)将查询数据经过LSH hash function哈希得到相应的桶号；

(2)将桶号中对应的数据取出；(为了保证查找速度，通常只需要取出前2L个数据即可)；

(3)计算查询数据与这2L个数据之间的相似度或距离，返回最近邻的数据；根据设定的阈值，判断出是库内的那个人员，或者根本就不在库内；

步骤3，幼儿园门口闸机的控制，如果在步骤里面正确从库里面识别出了人员，对应的闸机自动启动，放行家长和孩子进入；

(1)将库内识别出来的人员信息发送到人脸识别软件界面前端，并向闸机发送信息；

(2)闸机收到人脸识别软件发过来的信息，启动闸机；

(3)对应的家长和孩子通行；

步骤4，幼儿园智能签到，数据库记录孩子签到信息，根据班级预录的信息，定期自动形成签到报表；

(1)将库内识别出来的人员记录进入对应的数据库；

(2)在电脑的软件上显示出识别出来的家长；

(3)系统后台根据幼儿园各个班级的信息，自动汇总形成签到表。

综上所述，本发明的一种利用人脸识别技术对幼儿园进行智能签到的方法，首先对孩子家长的信息和头像进行采集，形成头像特征库；其后在实时状态下，对进入幼儿园的人员进行人脸身份识别，只有识别通过的人员才能自动启动闸机放行；最后在识别的同时，对家长进入幼儿园的时间自动记录，形成智能签到报表。该项研究为幼儿园智能签到提供了新思路，也为进一步探索幼儿园智慧管理等奠定了基础。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.基于人脸识别算法的幼儿园智能签到方法，其特征在于，包括以下步骤：

步骤1，系统软硬件的搭建，幼儿园家长身份信息的录入和家长人像数据的采集、提取特征、注册建库；步骤2，进出幼儿园校门家长身份的实时识别，包括初始化库容，摄像机实时捕捉信息，对视频帧的人脸进行检测，并提取特征，与库容内的人脸特征进行比对，找出对应的人员；步骤3，幼儿园门口闸机的控制，如果在步骤里面正确从库里面识别出了人员，对应的闸机自动启动，放行家长和孩子进入；步骤4，幼儿园智能签到，数据库记录孩子签到信息，根据班级预录的信息，定期自动形成签到报表；

对家长的人像进行注册建库的具体方法是：

步骤1.1，通过RTSP协议，从网络摄像机内提取一帧图像，利用滑动窗口算法，提取出图像块，并送入基于LBP特征的分类器，判断当前的图像块是否为人脸，并对同一区域检测出的人脸进行融合，最终提取出人脸；

步骤1.2，把提取出的人脸图像块送入人脸特征提取器，进行特征提取，我们的人脸特征提取器是基于VGG神经网络的深度学习网络架构；

步骤1.3，把提取出的人脸特征进行归一化，并用局部敏感哈希LSH对特征进行散列化，用序列化方法存储到硬盘，并建立索引过程如下：

1.3.1，选取满足(d1,d2,p1,p2)-sensitive的LSH hash functions；hash function需要满足以下两个条件：

a)如果d(x,y)≤d1，则h(x)＝h(y)的概率至少为p1；

b)如果d(x,y)≥d2，则h(x)＝h(y)的概率至多为p2；

其中d(x,y)表示x和y之间的距离，d1<d2，h(x)和h(y)分别表示对x和y进行hash变换，满足以上两个条件的hash functions称为(d1,d2,p1,p2)-sensitive；

1.3.2，根据对查找结果的准确率确定hash table的个数L，每个table内的hashfunctions的个数K，以及跟LSH hash function自身有关的参数；

1.3.3，将所有数据经过LSH hash function哈希到相应的桶内，构成了一个或多个hash table。

2.根据权利要求1所述的基于人脸识别算法的幼儿园智能签到方法，其特征在于，所述步骤1具体包括：

首先在校园门口架设网络摄像机和闸机，并在门卫的值班室配置电脑硬件，安装人脸识别软件，电脑通过网络连接闸机，以便控制；然后利用人脸识别软件的注册功能，对家长进行现场拍摄，并注册信息到系统内。

3.根据权利要求1所述的基于人脸识别算法的幼儿园智能签到方法，其特征在于，所述步骤2的具体过程是：

步骤2.1，人脸识别软件通过RTSP协议，实时抓取视频图像，并送入人脸检测算法模块；

步骤2.2，人脸检测算法模块采用滑动窗口算法，提取图像块，对图像块提取LBP特征，送入SVM分类算法中，该步骤中采用径向基核函数进行训练，提取出包含人脸的图像块，并对同区域的人脸图像块进行融合，提取出人脸；

步骤2.3，将检测出的人脸送入深度神经网络，训练时用softmax作为监督方法，提取人脸特征，并归一化，采用LSH算法与库内人脸进行比对，过程如下：

2.3.1将查询数据经过LSH hash function哈希得到相应的桶号；

2.3.2将桶号中对应的数据取出；为了保证查找速度，通常只需要取出前2L个数据即可；

2.3.3计算查询数据与这2L个数据之间的相似度或距离，返回最近邻的数据；

根据设定的阈值，判断出是库内的那个人员，或者根本就不在库内。

4.根据权利要求1所述的基于人脸识别算法的幼儿园智能签到方法，其特征在于，所述步骤3具体过程是：

步骤3.1，将库内识别出来的人员信息发送到人脸识别软件界面前端，并向闸机发送信息；

步骤3.2，闸机收到人脸识别软件发过来的信息，启动闸机；

步骤3.3，对应的家长和孩子通行。

5.根据权利要求1所述的基于人脸识别算法的幼儿园智能签到方法，其特征在于，所述步骤4的具体过程是：

步骤4.1，将库内识别出来的人员记录进入对应的数据库；

步骤4.2，在电脑的软件上显示出识别出来的家长；

步骤4.3，系统后台根据幼儿园各个班级的信息，自动汇总形成签到表。