CN111507294A - 基于三维人脸重建和智能识别的教室安防预警系统及方法 - Google Patents

Abstract

本发明公开一种基于三维人脸重建和智能识别的教室安防预警系统及方法，画面采集系统收集二维人脸图像；人脸重建系统根据接收画面采集系统发送的二维人脸图像并生成对应的三维人脸图像；人脸识别系统，接收人脸重建系统生成的三维人脸图像并进行识别得到当前三维人脸图像的嵌入信息，根据当前三维人脸图像的嵌入信息和数据库内预存的三维人脸图像的嵌入信息计算两个图像的余弦相似度，判断两个图像是否为同一人的人脸图像，若否，则人脸识别系统发出报警指令；警报预警系统，接收人脸识别系统的报警指令，并发送报警信息进行预警。本发明能克服传统校园安防技术存在的缺陷，起到教室安防预警效果，可行性高、准确度高、自动化程度高、灵活性高。

Description

基于三维人脸重建和智能识别的教室安防预警系统及方法

技术领域

本发明涉及一种教室安防预警系统，特别涉及一种基于三维人脸重建和智能识别的教室安防预警系统及方法。

背景技术

校园安全是关键和重要的公共安全领域，因此，如何保护学生的安全不受侵害是亟待解决的问题。校园安全的问题需要师生、学校和社会一同努力。但是随着计算机技术和自动化控制技术的发展，智能化技术也开始蓬勃发展：自动驾驶、自动控制等技术开始流行。通过智能化技术解决传统校园安防中的问题是一个崭新的方向。目前，校园安全面临着一下几种传统的安防方案无法解决的难题：(1)人员身份识别：传统的校园安防通常采用的是校园卡等物理验证设备，但物理验证设备常见的问题有如下几种：基于RFID(射频识别)的校园卡等物理设备的无线传输没有加密；物理设备丢失后容易被人盗刷；无法确认持有者是否是物理设备的实际拥有者；物理设备的通讯信道没有受到较好的保护；(2)警报预警时效：传统的安保人员以及监控系统的安防方案无法做到实时识别可疑人员，不能够完全做到防范于未然。往往只能等到安全事故开始发生之后才开始向教职工发送警报信息。而且过分依赖于人工操作，效率不够高，不能够满足警报的实时性；(3)准确度不够：基于二维照片的人脸识别无法识别人脸的部分特征，检测的错误率较高，无法得到广泛的应用。

基于上述原因，综合运用计算机、人工智能、机械以及自动化控制技术，使得能够实现对危险环境的自动感知、自动决策和自动预警，提高校园的安防效率、能够实现无人值守和全自动化、能够在节省学校安防的人力资源并的同时提高效率，即研发一种基于三维人脸重建和智能识别的教室安防预警系统实为必要。

发明内容

本发明的目的在于提供一种基于三维人脸重建和智能识别的教室安防预警系统及方法，能够克服上述传统校园安防技术存在的缺陷，本发明的方法和系统可行性高、准确度高、自动化程度高、灵活性高。

为了达到上述目的，本发明通过以下技术方案实现：

一种基于三维人脸重建和智能识别的教室安防预警系统，包含：

画面采集系统，用于收集二维人脸图像；

人脸重建系统，与所述画面采集系统连接，接收所述画面采集系统发送的所述二维人脸图像并生成对应的三维人脸图像；

人脸识别系统，与所述人脸重建系统连接，接收所述人脸重建系统生成的所述三维人脸图像并进行识别得到当前三维人脸图像的嵌入信息，根据当前三维人脸图像的嵌入信息和数据库内预存的三维人脸图像的嵌入信息计算两个图像的余弦相似度，判断两类图像是否为同一人的人脸图像，若否，则人脸识别系统发出报警指令；

警报预警系统，与所述人脸识别系统连接，接收所述人脸识别系统发送的报警指令，并对应发送报警信息进行预警。

优选地，所述画面采集系统与一个或多个摄像头连接，接收所述摄像头采集的所述二维人脸图像；所述摄像头为高清摄像头和/红外摄像头。

优选地，所述画面采集系统的核心控制器由一台运行Ubuntu的上位机进行自组网，通过Wi-Fi建立本地局域网；其中，所述上位机连接各个摄像头，各个摄像头通过Wi-Fi上的协议栈进行组网，所述上位机将收集到的所述二维人脸图像发送给所述人脸重建系统。

优选地，人脸重建系统运行在一台装有Ubuntu操作系统的计算机上，人脸重建系统通过WebSocket协议与人脸识别系统相连；人脸识别系统通过WebSocket协议发送报警指令给警报预警系统。

优选地，所述警报预警系统接收所述人脸识别系统的报警指令后，通过短信报警模块和/或邮件报警模块发送报警通知。

本发明还提供了一种基于如上文所述的基于三维人脸重建和智能识别的教室安防预警系统的教室安防预警方法，该方法包含：

步骤一：画面采集系统收集二维人脸图像，将所述二维人脸图像传输给人脸重建系统；

步骤二：所述人脸重建系统接收所述画面采集系统传输的所述二维人脸图像，并生成对应的三维人脸图像；

步骤三：所述人脸识别系统接收所述人脸重建系统输出的所述三维人脸图像并进行人脸图像识别，得到当前三维人脸图像的嵌入信息，再依据人脸数据库中预存的相应的人脸图像的嵌入信息，计算两类图像的余弦相似度，并判断两类图像是否为同一人的人脸；若否，则人脸识别系统通过发送报警指令给警报预警系统；

步骤四：所述警报预警系统收到所述人脸识别系统向其发送的报警指令后，通过报警模块发送报警通知。

优选地，所述判断两类图像是否为同一人的人脸，进一步包含以下过程：

判断计算得出的余弦相似度是否大于预设的相似度阈值：

(1)若是，则采集到的人脸图像与人脸数据库中预存的对应的人脸图像为同一人的人脸，且所述人脸识别系统再根据权限控制数据库中的教室访问权限和/或实验室访问权限，查询该人员的教室访问权限和/或实验室访问权限，若不符合权限设定时，则人脸识别系统发送报警指令给所述警报预警系统；

(2)若否，则人脸识别系统发送报警指令给所述警报预警系统。

优选地，所述余弦相似度的计算方法如下：

其中，S代表当前三维人脸图像和数据库中人脸图像之间的余弦相似度；A、B分别是指当前得到的三维人脸图像的嵌入信息和数据库中人脸图像的嵌入信息的向量表示。

优选地，所述人脸重建系统通过生成对抗网络GAN算法生成对应的三维人脸图像，其进一步包含以下过程：

S1、数据预处理：将收集到的所述二维人脸图像裁剪成指定分辨率大小，同时将裁剪后的二维人脸图像调整到合适的对比度和饱和度；

S2、数据清洗：对二维人脸图像进行清洗，保留成像效果满足要求的二维人脸图像，生成训练图像集；

S3、模型训练：采用生成对抗网络GAN算法作为训练模型进行训练，生成对抗网络包含生成器和判别器；其中，生成器采用多层卷积神经网络，根据接收到的二维人脸图像生成对应的三维人脸图像，判别器根据真实的三维人脸图像和生成的三维人脸图像进行比较，判定所述生成器的生成的有效性；

S4、参数更新：通过反向传播算法更新神经网络的训练参数，使得误差度量最小化；

S5、迭代更新：重复步骤S3～S4，直到误差度量的损失函数不再下降；

S6、固定模型：当训练收敛之后，保存生成对抗网络的参数，待人脸重建系统使用。

优选地，所述人脸识别系统通过FaceNet算法进行人脸图像识别得到当前三维人脸图像的嵌入信息，其进一步包含以下过程：

T1、数据预处理：收集重建后的三维人脸图像，并清洗掉部分不符合要求的三维人脸图像；

T2、模型训练：采用多层卷积神经网络FaceNet算法，其输入为所述步骤T1预处理后的三维人脸图像，通过中间多层神经网络的处理，输出为三维人脸图像的嵌入信息；

T3、参数更新：通过反向传播算法更新神经网络模型的参数，使得损失函数的误差最小化；

T4、迭代更新：重复步骤T2～T3，直到误差度量的损失函数不再继续下降。

T5、固定模型：当训练参数收敛之后，保存多层卷积神经网络的参数。

与现有技术相比，本发明的有益效果在于：

(1)通过Wi-Fi局域网进行自组网，能够实时、动态地添加终端的摄像头设备，提升了系统的整体可靠性，保证不会因为某一个摄像头的暂时故障导致系统工作异常。

(2)准确度高，通过机器学习的模型，能够有效地区分外来可疑人员和校内的学生，同时人脸是生物特征，难以更改或者被盗用，比起物理身份验证系统内，检测的准确度能有效提高。

(3)实时性高，WebSocket的全双工实时通信保证了消息传输的可靠性，同时自动报警系统在可疑人员一出现的时候就会发送警报消息，真正做到防患于未然。

(4)成本低，除了监控系统和计算机等设备之外，不需要其他更多的硬件设备，能够节省安保系统建设的大量成本。

(5)自动化程度高，不需要安保员和其他人员实时监视监控系统，若有可疑人员出现，系统会自动发送警报信息给安保人员，节省人力资源。

(6)实用性高，能够在教室和校园安防中起到很大的作用，提升了校园安防的整体科技水平。

(7)定制型强，本发明的警报预警系统为模块化设计，可以接入各种类型的预警模块，使得报警预警系统更加高效实用。

附图说明

图1为本发明的基于三维人脸重建和智能识别的教室安防预警系统的系统结构示意图；

图2为本发明的安防报警工作流程图；

图3为本发明的人脸识别系统录入工作流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-图2结合所示，本发明提供了一种基于三维人脸重建和智能识别的教室安防预警系统100，其包括画面采集系统11、人脸重建系统12、人脸识别系统13和警报预警系统14。其中，画面采集系统11的核心控制器1101由一台运行Ubuntu的上位机来进行管理和自组网，通过Wi-Fi建立本地局域网，与外界网络相隔离，提升了系统整体的安全性。示例地，通信网络的组网方式为为自组网，所述上位机连接协调各个终端的摄像头(例如高清摄像头201、红外摄像头202)，各个摄像头通过Wi-Fi上的协议栈进行组网，上位机再将收集到的图像数据通过发送出去给人脸重建系统12。本发明的人脸重建系统12运行在一台装有Ubuntu操作系统的计算机上，该人脸重建系统12通过WebSocket协议与人脸识别系统13相连。

本发明的教室安防预警系统100启动后，先启动画面采集系统11，接通电源并且初始化摄像头，启动完成后，画面采集系统11连接到人脸重建系统12，如果连接失败，则画面采集系统11抛出连接错误信息，如果连接成功后，画面采集系统11将采集到的二维人脸图像发送到人脸重建系统12；如果多次出现无效图像(包括分辨率过低、光线和纹理不清晰的图像)，则画面采集系统11输出警告信息。

本发明的人脸重建系统12根据接收到的二维人脸图像，实现对三维人脸图像的重建并将重建后的三维人脸图像提供给人脸识别系统13；所述人脸识别系统13接收该重建的三维人脸图像并进行识别，输出当前三维人脸图像的嵌入信息，同时根据数据库中预存的相应人脸图像的嵌入信息，计算两者图像的余弦相似度，并判断该余弦相似度是否大于预设的相似度阈值；如果该余弦相似度大于阈值，说明采集到的人像已经存在于已有的数据库中，如果相似度小于阈值，则人脸识别系统13向警报预警系统14发出警报指令，即本发明的警报预警系统14与人脸识别系统13连接，需要根据人脸识别系统13判断是否需要报警。警报预警系统14接收到警报指令后，可以通知各个报警模块，以不同的途径发送报警指令。

本发明提供一种基于三维人脸重建和智能识别的教室安防预警方法，该方法包含以下步骤：

步骤(一)：画面采集系统11通过其核心控制器1101收集与该核心控制器1101连接的高清摄像头201和红外摄像头202采集的二维人脸图像，并将该二维人脸图像传输给人脸重建系统12，即本发明通过与画面采集系统11连接的高清摄像头和红外摄像头来关注教室内的各个活动人员图像。

步骤(二)：人脸重建系统12接收所述画面采集系统11传输的二维人脸图像，并生成对应的三维人脸图像。其中，由于机器学习模型通过学习二维照片的光线、结构、角度等，能够计算生成并输出三维人脸图像，则本发明的人脸重建系统12通过生成对抗网络GAN算法对二维照片的光线和结构进行训练学习，能够输出三维人脸图像。

步骤(三)：人脸重建系统12输出的三维人脸图像通过人脸重建系统12的Wi-Fi模块并经由WebSocket协议传输到人脸识别系统13中，所述人脸识别系统13通过FaceNet算法进行三维人脸图像识别，并得到当前人脸图像的嵌入信息，再依据人脸数据库中预存的相应的人脸图像(例如预存的各个师生的人脸图像)的嵌入信息，来计算两个图像的余弦相似度，并判断它们是否为同一人的人脸。本发明通过计算两者之间的余弦相似度，得到相似度最高的人脸，并判断余弦相似度是否大于预设的相似度阈值，如果余弦相似度大于相似度阈值，说明采集到的人脸图像已经存在于已有的数据库中，且所述人脸识别系统13还根据权限控制数据库中师生的教室/实验室访问权限，查询该人员的教室/实验室访问权限，如果不符合权限设定，则触发警报告知警报预警系统14，起到教室安防预警效果；如果余弦相似度小于相似度阈值，则警报预警系统发出警报指令。例如，如果人脸的余弦相似度没有超过90％的相似度阈值，说明该人脸不在数据库之内，这时人脸识别系统13通过WebSocket协议发送报警指令给警报预警系统14。

步骤(四)：警报预警系统14收到人脸识别系统1向其发送的报警指令后，通过各个报警模块(例如短信报警模块301和邮件报警模块302)，以不同的途径发送报警通知：邮件报警模块302会发送邮件给指定的邮箱，短信报警模块301会发送短信提醒安保人员注意可疑人员。

在所述步骤(二)中，所述人脸重建系统12通过生成对抗网络GAN算法进行训练并重建的过程如下：

S1、数据预处理：将收集到的人脸二维图像裁剪成指定分辨率大小，同时将裁剪后的人脸二维图像调整到合适的对比度和饱和度；

S2、数据清洗：清洗掉图像数据中成像效果较差的图像，只保留成像效果较好的图像，生成训练图像集。

S3、模型训练：采用生成对抗网络GAN算法作为训练模型，所述生成对抗网络包含生成器和判别器，其中，生成器采用多层卷积神经网络通过接收到的二维图像文件(例如JPEG、PNG等格式)生成三维人脸图像(其数据以OBJ三维模型格式输出)，判别器根据真实的三维人脸图像和上述生成的三维人脸图像进行比较，判断所述生成器的生成是否有效，其中，是否有效是在跑算法的过程中，每次迭代时判别器会去执行判断。

S4、参数更新：通过反向传播算法更新神经网络的训练参数，使得误差度量最小化。

S5、迭代更新：重复步骤S3～S4，直到误差度量的损失函数不再下降。

S6、固定模型：当训练收敛之后，保存生成对抗网络的参数(包含生成器的参数和判别器的参数)，待人脸重建系统12使用。

其中，GAN(GenerativeAdversarialNets)是用对抗方法来生成数据的一种模型。GAN包括了两个部分，即生成器generator与判别器discriminator。所述生成器可用来学习真实图像分布从而让自身生成的图像更加真实，以骗过判别器。所述判别器则需要对接收的图片进行真假判别。在整个过程中，生成器努力地让生成的图像更加真实，而判别器则努力地去识别出图像的真假，这个过程相当于一个二人博弈，随着时间的推移，生成器和判别器在不断地进行对抗，最终两个网络达到了一个动态均衡：生成器生成的图像接近于真实图像分布，而判别器识别不出真假图像，其中，对于给定图像的预测为真的概率基本接近0.5。

在所述步骤(三)中，人脸识别系统13通过FaceNet算法进行训练的过程如下：

T1、数据预处理：收集重建后的三维人脸图像，并清洗掉分辨率过低、光线和纹理不清晰的三维人脸图像。

T2、模型训练：采用多层卷积神经网络FaceNet算法，其输入为所述步骤T1预处理后的三维人脸图像，通过中间多层神经网络的处理，输出为三维人脸图像的嵌入信息(Embeddings)；其中，Embeddings是生成的特征向量。

T3、参数更新：通过反向传播算法更新神经网络模型的参数，使得损失函数的误差最小化；

T4、迭代更新：重复步骤T2～T3，直到误差度量的损失函数不再继续下降。

T5、固定模型：当训练参数收敛之后，保存多层卷积神经网络的参数。

其中，FaceNet算法的过程是：采用人脸检测MTCNN工具包接口，定位输入input中的人脸的位置，然后返回自己设置的固定大小的脸部crop，然后FaceNet算法提供训练数据的对齐(align)功能，能自动完成待训练或者待测试图片的人脸检测并缩放为指定大小尺寸的JPEG数据以供训练或测试。因此，参数包括：对齐后的训练数据的位置，生成的模型的位置等。

所述步骤(三)的步骤(3.2)中，进一步包含：经过人脸识别系统13的FaceNet的算法之后得到当前人脸的嵌入信息，将当前人脸的嵌入信息与数据库中的所有已保存的人脸的嵌入信息之间的相似度进行计算，计算公式如下：

其中，S代表当前人脸图像和数据库中人脸图像之间的相似度；A、B分别是指当前得到的人脸图像的嵌入信息和数据库中人脸图像的嵌入信息的向量表示。

如图3所示，数据库模块中，预存储有允许访问人员的人脸图像数据，访问控制系统中，能够配置各级别的权限，登录者的身份包括管理员和操作员。当启动本发明的人脸识别系统13后，可以通过模式选择由管理员或操作员进行操作，具体为：当需要管理员进行操作时，管理员通过密码验证，当密码验证通过后，获取管理操作权限，例如配置人员的角色和角色权限；当需要由操作员进行操作时，操作员通过密码验证，当密码验证通过后，操作员可以进行操作，例如操作员可以修改人脸数据库中的内容：添加人脸信息和删除人脸信息等操作。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种基于三维人脸重建和智能识别的教室安防预警系统，其特征在于，包含：

画面采集系统(11)，用于收集二维人脸图像；

人脸重建系统(12)，与所述画面采集系统(11)连接，接收所述画面采集系统(11)发送的所述二维人脸图像并生成对应的三维人脸图像；

人脸识别系统(13)，与所述人脸重建系统(12)连接，接收所述人脸重建系统(12)生成的所述三维人脸图像并进行识别得到当前三维人脸图像的嵌入信息，根据当前三维人脸图像的嵌入信息和数据库内预存的三维人脸图像的嵌入信息计算两个图像的余弦相似度，判断两类图像是否为同一人的人脸图像，若否，则人脸识别系统(13)发出报警指令；

警报预警系统(14)，与所述人脸识别系统(13)连接，接收所述人脸识别系统(13)发送的报警指令，并对应发送报警信息进行预警。

2.如权利要求1所述的教室安防预警系统，其特征在于，

所述画面采集系统(11)与一个或多个摄像头连接，接收所述摄像头采集的所述二维人脸图像；所述摄像头为高清摄像头和/红外摄像头。

3.如权利要求2所述的教室安防预警系统，其特征在于，

所述画面采集系统(11)的核心控制器(1101)由一台运行Ubuntu的上位机进行自组网，通过Wi-Fi建立本地局域网；其中，所述上位机连接各个摄像头，各个摄像头通过Wi-Fi上的协议栈进行组网，所述上位机将收集到的所述二维人脸图像发送给所述人脸重建系统(12)。

4.如权利要求1所述的教室安防预警系统，其特征在于，

人脸重建系统(12)运行在一台装有Ubuntu操作系统的计算机上，人脸重建系统(12)通过WebSocket协议与人脸识别系统(13)相连；

人脸识别系统(13)通过WebSocket协议发送报警指令给警报预警系统(14)。

5.如权利要求1所述的教室安防预警系统，其特征在于，

所述警报预警系统(14)接收所述人脸识别系统(13)的报警指令后，通过短信报警模块和/或邮件报警模块发送报警通知。

6.一种基于如权利要求1～5中任意一项所述的基于三维人脸重建和智能识别的教室安防预警系统的教室安防预警方法，其特征在于，该方法包含：

步骤一：画面采集系统(11)收集二维人脸图像，将所述二维人脸图像传输给人脸重建系统(12)；

步骤二：所述人脸重建系统(12)接收所述画面采集系统(11)传输的所述二维人脸图像，并生成对应的三维人脸图像；

步骤三：所述人脸识别系统(13)接收所述人脸重建系统(12)输出的所述三维人脸图像并进行人脸图像识别，得到当前三维人脸图像的嵌入信息，再依据人脸数据库中预存的相应的人脸图像的嵌入信息，计算两类图像的余弦相似度，并判断两类图像是否为同一人的人脸；若否，则人脸识别系统(13)通过发送报警指令给警报预警系统(14)；

步骤四：所述警报预警系统(14)收到所述人脸识别系统(13)向其发送的报警指令后，通过报警模块发送报警通知。

7.如权利要求6所述的教室安防预警方法，其特征在于，

所述判断两类图像是否为同一人的人脸，进一步包含以下过程：

判断计算得出的余弦相似度是否大于预设的相似度阈值：

(1)若是，则采集到的人脸图像与人脸数据库中预存的对应的人脸图像为同一人的人脸，且所述人脸识别系统(13)再根据权限控制数据库中的教室访问权限和/或实验室访问权限，查询该人员的教室访问权限和/或实验室访问权限，若不符合权限设定时，则人脸识别系统(13)发送报警指令给所述警报预警系统(14)；

(2)若否，则人脸识别系统(13)发送报警指令给所述警报预警系统(14)。

8.如权利要求6或7所述的教室安防预警方法，其特征在于，

所述余弦相似度的计算方法如下：

其中，S代表当前三维人脸图像和数据库中人脸图像之间的余弦相似度；A、B分别是指当前得到的三维人脸图像的嵌入信息和数据库中人脸图像的嵌入信息的向量表示。

9.如权利要求6所述的教室安防预警方法，其特征在于，

所述人脸重建系统(12)通过生成对抗网络GAN算法生成对应的三维人脸图像，其进一步包含以下过程：

S1、数据预处理：将收集到的所述二维人脸图像裁剪成指定分辨率大小，同时将裁剪后的二维人脸图像调整到合适的对比度和饱和度；

S2、数据清洗：对二维人脸图像进行清洗，保留成像效果满足要求的二维人脸图像，生成训练图像集；

S3、模型训练：采用生成对抗网络GAN算法作为训练模型进行训练，生成对抗网络包含生成器和判别器；其中，生成器采用多层卷积神经网络，根据接收到的二维人脸图像生成对应的三维人脸图像，判别器根据真实的三维人脸图像和生成的三维人脸图像进行比较，判定所述生成器的生成的有效性；

S4、参数更新：通过反向传播算法更新神经网络的训练参数，使得误差度量最小化；

S5、迭代更新：重复步骤S3～S4，直到误差度量的损失函数不再下降；

S6、固定模型：当训练收敛之后，保存生成对抗网络的参数，待人脸重建系统(12)使用。

10.如权利要求6或9所述的教室安防预警方法，其特征在于，

所述人脸识别系统(13)通过FaceNet算法进行人脸图像识别得到当前三维人脸图像的嵌入信息，其进一步包含以下过程：

T1、数据预处理：收集重建后的三维人脸图像，并清洗掉部分不符合要求的三维人脸图像；

T2、模型训练：采用多层卷积神经网络FaceNet算法，其输入为所述步骤T1预处理后的三维人脸图像，通过中间多层神经网络的处理，输出为三维人脸图像的嵌入信息；

T3、参数更新：通过反向传播算法更新神经网络模型的参数，使得损失函数的误差最小化；

T4、迭代更新：重复步骤T2～T3，直到误差度量的损失函数不再继续下降。

T5、固定模型：当训练参数收敛之后，保存多层卷积神经网络的参数。

Images