CN112907810A - 一种基于嵌入式gpu的人脸识别测温校园门禁系统 - Google Patents

Abstract

本发明公开了一种基于嵌入式GPU的人脸识别测温校园门禁系统。该系统包括学校人员信息后台管理单元、人脸检测与识别单元、人脸识别显示界面单元、嵌入式GPU并行加速单元，红外测温摄像装置、显示装置以及报警门禁联动装置等。学校人员信息后台管理记录了学生个人信息，报警门禁联动装置负责将检测出高温的学生区分开来并上报管理，人脸检测与识别单元主要实现人脸检测、人脸识别、口罩识别、活体检测等。人脸识别显示界面单元对红外测温摄像装置捕捉到的人脸信息进行实时处理和显示。采用GPU并行加速单元对人脸检测与识别算法进行加速计算处理，提高系统的实时性。

Description

一种基于嵌入式GPU的人脸识别测温校园门禁系统

技术领域

本发明涉及人脸识别技术领域，具体为一种基于嵌入式GPU的人脸识别测温校园门禁系统。

背景技术

随着新冠疫情的防控工作大力开展，人员信息化管理已经成为了各个公共场所首要面临的安全保障工作。而对于校园这种人员密集的高风险区域更成为了防控工作的重点对象。基于在校人员接触密集、交叉传染风险性高、来往人群复杂、学生信息数据量庞大不便于管理等一系列问题使校园防控成为了工作难题。为了避免校园疫情防控中的密集接触，降低人力工作带来的感染风险性，并且让学校在第一时间了解到学生的健康信息并及时开展后续工作。使得智能可视化门禁系统取代人力工作，已然成为各大高校必选且首选的重要防控科技手段。同时在智能时代追求设备低成本与低功耗。重要的是机器对于学生信息管理的实时性与精准性有着更高的要求，提升工作效率与识别速度是门禁系统的核心。基于校园环境的特殊性与工作难点，传统的识别门禁系统往往在实际应用中存在着以下问题：

1.针对于校园复杂环境的变化要有较好的灵活性与稳定性，传统的识别门禁系统对于光线亮度与光源位置的变化、人脸背景多样复杂的灵敏性不高，容易由于外界种种变化造成错误识别，即人脸识别算法不够成熟，需要对检测识别算法进行改进优化，即检测识别的精准率仍需要提高。

2.基于疫情防控特殊时期的特点，传统识别门禁设置过于单一难以满足校园防控的需求。当学生佩戴口罩遮挡面部信息时，由于难以采集到完整的人脸信息使人脸识别过程失效或产生错误结果，并且传统门禁系统也难以进行活体检测，有效防止学生与证件照混淆，保障防控期间人员流动的管理问题。

3.校园人口流动量庞大、需要比对的识别信息繁多，要求识别装置对于大数据的运行计算能力严格，必须增强并行运算能力，借此提升识别算法速度与精度，以及保证装置的实时性与可靠性愈发提升，而传统的识别门禁系统不能高效率高质量的保障识别工作有序进行。

基于以上的问题分析与设备需求，为了更好的贴近并推动校园疫情防控工作的开展，本发明对传统的门禁系统进行了设备优化与算法提升的基础上提出了一种基于嵌入式GPU的人脸识别测温校园门禁系统。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于现有校园门禁系统中存在的问题，提出了本发明。

因此，本发明的目的是提供一种基于嵌入式GPU的人脸识别测温校园门禁系统，能够实现在疫情时期对人脸进行人脸检测与识别、口罩识别、活体检测，并通过并行加速大大提高了图像处理速度，实现了门禁系统的实时识别。

为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种基于嵌入式GPU的人脸识别测温校园门禁系统，其包括学校人员信息后台管理单元、人脸检测与识别单元、人脸识别显示界面单元、嵌入式GPU并行加速单元、红外测温摄像装置、显示装置以及报警门禁联动装置；

其中：

学校人员信息后台管理单元耦合连接有学生人脸库、学生身份信息、学生感染病史三个模块，通过建立学生人脸库对学生人脸特征进行提取，并编号登记；设立学生身份信息模块对学生的姓名、学号、身份证号码等基本信息进行登记，便于与人脸信息建立联系；设立学生感染病史模块对学生过去是否感染过或者接触过传染病患者进行统计；

人脸检测与识别单元包括人脸检测、人脸识别、口罩识别、活体检测；

人脸识别显示界面设计采用基于Qt跨平台的C++图形用户界面应用程序框架，将系统分为主线程和子线程两部分，主线程主要负责UI及一些一般的处理，子线程负责人脸特征提取与比对的数据处理，在主线程与子线程之间进行通信，获取摄像头图像进行面部定位并显示在IU上，实现了人脸图像信息的实时显示；

嵌入式GPU并行加速单元通过搭建嵌入式GPU平台实现对人脸检测与识别单元算法的并行加速，利用GPU并行加速计算的CUDA平台,对CUDA平台的GPU并行加速技术进行了改进优化；

报警门禁联动装置提供一种纯硬件结构的报警门禁联动装置，脱离软件和电脑的控制，利用韦根协议，将报警系统与门禁系统融合起来，将韦根协议输入接口外接门禁系统的韦根数据接口，实现了当人脸识别和体温检测通过时，将开门信号输入门禁控制器，报警系统自动撤防同时门禁系统打开。

作为本发明所述的一种基于嵌入式GPU的人脸识别测温校园门禁系统的一种优选方案，其中：人脸检测与识别包括如下步骤：

步骤1：基于灰度特征的Adaboost算法，将人脸区域看成一种模式，先训练分类器、加载分类器，然后加载图像，最后使用detectMultiScale函数得到人脸数据，再使用rectangle函数将人脸进行框选，得到带有方形框的人脸图像，实现人脸检测；

步骤2：采用opencv和dlib相结合的方法，使用卷积神经网络检测出所有的人脸区域，利用机器学习训练出人脸模型，再将摄像头采集到的人脸信息与人脸库中的128D特征比对，计算欧氏距离，如果距离小于阈值即可判断是为同一个人，实现人脸识别；

步骤3：采用卷积神经网络进行人脸特征的提取，使用了dlib的深度残差网络，得到128位的人脸特征向量；同时使用了基于gamma灰度校正的方法消除了光照对人脸识别的负面影响，提高了人脸识别的准确性。在此基础上采用卷积神经网络训练口罩识别的模型，实现了在学生戴口罩情况下的识别；

步骤4：采用dlib所标注的68个特征点的36到45点(即双眼所涉及的特征点)来进行眨眼检测，从而判断当前是照片还是真人，实现活体检测的功能。

与现有技术相比，本发明的有益效果是：

(1)利用基于机器学习的dlib的深度残差网络，对人脸特征进行提取，提高了人脸识别的精度，实现了在学生带口罩情况下的人脸识别。

(2)采用嵌入式GPU加速平台，利用其在大数据的并行运算中有着更高的效率与更稳定的可靠性，对人脸检测与识别算法进行加速处理，达到更好的实时性能，实现了校园里对学生人脸的更快更精准的实时识别。

(3)设计人脸识别显示界面，对摄像头采集到的人脸图像实时处理并显示在显示屏上，实现了学生信息的实时显示。

(4)通过设置报警门禁联动装置，学校可以对体温高于所设标准的学生及时区分开来采取隔离措施，避免人员接触，且对于外来人员禁止进入，更好地实现了疫情下的校园封闭管理。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明提供的一种基于嵌入式GPU的人脸识别测温校园门禁系统的嵌入式框架结构示意图。

图2为本发明提供的一种基于嵌入式GPU的人脸识别测温校园门禁系统中人脸检测算法流程图。

图3为本发明提供的一种基于嵌入式GPU的人脸识别测温校园门禁系统中人脸检测与识别算法流程图。

图4为本发明提供的一种基于嵌入式GPU的人脸识别测温校园门禁系统的操作流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

实施例1

参照图1，一种基于嵌入式GPU的人脸识别测温校园门禁系统，包括学校人员信息后台管理、人脸检测与识别模块、人脸识别显示界面设计、嵌入式GPU并行加速单元，红外测温摄像装置、显示装置以及报警门禁联动装置等，学校人员信息后台管理记录了学生个人信息，报警门禁联动装置负责将检测出高温的学生区分开来并上报管理，人脸检测与识别单元主要实现人脸检测、人脸识别、口罩识别、活体检测等。人脸识别显示界面对红外测温装置捕捉到的人脸信息进行实时处理和显示。再使用嵌入式GPU并行加速单元对数据进行加速计算处理，提高算法的运行效率。

1.学校人员信息后台管理耦合连接有学生人脸库、学生身份信息、学生感染病史三个模块。学生人脸库模块，用于采集在校学生的人脸信息，进行编号登记，并录入到库中以便摄像头捕捉到人脸时与库中人脸信息及时进行匹配；学生身份信息模块，用于登记学生的姓名、学号、身份证号码、家庭住址以及家庭联系人等基本信息。学生感染病史模块，用于登记学生在过去是否感染过或者接触过传染病患者或者传染病密切接触者。

2.检测识别单元包括人脸检测、人脸识别、口罩识别、活体检测等功能。首先通过摄像头对图像进行读取，对图像进行一系列预处理，对处理结果采用基于灰度特征的Adaboost算法，实现对人脸的检测，然后使用dlib提取人脸的128D特征，训练人脸模型，生成训练集的txt和npy文件，然后对训练集与测试集计算欧氏距离并与阙值进行比较，得到识别结果。再对图像进行口罩识别和活体检测，将结果汇总后实时显示于屏幕。

(1)在进行人脸检测和人脸识别之前，需要先对图像进行预处理。对图像预处理的步骤有图像灰度化、直方图均衡化、图像缩放、图像裁剪及边缘检测等。为了进一步减弱光照和自然环境对人脸识别准确性的影响，本专利采用了基于gamma灰度校正的方法。

(2)人脸检测使用的是基于灰度特征的Adaboost算法。此方法将人脸区域看作是一种模式，将人脸检测看成区分人脸和非人脸的分类问题，步骤如图2。<1>训练分类器。①首先使用Haar特征来对图像中是否存在人脸进行判断，特征模板中白色区域像素和减去黑色区域像素和就是矩形特征的特征值。②然后需要对每个特征都求取一个弱分类器，使该弱分类器对进行训练的样本的分类效果最佳。③接下来对其进行迭代，得到各个弱分类器的识别效果，并根据识别效果分别设置对应的权重，将若干个弱分类器组合成强分类器。④最后将分类器进行级联以提高人脸检测的效率。<2>加载分类器。使用分类器类CascadeClassifier定义一个分类器对象face_cascade，然后使用face_cascade.load(“haarcascade_frontalface_alt.xml”)便可将人脸分类器载入到face_cascade对象中。<3>加载图像。通过VideoCapture类定义一个对象videoCap作为我们的摄像头，并定义一个Mat类对象srcImage，可通过videoCap>>srcImage指令来将摄像头捕获到的图像的加载到srcImage。<4>人脸检测。首先使用detectMultiScale函数，得到人脸数据，检测到的人脸数据被保存到faces向量组中，再使用rectangle函数将人脸进行框选，就得到了带有方形框的人脸图像。

(3)人脸识别采用opencv和dlib相结合的方法。①首先使用卷积神经网络检测出所有的人脸区域②然后使用dlib的“dlib_face_recognition_resnet_model_v1.dat”这个训练好的resnet模型，提取训练集的128D特征，再利用机器学习的方法训练出人脸模型。③将训练集计算得到的人脸模型的128D特征存入txt和npy文件中，方便以后使用。④将摄像头检测到的人脸与之前录入的人脸库的128D特征计算欧氏距离，如果距离较小就可以判定为一个人。在我们的大量实验后选择了d＝0.42作为判断是否为同一个人的阙值。由于这个算法需要实时获取摄像头的内容并进行计算比对，所以计算量较大，摄像头的视频可能会发生卡顿，所以我们使用了嵌入式GPU进行加速，保证识别的准确性和实时性。

(4)人脸识别的活体检测功能主要使用dlib所标注出的68个特征点的36到45点(即双眼所涉及的特征点)来判断人是否进行正常的眨眼，进而判断是真人还是用照片代替的“假人”。首先将这10个点进行直线拟合数据缓冲，计算出眼睛的闭合程度，再根据所设置的阙值对眨眼行为进行判断，计算出眨眼的频率，从而判断是否为真人。

(5)人脸识别的口罩识别部分采用卷积神经网络进行特征的提取，它所输出的结果是每幅图像的特定特征空间。①首先构建口罩训练模型的训练集和测试集，将带口罩的视为正样本，没带口罩的视为负样本，把训练的数据和测试数据放入对应的文件夹中，对数据进行裁剪、灰度化、直方图均衡化等预处理操作。②构建小型的卷积神经网络，训练模型，使用生成器使模型适合于数据并将模型保存下来。③为了将模型更精确，我们进行了数据增强。我们对训练样本进行了一系列的随机变换，生成了更多的训练数据，使用这些训练集对模型进行训练可以有效地提高模型的精度。

3.基于Qt的人脸识别界面的设计

在Qt中通过对槽函数的编写，可实现UI界面的功能。为防止UI卡顿，本发明将系统分为主线程和子线程两个部分，其中UI以及一些一般的处理由主线程负责，人脸特征提取与比对的数据处理由子线程负责。下面是基于Qt设计人脸识别界面的过程步骤：

(1)主线程负责进行摄像头的采集图像并显示在UI上，为了采集图像的精确性，其过程近似于实时处理，所以在系统中设置定时器进行定时处理，多次实验后，将在Qt中的定时器设置定时时间长度设定为35ms，理论上大概每秒能获取28帧图像，基本满足采集图像实时性的要求，在此基础上，进行面部的定位并显示在UI上。

(2)子线程负责人脸特征提取与比对，设置部分处理函数为可控的死循环，设置bool变量对死循环进行控制，并使主线程和子线程之间通信。

(3)使用Qt的“信号与槽”的功能，利用连接函数将信号和槽函数相连，把需要传递的数据置于信号中，在信号发射后，执行相应的槽函数，完成线程之间的通信，UI就可以显示处理后的信息.

4.嵌入式GPU加速单元负责加速图像处理技术。利用GPU并行加速计算的CUDA平台,对CUDA平台的GPU并行加速技术进行了分析。在CUDA平台上实现HOG特征抽取，在HOG特征抽取中添加图像缩放的优化步骤。遍历目标图像的每个像素的位置(x,y),按照一定的比例从原图src中找该点(x,y)的附近的四个点，然后根据一定的权重和四个点的像素值算出目标图像(x,y)的像素值。权重的计算为双线性插值。利用双线性插值实现图像缩放发挥了CUDA并行化编程优势。而后进行并行化图像处理算法，由于每个位置像素的计算都是独立的，所以可以利用一个线程计算一个像素，再通过调整线程块的数量和每个线程块线程的数量，改善了算法的性能。调用CUDAAPI中的存储器管理函数对显存进行操作，再调用CUDA中的并行计算函数kernel进行计算。从而实现了嵌入式GPU加速单元加速图像处理的最大化性能调优。

5.红外测温摄像装置基于其红外测温工作原理，同时通过人体温度补偿、温度自动校正等技术实现准确的、快速的测温和高温报警。对学生进行免接触测温，降低了疫情传播的风险，提高了校园门禁的安全性。

6.显示装置采用了CRT显示器。其具有可视化范围广阔，色彩还原度高，色度均匀可调节、响应时间极短以及成本低廉功耗小等优点。更好的服务于此校园门禁系统。

7.报警门禁联动装置采用纯硬件设计，脱离电脑的控制，实现门禁系统与报警系统的联动联控。门禁报警联动装置连接门禁控制器和报警主机的报警主机键盘口，在使用时，人脸识别和体温检测输出韦根数据DATA1和DATA0到门禁报警联动装置，将韦根数据作为允许报警系统的布防或者撤防依据，进行硬件协议联防联控，当人脸检测识别算法识别为外来人员或红外测温装置检测到体温高于所设标准时启动报警系统，同时门禁不打开，并将报警信息实时传送到学校后台。

参照图4，本发明中，学生通过在学校人员信息后台管理模块中注册学生个人身份信息并采集存储学生的面部特征，在学生日常进入校园上学时，人脸检测与识别算法对当前人脸特征进行采集，并与数据库中已有的人脸特征进行对比，当匹配度达到所设阈值时则认为是同一个人，进一步地，当学生戴口罩进入校园时，检测识别单元会加大眼睛、眉毛、额头等面部特征的比重并与数据库中特征进行对比，当匹配度达到阈值时则认为是同一个人；与此同时，红外测温装置会对学生体温进行采集并与所设温度阈值对比，实时地，在基于Qt的人脸识别界面上更新并显示当前学生的体温等信息。当学生人脸识别通过并且温度低于所设标准时门禁打开，学生可以顺利进入校园；当学生人脸识别不通过时，或者检测到体温高于所设标准时，启动报警系统，门禁不打开，学生留在校外等候校内管理人员采取相应措施。进一步地，当有人用数据库中相同人脸照片来进行人脸检测时，检测识别单元会根据学生是否眨眼等微动作进行活体检测，当认定当前学生人脸为照片时，门禁不予通过，确保对校园内的学生健康做出掌控。在门禁完成对学生的人脸检测识别与体温检测时，经过基于Qt的人脸识别界面，对学生的正常数据以及异常数据进行整理存储和实时显示，完成对学生进出信息的记录和显示。

虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (2)

1.一种基于嵌入式GPU的人脸识别测温校园门禁系统，其特征在于：包括学校人员信息后台管理单元、人脸检测与识别单元、人脸识别显示界面单元、嵌入式GPU并行加速单元、红外测温摄像装置、显示装置以及报警门禁联动装置；

其中：

学校人员信息后台管理单元耦合连接有学生人脸库、学生身份信息、学生感染病史三个模块，通过建立学生人脸库对学生人脸特征进行提取，并编号登记；设立学生身份信息模块对学生的姓名、学号、身份证号码等基本信息进行登记，便于与人脸信息建立联系；设立学生感染病史模块对学生过去是否感染过或者接触过传染病患者进行统计；

人脸检测与识别单元包括人脸检测、人脸识别、口罩识别、活体检测；

人脸识别显示界面设计采用基于Qt跨平台的C++图形用户界面应用程序框架，将系统分为主线程和子线程两部分，主线程主要负责UI及一些一般的处理，子线程负责人脸特征提取与比对的数据处理，在主线程与子线程之间进行通信，获取摄像头图像进行面部定位并显示在IU上，实现了人脸图像信息的实时显示；

嵌入式GPU并行加速单元通过搭建嵌入式GPU平台实现对人脸检测与识别单元算法的并行加速，利用GPU并行加速计算的CUDA平台,对CUDA平台的GPU并行加速技术进行了改进优化；

报警门禁联动装置提供一种纯硬件结构的报警门禁联动装置，脱离软件和电脑的控制，利用韦根协议，将报警系统与门禁系统融合起来，将韦根协议输入接口外接门禁系统的韦根数据接口，实现了当人脸识别和体温检测通过时，将开门信号输入门禁控制器，报警系统自动撤防同时门禁系统打开。

2.根据权利要求1所述的一种基于嵌入式GPU的人脸识别测温校园门禁系统，其特征在于：人脸检测与识别包括如下步骤：

步骤1：基于灰度特征的Adaboost算法，将人脸区域看成一种模式，先训练分类器、加载分类器，然后加载图像，最后使用detectMultiScale函数得到人脸数据，再使用rectangle函数将人脸进行框选，得到带有方形框的人脸图像，实现人脸检测；

步骤2：采用opencv和dlib相结合的方法，使用卷积神经网络检测出所有的人脸区域，利用机器学习训练出人脸模型，再将摄像头采集到的人脸信息与人脸库中的128D特征比对，计算欧氏距离，如果距离小于阈值即可判断是为同一个人，实现人脸识别；

步骤3：采用卷积神经网络进行人脸特征的提取，使用了dlib的深度残差网络，得到128位的人脸特征向量；同时使用了基于gamma灰度校正的方法消除了光照对人脸识别的负面影响，提高了人脸识别的准确性。在此基础上采用卷积神经网络训练口罩识别的模型，实现了在学生戴口罩情况下的识别；

步骤4：采用dlib所标注的68个特征点的36到45点(即双眼所涉及的特征点)来进行眨眼检测，从而判断当前是照片还是真人，实现活体检测的功能。

Images