CN115862172A

CN115862172A - 一种带有表情识别的考勤系统

Info

Publication number: CN115862172A
Application number: CN202211128477.9A
Authority: CN
Inventors: 陈营营; 吕太之; 李智涛
Original assignee: Jiangsu Maritime Institute
Current assignee: Jiangsu Maritime Institute
Priority date: 2022-09-16
Filing date: 2022-09-16
Publication date: 2023-03-28

Abstract

一种带有表情识别的考勤系统，数据采集单元后台数据分析系统连接；图像处理单元和数据采集单元电性连接；图形处理单元通过消息队列发送数据进入数据处理单元，进行数据流式分析，再将分析结果存入数据库中，数据采集单元包含两台高清网络摄像头，安装在教室两边的顶部，清晰准确的采集学生人脸特征图像作为课堂考勤的凭证，采集人脸表情图像用于表情识别，两台摄像头用于实时观测课堂情况，为图形处理单元提供人脸特征信息和表情数据。本发明根据数据采集单元采集的图像统计学生在课堂上的出勤状态。可以在节省人力成本的情况下，做到无感知考勤。而且本发明中还设有表情识别功能，能够适用于多种场景，扩展了考勤系统的功能。

Description

一种带有表情识别的考勤系统

技术领域

本发明属于考勤系统，涉及一种带有表情识别的考勤系统。

背景技术

考勤系统是指一套管理校园和公司的考勤记录等相关情况的管理系统。是考勤软件与考勤硬件结合的产品，一般为学生工作处和HR部门使用，掌握并管理校园的学生和企业的员工出勤动态。目前用的比较多的是有指纹考勤机，打卡机等。但是这些考勤系统并不适用于学校的学生，特别是大学的学生，在大学，上课的教室不固定，上课的人数和班级也不固定，如果使用指纹，那么指纹机要预选设定所有学生的指纹，这明显是不现实的。所以上学中的考勤一般依靠上课老师根据上课人的名单进行点名，效率低，而且存在冒名顶替的情况。

发明内容

1.所要解决的技术问题：

如果解决学生特别是大学生上下课考勤的问题。

2.技术方案：

为了解决以上问题，本发明提供了一种带有表情识别的考勤系统，包括数据采集单元，和图像处理单元。其中，数据采集单元通过无线局域网和后台数据分析系统连接；图像处理单元和数据采集单元电性连接；图形处理单元通过消息队列发送数据进入数据处理单元，进行数据流式分析，再将分析结果存入数据库中，所述数据采集单元包含两台高清网络摄像头，安装在教室两边的顶部，清晰准确的采集学生人脸特征图像作为课堂考勤的凭证，采集人脸表情图像用于表情识别，两台摄像头用于实时观测课堂情况，为图形处理单元提供人脸特征信息和表情数据。

优先的，所述两台高清网络摄像头，安装在第一承载板上，所述第一承载板通过下支块和第二承载板相连，机盒安装在第二承载板上，其内腔底部设有正反转马达，所述正反转马达的右侧动力输出端设置有管杆所述管杆上固接有圆盘座所述高清网络摄像头安装在圆盘座上。

优先的，所述高清网络摄像头以每秒30帧的速度捕捉学生人脸特征信息和表情数据，将400万像素的图像通过内置的图像服务器以H264的方式封装为视频流，再以RTSP协议推送为图像队列，在局域网内广播一个实时直播流。

优先的，所述图形处理单元包含一张专用图形处理器，安装在教师用课堂管理电脑中。

优先的，所述数据处理单元包括发送数据所使用的消息队列Kafka和处理数据所用的一个流式大数据引擎Flink，分布式部署在教学用数据处理平台上，在接受消息队列生产的大量数据的前提下，提供实时的分析结果。

优先的，图形处理单元用于搭建深度学习平台，使用TensorFlow构建基于卷积神经网络的深度学习模型，使用的深度学习算法从数据采集单元推送的实时视频流中捕获所需数据，首先使用基于多任务学习的卷积神经网络模型从每一帧图像中获取人脸的边界数据，做人脸检测；再使用FaceNet框架从裁剪之后的图像感兴趣区域中提取人脸的特征值，并且和后台的学生人脸数据库作对比认证，以提供课堂考勤状态的基础数据。

优先的，表情识别的方法为：将图像传入基于卷积神经网络的表情识别模型，进行基于卷积神经网络的表情识别，模型由两个部分组成：图像预处理模块和卷积神经网络表情识别模块，图像预处理模块首先将图像的分辨率调整成为识别所需要的分辨率，然后再将图像转换为灰度图片，以去除多余的干扰因素，然后再将预处理过的图像传入人脸检测器，得到图像中所有人脸的位置信息，再将这些位置信息和图像一并传入所述表情识别神经网络的降维模块，以突破卷积的瓶颈，在网络深度增加的同时，没有带来额外的性能损失，然后将输入模型的特征图调整至48×48的尺寸，以便后期进行统一处理，第一层卷积操作可以分为两层，先使用深度为32，边长为1的卷积核做步长为1的卷积，再连续两次使用深度为64，边长为3的卷积核做步长为1的卷积，再做一次边长为2的最大池化，结束第一层的操作，第二层是两个深度为64，边长分别为3和5的卷积核，做步长为1的卷积，再做一次边长为2的最大池化，最后使用Flatten拉直，连续两层全连接网络，随机丢去一半的神经元防止过拟合，输出预测结果，获取人脸特征数据和表情数据。

优先的，通过表情识别获得学生的情绪变化，能偶对教学质量进行评估。

优先的，通过表情识别能够关注到长时间出现异常情绪的学生，起到学生心理预警的作用。

优先的，还包括客户端程序，客户端程序使用B/S架构设计，包含浏览器页面、终端机版本应用与移动应用端应用，负责与用户的交互、向用户提供注册界面、登陆界面、查询界面、编辑界面、表情管理界面、心理预警查询界面以及对应的功能，当用户选择相应的功能和操作后，所述客户端程序执行相应的数据请求，并操纵相应的数据库，在客户端上显示出对应的页面内容。

3.有益效果：

本发明根据数据采集单元采集的图像统计学生在课堂上的出勤状态。由于是采用的是图像处理单元传送的数据，因此，可以在节省人力成本的情况下，做到无感知考勤，大大提高了考勤的效率，而且本发明中还设有表情识别功能，能够适用于多种场景，扩展了考勤系统的功能。

附图说明

图1是本发明的结构示意图。

图2是表情识别的考勤系统中神经网络设计图。

具体实施方式

下面结合附图对本发明进行详细说明。

如图1所示：一种用于课堂管理的考勤装置，包括数据采集单元，和图像处理单元，。其中，数据采集单元5，通过无线局域网和后台数据分析系统连接；图像处理单元13，与数据采集单元电性连接；图形处理单元13，通过消息队列发送数据进入数据处理单元进行数据流式分析，再将分析结果存入数据库中。所述数据采集单元包含两台高清网络摄像头5，安装在第一承载板上。所述第一承载板通过下支块3，和第二承载板4相连。机盒6，安装在第二承载板4上，其内腔底部设有正反转马达1，所述正反转马达10，的右侧动力输出端设置有管杆11，所述管杆11，上固接有圆盘座12，所述摄像头安装在圆盘座12上。

对学生进行考勤的方法为：获取的人脸数据和学生数据库中人脸数据的比对结果、在所述的校园管理用人脸识别的考勤系统中手动更新签到状态。对教学质量进行评价的方法包括：学生出勤率、课堂中学生积极情绪的出现次数、课堂中学生消极情绪的出现次数。由于是采用的是图像处理单元传送的数据，因此，可以在节省人力成本的情况下，做到无感知考勤，大大提高了考勤的效率，对比于传统的考勤方式具有极大的优势。还可以根据班级动态显示课堂总人数，并且根据图像处理单元的数据实时更新考勤状态，最后将考勤结果可视化为直观的图表，显示班级的出勤率、签到人数、缺勤人信息。为了防止意外情况，本单元还设有补签功能，可以手动调整签到状态。

在一个实施例中，所述数据采集单元包含两台高清网络摄像头，安装在教室两边的顶部，确保在不影响课堂教学的前提下，清晰准确的采集学生人类特征数据作为课堂考勤的凭证，采集人脸表情数据作为评价教学质量的标准。两台摄像头用于实时观测课堂情况，为图形处理单元提供人脸特征信息和表情数据。摄像头以每秒30帧的速度捕捉学生人脸特征信息和表情数据，将400万像素的图像通过内置的图像服务器以H264的方式封装为视频流，再以RTSP协议推送为图像队列，在局域网内广播一个实时直播流。通过这种方式采集数据，接受主机获取视频流的方式多样，成本较低。视频流本身也具有高码率和低延时的特点。

如图2所示，在一个实施例中，所述图形处理单元包含一张专用图形处理器，安装在教师用课堂管理电脑中，确保通风条件良好，可以在静音的条件下做大量的浮点运算。图形处理单元可以在不产生噪音的前提下，提供高精度、低延时的预测结果，作为数据分析单元和教学质量可视化分析平台的数据来源。图形处理单元用于搭建深度学习平台，使用TensorFlow构建基于卷积神经网络的深度学习模型。本单元使用的深度学习算法可以从数据采集单元推送的实时视频流中捕获所需数据，首先使用基于多任务学习的卷积神经网络模型从每一帧图像中获取人脸的边界数据，做人脸检测；再使用FaceNet框架从裁剪之后的图像感兴趣区域中提取人脸的特征值，并且和后台的学生人脸数据库作对比认证，以提供课堂考勤状态的基础数据，这一步称为人脸检测。然后再对图像感兴趣区域做人脸分析，将图像传入基于卷积神经网络的表情识别模型，进行基于卷积神经网络的表情识别。所述模型由两个部分组成：图像预处理模块和卷积神经网络表情识别模块。图像预处理模块首先将图像的分辨率调整成为识别所需要的分辨率，然后再将图像转换为灰度图片，以去除多余的干扰因素。然后再将预处理过的图像传入人脸检测器，得到图像中所有人脸的位置信息，再将这些位置信息和图像一并传入所述表情识别神经网络的降维模块，以突破卷积的瓶颈，在网络深度增加的同时，没有带来额外的性能损失。然后将输入模型的特征图调整至48×48的尺寸，以便后期进行统一处理。第一层卷积操作可以分为两层，先使用深度为32，边长为1的卷积核做步长为1的卷积，再连续两次使用深度为64，边长为3的卷积核做步长为1的卷积，再做一次边长为2的最大池化，结束第一层的操作。第二层是两个深度为64，边长分别为3和5的卷积核，做步长为1的卷积，再做一次边长为2的最大池化。最后使用Flatten拉直，连续两层全连接网络，随机丢去一半的神经元防止过拟合，输出预测结果。通过以上方式获取人脸特征数据和表情数据，图像处理单元就可以确保以当下最为先进的深度学习算法提供精确的信息给数据处理单元做实时数据分析，最后呈现在教学质量可视化分析平台中的结果也更加具有权威性。

在一个实施例中，还包括客户端程序，客户端程序使用B/S架构设计，包含浏览器页面、终端机版本应用与移动应用端应用，负责与用户的交互、向用户提供注册界面、登陆界面、查询界面、编辑界面、表情管理界面、心理预警查询界面以及对应的功能，当用户选择相应的功能和操作后，所述客户端程序执行相应的数据请求，并操纵相应的数据库，在客户端上显示出对应的页面内容。

所述客户端程序可以是手机客户端或电脑客户端或平板电脑客户端。

由于存在表情识别，可以应用于教学质量评估，通过表情识别关注于学生在课堂中的情绪变化，以得出学生的专注度变化。作为教师教学质量的评价标准。

也可以应用于学生心理预警，实时观测学生课堂上的状态，并且重点关注于长时间出现异常情绪的学生，及时将有关情况通知相关负责人。所述学生心理预警单元以学生为单位，集中分析课堂中每一个学生的情绪变化，以极低的时间成本，获得每一位学生最为真实的情况。

Claims

1.一种带有表情识别的考勤系统，其特征在于：包括数据采集单元（5）和图像处理单元（13），其中，数据采集单元（5）通过无线局域网和后台数据分析系统连接；图像处理单元（13）和数据采集单元（5）电性连接；图形处理单元（13）通过消息队列发送数据进入数据处理单元（5）进行数据流式分析，再将分析结果存入数据库中，所述数据采集单元（5）包含两台高清网络摄像头，安装在教室两边的顶部，清晰准确的采集学生人脸特征图像作为课堂考勤的凭证，采集人脸表情图像用于表情识别，两台摄像头用于实时观测课堂情况，为图形处理单元（13）提供人脸特征信息和表情数据。

2.如权利要求1所述的带有表情识别的考勤系统，其特征在于：所述两台高清网络摄像头，安装在第一承载板（1）上，所述第一承载板（1）通过下支块（3）和第二承载板（4）相连，机盒（6）安装在第二承载板（4）上，其内腔底部设有正反转马达（10），所述正反转马达（10）的右侧动力输出端设置有管杆（11），所述管杆（11）上固接有圆盘座（12），所述高清网络摄像头安装在圆盘座（12）上。

3.如权利要求1所述的带有表情识别的考勤系统，其特征在于：所述高清网络摄像头以每秒30帧的速度捕捉学生人脸特征信息和表情数据，将400万像素的图像通过内置的图像服务器以H264的方式封装为视频流，再以RTSP协议推送为图像队列，在局域网内广播一个实时直播流。

4.如权利要求1所述的带有表情识别的考勤系统，其特征在于：所述图形处理单元（13）包含一张专用图形处理器，安装在教师用课堂管理电脑中。

5.如权利要求1所述的带有表情识别的考勤系统，其特征在于：所述数据处理单元（5）包括发送数据所使用的消息队列Kafka和处理数据所用的一个流式大数据引擎Flink，分布式部署在教学用数据处理平台上，在接受消息队列生产的大量数据的前提下，提供实时的分析结果。

6.如权利要求1-5任一项权利要求所述的带有表情识别的考勤系统，其特征在于：图形处理单元（13）用于搭建深度学习平台，使用TensorFlow构建基于卷积神经网络的深度学习模型，使用的深度学习算法从数据采集单元推送的实时视频流中捕获所需数据，首先使用基于多任务学习的卷积神经网络模型从每一帧图像中获取人脸的边界数据，做人脸检测；再使用FaceNet框架从裁剪之后的图像感兴趣区域中提取人脸的特征值，并且和后台的学生人脸数据库作对比认证，以提供课堂考勤状态的基础数据。

7.如权利要求1-5任一项权利要求所述的饿带有表情识别的考勤系统，其特征在于：表情识别的方法为：将图像传入基于卷积神经网络的表情识别模型，进行基于卷积神经网络的表情识别，模型由两个部分组成：图像预处理模块和卷积神经网络表情识别模块，图像预处理模块首先将图像的分辨率调整成为识别所需要的分辨率，然后再将图像转换为灰度图片，以去除多余的干扰因素，然后再将预处理过的图像传入人脸检测器，得到图像中所有人脸的位置信息，再将这些位置信息和图像一并传入所述表情识别神经网络的降维模块，以突破卷积的瓶颈，在网络深度增加的同时，没有带来额外的性能损失，然后将输入模型的特征图调整至48×48的尺寸，以便后期进行统一处理，第一层卷积操作可以分为两层，先使用深度为32，边长为1的卷积核做步长为1的卷积，再连续两次使用深度为64，边长为3的卷积核做步长为1的卷积，再做一次边长为2的最大池化，结束第一层的操作，第二层是两个深度为64，边长分别为3和5的卷积核，做步长为1的卷积，再做一次边长为2的最大池化，最后使用Flatten拉直，连续两层全连接网络，随机丢去一半的神经元防止过拟合，输出预测结果，获取人脸特征数据和表情数据。

8.如权利要求1-5任一项权利要求所述的饿带有表情识别的考勤系统，其特征在于：通过表情识别获得学生的情绪变化，能偶对教学质量进行评估。

9.如权利要求1-5任一项权利要求所述的饿带有表情识别的考勤系统，其特征在于：通过表情识别能够关注到长时间出现异常情绪的学生，起到学生心理预警的作用。

10.如权利要求1-5任一项权利要求所述的饿带有表情识别的考勤系统，其特征在于：还包括客户端程序，客户端程序使用B/S架构设计，包含浏览器页面、终端机版本应用与移动应用端应用，负责与用户的交互、向用户提供注册界面、登陆界面、查询界面、编辑界面、表情管理界面、心理预警查询界面以及对应的功能，当用户选择相应的功能和操作后，所述客户端程序执行相应的数据请求，并操纵相应的数据库，在客户端上显示出对应的页面内容。