CN110175534A - 基于多任务级联卷积神经网络的授课辅助系统 - Google Patents

Abstract

本发明方法是在高校课堂上基于多任务级联卷积神经网络的授课辅助系统，采用卷积神经网络训练人脸样本生成人脸识别模型，利用训练的结果识别人脸关键点和面部朝向，关键点包括：人眼、鼻子、嘴、脸的轮廓。根据关键点的位置分析学生听课行为，根据分析面部朝向、是否闭眼、表情和眼睛相对面部的运动轨迹，分析学生听课行为，听课行为包括：睡觉、溜号、不听课、疑惑、理解，收集听课行为并及时给出提示，通过收集的听课行为评估学生学习状态，辅助教师掌握学生听课情况。

Description

基于多任务级联卷积神经网络的授课辅助系统

技术领域

本发明方法是基于多任务级联卷积神经网络的授课辅助系统；本方法可广泛应用于机房授课场景下教师授课辅助教学的问题，基于任务级联卷积神经网络训练人脸样本数据，实现人脸关键点、人脸朝向和人脸轮廓的识别功能；通过识别结果分析听课行为，并在教师PC机和客户端PC机给予提示和建议，帮助教师及时掌握学生课堂表现。

背景技术

深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示；深度学习在人脸识别领域的应用提高了人脸识别准确率；卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关深度学习问题，最典型的卷积网络，由卷积层、池化层、全连接层组成，其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，通过若干个全连接层完成分类；通过深度学习方法可以直接将人脸图像映射到欧几里得空间，空间的距离代表了人脸图像的相似性；通过生成的映射空间与待检测人脸进行比较，完成人脸识别，验证和聚类任务。基于深度学习的人脸识别方法相比较其他方法具有精度更高、速度更快的特点。

发明内容

本发明的目的是为课堂教师及时掌握学生听课状态，并根据听课状态及时采取措施，提高授课效果；基于多任务级联卷积神经网络的授课辅助系统，采用卷积神经网络训练人脸样本，利用训练的结果识别人脸关键点和面部朝向，关键点包括：人眼、鼻子、嘴、脸的轮廓。根据关键点的位置分析学生听课行为，收集听课行为并及时给出提示，通过收集的听课行为评估学生学习状态，辅助教师掌握学生听课情况；

所需设备：采用1个服务器PC机，1个教师PC机，客户端PC机套装，一个学生配置一个客户端PC机套装，一个客户端PC机套装包括：1个罗技（Logitech）C922 高清网络摄像头，分辨率1080P/30fps，工作视角为78度；一个PC机，以及用于连接客户端PC和摄像头的线路；

方法步骤如下：

（010）部分，多任务级联卷积神经网络训练样本具体步骤如下：

步骤C011：收集学生人脸照片，每人5张不同图片，并且下载LFW人脸数据库，组建样本图片；

步骤C012：预处理样本图片，检测每张图片中人脸的矩形框，并对齐人脸，转换对齐后的人脸图片为大小160*160的图像；

步骤C013：采用多任务级联卷积神经网络训练样本，生成模型文件；

（020）部分，识别人脸关键点、面部朝向具体步骤如下：

步骤C021：采用步骤C013生成的模型文件，识别摄像头获取的视频中人脸关键点；

步骤C022：根据人脸关键点位置坐标分析面部朝向、是否闭眼、表情；

（030）部分，分析听课行为具体步骤如下：

步骤C031：根据分析面部朝向、是否闭眼、表情和眼睛相对面部的运动轨迹，分析学生听课行为，听课行为包括：睡觉、溜号、不听课、疑惑、理解；

步骤C032：根据分析得到的听课行为，记录行为发生时课程的时间点和内容，并上传服务器；对于睡觉、溜号、不听课行为同时在教师PC机和检测到该行为客户端PC机给予提示；对于疑惑、理解行为在教师PC机给予提示；教师PC机提示信息主要包括：行为的学生数量、学生位置、建议采用措施；教师根据教师PC机显示信息，采用措施提高授课效果；客户端PC机提示信息主要包括：睡觉、溜号、不听课提示；

（040）部分，分析课程授课效果具体步骤如下：

步骤C041：根据分析学生的听课行为和教师采用的措施的过程分析课程授课效果。

有益效果

本发明提出了一种基于多任务级联卷积神经网络的授课辅助系统，该系统的灵活性较高，可实时监测课堂学生听课状态，并根据学生听课状态同步教师PC机给予建议，提高学生听课效果；多任务级联卷积神经网络包含三个子网络：Proposal Network(P-Net)、RefineNetwork(R-Net)、Output Network(O-Net)，这三个网络对人脸的处理依次从粗到细，在使用这三个子网络之前，需要使用图像金字塔将原始图像缩放到不同的尺度，然后将不同尺度的图像送入这三个子网络中进行训练，目的是为了可以检测到不同大小的人脸，从而实现多尺度目标检测；通过多任务级联卷积神经网络训练生成的模型具有较高的人脸识别准确率和效率。

附图说明：

图1客户端PC机图；

图2样本数据训练流程图；

图3识别照片关键点流程图；

图4分析上课行为流程图；

具体实施方式：

首先预处理样本人脸图像，将图像中人脸区域对齐转换成大小为160*160的图像；

通过三元组损失训练样本数据，三元组损失（ Triplet Loss ）的原理是：每次都在训练数据中取出三张人脸图像，第一张图像记为xai， 第二张图像记为xpi，第三张图像记为xni

，在这样一个“三元组”中，xai和xpi 对应的是同一个人的图像，而xni 是另外一个不同的人的人脸图像；因此，距离||f(xai) - f(xpi)||₂ 应该较小，而距离||f(xai) - f(xni)||₂应该较大；三元组损失公式L_i如下：

训练生成模型文件，根据模型文件识别人脸关键点、人脸轮廓和面部朝向；

根据识别的人脸关键点、人脸轮廓和面部朝向分析听课行为睡觉、溜号、不听课、疑惑、理解，传入数据库并在教师PC机和客户端PC机显示提示和建议。

Claims (1)

1.基于多任务级联卷积神经网络的授课辅助系统，采用卷积神经网络训练人脸样本，利用训练的结果识别人脸关键点和面部朝向，关键点包括：人眼、鼻子、嘴、脸的轮廓；根据关键点的位置分析学生听课行为，收集听课行为并及时给出提示，通过收集的听课行为评估学生学习状态，辅助教师掌握学生听课情况；

所需设备：采用1个服务器PC机，1台深度学习服务器，1个教师PC机，客户端PC机套装，一个学生配置一个客户端PC机套装，一个客户端PC机套装包括：1个罗技（Logitech）C922高清网络摄像头，分辨率1080P/30fps，工作视角为78度；一个PC机，以及用于连接客户端PC和摄像头的线路；

方法步骤如下：

（010）部分，多任务级联卷积神经网络训练样本具体步骤如下：

步骤C011：收集学生人脸照片，每人5张不同图片，并且下载LFW人脸数据库，组建样本图片，使用深度学习服务器训练数据；

步骤C012：预处理样本图片，检测每张图片中人脸的矩形框，提取人脸矩形框并对齐人脸，转换对齐后的人脸图片为大小160*160的图像，由大小为160*160的人脸图像构成训练样本；

步骤C013：采用多任务级联卷积神经网络训练样本，多任务级联卷积神经网络由三个子网络构成，分别是Proposal Network(P-Net)、Refine Network(R-Net)、Output Network(O-Net) 这三个网络对人脸的处理依次从粗到细；P-Net对样本进行处理生成人脸候选框，并且给出人脸框的回归和人脸关键点定位；由于P-Net的检测时比较粗略，接下来使用R-Net进一步优化；R-Net和P-Net类似，不过这一步的输入是前面P-Net生成的边界框，输出是去除大量的非人脸框；O-Net与R-Net执行同样的操作，在输出的时候精简人脸框并带有人脸关键点；在通过损失函数训练参数得到人脸关键点识别模型文件；

（020）部分，识别人脸关键点、面部朝向具体步骤如下：

步骤C021：采用步骤C013生成的模型文件，识别摄像头获取的视频中人脸关键点；

步骤C022：根据人脸关键点位置坐标分析面部朝向、是否闭眼、表情，表情包括皱眉、笑、说话、点头；

（030）部分，分析听课行为具体步骤如下：

步骤C031：根据分析面部朝向、是否闭眼、表情和眼睛相对面部的运动轨迹，分析学生听课行为，听课行为包括：睡觉、溜号、不听课、疑惑、理解；

步骤C032：根据分析得到的听课行为，记录行为发生时课程的时间点和内容，并上传服务器；对于睡觉、溜号、不听课行为同时在教师PC机和检测到该行为客户端PC机给予提示；对于疑惑、理解行为在教师PC机给予提示；教师PC机提示信息主要包括：行为的学生数量、学生位置、建议采用措施；教师根据教师PC机显示信息，采用措施提高授课效果；客户端PC机提示信息主要包括：睡觉、溜号、不听课提示；

（040）部分，分析课程授课效果具体步骤如下：

步骤C041：根据分析学生的听课行为和教师采用的措施的过程分析课程授课效果。