CN114255509A

CN114255509A - 一种基于OpenPose的学生监督辅助工具

Info

Publication number: CN114255509A
Application number: CN202010997291.1A
Authority: CN
Inventors: 高聪; 张瑞婷; 陈煜喆
Original assignee: Xian University of Posts and Telecommunications
Current assignee: Xian University of Posts and Telecommunications
Priority date: 2020-09-21
Filing date: 2020-09-21
Publication date: 2022-03-29

Abstract

在学习过程中，通过摄像头对小学生的实时动作进行监控，通过使用深度学习人体检测模型的人体目标进行检测，再使用OpenPose提取出人体目标骨架特征向量，并将提取出来的人体骨架特征向量送入离线训练号的小学生动作识别分类器进行识别分类，最后将识别出来的人体目标有不安心学习的单帧图像缓冲保存，如果该图像短时间内出现次数过多进行报警提示，从而实现对中小学生非学习状态行为的识别与监测。通过数据统计和与家长互联实现对学生学习的监督和辅助。

Description

一种基于OpenPose的学生监督辅助工具

技术领域

本发明属于计算机智能学习领域，涉及一种基于OpenPose的中小学生学习行为识别方法。

背景技术

中小学生的学习行为监督是多年来被人们广泛关注的问题，特别是近年来经济发展迅速，家长由于工作限制无法常伴孩子左右，更无法实时对孩子的学习进行监督和管理，对于尚未完善自身学习和控制能力的中小学生(主要是小学生) 而言，通过监护人对他们学习过程中行为的监督、管教，他们可以改正自己学习过程中的不良习惯，为将来的学习和工作打下良好的行为基础。随着视频分析和人工智能技术的发展与进步，可以通过视频监控实时进行检测和识别越来越多的事件、行为，例如拍照扫码、人脸识别、身份认证等，同样通过视频分析可以对中小学生学习中行为动作进行检测和识别，辅助家长和老师对中小学生学习进行有效的监督和管理。

目前国内外用于人体动作分析的技术很多，但用于学习过程中非学习状态行为动作检测的却很少。基于OpenPose的动作识别技术，例如，基于OpenPose姿态检测的人体分段式跟踪方法CN 201911323046.6，一种通过提取人体关节坐标的行为识别方法CN201911045944.X等。以上两篇专利对人体动作的识别都是通过分部分识别完成的，一方面对于数据的采集需要根据人的关节点划分部分，需要大量的数据比较麻烦；另一方面系统模型会很麻烦，对硬件要求高。因此一个实时、高效、简单，对平台要求不太高的中小学生学习行为识别方法可以对中小学生学习过程中非学习状态行为起到有效的监督效果，中小学生学习不自觉地行为习惯可以逐渐减少，从而督促中小学生养成良好的学习习惯。

针对以上问题的分析，OpenPose是一个基于卷积神经网络(CNN)和监督学习(SL)并以Caffe为框架开发的一个开源库，可以实现人体动作、面部表情、手指运动等姿态估计。本发明提出了一种基于OpenPose的学生写作业时体态监测分析及效率评估系统，用以解决上述问题。

发明内容

本发明基于中小学生学习行为和现有技术训练样本集困难，对硬件平台要求高的问题，提出了一种基于OpenPose的中小学生学习行为识别方法，实现了对中小学生非学习状态行为实时、较为准确的监管，且对硬件要求不高。为实现上述目的，本发明采用如下技术方案。

1、动作监控与识别

一种基于OpenPose的中小学生学习行为识别方法，包括人体目标骨架特征提取、中学生非学习状态行为识别和长时间非学习状态报警提示三个步骤：

步骤S1:人体目标骨架特征提取：使用深度学习人性检测器，对单帧视频图像进行人体目标检测，并将人体目标位置标记出来：通过OpenPose将人体目标图像进行人体骨架特征提取，并将提取的人体骨架特征向量化为人体骨架特征向量；

步骤S2:中小学生非学习状态行为动作识别：对标记出来的人体目标位置进行识别，判断是否有非学习状态行为；

步骤S3:长时间非学习状态报警提示：将识别出非学习状态行为进行图像保存，规定时间内缓存图像过多，即非学习状态行为时间过长进行报警提示。

为了更好地实现本发明，所述步骤S2，具体还包括以下步骤：

步骤S2.1:收集学习状态行为动作的正样本图片集和非学习状态行为动作的负样本图片集；

步骤S2.2:通过Openpose提取正样本图片集和负样本图片集中的人体骨架特征向量，并将提取的人体骨架特征向量整理为训练数据集；

步骤S2.3:使用所述步骤S2.2中的整理的训练数据集训练ResNet中小学生非学习状态行为动作识别分类器模型；所述ResNet中小学生非学习状态行为动作识别分类器模型为离线训练模型，分为挠头、抠手、揉眼睛、打哈欠、视线转移、点头睡着六种动作模型；

步骤S2.4:使用所述步骤S2.3中的ResNet中小学生非学习状态行为动作识别分类器模型实时对人体骨架特征向量进行分类识别；

为了更好地实现本发明，所述步骤S2.4设置有置信度阈值，当对人体骨架特征向量进行分类识别时，系统将置信度超过非学习状态行为中某种类型动作阈值的人体目标判定为有此类型行为，并对置信度超过该类型动作阈值的该人体目标进行此种动作类型状态标记，将包含同种类型动作被标记的人体目标的单帧视频图像放入对应动作类别的缓冲队列中，且从零开始标号；若某类别动作队列中图片编号等于二，将该图片置为该队列的报警提示图片。

为了更好地实现本发明，所述步骤S3具体是指：各类别非学习状态行为缓存队列缓存最近N帧对置信度超过该类非学习状态动作阈值的人体目标进行状态标记并编号的图片；若报警提示图片为该动作类别缓存队列中的第三帧报警提示图片，则将第三帧报警图片进行缓存，然后推送被缓存报警图片进行报警，将该动作类别缓存队列标记序号重新从零开始，并退出决策报警环节。

为了更好地实现本发明，所述报警图片如果不是该动作类别缓存队列中的第三帧报警图片，则将该动作类别缓存队列中的该动作类别非第三帧报警图片与该动作类别缓存队列中的报警图片依次进行人脸匹配；用户事先设置该动作类别非第三帧报警图片与该动作类别缓存队列中的报警图片的匹配度阈值H、该动作类别非第三帧报警图片与该动作类别缓存队列中的报警图片的匹配度超过匹配度 H的个数阀值M：若该动作类别非第三帧报警图片与该动作类别缓存队列中的报警图片匹配度超过匹配度H的个数总和大于个数阈值M，则缓存该动作类别非第三帧报警图片，然后推送被缓存报警图片进行报警，将该动作类别缓存队列标记序号重新从零开始，并退出决策报警环节。

为了更好地实现本发明，当该动作类别非第三帧报警图片与该动作类别缓存队列中的报警图片匹配度超过匹配度H的个数总和大于个数阈值M时，先判定该动作类别缓存队列是否超时，若超时，则清空缓存报警队列中的报警图片，并缓存该与该动作类别缓存队列中的报警图片匹配度超过匹配度H的个数总和大于个数阈值M的该动作类别非第三帧报警图片，然后推送被缓存报警图片进行报警，将该动作类别缓存队列标记序号重新从零开始，并退出决策报警环节。

2、数据统计

具体内容：在一定时间内动作分析出现非同类别学习行为达到三次报警之后，每一次记录报警的时间，并统计在设置的学习时间内出现报警的次数，学习完成后显示学习时间内报警统计图。

具体步骤：

步骤S1:设置初始报警次数为零；

步骤S2:获得非学习动作分析报警信息，报警次数加一，并再向报警信息表中记录对应报警时间的信息；

步骤S3:设置学习时间完成后，显示全部报警信息统计表，并显示学习程度；

为了更好地实现本发明，所述步骤S1，具体还包括以下步骤：

步骤S1.1:设置学习时间：开始时间和学习时长；

步骤S1.2:设置初始报警次数为零；

步骤S1.3:初始化报警信息统计表；

步骤S1.4:初始化学习程度评分标准：学习时间内报警次数小于等于5为优秀；学习时间内报警次数大于5小于等于10为优良；学习时间内报警次数大于10为良；

为了更好地实现本发明，所述步骤S3，具体还包括以下步骤：

步骤S3.1:判断学习时间是否完成；

步骤S3.2:若学习时间完成，显示报警信息统计表；若学习时间未完成则继续进行学习监督；

步骤S3.3:若完成显示全部报警信息，匹配报警次数与学习程度评分标准；

步骤S3.4:显示学习程度评分。

3、家长互联

具体内容：家长若想要了解学生的近期学习信息，可以发送请求给系统，系统进行信息匹配，反馈数据统计的信息；家长若想实时监控学生当前的学习状态，可以发送请求给系统，系统进行信息匹配，反馈实时监控得到的监控视频信息。具体步骤：

步骤S1:判断家长请求，进行信息匹配；

步骤S2:反馈信息；

步骤S1.1:获得家长联网的请求；

步骤S1.2:匹配请求信息，若是想要了解学生的近期学习信息，连接数据统计；若想实时监控学生当前的学习状态，连接实时监控；

为了更好地实现本发明，反馈信息时，若连接数据统计，则反馈报警信息统计表；若连接实时监控，则反馈实时监控视频。

本发明与现有技术相比，具有以下优点和有益效果：

1)对硬件性能的要求较低；

2)报警实时，三次同类别非学习状态行为动作单帧图像为输出的报警结果；

3)通过单帧视频图像中人体骨架特征向量进行动作识别，对光照变换具有较高的适应性，识别精确。

附图说明

为了更清楚的说明本发明实施的技术方案，下面将对发明的主要过程所设计的步骤用流程图加以说明，以下附图仅示出了本发明的某些实例，因此不应被看作是对范围的限定，凡是在不脱离本发明的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均属于本发明保护的范围。

图1为整体功能模块设计图；

图2为中小学生非学习状态行为动作检测整体流程图；

图3为提取人体目标骨架特征流程图；

图4为决策报警提示流程图；

图5为实际运行绿色框标记人体目标示意图；

图6为OpenPose的骨骼结构图。

Claims

1.整体方案需求：

需要设计方案来解决中小学生尤其小学生在做作业和自习过程中的体态分析动作分析表情、手指、手腕、肘关节、肩膀、脖子、头、眼睛、鼻子、嘴巴的动作。识别这些基础的内容目的是统计这些比较全的各类数据，分析当前学生的心理、精神、学习状态。当前学习效率的评估是否走神了、是否专注学习的时间过长了、是否已经产生疲劳了等等。

2.整体方案：

在学习过程中，对小学生的实时动作进行监控，通过使用深度学习人体检测模型的人体目标进行检测，再使用OpenPose提取出人体目标骨架特征向量，并将提取出来的人体骨架特征向量送入离线训练号的小学生动作识别分类器进行识别分类，最后将识别出来的人体目标有不安心学习的单帧图像缓冲保存，如果该图像短时间内出现次数过多进行报警提示。

在每次学习开始之前，预先设定好的学习时间，结束后将全部不安心学习的图像个数进行统计，做出随时间变化小学生专心程度的统计图，在统计图波动比较大的数据点展现此时刻对应学生不安心学习的图像，并最终对此次学习过程进行标准评判，做出对应的学习评分。

为了更好地帮助孩子，可以与家长的手机联网，家长可以实时通过监控看到孩子的状态，并且可以随时获取孩子最近学习状态统计图。

3.基于OpenPose的算法改进，特征在于：

1)由于本方案需求仅是单人监督辅助，CPM模型设置3-stage，仅保留初始阶段和前三个单个阶段即可。

2)用1×1和3×3的卷积核代替5×5和7×7的卷积核，不仅可以增加函数的判别能力、减少参数的数量、减少运算量，而且3x3卷积核有利于更好地保持图像性质。

3)随着姿势估计的训练网络越来越深，出现了训练变得越来越难，过深的网络性能反而不如相对较浅的网络。因此使用残差网络架构在训练集上的效果会越好。

4.根据权利要求1、权利要求2和权利要求3所述的一种基于OpenPose的学生学习监督辅助工具，其特征在于，第一步具体包括：

1)获取采集学生的体态数据和面部表情数据，可通过摄像头拍摄监控视频，并对单帧图像进行检测和识别。

2)将采集到的数据利用基于OpenPose改进的算法对学生的体态进行建模。采用人体骨骼关键点特征提取方法，人在静止或者运动中骨骼关键点都会表现出不同的运动轨迹、肢体角度变化等，以此来分析学生的行为动作。目前检测人体骨骼关键点的自上而下的算法有PMPE、CFN、Mask RCNN、G-RMI；对于采集到的关键点之间关系的相关建模算法有Asssociative Embedding、Mid-Range offsets、PAF。此工具采用的建模方式也是基于上述的多种算法并进行改进的，以达到对学生骨骼关键点的准确采集及建模分析。

5.基于权利1和权利2的步骤，还包括神经网络模型训练模块，其特征在于：

针对不同状态条件下的学生体态和面部表情的图片，比如打哈欠、伸懒腰、挠头等非学习状态行为，搜集下载多种不同条件下的人在状态不集中、人脸疲劳的图片，再利用已有的数据比如翻转、平移或旋转，创造出更多的数据，来使得神经网络具有更好的泛化效果。利用面部表情识别程序进行训练。通过视频图像内容进行标准化、统一化的标记。建立对比数据库。

6.基于权利5所述的神经网络训练模块，实现体态检测。其特征在于：

对学生体态以及面部表情模型进行深度学习训练，通过对样本的模型训练测试，通过我们基于OpenPose改进的算法对采集到的数据和建立的模型进行不同动作的分类及识别工作。将伸懒腰、挠头、打哈欠等动作训练成模板模型，得出可供对比的模型。将采集到的体态数据分析后与模板对比，根据对比相似度判断学生当前的坐姿状态，并设置一个阈值，超过阈值且短时间内捕捉到多帧超过阈值的图像则语音提醒学生注意坐姿。

综上所述，用机器视觉技术，采用图像处理与卷积神经网络相结合的方法，通过摄像头采集到的人脸图像数据进行采样，通过网络模型训练学习动作和面部特征，实现对学生状态的判断。