CN114708525A - 一种基于深度学习的学生课堂行为识别方法及系统 - Google Patents
一种基于深度学习的学生课堂行为识别方法及系统 Download PDFInfo
- Publication number
- CN114708525A CN114708525A CN202210218864.5A CN202210218864A CN114708525A CN 114708525 A CN114708525 A CN 114708525A CN 202210218864 A CN202210218864 A CN 202210218864A CN 114708525 A CN114708525 A CN 114708525A
- Authority
- CN
- China
- Prior art keywords
- student
- classroom
- behavior
- deep learning
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及计算机视觉和行为识别领域，公开了一种一种基于深度学习的学生课堂行为识别方法，包括以下步骤：S1：采集学生课堂视频，制作数据集；S2：进行数据增强，扩大数据集；S3：训练目标检测网络得到学生目标检测模型；S4：训练分类网络得到学生课堂行为分类模型；S5：按照设定间隔帧数对课堂视频进行图像提取，提取后的每帧图像根据目标检测结果构建学生目标框，每个学生目标框对应一种课堂行为。该方法可以识别学生课堂行为，准确率较高，能够帮助教师回顾课堂情况，提升教学水平，改善教学方式。此外，本发明还公开了一种基于深度学习的学生课堂行为识别系统。
Description
技术领域
本发明涉及计算机视觉和行为识别领域，具体涉及一种基于深度学习的学生课堂行为识别方法。
背景技术
随着信息数字化的不断发展，在教学过程中使用多媒体技术进行教学以并录制上课视频已成为常态，教师可以根据录制的视频对学生课堂行为进行分析。学生课堂行为状态是评估教师教学水平的重要方式之一，教师也可以根据学生上课的状态得到反馈，调整教学方法与方式，以达到更好的教学效果。在传统的教学过程中，教师得到学生课堂行为反馈只能通过上课观察或课后回看上课视频的方式，上课观察的方式不能全面观察到每一位学生，而课后回看的方式需要消耗大量的时间以及精力，并且记录过程比较繁琐，在实际操作方面有很大困难。
对深度学习算法的深入研究，使其在教育教学领域也得到了广泛运用，如人脸识别、目标检测等，甚至在某些领域已经逐渐超越了人工方式。使用深度学习算法进行学生课堂行为识别可以大大减少教师课后需要投入的时间精力，在一定程度上有助于教师在其他方面改善教学方法，同时使学生了解自己的上课状态，进行及时调整，以提高学习成绩。
发明内容
本发明的目的在于提供一种基于深度学习的学生课堂行为识别方法及系统，可以对获取的视频图像中学生课堂行为进行分析，有助于教师得到教学反馈，提高教学水平。
本发明的目的是通过以下技术方案实现的：一种基于深度学习的学生课堂行为识别方法，具体包括以下步骤：
S1：采集学生课堂视频，制作数据集；
S2：进行数据增强，扩大数据集；
S3：训练目标检测网络得到学生目标检测模型；
S4：训练分类网络得到学生课堂行为分类模型；
S5：按照设定间隔帧数对课堂视频进行图像提取，提取后的每帧图像根据目标检测结果构建学生目标框，每个学生目标框对应一种课堂行为。
进一步的，所述步骤S1中制作目标检测数据集的方法为：模拟上课情况录制学生课堂视频，学生做出常见课堂行为动作，按照设定间隔帧数对视频进行图像提取，对提取后的图像标记不同学生目标框；制作分类数据集的方法为：根据目标检测数据集中标记的学生目标框对学生图像进行截取，并确定相应课堂行为类别标签，包括正常状态、站立状态，趴桌状态、举手状态、转身状态。
进一步的，所述步骤S2中进行数据增强的方法包括：翻转变化、旋转变化、对比度变化，添加噪声。
进一步的，所述步骤S3中目标检测网络为YOLOv5，经过训练的目标检测模型可以用于构建学生目标框，获取图像中学生所在位置信息。
进一步的，所述步骤S4中分类网络为经过改进的ShuffleNetV2，对ShuffleNetV2添加了SE注意力机制模块，经过训练的分类模型可以用于对学生课堂行为进行分类。
进一步的，所述步骤S5每帧图像根据目标检测结果构建学生目标框，每个学生目标框对应一种课堂行为，该新算法将YOLOv5与改进的ShuffleNetV2相结合，把目标检测出的学生目标框截取下来直接送入分类网络进行分类。
进一步的，所述新算法检测后的学生目标框上直接显示学生课堂行为类别标签。
一种基于深度学习的学生课堂行为识别系统，其特征在于，包括：
上传模块，上传课堂视频；
识别模块，对学生课堂行为进行识别；
反馈模块，将学生本节课的行为状态反馈给教师。
综上所述，本发明的技术方案所带来的有益效果在于：
1.本发明通过模拟课堂情况录制视频，制作数据集，并使用数据增强的方法扩充数据集，解决了深度学习在课堂行为识别领域没有官方数据集的问题；
2.本发明使用YOLOv5目标检测算法和改进的ShuffleNetV2分类算法相结合的方式，对目标检测算法截取出的学生目标框直接进行分类，减少了无关信息的干扰。教师可以通过该算法获取学生上课情况，有助于教学水平的提高。
附图说明
图1为本发明提出的基于深度学习的学生课堂行为识别方法的流程图；
图2为本发明制作数据集的流程图；
图3为本发明提出的基于深度学习的学生课堂行为识别系统模块。
具体实施方式
下面结合附图对本发明做进一步的描述。
如图1所示，本发明提供了一种基于深度学习的学生课堂行为识别方法，其流程包括以下步骤：
S1：采集学生课堂视频，制作数据集，模拟上课情况录制视频，按照设定间隔提取图像作为数据集；
S2：进行数据增强，对进行分类网络训练时需要使用的课堂行为数据集进行翻转变化、旋转变化、对比度变化，添加噪声，扩大数据集；
S3：训练目标检测网络得到学生目标检测模型，目标检测使用YOLOv5网络，训练好的模型可以进行检测学生目标，构建学生目标框，并得到学生位置信息；
S4：训练分类网络得到学生课堂行为分类模型，分类网络为经过改进的ShuffleNetV2，对ShuffleNetV2添加了SE注意力机制模块，经过训练的分类模型可以用于对学生课堂行为进行分类
S5：按照设定间隔帧数对课堂视频进行图像提取，提取后的每帧图像根据目标检测结果构建学生目标框，每个学生目标框对应一种课堂行为。
如图2所示，为制作数据集的流程图，其流程包括以下步骤：
(1)模拟上课状态录制视频，学生做出课堂常见行为动作；
(2)从录制的模拟课堂视频每隔1s提取一帧图像，用labelme对学生目标框进行标记作为目标检测数据集，用于后续学生目标检测网络的训练；
(3)根据目标检测数据集中标记的学生目标框对学生图像进行截取，并确定相应课堂行为类别标签，包括正常状态、站立状态，趴桌状态、举手状态、转身状态，作为分类数据集，用于学生课堂行为分类网络的训练。
对分类数据集进行数据增强，扩充了分类数据集。
对YOLOv5目标检测网络进行训练，得到目标检测模型，训练好的模型可以对输入的课堂图片检测学生目标，得到学生目标框，并得到学生的位置信息。
对改进的ShuffleNetV2分类网络进行训练，改进的ShuffleNetV2网络添加了注意力机制，其准确率比ShuffleNetV2高，训练好的模型可以对输入的学生图片进行课堂行为分类，得到学生课堂行为标签。
新算法将YOLOv5和改进的ShuffleNetV2相结合，输入一张课堂图片后，该算法先根据训练好的目标检测模型对图片上的学生目标进行检测，在图片上画出学生目标框，根据学生目标框的位置将学生图片截取下来，直接送入分类网络，训练好的分类网络模型对学生图片进行分析，得到学生课堂行为标签，展示在已经画好的学生目标框上，该算法可以直接在输入的图片上画出学生目标框及其课堂行为类别。
如图3所示，本发明提供了一种基于深度学习的学生课堂行为识别系统，包括以下模块：
上传模块，教师将待分析的课堂视频上传至该系统；
识别模块，系统按照教师设定频率，如10s/次，对上传视频进行图像提取，并进行学生课堂行为识别及标注，识别后的图像显示学生目标框及其行为标签，对识别结果进行记录保存；
反馈模块，系统将识别结果反馈给教师，教师可以获取不同学生课堂行为占比，了解学生课堂行为状态，以改善教学质量。
经过上述步骤，该方法能够成功识别学生目标及学生正常、站立、趴桌、举手、转身的行为，准确率达到了99.4％，达到了实际应用的水平。
以上所述仅是对本发明的具体解释，并不用于限制本发明的保护范围。本领域的技术人员凡在本申请的精神和原则之内，所作的任何显而易见的修改、替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种基于深度学习的学生课堂行为识别方法，其特征在于，包括：
S1：采集学生课堂视频，制作数据集；
S2：进行数据增强，扩大数据集；
S3：训练目标检测网络得到学生目标检测模型；
S4：训练分类网络得到学生课堂行为分类模型；
S5：按照设定间隔帧数对课堂视频进行图像提取，提取后的每帧图像根据目标检测结果构建学生目标框，每个学生目标框对应一种课堂行为。
2.根据权利要求1所述的一种基于深度学习的学生课堂行为识别方法，其特征在于，所述步骤S1中制作目标检测数据集的方法为：模拟上课情况录制学生课堂视频，学生做出常见课堂行为动作，按照设定间隔帧数对视频进行图像提取，对提取后的图像标记不同学生目标框；制作分类数据集的方法为：根据目标检测数据集中标记的学生目标框对学生图像进行截取，并确定相应课堂行为类别标签，包括正常状态、站立状态，趴桌状态、举手状态、转身状态。
3.根据权利要求1所述的一种基于深度学习的学生课堂行为识别方法，其特征在于，所述步骤S2中进行数据增强的方法包括：翻转变化、旋转变化、对比度变化，添加噪声。
4.根据权利要求1所述的一种基于深度学习的学生课堂行为识别方法，其特征在于，所述步骤S3中目标检测网络为YOLOv5，经过训练的目标检测模型可以用于构建学生目标框，获取图像中学生所在位置信息。
5.根据权利要求1所述的一种基于深度学习的学生课堂行为识别方法，其特征在于，所述步骤S4中分类网络为经过改进的ShuffleNetV2，对ShuffleNetV2添加了SE注意力机制模块，经过训练的分类模型可以用于对学生课堂行为进行分类。
6.根据权利要求1所述的一种基于深度学习的学生课堂行为识别方法，其特征在于，所述步骤S5每帧图像根据目标检测结果构建学生目标框，每个学生目标框对应一种课堂行为，该新算法将YOLOv5与改进的ShuffleNetV2相结合，把目标检测出的学生目标框截取下来直接送入分类网络进行分类。
7.根据权利要求6所述的一种基于深度学习的学生课堂行为识别方法，其特征在于，新算法将YOLOv5与改进的ShuffleNetV2相结合，把目标检测出的学生目标框截取下来直接送入分类网络进行分类，其特征在于，检测后的学生目标框上直接显示学生课堂行为类别标签。
8.一种基于深度学习的学生课堂行为识别系统，其特征在于，包括：
上传模块，上传课堂视频；
识别模块，对学生课堂行为进行识别；
反馈模块，将学生本节课的行为状态反馈给教师。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210218864.5A CN114708525A (zh) | 2022-03-04 | 2022-03-04 | 一种基于深度学习的学生课堂行为识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210218864.5A CN114708525A (zh) | 2022-03-04 | 2022-03-04 | 一种基于深度学习的学生课堂行为识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114708525A true CN114708525A (zh) | 2022-07-05 |
Family
ID=82168771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210218864.5A Pending CN114708525A (zh) | 2022-03-04 | 2022-03-04 | 一种基于深度学习的学生课堂行为识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708525A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471773A (zh) * | 2022-09-16 | 2022-12-13 | 北京联合大学 | 一种面向智慧教室的学生跟踪方法及系统 |
| CN115907507A (zh) * | 2022-10-13 | 2023-04-04 | 华中科技大学 | 一种联合课堂场景的学生课堂行为检测和学情分析方法 |
| CN115984956A (zh) * | 2022-12-16 | 2023-04-18 | 北京师范大学 | 一种人机协同学生课堂投入度多模态可视分析系统 |
| CN116437139A (zh) * | 2023-03-06 | 2023-07-14 | 广州开得联软件技术有限公司 | 课堂视频录制方法、装置、存储介质和设备 |
| CN116433431A (zh) * | 2023-04-14 | 2023-07-14 | 华中师范大学 | 一种基于图像处理技术的教师教学状态自动评价方法及系统 |
-
2022
- 2022-03-04 CN CN202210218864.5A patent/CN114708525A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471773A (zh) * | 2022-09-16 | 2022-12-13 | 北京联合大学 | 一种面向智慧教室的学生跟踪方法及系统 |
| CN115471773B (zh) * | 2022-09-16 | 2023-09-15 | 北京联合大学 | 一种面向智慧教室的学生跟踪方法及系统 |
| CN115907507A (zh) * | 2022-10-13 | 2023-04-04 | 华中科技大学 | 一种联合课堂场景的学生课堂行为检测和学情分析方法 |
| CN115907507B (zh) * | 2022-10-13 | 2023-11-14 | 华中科技大学 | 一种联合课堂场景的学生课堂行为检测和学情分析方法 |
| CN115984956A (zh) * | 2022-12-16 | 2023-04-18 | 北京师范大学 | 一种人机协同学生课堂投入度多模态可视分析系统 |
| CN115984956B (zh) * | 2022-12-16 | 2023-08-29 | 北京师范大学 | 一种人机协同学生课堂投入度多模态可视分析系统 |
| CN116437139A (zh) * | 2023-03-06 | 2023-07-14 | 广州开得联软件技术有限公司 | 课堂视频录制方法、装置、存储介质和设备 |
| CN116437139B (zh) * | 2023-03-06 | 2024-04-12 | 广州开得联软件技术有限公司 | 课堂视频录制方法、装置、存储介质和设备 |
| CN116433431A (zh) * | 2023-04-14 | 2023-07-14 | 华中师范大学 | 一种基于图像处理技术的教师教学状态自动评价方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114708525A (zh) | 一种基于深度学习的学生课堂行为识别方法及系统 | |
| CN110334610B (zh) | 一种基于计算机视觉的多维度课堂量化系统及方法 | |
| CN109359215B (zh) | 视频智能推送方法和系统 | |
| US9666088B2 (en) | Video-based teacher assistance | |
| CN108648757B (zh) | 一种基于多维度课堂信息的分析方法 | |
| CN102411854B (zh) | 基于增强现实的课堂教学混合技术应用系统及方法 | |
| CN109698920A (zh) | 一种基于互联网教学平台的跟随教学系统 | |
| CN107918821A (zh) | 基于人工智能技术的教师课堂教学过程分析方法和系统 | |
| CN115907507B (zh) | 一种联合课堂场景的学生课堂行为检测和学情分析方法 | |
| CN113158919A (zh) | 一种用于智慧课堂的行为分析系统 | |
| CN116452022A (zh) | 教师教学效果的评价方法、装置及电子设备 | |
| Yi et al. | Real time learning evaluation based on gaze tracking | |
| CN111489596A (zh) | 一种直播教学过程中进行信息反馈的方法及装置 | |
| CN111415283A (zh) | 一种有效在线教学的因素分析方法和装置 | |
| CN111724282A (zh) | Ic制造虚拟仿真教学平台 | |
| CN110765953A (zh) | 一种多媒体教学教师签到监控方法及系统 | |
| CN113591761B (zh) | 一种视频镜头语言识别方法 | |
| CN115829234A (zh) | 基于课堂检测的自动化督导系统及其工作方法 | |
| CN114638988A (zh) | 一种基于不同呈现方式的教学视频自动化分类方法及系统 | |
| CN115878766A (zh) | 一种基于ai技术的教师经验型智能题库及其使用方法 | |
| CN113469001A (zh) | 一种基于深度学习的学生课堂行为检测方法 | |
| CN114255426A (zh) | 一种基于视频识别和语音分离技术的学生专注度评估系统 | |
| CN113723233A (zh) | 一种基于分层时序多示例学习的学生学习参与度评估方法 | |
| CN111652316A (zh) | 一种基于多媒体应用场景的ar汉字识别系统 | |
| CN111369400A (zh) | 一种基于图像数据处理的中学生学习过程监管方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |