CN113469001A - 一种基于深度学习的学生课堂行为检测方法 - Google Patents

一种基于深度学习的学生课堂行为检测方法 Download PDF

Info

Publication number
CN113469001A
CN113469001A CN202110703914.4A CN202110703914A CN113469001A CN 113469001 A CN113469001 A CN 113469001A CN 202110703914 A CN202110703914 A CN 202110703914A CN 113469001 A CN113469001 A CN 113469001A
Authority
CN
China
Prior art keywords
students
training
classroom
behavior
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110703914.4A
Other languages
English (en)
Inventor
刘复昌
潘志庚
曹明亮
丁丹丹
张明敏
梁应滔
梁应鸿
胡丽平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jiudi Digital Technology Co ltd
Original Assignee
Guangzhou Jiudi Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jiudi Digital Technology Co ltd filed Critical Guangzhou Jiudi Digital Technology Co ltd
Priority to CN202110703914.4A priority Critical patent/CN113469001A/zh
Publication of CN113469001A publication Critical patent/CN113469001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的学生课堂行为检测方法，涉及行为识别技术领域，其技术方案要点是：S1、制成数据库；S2、将原始数据集按比例分为训练集、验证集及测试集，利用yolo_v3检测算法获取图像中学生的位置信息，根据学生的位置信息，利用Opencv裁剪学生图像，将图像统一缩放为224×224；S3、通过数据扩容的方式扩大训练集；S4、将ResNet50网络结构作为预训练模型进行训练，并据验证集的验证结果对网络结构进行微调，训练得到分类模型；S5、利用训练的模型结构测试测试集，观察图像分类情况与实际情况的差异，得模型的分类效果，并保存分类结果。该方法可检测识别学生课堂行为，能够帮助教师掌握学生上课状态、调整教学方式，并可作为教学评价的重要依据。

Description

一种基于深度学习的学生课堂行为检测方法
技术领域
本发明涉及行为识别技术领域，更具体地说，它涉及一种基于深度学习的学生课堂行为检测方法。
背景技术
课堂是学生学习知识、接受教育的重要场所。随着社会技术的不断发展，教育改革的不断深入，对课堂教学质量进行信息化、智能化分析的要求越来越急迫。采用信息化手段对课堂中学生的行为进行实时的观测、处理和分析，不仅可以提醒学生注意规范自己在课堂上的行为，帮助教师管理课堂，也可以反映出课堂氛围好坏，帮助教师改进教学方式。
目前，专门研究学生课堂行为识别的较少,常用的经典分析系统主要有S-T教学分析法、弗兰德斯互动分析方法(FIAS)、国际数学与科学趋势研究方法(TIMSS)、基于信息技术的互动分析系统(ITIAS)等。但是，通过对目前各种分析系统的分析过程进行进一步了解即可发现，大部分研究过程都存在的共同的不足和问题是：现有的方法标记操作逻辑复杂、容易产生误操作，手工标注效率较低。
因此，本发明旨在设计提供一种基于深度学习的学生课堂行为检测方法，以解决上述问题。
发明内容
本发明的目的是为了克服上述技术问题，提供一种基于深度学习的学生课堂行为检测方法，该方法通过建立原始数据库，并将该数据送入基于卷积神经网络的识别系统，得到预训练模型，并对预训练模型进行不断地优化后，可以很好地识别教学领域的学生课堂行为，并且能够更加有效、有针对性地帮助教师了解到课堂中学生上课的情况，便于老师对学生的上课情况做出有效的评估。
本发明的上述技术目的是通过以下技术方案得以实现的：一种基于深度学习的学生课堂行为检测方法，具体包括以下步骤：
S1、收集图片数据，制成数据库；
S2、将原始数据集按比例分为训练集、验证集以及测试集，然后利用yolo_v3检测算法获取图像中学生的位置信息，并根据学生的位置信息，利用Opencv裁剪学生图像，将图像统一缩放为224×224；
S3、数据增强，通过数据扩容的方式扩大训练集，以确保迁移学习算法的效果；
S4、使用ResNet50网络结构作为预训练模型进行训练，并据验证集的验证结果对网络结构进行微调，训练得到的分类模型用于后期学生图像的行为识别；
S5、利用训练好的模型结构对测试集进行测试，并观察图像分类情况与实际情况之间的差异，得到模型的分类效果，并保存分类结果。
进一步地，步骤S1中制成所述数据库的具体方法为：
1)获取多个学生在教室里上课的视频文件，且所述视频文件来源于多个不同的课堂；
2)提取步骤1)中所述的视频文件中的关键帧图像，并进行数据筛选与处理，去除所述视频文件中的非课堂场景部分，并对课堂场景部分进行均匀采样，生成jpg格式图片数据集；
3)行为统计，统计课堂场景部分中学生的行为类别总数，舍弃出现频率低的，选择课堂场景部分中出现频率最高的行为类别。
进一步地，步骤S2中的利用yolo_v3检测算法获取图像中学生的位置信息的具体方法为：
A、将训练集图像输送至yolo_v3检测框架中，通过yolo_v3将图像分割为S*S个格子，每一个格子负责该区域的物体检测，且输出该格子的目标物体类别；
B、定义训练标签，对每个网格定义向量yi，则：
yi＝[Pc，bx，by，bn，bw，c1，cn]；
其中，Pc表示是否含有目标对象，(bx，by)表示目标物体的中点，(bn，bw)分别表示边界框的高和宽，这些数字均根据边界框位置与图像大小的关系进行缩放，(c1，cn)依次表示是否含有训练集中第1到第n类的目标对象；
C、通过卷积神经网络中的前向操作提取每个格子中的特征，并使用定位算法与分类技术识别每个格子，输出每个格子中目标对象图像的左上角坐标以及裁剪框的宽与高；
D、组合S*S个格子的标签以获得最终目标输出y。
进一步地，步骤S3中所述的数据扩容的具体方式包括仿射变化、翻转变化、平移变换、尺度变换、对比度变换、噪声扰动、灰度值设置为零、设置部分像素值为零、中值模糊、均值模糊、颜色变化。
综上所述，本发明具有以下有益效果：
1、本发明的方法利用卷积神经网络的迁移学习、抗干扰能力强的特点，通过对学生上课图像进行特征提取，能够很好地识别学生的课堂行为，并且能对学生在课堂上的行为进行可量化的观察和数据处理；
2、本发明的该方法可以很好地识别教学领域的学生课堂行为，如：举手、低头、侧身、趴桌和端正五类行为，便于更加有效、有针对性地帮助教师了解到课堂中学生上课的情况，并根据这种对学生课堂行为识别对学生的上课情况做出有效的评估。
附图说明
图1是本发明实施例中的流程图；
图2是本发明实施例中制作数据库的流程图。
具体实施方式
以下结合附图1-2对本发明作进一步详细说明。
实施例：一种基于深度学习的学生课堂行为检测方法，如图1所示，包括以下步骤：
S1、收集图片数据，制成自己的数据库，实验数据来源于17个不同课堂，经采集、筛选和处理、行为统计步骤完成数据集制作；
S2、将原始数据集按比例分为训练集、验证集以及测试集，利用yolo_v3检测算法获取图像中学生的位置信息，根据学生位置信息利用Opencv裁剪学生图像，并将图像统一缩放为224*224；
S3、数据增强，为了保证迁移学习算法的效果，通过数据扩容的方式扩大训练集，具体数据扩容方式包括仿射变化、翻转变化、平移变换、尺度变换、对比度变换、噪声扰动、灰度值设置为零、设置部分像素值为零、中值模糊、均值模糊，颜色变化等；
S4、使用ResNet50网络结构作为预训练模型进行训练，根据验证集的验证结果对网络进行微调，训练得到的分类模型用于后期学生图像行为识别；
S5、利用训练好的模型结构对测试集进行测试，观察图像分类情况与实际情况之间的差异，得到模型的分类效果，保存分类结果。
如图2所示，为步骤S1中制成数据库的流程示意图，包括以下步骤：
1)、获得多个学生在教室里上课的视频文件，视频分辨率为1920(水平)×1080(垂直)，学生人数为30人，对这30个人上课时的情景进行录像。
2)、去除视频中非课堂场景部分，并对课堂部分视频做均匀采样，提取步骤1)视频文件中的关键帧图像，生成jpg格式图片数据集，得到3000张图像，并做存储；
3)、经统计各课堂场景中学生行为类别总数为9个，其中4个出现频率低，课堂场景中出现类别最多为举手、低头、侧身、趴桌和端正5个。
数据处理好后，学生行为识别是基于ResNet50预训练模型结构进行训练。该方法也被称为迁移学习，迁移学习是指一种学习对另一种学习的影响，由于学习活动总是建立在已有的知识经验之上的，这种利用己有的知识经验不断地获得新知识的过程，可以被称为广义的迁移学习。
基于深度学习的学生行为识别算法中选用的激活函数为ReLU，ReLU函数的表达式以及导数表达式分别为：
f(x)＝max(0,x)
Figure BDA0003130431380000061
在基于深度学习的学生课堂行为识别中，我们使用平方损失函数，平方损失函数是线性回归模型中常用的最优化目标函数，也是基于ResNet50预训练模型进行训练的损失函数,公式为：
L(Y，f(X))＝(Y-(f(x))2。
在学生行为识别算法中所使用的优化方法为随机梯度下降算法。
经过以上一系列的步骤，最终该方法能够成功检测学生的行为属于举手、低头、侧身、趴桌和端正五类行为中的哪一类，并且举手、低头、侧身、趴桌和端正这五类动物的准确率分别为81.2％、96.3％、94.9％、82.1％、93.8％。从结果上看，该方法可以达到识别学生课堂行为的目的。
在本发明的上述实施例中，本发明的方法利用卷积神经网络的迁移学习、抗干扰能力强的特点，通过对学生上课图像进行特征提取，能够很好地识别学生的课堂行为，并且能对学生在课堂上的行为进行可量化的观察和数据处理；该方法可以很好地识别教学领域的学生课堂行为，如：举手、低头、侧身、趴桌和端正五类行为，便于更加有效、有针对性地帮助教师了解到课堂中学生上课的情况，方便老师根据这种对学生课堂的行为识别对学生的上课情况做出有效的评估。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (4)

1.一种基于深度学习的学生课堂行为检测方法，其特征是：具体包括以下步骤：
S1、收集图片数据，制成数据库；
S2、将原始数据集按比例分为训练集、验证集以及测试集，然后利用yolo_v3检测算法获取图像中学生的位置信息，并根据学生的位置信息，利用Opencv裁剪学生图像，将图像统一缩放为224×224；
S3、数据增强，通过数据扩容的方式扩大训练集，以确保迁移学习算法的效果；
S4、使用ResNet50网络结构作为预训练模型进行训练，并据验证集的验证结果对网络结构进行微调，训练得到的分类模型用于后期学生图像的行为识别；
S5、利用训练好的模型结构对测试集进行测试，并观察图像分类情况与实际情况之间的差异，得到模型的分类效果，并保存分类结果。
2.根据权利要求1所述一种基于深度学习的学生课堂行为检测方法，其特征是：步骤S1中制成所述数据库的具体方法为：
1)获取多个学生在教室里上课的视频文件，且所述视频文件来源于多个不同的课堂；
2)提取步骤1)中所述的视频文件中的关键帧图像，并进行数据筛选与处理，去除所述视频文件中的非课堂场景部分，并对课堂场景部分进行均匀采样，生成jpg格式图片数据集；
3)行为统计，统计课堂场景部分中学生的行为类别总数，舍弃出现频率低的，选择课堂场景部分中出现频率最高的行为类别。
3.根据权利要求1所述一种基于深度学习的学生课堂行为识别方法，其特征是：步骤S2中的利用yolo_v3检测算法获取图像中学生的位置信息的具体方法为：
A、将训练集图像输送至yolo_v3检测框架中，通过yolo_v3将图像分割为S*S个格子，每一个格子负责该区域的物体检测，且输出该格子的目标物体类别；
B、定义训练标签，对每个网格定义向量yi，则：
yi＝[Pc，bx，by，bn，bw，c1，cn]；
其中，Pc表示是否含有目标对象，(bx，by)表示目标物体的中点，(bn，bw)分别表示边界框的高和宽，这些数字均根据边界框位置与图像大小的关系进行缩放，(c1，cn)依次表示是否含有训练集中第1到第n类的目标对象；
C、通过卷积神经网络中的前向操作提取每个格子中的特征，并使用定位算法与分类技术识别每个格子，输出每个格子中目标对象图像的左上角坐标以及裁剪框的宽与高；
D、组合S*S个格子的标签以获得最终目标输出y。
4.根据权利要求1所述的一种基于深度学习的学生课堂行为检测方法，其特征是：步骤S3中所述的数据扩容的具体方式包括仿射变化、翻转变化、平移变换、尺度变换、对比度变换、噪声扰动、灰度值设置为零、设置部分像素值为零、中值模糊、均值模糊、颜色变化。
CN202110703914.4A 2021-06-24 2021-06-24 一种基于深度学习的学生课堂行为检测方法 Pending CN113469001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110703914.4A CN113469001A (zh) 2021-06-24 2021-06-24 一种基于深度学习的学生课堂行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110703914.4A CN113469001A (zh) 2021-06-24 2021-06-24 一种基于深度学习的学生课堂行为检测方法

Publications (1)

Publication Number Publication Date
CN113469001A true CN113469001A (zh) 2021-10-01

Family

ID=77872723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110703914.4A Pending CN113469001A (zh) 2021-06-24 2021-06-24 一种基于深度学习的学生课堂行为检测方法

Country Status (1)

Country Link
CN (1) CN113469001A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989608A (zh) * 2021-12-01 2022-01-28 西安电子科技大学 基于顶部视觉的学生实验课堂行为识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291840A (zh) * 2020-05-12 2020-06-16 成都派沃智通科技有限公司 一种学生课堂行为识别系统、方法、介质及终端设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291840A (zh) * 2020-05-12 2020-06-16 成都派沃智通科技有限公司 一种学生课堂行为识别系统、方法、介质及终端设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989608A (zh) * 2021-12-01 2022-01-28 西安电子科技大学 基于顶部视觉的学生实验课堂行为识别方法

Similar Documents

Publication Publication Date Title
CN111291840A (zh) 一种学生课堂行为识别系统、方法、介质及终端设备
CN109543777B (zh) 手写汉字书写质量评价方法及系统
CN110334610A (zh) 一种基于计算机视觉的多维度课堂量化系统及方法
CN111027865B (zh) 基于行为和表情识别的教学分析与质量评估系统及方法
CN110837795A (zh) 基于课堂监控视频的教学情况智能监测方法、装置及设备
KR20220111634A (ko) 온라인 오프라인 결합형 다차원 교육 ai 학교 시스템
CN111339902B (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN111507227B (zh) 基于深度学习的多学生个体分割及状态自主识别方法
CN112183238A (zh) 一种远程教育注意力检测方法及系统
CN108345833A (zh) 数学公式的识别方法及系统和计算机设备
CN115240259A (zh) 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统
CN115907507A (zh) 一种联合课堂场景的学生课堂行为检测和学情分析方法
CN113469001A (zh) 一种基于深度学习的学生课堂行为检测方法
Yang et al. Student in-class behaviors detection and analysis system based on CBAM-YOLOv5
CN114187640A (zh) 一种基于线上课堂的学情观察方法、系统、设备及介质
CN113989608A (zh) 基于顶部视觉的学生实验课堂行为识别方法
CN110941976A (zh) 一种基于卷积神经网络的学生课堂行为识别方法
CN117058752A (zh) 一种基于改进YOLOv7的学生课堂行为检测方法
CN108009537A (zh) 一种识别问卷批改得分的方法
CN111611854A (zh) 一种基于模式识别的课堂情况评价方法
CN113688789B (zh) 一种基于深度学习的在线学习投入度识别方法及系统
CN115953836A (zh) 线下课堂学生课堂行为智能识别和认知状态关联方法
CN113723233B (zh) 一种基于分层时序多示例学习的学生学习参与度评估方法
CN111444877B (zh) 一种基于视频照片的教室人数识别方法
CN115471773A (zh) 一种面向智慧教室的学生跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211001