CN110941976A - 一种基于卷积神经网络的学生课堂行为识别方法 - Google Patents

一种基于卷积神经网络的学生课堂行为识别方法 Download PDF

Info

Publication number
CN110941976A
CN110941976A CN201811111788.8A CN201811111788A CN110941976A CN 110941976 A CN110941976 A CN 110941976A CN 201811111788 A CN201811111788 A CN 201811111788A CN 110941976 A CN110941976 A CN 110941976A
Authority
CN
China
Prior art keywords
classroom
behavior
convolutional neural
students
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811111788.8A
Other languages
English (en)
Inventor
乔婷
苏寒松
刘高华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201811111788.8A priority Critical patent/CN110941976A/zh
Publication of CN110941976A publication Critical patent/CN110941976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于卷积神经网络的学生课堂行为识别方法，包括步骤：(1)、收集图片数据，制成自己的数据库；(2)、将步骤(1)中收集到的数据库，送入基于卷积神经网络的行为识别网络中进行一系列的训练，得到预训练模型。(3)、利用得到的预训练模型对学生课堂视频进行检测，检测学生的行为，并生成相应的包围框以及对应的行为名称。该方法可以很好地识别教学领域的学生课堂行为：举手、听讲、睡觉、回答、写字五类行为，并且能够更加有效、并且有针对性地帮助教师了解到课堂中学生上课的情况,并根据这种对学生课堂行为识别方法对学生的上课情况做出有效的评估。

Description

一种基于卷积神经网络的学生课堂行为识别方法
技术领域
本发明涉及行为识别领域，特别是涉及一种基于卷积神经网络的教学领域的学生课堂行为识别方法。
背景技术
虽然深度学习技术的应用与相关研究越来越多,但是在课堂教学分析领域,通过文献检索发现,目前结合深度学习技术的应用研究较少,缺乏有代表性的解决方案,但这并不意味着无法在课堂教学领域引入深度学习技术。事实上,在当前日益发展的信息化教学环境中,课堂教学视频录像作为记录课堂教学过程的载体,己经成为课堂教学研宄的热门研宄对象,因为它能全面完整地记录真实的教学活动。而通过对课堂教学过程进行观察发现,分析工作的主要环节是对学生行为的识别,而行为识别正是深度学习的主要应用领域之一。
常用的经典分析系统主要有S-T教学分析法、弗兰德斯互动分析方法(FIAS)、国际数学与科学趋势研究方法(TIMSS)、基于信息技术的互动分析系统(ITIAS)等。但是通过对目前各种分析系统的分析过程进行进一步了解即可发现,大部分研究过程都存在的共同的不足和问题是:标记操作逻辑复杂、容易产生误操作，手工标注效率较低。
发明内容
本发明的目的是为了克服现有技术中的不足，提供一种基于卷积神经网络的学生课堂行为识别方法，通过建立自己的数据库，并将该数据送入基于卷积神经网络的识别系统，得到预训练模型。对预训练模型进行不断地优化后，可以很好地识别教学领域的学生课堂行为：举手、听讲、睡觉、回答、写字五类行为，并且能够更加有效、并且有针对性地帮助教师了解到课堂中学生上课的情况,并根据这种对学生课堂行为识别方法对学生的上课情况做出有效的评估。
本发明的目的是通过以下技术方案实现的：
一种基于卷积神经网络的学生课堂行为识别方法，该方法包括以下步骤：
步骤(1)、收集图片数据，制成数据库，图片要求为不同课堂环境下学生的上课图片；
步骤(2)、将步骤(1)中获得的数据库，送入基于卷积神经网络的行为识别网络中进行训练，得到预训练模型；
步骤(3)、利用得到的预训练模型对学生课堂视频进行检测，检测学生的行为属于举手、听讲、睡觉、回答、写字五类行为中的哪一类，并生成相应的边框以及对应的行为名称。
进一步的，步骤(1)中所述数据库的建立流程具体包括以下步骤：
步骤(101)、获得多个学生在教室里上课的视频文件，视频分辨率至少为1280×720，并且视频背景为不同的教室，学生人数在十五人以上；
步骤(102)、提取步骤(101)视频中的关键帧图像，并进行存储；
步骤(103)、将步骤(102)中的图像通过图片标注软件LableImage进行手动标识，标出相应行为的边框以及标签，得到XML文件；
步骤(104)、将步骤(103)得到的XML文件和步骤(102)中提取得到的关键帧图像，通过代码生成相应的MLDB文件；
进一步的，步骤(2)中的训练过程包括以下步骤：
步骤(201)、数据库的图片以分辨率为300*300的三通道RGB图片作为输入，根据特征图尺寸映射出一系列默认的包围盒(Default Box)；
步骤(202)、通过一系列的卷积核进行卷积，每一层会产生固定数量的预测，包括4个位置预测以及若干类别预测；
步骤(203)、每个位置的k个默认框，使用卷积操作预测c个类别分数以及4个位置变化因子；
步骤(204)、在训练过程中，将真值与默认框进行匹配，以产生正样本和负样本；通过计算默认框与真值框的交并比(Jaccard overlap)，以进行正负样本的匹配，阈值为0.5，即与真值框的交并比(Jaccard overlap)大于0.5的设置为正样本，否则为负样本。
进一步的，步骤(203)中c个类别包括c-1个目标种类和一个背景类别。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1.本发明通过利用卷积神经网络的迁移学习、抗干扰能力强的优点，通过对学生上课图像进行特征提取，很好地达到了识别学生课堂行为的目的。并且该方法能对学生在课堂上的行为进行可量化的观察和数据处理，能够更加有效、并且有针对性地帮助教师了解到课堂中学生听课的整体情况，具有很大的实用价值。
2.该方法可以很好地识别教学领域的学生课堂行为：举手、听讲、睡觉、回答、写字五类行为，并且能够更加有效、并且有针对性地帮助教师了解到课堂中学生上课的情况，并根据这种对学生课堂行为识别方法对学生的上课情况做出有效的评估。
附图说明
图1是本发明方法的流程示意图；
图2是本发明方法中制作数据库的流程示意图；
图3是本发明方法的训练原理示意图；
具体实施方式
下面结合附图对本发明作进一步的描述。
如图1所示，为基于卷积神经网络的教学领域的学生课堂行为识别方法的流程示意图。包括以下步骤：
步骤(1)、收集图片数据，制成自己的数据库，图片要求为不同课堂环境下的上课图片；
步骤(2)、将步骤(1)中收集到的数据库，送入基于卷积神经网络的行为识别网络中进行一系列的训练，得到预训练模型。
步骤(3)、利用得到的预训练模型对学生课堂视频进行检测，检测学生的行为属于举手、听讲、睡觉、回答、写字五类行为中的哪一类，并生成相应的边框(Box)以及对应的行为名称。
如图2所示，为步骤(1)中自制数据库的流程示意图，包括以下步骤：
步骤(101)、获得多个学生在教室里上课的视频文件，视频分辨率为1280(水平)×720(垂直)。学生人数为18人。对这18个人上课时的情景进行录像，学生们分别做出举手、听讲、睡觉、回答、写字五类行为，每个动作持续360秒以上。
步骤(102)、提取步骤(101)视频中的关键帧图像，得到3000张图像，并做存储；
步骤(103)、将步骤(102)中的图片通过图片标注软件LableImage进行手动做标签，需要标出相应行为的边框以及标签，得到XML文件；
步骤(104)、将步骤(103)得到的XML文件和步骤(102)中提取得到的关键帧图像，通过./data/mydataset/creat_list.sh和./data/mydataset/creat_data.sh代码生成相应的MLDB文件；
如图3所示，为该方法的训练原理示意图，包括以下步骤：
步骤(201)、数据库的图片以分辨率为300*300的三通道RGB图片作为输入，根据特征图尺寸映射出一系列默认的包围盒(Default Box)；
步骤(202)、通过一系列的卷积核进行卷积，每一层会产生固定数量的预测，包括4个位置预测以及若干类别预测，此处固定数量的预测设置成6个；
步骤(203)、每个位置的6个默认框(Groundtruth Box)，使用卷积操作预测6个类别分数(包括5个动作种类加上一个背景类别)以及4个位置变化因子；
步骤(204)、在训练过程中，需要将真值与默认框进行匹配，以产生正样本和负样本。通过计算默认框与真值框的交并比(Jaccard overlap)，来进行正负样本的匹配，阈值为0.5。即与真值框的交并比(Jaccard overlap)大于0.5的设置为正样本，否则为负样本。
经过以上一系列的步骤，最终该方法能够成功检测学生的行为属于举手、听讲、睡觉、回答、写字五类行为中的哪一类，并且举手、听讲、睡觉、回答、写字这五类动物的准确率分别为96.3％、81.2％、94.9％、93.8％、82.1％。从结果上看，该方法可以达到识别学生课堂行为的目的。由于写字和听讲动作接近，所以准备率不是很高，有待改进。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (4)

1.一种基于卷积神经网络的学生课堂行为识别方法，其特征在于，该方法包括以下步骤：
步骤(1)、收集图片数据，制成数据库，图片要求为不同课堂环境下学生的上课图片；
步骤(2)、将步骤(1)中获得的数据库，送入基于卷积神经网络的行为识别网络中进行训练，得到预训练模型；
步骤(3)、利用得到的预训练模型对学生课堂视频进行检测，检测学生的行为属于举手、听讲、睡觉、回答、写字五类行为中的哪一类，并生成相应的边框以及对应的行为名称。
2.根据权利要求1所述基于卷积神经网络的学生课堂行为识别方法，其特征在于，步骤(1)中所述数据库的建立流程具体包括以下步骤：
步骤(101)、获得多个学生在教室里上课的视频文件，视频分辨率至少为1280×720，并且视频背景为不同的教室，学生人数在十五人以上；
步骤(102)、提取步骤(101)视频中的关键帧图像，并进行存储；
步骤(103)、将步骤(102)中的图像通过图片标注软件LableImage进行手动标识，标出相应行为的边框以及标签，得到XML文件；
步骤(104)、将步骤(103)得到的XML文件和步骤(102)中提取得到的关键帧图像，通过代码生成相应的MLDB文件。
3.根据权利要求1所述基于卷积神经网络的学生课堂行为识别方法，其特征在于，步骤(2)中的训练过程包括以下步骤：
步骤(201)、数据库的图片以分辨率为300*300的三通道RGB图片作为输入，根据特征图尺寸映射出一系列默认的包围盒(Default Box)；
步骤(202)、通过一系列的卷积核进行卷积，每一层会产生固定数量的预测，包括4个位置预测以及若干类别预测；
步骤(203)、每个位置的k个默认框，使用卷积操作预测c个类别分数以及4个位置变化因子；
步骤(204)、在训练过程中，将真值与默认框进行匹配，以产生正样本和负样本；通过计算默认框与真值框的交并比(Jaccard overlap)，以进行正负样本的匹配，阈值为0.5，即与真值框的交并比(Jaccard overlap)大于0.5的设置为正样本，否则为负样本。
4.根据权利要求3所述基于卷积神经网络的学生课堂行为识别方法，其特征在于，步骤(203)中c个类别包括c-1个目标种类和一个背景类别。
CN201811111788.8A 2018-09-24 2018-09-24 一种基于卷积神经网络的学生课堂行为识别方法 Pending CN110941976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811111788.8A CN110941976A (zh) 2018-09-24 2018-09-24 一种基于卷积神经网络的学生课堂行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811111788.8A CN110941976A (zh) 2018-09-24 2018-09-24 一种基于卷积神经网络的学生课堂行为识别方法

Publications (1)

Publication Number Publication Date
CN110941976A true CN110941976A (zh) 2020-03-31

Family

ID=69904734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811111788.8A Pending CN110941976A (zh) 2018-09-24 2018-09-24 一种基于卷积神经网络的学生课堂行为识别方法

Country Status (1)

Country Link
CN (1) CN110941976A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291840A (zh) * 2020-05-12 2020-06-16 成都派沃智通科技有限公司 一种学生课堂行为识别系统、方法、介质及终端设备
CN112001236A (zh) * 2020-07-13 2020-11-27 上海翎腾智能科技有限公司 基于人工智能的书写行为的识别方法及装置
CN113158880A (zh) * 2021-04-19 2021-07-23 中国海洋大学 一种基于深度学习的学生课堂行为识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
CN107808376A (zh) * 2017-10-31 2018-03-16 上海交通大学 一种基于深度学习的举手检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
CN107808376A (zh) * 2017-10-31 2018-03-16 上海交通大学 一种基于深度学习的举手检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI LIU等: "SSD: Single Shot MultiBox Detector", HTTPS://ARXIV.ORG/ABS/1512.02325V5, pages 4 - 6 *
WEI LIU等: "SSD: Single Shot MultiBox Detector", pages 4 - 6, Retrieved from the Internet <URL:https://arxiv.org/abs/1512.02325v5> *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291840A (zh) * 2020-05-12 2020-06-16 成都派沃智通科技有限公司 一种学生课堂行为识别系统、方法、介质及终端设备
CN112001236A (zh) * 2020-07-13 2020-11-27 上海翎腾智能科技有限公司 基于人工智能的书写行为的识别方法及装置
CN113158880A (zh) * 2021-04-19 2021-07-23 中国海洋大学 一种基于深度学习的学生课堂行为识别方法

Similar Documents

Publication Publication Date Title
CN108648757B (zh) 一种基于多维度课堂信息的分析方法
US9666088B2 (en) Video-based teacher assistance
Karayaneva et al. Object recognition in python and mnist dataset modification and recognition with five machine learning classifiers
CN111144191B (zh) 字体识别方法、装置、电子设备及存储介质
CN107918821A (zh) 基于人工智能技术的教师课堂教学过程分析方法和系统
CN108121702B (zh) 数学主观题评阅方法及系统
CN109872587A (zh) 多维教学数据的处理系统
CN112069970B (zh) 课堂教学事件分析方法及装置
CN105427696A (zh) 一种对目标题目所作答案进行判别的方法
CN110941976A (zh) 一种基于卷积神经网络的学生课堂行为识别方法
CN112132009A (zh) 课堂行为分析方法、系统及电子设备
CN116050892A (zh) 一种基于人工智能的智能教育评价监督方法
CN111563697A (zh) 一种线上课堂学生情绪分析方法和系统
CN113688789B (zh) 一种基于深度学习的在线学习投入度识别方法及系统
CN117037016A (zh) 一种中学实验的评分方法、装置、计算设备及存储介质
CN114638988A (zh) 一种基于不同呈现方式的教学视频自动化分类方法及系统
CN114067164A (zh) 胚胎发育阶段的检测方法、装置、电子设备及存储介质
CN113723233A (zh) 一种基于分层时序多示例学习的学生学习参与度评估方法
CN113469001A (zh) 一种基于深度学习的学生课堂行为检测方法
CN114330943A (zh) 一种面试辅助方法及装置
CN111488728A (zh) 一种非结构化试题数据的标注方法、设备及存储介质
CN112733806B (zh) 基于表情识别的课堂中学生实时分类与遴选方法
Kousalya et al. Group Emotion Detection using Convolutional Neural Network
CN114267087B (zh) 一种基于小样本机器学习模型的动作注册方法及其系统
CN111881106B (zh) 基于ai检验的数据标注和处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination