CN116311060A - 一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统 - Google Patents

一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统 Download PDF

Info

Publication number
CN116311060A
CN116311060A CN202310261795.0A CN202310261795A CN116311060A CN 116311060 A CN116311060 A CN 116311060A CN 202310261795 A CN202310261795 A CN 202310261795A CN 116311060 A CN116311060 A CN 116311060A
Authority
CN
China
Prior art keywords
student
students
index
module
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310261795.0A
Other languages
English (en)
Other versions
CN116311060B (zh
Inventor
吴砥
周驰
陈敏
徐建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202310261795.0A priority Critical patent/CN116311060B/zh
Publication of CN116311060A publication Critical patent/CN116311060A/zh
Application granted granted Critical
Publication of CN116311060B publication Critical patent/CN116311060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及图像识别、图像分类领域，提供一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统，该评价方法包括以下步骤：(1)构建学生课堂学习投入度量化框架；(2)建立学生动作行为检测模型；(3)建立学生面部表情检测模型；(4)学生课堂学习投入度评价。本发明基于计算机视觉的学生课堂学习投入度自动评价方法及系统，通过自动识别和判断课堂实录视频资源中学生动作和表情，提取学生课堂学习投入度特征，实现学生课堂学习投入度的智能监测和精准评价，为全面准确了解学生学习情况、促进学生高效学习、建设高质量课堂提供支持。

Description

一种基于计算机视觉的学生课堂学习投入度自动评价方法及 系统
技术领域
本发明涉及图像识别、图像分类领域，具体涉及一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统。
背景技术
学生课堂学习投入度作为学生课堂表现的主要方面，是表现性教育评价的基本依据。开展基于计算机视觉的学生课堂学习投入度充分利用了深度学习在图像识别领域和图像分类领域的优势，有利于全面准确了解学生学习情况，为促进学生有效学习、建设高质量课堂提供支持。当前基于计算机视觉的学生课堂学习投入度评价中存在以下困难：(1)当前课堂实录视频资源受限于拍摄角度、学生复杂分布情况、视频质量较低，机器难以自动准确识别学生动作或表情以及各动作或表情差异，难以实现对学生动作或表情细节的准确提取和识别；(2)缺乏针对学生课堂学习投入度的特征识别与指标构建，难以实现全面系统的学生课堂投入度监测评价；(3)缺乏基于计算机视觉的学生课堂学习投入度评价的规范化流程和方法，致使规模化、自动化、客观化的学生课堂学习投入度监测评价难以实现。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统，通过自动识别和判断课堂实录视频资源中学生动作和表情，提取学生课堂学习投入度特征，实现学生课堂学习投入度的智能监测和精准评价，为全面准确了解学生学习情况、促进学生高效学习、建设高质量课堂提供支持。
本发明的目的是通过如下技术措施来实现的。
一种基于计算机视觉的学生课堂学习投入度自动评价方法，包括以下步骤：
(1)构建学生课堂学习投入度量化框架，建立学生课堂学习投入度评价指标，确定各评价指标的数据要素，将数据要素分为动作类要素和表情类要素；
(2)建立学生动作行为检测模型，获取动作类要素训练样本，建立学生动作检测模型网络结构，通过样本训练确定学生动作行为检测模型；
(3)建立学生面部表情检测模型，获取表情类要素训练样本，建立学生表情检测模型网络结构，通过样本训练确定学生面部表情检测模型；
(4)学生课堂学习投入度评价，应用学生动作行为检测模型和学生面部表情检测模型，分析待检测的课堂实录视频资源，得到评价指标的数据要素检测结果，建立学生课堂学习投入度评价算法，测算学生课堂学习投入度，以可视化方式展示评价结果。
本发明还提供一种基于计算机视觉的学生课堂学习投入度自动评价系统，用于实现上述的基于计算机视觉的学生课堂学习投入度自动评价方法，包括：
特征标注模块，将课堂实录视频资源转换为图片，根据动作类要素和表情类要素涉及的学生动作行为和面部表情，对图片进行特征标注；
样本数据处理模块，将完成特征标注后的图片进行数据增强操作，得到动作类要素训练样本和表情类要素训练样本；
模型训练模块，训练学生动作行为检测模型和学生面部表情检测模型；
学生动作行为检测模块，使用训练后的学生动作行为检测模型，分析待检测的课堂实录视频资源，测算动作类要素的检测结果；
学生面部表情检测模块，使用训练好的学生面部表情检测模型，分析待检测的课堂实录视频资源，测算表情类要素的检测结果；
学生课堂学习投入度评价指标相关数据项测算模块，处理动作类要素和表情类要素的检测结果，计算评价指标相关数据项结果；
综合评价模块，基于评价指标相关数据项结果，利用学生课堂学习投入度评价算法，计算各评价指标得分和学生课堂学习投入度综合评价得分；
可视化展示模块，综合学生课堂学习投入度评价指标相关数据项测算结果和学生课堂学习投入度综合评价得分，利用柱状图和折线图绘制可视化结果。
本发明的有益效果在于：
应用计算机信息处理和图像识别技术，抓取课堂实录视频中学生动作和表情信息进行检测处理，识别学生课堂学习投入度特征，智能评价学生课堂学习投入度，并给出可视化结果展示，支持学生课堂学习投入度的实时检测与自动反馈，有利于全面准确了解学生课堂表现与学习情况，促进学生有效学习和高质量课堂建设。
附图说明
图1是本发明实施例的学生课堂学习投入度评价方法构建流程图。
图2是本发明实施例的学生动作识别模型中Neck-new网络结构示意图。
图3是本发明实施例的学生动作识别模型中自适应注意力模块示意图。
图4是本发明实施例的学生动作识别模型中特征增强模块结构示意图。
图5是本发明实施例的学生面部表情检测模型网络结构示意图。
图6是本发明实施例的学生课堂学习投入度评价结果可视化示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供一种基于计算机视觉的学生课堂学习投入度自动评价方法，包括如下步骤：
(1)构建学生课堂学习投入度量化框架。建立学生课堂学习投入度评价指标，确定各评价指标相关数据要素，将数据要素分为动作类要素和表情类要素。
(1-1)建立学生课堂学习投入度评价指标。根据学生课堂学习投入度特征，确定学生课堂学习投入度评价指标，包括专注、思考、合作和积极四个指标。
(1-2)确定各评价指标相关数据要素。根据各评价指标含义，确定评价指标相关数据要素。各评价指标具体说明和相关数据要素如表1所示。
表1学生课堂学习投入度评价指标
Figure BDA0004131496560000041
Figure BDA0004131496560000051
(1-3)划分数据要素类型。根据数据要素所属类别，将其划分为动作类要素和表情类要素。数据要素类型划分结果如表2所示。
表2学生课堂学习投入度相关数据要素类型划分
Figure BDA0004131496560000052
(2)建立学生动作行为检测模型。获取动作类要素训练样本，建立学生动作检测模型网络结构，通过样本训练确定学生动作行为检测模型。
(2-1)获取动作类要素训练样本。获取训练用的课堂实录视频资源，筛选有效图片，并根据动作类要素标注相关动作，得到动作类要素训练样本。
(2-1-1)视频资源获取。读取数据库的课堂实录视频资源，筛选课堂教学的有效视频片段，并将其转换为图片。
(2-1-2)样本标注。根据动作类要素涉及的学生动作行为，对图片进行特征标注，并对得到的特征数据进行增强操作，得到动作类要素训练样本。数据增强操作如下：
A.图像随机向右或者向左旋转20度；
B.图像进行水平翻转；
C.随机设置部分像素值为0。
(2-2)建立学生动作识别模型网络结构。在YOLOV5模型网络结构的基础上，增加自适应注意力模块和特征增强模块，形成学生动作行为检测模型的网络结构，包括输入网络、主干网络、Neck-new网络和输出网络。其中输入网络、主干网络和输出网络均沿用YOLOV5模型网络结构，Neck-new网络是在YOLOV5模型的特征金字塔网络结构的基础上，增加自适应注意力模块和特征增强模块，具体结构如图2所示。新增模块的具体内容如下：
(2-2-1)自适应注意力模块。自适应注意力模块包括自适应池化层、连接层、卷积层、ReLU激活层、sigmoid激活层。数据输入自适应注意力模块的处理过程如图3所示，具体包括：
通过输入图像获得Features-1和Features-2，其中Features-1进行后续特征聚合，Features-2输入到自适应池化层；Features-2通过自适应池化层获得不同尺度的语义特征；经过连接层将不同尺度的语义特征合并，获得Features-3和Features-4，其中Features-3进行乘积操作；Features-4依次经过1×1卷积层、ReLU激活层、3×3卷积层、sigmoid激活层，sigmoid激活层形成的特征进行权值映射后和Features-3进行乘积操作；乘积操作得到的结果进行特征映射获取三个语义特征；三个语义特征和Features-1进行特征聚合得到多尺度特征。
(2-2-2)特征增强模块。特征增强模块包括多分支卷积层和分支池化层。数据导入特征增强模块的处理过程如图4所示，具体包括：
通过多分支卷积层的扩张、卷积、归一化和激活处理，得到多个并行的分支信息；经过分支池化层处理，融合来自不同并行分支的信息导出结果。
(2-3)模型训练与确定。设置模型训练参数，将动作类要素训练样本用于模型训练，记录每次的F1_Score，当F1_Score的提升低于阈值0.03时停止训练，最后将F1_Score最高的模型确定为学生动作行为检测模型。F1-Score具体计算公式如下：
Figure BDA0004131496560000071
Figure BDA0004131496560000072
Figure BDA0004131496560000073
其中，Precision代表精确率，Recall代表召回率，TP指正确预测真实值的次数，FP指正确预测错误值的次数，FN指错误预测真实值的次数。
(3)建立学生面部表情检测模型。获取表情类要素训练样本，建立学生表情检测模型网络结构，通过样本训练确定学生面部表情检测模型。
(3-1)获取表情类要素训练样本。获取训练用的课堂实录视频资源，筛选有效图片，并根据表情类要素标注相关表情，得到表情类要素训练样本。
(3-1-1)视频资源获取。读取数据库的课堂实录视频资源，筛选课堂教学的有效视频片段，并将其转换为图片。
(3-1-2)样本标注。根据表情类要素涉及的学生面部表情，对图片进行特征标注，并对得到的特征数据进行增强操作，得到表情类要素训练样本。数据增强操作如下：
A.添加高斯噪声；
B.添加高斯模糊；
C.图像水平反转。
(3-2)建立学生面部表情检测模型网络结构。基于ResNet和VGG构建学生表情检测模型网络结构，由VGG模块、ResNet模块和融合模块组成，如图5所示。输入图像分别使用VGG模块、ResNet模块并行处理，然后使用融合模块融合导出最终处理结果。
具体如下：
(3-2-1)VGG模块。VGG模块包括卷积层、池化层、全连接层、Dropout层。数据在VGG模块的处理过程为：
输入图像经过五个卷积池化层处理，卷积池化层包括两个3×3卷积层和一个最大池化层，图像先在卷层中进行特征提取，然后经过最大池化层将获取到的特征图尺寸缩小一半；在处理过程中有两个分支额外提取特征，然后经过卷积池化层进行特征融合，第一个分支提取第一次卷积池化层输出的图像特征，与第三次卷积池化层输出的特征融合，第二个分支提取第二次卷积池化层输出的特征，与第四次卷积池化层输出的特征融合；最后经过全连接层和Dropout层处理，结果输出到融合模块。
(3-2-2)ResNet模块。ResNet模块包括卷积层、池化层、全连接层、Dropout层。数据导入ResNet模块的处理过程为：
输入图像首先经过卷积层、池化层处理；经过4个残差块进行特征提取，残差块由1×1卷积、3×3卷积、1×1卷积组成；最后经过全连接层和Dropout层处理，结果输出到融合模块。
(3-2-3)融合模块。融合模块包括全连接层、Dropout层、softmax层。数据导入融合模块的处理过程为：
将VGG模块和ResNet模块提取到的特征数据，经过两次全连接层和Dropout层处理融合特征数据，最后经过softmax层得到预测结果。
(3-3)模型训练与确定。设置模型训练参数，利用表情类要素训练样本进行模型训练，根据损失值计算结果迭代训练模型，并记录每次的F1_Score，当F1_Score的提升低于阈值0.03时停止训练，最后将F1_Score最高的模型确定为学生面部表情检测模型。
(4)学生课堂学习投入度评价。应用学生动作行为检测模型和学生面部表情检测模型，分析待检测的课堂实录视频资源，得到评价指标相关数据要素检测结果，建立学生课堂学习投入度评价算法，测算学生课堂学习投入度，以可视化方式展示评价结果。
(4-1)学生课堂学习投入度评价指标相关数据项测算。调用学生动作行为检测模型和学生面部表情检测模型，分析待检测的课堂实录视频资源，测算学生课堂学习投入度相关的数据要素结果。
(4-1-1)待测资源处理。将待检测的课堂实录视频资源转换为统一规格的图片集合P，记录每个图片对应时刻。
(4-1-2)检测模型调用。调用课堂学生动作检测模型和学生表情检测模型检测图片集合P，得到每个图片中关于各项数据要素的检测结果，每个图片的检测结果信息包括数据要素名称、学生图像、图像坐标、对应时刻。
(4-1-3)评价指标相关数据项测算。根据评价指标与数据要素的对应关系，合并关于各项数据要素的检测结果，计算评价指标相关数据项结果。具体如下：
专注指标相关的持续时长测算：合并“看黑板、看老师、看书、记笔记”四个数据要素的检测结果，将连续时刻合并为一个时间段，计算各时间段所占时间长度之和作为专注指标相关的持续时长Tfocus。
合作指标相关的持续时长测算：合并“学生相互讨论”数据要素的检测结果，将连续时刻合并为一个时间段，计算各时间段所占时间长度之和作为合作指标相关的持续时长Tcooperation。
思考指标相关的学生人数测算：获取“手托腮、皱眉、眉毛上抬”数据要素的检测结果，统计每个时刻中出现相同图像坐标的次数作为当前时刻的频次数，计算各时刻频次数的平均值为思考指标相关的学生人数Nthink。
积极指标相关的学生人数测算：合并“举手、上讲台、愉悦和惊讶”数据要素的检测结果，计算同一时刻下学生图像数量，计算各时刻学生图像数量的平均值为积极指标相关的学生人数Npositive。
(4-2)学生课堂学习投入度评价指标得分测算。建立学生课堂学习投入度评价算法，处理评价指标相关数据项测算结果，计算各评价指标得分。
(4-2-1)专注指标得分测算。根据专注指标相关的持续时长Tfocus，时长单位为分钟，测算专注指标得分Sfocus。若Tfocus＝0，Sfocus为0分；若Tfocus∈(0，4]，Sfocus为40分；若Tfocus∈(4，6]，Sfocus为60分；若Tfocus∈(6，8]，Sfocus为80分；若Tfocus＞8，Sfocus为100分。
(4-2-2)合作指标得分测算。根据合作指标相关的持续时长Tcooperation，时长单位为分钟，测算合作指标得分Scooperation。若Tcooperation＝0，Scooperation为0分；若Tcooperation∈(0，4]，Scooperation为40分；若Tcooperation∈(4，6]，Scooperation为60分；若Tcooperation∈(6，8]，Scooperation为80分；若Tcooperation＞8，Scooperation为100分。
(4-2-3)思考指标得分测算。根据思考指标相关的学生人数Nthink，测算思考指标得分Sthink。若Nthink＝0，Sthink为0分；若Nthink∈(0，5]，Sthink为40分；若Nthink∈(5，10]，Sthink为60分；若Nthink∈(10，15]，Sthink为80分；若Nthink＞15，Sthink为100分。
(4-2-4)积极指标得分测算。根据积极指标相关的学生人数Npositive，测算积极指标得分Spositive。若Npositive＝0，Spositive为0分；若Npositive∈(0，5]，Spositive为40分；若Npositive∈(5，10]，Spositive为60分；若Npositive∈(10，15]，Spositive为80分；若Npositive＞15，Spositive为100分。
(4-3)学生课堂学习投入度综合评价得分测算。综合评价得分测算公式为根据各特征得分和权重系数，应用线性加权方法计算综合评分值。
Score＝Sfocus×Wfocus+Scooperation×Wcooperation+Sthink×Wthink+Spositive×Wpositive
其中，Score表示学生课堂学习投入度综合评价得分，Sfocus和Wfocus分别表示专注指标的得分和权重系数，Scooperation和Wcooperation分别表示合作指标的得分和权重系数，Sthink和Wthink分别表示思考指标的得分和权重系数，Spositive和Wpositive分别表示积极指标的得分和权重系数。
(4-4)可视化展示。结合学生课堂学习投入度评价指标相关数据项测算结果和学生课堂学习投入度评价结果进行可视化绘图。其中利用柱形图展示指标得分，然后折线图展示每个指标的图片和时间点。可视化展示结果如图6所示。
本实施例还提供一种基于计算机视觉的学生课堂学习投入度自动评价系统，用于实现上述的基于计算机视觉的学生课堂学习投入度自动评价方法，包括：
特征标注模块，将课堂实录视频资源转换为图片，根据动作类要素和表情类要素涉及的学生动作行为和面部表情，对图片进行特征标注；
样本数据处理模块，将完成特征标注后的图片进行数据增强操作，得到动作类要素训练样本和表情类要素训练样本；
模型训练模块，训练学生动作行为检测模型和学生面部表情检测模型；
学生动作行为检测模块，使用训练后的学生动作行为检测模型，分析待检测的课堂实录视频资源，测算动作类要素的检测结果；
学生面部表情检测模块，使用训练好的学生面部表情检测模型，分析待检测的课堂实录视频资源，测算表情类要素的检测结果；
学生课堂学习投入度评价指标相关数据项测算模块，处理动作类要素和表情类要素的检测结果，计算评价指标相关数据项结果；
综合评价模块，基于评价指标相关数据项结果，利用学生课堂学习投入度评价算法，计算各评价指标得分和学生课堂学习投入度综合评价得分；
可视化展示模块，综合学生课堂学习投入度评价指标相关数据项测算结果和学生课堂学习投入度综合评价得分，利用柱状图和折线图绘制可视化结果。
本说明书未作详细描述的内容，属于本专业技术人员公知的现有技术。
应当说明的是，以上包含的本发明实例内容说明，是为了详解释本发明的技术特征。在不脱离本发明的前提下，所做出的若干改进和修饰也受本发明的保护，因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (6)

1.一种基于计算机视觉的学生课堂学习投入度自动评价方法，其特征在于该方法包括以下步骤：
(1)构建学生课堂学习投入度量化框架，建立学生课堂学习投入度评价指标，确定各评价指标的数据要素，将数据要素分为动作类要素和表情类要素；
(2)建立学生动作行为检测模型，获取动作类要素训练样本，建立学生动作检测模型网络结构，通过样本训练确定学生动作行为检测模型；
(3)建立学生面部表情检测模型，获取表情类要素训练样本，建立学生表情检测模型网络结构，通过样本训练确定学生面部表情检测模型；
(4)学生课堂学习投入度评价，应用学生动作行为检测模型和学生面部表情检测模型，分析待检测的课堂实录视频资源，得到评价指标的数据要素检测结果，建立学生课堂学习投入度评价算法，测算学生课堂学习投入度，以可视化方式展示评价结果。
2.根据权利要求1所述的基于计算机视觉的学生课堂学习投入度自动评价方法，其特征在于步骤(1)中所述构建学生课堂学习投入度量化框架的具体过程为：
(1-1)建立学生课堂学习投入度评价指标，根据学生课堂学习投入度特征，确定学生课堂学习投入度评价指标，包括专注、思考、合作和积极四个指标，其中：
专注指标：用于评价学生专心于课堂学习活动、教师教学内容的程度；
思考指标：用于评价学生对课堂内容的理解和认同程度；
合作指标：用于评价学生合作完成课堂学习任务的参与度；
积极指标：用于评价学生主动参与课堂教学活动的程度；
(1-2)确定各评价指标相关数据要素，根据各评价指标含义，确定评价指标相关数据要素，具体如下：
专注指标相关的数据要素包括：看黑板、看老师、看书、记笔记；
思考指标相关的数据要素包括：手托腮、皱眉、眉毛上抬；
合作指标相关的数据要素包括：学生相互讨论；
积极指标相关的数据要素包括：举手、上讲台、愉悦、惊讶；
(1-3)划分数据要素类型，根据数据要素所属类别，将其划分为动作类要素和表情类要素，具体如下：
动作类要素为学生在课堂的动作行为，包括看黑板、看老师、看书、记笔记、手托腮、学生相互讨论、举手、上讲台；
表情类要素为学生在课堂的面部表情，包括皱眉、眉毛上台、愉悦、惊讶。
3.根据权利要求1所述的基于计算机视觉的学生课堂学习投入度自动评价方法，其特征在于步骤(2)中所述建立学生动作行为检测模型的具体过程为：
(2-1)获取动作类要素训练样本，获取训练用的课堂实录视频资源，筛选有效图片，并根据动作类要素标注相关动作，得到动作类要素训练样本；
(2-1-1)视频资源获取，读取数据库的课堂实录视频资源，筛选课堂教学的有效视频片段，并将其转换为图片；
(2-1-2)样本标注，根据动作类要素涉及的学生动作行为，对图片进行特征标注，并对得到的特征数据进行增强操作，得到动作类要素训练样本；
(2-2)建立学生动作行为检测模型网络结构，在YOLOV5模型网络结构的基础上，增加自适应注意力模块和特征增强模块，形成学生动作行为检测模型的网络结构，包括输入网络、主干网络、Neck-new网络和输出网络，其中输入网络、主干网络和输出网络均沿用YOLOV5模型网络结构，Neck-new网络是在YOLOV5模型的特征金字塔网络结构的基础上，增加自适应注意力模块和特征增强模块，新增模块的具体内容如下：
(2-2-1)自适应注意力模块，自适应注意力模块包括自适应池化层、连接层、卷积层、ReLU激活层、sigmoid激活层，数据输入自适应注意力模块的处理过程为：
通过输入图像获得Features-1和Features-2，其中Features-1进行后续特征聚合，Features-2输入到自适应池化层；Features-2通过自适应池化层获得不同尺度的语义特征；经过连接层将不同尺度的语义特征合并，获得Features-3和Features-4，其中Features-3进行乘积操作；Features-4依次经过1×1卷积层、ReLU激活层、3×3卷积层、sigmoid激活层，sigmoid激活层形成的特征进行权值映射后和Features-3进行乘积操作；乘积操作得到的结果进行特征映射获取三个语义特征；三个语义特征和Features-1进行特征聚合得到多尺度特征；
(2-2-2)特征增强模块，特征增强模块包括多分支卷积层和分支池化层，数据导入特征增强模块的处理过程为：
通过多分支卷积层的扩张、卷积、归一化和激活处理，得到多个并行的分支信息；经过分支池化层处理，融合来自不同并行分支的信息导出结果；
(2-3)模型训练与确定，设置模型训练参数，将动作类要素训练样本用于模型训练，记录每次训练的F1_Score，当F1_Score的提升低于阈值0.03时停止训练，最后将F1_Score最高的模型确定为学生动作行为检测模型，F1_Score具体计算公式如下：
Figure FDA0004131496540000031
Figure FDA0004131496540000032
Figure FDA0004131496540000033
其中，Precision代表精确率，Recall代表召回率，TP指正确预测真实值的次数，FP指正确预测错误值的次数，FN指错误预测真实值的次数。
4.根据权利要求1所述的基于计算机视觉的学生课堂学习投入度自动评价方法，其特征在于步骤(3)中所述建立学生面部表情检测模型的具体过程为：
(3-1)获取表情类要素训练样本，获取训练用的课堂实录视频资源，筛选有效图片，并根据表情类要素标注相关表情，得到表情类要素训练样本；
(3-1-1)视频资源获取，读取数据库的课堂实录视频资源，筛选课堂教学的有效视频片段，并将其转换为图片；
(3-1-2)样本标注，根据表情类要素涉及的学生面部表情，对图片进行特征标注，并对得到的特征数据进行增强操作，得到表情类要素训练样本；
(3-2)建立学生面部表情检测模型网络结构，基于ResNet和VGG构建学生表情检测模型网络结构，由VGG模块、ResNet模块和融合模块组成，输入图像分别使用VGG模块、ResNet模块并行处理，然后使用融合模块融合导出最终处理结果，具体如下：
(3-2-1)VGG模块，VGG模块包括卷积层、池化层、全连接层、Dropout层，数据在VGG模块的处理过程为：
输入图像经过五个卷积池化层处理，卷积池化层包括两个3×3卷积层和一个最大池化层，图像先在卷层中进行特征提取，然后经过最大池化层将获取到的特征图尺寸缩小一半；在处理过程中有两个分支额外提取特征，然后经过卷积池化层进行特征融合，第一个分支提取第一次卷积池化层输出的图像特征，与第三次卷积池化层输出的特征融合，第二个分支提取第二次卷积池化层输出的特征，与第四次卷积池化层输出的特征融合；最后经过全连接层和Dropout层处理，结果输出到融合模块；
(3-2-2)ResNet模块，ResNet模块包括卷积层、池化层、全连接层、Dropout层，数据导入ResNet模块的处理过程为：
输入图像首先经过卷积层、池化层处理；经过4个残差块进行特征提取，残差块由1×1卷积、3×3卷积、1×1卷积组成；最后经过全连接层和Dropout层处理，结果输出到融合模块；
(3-2-3)融合模块，融合模块包括全连接层、Dropout层、softmax层，数据导入融合模块的处理过程为：
将VGG模块和ResNet模块提取到的特征数据，经过两次全连接层和Dropout层处理融合特征数据，最后经过softmax层得到预测结果；
(3-3)模型训练与确定，设置模型训练参数，利用表情类要素训练样本进行模型训练，根据损失值计算结果迭代训练模型，并记录每次的F1_Score，当F1_Score的提升低于阈值0.03时停止训练，最后将F1_Score最高的模型确定为学生面部表情检测模型。
5.根据权利要求1所述的基于计算机视觉的学生课堂学习投入度自动评价方法，其特征在于步骤(4)中所述学生课堂学习投入度评价的具体过程为：
(4-1)学生课堂学习投入度评价指标相关数据项测算，调用学生动作行为检测模型和学生面部表情检测模型，分析待检测的课堂实录视频资源，测算学生课堂学习投入度相关的数据要素结果；
(4-1-1)待测资源处理，将待检测的课堂实录视频资源转换为统一规格的图片集合P，记录每个图片对应时刻；
(4-1-2)检测模型调用，调用课堂学生动作检测模型和学生表情检测模型检测图片集合P，得到每个图片中关于各项数据要素的检测结果，每个图片的检测结果信息包括数据要素名称、学生图像、图像坐标、对应时刻；
(4-1-3)评价指标相关数据项测算，根据评价指标与数据要素的对应关系，合并关于各项数据要素的检测结果，计算评价指标相关数据项结果，具体如下：
专注指标相关的持续时长测算：合并“看黑板、看老师、看书、记笔记”四个数据要素的检测结果，将连续时刻合并为一个时间段，计算各时间段所占时间长度之和作为专注指标相关的持续时长Tfocus；
合作指标相关的持续时长测算：合并“学生相互讨论”数据要素的检测结果，将连续时刻合并为一个时间段，计算各时间段所占时间长度之和作为合作指标相关的持续时长Tcooperation；
思考指标相关的学生人数测算：获取“手托腮、皱眉、眉毛上抬”数据要素的检测结果，统计每个时刻中出现相同图像坐标的次数作为当前时刻的频次数，计算各时刻频次数的平均值为思考指标相关的学生人数Nthink；
积极指标相关的学生人数测算：合并“举手、上讲台、愉悦和惊讶”数据要素的检测结果，计算同一时刻下学生图像数量，计算各时刻学生图像数量的平均值为积极指标相关的学生人数Npositive；
(4-2)学生课堂学习投入度评价指标得分测算，建立学生课堂学习投入度评价算法，处理评价指标相关数据项测算结果，计算各评价指标得分；
(4-2-1)专注指标得分测算，根据专注指标相关的持续时长Tfocus，时长单位为分钟，测算专注指标得分Sfocus，若Tfocus＝0，Sfocus为0分；若Tfocus∈(0,4]，Sfocus为40分；若Tfocus∈(4,6]，Sfocus为60分；若Tfocus∈(6,8]，Sfocus为80分；若Tfocus>8，Sfocus为100分；
(4-2-2)合作指标得分测算，根据合作指标相关的持续时长Tcooperation，时长单位为分钟，测算合作指标得分Scooperation，若Tcooperation＝0，Scooperation为0分；若Tcooperation∈(0,4]，Scooperation为40分；若Tcooperation∈(4,6]，Scooperation为60分；若Tcooperation∈(6,8]，Scooperation为80分；若Tcooperation>8，Scooperation为100分；
(4-2-3)思考指标得分测算，根据思考指标相关的学生人数Nthink，测算思考指标得分Sthink，若Nthink＝0，Sthink为0分；若Nthink∈(0,5]，Sthink为40分；若Nthink∈(5,10]，Sthink为60分；若Nthink∈(10,15]，Sthink为80分；若Nthink>15，Sthink为100分；
(4-2-4)积极指标得分测算，根据积极指标相关的学生人数Npositive，测算积极指标得分Spositive，若Npositive＝0，Spositive为0分；若Npositive∈(0,5]，Spositive为40分；若Npositive∈(5,10]，Spositive为60分；若Npositive∈(10,15]，Spositive为80分；若Npositive>15，Spositive为100分；
(4-3)学生课堂学习投入度综合评价得分测算，综合评价得分测算公式为根据各特征得分和权重系数，应用线性加权方法计算综合评分值，
Score＝Sfocus×Wfocus+Scooperation×Wcooperation+Sthink×Wthink+Spositive×Wpositive
其中，Score表示学生课堂学习投入度综合评价得分，Sfocus和Wfocus分别表示专注指标的得分和权重系数，Scooperation和Wcooperation分别表示合作指标的得分和权重系数，Sthink和Wthink分别表示思考指标的得分和权重系数，Spositive和Wpositive分别表示积极指标的得分和权重系数；
(4-4)可视化展示，结合学生课堂学习投入度评价指标相关数据项测算结果和学生课堂学习投入度评价结果进行可视化绘图。
6.一种基于计算机视觉的学生课堂学习投入度自动评价系统，其特征在于用于实现权利要求1～5任一项中所述的基于计算机视觉的学生课堂学习投入度自动评价方法，包括：
特征标注模块，将课堂实录视频资源转换为图片，根据动作类要素和表情类要素涉及的学生动作行为和面部表情，对图片进行特征标注；
样本数据处理模块，将完成特征标注后的图片进行数据增强操作，得到动作类要素训练样本和表情类要素训练样本；
模型训练模块，训练学生动作行为检测模型和学生面部表情检测模型；
学生动作行为检测模块，使用训练后的学生动作行为检测模型，分析待检测的课堂实录视频资源，测算动作类要素的检测结果；
学生面部表情检测模块，使用训练好的学生面部表情检测模型，分析待检测的课堂实录视频资源，测算表情类要素的检测结果；
学生课堂学习投入度评价指标相关数据项测算模块，处理动作类要素和表情类要素的检测结果，计算评价指标相关数据项结果；
综合评价模块，基于评价指标相关数据项结果，利用学生课堂学习投入度评价算法，计算各评价指标得分和学生课堂学习投入度综合评价得分；
可视化展示模块，综合学生课堂学习投入度评价指标相关数据项测算结果和学生课堂学习投入度综合评价得分，利用柱状图和折线图绘制可视化结果。
CN202310261795.0A 2023-03-17 2023-03-17 一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统 Active CN116311060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310261795.0A CN116311060B (zh) 2023-03-17 2023-03-17 一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310261795.0A CN116311060B (zh) 2023-03-17 2023-03-17 一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统

Publications (2)

Publication Number Publication Date
CN116311060A true CN116311060A (zh) 2023-06-23
CN116311060B CN116311060B (zh) 2024-06-04

Family

ID=86781158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310261795.0A Active CN116311060B (zh) 2023-03-17 2023-03-17 一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统

Country Status (1)

Country Link
CN (1) CN116311060B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657529A (zh) * 2018-07-26 2019-04-19 台州学院 基于面部表情识别的课堂教学效果评价系统
US20200126444A1 (en) * 2017-06-23 2020-04-23 Beijing Yizhen Xuesi Education Technology Co., Ltd. Method and apparatus for monitoring learning and electronic device
CN111611854A (zh) * 2020-04-16 2020-09-01 杭州电子科技大学 一种基于模式识别的课堂情况评价方法
CN113688739A (zh) * 2021-08-25 2021-11-23 深圳信息职业技术学院 基于情绪识别和视觉分析的课堂学习效率预测方法及系统
CN115131867A (zh) * 2022-07-22 2022-09-30 重庆第二师范学院 基于学生学习效率检测方法、系统、设备及介质
CN115546861A (zh) * 2022-08-25 2022-12-30 苏州工业园区服务外包职业学院 一种在线课堂专注度识别方法、系统、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200126444A1 (en) * 2017-06-23 2020-04-23 Beijing Yizhen Xuesi Education Technology Co., Ltd. Method and apparatus for monitoring learning and electronic device
CN109657529A (zh) * 2018-07-26 2019-04-19 台州学院 基于面部表情识别的课堂教学效果评价系统
CN111611854A (zh) * 2020-04-16 2020-09-01 杭州电子科技大学 一种基于模式识别的课堂情况评价方法
CN113688739A (zh) * 2021-08-25 2021-11-23 深圳信息职业技术学院 基于情绪识别和视觉分析的课堂学习效率预测方法及系统
CN115131867A (zh) * 2022-07-22 2022-09-30 重庆第二师范学院 基于学生学习效率检测方法、系统、设备及介质
CN115546861A (zh) * 2022-08-25 2022-12-30 苏州工业园区服务外包职业学院 一种在线课堂专注度识别方法、系统、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIN WOO ET AL: "An evaluation of measured indoor conditions and student performance using d2 Test of Attention", 《BUILDING AND ENVIRONMENT》, pages 1 - 10 *
任婕: "基于机器视觉的学生专注度综合评价研究_任婕2021年第02期", 《中国优秀硕士学位论文全文数据库（电子期刊）》, vol. 2021, no. 02, pages 3 *

Also Published As

Publication number Publication date
CN116311060B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
CN107808358A (zh) 图像水印自动检测方法
CN113239916B (zh) 一种表情识别及课堂状态评估方法、设备及介质
CN117593304B (zh) 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN107292318A (zh) 基于中心暗通道先验信息的图像显著性物体检测方法
CN116645721B (zh) 基于深度学习的坐姿识别方法及系统
CN111507227A (zh) 基于深度学习的多学生个体分割及状态自主识别方法
CN111222530A (zh) 一种细粒度图像分类方法、系统、装置和存储介质
CN103984964A (zh) 一种试纸条图像识别方法及系统
CN110659599A (zh) 一种基于扫描试卷的离线笔迹鉴定系统以及使用方法
CN111126143A (zh) 一种基于深度学习的运动评判指导方法及系统
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN107578015B (zh) 一种基于深度学习的第一印象识别与回馈系统及方法
CN116433431A (zh) 一种基于图像处理技术的教师教学状态自动评价方法及系统
Yang et al. Student in-class behaviors detection and analysis system based on CBAM-YOLOv5
CN113283334B (zh) 一种课堂专注度分析方法、装置和存储介质
CN116311060B (zh) 一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统
CN115188051A (zh) 基于对象行为的在线课程推荐方法及系统
Chen et al. Intelligent Recognition of Physical Education Teachers' Behaviors Using Kinect Sensors and Machine Learning.
TW202219494A (zh) 缺陷檢測方法及檢測裝置
CN117789078B (zh) 一种基于ai视觉识别的实验操作考评方法及系统
CN116051324A (zh) 一种基于姿态检测的学生课堂参与状态评价方法及系统
Huang et al. Deep Learning Based a Novel Method of Classroom Behavior Recognition
CN115331279A (zh) 一种人脸表情信息分析的教学反馈方法、装置和服务器
CN116894978B (zh) 一种融合面部情绪与行为多特征的线上考试防作弊系统
Alshomrani et al. Food Detection by Fine-Tuning Pre-trained Convolutional Neural Network Using Noisy Labels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant