CN111709358B - 基于课堂视频的师生行为分析系统 - Google Patents
基于课堂视频的师生行为分析系统 Download PDFInfo
- Publication number
- CN111709358B CN111709358B CN202010539342.6A CN202010539342A CN111709358B CN 111709358 B CN111709358 B CN 111709358B CN 202010539342 A CN202010539342 A CN 202010539342A CN 111709358 B CN111709358 B CN 111709358B
- Authority
- CN
- China
- Prior art keywords
- teacher
- classroom
- student
- teaching
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 88
- 230000006399 behavior Effects 0.000 claims abstract description 122
- 230000033764 rhythmic process Effects 0.000 claims abstract description 72
- 238000012482 interaction analysis Methods 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000009471 action Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 17
- 210000004247 hand Anatomy 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 9
- 238000007635 classification algorithm Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 210000000707 wrist Anatomy 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 5
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 18
- 230000008451 emotion Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000009438 liyan Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开一种基于课堂视频的师生行为分析系统，综合评估师生课堂互动状况，分为教师课堂教学行为分析模块、教师课堂授课声音节律分析模块、学生课堂举手行为分析模块和师生言语行为互动分析模块；本发明对课堂教学视频进行指标计算，得到课堂师生行为的数据结果，生成课堂师生行为数据报表，为师生课堂互动效果的评价提供参考。
Description
技术领域
本发明涉及一种基于课堂视频的师生行为分析系统，特别涉及一种多维度多模态融合的师生课堂行为评估方式，属于教育教学课堂评估的技术领域。
背景技术
随着计算机技术的发展，教育信息化在课堂教学领域上的应用越来越广泛。教育信息化的提出要求突破传统的教学模式，使用数字化、媒体化的智能信息技术改变教育的内容和方法。信息技术一般以计算机技术作为基础，计算机数字化会为教学过程提供便捷的设备，可靠的性能以及统一的标准。随着技术手段的不断提升，教育信息化的范围已经不仅局限于在教学过程中使用多媒体设备、通过网络共享优质教学资源等多媒化、数字化的应用。在此基础上，为进一步实现教育信息化，需要挖掘多媒体数据中隐藏的深层信息，而课堂教学视频就是一个探索性强，内容丰富的信息载体。当下教育信息化的表现和应用形式主要还是“互联网+教育”的模式，通过引入信息化、智能化系统搭建基于网络基础的平台。如科大讯飞提出的智慧课堂系统，核心是将教材多媒体化，以平板电脑等设备为载体对教学内容进行呈现和传播；百度提出的智能教育涉及教师教学和学习评测环节，包括人脸识别课堂教师和学生，识别手写和印刷的文字，以及教师智能阅卷等功能；海康威视提出了“无卡校园”，主要包含“精品式”录播、师生人脸的无感知考勤、课堂大数据分析等内容；此外，虚拟现实、微课堂、创客教育等新技术及互联网教育平台也开始在全国各地的多个学校课堂内进行试点。
当前，视频和语音信号分析技术在课堂行为分析领域的研究较多。视频分析技术是在计算机图像领域的分析技术，通过数字图像处理等方法对视频图像中的内容进行相关的解析。视频分析技术主要涉及目标识别目标追踪以及行为分析，其中包括运动检测、目标跟踪、视频分割、行为识别等方面。近年来，随着机器学习技术和深度学习技术的不断发展，人脸识别技术、姿态识别技术、车辆结构化识别技术等图像分析技术日渐成熟，并应用于不同的领域。视频分析技术在教学领域中的应用也越来越广泛，随着科技的进步和教学条件的提高，越来越多的学校在教室中安装了高清视频监控设备。例如韩丽、李洋针针对课堂学生表情识别研究提出了课堂环境中基于面部表情的教学效果分析，利用课堂学生情绪识别系统对课堂视频中的学生人脸进行检测，使用深度学习方法构建分类器，对学生听课面部表情进行分类，来反馈学生的听课情况。但是真实课堂中的学生数量会对摄像头提出更高的要求，必须获取每个学生的高像素人脸图片。从检测识别结果来看，微笑表情对应的开心情绪的识别准确率较高，但其他情绪的识别精度却很低。当学生出现微笑表情时，系统只能识别出该学生此时的情绪是开心的，却不能关联到课堂中学生或教师的其他行为，如该生是因为和其他同学交流而感到开心，又或是由于教师的表扬而高兴。同时，学生在听课时存在大量复杂情绪和微表情，这些表情的面部表现不明显且变化速度很快，因此识别存在困难。此类研究的技术手段相对单一，尽管取得了一些初步分析结果，却缺乏对于视频内容的深度挖掘。
语音识别技术在医疗服务、交互式、智能家居、通信系统、车载语音系统等领域已经有了广泛的应用。同时，在智能多媒体课堂的教学系统中，语音识别技术也有着广泛的应用，如语音识别教学模式的应用、智能阅读教学方式的应用等等。例如基于语音信号分析的S-T方法，通过在一定的时间间隔上对师生课堂行为采样，并分别用S(students)和T(Teachers)代表学生和老师在课堂上产生的各类声音，其中包括教师的讲演、提问、板书(可能夹杂着教师的讲解)以及学生的发言、思考、讨论、沉默等因素。S-T方法通过分析S行为和T行为的占有率并进行对比，将课堂教学模式划分为不同的类型。刘立新、王萍将S-T分析法应用于高中化学教学分析中，对高中化学优质课进行定量分析，并针对分析过程中所遇到的问题，对S-T分析法中关于教学模式的判断提出了新的标准。但是目前此类方法仍然是以人工记录的方法为主，需要耗费大量的人力劳动，且存在主观性。Huahua Qi等提出了一种结合语音分析的课堂教学评价新方法通过设定一些评价标准来判断节奏、音调波动和激情的丰富程度。但此类研究更偏重于应用新奇的技术方法，以提高计算机识别模型的准确率为目的，忽略了这些指标在课堂教学领域的实际应用。
基于上述分析，本发明基于课堂视频的师生行为分析系统，从教师和学生两个角度，构建师生行为量化指标，多角度多模态融合分析课堂授课视频，为每节课堂生成分析报表，作为教师教学的参考。
发明内容
发明目的：本发明目的在于基于课堂视频的师生行为分析系统，研究一种多维度多模态融合的师生行为分析方法，基于相关的教育教学理论基础，制定课堂教学行为编码，关联与课堂视频中教师和学生相关的行为指标，使用合适的技术方法对指标数据进行采集和分析，得到课堂师生行为的数据结果，生成报表，为师生课堂互动效果的评价提供参考。
技术方案：一种基于课堂视频的学生课堂参与度分析系统，包括教师课堂教学行为分析模块、教师课堂授课声音节律分析模块、学生课堂举手行为分析模块和师生言语行为互动分析模块；
所述的教师课堂教学行为分析模块定义教师授课中的板书行为动作，计算板书行为的时长，根据教师的课堂运动轨迹划分运动区域，分析教师在不同区域的运动时长；教师课堂授课声音节律分析模块对语音信号进行特征分析，计算平均音频的节律个数以及有明显节律波动的节律数，判断教师授课的音频是否存在节律波动；学生课堂举手行为分析模块选用目标识别算法构建举手动作的模型进行，将生成的模型用于识别学生在课堂中的举手动作并统计频次；师生言语行为互动分析模块分别计算课堂音频的静默时长、教师和学生说话时长，建立教师的课堂言语教学行为编码，使用文本分类算法对不同类别进行分类，统计不同言语行为的文本数量；
所述的一种基于课堂视频的学生课堂参与度分析系统，基于弗兰德斯等师生互动分析方法，结合和整改出一套新的课堂教学行为编码，作为系统的教育教学理论基础。根据课堂教学行为编码，关联与课堂视频中教师和学生相关的行为指标，使用合适的技术方法对指标数据进行采集和分析。
所述的教师课堂教学行为分析模块使用OpenPose算法进行教师人体关键点坐标的定位，提取教师授课的典型授课动作骨架，定义教师板书行为。给定板书区域为黑板区域，设定黑板区域的坐标位置，判断教师关节点右肩、右肘、右手腕三个关节点的坐标是否均在黑板区域中，如果至少有两个点在黑板区域中，并且右手腕坐标保证在右肘之上，则识别为板书动作。
进一步地，根据教师的运动轨迹集中点将教师运行区域划分为两部分，分别是讲台黑板区域和左右两边学生位置区域，统计教师在两块区域运动的时长判断教师的课堂轨迹运动差异。
所述的教师课堂授课声音节律分析模块通过判断信号的短时能量将信号分为语音段和非语音段。获得每10000帧的平均短时能量，判断是否有短时能量来划分节律段落数r，如公式所示：
En(b)＝0&&En(b+1)＞O
其中E(i)是第i个10000帧平均短时能量，n表示一共有n个10000帧。
进一步地，通过计算相邻两个节律段落的短时能量平均值的比值，判断当前一个节律段落大于后一个节律段落或者小于节律段落的倒数时，则记录下存在一个节律变化。将得到节律段落数r和节律变化数t，计算节律变化数t与节律段落数r的比值，将比值与阈值相比较，大于阈值，则判断为存在节律的变化，相反则没有。
所述的学生课堂举手行为分析模块使用TensorFlow深度学习网络平台，选用Faster R-CNN的目标识别算法进行举手动作的训练和识别
进一步地，在识别出按秒提取每张图片的举手次数后，将整节课的提取图片数记为n，每张图片所识别的举手人数记为k，将得到一组序列k1、k2、k3……kn，其中大多数字为0，为无人举手的情况。由于学生举手的动作具有延时性，所以相邻图片直接会存在重复计算和举手差异。首先取出每一段全部为非零的图片簇，即该图片簇的前一张和后一张图片均为0，此时该图片簇记录的是一次提问对应的举手情况。接着统计每一个图片簇中k的最大值，记为本次教师提问的举手人数。
所述的师生言语行为互动分析模块提取基于教学活动的课堂教学行为分析(TBAS)编码中与教师和学生相关的言语活动编码部分作为教师言语行为编码，将教师言语行为分为讲授、提问和指令三个类别。
进一步地，将教师的语音文本文件以每条语句的形式进行分割，每条语句进行讲授、提问和指令三个类别的标注。选用TextCNN的深度学习文本分类算法训练模型，使用生成的模型进行每条教师语音文本的类别识别，统计每个类别的语音条数。
所述的师生言语行为互动分析模块提取课堂视频的语音文件，分别对静默时长、教师学生说话时长进行标记，使用支持向量机模型进行静默时长的计算，通过隐马尔可夫监督算法训练模型用于统计教师和学生分别说话的语音时长。
进一步地，会为每节课提供一分课堂师生行为分析数据报表，内容包括该节课教师的信息(性别、年龄、授课科目)、板书时长占比、学生区域运动时长占比、是否节律波动、教师课堂提问总次数、学生课堂举手总次数、教师三类言语条数占比、静默时长占比、教师说话时长占比和学生说话时长占比。
有益效果：
1、本发明基于弗兰德斯等多种互动分析方法，提炼概括后制定出一套适用于课堂教学视频的编码模式，并以此作为师生课堂教学行为系统的根据和基础。
2、本发明通过从课堂视频数据中提取得到的图像和语音信号，运用多种模式识别方法和多模态信号分析手段对师生课堂行为的指标进一步分析，代替传统的课堂效果评估方法，采用自动化分析，具备更强的客观性。
附图说明
图1为课堂师生行为编码；
图2为本系统的课堂师生行为分析架构图；
图3为板书动作识别流程图；
图4为节律段落计算流程图；
图5为判断节律变化流程图；
图6为举手次数计算流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
根据弗兰德斯等课堂教学行为师生互动分析编码，进行结合和整改后制定系统的课堂教学行为编码，作为教育教学的理论基础，如图1所示。课堂教学行为编码主要分为教师行为、学生行为和无教学意义行为三大部分。其中教师行为分为讲授、提问、指令、声音节律、传统媒体演示和课堂监督；学生行为包括提问、回答；无教学意义行为包括无助于教学的沉静。如图2所示为课堂师生行为分析架构图，基于该课堂教学行为编码，关联课堂视频中教师和学生的相关行为量化指标，并选择合适的技术方法对这些指标数据进行采集和分析。教师行为中的讲授提问和指令对应教师言语分类和教师说话时长的指标，传统媒体演示对应教师板书行为指标，声音节律对应教师声音节律指标，课堂监督对应教师位置轨迹指标；学生行为中的提问和回答对应学生说话时长和举手行为指标；无助于教学的沉寂对应课堂静默时长指标。在技术方法选择上，时长分析采用机器学习算法，言语分类采用分类算法，板书行为和位置轨迹采用姿态识别算法，举手行为采用目标识别算法，声音节律采用语音特征分析。
一种基于课堂视频的师生行为分析系统，综合评估师生课堂互动状况，分为教师课堂教学行为分析模块、教师课堂授课声音节律分析模块、学生课堂举手行为分析模块和师生言语行为互动分析模块；教师课堂教学行为分析模块通过OpenPose姿态识别算法确定教师骨架关键点位置，定义教师的板书动作，统计教师板书时长，将教师运动区域划分为两个部分，绘制教师在课堂中不同时间点所站立的位置，识别教师的运动轨迹并统计其在不同区域位置的时长；教师课堂授课声音节律分析模块对获取的教师语音信号进行预处理，对语音信号进行特征分析，通过计算平均短时能量获取音频的节律个数，计算出有明显节律波动的节律数，判断教师授课的音频是否存在节律波动；学生课堂举手行为分析模块建立课堂举手动作图片集，划分训练集和测试集，选用目标识别算法模型进行训练的测试，将生成的模型用于识别学生在课堂中的举手动作并统计频次；师生言语行为互动分析模块从教师和学生的语音出发，分别对静默时长、教师学生说话时长进行标记，使用支持向量机模型进行静默时长的计算，通过隐马尔可夫监督算法训练模型用于统计教师和学生分别说话的语音时长，根据教师的课堂言语教学制定教师课堂言语教学行为的互动编码，将教师的授课语音进行语音识别生成文本文件，使用TextCNN文本分类算法进行分类，统计不同言语行为的文本数量。
所述的教师课堂教学行为分析模块使用OpenPose算法进行教师人体关键点坐标的定位，提取教师授课的典型授课动作骨架，定义教师板书行为。如图3所示为板书动作的识别流程图，给定板书区域为黑板区域，设定黑板区域的坐标位置，判断教师关节点右肩、右肘、右手腕三个关节点的坐标是否均在黑板区域中，如果至少有两个点在黑板区域中，并且右手腕坐标保证在右肘之上，则识别为板书动作。
所述的教师课堂教学行为分析模块根据教师的运动轨迹集中点，划分分割线，将教师运行区域划分为两部分，分别是讲台黑板区域和左右两边学生位置区域，统计教师在两块区域运动的时长判断教师的课堂轨迹运动差异。
所述的教师课堂授课声音节律分析模块首先进行预加重，增加语音的高频部分，使信号的频谱变得平坦，通过一阶FIR来实现预加重高通数字滤波器，其传递函数如下:
H(Z)＝1-kZ-1
其中k为预强调系数，一般介于0.9-1.0之间。这里将采用k＝0.94的一阶高通滤波器实现语音信号的预加重操作。
接着进行分帧处理，将每一帧信号近似为平稳信号。为了使特征参数平滑地变化，在两个不重叠的帧之间插入一些帧以提取特征参数，形成相邻帧之间的重叠部分。公式所示为分帧函数：
其中N为采样点，wlen为帧长，inc为帧位移。设置wlen＝0,inc＝80。
通过判断信号的短时能量将信号分为语音段和非语音段。如图4所示为节律段落计算的流程图。获得每10000帧的平均短时能量，判断是否有短时能量来划分节律段落数r，如公式所示：
En(b)＝0&&En(b+1)＞O
其中E(i)是第i个10000帧平均短时能量，n表示一共有n个10000帧。
如图5所示为判断节律变化的流程图，通过计算相邻两个节律段落的短时能量平均值的比值，判断当前一个节律段落大于后一个节律段落或者小于节律段落的倒数时，则记录下存在一个节律变化。将得到节律段落数r和节律变化数t，计算节律变化数t与节律段落数r的比值，将比值与阈值相比较，大于阈值，则判断为存在节律的变化，相反则没有。
所述的学生课堂举手行为分析模块使用TensorFlow深度学习网络平台，选用Faster R-CNN的目标识别算法进行举手动作的训练和识别。
如图6所示为学生举手次数计算流程图，在识别出按秒提取每张图片的举手次数后，将整节课的提取图片数记为n，每张图片所识别的举手人数记为k，将得到一组序列k1、k2、k3……kn，其中大多数字为0，为无人举手的情况。由于学生举手的动作具有延时性，所以相邻图片直接会存在重复计算和举手差异。首先取出每一段全部为非零的图片簇，即该图片簇的前一张和后一张图片均为0，此时该图片簇记录的是一次提问对应的举手情况。接着统计每一个图片簇中k的最大值，记为本次教师提问的举手人数。
所述的师生言语行为互动分析模块提取基于教学活动的课堂教学行为分析(TBAS)编码中与教师和学生相关的言语活动编码部分作为教师言语行为编码，将教师言语行为分为讲授、提问和指令三个类别。将教师的语音文本文件以每条语句的形式进行分割，每条语句进行讲授、提问和指令三个类别的标注。选用TextCNN的深度学习文本分类算法训练模型，使用生成的模型进行每条教师语音文本的类别识别，统计每个类别的语音条数。
所述的师生言语行为互动分析模块提取课堂视频的语音文件，分别对静默时长、教师学生说话时长进行标记，使用支持向量机模型进行静默时长的计算，通过隐马尔可夫监督算法训练模型用于统计教师和学生分别说话的语音时长。
最终系统会为每节课提供一分课堂师生行为分析数据报表，内容包括该节课教师的信息(性别、年龄、授课科目)、板书时长占比、学生区域运动时长占比、是否节律波动、教师课堂提问总次数、学生课堂举手总次数、教师三类言语条数占比、静默时长占比、教师说话时长占比和学生说话时长占比。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种基于课堂视频的师生行为分析系统，其特征在于，包括教师课堂教学行为分析模块、教师课堂授课声音节律分析模块、学生课堂举手行为分析模块和师生言语行为互动分析模块；
所述的教师课堂教学行为分析模块通过OpenPose姿态识别算法确定教师骨架关键点位置，定义教师的板书动作，统计教师板书时长，将教师运动区域划分为两个部分，绘制教师在课堂中不同时间点所站立的位置，识别教师的运动轨迹并统计其在不同区域位置的时长；
所述的教师课堂授课声音节律分析模块对获取的教师语音信号进行预处理，对语音信号进行特征分析，通过计算平均短时能量获取音频的节律个数，计算出有明显节律波动的节律数，判断教师授课的音频是否存在节律波动；
所述的学生课堂举手行为分析模块建立课堂举手动作图片集，划分训练集和测试集，选用目标识别算法模型进行训练的测试，将生成的模型用于识别学生在课堂中的举手动作并统计频次；
所述的师生言语行为互动分析模块从教师和学生的语音出发，分别对静默时长、教师学生说话时长进行标记，使用支持向量机模型进行静默时长的计算，通过隐马尔可夫监督算法训练模型用于统计教师和学生分别说话的语音时长，根据教师的课堂言语教学制定教师课堂言语教学行为的互动编码，将教师的授课语音进行语音识别生成文本文件，使用TextCNN文本分类算法进行分类，统计不同言语行为的文本数量。
2.根据权利要求1所述的一种基于课堂视频的师生行为分析系统，其特征在于，基于弗兰德斯等师生互动分析方法，结合和整改出一套新的课堂教学行为编码， 该课堂教学行为编码主要分为教师行为、学生行为和无教学意义行为三大部分， 其中教师行为分为讲授、提问、指令、声音节律、传统媒体演示和课堂监督；学生行为包括提问、回答；无教学意义行为包括无助于教学的沉静， 根据所述的课堂教学行为编码，关联与课堂视频中教师和学生相关的行为指标， 一共提出8个指标：教师板书行为；教师位置轨迹；教师声音节律；教师说话时长；教师言语分类；学生举手行为；学生说话时长；课堂静默时长。
3.根据权利要求1所述的一种基于课堂视频的师生行为分析系统，其特征在于，所述的教师课堂教学行为分析模块使用OpenPose算法进行教师人体关键点坐标的定位，提取教师授课的典型授课动作骨架，定义教师板书行为；给定板书区域为黑板区域，设定黑板区域的坐标位置，判断教师关节点右肩、右肘、右手腕三个关节点的坐标是否均在黑板区域中，如果至少有两个点在黑板区域中，并且右手腕坐标保证在右肘之上，则识别为板书动作。
4.根据权利要求1所述的一种基于课堂视频的师生行为分析系统，其特征在于，所述的教师课堂教学行为分析模块根据教师的运动轨迹集中点将教师运行区域划分为两部分，分别是讲台黑板区域和左右两边学生位置区域，统计教师在两块区域运动的时长判断教师的课堂轨迹运动差异。
5.根据权利要求1所述的一种基于课堂视频的师生行为分析系统，其特征在于，所述的教师课堂授课声音节律分析模块通过判断信号的短时能量将信号分为语音段和非语音段；获得每10000帧的平均短时能量，判断是否有短时能量来划分节律段落数r，计算公式所示：
En(b)＝0&&En(b+1)＞0
其中E(i)是第i个10000帧平均短时能量，n表示一共有n个10000帧，
通过计算相邻两个节律段落的短时能量平均值的比值，判断当前一个节律段落大于后一个节律段落或者小于节律段落的倒数时，则记录下存在一个节律变化；将得到节律段落数r和节律变化数t，计算节律变化数t与节律段落数r的比值，将比值与阈值相比较，大于阈值，则判断为存在节律的变化，相反则没有。
6.根据权利要求5所述的一种基于课堂视频的师生行为分析系统，其特征在于，所述的学生课堂举手行为分析模块在识别出按秒提取每张图片的举手次数后，将整节课的提取图片数记为n，每张图片所识别的举手人数记为k，将得到一组序列k1、k2、k3……kn，首先取出每一段全部为非零的图片簇，即该图片簇的前一张和后一张图片均为0，此时该图片簇记录的是一次提问对应的举手情况；接着统计每一个图片簇中k的最大值，记为本次教师提问的举手人数。
7.根据权利要求1所述的一种基于课堂视频的师生行为分析系统，其特征在于，所述的师生言语行为互动分析模块提取基于教学活动的课堂教学行为分析编码中与教师和学生相关的言语活动编码部分作为教师言语行为编码，将教师言语行为分为讲授、提问和指令三个类别。
8.根据权利要求7所述的一种课堂视频的师生行为分析系统，其特征在于，所述的师生言语行为互动分析模块将教师的语音文本文件以每条语句的形式进行分割，每条语句进行讲授、提问和指令三个类别的标注；选用TextCNN的深度学习文本分类算法训练模型，使用生成的模型进行每条教师语音文本的类别识别，统计每个类别的语音条数。
9.根据权利要求1所述的一种课堂视频的师生行为分析系统，其特征在于，所述的师生言语行为互动分析模块提取课堂视频的语音文件，分别对静默时长、教师学生说话时长进行标记，使用支持向量机模型进行静默时长的计算，通过隐马尔可夫监督算法训练模型用于统计教师和学生分别说话的语音时长。
10.根据权利要求1所述的一种课堂视频的师生行为分析系统，其特征在于，系统为每节课提供一分课堂师生行为分析数据报表，内容包括该节课教师的信息、板书时长占比、学生区域运动时长占比、是否节律波动、教师课堂提问总次数、学生课堂举手总次数、教师三类言语条数占比、静默时长占比、教师说话时长占比和学生说话时长占比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010539342.6A CN111709358B (zh) | 2020-06-14 | 2020-06-14 | 基于课堂视频的师生行为分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010539342.6A CN111709358B (zh) | 2020-06-14 | 2020-06-14 | 基于课堂视频的师生行为分析系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111709358A CN111709358A (zh) | 2020-09-25 |
| CN111709358B true CN111709358B (zh) | 2022-11-11 |
Family
ID=72540508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010539342.6A Active CN111709358B (zh) | 2020-06-14 | 2020-06-14 | 基于课堂视频的师生行为分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709358B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287844B (zh) * | 2020-10-30 | 2023-04-18 | 北京市商汤科技开发有限公司 | 学情分析方法及装置、电子设备和存储介质 |
| CN112396923B (zh) * | 2020-11-25 | 2023-09-19 | 贵州轻工职业技术学院 | 一种市场营销的教学模拟系统 |
| CN112613342A (zh) * | 2020-11-27 | 2021-04-06 | 深圳市捷视飞通科技股份有限公司 | 行为分析方法、装置、计算机设备和存储介质 |
| CN112908355B (zh) * | 2021-01-18 | 2022-02-25 | 江苏师范大学 | 一种师范生教学技能量化评价系统及其方法 |
| CN112990878A (zh) * | 2021-03-30 | 2021-06-18 | 北京大智汇领教育科技有限公司 | 一种教师课堂教学行为实时纠正系统及分析方法 |
| CN113327066A (zh) * | 2021-06-30 | 2021-08-31 | 重庆五洲世纪文化传媒有限公司 | 一种幼儿测试系统及方法 |
| CN113743250B (zh) * | 2021-08-16 | 2024-02-13 | 华中师范大学 | 一种课堂教学行为事件描述模型的构建方法及系统 |
| CN113743263B (zh) * | 2021-08-23 | 2024-02-13 | 华中师范大学 | 一种教师非言语行为测量方法及系统 |
| CN113947963A (zh) * | 2021-09-23 | 2022-01-18 | 李永良 | 一种用于电力教学的电力线路控制系统 |
| CN113992932B (zh) * | 2021-11-01 | 2024-03-19 | 北京高途云集教育科技有限公司 | 信息提示方法、装置、电子设备及可读存储介质 |
| CN114554144B (zh) * | 2022-01-18 | 2024-04-26 | 南京中医药大学 | 一种基于嵌入式的网络直播视频流硬件化系统及方法 |
| CN114898460B (zh) * | 2022-04-22 | 2024-04-26 | 华中师范大学 | 一种基于图卷积神经网络的教师非言语行为检测方法 |
| CN114885187B (zh) * | 2022-06-23 | 2023-08-08 | 深圳市必提教育科技有限公司 | 一种在线教育直播回放方法和系统 |
| WO2024077511A1 (zh) * | 2022-10-12 | 2024-04-18 | 广州视源电子科技股份有限公司 | 互动统计方法、装置、设备、系统及存储介质 |
| CN115880111B (zh) * | 2023-02-22 | 2023-05-16 | 山东工程职业技术大学 | 基于图像的虚拟仿真实训课堂教学管理方法及系统 |
| CN116579894B (zh) * | 2023-04-06 | 2023-10-24 | 广东悦学科技有限公司 | 一种基于物联网智慧教室的师生互动检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108903A (zh) * | 2017-12-26 | 2018-06-01 | 重庆大争科技有限公司 | 课堂教学质量评估系统 |
| CN109657529A (zh) * | 2018-07-26 | 2019-04-19 | 台州学院 | 基于面部表情识别的课堂教学效果评价系统 |
| CN111046823A (zh) * | 2019-12-19 | 2020-04-21 | 东南大学 | 基于课堂视频的学生课堂参与度分析系统 |
-
2020
- 2020-06-14 CN CN202010539342.6A patent/CN111709358B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111709358A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709358B (zh) | 基于课堂视频的师生行为分析系统 | |
| CN110992741B (zh) | 一种基于课堂情绪和行为分析的学习辅助方法及系统 | |
| CN106851216B (zh) | 一种基于人脸和语音识别的课堂行为监控系统及方法 | |
| CN108648757B (zh) | 一种基于多维度课堂信息的分析方法 | |
| US20200286396A1 (en) | Following teaching system having voice evaluation function | |
| CN108090857A (zh) | 一种多模态的学生课堂行为分析系统和方法 | |
| CN107609736A (zh) | 一种综合应用人工智能技术的教学诊断分析系统及方法 | |
| CN111027584A (zh) | 一种课堂行为识别方法及设备 | |
| CN115239527B (zh) | 基于知识库的教学特征融合与建模的教学行为分析系统 | |
| CN110427977B (zh) | 一种课堂互动行为的检测方法 | |
| CN113592251B (zh) | 一种多模态融合的教态分析系统 | |
| CN110910691A (zh) | 一种个性化课程生成方法及系统 | |
| CN111914760B (zh) | 一种在线课程视频资源构成的解析方法及系统 | |
| CN116050892A (zh) | 一种基于人工智能的智能教育评价监督方法 | |
| CN113920534A (zh) | 一种视频精彩片段提取方法、系统和存储介质 | |
| Yang et al. | Analysis of interaction attitudes using data-driven hand gesture phrases | |
| Jain et al. | Student’s Feedback by emotion and speech recognition through Deep Learning | |
| CN111563697A (zh) | 一种线上课堂学生情绪分析方法和系统 | |
| CN117252259A (zh) | 基于深度学习的自然语言理解方法及ai助教系统 | |
| CN116825288A (zh) | 孤独症康复课程记录方法、装置、电子设备及存储介质 | |
| CN109447863A (zh) | 一种4mat实时分析方法及系统 | |
| CN115544226A (zh) | 一种基于多模态情感分析的相似识别方法 | |
| CN114255426A (zh) | 一种基于视频识别和语音分离技术的学生专注度评估系统 | |
| Altalmas et al. | Lips tracking identification of a correct Quranic letters pronunciation for Tajweed teaching and learning | |
| Ruan | Special-Purpose English Teaching Reform and Model Design in the Era of Artificial Intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231025 Address after: Room 802-23024, Information Building, No. 13 Linyin North Street, Pinggu District, Beijing, 101299 (Cluster Registration) Patentee after: Beijing Hongsu Cultural Development Co.,Ltd. Address before: 210096, No. four archway, Xuanwu District, Jiangsu, Nanjing 2 Patentee before: SOUTHEAST University |