CN113743250A - 一种课堂教学行为事件描述模型的构建方法及系统 - Google Patents

一种课堂教学行为事件描述模型的构建方法及系统 Download PDF

Info

Publication number
CN113743250A
CN113743250A CN202110939047.4A CN202110939047A CN113743250A CN 113743250 A CN113743250 A CN 113743250A CN 202110939047 A CN202110939047 A CN 202110939047A CN 113743250 A CN113743250 A CN 113743250A
Authority
CN
China
Prior art keywords
events
event
classroom
teaching
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110939047.4A
Other languages
English (en)
Other versions
CN113743250B (zh
Inventor
陈增照
李佳文
戴志诚
何秀玲
鲁圆圆
孟秉恒
朱胜虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202110939047.4A priority Critical patent/CN113743250B/zh
Priority to PCT/CN2021/116820 priority patent/WO2023019652A1/zh
Priority to US18/011,847 priority patent/US20230334862A1/en
Publication of CN113743250A publication Critical patent/CN113743250A/zh
Application granted granted Critical
Publication of CN113743250B publication Critical patent/CN113743250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种课堂教学行为事件描述模型的构建方法及系统。该构建方法包括如下步骤：获取待训练的课堂教学视频数据；利用语音活动检测技术，将待训练的课堂教学视频数据按照教师的话语划分成多个事件；利用多种人工智能技术对所有事件进行多模态识别，划分为多个维度下的子事件，根据子事件建立事件描述模型，对教师在课堂中的各项教学行为事件进行描述。本发明根据语音对课堂视频进行切割，能够最大程度上保证每一个事件中教师非言语行为的完整性；且通过提取不同事件之间的共性，建立统一描述所有事件的描述模型，不仅能完成对教师各项教学行为的描述，还能反映出事件与事件之间的关联性，使得事件不再是孤立的。

Description

一种课堂教学行为事件描述模型的构建方法及系统
技术领域
本发明属于教育系统技术领域，更具体地，涉及一种课堂教学行为事件描述模型的构建方法及系统。
背景技术
课堂教学行为事件主要是指教师在课堂中的教学行为组成的事件，对教师的课堂教学行为进行事件划分能够更好地对教师的教学行为进行分析。现在对教师的教学行为进行分析评价的主要方式为传统人工的方式，但是人工对课堂视频中地教学行为进行划分进而评价教师的课堂行为，受主观因素影响较大，对客观描述教学事件有负面的影响。
虽然也有极少数的课堂视频切割系统，但大多直接按照固定的时间对课堂进行划分，划分为时间上相等的不同事件。然而，规定每个事件的时间很可能会使得教师的一句话被拆分成了两个事件，会导致教师的教学行为在同一个事件里是支离破碎的，直接破坏了教师非言语行为的完整性。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种课堂教学行为事件描述模型的构建方法及系统，旨在解决采用传统人工的方式，对课堂视频中地教学行为进行划分进而评价教师的课堂行为，受主观因素影响大；以及现有的教学事件描述模型直接按照固定的时间间隔进行事件划分，导致教师的教学行为被切割，难以保证教师行为完整性的问题。
为实现上述目的，第一方面，本发明提供了一种课堂教学行为事件描述模型的构建方法，包括如下步骤：
获取待训练的课堂教学视频数据；
利用语音活动检测技术，将所述待训练的课堂教学视频数据按照教师的话语划分成多个事件；
利用多种人工智能技术对所有事件进行多模态识别，划分为多个维度下的子事件，根据所述子事件建立事件描述模型，对教师在课堂中的各项教学行为事件进行描述。
在其中一个实施例中，还包括：
提取各事件之间的共性，根据所述共性和所述子事件建立统一描述所有事件的事件描述模型，对教师在课堂中发生的所有教学行为事件进行统一描述。
在其中一个实施例中，在所述事件描述模型中，定义整个课堂教学事件序列(E)，E＝{e1，e2，...，en}，n表示有n个事件发生，ei表示某个事件，ei用六元组<id，t，dt，w，aw，R>表示，其中，
id为事件的唯一性标识；
t为该事件的开始时间；
dt为开始时间为t的该事件对应的持续时间；
w为该事件的维度，w∈W，W＝{w0，w1，w2，...，wm}，所述维度包括教师的表情、语音情感、目光、手势和身体姿态；
aw为事件w的属性，
Figure BDA0003214020750000021
R为与当前事件有关联的事件以及其之间的关联性，是一个二元组序列，定义为R＝{<e1，r1>，<e2，r2>，...，<en，rn>}，其中，关系二元组<e，r>中的e表示与当前事件相关的事件，r表示两个事件之间的关联性的具体值。
在其中一个实施例中，所述两个事件之间的关联性包括维度关联性和时序关联性。
在其中一个实施例中，所述维度关联性通过模糊矩阵R＝(rij)m×m确定，所述模糊矩阵R定义为：
Figure BDA0003214020750000031
其中，rij∈[0，1]，i＝1，2，...，m，j＝1，2，...，m，rij为第i个维度与第j个维度之间的关联度，若rij＝1则i＝j，表示同一个维度之间的关联度，即最高的关联性；若rij＝0则表示第i个维度与第j个维度毫不相关；若rij∈(0，1)，则越接近1表示关联性越高。
在其中一个实施例中，当两个事件所对应的持续时间相同时，通过皮尔逊系数进行所述时序关联性计算；当两个事件所对应的持续时间不相同时，采用动态时间规整进行所述时序关联性计算。
第二方面，本发明提供了一种课堂教学行为事件描述模型的构建系统，包括：
训练数据获取模块，用于获取待训练的课堂教学视频数据；
事件划分模块，用于利用语音活动检测技术，将所述待训练的课堂教学视频数据按照教师的话语、划分成多个事件；
事件描述模块，用于利用多种人工智能相关技术对所有事件进行多模态识别，划分为多个维度下的子事件，根据所述子事件建立事件描述模型，对教师在课堂中的各项教学行为事件进行描述。
第三方面，本发明提供了一种课堂教学行为事件描述方法，包括如下步骤：
获取目标课堂教学视频数据；
利用语音活动检测技术，将所述目标课堂教学视频数据按照教师的话语、划分成多个包含教师多种教学行为的教学事件；
将所有教学事件输入到预先通过上述的构建方法构建得到的事件描述模型，得到教师在课堂中的各项教学行为事件的描述结果。
第四方面，本发明提供了一种课堂教学行为事件描述系统，包括：
目标数据获取模型，用于获取目标课堂教学视频数据；
教学事件划分模块，用于利用语音活动检测技术，将所述目标课堂教学视频数据按照教师的话语、划分成多个包含教师多种教学行为的教学事件；
处理模块，用于将所有教学事件输入到预先通过上述的构建方法构建得到的事件描述模型，得到教师在课堂中的各项教学行为事件的描述结果。
第五方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器内存储计算机程序；所述处理器用于当执行所述计算机程序时，实现上述的构建方法、或上述的课堂教学行为事件描述方法。
整体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)本发明提供的课堂教学行为事件描述模型的构建方法及系统，突破了传统的人工评价分析教师行为的局限性，能够实现每一个事件的多模态识别，且摒除了人为因素的影响。
(2)本发明提供的课堂教学行为事件描述模型的构建方法及系统，根据语音对课堂视频进行切割，能够最大程度上保证每一个事件中教师非言语行为的完整性。
(3)本发明提供的课堂教学行为事件描述模型的构建方法及系统，通过提取不同事件之间的共性，建立统一描述所有事件的描述模型，不仅能完成对教师各项教学行为的描述，还能反映出事件与事件之间的关联性，使得事件不再是孤立的。
附图说明
图1和图2分别是一实施例中课堂教学行为事件描述模型的构建方法流程图和技术流程图；
图3是另一实施例中课堂教学行为事件描述模型的构建方法的技术流程图；
图4是一实施例中课堂教学行为事件描述模型的构建系统的架构图；
图5是一实施例中课堂教学行为事件描述方法的流程图；
图6是一实施例中课堂教学行为事件描述系统的架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种课堂教学行为事件描述模型的构建方法，以解决现有的教学事件描述模型直接按照固定的时间间隔进行事件划分，导致教师的教学行为被切割，难以保证教师行为完整性的问题。
图1和图2分别是本发明一实施例提供的课堂教学行为事件模型的构建方法流程图和技术流程图，如图1和图2所示，该构建方法包括步骤S10～S30，详述如下：
S10，获取待训练的课堂教学视频数据。
S20，利用语音活动检测技术(VAD技术)，将待训练的课堂教学视频数据按照教师的话语划分成多个事件。
在步骤S20中，将课堂视频按照教师的话语切割成多个事件，因为教师的行为往往都是伴随着语音的，所以根据语音对课堂事件进行划分，能够最大程度保证教师的教学行为不被拆分。
S30，利用多种人工智能技术对所有事件进行多模态识别，划分为多个维度下的子事件，根据子事件建立事件描述模型，对教师在课堂中的各项教学行为事件进行描述。
在步骤S30中，多种人工智能技术可以是语音情感识别、头部姿态估计、手势识别等技术，根据这些技术对事件进行多模态识别，对应地可划分为语音情感、头部姿态、手势等多维度下的子事件，然后根据这些子事件判断教师课堂的状态。例如语音情感维度的子事件，可以判断出整堂课的课堂氛围如何，是积极，中性还是消极；头部姿态维度下的子事件，可以判断出教师是否有点头、摇头等对学生进行反馈的行为；手势维度下的子事件，可以判断出教师的手势是指向性手势，节拍性手势还是象征性手势等。
在一个实施例中，参见图3，步骤S30还可包括如下步骤：
提取各事件之间的共性，根据共性和子事件建立统一描述所有事件的事件描述模型，对教师在课堂中发生的所有教学行为事件进行统一描述。
需要说明的是，目前还没有对教师的课堂教学事件进行统一描述的模型，但是有学者研究教师的教学行为，并使用量表对教学事件进行描述，然而这些量表普遍存在统一的问题，无法对所有发生的事件进行统一的智能化描述，导致所有的事件是分散开来的，事件与事件是孤立的点，无法找到它们之间的关联性。
本实施例分两步对课堂视频进行事件划分，首先利用VAD语音活动检测技术，将课堂按照教师的话语切割成多个事件，因为教师的行为往往都是伴随着语音的，所以根据语音对课堂事件进行划分，能够最大程度保证教师的教学行为不被拆分。然后再通过提取不同事件之间的共性，找到能够统一描述所有事件的描述模型，完成对教师各项教学行为的描述，并且找到事件与事件之间的关联性，使得事件不再是孤立的。
在一个具体的实施例中，实现上述目的的技术方案为：
(1)对课堂教学事件进行划分
建立描述模型的第一步就是对课堂进行事件划分，本发明中的事件划分可以分为两个部分。第一步，对课堂视频进行VAD语音活动检测，将课堂视频进行切割，划分为多个事件，将这些以语音为主要线索的事件称为主事件。第二步，对所有的主事件进行多模态识别，根据识别的维度的不同可以将每个主事件再划分为若干种维度的子事件，而对于一个主事件来说，其对应的某一个维度的子事件也会有若干个。因此，事件划分最后能够得到若干个主事件和每一个主事件对应的若干种维度的子事件以及若干个在同一个主事件的时间段内同一维度内发生的子事件。
事件划分以VAD技术为基础，对课堂视频进行切割，实现课堂主事件的划分，并为其他技术提供事件划分点。再使用多种人工智能相关技术，例如语音情感识别，头部姿态估计，手势识别等对主事件进行多模态识别，划分为多个维度下的子事件。
(2)建立课堂教学事件描述模型
定义整个课堂教学事件序列(E)，E＝{e1，e2，...，en}，n表示有n个事件发生，用ei来表示某个事件，i＝1，2，...，n，则ei可用五元组<id，t，dt，w，aw，R>表示。
其中：
id为事件的唯一性标识。
t为事件的开始时间(t∈Z)，单位为毫秒。
dt为开始时间为t的该事件对应的持续时间。
w表示事件维度，即类型，其中w∈W,W＝{w0，w1，w2，...，wm}。
其中，w0表示该事件为教师语音事件，并定义教师语音事件为主事件，即当某事件的w＝w0时，表示该事件为主事件，而当w∈{w1，w2，...，wm}时，表示该事件为子事件。
子事件表示使用人工智能相关技术能够完成识别的教师在课堂上的行为，其类型有许多种，例如教师的表情，身体姿态，目光，手势，语音情感等等。每一种类型对应了一个W。
aw为事件W的属性，
Figure BDA0003214020750000081
每一个事件类型w都有对应的aw属性集，例如w＝w0时，其对应的属性集
Figure BDA0003214020750000082
假定当w＝w1时，事件类型为教师目光事件，则其对应的属性集
Figure BDA0003214020750000083
因此，所有事件类型的属性集构成了一个不规则的矩阵：
Figure BDA0003214020750000084
R表达了与当前事件有关联的事件以及其之间的关联性，是一个二元组序列，R＝{<e1，r1>，<e2，r2>，...，<en，rn>}，其中，关系二元组<e，r>中的e表示与当前事件相关的事件，r表示两个事件之间的关联性的具体值。
设课堂教学事件序列E＝[e1，e2，...，en]，其中n＞0且n∈Z，再对事件进行多模态识别，划分为eij(1≤i≤n，1≤j≤m)，其中n表示n个主事件，m表示m个模态，则主事件伴随的子事件可以表示为：
Figure BDA0003214020750000085
但由于存在同一主事件对应的同一个类型的子事件可能不止一个，例如在一个教师语音事件中，教师的目光可能不仅看向了学生，而且看向了仅自己可见的教学材料，那么在这个主事件对应的教师目光类型的子事件就有两个。则
Figure BDA0003214020750000091
对于每一个主事件对应的子事件矩阵来说，矩阵的一行代表一种类型的子事件，每一种类型的子事件中的所有事件，即一行中的所有时间元素，其在时间上是具有先后顺序的，而不同类型的子事件，也就是子事件矩阵中的每一行，在时序上都对应了主事件发生的时间段，其开始时间和结束时间是相同的，即该矩阵在时序上是一个并行时序矩阵。
则
Figure BDA0003214020750000092
(3)事件之间的关联性
进行划分后的事件与事件之间存在一定的关联性，比如教师在微笑的时候往往语音情感也是比较积极的，教师的目光在看向学生的时候其手势是指示性手势的可能性更大。那么以表情为微笑的事件为例，它与和其同属于一个主事件的语音情感为积极的事件的关联性就更强，即两个事件之间会存在维度以及时序上的关联性，且维度与维度之间关联性的强度是不同的。
从上述例子也不难看出，事件与事件之间同样存在着时序上的关联性，例如同时发生的事件其关联性会比发生时间相差较大的事件之间关联性更强等。
综上所述，两个事件的关联性可以通过维度关联性和时序关联性来表示。
(a)维度关联性
定义维度集合A＝{di|0≤i≤m且i∈Z}，设论域为A自身，则乘积空间A×A＝{(di，di)|di∈A，di∈A，0≤i≤m，0≤j≤m且i，j∈Z}，R为从A到A的模糊关系，其隶属函数为μR(d，d)，对任意的(di，di)∈A×A都有μR(d，d)＝rij∈[0，1]，则记不同维度之间的模糊矩阵R＝(rij)m×m，即
Figure BDA0003214020750000101
其中，rij∈[0，1]，i＝1，2，...，m，j＝1，2，...，m，rij即为第i个维度与第j个维度之间的关联度，若rij＝1则i＝j，表示同一个维度之间的关联度，即最高的关联性；若rij＝0则表示第i个维度与第j个维度毫不相关；若rij∈(0，1)，则越接近1表示关联性越高。
(b)时序关联性
不同的事件有不同的事件序列表示，假设事件A与事件B对应的时间序列分别为X与Y，他们的长度分别是t1和t2。
如果t1＝t2，可以直接利用皮尔逊系数计算得到两个时间序列之间的相似性：
Figure BDA0003214020750000102
其中，xt表示时间序列X在t时刻对应的值，yt表示时间序列Y在t时刻对应的值；T表示两个事件的时间序列的总长度。
Figure BDA0003214020750000111
如果t1≠t2，则采用动态时间规整DTW进行相似度的计算。
首先将两个序列对齐，使得两个序列的距离最小。构建一个t1×t2的矩阵，其中矩阵元素(i,j)表示xi与yj之间的距离，这里一般采用欧式距离进行计算，那么同时(i,j)也表示了点xi与点yj的对齐，再利用动态规划算法寻找一条通过此网格若干点的路径P，P的第k个元素pk＝(i，j)k,定义了序列X和Y的映射
P＝p1，p2，...，pk，...，pK max(t1，t2)≤K≤t1+t2+1
则
Figure BDA0003214020750000112
则对于两个课堂事件
Figure BDA0003214020750000113
与
Figure BDA0003214020750000114
设其维度相关性为rd
Figure BDA0003214020750000115
设其时序相关性rt：
Figure BDA0003214020750000116
将时序相关性进行归一化之后与维度相关性进行权重求和即可得到两个事件之间的相关性。
则两个事件之间的相关性可以用维度相关性与时序相关性共同表示。
r＝w1*rd+w2*rt，其中w1，w2表示两个相关性的权重。
本发明提供的课堂教学行为事件模型的构建方法利用人工智能相关技术，分两步对课堂视频进行事件划分，从而将课堂划分为多个包含教师多种教学行为的教学事件。
(1)提出了一种教学事件描述模型，能对教师课堂中的教学行为教学智能化的统一描述。
(2)本发明提出的事件模式模型不仅能够对教学事件的属性教学描述，而且通过该模型能够表达事件与事件之间的关联性。
基于同样的发明构思，本发明还提供了一种课堂教学行为事件描述模型的构建系统，如图4所示，包括：
训练数据获取模块10，用于获取待训练的课堂教学视频数据。
事件划分模块20，用于利用语音活动检测技术，将待训练的课堂教学视频数据按照教师的话语划分成多个事件。
事件描述模块30，用于利用多种人工智能相关技术对所有事件进行多模态识别，划分为多个维度下的子事件，根据子事件建立事件描述模型，对教师在课堂中的各项教学行为事件进行描述。
具体地，图4中各模块的功能可参见上述构建方法实施例中的详细介绍，在此不再赘述。
参见图5，本发明还提供了一种课堂教学行为事件描述方法，包括步骤S100～S30，详述如下：
S100，获取目标课堂教学视频数据。
S200，利用语音活动检测技术，将目标课堂教学视频数据按照教师的话语、划分成多个包含教师多种教学行为的教学事件。
S300，将所有教学事件输入到预先通过上述的构建方法构建得到的事件描述模型，得到教师在课堂中的各项教学行为事件的描述结果。
本发明提供的课堂教学行为事件描述方法基于上述构建方法构建得到的事件描述模型，不仅能对目标课堂教学视频中教师的各项教学行为事件进行描述，还能表达事件与事件之间的关联性。
参见图6，本发明提供了一种课堂教学行为事件描述系统，包括：
目标数据获取模型100，用于获取目标课堂教学视频数据。
教学事件划分模块200，用于利用语音活动检测技术，将目标课堂教学视频数据按照教师的话语、划分成多个包含教师多种教学行为的教学事件。
处理模块300，用于将所有教学事件输入到预先通过上述的构建方法构建得到的事件描述模型，得到教师在课堂中的各项教学行为事件的描述结果。
具体地，图6中各模块的功能可参见上述课堂教学行为事件描述方法实施例中的详细介绍，在此不再赘述。
本发明还提供一种计算机设备，包括存储器和处理器，存储器内存储计算机程序；处理器用于当执行计算机程序时，实现上述的构建方法、或上述的课堂教学行为事件描述方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种课堂教学行为事件描述模型的构建方法，其特征在于，包括如下步骤：
(1)获取待训练的课堂教学视频数据；
(2)利用语音活动检测技术，将所述待训练的课堂教学视频数据按照教师的话语划分成多个事件；
(3)利用多种人工智能技术对所有事件进行多模态识别，划分为多个维度下的子事件，根据所述子事件建立事件描述模型，对教师在课堂中的各项教学行为事件进行描述。
2.根据权利要求1所述的课堂教学行为事件描述模型的构建方法，其特征在于，步骤(3)，还包括：
提取各事件之间的共性，根据所述共性和所述子事件建立统一描述所有事件的事件描述模型，对教师在课堂中发生的所有教学行为事件进行统一描述。
3.根据权利要求2所述的课堂教学行为事件描述模型的构建方法，其特征在于，在所述事件描述模型中，定义整个课堂教学事件序列(E)，E＝{e1，e2，...，en}，n表示有n个事件发生，ei表示某个事件，ei用六元组<id，t，dt，w，aw，R>表示，其中，
id为事件的唯一性标识；
t为该事件的开始时间；
dt为开始时间为t的该事件对应的持续时间；
w为该事件的维度，w∈W，W＝{w0，w1，w2，...，wm}，所述维度包括教师的表情、语音情感、目光、手势和身体姿态；
aw为事件w的属性，
Figure FDA0003214020740000011
R为与当前事件有关联的事件以及其之间的关联性，是一个二元组序列，定义为R＝{<e1，r1>，<e2，r2>，...，<en，rn>}，其中，关系二元组<e，r>中的e表示与当前事件相关的事件，r表示两个事件之间的关联性的具体值。
4.根据权利要求3所述的课堂教学行为事件描述模型的构建方法，其特征在于，所述两个事件之间的关联性包括维度关联性和时序关联性。
5.根据权利要求4所述的课堂教学行为事件描述模型的构建方法，其特征在于，所述维度关联性通过模糊矩阵R＝(rij)m×m确定，所述模糊矩阵R定义为：
Figure FDA0003214020740000021
其中，rij∈[0，1]，i＝1，2，...，m，j＝1，2，...，m，rij为第i个维度与第j个维度之间的关联度，若rij＝1则i＝j，表示同一个维度之间的关联度，即最高的关联性；若rij＝0则表示第i个维度与第j个维度毫不相关；若rij∈(0，1)，则越接近1表示关联性越高。
6.根据权利要求4或5所述的课堂教学行为事件描述模型的构建方法，其特征在于，当两个事件所对应的持续时间相同时，通过皮尔逊系数进行所述时序关联性计算；当两个事件所对应的持续时间不相同时，采用动态时间规整进行所述时序关联性计算。
7.一种课堂教学行为事件描述模型的构建系统，其特征在于，包括：
训练数据获取模块，用于获取待训练的课堂教学视频数据；
事件划分模块，用于利用语音活动检测技术，将所述待训练的课堂教学视频数据按照教师的话语划分成多个事件；
事件描述模块，用于利用多种人工智能相关技术对所有事件进行多模态识别，划分为多个维度下的子事件，根据所述子事件建立事件描述模型，对教师在课堂中的各项教学行为事件进行描述。
8.一种课堂教学行为事件描述方法，其特征在于，包括如下步骤：
获取目标课堂教学视频数据；
利用语音活动检测技术，将所述目标课堂教学视频数据按照教师的话语、划分成多个包含教师多种教学行为的教学事件；
将所有教学事件输入到预先通过权利要求1～6任意一项所述的构建方法构建得到的事件描述模型，得到教师在课堂中的各项教学行为事件的描述结果。
9.一种课堂教学行为事件描述系统，其特征在于，包括：
目标数据获取模型，用于获取目标课堂教学视频数据；
教学事件划分模块，用于利用语音活动检测技术，将所述目标课堂教学视频数据按照教师的话语、划分成多个包含教师多种教学行为的教学事件；
处理模块，用于将所有教学事件输入到预先通过权利要求1～6任意一项所述的构建方法构建得到的事件描述模型，得到教师在课堂中的各项教学行为事件的描述结果。
10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器内存储计算机程序；所述处理器用于当执行所述计算机程序时，实现如1～6任意一项所述的构建方法、或权利要求8所述的课堂教学行为事件描述方法。
CN202110939047.4A 2021-08-16 2021-08-16 一种课堂教学行为事件描述模型的构建方法及系统 Active CN113743250B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110939047.4A CN113743250B (zh) 2021-08-16 2021-08-16 一种课堂教学行为事件描述模型的构建方法及系统
PCT/CN2021/116820 WO2023019652A1 (zh) 2021-08-16 2021-09-07 一种课堂教学行为事件描述模型的构建方法及系统
US18/011,847 US20230334862A1 (en) 2021-08-16 2021-09-07 Construction method and system of descriptive model of classroom teaching behavior events

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939047.4A CN113743250B (zh) 2021-08-16 2021-08-16 一种课堂教学行为事件描述模型的构建方法及系统

Publications (2)

Publication Number Publication Date
CN113743250A true CN113743250A (zh) 2021-12-03
CN113743250B CN113743250B (zh) 2024-02-13

Family

ID=78731341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939047.4A Active CN113743250B (zh) 2021-08-16 2021-08-16 一种课堂教学行为事件描述模型的构建方法及系统

Country Status (3)

Country Link
US (1) US20230334862A1 (zh)
CN (1) CN113743250B (zh)
WO (1) WO2023019652A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832595B (zh) * 2019-04-23 2022-05-06 北京新唐思创教育科技有限公司 教师风格的确定方法及计算机存储介质
CN116452072B (zh) * 2023-06-19 2023-08-29 华南师范大学 一种教学评价方法、系统、设备和可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控系统及方法
CN107292778A (zh) * 2017-05-19 2017-10-24 华中师范大学 一种基于认知情感感知的云课堂学习评价方法及其装置
CN107633472A (zh) * 2017-10-31 2018-01-26 广州努比互联网科技有限公司 一种基于教学事件流和即时讨论的互联网学习方法
WO2020082971A1 (zh) * 2018-10-24 2020-04-30 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法
US20200242953A1 (en) * 2017-10-20 2020-07-30 Shenzhen Eaglesoul Technology Co., Ltd. Internet teaching platform-based following teaching system
US20200250608A1 (en) * 2019-01-31 2020-08-06 Dell Products L.P. Providing feedback by evaluating multi-modal data using machine learning techniques
CN112069970A (zh) * 2020-08-31 2020-12-11 首都师范大学 课堂教学事件分析方法及装置
CN112287844A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 学情分析方法及装置、电子设备和存储介质
CN112599135A (zh) * 2020-12-15 2021-04-02 华中师范大学 一种教学模式分析方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709358B (zh) * 2020-06-14 2022-11-11 东南大学 基于课堂视频的师生行为分析系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控系统及方法
CN107292778A (zh) * 2017-05-19 2017-10-24 华中师范大学 一种基于认知情感感知的云课堂学习评价方法及其装置
US20200242953A1 (en) * 2017-10-20 2020-07-30 Shenzhen Eaglesoul Technology Co., Ltd. Internet teaching platform-based following teaching system
CN107633472A (zh) * 2017-10-31 2018-01-26 广州努比互联网科技有限公司 一种基于教学事件流和即时讨论的互联网学习方法
WO2020082971A1 (zh) * 2018-10-24 2020-04-30 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法
US20200250608A1 (en) * 2019-01-31 2020-08-06 Dell Products L.P. Providing feedback by evaluating multi-modal data using machine learning techniques
CN112069970A (zh) * 2020-08-31 2020-12-11 首都师范大学 课堂教学事件分析方法及装置
CN112287844A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 学情分析方法及装置、电子设备和存储介质
CN112599135A (zh) * 2020-12-15 2021-04-02 华中师范大学 一种教学模式分析方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张利娟;: "英语多媒体课堂中教师非言语行为的多模态话语分析", 海外英语, no. 06 *
马宁;: "我国英语教师多模态课堂话语研究综述", 校园英语, no. 24 *

Also Published As

Publication number Publication date
US20230334862A1 (en) 2023-10-19
CN113743250B (zh) 2024-02-13
WO2023019652A1 (zh) 2023-02-23

Similar Documents

Publication Publication Date Title
Liu et al. Efficient low-rank multimodal fusion with modality-specific factors
Chollet et al. From non-verbal signals sequence mining to bayesian networks for interpersonal attitudes expression
CN113743250B (zh) 一种课堂教学行为事件描述模型的构建方法及系统
CN112307975A (zh) 融合语音与微表情的多模态情感识别方法及系统
Hagad et al. Predicting levels of rapport in dyadic interactions through automatic detection of posture and posture congruence
Song et al. Learning person-specific cognition from facial reactions for automatic personality recognition
Cheng Lin et al. Facial emotion recognition towards affective computing‐based learning
CN114116998A (zh) 答复语句生成方法、装置、计算机设备和存储介质
Beyan et al. A sequential data analysis approach to detect emergent leaders in small groups
Ponce-López et al. Non-verbal communication analysis in victim–offender mediations
Mihoub et al. Learning multimodal behavioral models for face-to-face social interaction
Ousmane et al. Automatic recognition system of emotions expressed through the face using machine learning: Application to police interrogation simulation
Magdin et al. Are instructed emotional states suitable for classification? Demonstration of how they can significantly influence the classification result in an automated recognition system
e Silva et al. Applications of convolutional neural networks in education: A systematic literature review
Moringen et al. Search procedures during haptic search in an unstructured 3d display
Kumano et al. Computational model of idiosyncratic perception of others' emotions
Tan et al. Implementing Gesture Recognition in a Sign Language Learning Application
Bagane et al. Facial Emotion Detection using Convolutional Neural Network
Gambo et al. A conceptual framework for detection of learning style from facial expressions using convolutional neural network
Lahariya et al. Real-time Emotion and Gender Classification using Ensemble CNN
KR20190060285A (ko) 인공 지능 기반의 대화 시스템 및 그 응답 제어 방법
Liliana et al. The Fuzzy Emotion Recognition Framework Using Semantic-Linguistic Facial Features
Yabunaka et al. Facial expression sequence recognition for a japanese sign language training system
Matsufuji et al. Adaptive personalized multiple machine learning architecture for estimating human emotional states
Feng et al. Early prediction of turn-taking based on spiking neuron network to facilitate human-robot collaborative assembly

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant