CN115909152B - 一种基于群体行为的教学场景智能分析系统 - Google Patents

Abstract

本发明公开了一种基于群体行为的教学场景智能分析系统，包括以下部分：M1：多模态数据采集模块；M2：个体行为识别模块，用于将M1中与个体相关的原始多模态数据转化成个体行为序列；M3：群体行为分析模块，用于将学生的个体行为序列聚合为学生群体行为矩阵，并从群体视角出发分析个体行为；M4：教学场景判断模块，用于进行教学场景划分并对异常个体进行表现判断；M5：教育领域知识定义模块，用于形成教师与学生行为分类编码规范、教学场景分类编码规范。本发明采用上述结构的基于群体行为的教学场景智能分析系统及方法，体现了教学分析中教学角色的整体性、教学场景的差异性，为人工智能支持下的教学分析与干预提供了场景创新基础。

Description

一种基于群体行为的教学场景智能分析系统

技术领域

本发明涉及教学场景智能分析技术领域，尤其是涉及一种基于群体行为的教学场景智能分析系统。

背景技术

现有的教学场景智能分析技术主要为以计算机视觉为基础的个体行为分析技术，包含针对教师和学生个体的目标追踪、表情识别与姿态估计等。但是，现有的教学场景智能分析技术存在以下问题：

1、从教育学理论出发，承载教学的课堂主体是一个由教师、学生等个体共同构成的群体整体，现有的教学场景智能分析技术中针对个体行为的分析与群体行为的分析脱离，在分析过程中难以实现对课堂的结构化重现；

2、从教育学理论出发，承载教学的课堂进程是由多种类型的教学场景组合构成的复杂整体，现有的教学场景智能分析技术中针对课堂行为表现的分析与场景化的教学过程语义脱离，在分析过程中难以实现对课堂的语义化重现；

以上提到的个体行为分析与群体行为分析脱离、课堂行为表现的分析与场景化的教学过程语义脱离，致使智能分析技术难以在教学领域中得到具体的场景化应用，限制了场景创新的可能性。

发明内容

本发明的目的是提供一种基于群体行为的教学场景智能分析系统，用以解决现有教学场景智能分析技术中存在的个体行为分析与群体行为分析脱离、课堂行为表现的分析与场景化的教学过程语义脱离、智能分析技术难以在教学领域中得到具体的场景化应用，限制了场景创新的问题。

为实现上述目的，本发明提供了如下技术方案：

一种基于群体行为的教学场景智能分析系统，包括以下部分：

M1：多模态数据采集模块，用于利用摄像设备和语音设备采集课堂过程中产生的原始多模态数据，所述原始多模态数据包括课堂二维视频数据、课堂深度视频数据和课堂音频数据；

M2：个体行为识别模块，用于基于M1中的原始多模态数据实时计算并初步分析教师和学生的课堂行为，通过人工智能算法针对教师和学生个体进行目标追踪、表情识别和姿态估计，通过转录师生问答文本对教师和学生个体进行会话分析，将与个体相关的原始多模态数据转化成个体行为序列，其中个体行为序列的具体标签遵循M5中审定的教师与学生行为分类编码规范；

M3：群体行为分析模块，用于将学生的个体行为序列聚合为学生群体行为矩阵，并从群体视角出发分析个体行为，具体步骤为：

1)将t个连续采样点中n个学生的个体行为序列对齐、合并成学生群体行为矩阵Bt，有：

2)以同一采样点下的最大个体行为出现频次为依据，构建群体共同行为矩阵St，有：

3)记录连续T个以上采样点与群体共同行为矩阵表现不同的学生个体及其相异行为的起止采样点，保存在异常行为集合Et中：

M4：教学场景判断模块，用于联合学生群体行为矩阵和教师的个体行为序列进行教学场景划分，并基于划分的教学场景信息对群体中的异常个体进行表现判断，采用的方法步骤具体包括：

1)将学生群体行为矩阵和教师的个体行为序列作为序列输入层的输入，其中，学生群体行为矩阵由任意数量学生的等长度个体行为序列构成，学生群体行为矩阵的宽度与教师的个体行为序列的长度相等，学生群体行为矩阵在实际输入时需按行分别输入；

2)建立“序列到序列”分类模型，以实现从群体行为到教学场景的“序列到序列”分类任务：上一步骤中的学生群体行为矩阵和教师的个体行为序列经序列输入层后，依次进入LSTM层、全连接层、Softmax层、分类层，而后进行联合预测以输出教学场景序列，联合预测过程中，采用的是分别预测得出概率序列，而后求和得到最大概率序列的基本流程，输出教学场景序列中的教学场景标签遵循M5中的教学场景分类编码规范；

3)利用大规模教学行为与教学场景标注数据，对于上述“序列到序列”分类模型进行迭代训练，形成稳定、健壮的基于群体行为的场景分析模型，利用场景分析模型分析得出教学场景，相关分析者能够对M3中得到的异常行为集合Et进行进一步分析，根据特定的异常行为在特定的教学场景中出现的实际意义判断个体的教学状态，并基于场景分析结果进行人机协同的智能行为干预；

M5：教育领域知识定义模块，与M2、M3、M4三个模块邻接，用于征询、联合专家意见，形成与教学场景相关的各层次编码规范，所述各层次编码规范包括：与教学场景相关的教师与学生行为分类编码规范、教学场景分类编码规范。

优选的，M1中所述的摄像设备至少包括2台4K摄像机和1台深度摄像机，语音设备包括多个近场麦克风，近场麦克风可移动地布置在教室内，两台4K摄像机分别置于教室黑板的左上角和右上角以拍摄教室中的左半侧学生和右半侧学生，深度摄像机置于黑板上边缘中心位置以拍摄教室中所有学生，并且，深度摄像机预先计算、存储教室内的三维空间数据，对教室内的关键参照物进行标定。

优选的，所述关键参照物包括教室边缘和桌椅。

优选的，M2中个体行为序列的转化方法为：根据M5中审定的教师与学生行为分类编码规范，对频率为30Hz的M1中获得的原始多模态数据进行模式匹配，其中教师和学生个体的目标追踪算法基于Yolo-v5，表情识别与姿态估计算法基于VGGNet16和Slowfast，以6为滑动窗口大小，可以得到频率为5Hz的个体行为序列及其概率，当个体行为序列中每一项均取最大概率对应的行为标签时，可以得到一条唯一确定的最大置信行为序列。

优选的，M3中T＝10。

优选的，M5中各层次编码规范的形成步骤如下：

1)制订教师与学生行为分类编码规范：依据课堂中常见的角色行为，经教育学专家讨论，筛选出与分析教学场景密切相关的16类学生行为和10类教师行为，如表1所示：

表1

以上如表1所示的教师与学生行为分类编码规范与M2、M3模块对接。

2)制订教学场景分类编码规范：依据课堂中常见的教学场景，经教育学专家讨论，筛选出3大类、7小类教学场景，如表2所示：

表2

以上如表2所示的教学场景分类编码规范与M4模块对接。

本发明采用上述结构的基于群体行为的教学场景智能分析系统及方法，具有如下有益效果：

1)体现了教学分析中教学角色的整体性

在自然生成的课堂环境下，教学进程中的教师、学生等角色的行为不是相互独立的，而是彼此之间相互关联，构成了完整的互动整体。本专利方案通过构建学生群体行为矩阵Bt、群体共同行为矩阵St和异常行为集合Et，实现基于群体行为中的个体差异进行教学分析，采用同步采样、序列对齐、同步输入、联合预测等技术要点，着重体现了教学分析过程中教学角色的整体性。

2)体现了教学分析中教学场景的差异性

自然的教学进程是由多种类别的教学场景串接构成的。一方面，本专利方案从教育学角度出发提出了教学场景分类编码规范；另一方面，本专利方案形成了基于联合学生群体行为矩阵和教师的个体行为序列进行教学场景划分的技术流程。本专利方案从技术路线上证明了教学进程中教学场景的差异性和其对应行为表现上的可区分性，将原本粘连、模糊的教学过程进行了智能化的理解与拆分。

3)为人工智能支持下的教学分析与干预提供了场景创新基础

人工智能在场景中的创新应用需要具体、生动的场景内涵支持。对于完整的课堂过程而言，人工智能的介入是模糊的、不确定的；而对于具体的教学场景而言，人工智能的介入则是清晰的、有目标的。本专利方案提供的智能场景分析技术为人工智能支持下的教学分析与干预提供了场景创新基础，支持在特定的场景下对于教学群体与教学个体开展差异化分析，并基于教学场景提供干预方案。

附图说明

图1为本发明实施例的整体结构示意图；

图2为本发明实施例中个体识别模块的输出结果；

图3为本发明实施例中教学场景判断模块的方法步骤流程图；

图4为本发明实施例中教学场景判断模块的预测数据与测试数据的验证对比图。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步说明。

如图所示的一种基于群体行为的教学场景智能分析系统，包括以下部分：

M1：多模态数据采集模块，用于利用摄像设备和语音设备采集课堂过程中产生的原始多模态数据，原始多模态数据包括课堂二维视频数据、课堂深度视频数据和课堂音频数据。本实施例中，摄像设备包括2台4K摄像机和1台深度摄像机，语音设备包括多个近场麦克风，近场麦克风可移动地布置在教室内，两台4K摄像机分别置于教室黑板的左上角和右上角以拍摄教室中的左半侧学生和右半侧学生，深度摄像机置于黑板上边缘中心位置以拍摄教室中所有学生，并且，深度摄像机预先计算、存储教室内的三维空间数据，对教室内的教室边缘和桌椅等关键参照物进行标定。

M2：个体行为识别模块，用于基于M1中的原始多模态数据实时计算并初步分析教师和学生的课堂行为，通过人工智能算法针对教师和学生个体进行目标追踪、表情识别和姿态估计，通过转录师生问答文本对教师和学生个体进行会话分析，将与个体相关的原始多模态数据转化成个体行为序列，其中个体行为序列的具体标签遵循M5中审定的教师与学生行为分类编码规范；个体行为序列的转化方法为：根据M5中审定的教师与学生行为分类编码规范，对频率为30Hz的M1中获得的原始多模态数据进行模式匹配，其中教师和学生个体的目标追踪算法基于Yolo-v5，表情识别与姿态估计算法基于VGGNet16和Slowfast，以6为滑动窗口大小，可以得到频率为5Hz的个体行为序列及其概率，当个体行为序列中每一项均取最大概率对应的行为标签时，可以得到一条唯一确定的最大置信行为序列。图2为本发明此步骤的一个实施例。

M3：群体行为分析模块，用于将学生的个体行为序列聚合为学生群体行为矩阵，并从群体视角出发分析个体行为，具体步骤为：

1)将t个连续采样点中n个学生的个体行为序列对齐、合并成学生群体行为矩阵Bt，有：

2)以同一采样点下的最大个体行为出现频次为依据，构建群体共同行为矩阵St，有：

3)记录连续T个以上采样点与群体共同行为矩阵表现不同的学生个体及其相异行为的起止采样点，保存在异常行为集合Et中，本实施例T＝10：

M4：教学场景判断模块，用于联合学生群体行为矩阵和教师的个体行为序列进行教学场景划分，并基于划分的教学场景信息对群体中的异常个体进行表现判断，采用的方法步骤具体包括：

1)将学生群体行为矩阵和教师的个体行为序列作为序列输入层的输入，其中，学生群体行为矩阵由任意数量学生的等长度个体行为序列构成，学生群体行为矩阵的宽度与教师的个体行为序列的长度相等，学生群体行为矩阵在实际输入时需按行分别输入；

2)建立“序列到序列”分类模型，以实现从群体行为到教学场景的“序列到序列”分类任务，通过变长度的“序列到序列”分类模型，实现了从群体教学行为到教学场景的直接映射。

如图3所示，学生行为的序列输入层大小为16，对应16类学生行为标签，教师行为的序列输入层大小为10，对应10类教师行为标签，将上一步骤中的学生群体行为矩阵和教师的个体行为序列经序列输入层后，依次进入LSTM层、全连接层、Softmax层、分类层，而后进行联合预测以输出教学场景序列。LSTM层的隐含单元数为200，用以挖掘长序列中的复杂映射关系，利用长短时记忆LSTM网络模型，支持以任意长度的行为序列为输入进行场景分析，算法适用性广泛；全连接层的输出大小为7，对应7类教学场景标签；联合预测过程中，采用的是分别预测得出概率序列，而后求和得到最大概率序列的基本流程，输出教学场景序列中的教学场景标签遵循M5中的教学场景分类编码规范；

3)利用大规模教学行为与教学场景标注数据，对于上述“序列到序列”分类模型进行迭代训练，形成稳定、健壮的基于群体行为的场景分析模型，利用场景分析模型分析得出教学场景，相关分析者能够对M3中得到的异常行为集合Et进行进一步分析，根据特定的异常行为在特定的教学场景中出现的实际意义判断个体的教学状态，并基于场景分析结果进行人机协同的智能行为干预。

教学场景判断模块的有效性得到了验证，如图4所示，在一段测试数据上场景分析的准确率(Accuracy)达到了85.38％。

M5：教育领域知识定义模块，与M2、M3、M4三个模块邻接，用于征询、联合专家意见，形成与教学场景相关的各层次编码规范，各层次编码规范包括：与教学场景相关的教师与学生行为分类编码规范、教学场景分类编码规范。

各层次编码规范的形成步骤如下：

1)制订教师与学生行为分类编码规范：依据课堂中常见的角色行为，经教育学专家讨论，筛选出与分析教学场景密切相关的16类学生行为和10类教师行为，如表1所示：

表1

以上如表1所示的教师与学生行为分类编码规范与M2、M3模块对接。

2)制订教学场景分类编码规范：依据课堂中常见的教学场景，经教育学专家讨论，筛选出3大类、7小类教学场景，如表2所示：

表2

以上如表2所示的教学场景分类编码规范与M4模块对接。

因此，本发明采用上述基于群体行为的教学场景智能分析系统及方法，通过变长度的“序列到序列”分类模型，实现了从群体教学行为到教学场景的直接映射；通过学生群体行为矩阵和教师行为序列的联合输入、群体共同行为矩阵St和异常行为集合Et的联合预测、从群体行为到教学场景的联合分析，实现了基于群体视角的教学分析；以不同主体间的行为序列对齐为基础，提供了利用群体行为联合预测教学场景的技术流程，并创设了在特定场景下分析群体行为中个体差异的教学分析视角；解决了现有教学场景智能分析技术中存在的个体行为分析与群体行为分析脱离、课堂行为表现的分析与场景化的教学过程语义脱离、智能分析技术难以在教学领域中得到具体的场景化应用，限制了场景创新的问题。

以上是本发明的具体实施方式，但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应以权利要求书所限定的保护范围为准。

Claims (6)

1.一种基于群体行为的教学场景智能分析系统，应用于计算机设备的存储器上存储的可在处理器上运行的计算机程序，其特征在于：包括以下部分：

M1：多模态数据采集模块，用于利用摄像设备和语音设备采集课堂过程中产生的原始多模态数据，所述原始多模态数据包括课堂二维视频数据、课堂深度视频数据和课堂音频数据；

M2：个体行为识别模块，用于基于M1中的原始多模态数据实时计算并初步分析教师和学生的课堂行为，通过人工智能算法针对教师和学生个体进行目标追踪、表情识别和姿态估计，通过转录师生问答文本对教师和学生个体进行会话分析，将与个体相关的原始多模态数据转化成个体行为序列，其中个体行为序列的具体标签遵循M5中审定的教师与学生行为分类编码规范；

M3：群体行为分析模块，用于将学生的个体行为序列聚合为学生群体行为矩阵，并从群体视角出发分析个体行为，具体步骤为：

1)将t个连续采样点中n个学生的个体行为序列对齐、合并成学生群体行为矩阵Bt，有：

2)以同一采样点下的最大个体行为出现频次为依据，构建群体共同行为矩阵St，有：

S_t=[s₁…s_t]

3)记录连续T个以上采样点与群体共同行为矩阵表现不同的学生个体及其相异行为的起止采样点，保存在异常行为集合Et中：

E_t＝{<i,t,t'>}

M4：教学场景判断模块，用于联合学生群体行为矩阵和教师的个体行为序列进行教学场景划分，并基于划分的教学场景信息对群体中的异常个体进行表现判断，采用的方法步骤具体包括：

1)将学生群体行为矩阵和教师的个体行为序列作为序列输入层的输入，其中，学生群体行为矩阵由任意数量学生的等长度个体行为序列构成，学生群体行为矩阵的宽度与教师的个体行为序列的长度相等，学生群体行为矩阵在实际输入时需按行分别输入；

2)建立“序列到序列”分类模型，以实现从群体行为到教学场景的“序列到序列”分类任务：上一步骤中的学生群体行为矩阵和教师的个体行为序列经序列输入层后，依次进入LSTM层、全连接层、Softmax层、分类层，而后进行联合预测以输出教学场景序列，联合预测过程中，采用的是分别预测得出概率序列，而后求和得到最大概率序列的基本流程，输出教学场景序列中的教学场景标签遵循M5中的教学场景分类编码规范；

3)利用大规模教学行为与教学场景标注数据，对于上述“序列到序列”分类模型进行迭代训练，形成稳定、健壮的基于群体行为的场景分析模型，利用场景分析模型分析得出教学场景，相关分析者能够对M3中得到的异常行为集合Et进行进一步分析，根据特定的异常行为在特定的教学场景中出现的实际意义判断个体的教学状态，并基于场景分析结果进行人机协同的智能行为干预；

M5：教育领域知识定义模块，与M2、M3、M4三个模块邻接，用于征询、联合专家意见，形成与教学场景相关的各层次编码规范，所述各层次编码规范包括：与教学场景相关的教师与学生行为分类编码规范、教学场景分类编码规范。

2.根据权利要求1所述的一种基于群体行为的教学场景智能分析系统，其特征在于：M1中所述的摄像设备至少包括2台4K摄像机和1台深度摄像机，语音设备包括多个近场麦克风，近场麦克风可移动地布置在教室内，两台4K摄像机分别置于教室黑板的左上角和右上角以拍摄教室中的左半侧学生和右半侧学生，深度摄像机置于黑板上边缘中心位置以拍摄教室中所有学生，并且，深度摄像机预先计算、存储教室内的三维空间数据，对教室内的关键参照物进行标定。

3.根据权利要求2所述的一种基于群体行为的教学场景智能分析系统，其特征在于：所述关键参照物包括教室边缘和桌椅。

4.根据权利要求3所述的一种基于群体行为的教学场景智能分析系统，其特征在于：M2中个体行为序列的转化方法为：根据M5中审定的教师与学生行为分类编码规范，对频率为30Hz的M1中获得的原始多模态数据进行模式匹配，其中教师和学生个体的目标追踪算法基于Yolo-v5，表情识别与姿态估计算法基于VGGNet16和Slowfast，以6为滑动窗口大小，可以得到频率为5Hz的个体行为序列及其概率，当个体行为序列中每一项均取最大概率对应的行为标签时，可以得到一条唯一确定的最大置信行为序列。

5.根据权利要求4所述的一种基于群体行为的教学场景智能分析系统，其特征在于：M3中T＝10。

6.根据权利要求5所述的一种基于群体行为的教学场景智能分析系统，其特征在于：M5中各层次编码规范的形成步骤如下：

1)制订教师与学生行为分类编码规范：依据课堂中常见的角色行为，经教育学专家讨论，筛选出与分析教学场景密切相关的16类学生行为和10类教师行为，如表1所示：

表1

以上如表1所示的教师与学生行为分类编码规范与M2、M3模块对接；

2)制订教学场景分类编码规范：依据课堂中常见的教学场景，经教育学专家讨论，筛选出3大类、7小类教学场景，如表2所示：

表2

以上如表2所示的教学场景分类编码规范与M4模块对接。