CN115936944A - 一种基于人工智能的虚拟教学管理方法及装置 - Google Patents

Abstract

本发明提供了一种基于人工智能的虚拟教学管理方法及装置，涉及教学管理技术领域。本发明中以教师的课堂教学风格和学生在该课堂教学风格中听取课堂内容时的心理波动为基础，分别基于语音情绪、面部情绪和肢体情绪的多维度特征进行融合构建课堂专注度评价模型计算课堂氛围评价值，本发明合理利用课堂中教师和学生双方的不同维度的特征进行融合，以达到比用单一特征更准确的情绪识别结果。同时基于课堂氛围评价值对应的预警等级采取相应的措施进行教学管理，不仅能够有效促进学生学习，帮助教师进行教学反思，还能够通过分析视频本身的特点对教学方案持续优化。同时也为提升教学质量、确定教育改革方向提供了良好的基础数据支撑。

Description

一种基于人工智能的虚拟教学管理方法及装置

技术领域

本发明涉及教学管理技术领域，具体而言，涉及一种基于人工智能的虚拟教学管理方法及装置。

背景技术

教学管理是运用管理科学和教学论的原理与方法，充分发挥计划、组织、协调、控制等管理职能，对教学过程各要素加以统筹，使之有序运行，提高效能的过程。教育行政部门和学校共同承担教学管理工作。教学管理涉及教学计划管理、教学组织管理、教学质量管理等基本环节。

在现有的课堂教学管理中，由于教学管理者不能及时了解学生在学校的学习状态，无法及时的为学生的学习状态进行指导与调整。

发明内容

本发明的目的在于提供一种基于人工智能的虚拟教学管理方法及装置，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本申请提供了一种基于人工智能的虚拟教学管理方法，包括：

获取全景教学视频并进行视频分割，分别得到教师语音数据和教学图像数据；

基于所述教师语音数据进行情绪评分，得到语音情绪值；

基于人工智能技术对所述教学图像数据进行提取并做情绪评价，得到教师对应的第一情绪值和学生对应的第二情绪值；

基于所述语音情绪值、所述第一情绪值、所述第二情绪值和预设权重值进行计算，得到课堂氛围评价值；所述预设权重值是学生和教师分别对课堂氛围产生影响的关切值；

基于所述课堂氛围评价值进行教学管理。

第二方面，本申请还提供了基于人工智能的虚拟教学管理装置，包括获取模块、语音模块、图像模块、评价模块和管理模块，其中：

获取模块：用于获取全景教学视频并进行视频分割，分别得到教师语音数据和教学图像数据；

语音模块：用于基于所述教师语音数据进行情绪评分，得到语音情绪值；

图像模块：用于基于人工智能技术对所述教学图像数据进行提取并做情绪评价，得到教师对应的第一情绪值和学生对应的第二情绪值；

评价模块：用于基于所述语音情绪值、所述第一情绪值、所述第二情绪值和预设权重值进行计算，得到课堂氛围评价值；所述预设权重值是学生和教师分别对课堂氛围产生影响的关切值；

管理模块：用于基于所述课堂氛围评价值进行教学管理。

本发明的有益效果为：

本发明中以教师的课堂教学风格和学生在该课堂教学风格中听取课堂内容时的心理波动为基础，分别基于语音情绪、面部情绪和肢体情绪的多维度特征进行融合构建课堂专注度评价模型计算课堂氛围评价值，与单方面的教师或学生对应情绪特征相比，本发明合理利用课堂中教师和学生双方的不同维度的特征进行融合，以达到比用单一特征更准确的情绪识别结果。且与通过分析学习者眼睛疲劳特征状态来判别是否专注的方法相比，本文可通过低分辨率摄像头便捷、快速检测相应特征以表征专注度，成本较低。同时基于课堂氛围评价值对应的预警等级采取相应的措施进行教学管理，有利于对后续课堂教学的实施进行管控，不仅能够有效促进学生学习，帮助教师进行教学反思，还能够通过分析视频本身的特点对教学方案持续优化。同时也为提升教学质量、确定教育改革方向提供了良好的基础数据支撑。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本实施例中所述的基于人工智能的虚拟教学管理方法的框图；

图2为本实施例中所述的基于人工智能的虚拟教学管理装置的框图；

图3为本实施例中所述的基于人工智能的虚拟教学管理设备的框图。

图中：710-获取模块；720-语音模块；721-分割单元；722-转化单元；723-第一处理单元；724-第二处理单元；725-第三处理单元；730-图像模块；731-裁剪单元；732-标准化单元；733-去噪单元；734-构建单元；735-肢体识别单元；736-表情识别单元；737-教师情绪单元；738-学生情绪单元；739-学生综合情绪单元；740-评价模块；750-管理模块；751-设置单元；752-匹配单元；753-判断单元；800-基于人工智能的虚拟教学管理设备；801-处理器；802-存储器；803-多媒体组件；804-I/O接口；805-通信组件。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1：

参见图1，图1为本实施例中基于人工智能的虚拟教学管理方法的框图。图1中示出了本方法包括步骤S1、步骤S2、步骤S3、步骤S4和步骤S5。

步骤S1、获取全景教学视频并进行视频分割，分别得到教师语音数据和教学图像数据。

可以理解的是，在本步骤中，通过GOLDWAVE、Cooledit和剪映等软件从直播视频中分别提取语音数据和基于时间序列的一系列图像数据。

步骤S2、基于所述教师语音数据进行情绪评分，得到语音情绪值。

可以理解的是，在本步骤中，语音表情往往通过语言的韵律来表达，包括语音音调高低、语速等等。 教师讲课时通过使用积极的语音情绪可以让学生体会到激情、温暖、真诚、理解、包容、博爱等情感内容，这些无疑都会造成巨大的感染力，可避免由语音单调引起的大脑抑制和疲劳状态以使学生产生唤醒和愉悦感，以提高学生注意力。本实施例中将教师语音情绪分为积极、消极和中性情绪，且积极语音情绪记作正数，消极语音情绪记作负数，中性语音情绪记作零。本实施例中根据教师语音数据通过语速、响频的方式来统计每段语音对应的语音情绪的总分数，得到语音情绪值。在其他实施例中，还可以通过语音节律、响度、笑声等情绪进行判断和统计，得到语音情绪值。

为了提高获取语音情绪值的精准度，步骤S2包括步骤步骤S21、步骤S22、步骤S23、步骤S24和步骤S25。

步骤S21、利用高斯混合模型和贝叶斯信息准则检测所述教师语音数据中的停顿点和跳变点并进行分割，得到语音片段。

可以理解的是，在本步骤中，利用多个高斯混合模型加权叠加表示语音信号分布如公式（1）所示，然后对整个语音信号逐桢检测，比较、判断出话语部分。然后根据贝叶斯信息准则检测，通过对相邻语音信号的相似性进行比较，判断说话人跳变点，并进行分割得到语音片段，公式（1）如下所示：

（1）

其中：为多个高斯混合模型加权叠加的语音信号；M为高斯混合个数；为第i个维度权重；和分别为每一维高斯模型概率分布函数的均值向量和协方差矩阵；为源语音信号；d为的高斯状态参量的维数，即每个子频率分量的频点个数。

步骤S22、基于每个所述语音片段进行文本数据转化，并根据所述文本数据计算平均语速。

可以理解的是，在本步骤中，利用各种语音转换软件将语音片段转化为文本统计总字数，然后统计每段语音的时间，计算单位时间内的字数作为平均语速。

步骤S23、基于每个所述语音片段利用倒普法计算，得到基音频率。

可以理解的是，在本步骤中，教学视频一般没有太多噪音干扰且声音较为清晰，出于成本考虑，本发明中采用倒谱法计算语音的基础频率。在倒谱域内将基音和声道信息的卷积信号线性地分离出来，然后再用线性法将声门激励与通道响应分开，通过反滤波得到声门激励，采用倒谱特征求基音周期，得到每段语音片段的基音频率。

步骤S24、基于教师性别，根据每个所述语音片段对应的语义、所述平均语速、所述基音频率分别进行情绪识别，并得到片段情绪值。

可以理解的是，在本步骤中，语速每分钟小于200字为慢速，对应消极情绪记作-1；语速每分钟小于为200-250字为中速，对应中性情绪记作0；语速每分钟大于250字为快速，对应积极情绪记作1。当教师为女性时基音频率低于125Hz为较低音调，对应消极情绪记作-1，基音频率为125-140Hz为中性音调，对应中性情绪记作0，基音频率高于140Hz为较高音调，对应积极情绪记作1；当教师为男性时基音频率低于240Hz为较低音调，对应消极情绪记作-1，基音频率为240-250Hz为中性音调，对应中性情绪记作0，基音频率高于250Hz为较高音调，对应积极情绪记作1。首先，根据每个语音片段对应语义基于Emodb情感语料库、Semaine数据库或VAM数据库等音频情绪库分辨其情绪基调，结合对应的平均语速和基音频率分别对应上述分类条件，对语音片段进行情绪识别并将对应分值做加法运算得到片段情绪值。

步骤S25、基于所有所述片段情绪值计算平均值，得到语音情绪值。

步骤S3、基于人工智能技术对所述教学图像数据进行提取并做情绪评价，得到教师对应的第一情绪值和学生对应的第二情绪值。

可以理解的是，在本步骤中，利用人工智能检测技术如基于LFFD的学生面部检测神经网络算法（SVM和MTCNN算法等）、关节点序列的动态卷积算法（Part-Aware LSTM和GCN算法等）分别对教师和学生对应的同一时刻下面部表情和肢体情绪进行识别判断，并按照识别结果分为积极情绪（如思考、举手和读写等专注度高的表情和行动）、中性情绪（如发呆和平静等专注度一般的表情和行动）和消极情绪（如疲劳、沮丧和厌倦等专注度差的表情和行动），并对应将其分值标记为正数、零和负数，将教师对应的面部情绪分值和肢体情绪分值作为第一情绪值，将学生对应的面部情绪分组和肢体情绪分值作为第二情绪值。

进一步地，上述第一情绪值和第二情绪值的获得方法包括步骤S31、步骤S32、步骤S33、步骤S34、步骤S35和步骤S36。

步骤S31、基于人工智能技术分别对所述教学图像数据进行面部表情和人体姿态识别，构建每个教师对应的第一关节点图像，以及学生对应的第二关节点图像。

可以理解的是，在本步骤中，因情绪具有个人性和统一性，不同的教师对不同的情绪可能有着不同的表达，所以选取一些具有统一性的外显特征包括眼部、嘴部和眉部。基于每个学生的人脸利用Alpha Pose算法获取人体胯部以上肢体以及眼部、嘴部和眉部面部对应的关节坐标，并对人体关节结构进行简化得到每个学生的肢体结构向量。然后分别基于学生和教师对应的眼部、嘴部和眉部的面部关节点与肢体结构向量相融合构建第一关节点图像和第二关节点图像。上述关节点图像中包含更加丰富的动作信息，且特征明确，不易受背景、光照等外观因素的影响，可以更为有效地提高行为识别系统的鲁棒性。

为了提高面部和肢体情绪识别的精准度，需对教学图像数据进行预处理，预处理方法包括步骤S311、步骤S312和步骤S313。

步骤S311、基于所述教学图像数据利用YOLOv5s目标检测算法做多人目标检测并做剪切处理，得到固定大小的目标图像。

可以理解的是，在本步骤中，利用YOLOv5s目标检测算法进行多人目标检测的识别和定位，然后消除图像中的多余部分只保留需识别区域并将其剪下来，通过仿射变换转换成固定大小的目标图像。该步骤可减小图像处理面积以降低运算成本，提高计算速度，从而在目标图像区域中提取出更精确的表情特性。

步骤S312、基于所述目标图像进行数据归一化和灰度化处理，得到灰度图像。

可以理解的是，在本步骤中，对目标图像进行数据归一化处理可在加快梯度下降求最优解速度的同时，也消除指标间的量纲影响，让各个维度的特征分量都能够在同一个数量级上，尽可能充分地利用每个特征分量的有效信息，从而使得融合效果更佳，归一化处理计算方法如公式（2）所示。而灰度化处理可简化矩阵，减少数据冗余提高运算速度，公式（2）如下所示：

                    （2）

其中：为目标图像中特征分量归一化后的数值；为该特征分量的均值；为对应特征分量的标准差；x为目标图像中特征分量。

步骤S313、基于所述灰度图像利用加权引导滤波算法进行预处理后，再利用混合核函数模糊聚类算法进行处理，得到去噪图像。

可以理解的是，在本步骤中，对灰度图像基于双边滤波的Canny算子的边缘权重，并采用加权引导滤波算法进行预处理，以便于图像在去噪时能将图像的边缘较好的保留下来，然后在利用混合核函数模糊聚类算法，将数据由低维空间映射到高维特征空间；最后将马尔科夫随机场的先验概率引入，对算法的目标函数进行修正，进一步增强算法的抗噪性，以提高去噪图像的质量和清晰度，便于提取更为精准的情绪特征。

步骤S32、基于每个所述第一关节点图像和所述第二关节点图像分别提取动作向量特征，对应得到第一肢体情绪值和第二肢体情绪值。

可以理解的是，在本步骤中，分别将教师和学生的第一关节点图像和第二关节点图像输入到卷积神经网络SCAS-Posture进行分类，分类成积极、中性和消极情绪的四种注意力状态，概率最大的为最终分类结果，并根据分类结果对应得到第一肢体情绪值和第二肢体情绪值。

步骤S33、基于每个所述第一关节点图像和所述第二关节点图像，分别利用面部情绪识别算法进行识别，对应得到第一情绪概率值和第二情绪概率值。

可以理解的是，在本步骤中，基于教师和学生对应的第一关节点图像和第二关节点图像分别先基于Gabor小波变换提取眼部、嘴部和眉部的面部特征作为基础，然后在此基础上采用LBP算子进一步提取面部图像的纹理特征，以均值和标准差的形式构建训练所需的特征矢量以降低数据维度，可有效快速的面部信息。然后再利用空间注意力机制的卷积神经网络SCAS-Expression进行不同等级情绪判断，对应得到教师的第一情绪概率值和学生的第二情绪概率值。基于面部关节动态特征结合面部肌肉纹理特征可提高面部情绪判断精准度。

步骤S34、基于所述第一肢体情绪值和所述第一情绪概率值的乘积进行判断，得到第一情绪值。

可以理解的是，在本步骤中，根据教师对应的肢体情绪值和面部情绪概率值的乘积综合判断其情绪，得到第一情绪值。

步骤S35、基于所述第二肢体情绪值和所述第二情绪概率值的乘积进行判断，得到每个学生对应的课堂情绪值。

步骤S36、基于所有学生对应的所述课堂情绪值的平均值，得到第二情绪值。

可以理解的是，在本步骤中，计算所有学生课堂情绪值的平均值作为教师对学生教学效果反馈的情绪值，得到第二情绪值以提高对教师课堂氛围评价的精准度。

步骤S4、基于所述语音情绪值、所述第一情绪值、所述第二情绪值和预设权重值进行计算，得到课堂氛围评价值；所述预设权重值是学生和教师分别对课堂氛围产生影响的关切值。

可以理解的是，在本步骤中，以教师的课堂教学风格和学生在该课堂教学风格中听取课堂内容时的心理波动为基础，分别基于语音情绪、面部情绪和肢体情绪的多维度特征进行融合构建课堂专注度评价模型计算课堂氛围评价值，与单方面的教师或学生对应情绪特征相比，本发明合理利用课堂中教师和学生双方的不同维度的特征进行融合，以达到比用单一特征更准确的情绪识别结果。且与通过分析学习者眼睛疲劳特征状态来判别是否专注的方法相比，本文可通过低分辨率摄像头便捷、快速检测相应特征以表征专注度，成本较低。本实施例根据公式（3）计算课堂氛围评价值：

                （3）

其中：Q为课堂氛围评价值；为教师语音对课堂氛围产生影响的关切值；A为教师的语音情绪值；为教师面部、肢体情绪对课堂氛围产生影响的关切值；B为第一情绪值；为学生面部、肢体情绪对课堂氛围产生影响的关切值；C为第二情绪值。

步骤S5、基于所述课堂氛围评价值进行教学管理。

可以理解的是，在本步骤中，根据课堂氛围评价值和预警等级阈值对教师的教学情况分为一、二、三级预警等级，其中其中一级预警等级是能促进学生学习的课堂氛围；二级预警等级是较为平淡的课堂氛围，可以适当需考虑引起学生注意力；三级预警等级是造成学生抵制学习的课堂氛围，必须整改课堂教学风格。基于课堂氛围评价值对应的预警等级采取相应的措施进行教学管理。本发明有利于对后续课堂教学的实施进行管控，为课堂教学质量的评估及分析提供数据支持，同时也为提升教学质量、确定教育改革方向提供了良好的基础数据支撑。

上述步骤S5包括步骤S51、步骤S52和步骤S53。

步骤S51、基于所述课堂氛围评价值，对教师和相应班级对应设置等级标签。

可以理解的是，在本步骤中，根据课堂氛围评价值和预警等级划分条件，将相应的教师和班级设置对应的等级标签。

步骤S52、基于时间窗口信息，利用时间窗口的滑动将所述等级标签和预设标签进行匹配；所述时间窗口信息包括窗口大小信息和滑动时间间隔信息；所述预设标签是教学课堂氛围有待改进的等级标签。

可以理解的是，在本步骤中，根据时间窗口信息构建月度（可根据需要进行调整）时间滑动窗口，设时间窗口TW从时间点K到时间点K+N的时间段，其中N为时间窗口的大小，本实施例中的N为30天，滑动时间间隔为24小时。利用30天的时间滑动窗口根据预设标签对等级标签进行匹配，实时的对有待改进的等级标签进行检测。

步骤S53、若检测到所述等级标签与所述预设标签一致，则基于所述等级标签进行教学管理。

可以理解的是，在本步骤中，当检测到与预设标签一致的等级标签时，说明教学课堂氛围有待改进，则将该等级标签对应的教师和班级信息发送给教学管理者，同时也将班级信息发送给对应的教师，在方便教学管理者进行管控，进而提高管控效率，同时也便于教师针对相应的班级的课堂氛围进行精准的改进，有利于提高学生的专注度。

实施例2：

如图2所示为本实施例中基于人工智能的虚拟教学管理装置的框图，该基于人工智能的虚拟教学管理装置包括获取模块710、语音模块720、图像模块730、评价模块740和管理模块750，其中：

获取模块710：用于获取全景教学视频并进行视频分割，分别得到教师语音数据和教学图像数据。

语音模块720：用于基于所述教师语音数据进行情绪评分，得到语音情绪值。

优选地，上述语音模块720包括分割单元721、转化单元722、第一处理单元723第二处理单元724和第三处理单元725，其中：

分割单元721：用于利用高斯混合模型和贝叶斯信息准则检测所述教师语音数据中的停顿点和跳变点并进行分割，得到语音片段；

转化单元722：用于基于每个所述语音片段进行文本数据转化，并根据所述文本数据计算平均语速；

第一处理单元723：用于基于每个所述语音片段利用倒普法计算，得到基音频率；

第二处理单元724：用于基于教师性别，根据每个所述语音片段对应的语义、所述平均语速、所述基音频率分别进行情绪识别，并得到片段情绪值；

第三处理单元725：用于基于所有所述片段情绪值计算平均值，得到语音情绪值。

图像模块730：用于基于人工智能技术对所述教学图像数据进行提取并做情绪评价，得到教师对应的第一情绪值和学生对应的第二情绪值。

优选地，上述图像模块730包括构建单元734、肢体识别单元735、表情识别单元736、教师情绪单元737、学生情绪单元738和学生综合情绪单元739，其中：

构建单元734：用于基于人工智能技术分别对所述教学图像数据进行面部表情和人体姿态识别，构建每个教师对应的第一关节点图像，以及学生对应的第二关节点图像；

肢体识别单元735：用于基于每个所述第一关节点图像和所述第二关节点图像分别提取动作向量特征，对应得到第一肢体情绪值和第二肢体情绪值；

表情识别单元736：用于基于每个所述第一关节点图像和所述第二关节点图像，分别利用面部情绪识别算法进行识别，对应得到第一情绪概率值和第二情绪概率值；

教师情绪单元737：用于基于所述第一肢体情绪值和所述第一情绪概率值的乘积进行判断，得到第一情绪值；

学生情绪单元738：用于基于所述第二肢体情绪值和所述第二情绪概率值的乘积进行判断，得到每个学生对应的课堂情绪值；

学生综合情绪单元739：用于基于所有学生对应的所述课堂情绪值的平均值，得到第二情绪值。

基于人工智能的虚拟教学管理装置还包括裁剪单元731、标准化单元732和去噪单元733，其中：

裁剪单元731：用于基于所述教学图像数据利用YOLOv5s目标检测算法做多人目标检测并做剪切处理，得到固定大小的目标图像；

标准化单元732：用于基于所述目标图像进行数据归一化和灰度化处理，得到灰度图像；

去噪单元733：用于基于所述灰度图像利用加权引导滤波算法进行预处理后，再利用混合核函数模糊聚类算法进行处理，得到去噪图像。

评价模块740：用于基于所述语音情绪值、所述第一情绪值、所述第二情绪值和预设权重值进行计算，得到课堂氛围评价值；所述预设权重值是学生和教师分别对课堂氛围产生影响的关切值；

管理模块750：用于基于所述课堂氛围评价值进行教学管理。

优选地，上述管理模块750包括设置单元751、匹配单元752和判断单元753，其中：

设置单元751：用于基于所述课堂氛围评价值，对教师和相应班级对应设置等级标签；

匹配单元752：用于基于时间窗口信息，利用时间窗口的滑动将所述等级标签和预设标签进行匹配；所述时间窗口信息包括窗口大小信息和滑动时间间隔信息；所述预设标签是教学课堂氛围有待改进的等级标签；

判断单元753：用于若检测到所述等级标签与所述预设标签一致，则基于所述等级标签进行教学管理。

需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

实施例3：

相应于上面的方法实施例，本实施例中还提供了基于人工智能的虚拟教学管理设备，下文描述的基于人工智能的虚拟教学管理设备与上文描述的基于人工智能的虚拟教学管理方法可相互对应参照。

图3是根据示例性实施例示出的基于人工智能的虚拟教学管理设备800的框图。如图3所示，该基于人工智能的虚拟教学管理设备800可以包括：处理器801，存储器802。该基于人工智能的虚拟教学管理设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该基于人工智能的虚拟教学管理设备800的整体操作，以完成上述的基于人工智能的虚拟教学管理方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于人工智能的虚拟教学管理设备800的操作，这些数据例如可以包括用于在该基于人工智能的虚拟教学管理设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于人工智能的虚拟教学管理设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，基于人工智能的虚拟教学管理设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital SignalProcessing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于人工智能的虚拟教学管理方法。

实施例4：

相应于上面的方法实施例，本实施例中还提供了一种存储介质，下文描述的一种存储介质与上文描述的基于人工智能的虚拟教学管理方法可相互对应参照。

一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于人工智能的虚拟教学管理方法的步骤。

该存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的存储介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于人工智能的虚拟教学管理方法，其特征在于，包括：

获取全景教学视频并进行视频分割，分别得到教师语音数据和教学图像数据；

基于所述教师语音数据进行情绪评分，得到语音情绪值；

基于人工智能技术对所述教学图像数据进行提取并做情绪评价，得到教师对应的第一情绪值和学生对应的第二情绪值；

基于所述语音情绪值、所述第一情绪值、所述第二情绪值和预设权重值进行计算，得到课堂氛围评价值；所述预设权重值是学生和教师分别对课堂氛围产生影响的关切值；

基于所述课堂氛围评价值进行教学管理。

2.根据权利要求1所述的基于人工智能的虚拟教学管理方法，其特征在于，基于所述教师语音数据进行情绪评分，得到语音情绪值包括：

利用高斯混合模型和贝叶斯信息准则检测所述教师语音数据中的停顿点和跳变点并进行分割，得到语音片段；

基于每个所述语音片段进行文本数据转化，并根据所述文本数据计算平均语速；

基于每个所述语音片段利用倒普法计算，得到基音频率；

基于教师性别，根据每个所述语音片段对应的语义、所述平均语速、所述基音频率分别进行情绪识别，并得到片段情绪值；

基于所有所述片段情绪值计算平均值，得到语音情绪值。

3.根据权利要求1所述的基于人工智能的虚拟教学管理方法，其特征在于，所述第一情绪值和所述第二情绪值的获得方法包括：

基于人工智能技术分别对所述教学图像数据进行面部表情和人体姿态识别，构建每个教师对应的第一关节点图像，以及学生对应的第二关节点图像；

基于每个所述第一关节点图像和所述第二关节点图像分别提取动作向量特征，对应得到第一肢体情绪值和第二肢体情绪值；

基于每个所述第一关节点图像和所述第二关节点图像，分别利用面部情绪识别算法进行识别，对应得到第一情绪概率值和第二情绪概率值；

基于所述第一肢体情绪值和所述第一情绪概率值的乘积进行判断，得到第一情绪值；

基于所述第二肢体情绪值和所述第二情绪概率值的乘积进行判断，得到每个学生对应的课堂情绪值；

基于所有学生对应的所述课堂情绪值的平均值，得到第二情绪值。

4.根据权利要求3所述的基于人工智能的虚拟教学管理方法，其特征在于，所述基于人工智能技术分别对所述教学图像数据进行面部表情和人体姿态识别之前还包括：

基于所述教学图像数据利用YOLOv5s目标检测算法做多人目标检测并做剪切处理，得到固定大小的目标图像；

基于所述目标图像进行数据归一化和灰度化处理，得到灰度图像；

基于所述灰度图像利用加权引导滤波算法进行预处理后，再利用混合核函数模糊聚类算法进行处理，得到去噪图像。

5.根据权利要求1所述的基于人工智能的虚拟教学管理方法，其特征在于，基于所述课堂氛围评价值进行教学管理包括：

基于所述课堂氛围评价值，对教师和相应班级对应设置等级标签；

基于时间窗口信息，利用时间窗口的滑动将所述等级标签和预设标签进行匹配；所述时间窗口信息包括窗口大小信息和滑动时间间隔信息；所述预设标签是教学课堂氛围有待改进的等级标签；

若检测到所述等级标签与所述预设标签一致，则基于所述等级标签进行教学管理。

6.一种基于人工智能的虚拟教学管理装置，其特征在于，包括：

获取模块：用于获取全景教学视频并进行视频分割，分别得到教师语音数据和教学图像数据；

语音模块：用于基于所述教师语音数据进行情绪评分，得到语音情绪值；

图像模块：用于基于人工智能技术对所述教学图像数据进行提取并做情绪评价，得到教师对应的第一情绪值和学生对应的第二情绪值；

评价模块：用于基于所述语音情绪值、所述第一情绪值、所述第二情绪值和预设权重值进行计算，得到课堂氛围评价值；所述预设权重值是学生和教师分别对课堂氛围产生影响的关切值；

管理模块：用于基于所述课堂氛围评价值进行教学管理。

7.根据权利要求6所述的基于人工智能的虚拟教学管理装置，其特征在于，所述语音模块包括：

分割单元：用于利用高斯混合模型和贝叶斯信息准则检测所述教师语音数据中的停顿点和跳变点并进行分割，得到语音片段；

转化单元：用于基于每个所述语音片段进行文本数据转化，并根据所述文本数据计算平均语速；

第一处理单元：用于基于每个所述语音片段利用倒普法计算，得到基音频率；

第二处理单元：用于基于教师性别，根据每个所述语音片段对应的语义、所述平均语速、所述基音频率分别进行情绪识别，并得到片段情绪值；

第三处理单元：用于基于所有所述片段情绪值计算平均值，得到语音情绪值。

8.根据权利要求6所述的基于人工智能的虚拟教学管理装置，其特征在于，所述图像模块包括：

构建单元：用于基于人工智能技术分别对所述教学图像数据进行面部表情和人体姿态识别，构建每个教师对应的第一关节点图像，以及学生对应的第二关节点图像；

肢体识别单元：用于基于每个所述第一关节点图像和所述第二关节点图像分别提取动作向量特征，对应得到第一肢体情绪值和第二肢体情绪值；

表情识别单元：用于基于每个所述第一关节点图像和所述第二关节点图像，分别利用面部情绪识别算法进行识别，对应得到第一情绪概率值和第二情绪概率值；

教师情绪单元：用于基于所述第一肢体情绪值和所述第一情绪概率值的乘积进行判断，得到第一情绪值；

学生情绪单元：用于基于所述第二肢体情绪值和所述第二情绪概率值的乘积进行判断，得到每个学生对应的课堂情绪值；

学生综合情绪单元：用于基于所有学生对应的所述课堂情绪值的平均值，得到第二情绪值。

9.根据权利要求8所述的基于人工智能的虚拟教学管理装置，其特征在于，所述图像模块还包括：

裁剪单元：用于基于所述教学图像数据利用YOLOv5s目标检测算法做多人目标检测并做剪切处理，得到固定大小的目标图像；

标准化单元：用于基于所述目标图像进行数据归一化和灰度化处理，得到灰度图像；

去噪单元：用于基于所述灰度图像利用加权引导滤波算法进行预处理后，再利用混合核函数模糊聚类算法进行处理，得到去噪图像。

10.根据权利要求6所述的基于人工智能的虚拟教学管理装置，其特征在于，所述管理模块包括：

设置单元：用于基于所述课堂氛围评价值，对教师和相应班级对应设置等级标签；

匹配单元：用于基于时间窗口信息，利用时间窗口的滑动将所述等级标签和预设标签进行匹配；所述时间窗口信息包括窗口大小信息和滑动时间间隔信息；所述预设标签是教学课堂氛围有待改进的等级标签；

判断单元：用于若检测到所述等级标签与所述预设标签一致，则基于所述等级标签进行教学管理。

Images