CN109919434A

CN109919434A - 一种基于深度学习的教师课堂表现智能评价方法

Info

Publication number: CN109919434A
Application number: CN201910083327.2A
Authority: CN
Inventors: 袁巍; 张平; 李佳桓; 蔡明辉
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2019-01-28
Filing date: 2019-01-28
Publication date: 2019-06-21

Abstract

本发明公开了一种基于深度学习的教师课堂表现智能评价方法，包括：对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；基于专家标注评分的数据集，训练用于评价的深度学习网络；将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。本发明通过结合面目表情和肢体动作进行识别，实现了简单客观地对教师课堂表现进行评价，在识别过程中引入语音信息，通过图像和语音的结合来增加结果的准确性，减轻了督查组的压力，评价结果更加真实客观。

Description

一种基于深度学习的教师课堂表现智能评价方法

技术领域

本发明属于人工智能技术领域，更具体地，涉及一种基于深度学习的教师课堂表现智能评价方法。

背景技术

高校具有较大的规模，每日进行的教学活动十分丰富。目前针对广大教师的教学工作，学校有督导组考评和学生评价等多种评价体系。然而，对于各位教师在课堂上的表现，缺乏直接有效的评价手段。由于精力和时间有限，督导组无法对所有教师的课程进行长期、完全覆盖的评价。学生评价带有主观因素，对一些严格执教、考试较难的教师可能有失公平。且学生评价反馈周期较长，不具备实时性。

针对上述问题，专利CN107169902A公开一种基于人工智能的微表情分析的课堂教学评价系统，其通过人工智能技术对学生在课堂上的微表情进行识别，从而反映出在学生的课堂效果，学生认知与心理状态等信息，作为教师、教务、学工、家长等各方的重要科学分析与决策依据。然而，该方法的识别对象是学生，通过学生的课堂表现侧面反映课堂教学质量，其评价方法较为片面且不够直接，不足以全面对教学质量进行衡量。如果将该专利的微表情分析方法直接用于教师来评估教师教学质量，则会出现因为教师授课时开口说话会导致情感分析并不准确的后果，且教师与学生的互动，教师的板书等行为信息是无法通过表情识别进行检测的。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术教师课堂表现评价不全面、准确性低的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于深度学习的教师课堂表现智能评价方法，所述方法包括以下步骤：

步骤S1.对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；

步骤S2.将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；

步骤S3.基于专家标注评分的数据集，训练用于评价的深度学习网络；

步骤S4.将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。

具体地，所述面部表情识别包括以下步骤：

S11.对授课视频帧进行人脸检测，得到人脸帧；

S12.以人脸帧为输入，通过深度卷积网络进行表情识别，得到面部表情向量，所述面部表情向量中的每个元素表示所述人脸帧中人脸表情是某种面部表情的概率。

具体地，所述面部表情识别中还可以包括对人脸帧进行预处理，具体包括：人脸对齐、光照和/或头部姿态矫正。

具体地，所述语音识别包括以下步骤：

S13.对授课音频进行MFCC特征提取和Ivector特征提取；

S14.对MFCC特征进行情感分析得到情感分析向量，对Ivector特征进行说话人识别，得到课堂交互信息；

所述情感分析向量与面部表情向量维度相同，每种感情对应向量中的一个元素，代表判定为该种情感的概率；课堂互动信息表示师生互动行为发生的概率。

具体地，所述行为识别包括以下步骤：

S15.对授课视频帧进行骨架图提取，得到骨架图；

S16.使用变分自编码器提取骨架图的动作类型特征；

S17.以骨架图的动作类型特征为输入，通过基于LSTM的循环神经网络进行行为分类识别，得到行为分类向量；

所述行为分类向量中的每个元素表示每种行为动作的判别概率。

具体地，面部表情向量为A，情感分析向量为B，情感状态向量Emotion＝αA+βB，α、β分别为面部表情向量、情感分析向量的权重。

具体地，授课状态向量由这段时间内教师的行为分类向量和课堂交互信息组合而成。

具体地，教师课堂表现与评分结果呈线性关系，评分越高，则教师课堂表现越好，反之则表现欠佳。

具体地，所述教师课堂表现智能评价方法包括：根据面部表情向量、情感分析向量或者课堂互动信息，针对性地对教师的授课方式提出改进意见。

第二方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的教师课堂表现智能评价方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明通过结合面目表情和肢体动作进行识别，实现了简单客观地对教师课堂表现进行评价，同时在识别过程中引入语音信息，通过图像和语音的结合来增加结果的准确性，这种评价教师授课状态的方法减轻了督查组的压力，同时评价结果相对于同学的评价更加真实客观，且不需要增加太多成本。

附图说明

图1为本发明实施例提供的一种基于深度学习的教师课堂表现智能评价方法流程图；

图2为本发明实施例提供的面部表情识别流程图；

图3为本发明实施例提供的语音识别流程图；

图4为本发明实施例提供的行为识别流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于深度学习的教师课堂表现智能评价方法，所述方法包括以下步骤：

步骤S1.对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别。

获取待评价教师授课时的视频。该视频时长为30分钟～45分钟，避免时间过短，对教师评价不够客观，尽量保证教师出现在每一帧画面中。

如图2所示，面部表情识别具体包括以下步骤：

(1)对授课视频帧进行人脸检测，得到人脸帧。

本发明实施例采用Viola-Jones人脸检测器检测人脸，去掉背景和无关区域。

(2)以人脸帧为输入，通过深度卷积网络进行表情识别，得到面部表情向量。

深度卷积网络将视频中的单个视频帧作为输入，这里是人脸帧。通过深度卷积网络实现单帧图像中人脸面部表情的判断与识别。面部表情识别在训练时使用的是学术界在表情识别领域较为常用的FER2013数据集和CK+数据集。

此处深度卷积网络采用VGGNet。VGGNet是牛津大学计算机视觉组和Deep Wind公司共同研发一种深度卷积网络，并且在2014年在ILSVRC比赛上获得了分类项目的第二名和定位项目的第一名。

人脸帧和面部表情向量一一对应。面部表情向量中的每个元素表示此帧中人脸表情是某种面部表情的概率。表情向量中最大的元素(即最高的概率)对应的即为此向量最终判定的表情。本发明实施例中共计有七种表情：愤怒(Angry)、厌恶(Disgust)、恐惧(Fear)、高兴(Happy)、悲伤(Sad)、惊讶(Surprise)和中性(Neutral)，面部表情向量可表示为A＝[α₁ α₂ α₃ α₄ α₅ α₆ α₇]，α₁表示该帧中人脸表情是Angry的概率，以此类推。假定α₄是最大的，那么此帧最后判定的表情即为Happy。

得到教师的面部表情的变化及同一种表情的持续时间，进而对教师的授课状态进行评价。

面部表情识别中还可以包括对人脸帧进行预处理，具体包括：人脸对齐、光照和头部姿态矫正。

所谓预处理，是计算特征之前，排除掉跟脸无关的一切干扰。

人脸对齐：人脸检测之后，可以利用人脸关键点标定进一步提高面部表情的效果。根据关键点坐标，人脸可以由放射变换显示到统一的预定义模版上，减少旋转和面部变形带来的变化。本发明实施例采用IntraFace方法进行人脸标定。该方法使用级联人脸关键点定位(SDM)，可以准确预测49个关键点。SDM是一种监督下降方法，属于解决非线性最小化NLS(Non-linear Least Squares)问题的一种方法。SDM人脸对齐的核心内容很简单，就是特征到偏移量的映射：Ix＝R，其中，I是特征，x是映射矩阵，R是偏移量。

光照和头部姿态矫正：采用光照归一化和姿态归一化的方法对人脸进行归一化，减轻光照和头部姿态变化的影响。INFace工具箱是目前最常用的光照归一化工具。研究表明直方图均衡化结合光照归一化技巧可以得到更好的人脸识别准确率。光照归一化方法主要有三种：基于各向同性扩散归一化(isotropic diffusion-based normalization)、基于离散余弦变换归一化(DCT-based normalization)和高斯差分(DoG)。一些面部表情研究利用姿态归一化产生正面人脸视角，其中最常用的方法是Hassner等人提出的：在标定人脸关键点之后，生成一个3D纹理参考模型，然后估测人脸部件，随后，通过将输入人脸反投影到参考坐标系上，生成初始正面人脸。最近，也有一系列基于生成式对抗网络GAN的深度模型用于生成正面人脸(FF-GAN，TP-GAN，DR-GAN)。

如图3所示，语音识别具体包括以下步骤：

(1)对授课音频进行MFCC特征(Mel Frequency Cepstrum Coefficient,梅尔频率倒谱系数)提取和Ivector特征(Identity Vector,身份向量)提取。

MFCC特征是一种在自动语音和说话人识别中广泛使用的特征。IVector特征用于说话人识别的语音特征，上述两种特征均采用开源的用于语音识别研究的工具箱Kaldi进行提取。

(2)对MFCC特征进行情感分析得到情感分析向量，对Ivector特征进行说话人识别，得到课堂交互信息。

情感分析向量与面部表情向量维度相同，每种感情对应向量中的一个元素，代表判定为该种情感的概率。本发明实施例中共计有七种情感：愤怒(Angry)、厌恶(Disgust)、恐惧(Fear)、高兴(Happy)、悲伤(Sad)、惊讶(Surprise)和中性(Neutral)，情感分析向量可表示为B＝[β₁ β₂ β₃ β₄ β₅ β₆ β₇]，β₁表示情感分析结果是Angry的概率，以此类推。与面部表情识别不同之处在于，此处是一段时间(如10s)对应一个向量，而面部表情识别是一帧对应一个向量。引入语音维度，解决教师讲话的口型变化带来的情感识别误差，并提供对课堂教学评价非常重要的师生互动信息。

课堂互动信息表示师生互动行为发生的概率，用表示，当时，则认为师生互动行为发生，γ为设定阈值，本发明实施例取γ＝0.5；不超过该阈值γ时，判断互动行为没有发生。因为通过视频的行为识别，仅通过教师的行为动作无法判断与未出现在视频中的学生的互动情况，而通过此处说话人识别的方式，判断不同的说话人对话，即可得到教师和学生之间的课堂互动信息。

如图4所示，行为识别具体包括以下步骤：

(1)对授课视频帧进行骨架图提取，得到骨架图。

本发明实施例采用开源骨架提取框架openpose生成骨架图的方式，来获得该视频的时域特征。例如，本发明通过RGB图像进行关节估计，构建出一个空间上的骨架时序图，其对应了人体的k个关节所在的坐标位置信息。

(2)使用变分自编码器提取骨架图的动作类型特征。

由于骨架图还是一种在高维的图像特征，在输入后面的分类网络时有着一定的复杂性，本发明实施例采用VAE(变分自编码器)方法，将骨架图中的动作类型特征提取出来，降低后续网络操作的复杂性。

(3)以骨架图的动作类型特征为输入，通过基于LSTM(Long-Short Term Memory)的循环神经网络进行行为分类识别，得到行为分类向量。

本发明实施例采用基于LSTM的循环神经网络(RNN)来搭建基础框架，用于学习有效的特征并且对时域的动态过程建模，实现端到端(End-to-End)的行为识别及检测。同时引入以下两个部分：

1)预测动作的开始和结束。对于骨架序列流，本发明设计了基于循环神经网络LSTM的在线行为动作检测系统，在每帧给出行为动作判定的结果。LSTM的记忆性可以避免显式的滑动窗口设计。网络由LSTM层和全连层(FC Layer)组成前端的网络Deep LSTMNetwork,后面连接的分类网络(Classification Network)用于判定每帧的动作类别，同时，回归网络(Regression Network)用于辅助确定动作行为的起止帧。当发现代表起始点的回归曲线到达局部峰值时，便可以定位为行为动作的起点位置。由于LSTM网络对时间序列处理的强大能力，加上联合分类回归的设计，联合分类和回归循环网络(JCR-RNN)实现了快速准确的行为动作检测。

2)注意力模型。其想法就是模拟人类对事物的认知，将更多的注意力放在信息量更大的部分。一个行为动作的过程要经历多个状态(对应很多时间帧)，人体在每个时刻也呈现出不同的姿态，并不是每一帧在动作识别中都是同样重要的。依据这一点，设计时域注意力模型，通过一个LSTM子网络来自动学习和获知序列中不同帧的重要性，使重要的帧在分类中起更大的作用，以优化识别的精度。同样对于动作的识别也并不是每个关节点都同等重要，一些行为动作会跟某些关节点构成的集合相关，而另一些行为动作会跟其它一些关节点构成的集合相关。比如“打电话”，主要跟头、肩膀、手肘和手腕这些关节点密切相关。与此相适应，设计了一个LSTM子网络，依据序列的内容自动给不同关节点分配不同的重要性，即给予不同的注意力。由于注意力是基于内容的，即当前帧信息和历史信息共同决定的，因此，在同一个序列中，关节点重要性的分配可以随着时间的变化而改变。

肢体动作识别在训练时使用的是Kinetics。行为分类向量的构建类似于上面的两种向量，行为分类向量可以表示为分别对应坐着、站立、板书、走动四种行为动作的判别概率。这四个值中最大的值即对应这段时间内的行为最可能对应的动作，即行为识别的输出结果。

步骤S2.将面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量。

基于面部表情向量和情感分析向量，构建情感状态向量。分别给语音情感特征和面部特征不同的权重来识别表情，增加识别结果的准确性。将两种向量加权求和，这两种向量对应的情感是相同的，但判断的数值各不相同。对其进行加权求和，可以综合两种判定的结果，使得情感判别结果更加准确。即，假设面部表情向量为A，情感分析向量为B，那么最终的情感状态向量Emotion＝αA+βB。

授课状态向量是将行为分类向量与课堂交互信息综合。这两种提供的信息各不相同，互不冲突，因此直接综合即可。最后授课状态向量的表现形式为，以10s为例，授课状态向量由这段时间内教师的行为分类向量和课堂交互信息组成，可表示为将语音与动作识别相结合来来识别课堂的交互情况。

步骤S3.基于专家标注评分的数据集，训练用于评价的深度网络。

专家标注评分的数据集由许多不同的课程视频组成，对于每个视频，请教育专家给出客观公正的评分。数据集中既有授课效果好，评分高的视频数据，也有授课效果欠佳，评分不高的视频数据，各种评分的视频分布相对均匀。

步骤S4.将待评价教师在该课堂上的情感状态向量和授课状态向量输入训练好的深度网络，得到该教师在此课堂上的教学质量评价结果。

将表情识别的结果和动作识别的结果转换成相应的情感向量和授课状态向量，然后将两个向量结合输入一个深度网络，得到评分。教师课堂表现与评分结果呈线性关系。评分越高则教师课堂表现越好，反之则表现欠佳。

本发明还可以根据之前各向量得到的具体统计信息有针对性地对教师的授课方式提出改进意见。例如，如果情感状态向量判断该教师在课堂上的大部分时间呈现愤怒的表情，说明教师的情绪不够稳定平和，应提醒注意，不要将过多负面情绪表现给学生；如果课堂互动信息判断教师在课堂上与学生很少有交流或提问，说明教师与学生沟通过少，课堂仅是一种单方面的知识灌输，并没有向学生寻求反馈，应提醒教师增加与学生的交流力度，调动学生积极性，并及时掌握学生在该课堂上的接受情况。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims

1.一种基于深度学习的教师课堂表现智能评价方法，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述面部表情识别包括以下步骤：

S11.对授课视频帧进行人脸检测，得到人脸帧；

3.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述面部表情识别中还可以包括对人脸帧进行预处理，具体包括：人脸对齐、光照和/或头部姿态矫正。

4.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述语音识别包括以下步骤：

S13.对授课音频进行MFCC特征提取和Ivector特征提取；

5.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述行为识别包括以下步骤：

S15.对授课视频帧进行骨架图提取，得到骨架图；

S16.使用变分自编码器提取骨架图的动作类型特征；

6.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，面部表情向量为A，情感分析向量为B，情感状态向量Emotion＝αA+βB，α、β分别为面部表情向量、情感分析向量的权重。

7.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，授课状态向量由这段时间内教师的行为分类向量和课堂交互信息组合而成。

8.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，教师课堂表现与评分结果呈线性关系，评分越高，则教师课堂表现越好，反之则表现欠佳。

9.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述教师课堂表现智能评价方法包括：根据面部表情向量、情感分析向量或者课堂互动信息，针对性地对教师的授课方式提出改进意见。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的教师课堂表现智能评价方法。