CN111027865A - 一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法 - Google Patents

Abstract

本发明涉及一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法，包括依次连接的图像数据采集模块、数据智能识别模块、课堂教学指标分析模块、教学综合分析与质量评估模块和教学分析报告输出模块。本发明以课堂为载体，依托教室摄像监控系统，聚焦行为和表情的数据采集、分类识别、量化分析与教学深度融合，通过分析课堂学生和教师行为、表情的各项指标数据，输出可视化的分析结果，最后结合教学期望实现科学、全面的教学综合分析和质量评估。该课堂教学分析与质量评估系统通过可视化的数据分析全面呈现了课堂教学的全貌，解决了当前高效课堂中学生上课不专一、教学成效不高的问题，对教学考评机构和教师教学改进具有较大的实用价值。

Description

一种基于行为和表情智能识别的课堂教学分析与质量评估系 统及方法

技术领域

本发明涉及一种基于行为和表情智能分析的课堂教学分析与质量评估系统及方法，属于人工智能和教学新技术应用的技术领域。

背景技术

高等教育大众化的过程中，人们对教育质量的关注也越来越多。高校课堂作为教师传授知识、学生学习知识的主要场所，是师生、生生之间交往互动的空间，是教师引导学生发展、探究知识的主渠道。然而，高校课堂中学生玩手机、睡觉等非学习行为越来越多，另一方面，教师对课堂的主导性逐渐降低，这些已成为当下比较突出的教学困境。

目前的教学研究大多是基于学生行为或表情的单方面研究，其研究内容不完善，只能从某一方面进行单一的分析。而已提出的一些学情分析的教学评估模型，有的是基于课上课下学生和教师部分因素进行分析评估，有的是基于学生或教师的面部表情的分析评估系统，但就目前课堂教学的实际情况，要想全面的展现课堂教学的全貌，需要结合学生和教师两个主体的行为和表情进行数据化分析判断，以此体现学生和教师行为、表情的关联性，从而科学全面的评估课堂教学。

如何利用技术手段来评估课堂教学质量已经成为教育改革深入推进的重要问题。在教育信息化的背景下，基于教室监控系统和各种人工智能手段开展课堂学情分析具有很大的实用价值，其技术将被广泛地应用于教育改革和教学实践中，以此来促进课堂教学质量的提高。

发明内容

针对当前高校课堂教学存在的突出问题，本发明提供了一种基于行为和表情智能识别的课堂教学分析与质量评估系统；

本发明还提供了一种基于行为和表情智能识别的课堂教学分析与质量评估的方法；

本发明以课堂为载体，依托教室监控系统，聚焦行为和表情的数据采集、分类识别、量化分析与教学深度融合，提出了一种基于行为和表情智能识别的课堂教学分析与质量评估系统。该系统通过分析课堂学生和教师行为、表情的各项指标数据，输出可视化的分析结果，最后结合教学期望实现科学、全面的教学综合分析和质量评估。该课堂教学分析与质量评估系统通过可视化的数据分析全面呈现了课堂教学的全貌，解决了当前课堂中学生上课不专一、教学成效不高的突出问题，对教学考评和教师教学改进具有较大的实用价值。

术语解释：

1、数字图像处理算法：数字图像是指由模拟图像数字化得到的、以像素为基本单位的、可以用数字计算机或数字电路存储和处理的图像。图像处理算法包括对模拟图像进行数字化转换、对图像的空间域进行变换、对模糊图像进行图像增强处理、通过机器学习算法对图像中的目标物体进行分类识别等。

2、计算机视觉算法：计算机视觉就是通过模拟生物的视觉，让计算机真正能“看见”的过程。即，由摄像头拍摄图像或视频，通过计算机视觉中的算法对图像中的目标进行分析处理的过程。计算机视觉算法特指机器学习算法在视觉领域的应用，包括支持向量机(SVM,Support Vector Machine)、K-近邻(KNN,K-Nearest Neighbor)、人工神经网络(ANN,Artificial Neural Networks)算法等。机器学习算法通过对给定的数据样本做训练，得到训练好的网络模型，然后将待测数据样本输入到已训练好的模型中做分类等处理。

3、SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)：是用于图像处理领域一种技术，该技术具有尺度不变特性，能检测图像中的关键点，是一种局部特征描述子的算法。

4、HOG(Histogram of Oriented Gradients，方向梯度直方图)：统计图像中局部区域的梯度方向信息作为该局部区域的表征，具有旋转不变性和尺度不变性。

5、SVM(Support Vector Machine，支持向量机)：是一种机器学习的分类方法，对线性可分情况进行分析，对线性不可分情况，通过使用非线性映射的方法使其可分。

本发明的技术方案为：

一种基于行为和表情智能分析的课堂教学分析与质量评估系统，包括依次连接的图像数据采集模块、数据智能分析模块、课堂教学指标分析模块、教学综合分析与质量评估模块和教学分析报告输出模块。

所述图像数据采集模块用于学生和教师原始图像数据的采集，即利用教室摄像监控系统采集教师、学生以及课堂环境的图像，并发送给所述数据智能分析模块；

所述数据智能分析模块用于对采集的学生和教师原始图像数据进行分类识别；该模块在图像数据采集的基础上，利用现有数字图像处理算法和计算机视觉算法对采集的数据进行处理，完成对教师和学生行为、表情的智能分类识别。

所述课堂教学指标分析模块用于将确定的行为、表情进行运算分析，该模块接收所述数据智能分析模块分类识别的数据后，首先对所述数据智能分析模块分类识别的数据进行初步指标分析，然后进行课堂学生、教师和课堂教学成效的综合指标分析，最后向所述教学综合分析与质量评估模块传递分析后的指标数据；所述课堂教学的初步指标分析和综合指标分析依次进行。

所述教学综合分析与质量评估模块用于教与学的综合分析，并进行教学质量评估。所述课堂教学指标分析模块得到的各类课堂教学指标数据的基础上，结合教学期望完成综合分析，并在分析的基础上结合课堂教学指标分析模块中的各类指标进行整体教学质量的评估。

所述教学分析报告输出模块用于输出教学分析报告。该报告主要包括对课堂中学生的积极度，消极度进行分析，得出学生的课堂参与程度；对课堂中学生的活跃度，沉闷度进行分析，得出学生的课堂活跃程度；在学生课堂的参与程度和活跃程度的基础上得出的学生课堂学习状态分析；同步得出教师的课堂教学状态分析。而后结合学生和教师对课堂的实际教学进行的综合分析；最后将实际教学成效与教学期望进行的比较分析。所述教学分析报告将根据前述得到的各种指标数据，定量地分析教师授课和学生学习的课堂表现和效果。

进一步优选的，所述图像数据采集模块利用教室的摄像头等监控设备采集课堂的视频，并利用现有数字图像处理算法和计算机视觉算法将视频剪成一帧一帧的图片，或者按照预定的采集时间间隔，如每秒、每10秒、每分钟等采集相应时间间隔的图片，从而完成对原始数据的采集。

根据本发明优选的，所述数据智能分析模块包括学生行为分类识别单元、学生表情分类识别单元、教师行为分类识别单元和教师表情分类识别单元；

所述学生行为分类识别单元使用现有的数字图像处理算法完成图像数据中学生的若干种学习行为和若干种非学习行为的分类识别和统计；学习行为，例如包括听课、举手、阅读等体现学习性的行为；非学习行为，例如包括玩手机、趴桌子、聊天等体现与学习无关的行为。

所述学生表情分类识别单元使用现有的数字图像处理算法完成图像数据中若干种学习表情、若干种非学习表情的分类识别和统计；学习表情，例如包括思考、高兴、惊讶等体现学生积极学习的表情；非学习表情，例如包括厌恶、难过、迷茫等体现学生消极或抵触学习的表情。

所述教师行为分类识别单元使用现有的数字图像处理算法完成图像数据中若干种教学行为和若干种非教学行为的分类识别和统计；若干种教学行为，例如包括互动、走动、写板书等积极的教学性行为；若干种非教学行为，例如包括长时间沉默、坐、持续低头等消极对待教学的行为。

所述教师表情分类识别单元用于使用现有的数字图像处理算法完成图像数据中若干种教学表情、若干种非教学表情的分类识别和统计。若干种教学表情，例如包括思考、高兴、惊讶等认真教学的表情；若干种非教学表情，例如包括愤怒、无奈、迷茫等消极教学的表情。

需要说明的是为了便于阐述，此处本系统设定的行为和表情数量为若干种行为和若干种表情，实际应用中可以根据课程的性质、类别以及学科等因素对行为和表情的类别和数量进行灵活设定。如行为或表情数量改变时，相应的行为和表情分类处理等单元的数量也要做相应的增减。

根据本发明优选的，所述课堂教学指标分析模块包括学生行为指标分析单元、学生表情指标分析单元、教师行为指标分析单元、教师表情指标分析单元、学生学习综合指标分析单元、教师教学综合指标分析单元和课堂教学成效分析单元。

所述学生行为指标分析单元用于对学生课堂行为表现进行分析，通过统计各种行为在学生数量方面的不同占比，从行为方面展现课堂中学生的学习情况，即：计算得到基于行为的学生积极度指数、学生消极度指数、学生行为评量指数三个指标。

学生积极度指数的计算公式如式(1)所示：

式(1)中，I_{sb_a}表示学生积极度指数；A_i表示不同学生行为对学生积极度指数的影响因子(即权值)，i＝1,2,…,M_{sb_a}，M_{sb_a}表示影响学生积极度指数的学生行为的数量上限，

表示学生的第i种积极行为出现的人数，N_S表示课堂实际参加学生人数。

学生消极度指数的计算公式如式(2)所示：

式(2)中，I_{sb_na}表示学生消极度指数；B_i表示不同学生行为对学生消极度指数的影响因子；i＝1,2,…,M_{sb_na}，M_{sb_na}表示影响学生消极度指数的学生行为的数量上限，

表示学生的第i种消极行为出现的人数。

学生行为评量指数的计算公式如式(3)所示：

I_sb＝A₁₁×I_{sb_a}-B₁₁×I_{sb_na} (3)

式(3)中，I_sb表示学生行为评量指数，A₁₁、B₁₁表示学生积极度指数和学生消极度指数对学生行为评量指数的影响因子。

所述学生表情指标分析单元用于对学生课堂表情进行分析，通过统计各种表情在学生数量方面的不同占比，展现课堂中学生的学习情况，即：计算得到基于表情的学生活跃度指数、学生沉闷度指数、学生表情评量指数三个指标。

学生活跃度指数的计算公式如式(4)所示：

式(4)中，I_{se_a}表示学生活跃度指数；C_i表示不同学生表情对学生活跃度指数的影响因子，i＝1,2,…,M_{se_a}，M_{se_a}表示影响学生活跃度指数的学生表情的种类数量上限，

表示学生的第i种活跃表情出现的人数。

学生沉闷度指数的计算公式如式(5)所示：

式(5)中，I_{se_na}表示学生沉闷度指数；D_i表示不同表情对学生沉闷度指数的影响因子，i＝1,2,…,M_{se_na}，M_{se_na}表示影响学生沉闷度指数的学生表情的种类数量上限，

表示学生的第i种沉闷表情出现的人数。

学生表情评量指数的计算公式如式(6)所示：

I_se＝C₁₁×I_{se_a}-D₁₁×I_{se_na} (6)

式(6)中，I_se表示学生表情评量指数，C₁₁、D₁₁分别表示学生活跃度指数和学生沉闷度指数对学生表情评量指数的影响因子。

所述教师行为指标分析单元用于对教师课堂行为表现进行分析，通过统计教师各种行为出现时间的不同占比，以时间为轴展现课堂教师教学行为的实际情况，即：计算得到基于表情的教师积极度指数、教师消极度指数、教师行为评量指数三个指标。

教师积极度指数的计算公式如式(7)所示：

式(7)中，I_{tb_a}表示教师积极度指数；E_i表示教师的不同行为对教师积极度指数的影响因子，i＝1,2,…,M_{tb_a}，M_{tb_a}表示影响教师积极度指数的教师行为的种类数量上限，

表示教师的第i种积极行为所占用的时间，T_s是当堂课的课堂总时间。

教师消极度指数的计算公式如式(8)所示：

式(8)中，I_{tb_na}表示教师消极度指数；F_i表示不同教学行为对教师消极度指数的影响因子，i＝1,2,…,M_{tb_na}，M_{tb_na}表示影响教师消极度指数的教师行为的种类数量上限，

表示教师的第i种消极行为出现的累计时间。

教师行为评量指数的计算公式如式(9)所示：

I_tb＝E₁₁×I_{tb_a}-F₁₁×I_{tb_na} (9)

式(9)中，I_tb表示教师行为评量指数，E₁₁、F₁₁分别表示教师积极度指数和教师消极度指数对教师行为评量指数的影响因子。

所述教师表情指标分析单元用于对教师课堂教学表情进行分析，通过统计教师各种表情出现的时长，以时间为轴展现课堂教师教学表情的实际情况，即计算得到基于表情的教师活跃度指数、教师沉闷度指数、教师表情评量指数三个指标。

教师活跃度指数的计算公式如式(10)所示：

式(10)中，I_{te_a}表示教师活跃度指数；G_i表示不同教学表情对教师活跃度指数的影响因子，i＝1,2,…,M_{te_a}，M_{te_a}表示影响教师活跃度指数的教师表情的种类数量上限，

表示教师的第i种活跃表情出现的累计时间。

教师沉闷度指数的计算公式如式(11)所示：

式(11)中，I_{te_na}表示教师沉闷度指数；H_i表示不同教学表情对教师沉闷度指数的影响因子，i＝1,2,…,M_{te_na}，M_{te_na}表示影响教师沉闷度指数的教师表情的种类数量上限，

表示教师的第i种沉闷表情出现的累计时间。

教师表情评量指数的计算公式如式(12)所示：

I_te＝G₁₁×I_{te_a}-H₁₁×I_{te_na} (12)

式(12)中，I_te表示教师表情评量指数，G₁₁、H₁₁分别表示教师活跃度指数和教师沉闷度指数对教师表情评量指数的影响因子。

所述学生学习综合指标分析单元用于对学生课堂行为、表情进行综合分析，通过统计计算各种行为、表情在学生数量方面的不同占比，综合展现课堂中学生的学习情况，即计算得到基于学生行为和表情的学生学习综合指数。

基于学生行为和表情的学生学习综合指数的计算公式如式(13)所示：

I_s＝I_sb+I_se＝A₁₁×I_sb-a+C₁₁×I_se-a-B₁₁×I_sb-na-D₁₁×I_{se_na} (13)

式(13)中，I_s表示学生学习综合指数，A₁₁、B₁₁、C₁₁、D₁₁分别表示不同学习行为或表情对学生学习综合指数的影响因子，I_{sb_a}、I_se-a、I_{sb_na}、I_se-na分别表示学生积极度指数、学生活跃度指数、学生消极度指数和学生沉闷度指数。

所述教师教学综合指标分析单元用于对教师课堂教学行为、表情进行综合分析，通过统计计算教师各种行为、表情在一节课的时间里不同的占比，综合展现课堂中教师的教学情况，即计算得到基于教师行为和表情的教师教学综合指数。

基于教师行为和表情的教师教学综合指数的计算公式如式(14)所示：

I_t＝I_tb+I_te＝E₁₁×I_{tb_a}+G₁₁×I_{te_a}-F₁₁×I_{tb_na}-H₁₁×I_{te_na} (14)

式(14)中，I_t表示教师教学的综合评量指数，E₁₁、G₁₁、F₁₁、H₁₁表示不同学习行为或表情对教师教学的综合评量指数的影响因子，I_{tb_a}、I_{te_a}、I_{tb_na}、I_{te_na}分别表示教师积极度指数、教师活跃度指数、教师消极度指数和教师沉闷度指数。

所述课堂教学成效分析单元用于对学生和教师的行为、表情进行综合分析，通过将学生和教师各种行为、表情指数进行综合的运算比较，分析出本课堂的实际教学成效，即计算得到课堂教学成效评量指数。

课堂教学成效评量指数的计算公式如式(15)所示：

I_a＝S×I_s+T×I_t (15)

式(15)中，I_a表示课堂教学成效评量指数，I_s表示学生学习综合指数，I_t表示教师教学的综合评量指数，S、T表示学生学习综合指数和教师教学综合指数对该指数的影响因子。

初级指标分析包含两次加权运算过程。通过一次加权分别得出基于行为的学生积极度指数、学生消极度指数和教师积极度指数、教师消极度指数以及基于表情的学生活跃度指数、学生沉闷度指数和教师活跃度指数、教师沉闷度指数；通过二次加权得出学生行为评量指数、学生表情评量指数和教师行为评量指数、教师表情评量指数。所述初级指标分析的两次加权运算依次进行，并向课堂综合分析提供初步的分析数据结果。各项初级指标展现了课堂教学中单一行为或表情的表现状况，很大程度上说明了课堂教学的实际过程。

由于该系统的各项指标与很多因素有关，具体的取值也会受这些因素的影响，所以为了使该系统适用于更为普遍的环境，本专利定义了影响此系统模型的6D因素模块，其具体包括：

1D：教学时间

2D：教学空间

3D：高校类型、学科专业、教学目标、教学内容等

4D：教师性别、教师年龄、教师仪表、教学经验、教学风格等

5D：学生性别、学生年龄、学生层次、学习方式、学生学习风格等

6D：教学方法、手段、工具、技巧和策略等其他相关因素

该6D因素会影响一次加权、二次加权和综合分析中的权值，权值的选取可以根据特定的课堂情况和规则。一般情况下，为了简化计算，可以将各权值均设为1。

课堂综合指标分析接收来自课堂初级指标分析的数据，进行分类和综合分析，并向所述教学综合分析与质量评估模块传送分析后的指标数据。所述综合指标分析包括学生学习综合指标分析、教师教学综合指标分析、课堂教学成效分析三个单元。课堂综合指标分析是在利用二次加权的各类指标数据基础上，首先分别进行学生学习综合指标、教师教学综合指标的分析，通过分析得出学生学习综合评量指数、教师教学综合评量指数。而后通过学生和教师的综合指标进行课堂教学成效指标的分析，得出课堂教学成效评量指数。从以上三个指标判断实际的课堂教学成效。这一分析是全方位的，既有教师教学方面的数据和学生学习方面的数据分析，也包含教师和学生相结合的数据分析。

根据本发明优选的，所述教学综合分析与质量评估模块包括依次连接的教学综合分析单元和教学质量评估单元。

所述教学综合分析单元结合教学前制定的教学期望，用于对实际的教学效果进行分析，结合课堂教学指标分析模块分析出的课堂教学成效评量指数，通过其与教学期望进行差值得出综合教与学综合评量指数；达到对教学效果进行教学综合评量的目的。

教与学综合评量指数的计算公式如式(16)所示：

I_ts＝I_a-E_t＝S×I_s+T×I_t-E_t (16)

式(16)中，I_ts表示教与学综合评量指数，I_a表示课堂教学成效评量指数，E_t表示教学期望所设定达到的指标。

所述教学质量评估单元是用于全面评估课堂教学的效果，结合各类指标数据进行教学效果的综合评估，包括学生行为指标评量指数、学生表情指标评量指数、教师行为评量指数、教师表情评量指数、学生学习综合评量指数、教师教学综合评量指数、课堂教学成效评量指数、教与学综合评量指数八种指标数据，通过各类指标数据进行分析，如学生课堂出现非学习行为的人数及姓名，作为在下次课堂授课时应重点关注的学生；并对指标突出的行为和表情进行重点的原因分析，同时阐述课堂中师生一些行为和表情的关联性，最终将各类分析汇总，从而客观全面的分析本次课堂教学的成效；为以后的教学改进提供合理的意见和建议。

教学综合分析单元和教学质量评估单元均依靠计算机和系统模块相关的软件实现。

教学分析报告输出模块用于最后的教学分析与质量评估报告的输出。该模块结合数据分析和文字说明的教学质量评估按照模板生成教学分析报告进行输出。具体模板样式可以根据学科、专业的特点灵活制定。该课堂教学报告作为学情分析的一个重要指标进行参考。

一种基于行为和表情智能识别的课堂教学分析与质量评估的方法，包括步骤如下：

S01：图像数据采集

利用教室的摄像头等监控设备采集课堂的视频，并利用现有数字图像处理算法和计算机视觉算法将视频剪成一帧一帧的图片，或者按照预定的采集时间间隔，如每秒、每10秒、每分钟等采集相应时间间隔的图片，从而完成对原始数据的采集。

S02：行为、表情分类识别

行为、表情分类识别行为识别是在图像数据采集的基础上，对课堂行为、表情进行分类识别；为下一步实现行为、表情的分析提供数据支撑。

利用机器学习算法对步骤S01获取的图像数据进行特征提取。

进一步优选的，所述步骤S02，行为、表情分类识别，包括步骤如下：

a、将步骤S01采集到的图像数据数字化处理，即对该原始图像进行采样、量化、编码，得到有限数字数值像素表示的二维数字图像；

b、通过提取二维数字图像中学生的课堂行为信息的尺度不变特征变换(SIFT)特征和方向梯度直方图(HOG)特征，得到特征矩阵；

c、将特征矩阵输入到SVM分类器和KNN分类器中进行学生若干学习行为、非学习行为的识别和教师教学行为和非教学行为的识别；

d、利用深度学习方法识别动态图像序列的面部表情。

S03：学生、教师初级指标分析

学生初级指标包括基于学生行为的学生积极度指数和学生消极度指数以及基于学生表情的学生活跃度指数和学生沉闷度指数；教师初级指标包括基于教师行为的教师积极度指数和教师消极度指数以及基于教师表情的教师活跃度指数和教师沉闷度指数；

利用一次加权的指标，对学生和教师的各初级指标进行二次加权，分别得出学生行为评量指数、学生表情评量指数、教师行为评量指数和教师表情评量指数；

学生积极度指数的计算公式如式(1)所示：

式(1)中，I_{sb_a}表示学生积极度指数；A_i表示不同学生行为对学生积极度指数的影响因子，i＝1,2,…,M_{sb_a}，M_{sb_a}表示影响学生积极度指数的学生行为的数量上限，

表示学生的第i种积极行为出现的人数，N_S表示课堂实际参加学生人数。

学生消极度指数的计算公式如式(2)所示：

式(2)中，I_sb-na表示学生消极度指数；B_i表示不同学生行为对学生消极度指数的影响因子；i＝1,2,…,M_{sb_na}，M_{sb_na}表示影响学生消极度指数的学生行为的数量上限，

表示学生的第i种消极行为出现的人数。

学生行为评量指数的计算公式如式(3)所示：

I_sb＝A₁₁×I_{sb_a}-B₁₁×I_{sb_na} (3)

式(3)中，I_sb表示学生行为评量指数，A₁₁、B₁₁表示学生积极度指数和学生消极度指数对学生行为评量指数的影响因子。

学生活跃度指数的计算公式如式(4)所示：

式(4)中，I_{se_a}表示学生活跃度指数；C_i表示不同学生表情对学生活跃度指数的影响因子，i＝1,2,…,M_{se_a}，M_{se_a}表示影响学生活跃度指数的学生表情的种类数量上限，

表示学生的第i种活跃表情出现的人数。

学生沉闷度指数的计算公式如式(5)所示：

式(5)中，I_{se_na}表示学生沉闷度指数；D_i表示不同表情对学生沉闷度指数的影响因子，i＝1,2,…,M_{se_na}，M_{se_na}表示影响学生沉闷度指数的学生表情的种类数量上限，

表示学生的第i种沉闷表情出现的人数。

学生表情评量指数的计算公式如式(6)所示：

I_se＝C₁₁×I_{se_a}-D₁₁×I_{se_na} (6)

式(6)中，I_se表示学生表情评量指数，C₁₁、D₁₁分别表示学生活跃度指数和学生沉闷度指数对学生表情评量指数的影响因子。

教师积极度指数的计算公式如式(7)所示：

式(7)中，I_{tb_a}表示教师积极度指数；E_i表示教师的不同行为对教师积极度指数的影响因子，i＝1,2,…,M_{tb_a}，M_{tb_a}表示影响教师积极度指数的教师行为的种类数量上限，

表示教师的第i种积极行为所占用的时间，T_S是当堂课的课堂总时间。

教师消极度指数的计算公式如式(8)所示：

式(8)中，I_tb-na表示教师消极度指数；F_i表示不同教学行为对教师消极度指数的影响因子，i＝1,2,…,M_{tb_na}，M_{tb_na}表示影响教师消极度指数的教师行为的种类数量上限，

表示教师的第i种消极行为出现的累计时间。

教师行为评量指数的计算公式如式(9)所示：

I_tb＝E₁₁×I_{tb_a}-F₁₁×I_{tb_na} (9)

式(9)中，I_tb表示教师行为评量指数，E₁₁、F₁₁分别表示教师积极度指数和教师消极度指数对教师行为评量指数的影响因子。

教师活跃度指数的计算公式如式(10)所示：

式(10)中，I_{te_a}表示教师活跃度指数；G_i表示不同教学表情对教师活跃度指数的影响因子，i＝1,2,…,M_{te_a}，M_{te_a}表示影响教师活跃度指数的教师表情的种类数量上限，

表示教师的第i种活跃表情出现的累计时间。

教师沉闷度指数的计算公式如式(11)所示：

式(11)中，I_{te_na}表示教师沉闷度指数；H_i表示不同教学表情对教师沉闷度指数的影响因子，i＝1,2,…,M_{te_na}，M_{te_na}表示影响教师沉闷度指数的教师表情的种类数量上限，

表示教师的第i种沉闷表情出现的累计时间。

教师表情评量指数的计算公式如式(12)所示：

I_te＝G₁₁×I_{te_a}-H₁₁×I_{te_na} (12)

式(12)中，I_te表示教师表情评量指数，G₁₁、H₁₁分别表示教师活跃度指数和教师沉闷度指数对教师表情评量指数的影响因子。

S04：学生、教师综合指标分析

所述综合指标分析是将步骤S03中得到的各类评量指数进行结合分析，计算得到基于学生行为和表情的学生学习综合指数以及基于教师行为和表情的教师教学综合指数；

基于学生行为和表情的学生学习综合指数的计算公式如式(13)所示：

I_s＝I_sb+I_se＝A₁₁×I_{sb_a}+C₁₁×I_{se_a}-B₁₁×I_{sb_na}-D₁₁×I_{se_na} (13)

式(13)中，I_s表示学生学习综合指数，A₁₁、B₁₁、C₁₁、D₁₁分别表示不同学习行为或表情对学生学习综合指数的影响因子，I_{sb_a}、I_{se_a}、I_{sb_na}、I_{se_na}分别表示学生积极度指数、学生活跃度指数、学生消极度指数和学生沉闷度指数。

基于教师行为和表情的教师教学综合指数的计算公式如式(14)所示：

I_t＝I_tb+I_te＝E₁₁×I_{tb_a}+G₁₁×I_{te_a}-F₁₁×I_{tb_na}-H₁₁×I_{te_na} (14)

式(14)中，I_t表示教师教学的综合评量指数，E₁₁、G₁₁、F₁₁、H₁₁表示不同学习行为或表情对教师教学的综合评量指数的影响因子，I_{tb_a}、I_{te_a}、I_{tb_na}、I_{te_na}分别表示教师积极度指数、教师活跃度指数、教师消极度指数和教师沉闷度指数。

S05：课堂教学成效分析

所述课堂教学成效分析是将步骤S04中所得课堂学生各项指标和教师各项指标进行结合，从教师的教学到学生的学习过程进行分析，计算得到课堂教学成效评量指数。

课堂教学成效评量指数的计算公式如式(15)所示：

I_a＝S×I_s+T×I_t (15)

式(15)中，I_a表示课堂教学成效评量指数，I_s表示学生学习综合指数，I_t表示教师教学的综合评量指数，S、T表示学生学习综合指数和教师教学综合指数对该指数的影响因子。

该过程主要是在利用加权的数据进行基于教师和学生的加权运算分析，其中，权值的大小由6D因素决定。以此判断实际的课堂教学成效。这一分析是全方位的，既有教师教学方面的数据和学生学习方面的数据，也包含教师和学生相结合的分析数据。

S06：教与学综合分析

所述教与学综合分析先结合教学期望对实际教学进行教学质量评估，得到教与学综合评量指数；这一指标体现的是教学是否达到预期的教学目标，具体分析过程如下：

教与学综合评量指数的计算公式如式(16)所示：

I_ts＝I_a-E_t＝S×I_s+T×I_t-E_t (16)

式(16)中，I_ts表示教与学综合评量指数，I_a表示课堂教学成效评量指数，E_t表示教学期望所设定达到的指标。

教学机构和教师能根据本次的教学质量评估调整下次课堂教学的教学期望指数，以使课堂教学不断改进，提高课堂教学水平。

由于课堂教学的成效与教师授课的表现有直接关系，积极有效且形式多样的授课方式能充分调动学生的学习积极性，因此，该系统的教学期望指数是教师与教学机构在课堂教学前制定的标准，在本系统中暂定为1，而后将课堂教学成效减去数值为1的教学期望得出教与学综合评量指数。

S07：教学质量评估

所述教学综合分析与报告输出是在S03至S06中学生行为和表情、教师行为和表情分析各类指标数据的基础上，结合各类课堂教学指标数据和教学综合分析指标数据进行汇总并分析；如课堂教学过程中玩手机的学生数量及姓名等，学生行为、表情和教师教学行为、表情的关联性分析等，形成基于数据的教学质量评估。所述质量评估是教师教学和学生课堂表现的综合评价。

S08：教学分析报告输出

将教学质量评估按照一定的模板生成教学分析报告进行输出。具体模板样式可以根据学科、专业的特点灵活制定。该课堂教学报告作为学情分析的一个重要指标进行参考。

本发明的有益效果为：

1、本发明在对课堂中行为和表情进行检测和分类识别的基础上，分别对教师课堂表现和学生课堂表现进行了分析判断，得到的各种指标数据能较为全面的反映课堂教与学的全貌。

2、本发明在结合教室摄像头监控设备以及行为、表情分类识别技术的基础上，构建了完善的课堂教学分析与质量评估系统。系统首先进行了教师和学生课堂表现的数据分析，以数据化的形式展现了课堂教学的实际情况；其次，通过与教学期望的比较分析，实现了实际教学效果是否达到预期目标的分析判断。同时运用了加权思想，可以针对不同教师、学生、专业以及课程等教与学相关的特性进行灵活的分析和计算。

3、本发明在各类指标数据分析的基础上，将系统功能延伸拓展，通过对指标数据的分析阐述，可对课堂教学中暴露出的问题提出相应的建议和改进措施，具体措施将由学校教研考评机构根据实际情况予以设定内容。

附图说明

图1为本发明一种基于行为和表情智能识别的课堂教学分析与质量评估系统框架结构示意图；

图2为一种基于行为和表情智能识别的课堂教学分析与质量评估的方法的详细模块和流程示意图；

图3为一种基于行为和表情智能识别的课堂教学分析与质量评估的方法的工作流程框图；

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，实际应用不限于此。

实施例1

一种基于行为和表情智能分析的课堂教学分析与质量评估系统，如图1所示，包括依次连接的图像数据采集模块、数据智能分析模块、课堂教学指标分析模块、教学综合分析与质量评估模块和教学分析报告输出模块。

图像数据采集模块用于学生和教师原始图像数据的采集，即利用教室摄像监控系统采集教师、学生以及课堂环境的图像，并发送给数据智能分析模块；图像数据采集模块利用教室的摄像头监控设备定时采集(采集的时间间隔可以根据系统要求设置，如每秒、每10秒、每分钟等)课堂的视频，并利用现有数字图像处理算法和计算机视觉算法将视频剪成一帧一帧的图片，完成对原始数据的采集。

数据智能分析模块用于对采集的学生和教师原始图像数据进行分类识别；该模块在图像数据采集的基础上，利用现有数字图像处理算法和计算机视觉算法对采集的数据进行处理，完成对教师和学生行为、表情的智能分类识别。

课堂教学指标分析模块用于将确定的行为、表情进行运算分析，该模块接收数据智能分析模块分类识别的数据后，首先对数据智能分析模块分类识别的数据进行初步指标分析，然后进行课堂学生、教师和课堂教学成效的综合指标分析，最后向教学综合分析与质量评估模块传递分析后的指标数据；所述课堂教学的初步指标分析和综合指标分析依次进行。

教学综合分析与质量评估模块用于课堂实际教学成效与预期的教学期望进行比较分析，并进行教学质量评估。所述课堂教学指标分析模块得到的各类课堂教学指标数据的基础上，结合教学期望完成综合分析，并在分析的基础上结合课堂教学指标分析模块中的各类指标进行整体教学质量的评估。

教学分析报告输出模块用于输出教学分析报告。该报告主要包括对课堂中学生的积极度，消极度进行分析，得出学生的课堂参与程度；对课堂中学生的活跃度，沉闷度进行分析，得出学生的课堂活跃程度；在学生课堂的参与程度和活跃程度的基础上得出的学生课堂学习状态分析；同步得出教师的课堂教学状态分析。而后结合学生和教师对课堂的实际教学进行的综合分析；最后将实际教学成效与教学期望进行的比较分析。所述教学分析报告将根据前述得到的各种指标数据，定量地分析教师授课和学生学习的课堂表现和效果。

实施例2

根据实施例1所述的一种基于行为和表情智能分析的课堂教学分析与质量评估系统，其区别在于：

数据智能分析模块包括学生行为分类识别单元、学生表情分类识别单元、教师行为分类识别单元和教师表情分类识别单元。

学生行为分类识别单元使用现有的数字图像处理算法完成图像数据中学生的若干种学习行为和若干种非学习行为的分类识别和统计；学习行为，例如包括听课、举手、阅读等体现学习性的行为；非学习行为，例如包括玩手机、趴桌子、聊天等体现与学习无关的行为。

学生表情分类识别单元使用现有的数字图像处理算法完成图像数据中若干种学习表情、若干种非学习表情的分类识别和统计；学习表情，例如包括思考、高兴、惊讶等体现学生积极学习的表情；非学习表情，例如包括厌恶、难过、迷茫等体现学生消极或抵触学习的表情。

教师行为分类识别单元使用现有的数字图像处理算法完成图像数据中若干种教学行为和若干种非教学行为的分类识别和统计；若干种教学行为，例如包括互动、走动、写板书等积极的教学性行为；若干种非教学行为，例如包括长时间沉默、坐、持续低头等消极对待教学的行为。

教师表情分类识别单元用于使用现有的数字图像处理算法完成图像数据中若干种教学表情、若干种非教学表情的分类识别和统计。若干种教学表情，例如包括思考、高兴、惊讶等认真教学的表情；若干种非教学表情，例如包括愤怒、无奈、迷茫等消极教学的表情。由于教师的唯一性和主导性，教师行为和表情采用基于时间的检测分类识别及分析。

需要说明的是为了便于阐述，此处本系统设定的行为和表情数量为若干种行为和若干种表情加，实际应用中可以根据课程的性质、类别以及学科等因素对行为和表情的类别和数量进行灵活设定。如行为或表情数量改变时，相应的行为和表情分类处理等单元的数量也要做相应的增减。

实施例3

根据实施例1或2所述的一种基于行为和表情智能分析的课堂教学分析与质量评估系统，其区别在于：

学生行为指标分析单元用于对学生课堂行为表现进行分析，通过统计各种行为在学生数量方面的不同占比，从行为方面展现课堂中学生的学习情况，即：计算得到基于行为的学生积极度指数、学生消极度指数、学生行为评量指数三个指标。

学生积极度指数的计算公式如式(1)所示：

式(1)中，I_{sb_a}表示学生积极度指数；A_i表示不同学生行为对学生积极度指数的影响因子，i＝1,2,…,M_{sb_a}，M_{sb_a}表示影响学生积极度指数的学生行为的数量上限，

表示学生的第i种积极行为出现的人数，N_s表示课堂实际参加学生人数。

学生消极度指数的计算公式如式(2)所示：

式(2)中，I_{sb_na}表示学生消极度指数；B_i表示不同学生行为对学生消极度指数的影响因子；i＝1,2,…,M_{sb_na}，M_{sb_na}表示影响学生消极度指数的学生行为的数量上限，

表示学生的第i种消极行为出现的人数。

学生行为评量指数的计算公式如式(3)所示：

I_sb＝A₁₁×I_{sb_a}-B₁₁×I_{sb_na} (3)

式(3)中，I_sb表示学生行为评量指数，A₁₁、B₁₁表示学生积极度指数和学生消极度指数对学生行为评量指数的影响因子。

学生表情指标分析单元用于对学生课堂表情进行分析，通过统计各种表情在学生数量方面的不同占比，展现课堂中学生的学习情况，即：计算得到基于表情的学生活跃度指数、学生沉闷度指数、学生表情评量指数三个指标。

学生活跃度指数的计算公式如式(4)所示：

式(4)中，I_{se_a}表示学生活跃度指数；C_i表示不同学生表情对学生活跃度指数的影响因子，i＝1,2,…,M_{se_a}，M_{se_a}表示影响学生活跃度指数的学生表情的种类数量上限，

表示学生的第i种活跃表情出现的人数。

学生沉闷度指数的计算公式如式(5)所示：

式(5)中，I_{se_na}表示学生沉闷度指数；D_i表示不同表情对学生沉闷度指数的影响因子，i＝1,2,…,M_{se_na}，M_{se_na}表示影响学生沉闷度指数的学生表情的种类数量上限，

表示学生的第i种沉闷表情出现的人数。

学生表情评量指数的计算公式如式(6)所示：

I_se＝C₁₁×I_{se_a}-D₁₁×I_{se_na} (6)

式(6)中，I_se表示学生表情评量指数，C₁₁、D₁₁分别表示学生活跃度指数和学生沉闷度指数对学生表情评量指数的影响因子。

教师行为指标分析单元用于对教师课堂行为表现进行分析，通过统计教师各种行为出现时间的不同占比，以时间为轴展现课堂教师教学行为的实际情况，即：计算得到基于表情的教师积极度指数、教师消极度指数、教师行为评量指数三个指标。

教师积极度指数的计算公式如式(7)所示：

式(7)中，I_{tb_a}表示教师积极度指数；E_i表示教师的不同行为对教师积极度指数的影响因子，i＝1,2,…,M_{tb_a}，M_{tb_a}表示影响教师积极度指数的教师行为的种类数量上限，

表示教师的第i种积极行为所占用的时间，T_S是当堂课的课堂总时间。

教师消极度指数的计算公式如式(8)所示：

式(8)中，I_{tb_na}表示教师消极度指数；F_i表示不同教学行为对教师消极度指数的影响因子，i＝1,2,…,M_{tb_na}，M_{tb_na}表示影响教师消极度指数的教师行为的种类数量上限，

表示教师的第i种消极行为出现的累计时间。

教师行为评量指数的计算公式如式(9)所示：

I_tb＝E₁₁×I_{tb_a}-F₁₁×I_{tb_na} (9)

式(9)中，I_tb表示教师行为评量指数，E₁₁、F₁₁分别表示教师积极度指数和教师消极度指数对教师行为评量指数的影响因子。

教师表情指标分析单元用于对教师课堂教学表情进行分析，通过统计教师各种表情出现的时长，以时间为轴展现课堂教师教学表情的实际情况，即计算得到基于表情的教师活跃度指数、教师沉闷度指数、教师表情评量指数三个指标。

教师活跃度指数的计算公式如式(10)所示：

式(10)中，I_{te_a}表示教师活跃度指数；G_i表示不同教学表情对教师活跃度指数的影响因子，i＝1,2,…,M_{te_a}，M_{te_a}表示影响教师活跃度指数的教师表情的种类数量上限，

表示教师的第i种活跃表情出现的累计时间。

教师沉闷度指数的计算公式如式(11)所示：

式(11)中，I_te-na表示教师沉闷度指数；H_i表示不同教学表情对教师沉闷度指数的影响因子，i＝1,2,…,M_{te_na}，M_{te_na}表示影响教师沉闷度指数的教师表情的种类数量上限，

表示教师的第i种沉闷表情出现的累计时间。

教师表情评量指数的计算公式如式(12)所示：

I_te＝G₁₁×I_{te_a}-H₁₁×I_{te_na} (12)

式(12)中，I_te表示教师表情评量指数，G₁₁、H₁₁分别表示教师活跃度指数和教师沉闷度指数对教师表情评量指数的影响因子。

学生学习综合指标分析单元用于对学生课堂行为、表情进行综合分析，通过统计计算各种行为、表情在学生数量方面的不同占比，综合展现课堂中学生的学习情况，即计算得到基于学生行为和表情的学生学习综合指数。

基于学生行为和表情的学生学习综合指数的计算公式如式(13)所示：

I_s＝I_sb+I_se＝A₁₁×I_sb-a+C₁₁×I_se-a-B₁₁×I_{sb_na}-D₁₁×I_{se_na} (13)

式(13)中，I_s表示学生学习综合指数，A₁₁、B₁₁、C₁₁、D₁₁分别表示不同学习行为或表情对学生学习综合指数的影响因子，I_sb-a、I_{se_a}、I_{sb_na}、I_{se_na}分别表示学生积极度指数、学生活跃度指数、学生消极度指数和学生沉闷度指数。

教师教学综合指标分析单元用于对教师课堂教学行为、表情进行综合分析，通过统计计算教师各种行为、表情在一节课的时间里不同的占比，综合展现课堂中教师的教学情况，即计算得到基于教师行为和表情的教师教学综合指数。

基于教师行为和表情的教师教学综合指数的计算公式如式(14)所示：

I_t＝I_tb+I_te＝E₁₁×I_{tb_a}+G₁₁×I_{te_a}-F₁₁×I_{tb_na}-H₁₁×I_{te_na} (14)

式(14)中，I_t表示教师教学的综合评量指数，E₁₁、G₁₁、F₁₁、H₁₁表示不同学习行为或表情对教师教学的综合评量指数的影响因子，I_tb-a、I_te-a、I_{tb_na}、I_{te_na}分别表示教师积极度指数、教师活跃度指数、教师消极度指数和教师沉闷度指数。

课堂教学成效分析单元用于对学生和教师的行为、表情进行综合分析，通过将学生和教师各种行为、表情指数进行综合的运算比较，分析出本课堂的实际教学成效，即计算得到课堂教学成效评量指数。

课堂教学成效评量指数的计算公式如式(15)所示：

I_a＝S×I_s+T×I_t (15)

式(15)中，I_a表示课堂教学成效评量指数，I_s表示学生学习综合指数，I_t表示教师教学的综合评量指数，S、T表示学生学习综合指数和教师教学综合指数对该指数的影响因子。

初级指标分析包含两次加权运算过程。通过一次加权分别得出基于行为的学生积极度指数、学生消极度指数和教师积极度指数、教师消极度指数以及基于表情的学生活跃度指数、学生沉闷度指数和教师活跃度指数、教师沉闷度指数；通过二次加权得出学生行为评量指数、学生表情评量指数和教师行为评量指数、教师表情评量指数。所述初级指标分析的两次加权运算依次进行，并向课堂综合分析提供初步的分析数据结果。各项初级指标展现了课堂教学中单一行为或表情的表现状况，很大程度上说明了课堂教学的实际过程。

由于该系统的各项指标与很多因素有关，具体的取值也会受这些因素的影响，所以为了使该系统适用于更为普遍的环境，本专利定义了影响此系统模型的6D因素模块，其具体包括：

1D：教学时间

2D：教学空间

3D：高校类型、学科专业、教学目标、教学内容等

4D：教师性别、教师年龄、教师仪表、教学经验、教学风格等

5D：学生性别、学生年龄、学生层次、学习方式、学生学习风格等

6D：教学方法、手段、工具、技巧和策略等其他相关因素

该6D因素会影响一次加权、二次加权和综合分析中的权值，权值的选取可以根据特定的课堂情况和规则。一般情况下，为了简化计算，可以将权值均设为1。

课堂综合指标分析接受来自课堂初级指标分析的数据，进行分类和综合分析，并向所述教学综合分析与质量评估模块传送分析后的指标数据。所述综合指标分析包括学生学习综合指标分析、教师教学综合指标分析、课堂教学成效分析三个单元。课堂综合指标分析是在利用二次加权的各类指标数据基础上，首先分别进行学生学习综合指标、教师教学综合指标的分析，通过分析得出学生学习综合评量指数、教师教学综合评量指数。而后通过学生和教师的综合指标进行课堂教学成效指标的分析，得出课堂教学成效评量指数。从以上三个指标判断实际的课堂教学成效。这一分析是全方位的，既有教师教学方面的数据和学生学习方面的数据分析，也包含教师和学生相结合的数据分析。

实施例4

根据实施例3所述的一种基于行为和表情智能分析的课堂教学分析与质量评估系统，其区别在于：

教学综合分析与质量评估模块包括依次连接的教学综合分析单元和教学质量评估单元；

教学综合分析单元结合教学前制定的教学期望，用于对实际的教学效果进行分析，结合课堂教学指标分析模块分析出的课堂教学成效数据包括课堂教学成效评量指数，通过其与教学期望的进行差值比较得出教与学综合评量指数；达到对教学效果进行教学综合评量的目的。

教与学综合评量指数的计算公式如式(16)所示：

I_ts＝I_a-E_t＝S×I_s+T×I_t-E_t (16)

式(16)中，I_ts表示教与学综合评量指数，I_a表示课堂教学成效评量指数，E_t表示教学期望所设定达到的指标。

教学质量评估单元是用于全面评估课堂教学的效果，结合各类指标数据进行教学效果的综合评估，包括学生行为指标评量指数、学生表情指标评量指数、教师行为评量指数、教师表情评量指数、学生学习综合评量指数、教师教学综合评量指数、课堂教学成效评量指数、教与学综合评量指数八种指标数据，通过各类指标数据进行分析，如学生课堂非学习行为的人数及姓名，作为在下次课堂授课时应重点关注的学生；并对指标突出的行为和表情进行重点的原因分析，同时阐述课堂中师生一些行为和表情的关联性，最终将各类分析汇总，从而客观全面的分析本次课堂教学的成效；为以后的教学改进提供合理的意见建议。

教学综合分析单元和教学质量评估单元均依靠计算机和系统模块相关的软件实现。

教学分析报告输出模块用于最后的教学分析与质量评估报告的输出。该模块结合数据分析和文字说明的教学质量评估按照模板生成教学分析报告进行输出。具体模板样式可以根据学科、专业的特点灵活制定。该课堂教学报告作为学情分析的一个重要指标进行参考。

实施例5

一种基于行为和表情智能识别的课堂教学分析与质量评估的方法，如图2及图3所示；

由于权值受不同因素影响，实际应用时各个权值可以根据实际情况具体确定，本实施例权值均暂定为1。本实施例的行为、表情均暂定为以下类型：

学生的学习行为规定为：听课、举手、阅读，非学习行为规定为：玩手机、趴桌子、聊天。学生的学习表情规定为：思考、高兴、惊讶，非学习表情规定为：厌恶、难过、迷茫。

教师的教学行为规定为：互动、走动、写板书，非教学行为规定为：长时间沉默、坐、持续低头。教师的教学表情规定为：思考、高兴、惊讶，非教学表情规定为：愤怒、无奈、迷茫。

包括步骤如下：

S01：图像数据采集

在专业课的教学过程中对学生的行为进行图像数据的采集。利用教室的摄像头监控设备每隔30s采集并回传课堂的视频数据到后台，并依次利用计算机视觉算法、数字图像处理算法将视频剪成一帧一帧的图片，完成对图像数据的采集；

S02：行为、表情分类识别

行为、表情分类识别行为识别是在图像数据采集的基础上，对课堂行为、表情进行分类识别；为下一步实现行为、表情的分析提供数据支撑。

利用机器学习算法对步骤S01获取的图像数据进行特征提取；

步骤S02，行为、表情分类识别，包括步骤如下：

a、将步骤S01采集到的图像数据数字化处理，即对该原始图像进行采样、量化、编码，得到有限数字数值像素表示的二维数字图像；

b、通过提取二维数字图像中学生的课堂行为信息的尺度不变特征变换(SIFT)特征和方向梯度直方图(HOG)特征，得到特征矩阵；

提取二维数字图像中学生的课堂行为信息的尺度不变特征变换特征，包括步骤如下：

1)建立尺度空间；

2)关键点定位；

3)方向确定；

4)关键点描述。

提取二维数字图像中学生的课堂行为信息的方向梯度直方图特征，包括步骤如下：

5)图像灰度化；

6)图像颜色空间标准化；

7)计算像素梯度；

8)图像划分成小cell；

9)统计每个cell的梯度直方图；

10)将每几个cell组成一个block；

11)将image内所有block的HOG特征串联起来得到HOG特征的descriptor。

c、将特征矩阵输入到SVM分类器和KNN分类器中进行学生若干学习行为、非学习行为的识别和教师教学行为和非教学行为的识别；

将特征矩阵输入到SVM分类器进行学生若干学习行为、非学习行为的识别和教师教学行为和非教学行为的识别，包括步骤如下：

12)给定训练集，求解二次规划问题；

13)计算参数，选取正分量；

14)构造判决；

15)函数，求决策函数；

16)得到分类结果。

将特征矩阵输入到KNN分类器中进行学生若干学习行为、非学习行为的识别和教师教学行为和非教学行为的识别，包括步骤如下：

17)选用合适的数据结构存储训练数据和测试数据；

18)设定参数；

19)存储最近邻训练元组；

20)遍历训练元组集；

21)将当前训练元组存入优先级队列；

d、利用深度学习方法识别动态图像序列的面部表情。

利用深度学习方法识别动态图像序列的面部表情，包括步骤如下：

22)从表情图像序列中选择代表帧图像，利用CNN(卷积神经网络)卷积层提权特征，池化层进行特征降维，经过反向传播确定卷积核参数，得到帧图像最终的空域特征；同时，利用RNN(循环神经网络)通过保存之前一段时刻的输出并作用于当前时刻，从而提取出表情序列帧的面部特征点的时域特征；

23)采用Fisher向量分别进行时域信息和空域信息的帧间编码融合；

24)使用局部特征聚合描述符对上述时空域的深度信息进行帧内编码融合得到视频的整体表征，识别面部表情。

通过以上步骤，实现学生若干学习表情、非学习表情的识别和教师教学表情和非教学表情的识别；

S03：学生、教师初级指标分析

学生初级指标包括基于学生行为的学生积极度指数和学生消极度指数以及基于学生表情的学生活跃度指数和学生沉闷度指数；教师初级指标包括基于教师行为的教师积极度指数和教师消极度指数以及基于教师表情的教师活跃度指数和教师沉闷度指数；

教师A的专业课课堂学生数量为80人，经教室监控系统对课堂学生的课堂瞬时行为进行数据采集，得出课堂学生的积极学习行为数据：听课人数为52人，占65％；举手人数为8人，占10％；阅读人数5人，占6.25％。学生的消极学习行为数据：玩手机人数为8人，占10％；趴桌子(睡觉)3人，占3.75％；聊天4人，占5％。

学生积极度指数I_{sb_a}＝(A1×听课人数+A2×举手人数+A3×阅读人数)/总人数

＝(52+8+5)/80＝0.8125

学生消极度指数I_{sb_na}＝(B1×玩手机人数+B2×趴桌子人数+B3×聊天人数)/总人数

＝(8+3+4)/80＝0.1875

其中，令各影响因子A1、A2、A3、B1、B2、B3的取值均为1。

同时，对学生的课堂期间的表情进行检测分类，区分思考、高兴、惊讶3种学习表情，厌恶、难过、迷茫3种非学习表情。得出学生课堂学习表情统计为：思考人数为32人，占40％，高兴人数为18人，占22.5％；惊讶人数19人，占23.75％。学生的非学习表情统计为：厌恶人数为4人，占5％；迷茫4人，占5％；难过3人，占3.75％。

学生活跃度指数I_{se_a}＝(C1×高兴人数+C2×惊讶人数+C3×思考人数)/总人数

＝(32+18+19)/80＝0.8625

学生沉闷度指数I_{se_na}＝(D1×厌恶人数+D2×迷茫人数+D3×难过人数)/总人数

＝(4+4+3)/80＝0.1375

其中，令各影响因子C1、C2、C3、D1、D2、D3的取值均为1。

学生的具体行为和表情的种类、数量可以根据课程的性质、类别以及学科进行灵活设定，不仅仅局限于六种表情。如种类、数量改变时，相应的指标公式中的影响因子数量也将做相应的增减。

对教师授课进行评估：

一节课以50分钟计时，通过将专业教师授课形式的数据对比分析。在课堂的教学过程中对A教师的行为进行采集和识别，分析得出互动、走动、其它3种积极教学行为和长时间沉默、坐、其它3中消极教学行为。最终得出课堂教师积极教学行为数据：互动时间为10分钟，占20％；走动时间为10分钟，占20％；写板书时间15分钟，占30％。教师的消极教学行数据：长时间沉默时间为5分钟，占10％；坐的时间为5分钟，占10％；持续低头时间为5分钟，占10％。

教师积极度指数I_{tb_a}＝(E1×互动时间+E2×走动时间+E3×写板书)/课堂时间

＝(10+10+15)/50＝0.7

教师消极度指数I_{tb_na}＝(F1×长时间沉默时间+F2×坐的时间+F3×持续低头)/课堂时间

＝(5+5+5)/50＝0.3

其中，令各影响因子E1、E2、E3、F1、F2、F3的取值均为1。

同时，对课堂的教学过程中对A教师的表情进行采集和分类识别，分析得出高兴、思考、惊讶3种积极教学表情和生气、沉默、无奈3种消极教学表情。最终得出课堂教师活跃教学表情数据：高兴时间为10分钟，占10％；思考时间为15分钟，占30％；惊讶时间15分钟，占30％。教师的沉闷教学表情数据：生气时间为2分钟，占40％；沉默时间为4分钟，占4％；无奈时间为4分钟，占4％。得出：

教师活跃度指数I_{te_a}＝(G1×高兴时间+G2×思考时间+G3×惊讶时间)/课堂时间

＝(10+15+15)/50＝0.8

教师沉闷度指数I_{te_na}＝(H1×生气时间+H2×沉默时间+H3×无奈时间)/课堂时间

＝(2+4+4)/50＝0.2

其中，令各影响因子G1、G2、G3、H1、H2、H3的取值均为1。

教师的具体行为和表情的种类、数量可以根据课程的性质、类别以及学科进行灵活设定，不仅仅局限于六种表情。如种类、数量改变时，相应的指标公式中的权值数量也将做相应的增减。

利用一次加权的指标，对学生和教师的各初级指标进行二次加权，分别得出学生行为评量指数、学生表情评量指数、教师行为评量指数和教师表情评量指数；权值的大小由6D因素决定。定义并计算以下指标：

学生行为评量指数I_sb＝A11×学生积极度指数I_{sb_a}－B11×学生消极度指数I_{sb_na}

＝0.8125－0.1875＝0.625

其中，令影响因子A11、B11的取值均为1。

学生表情评量指数I_se＝C11×学生活跃度指数I_{se_a}－D11×学生沉闷度指数I_{se_na}

＝0.8625－0.1375＝0.725

其中，令影响因子C11、D11的取值均为1。

教师行为评量指数I_tb＝E11×教师积极度指数I_{tb_a}－F11×教师消极度指数I_{tb_na}

＝0.7－0.3＝0.4

其中，令影响因子E11、E11的取值均为1。

教师表情评量指数I_te＝G11×教师活跃度指数I_{te_a}－H11×教师沉闷度指数I_{te_na}

＝0.8－0.2＝0.6

其中，令影响因子G11、H11的取值均为1。

S04：学生、教师综合指标分析

综合指标分析是将步骤S03中得到的各类评量指数进行结合分析，计算得到基于学生行为和表情的学生学习综合指数以及基于教师行为和表情的教师教学综合指数；

学生学习综合指数I_s＝学生行为评量指数I_sb+学生表情评量指数I_se

＝A11×学生积极度指数I_{sb_a}+C11×学生活跃度指数I_{sb_na}-B11×学生消极度指数I_{se_a}-D11×学生沉闷度指数I_{se_na}

＝1.35

其中，令各影响因子A11、C11、B11、D11的取值均为1。

教师教学综合指数I_t＝教师行为评量指数I_tb+教师表情评量指数I_te

＝E11×教师积极度指数I_{tb_a}+G11×教师活跃度指数I_{tb_na}-F11×教师消极度指数I_{te_a}-H11×教师沉闷度指数I_{te_na}

＝1

其中，令各影响因子E11、G11、F11、H11的取值均为1。

S05：课堂教学成效分析

课堂教学成效分析是将步骤S04中所得课堂学生各项指标和教师各项指标进行结合，从教师的教学到学生的学习过程进行分析，计算得到课堂教学成效评量指数；

课堂教学成效评量指数I_a＝S×学生学习综合评量指数I_s+T×教师教学综合评量指数I_t＝2.35

其中，令影响因子S、T的取值均为1。

该过程主要是在利用加权的数据进行基于教师和学生的加权运算分析，其中，权值的大小由6D因素决定。以此判断实际的课堂教学成效。这一分析是全方位的，既有教师教学方面的数据和学生学习方面的数据，也包含教师和学生相结合的分析数据。

S06：教与学综合分析

教与学综合分析先结合教学期望对实际教学进行教学质量评估，得到教与学综合评量指数；这一指标体现的是教学是否达到预期的教学目标，具体分析过程如下：

教与学综合评量指数I_ts＝课堂教学成效评量指数I_a-教学期望指数E_t＝2.35-1＝1.35

由于课堂教学的成效与教师授课的表现有直接关系，积极有效且形式多样的授课方式能充分调动学生的学习积极性，因此，该系统的教学期望指数是教师与教学机构在课堂教学前制定的标准，在本系统中暂定为1，而后将课堂教学成效减去数值为1的教学期望得出教与学综合评量指数。

教学机构和教师能根据本次的教学质量评估调整下次课堂教学的教学期望指数，以使课堂教学不断改进，提高课堂教学水平。

S07：教学质量评估

通过系统实现模块图，可以很直观得出教师A的专业课学情分析结果和质量评估报告，从结果中可以看出，该专业课的教师课堂教学积极活跃，教师教学综合指数为1；与之对应的课堂学生的学习行为和表情出现次数较高，学习的综合指数为1.35。经加权得课堂教学成效和教与学综合评量指数分别为2.35和1.35，均为正数。同时指出，该课堂中学生非学习行为的人数为15人，分别为张三、李四……等，针对部分学生不端正的学习态度下节课上课前须指出，提高下节课的课堂效率。综合评价：该专业课的教师的课程教学成效好，学生的学习效果理想，达到了预期的教学目的。

以上评估符合教师A及该班级课堂学生的客观情况，从而验证了本发明方法的正确性。

S08：教学分析报告输出

将教师A的专业课的课堂教学质量评估按照一定的模板生成教学分析报告进行输出，具体模板样式可以根据学科、专业的特点灵活制定。本节课的课堂教学报告将作为学情分析的一个重要指标进行参考。

实施例6

一种基于行为和表情智能识别的课堂教学分析与质量评估的方法，如图2及图3所示；

由于权值受不同因素影响，实际应用时各个权值可以根据实际情况具体确定，本实施例权值均暂定为1。本实施例的行为、表情均暂定为以下类型：

学生的学习行为规定为：听课、举手、阅读，非学习行为规定为：玩手机、趴桌子、聊天。学生的学习表情规定为：思考、高兴、惊讶，非学习表情规定为：厌恶、难过、迷茫。

教师的教学行为规定为：互动、走动、写板书，非教学行为规定为：长时间沉默、坐、持续低头。教师的教学表情规定为：思考、高兴、惊讶，非教学表情规定为：愤怒、无奈、迷茫。

以某公共课的教学课堂进行相关行为、表情的分类识别，并将分类的数据特征结合主流的大数据进行智能处理、分析和挖掘，最终实现对课堂效果的质量评估。

包括步骤如下：

S01：图像数据采集

在公共课的教学过程中对学生的行为进行图像数据的采集。利用教室的摄像头监控设备每隔30s采集并回传课堂的视频数据到后台，并依次利用计算机视觉算法、数字图像处理算法将视频剪成一帧一帧的图片，完成对图像数据的采集；

S02：行为、表情分类识别

行为、表情分类识别行为识别是在图像数据采集的基础上，对课堂行为、表情进行分类识别；为下一步实现行为、表情的分析提供数据支撑。

利用机器学习算法对步骤S01获取的图像数据进行特征提取；

步骤S02，行为、表情分类识别，包括步骤如下：

a、将步骤S01采集到的图像数据数字化处理，即对该原始图像进行采样、量化、编码，得到有限数字数值像素表示的二维数字图像；

b、通过提取二维数字图像中学生的课堂行为信息的尺度不变特征变换(SIFT)特征和方向梯度直方图(HOG)特征，得到特征矩阵；

提取二维数字图像中学生的课堂行为信息的尺度不变特征变换特征，包括步骤如下：

1)建立尺度空间；

2)关键点定位；

3)方向确定；

4)关键点描述。

提取二维数字图像中学生的课堂行为信息的方向梯度直方图特征，包括步骤如下：

5)图像灰度化；

6)图像颜色空间标准化；

7)计算像素梯度；

8)图像划分成小cell；

9)统计每个cell的梯度直方图；

10)将每几个cell组成一个block；

11)将image内所有block的HOG特征串联起来得到HOG特征的descriptor。

c、将特征矩阵输入到SVM分类器和KNN分类器中进行学生若干学习行为、非学习行为的识别和教师教学行为和非教学行为的识别；

将特征矩阵输入到SVM分类器进行学生若干学习行为、非学习行为的识别和教师教学行为和非教学行为的识别，包括步骤如下：

12)给定训练集，求解二次规划问题；

13)计算参数，选取正分量；

14)构造判决；

15)函数，求决策函数；

16)得到分类结果。

将特征矩阵输入到KNN分类器中进行学生若干学习行为、非学习行为的识别和教师教学行为和非教学行为的识别，包括步骤如下：

17)选用合适的数据结构存储训练数据和测试数据；

18)设定参数；

19)存储最近邻训练元组；

20)遍历训练元组集；

21)将当前训练元组存入优先级队列；

d、利用深度学习方法识别动态图像序列的面部表情。

利用深度学习方法识别动态图像序列的面部表情，包括步骤如下：

22)从表情图像序列中选择代表帧图像，利用CNN(卷积神经网络)卷积层提权特征，池化层进行特征降维，经过反向传播确定卷积核参数，得到帧图像最终的空域特征；同时，利用RNN(循环神经网络)通过保存之前一段时刻的输出并作用于当前时刻，从而提取出表情序列帧的面部特征点的时域特征；

23)采用Fisher向量分别进行时域信息和空域信息的帧间编码融合；

24)使用局部特征聚合描述符对上述时空域的深度信息进行帧内编码融合得到视频的整体表征，识别面部表情。

通过以上步骤，实现学生若干学习表情、非学习表情的识别和教师教学表情和非教学表情的识别；

S03：学生、教师初级指标分析

学生初级指标包括基于学生行为的学生积极度指数和学生消极度指数以及基于学生表情的学生活跃度指数和学生沉闷度指数；教师初级指标包括基于教师行为的教师积极度指数和教师消极度指数以及基于教师表情的教师活跃度指数和教师沉闷度指数；

教师B的公共课课堂学生数量为80人，经教室监控系统对课堂学生的课堂瞬时行为进行数据采集，得出课堂学生的积极学习行为统计为：听课人数为40人，占50％；举手人数为6人，占7.5％；阅读人数5人，占6.25％。学生的消极学习行为统计为：玩手机人数为16人，占20％；趴桌子(睡觉)7人，占8.75％；聊天6人，占7.5％。

学生积极度指数I_{sb_a}＝(A1×听课人数+A2×举手人数+A3×阅读人数)/总人数

＝(40+6+5)/80＝0.6375

学生消极度指数I_{sb_na}＝(B1×玩手机人数+B2×趴桌子人数+B3×聊天人数)/总人数

＝(16+7+6)/80＝0.3625

其中，令各影响因子A1、A2、A3、B1、B2、B3的取值均为1。

同时，对学生的课堂期间的表情进行检测分类，区分思考、高兴、惊讶3种学习表情、厌恶、难过、迷茫3种非学习表情。得出课堂学生的学习表情统计为：思考为16人，占20％；高兴人数为4人，占5％；惊讶人数8人，占10％。学生的非学习表情统计为：厌恶人数为20人，占25％；难过18人，占22.5％；迷茫14人，占17.5％。

学生活跃度指数I_{se_a}＝(C1×高兴人数+C2×惊讶人数+C3×思考人数)/总人数

＝(16+4+8)/80＝0.35

学生沉闷度指数I_{se_na}＝(D1×厌恶人数+D2×难过人数+D3×迷茫人数)/总人数

＝(20+18+14)/80＝0.65

其中，令各影响因子C1、C2、C3、D1、D2、D3的取值均为1。

学生的具体行为和表情的种类、数量可以根据课程的性质、类别以及学科进行灵活设定，不仅仅局限于六种表情。如种类、数量改变时，相应的指标公式中的权值数量也将做相应的增减。

对教师授课进行评估：

一节课以50分钟计时，在公共课的教学过程中对B教师的行为进行采集和识别，分析得出互动、走动、其它3种积极教学行为和长时间沉默、坐、其它3中消极教学行为。最终得出课堂教师教学行为为：互动时间为3分钟，占6％；走动时间为5分钟，占10％；写板书时间10分钟，占20％。教师的非教学行为为：长时间沉默时间为5分钟，占10％；坐的时间为15分钟，占30％；持续低头时间为12分钟，占24％。

教师积极度指数I_{tb_a}＝(E1×互动时间+E2×走动时间+E3×其它积极时间)/课堂时间

＝(3+5+10)/50＝0.36

教师消极度指数I_{tb_na}＝(F1×长时间沉默时间+F2×坐的时间+F3×其它消极时间)/课堂时间

＝(5+15+12)/50＝0.64

此处令影响因子(权值)E1、E2、E3、F1、F2、F3的取值均为1。

同时，对课堂的教学过程中对A教师的表情进行采集和分类识别，分析得出高兴、思考、惊讶3种积极教学表情和生气、沉默、无奈3中消极教学表情。最终得出课堂教师活跃教学表情数据：高兴时间为5分钟，占10％；思考时间为10分钟，占20％；惊讶时间5分钟，占10％。教师的沉闷教学表情数据：生气时间为10分钟，占20％；沉默时间为5分钟，占10％；无奈时间为15分钟，占30％。得出：

教师活跃度指数I_{te_a}＝(G1×高兴时间+G2×思考时间+G3×惊讶时间)/课堂时间

＝(5+10+5)/50＝0.4

教师沉闷度指数I_{te_na}＝(H1×生气时间+H2×沉默时间+H3×无奈时间)/课堂时间

＝(10+5+15)/50＝0.6

其中，令各影响因子G1、G2、G3、H1、H2、H3的取值均为1。

教师的具体行为和表情的种类、数量可以根据课程的性质、类别以及学科进行灵活设定，不仅仅局限于六种表情。如种类、数量改变时，相应的指标公式中的权值数量也将做相应的增减。

利用一次加权的指标，对学生和教师的各初级指标进行二次加权，分别得出学生行为评量指数、学生表情评量指数、教师行为评量指数和教师表情评量指数；权值的大小由6D因素决定。定义并计算以下指标：

学生行为评量指数I_sb＝A11×学生积极度指数I_{sb_a}－B11×学生消极度指数I_{sb_na}

＝0.6375－0.3625＝0.275

其中，令影响因子A11、B11的取值均为1。

学生表情评量指数I_se＝C11×学生活跃度指数I_{se_a}－D11×学生沉闷度指数I_{se_na}

＝0.35－0.65＝－0.3

其中，令影响因子C11、D11的取值均为1。

教师行为评量指数I_tb＝E11×教师积极度指数I_{tb_a}－F11×教师消极度指数I_{tb_na}

＝0.36－0.64＝－0.28

其中，令影响因子E11、E11的取值均为1。

教师表情评量指数I_te＝G11×教师活跃度指数I_{te_a}－H11×教师沉闷度指数I_{te_na}

＝0.4－0.6＝－0.2

其中，令影响因子G11、H11的取值均为1。

S04：学生、教师综合指标分析

综合指标分析是将步骤S03中得到的各类评量指数进行结合分析，计算得到基于学生行为和表情的学生学习综合指数以及基于教师行为和表情的教师教学综合指数；

学生学习综合指数I_s＝学生行为评量指数I_sb+学生表情评量指数I_se

＝A11×学生积极度指数I_{sb_a}+C11×学生活跃度指数I_{sb_na}-B11×学生消极度指数I_{se_a}-D11×学生沉闷度指数I_{se_na}

＝-0.025

其中，令影响因子A11、C11、B11、D11的取值均为1。

教师教学综合指数I_t＝教师行为评量指数I_tb+教师表情评量指数I_te

＝E11×教师积极度指数I_{tb_a}+G11×教师活跃度指数I_{tb_na}-F11×教师消极度指数I_{te_a}-H11×教师沉闷度指数I_{te_na}

＝-0.48

其中，令各影响因子E11、G11、F11、H11的取值均为1。

S05：课堂教学成效分析

课堂教学成效分析是将步骤S04中所得课堂学生各项指标和教师各项指标进行结合，从教师的教学到学生的学习过程进行分析，计算得到课堂教学成效评量指数；

课堂教学成效评量指数＝S×学生学习综合评量指数+T×教师教学综合评量指数＝-0.505

其中，令影响因子S、T的取值均为1。

该过程主要是在利用加权的数据进行基于教师和学生的加权运算分析，其中，权值的大小由6D因素决定。以此判断实际的课堂教学成效。这一分析是全方位的，既有教师教学方面的数据和学生学习方面的数据，也包含教师和学生相结合的分析数据。

S06：教与学综合分析

教与学综合分析先结合教学期望对实际教学进行教学质量评估，得到教与学综合评量指数；这一指标体现的是教学是否达到预期的教学目标，具体分析过程如下：

教与学综合评量指数＝课堂教学成效评量指数-教学期望＝-0.505-1＝-1.505

由于课堂教学的成效与教师授课的表现有直接关系，积极有效且形式多样的授课方式能充分调动学生的学习积极性，因此，该系统的教学期望指数是教师与教学机构在课堂教学前制定的标准，在本系统中暂定为1，而后将课堂教学成效减去数值为1的教学期望得出教与学综合评量指数。

教学机构和教师能根据本次的教学质量评估调整下次课堂教学的教学期望指数，以使课堂教学不断改进，提高课堂教学水平。

S07：教学质量评估

通过系统实现模块图，可以很直观得出教师B的公共课学情分析结果和质量评估报告，从结果中可以看出，该公共课的教师课堂教学沉闷，教师教学综合指数为-0.48；与之对应的课堂学生的学习行为和表情出现次数较低，学生的综合指数为-0.025。经加权得课堂教学成效和教与学综合评量指数分别为-0.505和-1.505，均为负数。同时指出，该课堂中学生非学习行为的人数为29人，分别为张三、李四……等，针对部分学生不端正的学习态度下节课上课前须指出，提高下节课的课堂效率。综合评价：该公共课的教师的课程教学方式单一，学生对知识的接收度不高，各项指标均为负数，实际教学效果较差，未达到预期的教学目的。

S08：教学分析报告输出

将教师B的公共课的课堂教学质量评估按照一定的模板生成教学分析报告进行输出，具体模板样式可以根据学科、专业的特点灵活制定。本节课的课堂教学报告将作为学情分析的一个重要指标进行参考。

Claims (7)

1.一种基于行为和表情智能分析的课堂教学分析与质量评估系统，其特征在于，包括依次连接的图像数据采集模块、数据智能分析模块、课堂教学指标分析模块、教学综合分析与质量评估模块和教学分析报告输出模块；

所述图像数据采集模块用于学生和教师原始图像数据的采集，即采集教师、学生以及课堂环境的图像，并发送给所述数据智能分析模块；

所述数据智能分析模块用于对采集的学生和教师原始图像数据进行分类识别；

所述课堂教学指标分析模块用于将确定的行为、表情进行运算分析，该模块接收所述数据智能分析模块分类识别的数据后，首先对所述数据智能分析模块分类识别的数据进行初步指标分析，然后进行课堂学生、教师和课堂教学成效的综合指标分析，最后向所述教学综合分析与质量评估模块传递分析后的指标数据；

所述教学综合分析与质量评估模块用于课堂实际教学成效与预期的教学期望进行比较分析，并进行教学质量评估；

所述教学分析报告输出模块用于输出教学分析报告。

2.根据权利要求1所述的一种基于行为和表情智能分析的课堂教学分析与质量评估系统，其特征在于，所述图像数据采集模块利用教室的摄像头监控设备定时采集课堂的视频，并将视频剪成一帧一帧的图片，完成对原始数据的采集。

3.根据权利要求1所述的一种基于行为和表情智能分析的课堂教学分析与质量评估系统，其特征在于，所述数据智能分析模块包括学生行为分类识别单元、学生表情分类识别单元、教师行为分类识别单元和教师表情分类识别单元；

所述学生行为分类识别单元完成图像数据中学生的若干种学习行为和若干种非学习行为的分类识别和统计；

所述学生表情分类识别单元完成图像数据中若干种学习表情、若干种非学习表情的分类识别和统计；

所述教师行为分类识别单元完成图像数据中若干种教学行为和若干种非教学行为的分类识别和统计；

所述教师表情分类识别单元用于完成图像数据中若干种教学表情、若干种非教学表情的分类识别和统计。

4.根据权利要求1或3所述的一种基于行为和表情智能分析的课堂教学分析与质量评估系统，其特征在于，所述课堂教学指标分析模块包括学生行为指标分析单元、学生表情指标分析单元、教师行为指标分析单元、教师表情指标分析单元、学生学习综合指标分析单元、教师教学综合指标分析单元、课堂教学成效分析单元；

所述学生行为指标分析单元用于对学生课堂行为表现进行分析，通过统计各种行为在学生数量方面的不同占比，从行为方面展现课堂中学生的学习情况，即：计算得到基于行为的学生积极度指数、学生消极度指数、学生行为评量指数三个指标；

学生积极度指数的计算公式如式(1)所示：

式(1)中，I_{sb_a}表示学生积极度指数；A_i表示不同学生行为对学生积极度指数的影响因子，i＝1,2,…,M_{sb_a}，M_{sb_a}表示影响学生积极度指数的学生行为的数量上限，

表示学生的第i种积极行为出现的人数，N_s表示课堂实际参加学生人数；

学生消极度指数的计算公式如式(2)所示：

式(2)中，I_{sb_na}表示学生消极度指数；B_i表示不同学生行为对学生消极度指数的影响因子；i＝1,2,…,M_{sb_na}，M_{sb_na}表示影响学生消极度指数的学生行为的数量上限，

表示学生的第i种消极行为出现的人数；

学生行为评量指数的计算公式如式(3)所示：

I_sb＝A₁₁×I_{sb_a}-B₁₁×I_{sb_na} (3)

式(3)中，I_sb表示学生行为评量指数，A₁₁、B₁₁表示学生积极度指数和学生消极度指数对学生行为评量指数的影响因子；

所述学生表情指标分析单元用于对学生课堂表情进行分析，通过统计各种表情在学生数量方面的不同占比，展现课堂中学生的学习情况，即：计算得到基于表情的学生活跃度指数、学生沉闷度指数、学生表情评量指数三个指标；

学生活跃度指数的计算公式如式(4)所示：

式(4)中，I_{se_a}表示学生活跃度指数；C_i表示不同学生表情对学生活跃度指数的影响因子，i＝1,2,…,M_{se_a}，M_{se_a}表示影响学生活跃度指数的学生表情的种类数量上限，

表示学生的第i种活跃表情出现的人数；

学生沉闷度指数的计算公式如式(5)所示：

式(5)中，I_{se_na}表示学生沉闷度指数；D_i表示不同表情对学生沉闷度指数的影响因子，i＝1,2,…,M_{se_na}，M_{se_na}表示影响学生沉闷度指数的学生表情的种类数量上限，

表示学生的第i种沉闷表情出现的人数；

学生表情评量指数的计算公式如式(6)所示：

I_se＝C₁₁×I_{se_a}-D₁₁×I_{se_na} (6)

式(6)中，I_se表示学生表情评量指数，C₁₁、D₁₁分别表示学生活跃度指数和学生沉闷度指数对学生表情评量指数的影响因子；

所述教师行为指标分析单元用于对教师课堂行为表现进行分析，通过统计教师各种行为出现时间的不同占比，以时间为轴展现课堂教师教学行为的实际情况，即：计算得到基于表情的教师积极度指数、教师消极度指数、教师行为评量指数三个指标；

教师积极度指数的计算公式如式(7)所示：

式(7)中，I_{tb_a}表示教师积极度指数；E_i表示教师的不同行为对教师积极度指数的影响因子，i＝1,2,…,M_{tb_a}，M_{tb_a}表示影响教师积极度指数的教师行为的种类数量上限，

表示教师的第i种积极行为所占用的时间，T_S是当堂课的课堂总时间；

教师消极度指数的计算公式如式(8)所示：

式(8)中，I_{tb_na}表示教师消极度指数；F_i表示不同教学行为对教师消极度指数的影响因子，i＝1,2,…,M_{tb_na}，M_{tb_na}表示影响教师消极度指数的教师行为的种类数量上限，

表示教师的第i种消极行为出现的累计时间；

教师行为评量指数的计算公式如式(9)所示：

I_tb＝E₁₁×I_{tb_a}-F₁₁×I_{tb_na} (9)

式(9)中，I_tb表示教师行为评量指数，E₁₁、F₁₁分别表示教师积极度指数和教师消极度指数对教师行为评量指数的影响因子；

所述教师表情指标分析单元用于对教师课堂教学表情进行分析，通过统计教师各种表情出现的时长，以时间为轴展现课堂教师教学表情的实际情况，即计算得到基于表情的教师活跃度指数、教师沉闷度指数、教师表情评量指数三个指标；

教师活跃度指数的计算公式如式(10)所示：

式(10)中，I_{te_a}表示教师活跃度指数；G_i表示不同教学表情对教师活跃度指数的影响因子，i＝1,2,…,M_{te_a}，M_{te_a}表示影响教师活跃度指数的教师表情的种类数量上限，

表示教师的第i种活跃表情出现的累计时间；

教师沉闷度指数的计算公式如式(11)所示：

式(11)中，I_{te_na}表示教师沉闷度指数；H_i表示不同教学表情对教师沉闷度指数的影响因子，i＝1,2,…,M_{te_na}，M_{te_na}表示影响教师沉闷度指数的教师表情的种类数量上限，

表示教师的第i种沉闷表情出现的累计时间；

教师表情评量指数的计算公式如式(12)所示：

I_te＝G₁₁×I_{te_a}-H₁₁×I_{te_na} (12)

式(12)中，I_te表示教师表情评量指数，G₁₁、H₁₁分别表示教师活跃度指数和教师沉闷度指数对教师表情评量指数的影响因子；

所述学生学习综合指标分析单元用于对学生课堂行为、表情进行综合分析，通过统计计算各种行为、表情在学生数量方面的不同占比，综合展现课堂中学生的学习情况，即计算得到基于学生行为和表情的学生学习综合指数；

基于学生行为和表情的学生学习综合指数的计算公式如式(13)所示：

I_s＝I_sb+I_se＝A₁₁×I_{sb_a}+C₁₁×I_{se_a}-B₁₁×I_{sb_na}-D₁₁×I_{se_na} (13)

式(13)中，I_S表示学生学习综合指数，A₁₁、B₁₁、C₁₁、D₁₁分别表示不同学习行为或表情对学生学习综合指数的影响因子，I_{sb_a}、I_se-a、I_sb-na、I_se0na分别表示学生积极度指数、学生活跃度指数、学生消极度指数和学生沉闷度指数；

所述教师教学综合指标分析单元用于对教师课堂教学行为、表情进行综合分析，通过统计计算教师各种行为、表情在一节课的时间里不同的占比，综合展现课堂中教师的教学情况，即计算得到基于教师行为和表情的教师教学综合指数；

基于教师行为和表情的教师教学综合指数的计算公式如式(14)所示：

I_t＝I_tb+I_te＝E₁₁×I_{tb_a}+G₁₁×I_{te_a}-F₁₁×I_{tb_na}-H₁₁×I_{te_na} (14)

式(14)中，I_t表示教师教学的综合评量指数，E₁₁、G₁₁、F₁₁、H₁₁表示不同学习行为或表情对教师教学的综合评量指数的影响因子，I_{tb_a}、I_{te_a}、I_tb-na、I_{te_na}分别表示教师积极度指数、教师活跃度指数、教师消极度指数和教师沉闷度指数；

所述课堂教学成效分析单元用于对学生和教师的行为、表情进行综合分析，通过将学生和教师各种行为、表情指数进行综合的运算比较，分析出本课堂的实际教学成效，即计算得到课堂教学成效评量指数；

课堂教学成效评量指数的计算公式如式(15)所示：

I_a＝S×I_s+T×I_t (15)

式(15)中，I_a表示课堂教学成效评量指数，I_S表示学生学习综合指数，I_t表示教师教学的综合评量指数，S、T表示学生学习综合指数和教师教学综合指数对该指数的影响因子。

5.根据权利要求4所述的一种基于行为和表情智能分析的课堂教学分析与质量评估系统，其特征在于，所述教学综合分析与质量评估模块包括依次连接的教学综合分析单元和教学质量评估单元；

所述教学综合分析单元结合教学前制定的教学期望，用于对实际的教学效果进行分析，结合课堂教学指标分析模块分析出的课堂教学成效数据包括课堂教学成效评量指数，通过其与教学期望的进行差值比较得出教与学综合评量指数；

教与学综合评量指数的计算公式如式(16)所示：

I_ts＝I_a-E_t＝S×I_s+T×I_t-E_t (16)

式(16)中，I_ts表示教与学综合评量指数，I_a表示课堂教学成效评量指数，E_t表示教学期望所设定达到的指标；

所述教学质量评估单元是用于全面评估课堂教学的效果，结合各类指标数据进行教学效果的综合评估，包括学生行为指标评量指数、学生表情指标评量指数、教师行为评量指数、教师表情评量指数、学生学习综合评量指数、教师教学综合评量指数、课堂教学成效评量指数、教与学综合评量指数八种指标数据，通过各类指标数据进行分析，并对指标突出的行为和表情进行重点的原因分析，同时阐述课堂中师生行为和表情的关联性，最终将各类分析汇总，从而客观全面的分析本次课堂教学的成效。

6.一种基于行为和表情智能识别的课堂教学分析与质量评估的方法，其特征在于，包括步骤如下：

S01：图像数据采集

利用教室的摄像头监控设备定时采集课堂的视频，并依次利用计算机视觉算法、数字图像处理算法将视频剪成一帧一帧的图片，完成对图像数据的采集；

S02：行为、表情分类识别

行为、表情分类识别行为识别是在图像数据采集的基础上，对课堂行为、表情进行分类识别；

S03：学生、教师初级指标分析

学生初级指标包括基于学生行为的学生积极度指数和学生消极度指数以及基于学生表情的学生活跃度指数和学生沉闷度指数；教师初级指标包括基于教师行为的教师积极度指数和教师消极度指数以及基于教师表情的教师活跃度指数和教师沉闷度指数；

利用一次加权的指标，对学生和教师的各初级指标进行二次加权，分别得出学生行为评量指数、学生表情评量指数、教师行为评量指数和教师表情评量指数；

学生积极度指数的计算公式如式(1)所示：

式(1)中，I_{sb_a}表示学生积极度指数；A_i表示不同学生行为对学生积极度指数的影响因子，i＝1,2,…,M_{sb_a}，M_{sb_a}表示影响学生积极度指数的学生行为的数量上限，

表示学生的第i种积极行为出现的人数，N_S表示课堂实际参加学生人数；

学生消极度指数的计算公式如式(2)所示：

式(2)中，I_{sb_na}表示学生消极度指数；B_i表示不同学生行为对学生消极度指数的影响因子；i＝1,2,…,M_{sb_na}，M_{sb_na}表示影响学生消极度指数的学生行为的数量上限，

表示学生的第i种消极行为出现的人数；

学生行为评量指数的计算公式如式(3)所示：

I_sb＝A₁₁×I_{sb_a}-B₁₁×I_{sb_na} (3)

式(3)中，I_sb表示学生行为评量指数，A₁₁、B₁₁表示学生积极度指数和学生消极度指数对学生行为评量指数的影响因子；

学生活跃度指数的计算公式如式(4)所示：

式(4)中，I_{se_a}表示学生活跃度指数；C_i表示不同学生表情对学生活跃度指数的影响因子，i＝1,2,…,M_{se_a}，M_{se_a}表示影响学生活跃度指数的学生表情的种类数量上限，

表示学生的第i种活跃表情出现的人数；

学生沉闷度指数的计算公式如式(5)所示：

式(5)中，I_{se_na}表示学生沉闷度指数；D_i表示不同表情对学生沉闷度指数的影响因子，i＝1,2,…,M_{se_na}，M_{se_na}表示影响学生沉闷度指数的学生表情的种类数量上限，

表示学生的第i种沉闷表情出现的人数；

学生表情评量指数的计算公式如式(6)所示：

I_se＝C₁₁×I_{se_a}-D₁₁×I_{se_na} (6)

式(6)中，I_se表示学生表情评量指数，C₁₁、D₁₁分别表示学生活跃度指数和学生沉闷度指数对学生表情评量指数的影响因子；

教师积极度指数的计算公式如式(7)所示：

式(7)中，I_{tb_a}表示教师积极度指数；E_i表示教师的不同行为对教师积极度指数的影响因子，i＝1,2,…,M_{tb_a}，M_{tb_a}表示影响教师积极度指数的教师行为的种类数量上限，

表示教师的第i种积极行为所占用的时间，T_S是当堂课的课堂总时间；

教师消极度指数的计算公式如式(8)所示：

式(8)中，I_tb-na表示教师消极度指数；F_i表示不同教学行为对教师消极度指数的影响因子，i＝1,2,…,M_{tb_na}，M_{tb_na}表示影响教师消极度指数的教师行为的种类数量上限，

表示教师的第i种消极行为出现的累计时间；

教师行为评量指数的计算公式如式(9)所示：

I_tb＝E₁₁×I_{tb_a}-F₁₁×I_{tb_na} (9)

式(9)中，I_tb表示教师行为评量指数，E₁₁、F₁₁分别表示教师积极度指数和教师消极度指数对教师行为评量指数的影响因子；

教师活跃度指数的计算公式如式(10)所示：

式(10)中，I_{te_a}表示教师活跃度指数；G_i表示不同教学表情对教师活跃度指数的影响因子，i＝1,2,…,M_{te_a}，M_{te_a}表示影响教师活跃度指数的教师表情的种类数量上限，

表示教师的第i种活跃表情出现的累计时间；

教师沉闷度指数的计算公式如式(11)所示：

式(11)中，I_{te_na}表示教师沉闷度指数；H_i表示不同教学表情对教师沉闷度指数的影响因子，i＝1,2,…,M_{te_na}，M_{te_na}表示影响教师沉闷度指数的教师表情的种类数量上限，

表示教师的第i种沉闷表情出现的累计时间；

教师表情评量指数的计算公式如式(12)所示：

I_te＝G₁₁×I_{te_a}-H₁₁×I_{te_na} (12)

式(12)中，I_te表示教师表情评量指数，G₁₁、H₁₁分别表示教师活跃度指数和教师沉闷度指数对教师表情评量指数的影响因子；

S04：学生、教师综合指标分析

综合指标分析是将步骤S03中得到的各类评量指数进行结合分析，计算得到基于学生行为和表情的学生学习综合指数以及基于教师行为和表情的教师教学综合指数；

基于学生行为和表情的学生学习综合指数的计算公式如式(13)所示：

I_s＝I_sb+I_se＝A₁₁×I_sb-a+C₁₁×I_se-a-B₁₁×I_{sb_na}-D₁₁×I_{se_na} (13)

式(13)中，I_S表示学生学习综合指数，A₁₁、B₁₁、C₁₁、D₁₁分别表示不同学习行为或表情对学生学习综合指数的影响因子，I_{sb_a}、I_{se_a}、I_{sb_na}、I_{se_na}分别表示学生积极度指数、学生活跃度指数、学生消极度指数和学生沉闷度指数；

基于教师行为和表情的教师教学综合指数的计算公式如式(14)所示：

I_t＝I_tb+I_te＝E₁₁×I_{tb_a}+G₁₁×I_{te_a}-F₁₁×I_{tb_na}-H₁₁×I_{te_na} (14)

式(14)中，I_t表示教师教学的综合评量指数，E₁₁、G₁₁、F₁₁、H₁₁表示不同学习行为或表情对教师教学的综合评量指数的影响因子，I_{tb_a}、I_{te_a}、I_{tb_na}、I_{te_na}分别表示教师积极度指数、教师活跃度指数、教师消极度指数和教师沉闷度指数；

S05：课堂教学成效分析

课堂教学成效分析是将步骤S04中所得课堂学生各项指标和教师各项指标进行结合，从教师的教学到学生的学习过程进行分析，计算得到课堂教学成效评量指数；

课堂教学成效评量指数的计算公式如式(15)所示：

I_a＝S×I_s+T×I_t (15)

式(15)中，I_a表示课堂教学成效评量指数，I_s表示学生学习综合指数，I_t表示教师教学的综合评量指数，S、T表示学生学习综合指数和教师教学综合指数对该指数的影响因子；

S06：教与学综合分析

教与学综合分析先结合教学期望对实际教学进行教学质量评估，得到教与学综合评量指数；

教与学综合评量指数的计算公式如式(16)所示：

I_ts＝I_a-E_t＝S×I_s+T×I_t-E_t (16)

式(16)中，I_ts表示教与学综合评量指数，I_a表示课堂教学成效评量指数，E_t表示教学期望所设定达到的指标；

S07：教学质量评估

教学综合分析与报告输出是在S03至S06中学生行为和表情、教师行为和表情分析各类指标数据的基础上，结合各类课堂教学指标数据和教学综合分析指标数据进行汇总并分析；

S08：教学分析报告输出

将教学质量评估按照模板生成教学分析报告进行输出。

7.根据权利要求6所述的一种基于行为和表情智能识别的课堂教学分析与质量评估的方法，其特征在于，所述步骤S02，行为、表情分类识别，包括步骤如下：

a、将步骤S01采集到的图像数据数字化处理，即对该原始图像进行采样、量化、编码，得到有限数字数值像素表示的二维数字图像；

b、通过提取二维数字图像中学生的课堂行为信息的尺度不变特征变换特征和方向梯度直方图特征，得到特征矩阵；

c、将特征矩阵输入到SVM分类器和KNN分类器中进行学生若干学习行为、非学习行为的识别和教师教学行为和非教学行为的识别；

d、利用深度学习方法识别动态图像序列的面部表情。

Images