CN108090857B - 一种多模态的学生课堂行为分析系统和方法 - Google Patents

Abstract

本发明属于计算机技术领域，具体为一种多模态的学生课堂行为分析系统和方法。本发明系统包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块；学生注意力检测模块检测学生的专注率，教师授课内容检测模块检测教师的授课内容，教师授课风格检测模块检测教师的授课风格，相关性分析模块分析学生注意力检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系；本发明对学生的专注率与音频特征、授课主题之间的相关性进行分析，能帮助教师调整授课风格，提升学生的专注率。

Description

一种多模态的学生课堂行为分析系统和方法

技术领域

本发明属于计算机图像处理，文本处理和音频处理技术领域，具体涉及一种多模态的课堂行为分析系统和方法。

背景技术

随着智能手机和其他移动设备的不断增多，学生在课堂中有时候会思想不集中和上课不专心。但是，教育部门仍旧缺少一个有力的工具去评估学生上课思想不集中的严重性和它对学生学业表现的影响。在本发明中，我们去识别学生们在课堂中不同时间段的专注率，与教师的授课风格、授课主题相联系。

利用计算机视觉技术，文本处理技术进行课堂行为分析是一个非常具有挑战性的工作，首先，我们需要在教学视频中自动地检测出学生所在的位置，并实时地跟踪学生的位置，同时，我们需要对教师的授课内容和授课风格进行自动的检测，这对算法的精度和实时性有较高的要求。利用计算机对学生课堂行为进行分析，可以帮助我们实时地了解学生的学习状态，和教师的授课内容，授课风格对学生上课专注率的影响。

学生课堂行为分析涉及到学生的检测，学生身份的识别，也就是需要利用人脸检测技术，人脸认证和跟踪技术。对于单个学生的行为涉及到是否专注于黑板或者老师，是否在做笔记等。对于学生的群体分析，我们需要分析在不同时间段和空间的学生们的行为。同时，我们需要从教师的语音信息中提取教师的授课内容和授课风格，需要利用文本处理技术对文本的主题进行提取，以及利用语音处理技术提取教师的授课风格，如语速，音调等信息。

到目前为止，很多研究者提出了许多基于课堂的视频分析，而且主要针对的是授课内容，学生在教室中的位置和身份。比如，有的研究者提出的方法可以自动识别学生的位置和身份，同时分析学生的社交关系以及位置与最终的学习成绩之间的关系。

发明内容

本发明的目的在于提供一种能够提供鲁棒的、准确的、适应性强的基于多模态的学生课堂行为分析系统和方法。本发明提供的基于多模态的学生课堂行为分析方法，利用检测学生人脸的朝向，提取教师的授课主题和授课风格，从而得到鲁棒的、准确的、适应性强的基于多模态的学生课堂行为分析方法。本发明提出的基于计算机视觉，文本处理，语音处理的学生课堂行为分析算法，是基于对学生行为专注率的分析，以及教师授课内容和授课风格的检测，从而能够对教师的教学效果有一个总体的评估。在多样的教学视频和复杂的背景下，该方法能够较为准确地体现学生行为分析的价值。

本发明的技术方案具体介绍如下。

一种多模态的学生课堂行为分析系统，其包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块；学生注意力检测模块检测学生的专注率，教师授课内容检测模块检测教师的授课内容，教师授课风格检测模块检测教师的授课风格，相关性分析模块分析学生注意检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系；其中：

学生注意力检测模块包括人脸检测子模块和学生视角检测子模块；所述人脸检测子模块，利用MTCNN(Multi-task Convolutional Neural Network)算法得到初步人脸检测结果后，依次经过颜色直方图过滤和时间序列优化，得到最终的人脸检测结果，用于学生视角检测子模块；所述学生视角检测子模块从人脸检测子模块得到的最终的检测到的人脸提取特征点Landmark，利用迭代法求解PnP(Pespective-n-Point)，得到人脸的朝向；

教师授课内容检测模块包括中文分词子模块和授课主题子模块，所述中文分词子模块利用FudanNLP工具对教师授课内容对其进行中文分词，授课主题子模块对中文分词子模块中文分词后结果利用LDA算法提取授课主题；

教师授课风格检测模块包括教师音量提取子模块，教师声音过零率提取子模块和教师语速提取子模块；教师音量提取子模块在教师音频中提取对应的音量特征，教师声音过零率提取子模块在教师授课音频中提取相应的过零率特征，教师语速提取子模块通过计算每分钟教师所讲的词汇数量来计算。

相关性分析模块，包含教师授课风格和学生专注率的关系分析和教师授课内容和学生专注率的关系分析。通过计算皮尔森相关系数和斯皮尔曼相关系数分析教师授课音频的音量、过零率、语速和学生专注率的关系，从而得到教师授课风格和学生专注率的关系，对于授课内容和专注率的分析，需要利用图表的可视化来得到分析结果。

本发明还提供一种利用上述的分析系统的方法，具体步骤如下：

步骤一、检测学生的专注率

(1)对于完整的教学视频，进行每5帧选取一帧的采样；

(2)对于每帧图像，利用MTCNN算法检测学生的人脸；

(3)对于检测到的人脸，提取其颜色直方图，与置信度高的人脸的颜色直方图进行相关性比较，小于阈值则认定为非人脸，从而过滤掉非人脸的结果；

(4)利用时序信息对结果进行优化；

(5)利用得到的人脸计算得到对应的特征点Landmark；

(6)利用Levenberg-Marquardt算法优化PnP问题得到人脸的朝向；

步骤二、检测教师的授课内容

(1)对教师授课文本进行中文分词，利用FudanNLP工具对中文文本分词，得到授课文本的词项；

(2)利用LDA算法提取教师授课文本中的课程主题；

步骤三、检测教师的授课风格

(1)提取教师声音的音量v，其计算公式如下所示：

其中s_i是指第i个采样点，n是采样频率；

(2)提取教师声音的过零率，即统计在采样频率内信号从正到负或从负到正变化的次数；(3)提取教师的语速，即统计教师在每分钟内说出单词的个数；

步骤四、相关性分析

判断学生的专注率与教师的授课内容及授课风格之间的联系。

首先判断学生专注率和教师授课风格之间的联系，通过计算教师音量和学生专注率的皮尔森相关系数和斯皮尔曼相关系数，可以得到两者的正负相关性，其具体过程如下：

①计算教师音量和学生专注率的皮尔森相关系数：

其中v_i表示的是第i时刻的音量，

表示的是音量平均值，y_i表示的是第i时刻的专注率，

表示的是专注率平均值，n表示的采样频率；

②计算教师音量和学生专注率的斯皮尔斯相关系数：

其中d_i＝v_i-y_i

用相同的方法计算教师授课音频的过零率、语速和学生专注率的关系。

对于学生专注率和教师授课内容之间的联系，通过图表可视化分析每个时间段的知识点和相应的专注率的关系。

本发明中，步骤一(3)中，置信度高的人脸的颜色直方图由从视频中提取出的100张高置信度人脸取平均而得到；进行相关性比较的具体步骤如下：

①计算人脸颜色直方图的相关性：

其中

N是直方图的个数；

②如果相关性小于阈值，认定为非人脸。

本发明中，步骤一(4)中，利用时序信息对结果进行优化的方法如下：

①在5帧的时间窗中，得到所有帧上的检测人脸对象；

②利用非极大抑制算法得到最终的人脸检测结果。

本发明中，步骤二(1)中，利用FudanNLP工具对中文文本分词的过程中，引入课程所属的特定领域的词典以提高分词的准确率，引入停用词列表以过滤口语表达中的噪声。

和现有技术相比，本发明的有益效果在于：本发明能够对教师的教学效果有一个总体的评估。在多样的教学视频和复杂的背景下，该方法能够较为准确地体现学生行为分析的价值。该本发明最终对学生的专注率与音频特征、授课主题之间的相关性进行分析，能由此帮助教师调整授课风格，提升学生的专注率。

附图说明

图1为本发明提出的基于多模态的学生课堂行为分析方法的总流程框图。

图2为教学视频中截取的样例帧。

图3为学生注意力检测模块中人脸检测子模块的检测结果，矩型框表示正确检测到的人脸。

图4为学生注意力检测模块中学生视角检测子模块的检测结果，其中角度轴表示学生面部的朝向。

图5为学生的专注率与教师的授课内容及授课风格之间相关性分析结果的图表展示。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

参照图1，本发明的基于多模态的学生课堂行为分析算法，其具体步骤如下：

(1)学生专注率检测，具体过程如下：

(11)对于完整地教学视频，进行每5帧选取一帧的采样；

(12)对于每帧图像，利用MTCNN算法检测学生的人脸；

(13)对于检测到的人脸，提取其颜色直方图，与置信度高的人脸的颜色直方图进行相关性比较，小于阈值则认定为非人脸，过滤掉非人脸的结果。这里置信度高的人脸的颜色直方图由从视频中提取出的100张高置信度人脸取平均而得到；

(131)计算人脸颜色直方图的相关性的方式如下：

其中

N是直方图的个数。

(132)如果相关性小于阈值，我们就认定为非人脸，这里的阈值我们设定为0.35；

(14)利用时序信息对结果进行优化，具体过程如下：

(141)在5帧的时间窗中，得到所有帧上的检测人脸的结果，存储在一个集合中。例如，假设当前已处理了t-1帧，所检测到的人脸存储在集合S中：

S＝{sF₁,sF₂,L sF_i,L sF_n}

其中sF_i表示第i个候选人脸，n表示候选人脸的个数。当处理第t帧时，对当前帧进行人脸检测后可得到一个候选人脸集合：

P＝{pF₁,pF₂,L pF_i,L pF_m}

其中pF_i表示第i个候选人脸，m表示当前帧中候选人脸的个数。

(142)利用非极大抑制算法得到最终的人脸检测结果(图3)。具体做法是检查P中的每个候选人脸pF_i是否已存在与集合S中，定义pF_i和sF_j的重叠区域(areaoverlap，AO)如下：

其中BB(F)表示人脸区域F的外接矩形框。如果pF_i与sF_j有显著重叠，那么用pF_i替换掉sF_j对S进行更新，否则认为pF_i是新检测到的人脸，直接加入集合S。这里重叠区域AO的大小阈值设置为0.3；

(15)利用集成回归树算法对得到的人脸计算其对应的人脸标志点；

(16)利用Levenberg-Marquardt算法优化PnP问题得到人脸的朝向。计算机视觉中，从2D图像中恢复出3D点的位置可归结为一个PnP问题，具体方法如下：

给定一组世界坐标系下的3D点q_i＝[x_i y_i z_i 1]^T，i＝1,2,L,n其在2D平面上的投影点为p_i＝[u_i v_i 1]^T。PnP问题的目标是获取相机的旋转矩阵R以及转换向量t，相机的投影模型为s_ip_i＝K[R|T]q_i,i＝1,2,L,n，其中K为相机的内参矩阵，s_i为尺度因子。在获取到图像中人脸的标志点后，利用Levenberg-Marquardt算法最小化重投影误差，迭代求解PnP问题，从而得到人脸的朝向(图4)。

(2)教师授课内容检测，具体过程如下：

(21)对教师授课文本进行中文分词，利用FudanNLP工具对中文文本分词，得到授课文本的词项。为提高分词的准确度，引入课程所属的特定领域的词典，并利用停用词列表去除口语表达中的噪声。

(22)提取课程主题时，对授课文本应用滑动窗口方法，即将用临近时刻内的5条语句来表达当前时间点的授课内容。在每一个滑动窗口内，将语句视为一个小的文档，利用LDA算法提取教师授课文本中的课程主题。

(23)利用LDA算法提取主题，本质上是计算主题与文档之间的一个概率分布。为了得到概率分布的更好的结果，首先用一些术语描述课程中的概念，随后基于课程概念出现的次数计算其初始主题分布。之后用Gibbs采样法对不属于任何课程概念的术语进行采样，基于初始主题分布和采样数据生成最终的概率分布。

(24)最终采用概率最大的主题作为文档的主题。

(3)教师授课风格检测，具体过程如下：

(31)提取教师声音的音量：

其中s_i是第i个采样点，n代表采样频率。

(32)提取教师声音的过零率(zero-crossingrate，ZCR)，即统计在采样频率内信号正负变化的次数。过零率在语音识别、音乐信息检索等领域有广泛的应用，是一个描述声音特征的常用维度。

(33)提取教师的语速，即统计教师在每分钟内说出的单词的个数。

(4)根据以上步骤，对从3个模块中提取到的信息进行分析，判断学生的专注率与教师的授课内容及授课风格之间的联系。对于描述教师授课风格的音量、过零率及语速3个特征，分别计算其与学生的专注率的相关性，在本实施例中，选取了相关性较高的音量及语速2个特征描述教师的授课风格。参照图5，在本实施例中，横轴表示时间，纵轴表示归一化后的比率。在横轴方向上用不同条带表示不同的授课内容(例如conductionband、electronhole)；三条不同的折线分别表示归一化后的学生专注率、教师音量及语速。图表表明，首先，随着授课内容从一个知识概念过渡到另一个，学生的专注率会提高；其次教师音量的提高也会带来学生专注率的提升；最后，教师的语速与学生的专注率呈现负相关，即放慢语速会使学生的专注率提高。通过对图表的分析，可以指导教师从知识概念的切换、音量及语速几个方面进行调整，使学生的专注率保持在较高的水平。

Claims (5)

1.一种多模态的学生课堂行为分析系统，其特征在于，其包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块；学生注意力检测模块检测学生的专注率，教师授课内容检测模块检测教师的授课内容，教师授课风格检测模块检测教师的授课风格，相关性分析模块分析学生注意力检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系；其中：

学生注意力检测模块包括人脸检测子模块和学生视角检测子模块；所述人脸检测子模块，利用MTCNN算法得到初步人脸检测结果后，依次经过颜色直方图过滤和时间序列优化，得到最终的人脸检测结果，用于学生视角检测子模块；所述学生视角检测子模块从人脸检测子模块得到的最终的检测到的人脸提取特征点Landmark，利用迭代法求解PnP，得到人脸的朝向；

教师授课内容检测模块包括中文分词子模块和授课主题子模块，所述中文分词子模块利用FudanNLP工具对教师授课内容对其进行中文分词，授课主题子模块对中文分词子模块中文分词后结果利用LDA算法提取授课主题；

教师授课风格检测模块包括教师音量提取子模块，教师声音过零率提取子模块和教师语速提取子模块；教师音量提取子模块在教师音频中提取对应的音量特征，教师声音过零率提取子模块在教师授课音频中提取相应的过零率特征，教师语速提取子模块通过计算每分钟教师所讲的词汇数量来计算；

相关性分析模块用于教师授课风格和学生专注率的关系分析和教师授课内容和学生专注率的关系分析；通过计算皮尔森相关系数和斯皮尔曼相关系数分析教师授课音频的音量、过零率、语速和学生专注率的关系，从而得到教师授课风格和学生专注率的关系；利用图表的可视化得到授课内容和专注率的的分析结果。

2.一种利用根据权利要求1所述的分析系统的方法，其特征在于，具体步骤如下：

步骤一、检测学生的专注率

(1)对于完整的教学视频，进行每5帧选取一帧的采样；

(2)对于每帧图像，利用MTCNN算法检测学生的人脸；

(3)对于检测到的人脸，提取其颜色直方图，与置信度高的人脸的颜色直方图进行相关性比较，小于阈值则认定为非人脸，从而过滤掉非人脸的结果；

(4)利用时序信息对结果进行优化；

(5)利用得到的人脸计算得到对应的特征点Landmark；

(6)利用Levenberg-Marquardt算法优化PnP问题得到人脸的朝向；

(7)通过判断人脸的朝向来判断学生是否专注于课堂内容；

步骤二、检测教师的授课内容

(1)对教师授课文本进行中文分词，利用FudanNLP工具对中文文本分词，得到授课文本的词项；

(2)利用LDA算法提取教师授课文本中的课程主题；

步骤三、检测教师的授课风格

(1)提取教师声音的音量v，其计算公式如下所示：

其中s_i是指第i个采样点，n是采样频率；

(2)提取教师声音的过零率，即统计在采样频率内信号从正到负或从负到正变化的次数；

(3)提取教师的语速，即统计教师在每分钟内说出单词的个数；

步骤四、相关性分析

判断学生的专注率与教师的授课内容及授课风格之间的联系；

首先判断学生专注率和教师授课风格之间的联系，通过计算教师音量和学生专注率的皮尔森相关系数和斯皮尔曼相关系数，可以得到两者的正负相关性，其具体过程如下：

①计算教师音量和学生专注率的皮尔森相关系数：

其中v_i表示的是第i时刻的音量，

表示的是音量平均值，y_i表示的是第i时刻的专注率，

表示的是专注率平均值，n表示的采样频率；

②计算教师音量和学生专注率的斯皮尔斯相关系数：

其中d_i＝v_i-y_i

用相同的方法计算教师授课音频的过零率、语速和学生专注率的关系；

对于学生专注率和教师授课内容之间的联系，通过图表可视化分析每个时间段的知识点和相应的专注率的关系。

3.根据权利要求2所述的方法，其特征在于，步骤一(3)中，置信度高的人脸的颜色直方图由从视频中提取出的100张高置信度人脸取平均而得到；进行相关性比较的具体步骤如下：

①计算人脸颜色直方图的相关性：

其中

N是直方图的个数；

②如果相关性小于阈值，认定为非人脸。

4.根据权利要求2所述的方法，其特征在于，步骤一(4)中，利用时序信息对结果进行优化的方法如下：

①在5帧的时间窗中，得到所有帧上的检测人脸对象；

②利用非极大抑制算法得到最终的人脸检测结果。

5.根据权利要求2所述的方法，其特征在于，步骤二(1)中，利用FudanNLP工具对中文文本分词的过程中，引入课程所属的特定领域的词典以提高分词的准确率，引入停用词列表以过滤口语表达中的噪声。

Images