CN114202565A - 一种基于学习过程情绪实时分析的智能化学习干预系统 - Google Patents

Abstract

本发明涉及一种基于学习过程情绪实时分析的智能化学习干预系统，包括：情绪数据采集部分，用于在真实学习场景下，对人脸面部跟踪，获取人脸面部动态变化数据；自动识别处理部分，用于建立训练测试数据库、困惑情绪自动识别模型，利用该模型对情绪数据采集部分采集的数据进行处理；情绪分析、干预部分，用于建立学习情绪分析可视化系统、给出干预策略；实现学习过程中对学习者情绪状态实时变化的记录与分析，并及时提供适应性的调节和干预。

Description

一种基于学习过程情绪实时分析的智能化学习干预系统

技术领域

本发明涉及学习干预系统技术领域，尤其涉及一种基于学习过程情绪实时分析的智能化学习干预系统。

背景技术

物联网、人工智能的持续发展为智慧教育提供了强大的技术支持，比如网课的大量开展。智慧教育更加注重注意力、记忆、思维等认知活动的调节与控制。研究者发现，困惑是学习者出现最频繁的情绪。学习者长期处于困惑状态，会造成学习积极性减退，导致学习者产生焦虑和孤独感，丧失学习的自主性，严重影响学习者的效果；反之，如果能通过干预措施解决困惑，如改进教学形式、教学资源呈现方式、教学环节设计等，引导学习者调节自身情绪状态，将产生积极影响。目前，还未见基于前述思路设计的智能化学习干预系统。

发明内容

(一)技术问题

本发明所要解决的技术问题是：克服以上现有技术的缺点、不足，提出一种基于学习过程情绪实时分析的智能化学习干预系统，实现学习过程中对学习者情绪状态实时变化的记录与分析，并及时提供适应性的调节和干预。

(二)技术方案

为解决上述技术问题，本发明提出了一种基于学习过程情绪实时分析的智能化学习干预系统，具体技术方案如下：

本发明提供一种基于学习过程情绪实时分析的智能化学习干预系统，包括：

情绪数据采集部分，用于在真实学习场景下，对人脸面部跟踪，获取人脸面部动态变化数据；

自动识别处理部分，用于建立训练测试数据库、困惑情绪自动识别模型，利用该模型对情绪数据采集部分采集的数据进行处理；

情绪分析、干预部分，用于建立学习情绪分析可视化系统、给出干预策略。

优选的，对人脸面部跟踪采用人脸面部跟踪算法，该算法包括，首先识别人脸区域，然后将候选图像区域建模为像素级的网格图，采用谱滤波器来对局部图结构进行滤波来估计最佳匹配的顶点。

优选的，估计最佳匹配的顶点过程中，将谱滤波器用多项式的一组基来近似，采用切比雪夫展开式。

优选的，滤波器的参数和特征映射参数一起整合入一个最小二乘回归模型中进行学习。

优选的，通过给定的视频流上一帧信息的情况下，预测跟踪目标在下一帧所在的位置，实现目标跟踪；

样本训练过程：使用K个滤波器的基来对图进行滤波，然后把学习滤波器的参数和特征映射函数融合到最小二乘回归模型中，即

其中γ是正则化参数，F(X)表示串接K个滤波器的基后、在输入特征图X上的滤波响应，

是K个滤波器的基，相当于样本，y是特征图类别，也呈高斯分布，如式(1.2)所示，

训练的最终目的为寻找一组权值w，因此可计算得出跟踪模型的解为：

采用梯度下降的方法迭代求解模型权重w；第一帧中的初始权重

通过公式(1.3)来求解，后面每次使用上一帧中计算出的权重w来初始化，然后用迭代方法求权重。

优选的，给定一段视频的第一帧中目标的候选框位置和大小，作为滤波器输入；输出为下一帧中目标的位置和大小，

具体方法是：

①从上一帧的候选框区域提取多通道特征X；

②用公式(1.2)计算K阶的响应特征

③用公式(1.3)计算检测的得分

④找到

中得分最大所对应的位置即新跟踪目标的中心坐标；在当前的中心位置提取多通道特征X；重复②；

⑤用公式(1.3)得到回归模型w；

⑥w＝(1-α)＊w+α＊w_t，其中α是模型更新的学习率；

优选的，建立训练测试数据库，定义数据的情绪标签，数据库用来训练、测试和验证困惑情绪自动识别模型；

建立训练测试数据库方法为：

首先选取大学N名在校研究生进行英语学科测试，男女比例为1∶1，每位被试者需完成H道英语测试题，题库由难、易、中等三种难度的选择题组成；被试人员知识水平分布为：定义高级水平的占I％，中级水平的占L％，初级水平的占M％；被试者在线作答，研究人员实时采集被试者面部视频并标记题目序号，接下来，研究对象根据情绪自我报告法定义数据标签，在测试完成后，被试者回顾试题，确定解答每道题时的学习困惑状态并记录；

测试使用的三类学习困惑标签为：困惑和不困惑、中性；

N、H均为自然数，I、L、M均为正数。

优选的，困惑情绪自动识别模型包括：

采用双向循环网络BRNN和卷积神经网络CNN的分层方法来提高视频序列中的表情识别的性能，

对人脸识别的VGG_Face模型进行调整，调整为用该模型来提取每帧图片中面部的表情特征，然后将提取的特征重新组合作为BRNN的输入，从而进行分类，BRNN通过向前和向后扫描时间序列来捕获长时间的依赖关系，从而发现序列之间的相关性；

对于给定人脸图像，VGG_Face首先利用多个卷积层和最大汇聚层对训练集样本中检测到的人脸表情图像进行计算，就产生了具有固定长度特征向量的卷积特征图；然后，从FC7中获得固定尺寸的特征作为人脸表情图像特征。

优选的，首先接一个全连接层用于收集、输出学习过程中表情序列的特征表示，也就是表情特征，然后连接一个Softmax层对序列中的表情进行分类，此外，通过对序列进行旋转角度和镜像序列扩充数据集，来使训练数据更加复杂和多样化；其中，数据一部分用于训练深度学习网络，部分用于测试，用以平衡数据减少对训练数据的过拟合，最后进行验证，使用准确率、召回率和F值作为评价验证指标，并修正底层算法模型，校正算法精度。

优选的，建立学习情绪分析可视化系统，该学习情绪分析可视化系统采用情绪时间密度图，以时间轴的形式展现整体学习过程上的分析结果；

每一条识别的情绪以竖线的形式展示，以情绪颜色做出标注，而竖线的高度则代表了计算结果的可信度，越高代表可信程度越高；当选中每一条竖线的时候，可以回溯到具体的学习时间区间以及对应的学习内容，以表格形式呈现、检索；最后，基于课程内容，针对个人、群体学习表现，生成完整的学习评估，并给出干预策略。

(三)技术效果

采用本发明中所公开的一种基于学习过程情绪实时分析的智能化学习干预系统，能够有效的解决了现有技术的不足。

通过本发明的技术方案可知，相当于提出了一种基于面部表情的学习困惑自动识别技术，首先建立训练测试数据库，通过设定不同难度的测试题诱导被试者产生困惑情绪，利用摄像设备加以捕捉。接着利用深度学习模型建模来自动学习困惑情绪在特征空间的表达、识别。然后，对真实的学习者学习过程视频流标记困惑情绪状态所在时间点和数据密度，加以干预，最后生成评价报告。因此，实现对真实学习过程中对学习者情绪状态实时变化的记录与分析，并及时提供适应性的调节和干预。

附图说明

图1是实施例的本系统组成框图。

图2是实施例的本系统工作流程图。

图3是基于BRNN+CNN的动态表情识别框图。

图4基于微调VGG_Face的网络架构框图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

如图1所示为一种基于学习过程情绪实时分析的智能化学习干预系统，可以简称为智能系统，智能系统包括：

智能系统情绪数据采集部分，包括真实学习场景下的人脸面部跟踪算法，人脸面部跟踪是建立实时面部表情分析系统的先决条件。解决真实场景中面部跟踪过程中目标经常发生的形变和旋转造成表情类内差异大的问题，实现对光照和姿态变化具有鲁棒性。确保困惑情绪采集的完备性和及时干预时间点的准确性。

为此提出一种基于谱滤波的面部跟踪算法，将候选图像区域建模为像素级的网格图，为了估计最佳匹配的顶点，用谱滤波器来对局部图结构进行滤波。该方法利用对跟踪目标的旋转不变性和平移不变性进行建模，解决目标不可预知的外观变化，包括部分遮挡，几何变形，光照变化，背景混乱，快速运动等问题。

首先识别人脸区域，然后将候选图像区域建模为像素级的网格图，为了估计最佳匹配的顶点，借用了谱滤波器来对局部图结构进行滤波。其次，为了避免拉普拉斯矩阵的特征值分解带来的庞大计算量，将谱滤波器用多项式的一组基来近似——切比雪夫展开式。多项式的每一项相当于对图局部区域进行滤波的一个滤波器，因此所有的滤波器的基组成了一个多尺度的滤波空间。最后，滤波器的参数和特征映射参数能够一起整合入一个简单的最小二乘回归模型中进行学习。

通过给定的上一帧信息的情况下，预测跟踪目标在下一帧所在的位置，实现目标跟踪。样本训练过程实际上是一个岭回归问题，使用K个滤波器的基来对图进行滤波，然后把学习滤波器的参数和特征映射函数融合到最小二乘回归模型中，即

训练的最终目的就是为寻找一组权值w，因此可以较容易计算得到跟踪模型的解为：

由于计算过程存在矩阵的逆运算，直接求解公式(1.3)非常耗时，所以采用梯度下降的方法迭代求解模型权重w，它避免了计算过程中不必要的矩阵存储和求矩阵的逆。第一帧中的初始权重

通过公式(1.3)来求解，后面每次使用上一帧中计算出的权重w来初始化，然后用迭代方法求权重，如第t帧中迭代的初始值设置为t-1帧中计算好的权重

GD表示梯度下降，少许的迭代次数就能收敛。

给定一段视频的第一帧中目标的候选框位置和大小，作为滤波器输入；输出为下一帧中目标的位置和大小。具体方法是：

①从上一帧的候选框区域提取多通道特征X

②用公式(1.2)计算K阶的响应特征

③用公式(1.3)计算检测的得分

④找到

中得分最大所对应的位置即新跟踪目标的中心坐标；在当前的中心位置提取多通道特征X；重复②；

⑤用公式(1.3)得到回归模型w；

⑥w＝(1-α)＊w+α＊w_t，其中α是模型更新的学习率，本例中，该学习率取值为0.1或0.01，然后，通过粗略搜索所找到的子范围内以较小的增量细化搜索。经过实践，在训练时观察损失，从而找到最佳的学习率，为了简化计算，这里采用固定学习率，即0.1或0.01；

换句话说，参数α影响的是我们进行梯度下降时的速度，因此我们将参数α称为学习率，它表示在进行梯度下降算法时的快慢，好比我们在下山时一步跨多大，因此我们就需要选择一个合适的步幅，否则可能会出现(当然现实是不可能的)一步直接从一个山头跨到另一个山头，这样的话就会出现一直在一个相似的高度上两个山峰之间跨过来，跨过去。

智能系统困惑情绪自动识别处理部分，包括建立训练测试数据库、困惑情绪自动识别模型。

①建立训练测试数据库，定义数据的情绪标签

数据库用来训练、测试和验证困惑情绪识别模型。建库方法为首先选取大学100名在校研究生进行英语学科测试，男女比例为1∶1，每位被试者需完成30道英语测试题，试题来源于知名在线题库。题库由难、易、中等三种难度的选择题组成。被试人员知识水平分布为：高级水平的40％，中级水平的50％，初级水平的10％。被试者在线作答，研究人员实时采集被试者面部视频并标记题目序号。接下来，研究对象根据情绪自我报告法定义数据标签。在测试完成后，被试者回顾试题，确定解答每道题时的学习困惑状态并记录。为了使被试者对困惑标签的定义客观，测试使用三类学习困惑标签：困惑和不困惑、中性。

②真实场景下基于视频流的困惑情绪自动识别建模

人的表情变化是一个时空动态的过程。为了能够充分地对人情绪进行建模，视频中的每一帧的空间依赖性以及不同帧之间的时空上下文信息需要被充分地考虑到。因此，提出一种双向循环网络BRNN和卷积神经网络CNN的分层方法来提高视频序列中的表情识别的性能，其架构如图3所示。

考虑到该序列中图像的重要信息是关于面部表情的，所以对人脸识别的VGG_Face模型进行微调，用该模型来提取每帧图片中面部的表情特征。然后将提取的特征重新组合作为BRNN的输入，从而进行分类。BRNN通过向前和向后扫描时间序列来捕获长时间的依赖关系，从而发现序列之间的相关性。因此，所提出的网络能够很好地对序列的空间和时间依赖性进行建模。对于给定人脸图像，VGG_Face首先利用多个卷积层和最大汇聚层对训练集样本中检测到的人脸表情图像进行计算，就产生了具有固定长度特征向量的卷积特征图。然后，从FC7中获得固定尺寸的特征作为人脸表情图像特征，其架构如图4所示。

双向循环神经网络BRNN可以同时使用特定帧的过去和未来的所有可用输入信息进行训练，因此BRNN可以被用来学习过去和未来帧之间的时间依赖性。首先接一个全连接层用于收集、输出学习序列的表征，然后连接一个Softmax层对序列中的表情进行分类。此外，通过对序列进行旋转角度和镜像序列扩充数据集，来使训练数据更加复杂和多样化。其中，数据一部分用于训练深度学习网络，部分用于测试，用以平衡数据减少对训练数据的过拟合。最后进行验证，使用准确率(P值)、召回率(R值)和F值(F＝2PR/(P+R))，作为评价验证指标，并修正底层算法模型，校正算法精度。

智能系统学习情绪分析、干预部分。

建立学习情绪分析可视化系统——情绪时间密度图，以时间轴的形式展现整体学习过程上的情感分析结果。每一条识别的情绪以竖线的形式展示，以情绪颜色做出标注如以红色(困惑)、绿色(不困惑)、灰色(中性)的方式表示情绪，而竖线的高度则代表了计算结果的可信度，越高代表可信程度越高。当选中每一条竖线的时候，可以回溯到具体的学习时间区间。基于课程内容，针对个人、群体学习表现，生成完整的学习评估。并给出如慢速播放、重复播放，加入关键词检索服务等干预策略，但是干预策略并不局限于慢速播放、重复播放、加入关键词检索服务这三种。

以上所述仅是本发明的举例说明，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (10)

1.一种基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，包括：

情绪数据采集部分，用于在真实学习场景下，对人脸面部跟踪，获取人脸面部动态变化数据；

自动识别处理部分，用于建立训练测试数据库、困惑情绪自动识别模型，利用该模型对情绪数据采集部分采集的数据进行处理；

情绪分析、干预部分，用于建立学习情绪分析可视化系统、给出干预策略。

2.根据权利要求1所述的基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，对人脸面部跟踪采用人脸面部跟踪算法，该算法包括，首先识别人脸区域，然后将候选图像区域建模为像素级的网格图，采用谱滤波器来对局部图结构进行滤波来估计最佳匹配的顶点。

3.根据权利要求2所述的基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，估计最佳匹配的顶点过程中，将谱滤波器用多项式的一组基来近似，采用切比雪夫展开式。

4.根据权利要求3所述的基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，滤波器的参数和特征映射参数一起整合入一个最小二乘回归模型中进行学习。

5.根据权利要求1或4所述的基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，通过给定的视频流上一帧信息的情况下，预测跟踪目标在下一帧所在的位置，实现目标跟踪；

样本训练过程：使用K个滤波器的基来对图进行滤波，然后把学习滤波器的参数和特征映射函数融合到最小二乘回归模型中，即

其中γ是正则化参数，F(X)表示串接K个滤波器的基后、在输入特征图X上的滤波响应，

是K个滤波器的基，相当于样本，y是特征图类别，也呈高斯分布，如式(1.2)所示，

训练的最终目的为寻找一组权值w，因此可计算得出跟踪模型的解为：

采用梯度下降的方法迭代求解模型权重w；第一帧中的初始权重

通过公式(1.3)来求解，后面每次使用上一帧中计算出的权重w来初始化，然后用迭代方法求权重。

6.根据权利要求5所述的基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，给定一段视频的第一帧中目标的候选框位置和大小，作为滤波器输入；输出为下一帧中目标的位置和大小，

具体方法是：

①从上一帧的候选框区域提取多通道特征X；

②用公式(1.2)计算K阶的响应特征

③用公式(1.3)计算检测的得分

④找到

中得分最大所对应的位置即新跟踪目标的中心坐标；在当前的中心位置提取多通道特征X；重复②；

⑤用公式(1.3)得到回归模型w；

⑥w＝(1-α)＊w+α＊w_t，其中α是模型更新的学习率。

7.根据权利要求1所述的基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，建立训练测试数据库，定义数据的情绪标签，数据库用来训练、测试和验证困惑情绪自动识别模型；

建立训练测试数据库方法为：

首先选取大学N名在校研究生进行英语学科测试，男女比例为1∶1，每位被试者需完成H道英语测试题，题库由难、易、中等三种难度的选择题组成；被试人员知识水平分布为：定义高级水平的占I％，中级水平的占L％，初级水平的占M％；被试者在线作答，研究人员实时采集被试者面部视频并标记题目序号，接下来，研究对象根据情绪自我报告法定义数据标签，在测试完成后，被试者回顾试题，确定解答每道题时的学习困惑状态并记录；

测试使用的三类学习困惑标签为：困惑和不困惑、中性；

N、H均为自然数，I、L、M均为正数。

8.根据权利要求1所述的基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，困惑情绪自动识别模型包括：

采用双向循环网络BRNN和CNN的分层方法来提高视频序列中的表情识别的性能，

对人脸识别的VGG_Face模型进行调整，调整为用该模型来提取每帧图片中面部的表情特征，然后将提取的特征重新组合作为BRNN的输入，从而进行分类，BRNN通过向前和向后扫描时间序列来捕获长时间的依赖关系，从而发现序列之间的相关性；

对于给定人脸图像，VGG_Face首先利用多个卷积层和最大汇聚层对训练集样本中检测到的人脸表情图像进行计算，就产生了具有固定长度特征向量的卷积特征图；然后，从FC7中获得固定尺寸的特征作为人脸表情图像特征。

9.根据权利要求8所述的基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，首先接一个全连接层用于收集、输出学习过程中表情序列的特征表示，然后连接一个Softmax层对序列中的表情进行分类，此外，通过对序列进行旋转角度和镜像序列扩充数据集，来使训练数据更加复杂和多样化；其中，数据一部分用于训练深度学习网络，部分用于测试，用以平衡数据减少对训练数据的过拟合，最后进行验证，使用准确率、召回率和F值作为评价验证指标，并修正底层算法模型，校正算法精度。

10.根据权利要求1所述的基于学习过程情绪实时分析的智能化学习干预系统，其特征在于，建立学习情绪分析可视化系统，该学习情绪分析可视化系统采用情绪时间密度图，以时间轴的形式展现整体学习过程上的分析结果；

每一条识别的情绪以竖线的形式展示，以情绪颜色做出标注，而竖线的高度则代表了计算结果的可信度，越高代表可信程度越高；当选中每一条竖线的时候，可以回溯到具体的学习时间区间以及对应的学习内容，以表格形式呈现、检索；最后，基于课程内容，针对个人、群体学习表现，生成完整的学习评估，并给出干预策略。

Images