CN114581981A - 基于人工智能技术的学生情绪在线分析系统 - Google Patents

Abstract

本发明公开基于人工智能技术的学生情绪在线分析系统，包括：影像采集模块、模型构建模块、训练模块、测试模块和分析模块；影像采集模块用于采集学生影像信息，对学生影像信息进行预处理，获得学生情绪信息数据集，将所述数据集划分为训练集和测试集；模型构建模块用于基于LSTM网络，构建学生情绪检测模型；训练模块用于将训练集中的学生情绪信息数据输入学生情绪检测模型进行训练；测试模块用于基于测试集对训练完成的学生情绪检测模型进行测试；分析模块用于将待测学生影像信息进行预处理，获得待测学生情绪信息，将待测学生情绪信息输入通过测试的学生情绪检测模型，获得学生情绪识别结果。本发明有效提升学生情绪测定的时效性与准确性。

Description

基于人工智能技术的学生情绪在线分析系统

技术领域

本发明属于人工智能技术领域，尤其涉及基于人工智能技术的学生情绪在线分析系统。

背景技术

情绪是综合了人的感觉、思想和行为的一种状态，在人与人的交流中发挥着重要作用。在人们的日常工作和生活中，情绪的作用无处不在。特别在学生上课过程中，如果老师知道学生的情绪好坏，从而就可以适应性调整上课的内容及课时，将有效地提升课堂质量。

但是现有的人工智能对学生情绪的数据挖掘和分析大多不够充分，目前还未有能够对远程客户端的学生进行上课情绪识别的有效方式。

发明内容

本发明的目的是提供基于人工智能技术的学生情绪在线分析系统，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了基于人工智能技术的学生情绪在线分析系统，包括：

影像采集模块、模型构建模块、训练模块、测试模块和分析模块；

所述影像采集模块用于采集学生影像信息，对所述学生影像信息进行预处理，获得学生情绪信息数据集，将所述学生情绪信息数据集划分为训练集和测试集；

所述模型构建模块用于基于LSTM网络，构建学生情绪检测模型，所述学生情绪检测模型用于识别学生情绪；

所述训练模块用于将所述训练集中的学生情绪信息数据输入所述学生情绪检测模型进行训练；

所述测试模块用于基于所述测试集对训练完成的学生情绪检测模型进行测试；

所述分析模块用于将待测学生影像信息进行预处理，获得待测学生情绪信息数据集，将所述待测学生情绪信息数据集输入通过测试的学生情绪检测模型，获得学生情绪识别结果。

可选地，所述学生情绪信息数据集包括：面部表情特征、呼吸节奏、语气变化和用词内容。

可选地，获得学生情绪信息数据集的过程为：

将所述学生影像信息分为若干帧图像，基于UperNet网络对所述图像进行语义分割，获得第一语义分割图像；

将所述第一语义分割图像中的杂项剔除，获得杂项剔除图像；

将所述杂项剔除图像进行标注，获得学生情绪信息数据集。

可选地，所述训练集与所述测试集的划分比例为8：2。

可选地，基于LSTM网络，构建学生情绪检测模型的过程分为忘记阶段、输入阶段和细胞状态更新阶段三方面。

可选地，将所述训练集中的学生情绪信息数据输入所述学生情绪检测模型进行训练的过程为：初始化所述学生情绪检测模型，将训练集中的每个学生情绪信息数据集输入所述学生情绪检测模型训练，直到所有训练集完成对所述学生情绪检测模型的训练。

可选地，基于所述测试集对训练完成的学生情绪检测模型进行测试的过程为：

将所述测试集输入训练完成的学生情绪检测模型，

若所述训练完成的学生情绪检测模型符合预设的模型预测指标，则获得通过测试的学生情绪检测模型，

若所述训练完成的学生情绪检测模型不符合预设的模型预测指标，则调整所述训练集的参数重新训练。

可选地，所述分析模块还能根据确定的所述学生的当前情绪，给出与所述当前情绪相适应的调整建议。

与现有技术相比，本发明具有如下优点和技术效果：

本发明将学生情绪的测定与LSTM结合，有效提升学生情绪测定的时效性与准确性，大大降低测量成本，便于教师根据相应数值调整反应器运行策略，保证学生情绪监测效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的流程图；

图2为本发明实施例中的LSTM运行图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例

如图1所示，本实施例中提供基于人工智能技术的学生情绪在线分析系统，包括：

影像采集模块、模型构建模块、训练模块、测试模块和分析模块；

影像采集模块用于采集学生影像信息，对学生影像信息进行预处理，获得学生情绪信息数据集，将学生情绪信息数据集划分为训练集和测试集；

具体的，学生情绪信息数据集包括：面部表情特征、呼吸节奏、语气变化和用词内容。

具体的，获得学生情绪信息数据集的过程为：

将学生影像信息分为若干帧图像，基于UperNet网络对图像进行语义分割，获得第一语义分割图像；

将第一语义分割图像中的杂项剔除，获得杂项剔除图像；

将杂项剔除图像进行标注，获得学生情绪信息数据集。

本发明的目标是针对学生影像信息进行图像信息的处理和识别，但是由于现实中室内场景的复杂性，包括但不限于人员的走动，桌面书本、电脑、盆栽的摆放等等，会导致得到的学生图像充满了大量的无用噪声，会极大地影响后续图像的识别。那么首先利用语义分割UperNet，记为U，对输入图像进行像素级的推理，得到初步的语义分割图I_{m_rgb0}。

但正如之前所说，图像中具有大量无用的信息，于是根据语义分割的结果，mask掉干扰项，诸如人、椅子、花盆、电脑等小物件(这一过程记为F_noise)，于是得到筛除无用语义后的mask图I_{m_rgb}。因为此测试场景中只有桌子、墙、地是目标物块，分别将他们设为蓝色、绿色、红色以作区分。

I_{m_rgb}＝F_noise(I_{m_rgb0})＝F_noise(U(I))。

具体的，训练集与所述测试集的划分比例为8：2。

模型构建模块用于基于LSTM网络，构建学生情绪检测模型，所述学生情绪检测模型用于识别学生情绪；

具体的，如图2所示，基于LSTM网络，构建学生情绪检测模型的过程分为忘记阶段、输入忘记阶段和细胞状态更新阶段三方面：

这个阶段主要是对上一个节点传进来的输入信息进行选择性忘记。主要由遗忘门层的S型网络层做出，通过计算得到的Z^f(f表示forget)，表示接受h_t-1和x_t，并对细胞状态C_t-1中的每一个数输出值都介于0和1之间。1表示“完全接受这个”，0表示“完全忽略这个”。

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

输入阶段：这个阶段将这个阶段的输入有选择性地进行“记忆”。哪些重要则着重记录下来，哪些不重要，则少记一些。其中第一部分，是“输入门层”的S形网络层确定哪些信息需要更新。第二部分，一个tan h形网络层创建一个新的备选值向量

可以用来添加到细胞状态。在下一步中将上面的两部分结合起来，产生对状态的更新。

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

细胞状态更新阶段：这个阶段将现在更新旧的细胞状态C_t-1更新到C_t。对旧的状态乘以f_t，用来忘记决定忘记的事。然后加上

这是新的候选值，根据对每个状态决定的更新值按比例进行缩放。

训练模块用于将训练集中的学生情绪信息数据输入学生情绪检测模型进行训练；

具体的，将训练集中的学生情绪信息数据输入学生情绪检测模型进行训练的过程为：初始化学生情绪检测模型，将训练集中的每个学生情绪信息数据集输入学生情绪检测模型训练，直到所有训练集完成对学生情绪检测模型的训练。

测试模块用于基于测试集对训练完成的学生情绪检测模型进行测试；

具体的，基于测试集对训练完成的学生情绪检测模型进行测试的过程为：

将测试集输入训练完成的学生情绪检测模型，

若训练完成的学生情绪检测模型符合预设的模型预测指标，则获得通过测试的学生情绪检测模型，

若训练完成的学生情绪检测模型不符合预设的模型预测指标，则调整训练集的参数重新训练。

其中，模型预测指标指预设情绪变化要素的量化指标，预存学生面部信息和声纹信息；情绪变化要素的量化指标包括不同情绪对应的面部表情特征、呼吸节奏、语气变化和用词内容等；而在预存学生面部信息和声纹信息时，会同时录入学生班级、姓名和任课教师等，在学生情绪达到预警值时，通知到对应的教师。

分析模块用于将待测学生影像信息进行预处理，获得待测学生情绪信息，将待测学生情绪信息输入通过测试的学生情绪检测模型，获得学生情绪识别结果。

具体的，获得学生情绪识别结果的过程包括：

将待测学生当前面部图像与同一学生的标准图像进行匹配；

结合预设的情绪变化要素的量化指标，对匹配完成的学生的面部表情变化、呼吸节奏变化、语气变化和用词内容进行识别分析；

识别出学生情绪变差，给教师发出警报信息。

通过将图像信息中，学生的面部表情变化、动作行为变化和呼吸节奏变化(如皱眉、瞪眼、呼吸节奏加快、叹气或握拳等)与预设的情绪变化要素的量化指标进行比对，可以从学生图像信息中分析学生情绪变化；再通过音频信息中学生语气变化和用词变化(如语气加重、音量变高或变低、出现消极词语或过激词语等)与预设的情绪变化要素的量化指标进行比对，结合图像信息，可以更全面精准的分析出学生情绪的变化方向；若分析出学生情绪激动或消极，会向教师发送警报信息，教师在接收到该信息后，可以根据分析结果对学生进行相应的开导和疏通，若分析出学生情绪稳定，则不会发送警报信息。

分析模块还可以根据确定的学生的当前情绪，给出与当前情绪相适应的调整建议。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.基于人工智能技术的学生情绪在线分析系统，其特征在于，包括：影像采集模块、模型构建模块、训练模块、测试模块和分析模块；

所述影像采集模块用于采集学生影像信息，对所述学生影像信息进行预处理，获得学生情绪信息数据集，将所述学生情绪信息数据集划分为训练集和测试集；

所述模型构建模块用于基于LSTM网络，构建学生情绪检测模型，所述学生情绪检测模型用于识别学生情绪；

所述训练模块用于将所述训练集中的学生情绪信息数据输入所述学生情绪检测模型进行训练；

所述测试模块用于基于所述测试集对训练完成的学生情绪检测模型进行测试；

所述分析模块用于将待测学生影像信息进行预处理，获得待测学生情绪信息数据集，将所述待测学生情绪信息数据集输入通过测试的学生情绪检测模型，获得学生情绪识别结果。

2.根据权利要求1所述的基于人工智能技术的学生情绪在线分析系统，其特征在于，所述学生情绪信息数据集包括：面部表情特征、呼吸节奏、语气变化和用词内容。

3.根据权利要求2所述的基于人工智能技术的学生情绪在线分析系统，其特征在于，获得学生情绪信息数据集的过程为：

将所述学生影像信息分为若干帧图像，基于UperNet网络对所述图像进行语义分割，获得第一语义分割图像；

将所述第一语义分割图像中的杂项剔除，获得杂项剔除图像；

将所述杂项剔除图像进行标注，获得学生情绪信息数据集。

4.根据权利要求1所述的基于人工智能技术的学生情绪在线分析系统，其特征在于，所述训练集与所述测试集的划分比例为8：2。

5.根据权利要求1所述的基于人工智能技术的学生情绪在线分析系统，其特征在于，基于LSTM网络，构建学生情绪检测模型的过程分为忘记阶段、输入阶段和细胞状态更新阶段三方面。

6.根据权利要求4所述的基于人工智能技术的学生情绪在线分析系统，其特征在于，将所述训练集中的学生情绪信息数据输入所述学生情绪检测模型进行训练的过程为：初始化所述学生情绪检测模型，将训练集中的每个学生情绪信息数据集输入所述学生情绪检测模型训练，直到所有训练集完成对所述学生情绪检测模型的训练。

7.根据权利要求3所述的基于人工智能技术的学生情绪在线分析系统，其特征在于，基于所述测试集对训练完成的学生情绪检测模型进行测试的过程为：

将所述测试集输入训练完成的学生情绪检测模型，

若所述训练完成的学生情绪检测模型符合预设的模型预测指标，则获得通过测试的学生情绪检测模型，

若所述训练完成的学生情绪检测模型不符合预设的模型预测指标，则调整所述训练集的参数重新训练。

8.根据权利要求1-7任一项所述的基于人工智能技术的学生情绪在线分析系统，其特征在于，所述分析模块还能根据确定的所述学生的当前情绪，给出与所述当前情绪相适应的调整建议。

Images