CN112115779B - 可解释性课堂学生情感分析方法、系统、装置及介质 - Google Patents

可解释性课堂学生情感分析方法、系统、装置及介质 Download PDF

Info

Publication number
CN112115779B
CN112115779B CN202010802142.5A CN202010802142A CN112115779B CN 112115779 B CN112115779 B CN 112115779B CN 202010802142 A CN202010802142 A CN 202010802142A CN 112115779 B CN112115779 B CN 112115779B
Authority
CN
China
Prior art keywords
student
decision tree
expression
facial
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010802142.5A
Other languages
English (en)
Other versions
CN112115779A (zh
Inventor
黄昌勤
何洁
黄琼浩
俞建慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN202010802142.5A priority Critical patent/CN112115779B/zh
Publication of CN112115779A publication Critical patent/CN112115779A/zh
Application granted granted Critical
Publication of CN112115779B publication Critical patent/CN112115779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种可解释性课堂学生情感分析方法、系统、装置及介质，方法包括：获取学生智慧课堂面部表情数据；基于可解释性卷积神经网络建立学生学习情感分析模型；构建学生表情识别过程的可视化模型；通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。本发明把智慧课堂学生情感分析问题建模成一个可解释性卷积神经网络任务，利用可解释性卷积神经网络进行智慧课堂中学生的表情识别，得出学生学习过程中的情感状态，能够快速确定学生的情感状态，提高了情感分析的准确性，可广泛应用于人工智能技术领域。

Description

可解释性课堂学生情感分析方法、系统、装置及介质
技术领域
本发明涉及人工智能技术领域，尤其是一种可解释性课堂学生情感分析方法、系统、装置及介质。
背景技术
随着互联网技术的快速发展与应用，智慧课堂日渐成为当代最重要的教育教学形态之一。智慧课堂的不断推广与应用，为新技术支持下的智慧课堂教与学提供了便利。然而，由于智慧课堂教师难以及时准确地了解每个学生的学习情感状态，学习过程中的情感交互极易失衡，严重影响了智慧课堂的互动性和高效性。因此，学生的“情感缺失”成为智慧课堂发展过程中亟需解决的一大挑战性问题。这迫切需要一种合理且有效的学生基于可解释卷积网络的智慧课堂学生情感分析系统，来解决智慧课堂环境中教师不能及时准确地了解每个学生的学习情感状态问题。面部表情作为反映学生情感表达的重要方式之一，蕴含了许多有关学生课堂学习过程中的内心情感变化过程，通过面部表情识别可以挖掘学生隐含的内部情感状态。因此，构建智慧课堂学生基于可解释卷积网络的智慧课堂学生情感分析系统的核心之一就是通过识别学生智慧课堂的表情特征，判别学生的情感状态，及时地采取措施来增强课堂互动性和高效性。
目前表情识别主要是通过智慧课堂中学生表情的预处理、学生脸部特征提取、学生情感状态的分类等流程对智慧课堂中学生面部表情一个或多个动作或状态的分析，以此辨别与获取面向智慧课堂的学生个体或群体的情感状态。在此大前提下，各种面向智慧课堂学习环境下的表情识别的模型层出不穷，目前这方面主要有两大类方向：一类是几何特征法，基于深度学习算法，如卷积神经网络(Convolutional Neural Networks,CNN)、深度信念网络(Deep Belief Network,DBN)、随机森林分类等，对学生表情的各面部对象类(包括眼睛、嘴巴、眉毛等)及对象特征(包括眨眼、下眼睑收紧等)来提取特征。另一类则是容貌特征法，如选择Gabor小波滤波器，对整体或局部人脸进行分析。相较于几何特征法，Gabor小波滤波器的时间复杂度较高，运行效率较慢，且对学生面部表情的识别主要是针对图片的纹理、颜色属性等进行处理，然而在智慧课堂情景中学生表情识别与输入图片的颜色、纹理属性无关。
其中，目前的深度学习算法存在以下几个方面的不足：1)传统的卷积层包含颜色、对象类、对象特征等6个属性，但其中的颜色、纹理、等4个属性，对于智慧课堂学生表情识别是无影响的，增加了深度学习算法在训练过程中出现错误的风险；2)不具有可解释性，无法探知深度学习模型在训练过程中是否出现错误，虽然深度学习算法在人脸表情等分类领域具有优良的性能，但目前其理论知识尚不完备，都是通过调参的方法去提高识别率；3)智慧课堂学生学习情感分析模型中，需要一定的细粒度，人为检测表情识别的准确性，直接影响到教师对应学生的情感状态做出的举措，以及学生智慧课堂中的学习效果。深度学习算法无法对智慧课堂中学生情感分析做出准确可靠而又及时的判断。
发明内容
有鉴于此，本发明实施例提供一种准确可靠且实时性高的可解释性课堂学生情感分析方法、系统、装置及介质。
本发明的第一方面提供了一种可解释性课堂学生情感分析方法，包括：
获取学生智慧课堂面部表情数据；
基于可解释性卷积神经网络建立学生学习情感分析模型；
构建学生表情识别过程的可视化模型；
通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。
在一些实施例中，所述获取学生智慧课堂面部表情数据包括：
获取学生智慧课堂的学习视频；
从所述学习视频中提取视频帧；
对所述视频帧进行处理，生成设定大小的输入矩阵；
对所述输入矩阵进行运算处理，生成表情识别参数。
在一些实施例中，所述基于可解释性卷积神经网络建立学生学习情感分析模型，包括：
获取待训练学生面部表情的高卷积层信息；
通过所述待训练表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；
对所述特征图进行掩膜操作，得到去除噪声后的特征图；
对所述每个滤波器添加损耗，识别所述待训练表情对应的面部对象类及对象特征；
获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，然后基于识别表情的卷积神经网络，融合可解释性机制，建立本学生学习情感分析模型。
在一些实施例中，所述构建学生表情识别过程的可视化模型，包括：
将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；
对所述初始决策树种的每个结点进行参数化处理；
确定所述初始决策树的叶子结点；
根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。
在一些实施例中，所述通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型，包括：
对所述卷积神经网络进行训练；
获取学生的智慧课堂学习视频，提取所述智慧课堂学习视频中的面部表情图像，通过所述卷积神经网络对所述面部表情图像进行表情识别，得到不同滤波器对应激活的对象特征；
从所述最终决策树中选取结点作为所述对象特征的决策模式，进而计算得到所述滤波器的权重和所述对象特征的权重；
根据所述滤波器的权重和所述对象特征的权重，确定学生情感类型。
本发明的第二方面提供了一种可解释性课堂学生情感分析系统，包括：
获取模块，用于获取学生智慧课堂面部表情数据；
第一构建模块，用于基于可解释性卷积神经网络建立学生学习情感分析模型；
第二构建模块，用于构建学生表情识别过程的可视化模型；
识别模块，用于通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。
在一些实施例中，所述第一构建模块包括：
获取单元，用于获取待训练学生面部表情的高卷积层信息；
激活单元，用于通过所述待训练表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；
掩膜单元，用于对所述特征图进行掩膜操作，得到去除噪声后的特征图；
识别单元，用于对所述每个滤波器添加损耗，识别所述待训练表情对应的面部对象类及对象特征；
构建单元，用于获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，然后基于识别表情的卷积神经网络，融合可解释性机制，建立本学生学习情感分析模型。
在一些实施例中，所述第二构建模块包括：
初始决策树构建单元，用于将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；
参数化处理单元，用于对所述初始决策树种的每个结点进行参数化处理；
结点确定单元，用于确定所述初始决策树的叶子结点；
最终决策树构建单元，用于根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。
本发明的第三方面提供了一种装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器用于根据所述程序执行如本发明第一方面所述的方法。
本发明的第四方面提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行完成如本发明第一方面所述的方法。
本发明的实施例首先获取学生智慧课堂面部表情数据；然后，基于可解释性卷积神经网络建立学生学习情感分析模型；接着，构建学生表情识别过程的可视化模型；最后，通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。本发明把智慧课堂学生情感分析问题建模成一个可解释性卷积神经网络任务，利用可解释性卷积神经网络进行智慧课堂中学生的表情识别，得出学生学习过程中的情感状态，能够快速确定学生的情感状态，提高了情感分析的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的整体步骤流程图；
图2为本发明实施例的学生学习情感分析模型示意图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
针对现有技术存在的问题，本发明实施例提供了一种可解释性课堂学生情感分析方法，如图1所示，方法包括以下步骤：
S1、获取学生智慧课堂面部表情数据；
具体地，本实施例的步骤S1包括：
S11、获取学生智慧课堂的学习视频；
本实施例根据学生智慧课堂的学习情景视频，固定间隔地提取每一个视频帧，对每个静态图像进行处理。学生的面部图像数据经预处理为m×m的输入矩阵。
S12、从所述学习视频中提取视频帧；
S13、对所述视频帧进行处理，生成设定大小的输入矩阵；
S14、对所述输入矩阵进行运算处理，生成表情识别参数。
本实施例对输入矩阵做若干运算，得到的结果记录如下表1所示：
表1
Figure BDA0002627783650000051
Figure BDA0002627783650000061
需要说明的是，对智慧课堂的视频帧进行一系列处理分析后，学生的情感便是输出结果。表情识别能够从视频中实时提取信号，该信号提供有关学生在课堂学习过程中的内部状态信息。通过实时分析学生的情感状态，了解每个学生在每个时刻对智慧课堂的参与度和接受程度，以便对学生进行个性化引导与干预。
传统面向智慧课堂的学生的情感分析技术中按照情感极性分为积极、消极和中立三种基本情感。本发明针对智慧课堂情景，将情感划分成愉悦、惊讶、中立、沮丧、困惑等五种，以便于更加全面概括和细分学生的学习情感。其中愉悦和惊讶被视为积极情感，即能对学生的学习起到促进效果或者提高学习兴趣和效率的情感状态；沮丧和困惑被视为消极情感，即对学生的学习起到抑制效果或者降低学习效率的情感状态。三维坐标系的原点为中性情感，其对学生的学习即没有促进也没有抑制效果。
S2、基于可解释性卷积神经网络建立学生学习情感分析模型；
具体地，本实施例的步骤S2包括：
S21、获取待训练学生面部表情的高卷积层信息；
需要说明的是，分析学生面部表情的传统卷积层分为高卷积层和低卷积层。高卷积层中的滤波器更倾向于表示学生面部对象类和对象特征两个属性，而低卷积层中的滤波器通常描述纹理、颜色等属性。因为在面向学生学习的智慧课堂场景中，颜色等属性的变化不影响对学生的表情识别，只涉及到学生的面部对象类和对象特征两个属性，因此本发明选择高卷积层进行智慧课堂中学生的表情图片处理。
本实施例的整个可解释性卷积神经网络各层间的转化和关系如图2所示。首先获取智慧课堂中学生表情图片，输入m×m的矩阵，通过传统的卷积和池化(max-pooling)操作得到学生面部表情特征图x(feature map x)，其大小为m×m×D，其中x_ij>0，D为映射学生面部对象类及面部对象类及对象特征的滤波器数量。
S22、通过所述待训练表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；
S23、对所述特征图进行掩膜操作，得到去除噪声后的特征图；
具体地，本实施例通过可解释性卷积神经网络进行学生面部表情识别，重点在于把映射学生面部对象类及面部对象类及对象特征的滤波器的模糊特征表达出来。由于滤波器对应的学生面部对象特征在智慧课堂情景下不同的学生面部表情图像的情况下出现m2个不同的位置，考虑到表情识别时先定位到学生的面部对象类，再具体到对象特征。因此，本发明为滤波器设计了一个二维的模板：
Figure BDA0002627783650000071
和
Figure BDA0002627783650000072
其中，
Figure BDA0002627783650000073
为n×n的矩阵，对应n2个面部对象类，例如眼睛、鼻子、眉毛等进行排序。
Figure BDA0002627783650000074
为m×m的矩阵，对应m2个对象特征，例如皱眉、嘴角上扬、上眉抬高和下眼睑收紧等进行排序。
本实施例从不同的学生面部表情数据集中提取相同的学生面部对象类和对象特征。滤波器进行激活过程中，首先激活学生表情的面部对象类，其次激活学生表情的对象特征。μi在面部对象类或对象特征激活过程中应该各有一个激活峰；否则，μi应该保持停用状态。设定特征图x上对象特征的潜在位置为具有最强激活作用的神经单元
Figure BDA0002627783650000075
接着基于学生面部表情的特征图mask操作，具体地：
基于滤波器对应的每个对象特征
Figure BDA0002627783650000076
对x做mask操作(反卷积)，目的是滤除激活学生面部对象类及对象特征中的噪声，mask操作支持反向传播，mask操作的表达式为：
Figure BDA0002627783650000077
其中，
Figure BDA0002627783650000078
代表取
Figure BDA0002627783650000079
与0的最大值，其中
Figure BDA00026277836500000710
为矩阵x与矩阵
Figure BDA00026277836500000711
中对应元素的乘积；mask操作后，将得到的新特征图矩阵xmasked传送到全连接(FC)层，使用传统的全连接层，加入通过表情识别做情感分类的机制，输出结果为学生每个时刻在智慧课堂学习中的情感状态。
S24、对所述每个滤波器添加损耗，识别所述待训练表情对应的面部对象类及对象特征；获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，该权值即为此特征对识别结果的影响比重，从而使本卷积神经网络具有可解释性，然后基于识别表情的卷积神经网络，融合可解释性机制，建立本学生学习情感分析模型。
在池化(max-pooling)操作之后，本实施例为每个映射学生面部对象类及对象特征的滤波器添加一个损耗的计算，在反向传播中使用，以解开仅包含学生面部对象类及对象特征的高卷积层中的缠绕的滤波器。滤波器损耗会强制xf由特定的面部对象类及对象特征激活，将滤波器损耗概括为特征图的分布与该面部对象类和对象特征分布之间的负相关：
Figure BDA00026277836500000712
Figure BDA0002627783650000081
其中，MI(·)表示特征图与模板间的相互信息。T’＝{T-,T+}，当对应激活对象特征属于
Figure BDA0002627783650000082
时是T+，反之就是T-。-H(T)为定值的对象特征模板间的先验熵，H(T’|X)保证了滤波器与面部对象类的激活，∑xp(T+,x)H(T+|X＝x)保证了滤波器与对象特征的激活。
映射学生面部对象类及面部对象类及对象特征的滤波器对特征图x中xij的损耗为：
Figure BDA0002627783650000083
总损耗为每个映射学生面部对象类及对象特征的滤波器损耗的和，滤波器的损耗为找到对应面部对象类的损耗和找到对应对象特征的损耗之和。滤波器损耗也保证了自动匹配面部对象类及对象特征，也恰恰验证了滤波器与对象特征(特征图x中一层的最大值)间的相互映射，成为具有可解释性的卷积神经网络。
S3、构建学生表情识别过程的可视化模型；
具体地，本实施例的步骤S3包括：
S31、将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；
S32、对所述初始决策树种的每个结点进行参数化处理；
S33、确定所述初始决策树的叶子结点；
S34、根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。
本实施例在获得学生智慧课堂中的情感状态后，需要清楚地了解CNN识别学生面部表情使用哪些对象特征以及权值，以决策树的形式更直观展现出来，体现了可解释性的卷积神经网络。
像层次聚类一样，决策树的基本思想是从不同图像的特定决策模式中总结出通用的决策模式。决策树根据不同的细粒度，对全连接(FC)层中的决策模式进行编码，定量解释学生每个表情识别的逻辑。构建决策树时，本实施例将每个滤波器作为树的一个结点，从下往上、以精细到粗糙的方式组织，使得一整棵决策树包含所有的决策模式，满足了智慧课堂中需要细粒度的表情识别。定量分析全连接层如何使用高卷积层中对象特征进行最终表情识别，前面提到每个映射学生面部对象特征的滤波器只有一个激活峰。
y≈gTx+b
其中，y表示学生面部表情识别的预测值，x表示对象特征对情感分析结果的权重，g表示可解释性卷积神经网络进表情识别时选择的对象特征。
跟上述公式的原理一样，结点v中的决策模式使用ω和b进行参数化，并且该模式解释了对一组特定的学生图像的表情识别。对于每个图像Ii，i∈Ωv，决策模式为:
Figure BDA0002627783650000091
Figure BDA0002627783650000092
Figure BDA0002627783650000093
ω表示决策模式的基本原理，
Figure BDA0002627783650000094
表示学生面部表情图像的所有决策模式v的单位向量，α∈{0，1}D表示在选定好的决策模式下滤波器做二进制选择。hv(xi)结点v在图像i中的预测值；ωTxi代表图片i中各对象特征的权值；
Figure BDA0002627783650000095
代表Ωv中通用决策模式的单位向量与特征决策模式的单位向量的余弦值；λ代表为减少误差的参数；Ωv代表训练图片时对象特征对应结点的集合。
将图像Ii作为初始化的叶子结点，设置
Figure BDA0002627783650000096
和α＝1。
如图2所示，本实施例构建决策树时，选择两个细粒度较高的孩子结点v,v‘∈V，将它们合并出一个新结点u，其中，Ωu＝Ωv∪Ωv’，u将成为根结点的新子代，并且将v和v‘重新分配为u的孩子。本实施例从上述公式得到α,b,
Figure BDA0002627783650000097
这样，本实施例将T次合并操作之后的初始树P0＝Q逐步修正为最终树，如下所示：
Figure BDA0002627783650000098
S4、通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。
具体地，本实施例的步骤S4包括：
S41、对所述卷积神经网络进行训练；
S42、获取学生的智慧课堂学习视频，提取所述智慧课堂学习视频中的面部表情图像，通过所述卷积神经网络对所述面部表情图像进行表情识别，得到不同滤波器对应激活的对象特征；
S43、从所述最终决策树中选取结点作为所述对象特征的决策模式，进而计算得到所述滤波器的权重和所述对象特征的权重；
S44、根据所述滤波器的权重和所述对象特征的权重，确定学生情感类型，可保证人为监测智慧课堂中学生情感分类过程中的准确性。
本实施例基于可解释性卷积神经网络的表情识别具体为：
首先将上述的可解释性卷积神经网络进行训练，再找到一个学生学习智慧课堂的视频，提取面部表情图像Ii，逐一使用该神经网络进行表情识别，得到不同滤波器对应激活的对象特征：
Figure BDA0002627783650000101
本实施例基于决策树的学生面部表情识别的可视化具体为：
从根结点开始，以自顶向下的方式展现学生面部表情识别的决策过程。图2显示了一个决策树。当用户选择结点u作为对象特征的决策模式时，可以进一步选择其子级
Figure BDA0002627783650000102
作为更精细的决策模式：
Figure BDA0002627783650000103
其中，Child(u)代表u的孩子结点的集合；cosine(gi,ωv)代表特定决策模式的单位向量与v结点对应的对象特征的单位向量的余弦值；决策树中的结点v以一定的细粒度级别提供了对图像Ii进行表情识别的原理。
Figure BDA0002627783650000104
A∈{0,1}m×D表示在高卷积层中为每个滤波器分配特定的对象特征。
本实施例计算得到滤波器的权重ρi和对象特征的权重
Figure BDA0002627783650000105
是由内眉抬高ρ1，压低眉毛ρ4、嘴角压低ρ15或鼻唇沟加深占比ρ11决定的。
本实施例智慧课堂中学生的情感状态输出具体为：
根据上述对学生面部微表情判断情感的机制所知，内眉抬高ρ1，压低眉毛ρ4、嘴角压低ρ15或鼻唇沟加深占比ρ11，学生情感分类为困惑状态，估算该学生在该时刻对课堂学习内容参与程度不高或不太接受，根据学生的状态，及时地提供个性化的学习引导，增强课堂互动性和高效性。这样，面向智慧课堂中的表情识别和情感分析，做到了可解释性，我们可以根据决策树展现的各对象特征，分析算法学习是否出现错误，做到有理有据。同时，决策树展现出不同细粒度的对象特征，符合教育研究中对学生情感分析细粒度的需求。因此，将细粒度的表情识别应用于教育中更具有说服力，能更好的促进教育情感的发展。
综上所述，目前基于学生表情的智慧课堂情感分析模型，没有客观的展示出情感分类结果由哪些面部对象类及对象特征决定以及对象特征的权值，因此无法较好的人为监测智慧课堂中学生情感分类过程中的准确性。本发明基于卷积神经网络的智慧课堂学生学习情感分析模型加入决策树，使得模型具有细粒度，同样可视化模型的可解释性。
决策树对全连接层中的决策模式进行编码，定量解释智慧课堂中学生每个表情识别的逻辑。构建决策树时，将每个映射学生面部对象类及对象特征的滤波器作为树的一个结点，从下往上、以精细到粗糙的方式组织，使得一整棵决策树包含所有的决策模式，满足了面向智慧课堂中细粒度的学生表情识别需求。
每一条根结点到叶子结点的路径可以识别智慧课堂中学生面部表情的特定对象特征及其权值。当我们选择结点u(见图1)作为决策模式时，我们可以进一步选择其子级v^(见图1)，作为更精细的模式。这样，我们可以使用决策树在语义级别上解释通过识别哪些对象特征，从而分析得出学生在智慧课堂中的情感状态。本发明把智慧课堂学生情感分析问题建模成一个可解释性卷积神经网络任务，利用可解释性卷积神经网络进行智慧课堂中学生的表情识别，得出学生学习过程中的情感状态，主要具有以下优点：
1)、分析学生面部表情的传统卷积层分为高卷积层和低卷积层。高卷积层中的滤波器更倾向于表示学生的面部对象类及对象特征两个属性，而低卷积层中的滤波器通常描述XXX纹理、颜色等。智慧课堂场景中，颜色等属性的变化不影响对学生的表情识别，只涉及到学生面部对象类及对象特征两个属性。因此，选择高卷积层对智慧课堂中学生的表情图片进行处理。
2)、在高卷积层中，每个滤波器由特定学生的面部对象类及对象特征激活。针对智慧课堂情景中不同学生的面部表情图像，为滤波器设计一个二维的模板：首先定位到学生的面部对象类，选择n^2个面部对象类，例如眼睛、鼻子、眉毛等；再具体到对象特征，选择m^2个对象特征，例如皱眉、嘴角上扬、上眉抬高等。
3)、对特征图x做mask操作，可以滤除激活学生面部对象类及对象特征中的噪声，而且mask操作支持反向传播。
4)、可解释的卷积层在分析学生面部表情的传统卷积层的基础上对每个映射学生面部对象类及对象特征的滤波器添加了损耗，以解开仅包含学生面部对象类及对象特征的高卷积层中缠绕的滤波器。可解释卷积神经网络模型的总损耗为每个滤波器损耗的和，而每个滤波器的损耗与滤波器找到映射的面部对象类及对象特征的损耗有关。滤波器损耗也保证了自动匹配到对应的学生的面部对象类及对象特征。
另外，在课堂教学场景中，可以通过分析学生情感相关要素，如学习期望值、个人特质、学习内容、学习目标等，关联分析本卷积神经网络中的不同特征对象的权重差异，依据此权重差异挖掘学生产生不同类别情感的原因，从而可发现课堂教学中影响情感的具体要素，即有效关联到该课堂教学的原因，使本发明的卷积神经网络可解释性关联到教学现实的可解释性，为课堂施教者解决存在的情感问题，提供针对性指导依据。
本发明还提供了一种可解释性课堂学生情感分析系统，包括：
获取模块，用于获取学生智慧课堂面部表情数据；
第一构建模块，用于基于可解释性卷积神经网络建立学生学习情感分析模型；
第二构建模块，用于构建学生表情识别过程的可视化模型；
识别模块，用于通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。
在一些实施例中，所述第一构建模块包括：
获取单元，用于获取待训练学生面部表情的高卷积层信息；
激活单元，用于通过所述待训练表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；
掩膜单元，用于对所述特征图进行掩膜操作，得到去除噪声后的特征图；
识别单元，用于对所述每个滤波器添加损耗，识别所述待训练表情对应的面部对象类及对象特征；
构建单元，用于获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，然后基于识别表情的卷积神经网络，融合可解释性机制，建立本学生学习情感分析模型。
在一些实施例中，所述第二构建模块包括：
初始决策树构建单元，用于将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；
参数化处理单元，用于对所述初始决策树种的每个结点进行参数化处理；
结点确定单元，用于确定所述初始决策树的叶子结点；
最终决策树构建单元，用于根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。
本发明还提供了一种装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器用于根据所述程序执行如图1所述的方法。
本发明还提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行完成如图1所述的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种可解释性课堂学生情感分析方法，其特征在于，包括：
获取学生智慧课堂面部表情数据；
基于可解释性卷积神经网络建立学生学习情感分析模型；
构建学生表情识别过程的可视化模型；
通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型；
所述基于可解释性卷积神经网络建立学生学习情感分析模型，包括：
获取待训练学生面部表情的高卷积层信息；
通过所述待训练学生面部表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；
对所述特征图进行掩膜操作，得到去除噪声后的特征图；
对所述每个滤波器添加损耗，识别所述待训练学生面部表情对应的面部对象类及对象特征；
获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，然后基于识别表情的卷积神经网络，融合可解释性机制，建立学生学习情感分析模型；
所述构建学生表情识别过程的可视化模型，包括：
将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；
对所述初始决策树种的每个结点进行参数化处理；
确定所述初始决策树的叶子结点；
根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。
2.根据权利要求1所述的一种可解释性课堂学生情感分析方法，其特征在于，所述获取学生智慧课堂面部表情数据包括：
获取学生智慧课堂的学习视频；
从所述学习视频中提取视频帧；
对所述视频帧进行处理，生成设定大小的输入矩阵；
对所述输入矩阵进行运算处理，生成表情识别参数。
3.根据权利要求1所述的一种可解释性课堂学生情感分析方法，其特征在于，所述通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型，包括：
对所述卷积神经网络进行训练；
获取学生的智慧课堂学习视频，提取所述智慧课堂学习视频中的面部表情图像，通过所述卷积神经网络对所述面部表情图像进行表情识别，得到不同滤波器对应激活的对象特征；
从所述最终决策树中选取结点作为所述对象特征的决策模式，进而计算得到所述滤波器的权重和所述对象特征的权重；
根据所述滤波器的权重和所述对象特征的权重，确定学生情感类型。
4.一种可解释性课堂学生情感分析系统，其特征在于，包括：
获取模块，用于获取学生智慧课堂面部表情数据；
第一构建模块，用于基于可解释性卷积神经网络建立学生学习情感分析模型；
第二构建模块，用于构建学生表情识别过程的可视化模型；
识别模块，用于通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型；
所述第一构建模块包括：
获取单元，用于获取待训练学生面部表情的高卷积层信息；
激活单元，用于通过所述待训练学生面部表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；
掩膜单元，用于对所述特征图进行掩膜操作，得到去除噪声后的特征图；
识别单元，用于对所述每个滤波器添加损耗，识别所述待训练学生面部表情对应的面部对象类及对象特征；
构建单元，用于获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，然后基于识别表情的卷积神经网络，融合可解释性机制，建立学生学习情感分析模型；
所述第二构建模块包括：
初始决策树构建单元，用于将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；
参数化处理单元，用于对所述初始决策树种的每个结点进行参数化处理；
结点确定单元，用于确定所述初始决策树的叶子结点；
最终决策树构建单元，用于根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。
5.一种可解释性课堂学生情感分析装置，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器用于根据所述程序执行如权利要求1-3中任一项所述的方法。
6.一种存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行完成如权利要求1-3中任一项所述的方法。
CN202010802142.5A 2020-08-11 2020-08-11 可解释性课堂学生情感分析方法、系统、装置及介质 Active CN112115779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010802142.5A CN112115779B (zh) 2020-08-11 2020-08-11 可解释性课堂学生情感分析方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010802142.5A CN112115779B (zh) 2020-08-11 2020-08-11 可解释性课堂学生情感分析方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN112115779A CN112115779A (zh) 2020-12-22
CN112115779B true CN112115779B (zh) 2022-05-13

Family

ID=73804024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010802142.5A Active CN112115779B (zh) 2020-08-11 2020-08-11 可解释性课堂学生情感分析方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN112115779B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283334B (zh) * 2021-05-21 2023-07-21 浙江师范大学 一种课堂专注度分析方法、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101933A (zh) * 2018-08-21 2018-12-28 重庆乐教科技有限公司 一种基于人工智能的情绪行为可视化分析方法
US10423773B1 (en) * 2019-04-12 2019-09-24 Coupang, Corp. Computerized systems and methods for determining authenticity using micro expressions

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878677B (zh) * 2017-01-23 2020-01-07 西安电子科技大学 基于多传感器的学生课堂掌握程度评估系统和方法
CN107194347A (zh) * 2017-05-19 2017-09-22 深圳市唯特视科技有限公司 一种基于面部动作编码系统进行微表情检测的方法
CN107766933B (zh) * 2017-10-24 2021-04-23 天津大学 一种解释卷积神经网络的可视化方法
CN109815785A (zh) * 2018-12-05 2019-05-28 四川大学 一种基于双流卷积神经网络的人脸情绪识别方法
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置
CN109992779B (zh) * 2019-03-29 2023-04-28 长沙理工大学 一种基于cnn的情感分析方法、装置、设备及存储介质
CN110163145A (zh) * 2019-05-20 2019-08-23 西安募格网络科技有限公司 一种基于卷积神经网络的视频教学情感反馈系统
CN111339935B (zh) * 2020-02-25 2023-04-18 西安电子科技大学 一种基于可解释cnn图像分类模型的光学遥感图片分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101933A (zh) * 2018-08-21 2018-12-28 重庆乐教科技有限公司 一种基于人工智能的情绪行为可视化分析方法
US10423773B1 (en) * 2019-04-12 2019-09-24 Coupang, Corp. Computerized systems and methods for determining authenticity using micro expressions

Also Published As

Publication number Publication date
CN112115779A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112990054B (zh) 紧凑的无语言面部表情嵌入和新颖三元组的训练方案
Fong et al. Net2vec: Quantifying and explaining how concepts are encoded by filters in deep neural networks
Pabba et al. An intelligent system for monitoring students' engagement in large classroom teaching through facial expression recognition
Jalal et al. Students’ behavior mining in e-learning environment using cognitive processes with information technologies
Han et al. Two-stage learning to predict human eye fixations via SDAEs
Xu et al. Bio-inspired deep attribute learning towards facial aesthetic prediction
US20150147728A1 (en) Self Organizing Maps (SOMS) for Organizing, Categorizing, Browsing and/or Grading Large Collections of Assignments for Massive Online Education Systems
CN111079658A (zh) 基于视频的多目标连续行为分析方法、系统、装置
CN113298018A (zh) 基于光流场和脸部肌肉运动的假脸视频检测方法及装置
CN112115779B (zh) 可解释性课堂学生情感分析方法、系统、装置及介质
Salehin et al. Analysis of student sentiment during video class with multi-layer deep learning approach
Kumar et al. Guiding attention of faces through graph based visual saliency (GBVS)
Kousalya et al. Prediction of Best Optimizer for Facial Expression Detection using Convolutional Neural Network
Cao et al. Facial Expression Study Based on 3D Facial Emotion Recognition
Godavarthi et al. Analysing emotions on lecture videos using CNN and HOG (workshop paper)
CN113505750A (zh) 一种识别方法、装置、电子设备及计算机可读存储介质
Strezoski et al. OmniEyes: Analysis and synthesis of artistically painted eyes
Malleswari et al. The Role of Digital Twin Technology in Engagement Detection of Learners in Online Learning Platforms
CN114155555B (zh) 人体行为人工智能判断系统和方法
Fortier et al. Robust detection of conversational groups using a voting scheme and a memory process
Bai et al. Algorithm and simulation study of oil painting classification based on visual perception and improved embedded learning
Song Emotional recognition and feedback of students in English e-learning based on computer vision and face recognition algorithms
Tresnawati et al. Real-Time Emotion Recognition Using CNN and OpenCV
Sreekrishna et al. Emotional Evaluation of Facial Tension Using LSTM for Psychological Assessments
Rajasri REAL-TIME OBJECT TRACKING USING ARTIFICIAL INTELLIGENCE

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant