CN113657168A - 基于卷积神经网络的学生学习情绪的识别方法 - Google Patents
基于卷积神经网络的学生学习情绪的识别方法 Download PDFInfo
- Publication number
- CN113657168A CN113657168A CN202110813338.9A CN202110813338A CN113657168A CN 113657168 A CN113657168 A CN 113657168A CN 202110813338 A CN202110813338 A CN 202110813338A CN 113657168 A CN113657168 A CN 113657168A
- Authority
- CN
- China
- Prior art keywords
- student
- face
- layer
- image
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 32
- 230000008909 emotion recognition Effects 0.000 title abstract description 6
- 230000008451 emotion Effects 0.000 claims abstract description 66
- 230000014509 gene expression Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 206010063659 Aversion Diseases 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008921 facial expression Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的学生学习情绪识别方法，通过卷积神经网络模型对学生表情进行分类，根据表情将学生学习情绪划分为积极情绪和消极情绪，并将学生信息和情绪信息进行存储，可以将学生的学习情绪反馈给教师，家长和学生，可以解决学生情绪不易感知的问题，对教师优化课堂设置，关注学生学习情绪提供支持，对保证课堂效果起着积极作用，另一方面可以为在线学习检测学生投入度提供支持，有助于教育者调整教学策略，学习者调整学习状态。
Description
技术领域
本发明属于机器学习技术领域，具体涉及一种基于卷积神经网络的学生学习情绪的识别方法。
背景技术
随着互联网技术及多媒体技术的成熟与普及，在线教育蓬勃发展。在线教育凭借在时间、空间上的独特优势，让学习者更便捷的学习到国内外优质课程，在线学习成为越来越多人的选择。但由于教师和学生被网络隔离，老师无法实时监督学生的学习状态，不能感知学生的学习情绪，不能及时调整教学策略导致学习效果无法得到保障，同时因为和老师没有情感上的交流，学生在学习过程中容易产生疲劳、厌学、注意力不集中等问题。如何监测和分析学生的学习情绪，根据学生学习情绪完善教学过程，提高学习效率是教育领域迫切需要解决的问题。
学习情绪是一种重要的内隐式学习特征，识别学生学习情绪不仅可以为教师理解学生的学习行为、动机、兴趣和注意力提供线索，而且还可以为教学评价和教学反思提供重要依据，心理学家将情绪表达定义为“7％的语言+38％的姿势+55％的面部表情”。面部表情包含丰富的情绪信息，不仅能直接反应学生的学习状态，还能反应学生的心理状态，但早期学生表情识别主要靠教师人工观察和学生报告，然而这些方法不仅效率低下，而且不适用于在线学习。近年来，机器学习的迅速发展，表情识别广泛应用在人机交互、医疗、驾驶疲劳监测等领域，表情识别技术的快速发展为人工智能在教育领域的应用提供有力支撑，将先进的表情识别融入教学系统，可以自动的连续监测、识别、记录学生情绪变化，并且不会对教学流程和学生学习过程产生干扰，为了解学生投入度，衡量教学质量停供了帮助。
综上所述，学生学习情绪的识别是非常有价值和意义的，本发明针对此种需求提出一种学生学习情绪的识别方法。该发明基于卷积神经网络，根据识别学生的表情，分析出学生的学习情绪，可以将学生的学习情绪反馈给教师，对教师优化课堂设置，关注学习情绪消极的学生提供支持，对保证课堂效果起着积极作用。一方面可以解决学生情绪不易感知的问题，另一方面可以为在线学习检测学生投入度提供支持，有助于教育者调整教学策略，学习者调整学习状态。
发明内容
本发明提出一种基于卷积神经网络的学生学习情绪的识别方法，解决了教师不能及时关注所有人的学习状态和不能监督学生学习情绪的问题，为保证课堂质量提供了支持。
本发明所采用的技术方案包括以下步骤：
基于卷积神经网络的学生学习情绪的识别方法，本发明包括如下步骤：
步骤1：通过摄像头采集学生视频，并将学生视频截取为视频序列；
步骤2：采用基于Haar-like特征的AdaBoost人脸检测方法对步骤1截取的视频序列中的人脸进行检测与定位，标记出学生的人脸，得到人脸图像；
步骤3：对检测到的步骤2所述的人脸图像进行预处理，消除无用的图像信息；
步骤4：利用Gabor和LBP方法对步骤3处理过的图像进行人脸特征提取；
步骤5：将步骤4提取到到的人脸特征与预先存储的学生人脸模板进行匹配，得出对应的学生信息；
步骤6：利用步骤3中处理过的图像作为模型的输入，利用预先训练好的卷积神经网络模型识别出学生面部表情，得到表情分类；
步骤7：根据步骤6得到的学生表情分类得出学生的学习情绪；
步骤8：将步骤7中学生的学习情绪存储到步骤5中匹配到的学生信息中。
步骤1具体为：
利用OpenCV读取所述摄像头录制的视频，对视频进行跳帧处理，每隔10帧提取一次图像，保存为视频序列。
步骤2具体为：
步骤2.1，采用Haar-like特征来描述人脸特征，同时使用积分图对Haar-like特征的求值进行加速；
步骤2.2，将训练样本的Haar-like特征作为弱分类器，通过选取弱分类器中最具有分类价值的若干分类器来组成一个强分类器；
步骤2.3，将各个强分类器级联起来构成AdaBoost分类器；
步骤2.4，利用步骤2.3中的强分类器的识别人脸区域，标记出人脸边界框，根据人脸边界框对图像进行裁剪，得到人脸图像；
步骤3具体为：
步骤3.1，采用SDM算法，选取49个特征点进行人脸对齐，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点；
步骤3.2，将步骤3.1的图像采用均值滤波进行图像去噪，使用滤波器由左到右，由上到下扫过图像，取均值代替原来的像素值，目的是提高图像质量；
步骤3.3，将步骤3.2中经过均值滤波的的图像进行灰度化，转为灰度图像既能保留图片的形态特征并能降低后续计算量，采用的灰度化方法为公式(1)，
步骤3.4，将步骤3.3中图像进行尺寸归一化，大小不一致的原始图像利用尺寸的放大或缩小变换为尺寸相同的图像，采用的表情图像的尺寸为48*48像素。
步骤5具体为：
计算识别到的人脸和已有人脸文件中每个人脸图片的人脸特征之间的差异程度，用欧式距离表示，欧氏距离求解如公式(2)所示，按欧式距离进行排序，欧式距离最小，且小于预设的阈值的就是匹配的人脸，若大于阈值，则无匹配身份；
步骤6具体为：
步骤6.1，图像依次经过卷积神经网络模型的卷积层、池化层、卷积层、池化层、卷积层、全连接层得到表情分类；
步骤6.2，预先训练好的步骤6.1中的卷积神经网络模型的训练过程为：
步骤6.2.1，利用公开数据集FER2013进行模型训练，从数据集FER2013中分别随机地寻求2/3个样本作为训练组，剩余1/3作为测试组；
步骤6.2.2，将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e-15和学习率0.05；
步骤6.2.3，从训练组中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；
步骤6.2.4，将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差，代价函数loss如公式3所示：
激活函数：
h((x)＝max(0，x) (4)
其中m为样本数量，l为神经网络的层数，f(x)为输出向量，wk为第k层权值
a)计算输出层的残差项：
其中e(y)表示样本x标签的one-hot表示。
b)卷积层的残差值计算：
其中·表示矩阵的点积操作，符号
表示第l层第j个节点处激活函数的导数，
c)池化层的残差值计算，假设pooling(第l层)层有N个通道，卷积层
(l+1层)有M个特征，第l+1层第j个通道的残差计算方法如下：
其中k为卷积核，符号
表示矩阵的卷积操作。
步骤6.2.5，依据公式依次计算各权值的调整量和阈值的调整量，调整权值和阈值；
wji←wji+ηδjxji (8)
wji是节点i到节点j的权重，δj是节点的误差项，xji是输入，η是学习率。
步骤6.2.6，判断模型平均准确率是否满足95％要求，不满足则返回步骤6.2.3继续迭代，满足精度要求或达到最大训练次数90000次，训练结束，准确率计算公式如下：
其中TP代表真正例，TP代表假正例
步骤6.2.7，保存模型。
步骤7具体为：
根据步骤6中的表情分类判断学生情绪，步骤6.1中得到的模型将表情分为0生气、1厌恶、2恐惧、3开心、4伤心、5惊讶、6中性七种表情，步骤7把表情0生气、1厌恶、2恐惧、4伤心归为消极情绪，把表情3开心、5惊讶、6中性归为积极情绪。
步骤8具体为：
将步骤5中识别到的学生，步骤7中识别到的学习情绪，建立时间-学生-学习情绪表存储。
本发明的有益效果为：
本发明包括人脸图像采集、人脸检测与定位、表情特征提取、学习情绪记录等功能模块。通过对学生表情进行分类，将学生学习情绪划分为积极情绪和消极情绪，并将学生信息和情绪信息进行存储，可以将学生的学习情绪反馈给教师，家长和学生。学生的健康快乐发展是时代对学校的新要求，通过摄像头记录学生情绪不会对教学流程和学生学习过程产生干扰，可以解决学生情绪不易感知的问题，可以为老师和家长关注学生学习情绪提供支持，对长期处于消极情绪的学生，老师可以重点关注，积极引导，帮助学生积极快乐的成长。
附图说明
图1为本发明基于卷积神经网络的学生学习情绪的识别方法总体流程图；
图2为本发明基于卷积神经网络的学生学习情绪的识别方法AdaBoost算法流程图；
图3为本发明基于卷积神经网络的学生学习情绪的识别方法图像预处理流程图；
图4为本发明基于卷积神经网络的学生学习情绪的识别方法卷积神经网络结构示意图；
图5为本发明基于卷积神经网络的学生学习情绪的识别方法模型训练流程图；
具体实施方式
下面结合附图来说明本发明的具体实施方式。
如图1，本发明是基于卷积神经网络的学生学习情绪的识别方法，具体包括以下步骤：
步骤1：通过摄像头采集学生视频，并对视频进行跳帧处理，隔10帧提取一次图像，保存为视频序列，既能保存学生的图像又能减少图像数据量。
步骤2：采用基于Haar-like特征的AdaBoost人脸检测方法对步骤1截取的视频序列中的人脸进行检测与定位，标记出学生的人脸，得到面部区域，如图2AdaBoost算法流程图所示，步骤2具体为：
步骤2.1，对训练样本采用Haar-like特征来描述人脸特征，同时使用积分图对Haar-like特征的求值进行加速；
步骤2.2，将训练样本的Haar-like特征作为弱分类器，通过选取弱分类器中最具有分类价值的分类器来组成一个强分类器；
步骤2.3，将各个强分类器级联起来构成AdaBoost分类器；
步骤2.4，利用步骤2.3得到的AdaBoost分类器检测图片，确定人脸数量及人脸位置，标记出人脸边界框，根据人脸边界框对图像进行裁剪，得到面部区域；
步骤3：如图3所示对检测到的人脸图像进行预处理，消除无用的图像信息，具体为：
步骤3.1，采用SDM算法，选取49个特征点进行人脸对齐，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点；
步骤3.2，将步骤3.1的图像采用均值滤波进行图像去噪，使用滤波器由左到右，由上到下扫过图像，取均值代替原来的像素值，目的是提高图像质量；
步骤3.3，将步骤3.2中经过均值滤波的的图像进行灰度化，转为灰度图像既能保留图片的形态特征并能降低后续计算量，采用的灰度化方法为公式(1)，
步骤3.4，将步骤3.3中图像进行尺寸归一化，大小不一致的原始图像利用尺寸的放大或缩小变换为尺寸相同的图像，采用的表情图像的尺寸为48*48像素。
步骤4：利用Gabor和LBP方法对步骤3处理过的图像进行人脸特征提取。
步骤5：将识别到的人脸特征与预先存储的学生人脸模板进行匹配，得出对应的学生信息，具体为：
计算识别到的人脸和已有人脸文件中每个人脸图片的人脸特征之间的差异程度，用欧式距离表示，欧氏距离求解如公式(2)所示，按欧式距离进行排序，欧式距离最小，且小于预设的阈值的就是匹配的人脸，若大于阈值，则无匹配身份。
步骤6：步骤3处理过的32*32的图像作为模型的输入，利用卷积神经网络模型识别出学生面部表情，得到表情分类，具体为
步骤6.1：卷积神经网络模型的网络结构如图4所示，具体为
C1是卷积层，卷积层的过滤器尺寸大小为5*5，深度为6，不使用全0补充，步长为1，所以这一层的输出尺寸为32-5+1＝28，深度为6；
S2层是一个池化层，这一层的输入是C1层的输出，是一个28*28*6的结点矩阵，过滤器大小为22，步长为2，所以本层的输出为14*14*6；
C3层也是一个卷积层，本层的输入矩阵为14*14*6，过滤器大小为55，深度为16，不使用全0补充，步长为1，故输出为10*10*16；
S4层是一个池化层，输入矩阵大小为10*10*16，过滤器大小为22，步长为2，故输出矩阵大小为55*16；
C5层是一个卷积层，过滤器大小为55，和全连接层没有区别，输入为55*16矩阵，将其拉直为一个长度为55*16的向量，即将一个三维矩阵拉直到一维向量空间中，输出结点为120；
F6层是全连接层，输入结点为120个，输出结点为84个；
输出层也是全连接层，输入结点为84个，输出节点个数为7，代表7种表情，0生气、1厌恶、2恐惧、3开心、4伤心、5惊讶、6中性。
步骤6.2：预先训练好的步骤6.1中的卷积神经网络模型的训练过程如图5所示，训练过程包括前向传播计算预测值、计算误差、反向传播更新权值等步骤，具体为：
步骤6.2.1，利用公开数据集FER2013进行模型训练，从数据集FER2013中分别随机地寻求2/3个样本作为训练组，剩余1/3作为测试组；
步骤6.2.2，将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e-15和学习率0.05；
步骤6.2.3，从训练组中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；
步骤6.2.4，将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差，代价函数loss如公式3所示：
激活函数：
h(x)＝max(0，x) (4)
其中m为样本数量，l为神经网络的层数，f(x)为输出向量，wk为第k层权值
a)计算输出层的残差项：
其中e(y)表示样本x标签的one-hot表示。
b)卷积层的残差值计算：
其中·表示矩阵的点积操作，符号
表示第l层第j个节点处激活函数的导数，
c)池化层的残差值计算，假设pooling(第l层)层有N个通道，卷积层
(l+1层)有M个特征，第l+1层第j个通道的残差计算方法如下：
其中k为卷积核，符号
表示矩阵的卷积操作。
步骤6.2.5，依据公式依次计算各权值的调整量和阈值的调整量，调整权值和阈值；
wji←wji+ηδjxji (8)
wji是节点i到节点j的权重，δj是节点的误差项，xji是输入，η是学习率。
步骤6.2.6，判断模型平均准确率是否满足95％要求，不满足返回步骤6.2.3继续迭代，满足精度要求或达到最大训练次数90000次，训练结束，准确率计算公式如下：
其中TP代表真正例，TP代表假正例
步骤6.2.7，保存模型。
步骤7：根据学生表情得出学生的学习情绪，具体为：
根据步骤6中的表情分类判断学生情绪，步骤6.2中得到的模型将表情分为0生气、1厌恶、2恐惧、3开心、4伤心、5惊讶、6中性七种表情，步骤7把表情0生气、1厌恶、2恐惧、4伤心归为消极情绪，把表情3开心、5惊讶、6中性归为积极情绪。
步骤8：将学习情绪存储到步骤5中匹配到的学生信息中。
步骤8具体为：将步骤5中识别到的学生，步骤7中识别到的学习情绪，建立时间--学生—学习情绪表存储。
Claims (8)
1.基于卷积神经网络的学生学习情绪的识别方法，其特征在于，包括如下步骤：
步骤1：通过摄像头采集学生视频，并将学生视频截取为视频序列；
步骤2：采用基于Haar-like特征的AdaBoost人脸检测方法对步骤1截取的视频序列中的人脸进行检测与定位，标记出学生的人脸，得到人脸图像；
步骤3：对检测到的步骤2所述的人脸图像进行预处理，消除无用的图像信息；
步骤4：利用Gabor和LBP方法对步骤3处理过的图像进行人脸特征提取；
步骤5：将步骤4提取到到的人脸特征与预先存储的学生人脸模板进行匹配，得出对应的学生信息；
步骤6：利用步骤3中处理过的图像作为模型的输入，利用预先训练好的卷积神经网络模型识别出学生面部表情，得到表情分类；
步骤7：根据步骤6得到的学生表情分类得出学生的学习情绪；
步骤8：将步骤7中学生的学习情绪存储到步骤5中匹配到的学生信息中。
2.根据权利要求1所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤1具体为：
利用OpenCV读取所述摄像头录制的视频，对视频进行跳帧处理，每隔10帧提取一次图像，保存为视频序列。
3.根据权利要求2所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤2具体为：
步骤2.1，采用Haar-like特征来描述人脸特征，同时使用积分图对Haar-like特征的求值进行加速；
步骤2.2，将训练样本的Haar-like特征作为弱分类器，通过选取弱分类器中最具有分类价值的若干分类器来组成一个强分类器；
步骤2.3，将各个强分类器级联起来构成AdaBoost分类器；
步骤2.4，利用步骤2.3中的强分类器的识别人脸区域，标记出人脸边界框，根据人脸边界框对图像进行裁剪，得到人脸图像。
4.根据权利要求3所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤3具体为：
步骤3.1，采用SDM算法，选取49个特征点进行人脸对齐，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点；
步骤3.2，将步骤3.1的图像采用均值滤波进行图像去噪，使用滤波器由左到右，由上到下扫过图像，取均值代替原来的像素值，目的是提高图像质量；
步骤3.3，将步骤3.2中经过均值滤波的的图像进行灰度化，转为灰度图像既能保留图片的形态特征并能降低后续计算量，采用的灰度化方法为公式(1)，
步骤3.4，将步骤3.3中图像进行尺寸归一化，大小不一致的原始图像利用尺寸的放大或缩小变换为尺寸相同的图像，采用的表情图像的尺寸为48*48像素。
5.根据权利要求4所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤5具体为：
计算识别到的人脸和已有人脸文件中每个人脸图片的人脸特征之间的差异程度，用欧式距离表示，欧氏距离求解如公式(2)所示，按欧式距离进行排序，欧式距离最小，且小于预设的阈值的就是匹配的人脸，若大于阈值，则无匹配身份；
6.根据权利要求5所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤6具体为：
步骤6.1，图像依次经过卷积神经网络模型的卷积层、池化层、卷积层、池化层、卷积层、全连接层得到表情分类；
步骤6.2，预先训练好的步骤6.1中的卷积神经网络模型的训练过程为：
步骤6.2.1，利用公开数据集FER2013进行模型训练，从数据集FER2013中分别随机地寻求2/3个样本作为训练组，剩余1/3作为测试组；
步骤6.2.2，将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e-15和学习率0.05；
步骤6.2.3，从训练组中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；
步骤6.2.4，将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差，代价函数loss如公式3所示：
激活函数：
h(x)＝max(0，x) (4)
其中m为样本数量，l为神经网络的层数，f(x)为输出向量，wk为第k层权值
a)计算输出层的残差项：
其中e(y)表示样本x标签的one-hot表示。
b)卷积层的残差值计算：
其中·表示矩阵的点积操作，符号
表示第l层第j个节点处激活函数的导数，
c)池化层的残差值计算，假设pooling(第l层)层有N个通道，卷积层(l+1层)有M个特征，第l+1层第j个通道的残差计算方法如下：
其中k为卷积核，符号
表示矩阵的卷积操作。
步骤6.2.5，依据公式依次计算各权值的调整量和阈值的调整量，调整权值和阈值；
wji←wji+ηδjxji (8)
wji是节点i到节点j的权重，δj是节点的误差项，xji是输入，η是学习率。
步骤6.2.6，判断模型平均准确率是否满足95％要求，不满足则返回步骤6.2.3继续迭代，满足精度要求或达到最大训练次数90000次，训练结束，准确率计算公式如下：
其中TP代表真正例，TP代表假正例
步骤6.2.7，保存模型。
7.根据权利要求6所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤7具体为：
根据步骤6中的表情分类判断学生情绪，步骤6.1中得到的模型将表情分为0生气、1厌恶、2恐惧、3开心、4伤心、5惊讶、6中性七种表情，步骤7把表情0生气、1厌恶、2恐惧、4伤心归为消极情绪，把表情3开心、5惊讶、6中性归为积极情绪。
8.根据权利要求7所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤8具体为：将步骤5中识别到的学生，步骤7中识别到的学习情绪，建立时间-学生-学习情绪表存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110813338.9A CN113657168B (zh) | 2021-07-19 | 2021-07-19 | 基于卷积神经网络的学生学习情绪的识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110813338.9A CN113657168B (zh) | 2021-07-19 | 2021-07-19 | 基于卷积神经网络的学生学习情绪的识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113657168A true CN113657168A (zh) | 2021-11-16 |
| CN113657168B CN113657168B (zh) | 2024-02-06 |
Family
ID=78477485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110813338.9A Active CN113657168B (zh) | 2021-07-19 | 2021-07-19 | 基于卷积神经网络的学生学习情绪的识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657168B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283639A (zh) * | 2022-01-10 | 2022-04-05 | 立人实业(广东)集团有限公司 | 一种远程教育控制系统 |
| CN114399709A (zh) * | 2021-12-30 | 2022-04-26 | 北京北大医疗脑健康科技有限公司 | 儿童情绪识别模型训练方法和儿童情绪识别方法 |
| CN114565964A (zh) * | 2022-03-03 | 2022-05-31 | 网易（杭州）网络有限公司 | 情绪识别模型的生成方法、识别方法、装置、介质和设备 |
| CN114898449A (zh) * | 2022-07-13 | 2022-08-12 | 电子科技大学成都学院 | 一种基于大数据的外语教学辅助方法及装置 |
| CN115512422A (zh) * | 2022-10-18 | 2022-12-23 | 河南科技大学 | 基于注意力机制的卷积神经网络面部情绪识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| US20190311188A1 (en) * | 2018-12-05 | 2019-10-10 | Sichuan University | Face emotion recognition method based on dual-stream convolutional neural network |
| GB202000377D0 (en) * | 2019-04-01 | 2020-02-26 | Samsung Electronics Co Ltd | Methods for generating modified images |
| CN111178263A (zh) * | 2019-12-30 | 2020-05-19 | 湖北美和易思教育科技有限公司 | 一种实时表情分析方法及其装置 |
-
2021
- 2021-07-19 CN CN202110813338.9A patent/CN113657168B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190311188A1 (en) * | 2018-12-05 | 2019-10-10 | Sichuan University | Face emotion recognition method based on dual-stream convolutional neural network |
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| GB202000377D0 (en) * | 2019-04-01 | 2020-02-26 | Samsung Electronics Co Ltd | Methods for generating modified images |
| CN111178263A (zh) * | 2019-12-30 | 2020-05-19 | 湖北美和易思教育科技有限公司 | 一种实时表情分析方法及其装置 |
Non-Patent Citations (1)
| Title |
|---|
| 龚雅云;唐小煜;刘思睿;郑小冰;: "基于面部情绪识别的物理实验教学过程评价", 物理实验, no. 09 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399709A (zh) * | 2021-12-30 | 2022-04-26 | 北京北大医疗脑健康科技有限公司 | 儿童情绪识别模型训练方法和儿童情绪识别方法 |
| CN114283639A (zh) * | 2022-01-10 | 2022-04-05 | 立人实业(广东)集团有限公司 | 一种远程教育控制系统 |
| CN114565964A (zh) * | 2022-03-03 | 2022-05-31 | 网易（杭州）网络有限公司 | 情绪识别模型的生成方法、识别方法、装置、介质和设备 |
| CN114898449A (zh) * | 2022-07-13 | 2022-08-12 | 电子科技大学成都学院 | 一种基于大数据的外语教学辅助方法及装置 |
| CN114898449B (zh) * | 2022-07-13 | 2022-10-04 | 电子科技大学成都学院 | 一种基于大数据的外语教学辅助方法及装置 |
| CN115512422A (zh) * | 2022-10-18 | 2022-12-23 | 河南科技大学 | 基于注意力机制的卷积神经网络面部情绪识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113657168B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113657168B (zh) | 基于卷积神经网络的学生学习情绪的识别方法 | |
| Yang et al. | An emotion recognition model based on facial recognition in virtual learning environment | |
| CN106919903B (zh) | 一种鲁棒的基于深度学习的连续情绪跟踪方法 | |
| CN110175501B (zh) | 基于人脸识别的多人场景专注度识别方法 | |
| CN110399821B (zh) | 基于人脸表情识别的顾客满意度获取方法 | |
| CN111563417A (zh) | 一种基于金字塔结构卷积神经网络的人脸表情识别方法 | |
| CN111242049A (zh) | 一种基于面部识别的学生网课学习状态评价方法及系统 | |
| CN110837947B (zh) | 一种基于音视频分析技术的教师授课专注度的评估方法 | |
| CN112883867A (zh) | 一种基于图像情感分析的学生在线学习评估方法及系统 | |
| CN111507227A (zh) | 基于深度学习的多学生个体分割及状态自主识别方法 | |
| CN113592251A (zh) | 一种多模态融合的教态分析系统 | |
| CN115936944A (zh) | 一种基于人工智能的虚拟教学管理方法及装置 | |
| Tang et al. | Automatic facial expression analysis of students in teaching environments | |
| CN114187640A (zh) | 一种基于线上课堂的学情观察方法、系统、设备及介质 | |
| Kumar et al. | Discriminating real from fake smile using convolution neural network | |
| Rao et al. | Recognition of learners’ cognitive states using facial expressions in e-learning environments | |
| Ray et al. | Design and implementation of affective e-learning strategy based on facial emotion recognition | |
| CN116311472A (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
| CN115050075A (zh) | 一种跨粒度交互学习的微表情图像标注方法及装置 | |
| Pang et al. | Recognition of Academic Emotions in Online Classes | |
| CN114638988A (zh) | 一种基于不同呈现方式的教学视频自动化分类方法及系统 | |
| Kurundkar et al. | Real-Time Sign Language Detection | |
| CN113255666A (zh) | 一种基于计算机视觉的个性化答疑系统与方法 | |
| CN114022918A (zh) | 基于多姿态的学习者兴奋状态标签算法 | |
| Singh et al. | Facial Expression Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |