CN112418068A - 基于情绪识别的线上培训效果评估方法、装置和设备 - Google Patents
基于情绪识别的线上培训效果评估方法、装置和设备 Download PDFInfo
- Publication number
- CN112418068A CN112418068A CN202011306725.5A CN202011306725A CN112418068A CN 112418068 A CN112418068 A CN 112418068A CN 202011306725 A CN202011306725 A CN 202011306725A CN 112418068 A CN112418068 A CN 112418068A
- Authority
- CN
- China
- Prior art keywords
- training
- emotion recognition
- emotion
- training process
- audience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 209
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 158
- 238000011156 evaluation Methods 0.000 title claims abstract description 35
- 230000000694 effects Effects 0.000 title claims abstract description 21
- 230000008451 emotion Effects 0.000 claims abstract description 101
- 238000000034 method Methods 0.000 claims abstract description 100
- 230000008569 process Effects 0.000 claims abstract description 76
- 230000001815 facial effect Effects 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000012351 Integrated analysis Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000007935 neutral effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 230000002996 emotional effect Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 206010063659 Aversion Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请揭示了一种基于情绪识别的线上培训效果评估方法、装置和计算机设备，其中方法包括：在培训过程中，按照预设的频率对观众进行面部图像采集，得到观众的面部图像；对所述面部图像进行情绪识别，得到情绪识别结果；对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师；根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。本申请通过采集观众的人脸图像，利用情绪识别模型进行情绪识别，将情绪识别结果发送给培训讲师，还可以结合培训过程中的弹幕评论和培训结束后的反馈评分，综合评估线上培训效果，使评估结果更加客观、准确。
Description
技术领域
本申请涉及到情绪识别领域，特别是涉及到一种基于情绪识别的线上培训效果评估方法、装置和计算机设备。
背景技术
情绪识别是人工智能领域的一个发展方向，通过人脸表情、生物电信息，动作信息等作为情感分类计算的基础信号数据来对人的情绪进行分析。早在20世纪专家就通过跨文化调研提出了七类基础表情，分别是生气、害怕、厌恶、开心、悲伤、惊讶以及中立。经过不断的研究发现，这七类情绪并不能完全涵盖人们日常生活中的常见情绪表达，针对这个问题，提出了复合表情的概念，即多个离散的基础表情能够结合在一起从而形成一种复合表情，这种复合表情往往通过在各个基础表情上的占比来直观展现。
在互联网流行趋势的席卷下，传统的线下培训逐渐转向线上。线上培训使得讲师和观众能够打破空间和时间的间隔，更加方便高效地进行知识传播。例如传统的线下培训由于场地限制，往往不能容纳上万观众，并且如果观众错过了线下培训，也很难重新进行学习。但线上培训也存在着一些重大缺陷，其中最突出的问题是，相比于线下面对学员，线上培训讲师面对的只有录像设备以及屏幕上的弹幕评论。正是由于这种不同，线上讲师与观众的互动存在很大局限性，观众能够较好地理解讲师或主播的内容，但讲师不能够很好地从观众身上得到比较直观，全面的反馈。
发明内容
本申请的主要目的为提供一种基于情绪识别的线上培训效果评估方法、装置和计算机设备，旨在解决目前的线上培训无法直观地从观众身上得到评价与反馈的问题。
为了实现上述发明目的，本申请提出一种基于情绪识别的线上培训效果评估方法，包括：
在培训过程中，按照预设的频率对观众进行面部图像采集，得到观众的面部图像；
对所述面部图像进行情绪识别，得到情绪识别结果；
对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师；
重复前述步骤直到培训结束，根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。
进一步地，所述对所述面部图像进行情绪识别，得到情绪识别结果步骤之前包括：
建立基于深度学习的情绪识别卷积神经网络模型，所述情绪识别卷积神经网络模型包括卷积层、池化层和全连接层；
获取人脸情绪图像数据样本集，将所述人脸情绪图像数据样本集分成样本训练集和测试集，分别利用所述训练集和测试集对所述情绪识别卷积神经网络模型进行训练和测试，得到训练完成的情绪识别积神经网络模型；
所述对所述面部图像进行情绪识别，得到情绪识别结果的步骤包括：
将所述面部图像输入至所述训练完成的情绪识别卷积神经网络模型中，获得所述情绪识别结果。
进一步地，所述情绪识别卷积神经网络模型还包括输入层，用于对面部图像进行预处理，对面部图像进行预处理的步骤包括：
对所述面部图像进行灰度级变换处理，得到灰度图片；
对所述面部图像进行去噪处理，得到处理过的面部图像。
进一步地，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤包括：
将全部观众的情绪识别结果进行整理汇总，生成情绪分类图表；
将所述情绪分类图表发送给培训讲师。
进一步地，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤还包括：
在培训讲师的客户端生成虚拟观众席，将每个观众的情绪识别结果对应显示在虚拟观众席的虚拟观众上。
进一步地，所述将所述情绪分类图表发送给培训讲师的步骤之后还包括：
当所述情绪分类图表中的指定情绪比例超过预设值时，给培训讲师发出提示。
进一步地，所述根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价的步骤包括：
收集培训过程中的弹幕评论，对所述弹幕评论进行情感分类，分类结果包括积极评论、中性评论和消极评论，根据预设的弹幕评分规则得到弹幕评分；
邀请所有观众对培训课程进行评价，得到反馈评分；
根据所述情绪分类图表利用预设的情绪评分规则得到情绪评分；
对所述弹幕评分、反馈评分、情绪评分进行加权求和，得到最终的评价得分。
本申请实施例还提供一种基于情绪识别的线上培训效果评估装置，包括：
采集模块，用于在培训过程中，按照预设的频率对观众进行面部图像采集，得到观众的面部图像；
情绪识别模块，用于对所述面部图像进行情绪识别，得到情绪识别结果；
整合分析模块，用于对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师；
评价模块，用于根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于情绪识别的线上培训效果评估方法、装置和计算机设备，通过采集观众的人脸图像，利用情绪识别模型进行情绪识别，将情绪识别结果发送给培训讲师使其可以根据观众情绪变化调整讲课节奏，提高培线上训效果，还可以结合培训过程中的弹幕评论和培训结束后的反馈评分，综合评估线上培训效果，使评估结果更加客观、准确。
附图说明
图1为本申请一实施例的基于情绪识别的线上培训效果评估方法的流程示意图；
图2为本申请一实施例的基于情绪识别的线上培训效果评估装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例中提供一种基于情绪识别的线上培训效果评估方法，包括步骤：
S1、在培训过程中，按照预设的频率对观众进行面部图像采集，得到观众的面部图像；
S2、对所述面部图像进行情绪识别，得到情绪识别结果；
S3、对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师；
S4、重复前述步骤直到培训结束，根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。
如上述步骤S1所述，在线上培训过程中，可以按照预设的频率对观众的面部图像进行采集，采集设备为摄像头，例如，观众使用移动终端如手机、平板电脑等参与线上培训，那么采集设备为移动终端的前置摄像头。图像采集频率可以是预先设定好的，也可以根据培训讲师预估的培训时长以及培训内容按照预设的规则进行自动设定。可以理解地，可能会存在一些原因如采集设备故障、观众并没有面对采集设备等导致无法采集到某个观众的面部图像，在一个实施例中，可以在连续的多次未采集到同一个观众的面部图像时，在该观众的观看线上培训的设备的客户端上生成交互窗口，所述交互窗口用于获取用户目前状态，若该观众未能在指定时间内点击所述交互窗口，则说明该观众不在设备前或该观众已离线。
如上述步骤S2所述，在采集到观众的面部图像后，对这些面部图像进行情绪识别。可以利用基于深度学习的网络模型进行情绪识别，例如，可以利用卷积神经网络模型对面部图像进行识别，相对于传统的SVM情绪识别模型，利用卷积神经网络模型进行情绪识别具有更高的准确率。
如上述步骤S3所述，在得到每位观众的情绪识别结果后，可以将所有观众的情绪识别进过进行整合分析，将分析结果发送给培训讲师，以供培训讲师根据观众的情绪改变讲课节奏。例如，如果整体的情绪分析在惊讶的维度打分最高，讲师可以着重对已陈述的观点作进一步补充；如果整体的情绪分析在中立或厌恶的维度打分较高，那么讲师则需要转变节奏，避免观众走神或流失。
如上述步骤S4所述，通过采集观众的面部图像进行人脸识别，并将人脸识别结果进行整合分析，发送给讲师以提高培训效果。为了使培训效果评估G更加客观准确，本方案中同时考虑了培训过程中观众发表的弹幕评论和培训结束后观众对培训课程直接的反馈评价，综合上述步骤得到的情绪识别结果来对培训课程的培训效果进行评估。
在一个实施例中，所述对所述面部图像进行情绪识别，得到情绪识别结果步骤之前包括：
S201、建立基于深度学习的情绪识别卷积神经网络模型，所述情绪识别卷积神经网络模型包括卷积层、池化层和全连接层；
S202、获取人脸情绪图像数据样本集，将所述人脸情绪图像数据样本集分成样本训练集和测试集，分别利用所述训练集和测试集对所述情绪识别卷积神经网络模型进行训练和测试，得到训练完成的情绪识别积神经网络模型；
所述对所述面部图像进行情绪识别，得到情绪识别结果的步骤包括：
S21、将所述面部图像输入至所述训练完成的情绪识别卷积神经网络模型中，获得所述情绪识别结果。
如上所述，所述情绪识别卷积神经网络包括卷积层、池化层和全连接层，其中卷积层用于特征提取，池化层用于特征维度压缩，全连接层用于情绪识别分类。其中，所述全连接层包括7个分类器，每个分类器对应一种情绪，分别是生气，害怕，厌恶，开心，悲伤，惊讶以及中立。通过全连接层可以得到面部图像对应到各个分类器的概率，从7个概率中，选取概率最大的情绪状态作为面部图像中人脸的情绪状态。
如下表所示，如果模型输出结果如下表所示，则表示面部图像的情绪状态为分类器6所对应的“惊讶”。
表1：
| 全连接层 | 分类器1 | 分类器2 | 分类器3 | 分类器4 | 分类器5 | 分类器6 | 分类器7 |
| 面部图像 | 0％ | 8％ | 2％ | 1％ | 2％ | 80％ | 7％ |
在一个具体的实施例中，所述情绪识别卷积神经网络模型还包括输入层，用于对面部图像进行预处理，对面部图像进行预处理的步骤包括：
S211、对所述面部图像进行灰度级变换处理，得到灰度图片；
S212、对所述面部图像进行去噪处理，得到处理过的面部图像。
如上所述，灰度图片是指只含亮度信息，不含色彩信息的图片，灰度级变换处理是将含有亮度和色彩的待识别图片变换成灰度图片的过程，按照公式(1)使用预设的灰度值变换函数对待识别的人脸图片进行灰度级变换处理：g(x，y)＝T(f(x，y)，其中，f为待识别的人脸图片，T为预设的灰度值变换函数，g为灰度图片，x和y分别表示待识别的人脸图片中的横坐标与纵坐标，f(x，y)表示待识别的人脸图片中坐标点(x，y)对应的像素值，g(x，y)表示灰度图片中坐标点(x，y)对应的像素值。图像噪声是指存在于图像数据中的不必要的或多余的干扰信息，例如，高斯噪声、瑞利噪声、伽马噪声和椒盐噪声等，噪声会人脸图片的识别造成影响，因此，可以采用均值滤波、中值滤波或者维纳滤波等方法对灰度图片进行噪声去除处理。
在一个实施例中，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤包括：
S31、将全部观众的情绪识别结果进行整理汇总，生成情绪分类图表；
S32、将所述情绪分类图表发送给培训讲师。
如上所述，所述情绪分类图表可以是柱状图或者扇形图的形式，使培训讲师对观众的总体情绪状态有一个整体的了解，以便调整自己的讲课节奏。在面部图像采集频率较高时，所述情绪分类图表还可以以动态图表的形式展现给培训讲师，使培训讲师对观众的情绪变化情况有一个更动态更直观的了解。
在一个实施例中，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤还包括：
S301、在培训讲师的客户端生成虚拟观众席，将每个观众的情绪识别结果对应显示在虚拟观众席的虚拟观众上。
如上所述，通过生成虚拟观众，可以更加直观的显示观众的整体情绪状态。具体地，还可以针对特定的情绪状态设定特定的颜色，例如将能够直接反应观众对培训内容的情感评价的情绪如“惊讶”设置为蓝色，将“厌恶”设置为红色，将其他状态设置为绿色等，培训讲师可以通过虚拟观众席的情绪颜色和颜色变化更加直观地了解观众的情绪变化，以使自己及时调整讲课节奏，提高培训效果。
在一个实施例中，所述将所述情绪分类图表发送给培训讲师的步骤之后还包括：
S321、当所述情绪分类图表中的指定情绪比例超过预设值时，给培训讲师发出提示。
如上所述，在培训讲师进行讲课的过程中，虽然将情绪分类图表发给了培训讲师，但可能因为讲师讲课比较专注，并不能实时关注观众的情绪变化。在本实施例中，通过当指定情绪比例超过预设值，例如当观众“惊讶”的表情整体占比超过30％时，可以生成提示并发送给培训讲师，所述提示可以为声音提示或弹窗提示。
在一个实施例中，所述根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价的步骤包括：
S41、收集培训过程中的弹幕评论，对所述弹幕评论进行情感分类，分类结果包括积极评论、中性评论和消极评论，根据预设的弹幕评分规则得到弹幕评分；
S42、邀请所有观众对培训课程进行评价，得到反馈评分；
S43、根据所述情绪分类图表利用预设的情绪评分规则得到情绪评分；
S44、对所述弹幕评分、反馈评分、情绪评分进行加权求和，得到最终的评价得分。
如上所述，可以利用加权求和的方法，综合培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。其中对弹幕评论进行情感分类的过程可以利用机器学习模型实现，预设的规则可以是人为设计的规则，根据积极评论、中性评论和消极评论的占比确定弹幕评分。情绪评分的确定过程中预设的规则可以根据出现消极类情绪如“惊讶”、“厌恶”等的占比制定对应的评分规则，从而得到情绪得分。
本申请实施例的基于情绪识别的线上培训效果评估方法，通过采集观众的人脸图像，利用情绪识别模型进行情绪识别，将情绪识别结果发送给培训讲师使其可以根据观众情绪变化调整讲课节奏，提高培线上训效果，还可以结合培训过程中的弹幕评论和培训结束后的反馈评分，综合评估线上培训效果，使评估结果更加客观、准确。
参照图2，本申请实施例中还提供一种基于情绪识别的线上培训效果评估装置，包括：
采集模块1，用于在培训过程中，按照预设的频率对观众进行面部图像采集，得到观众的面部图像；
情绪识别模块2，用于对所述面部图像进行情绪识别，得到情绪识别结果；
整合分析模块3，用于对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师；
评价模块4，用于根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。
在一个实施例中，所述基于情绪识别的线上培训效果评估装置还包括：
模型创建单元，用于建立基于深度学习的情绪识别卷积神经网络模型，所述情绪识别卷积神经网络模型包括卷积层、池化层和全连接层；
模型训练单元，用于获取人脸情绪图像数据样本集，将所述人脸情绪图像数据样本集分成样本训练集和测试集，分别利用所述训练集和测试集对所述情绪识别卷积神经网络模型进行训练和测试，得到训练完成的情绪识别积神经网络模型；
所述情绪识别模块2包括情绪识别单元，用于将所述面部图像输入至所述训练完成的情绪识别卷积神经网络模型中，获得所述情绪识别结果。
在一个具体的实施例中，所述情绪识别模块2还包括用于面部图像进行预处理的预处理单元，所述预处理单元包括：
灰度变换单元，用于对所述面部图像进行灰度级变换处理，得到灰度图片；
去噪单元，用于对所述面部图像进行去噪处理，得到处理过的面部图像。
在一个实施例中，所述整合分析模块3包括：
整理单元，用于将全部观众的情绪识别结果进行整理汇总，生成情绪分类图表；
发送单元，用于将所述情绪分类图表发送给培训讲师。
在一个具体的实施例中，所述整合分析模块3还包括：
虚拟观众生成展示单元，用于在培训讲师的客户端生成虚拟观众席，将每个观众的情绪识别结果对应显示在虚拟观众席的虚拟观众上。
在一个具体的实施例中，所述整合分析模块3还包括：
提示单元，用于当所述情绪分类图表中的指定情绪比例超过预设值时，给培训讲师发出提示。
在一个实施例中，所述评价模块4包括：
弹幕评分单元，用于收集培训过程中的弹幕评论，对所述弹幕评论进行情感分类，分类结果包括积极评论、中性评论和消极评论，根据预设的弹幕评分规则得到弹幕评分；
反馈评分单元，用于邀请所有观众对培训课程进行评价，得到反馈评分；
情绪评分单元，用于根据所述情绪分类图表利用预设的情绪评分规则得到情绪评分；
综合评分单元，用于对所述弹幕评分、反馈评分、情绪评分进行加权求和，得到最终的评价得分。
如上所述，可以理解地，本申请中提出的所述基于情绪识别的线上培训效果评估装置的各组成部分可以实现如上所述基于情绪识别的线上培训效果评估方法任一项的功能，具体结构不再赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于采集到的面部图像、情绪识别结果等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于情绪识别的线上培训效果评估方法。
上述处理器执行上述的基于情绪识别的线上培训效果评估方法，包括：
在培训过程中，按照预设的频率对观众进行面部图像采集，得到观众的面部图像；
对所述面部图像进行情绪识别，得到情绪识别结果；
对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师；
重复前述步骤直到培训结束，根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。
在一个实施例中，所述对所述面部图像进行情绪识别，得到情绪识别结果步骤，包括：
建立基于深度学习的情绪识别卷积神经网络模型，所述情绪识别卷积神经网络包括卷积层、池化层和全连接层；
获取人脸情绪图像数据样本集，将所述人脸情绪图像数据样本集分成样本训练集和测试集，分别利用所述训练集和测试集对所述情绪识别卷积神经网络模型进行训练和测试，得到训练完成的情绪识别积神经网络模型；
将所述面部图像输入至所述训练完成的情绪识别卷积神经网络模型中，获得所述情绪识别结果。
在一个实施例中，所述情绪识别卷积神经网络模型还包括输入层，用于对面部图像进行预处理，对面部图像进行预处理的步骤包括：
对所述面部图像进行灰度级变换处理，得到灰度图片；
对所述面部图像进行去噪处理，得到处理过的面部图像。
在一个实施例中，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤包括：
将全部观众的情绪识别结果进行整理汇总，生成情绪分类图表；
将所述情绪分类图表发送给培训讲师。
在一个实施例中，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤还包括：
在培训讲师的客户端生成虚拟观众席，将每个观众的情绪识别结果对应显示在虚拟观众席的虚拟观众上。
在一个实施例中，所述将所述情绪分类图表发送给培训讲师的步骤之后还包括：
当所述情绪分类图表中的指定情绪比例超过预设值时，给培训讲师发出提示。
在一个实施例中，所述根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价的步骤包括：
收集培训过程中的弹幕评论，对所述弹幕评论进行情感分类，分类结果包括积极评论、中性评论和消极评论，根据预设的弹幕评分规则得到弹幕评分；
邀请所有观众对培训课程进行评价，得到反馈评分；
根据所述情绪分类图表利用预设的情绪评分规则得到情绪评分；
对所述弹幕评分、反馈评分、情绪评分进行加权求和，得到最终的评价得分。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于情绪识别的线上培训效果评估方法包括：
在培训过程中，按照预设的频率对观众进行面部图像采集，得到观众的面部图像；
对所述面部图像进行情绪识别，得到情绪识别结果；
对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师；
重复前述步骤直到培训结束，根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。
在一个实施例中，所述对所述面部图像进行情绪识别，得到情绪识别结果步骤，包括：
建立基于深度学习的情绪识别卷积神经网络模型，所述情绪识别卷积神经网络包括卷积层、池化层和全连接层；
获取人脸情绪图像数据样本集，将所述人脸情绪图像数据样本集分成样本训练集和测试集，分别利用所述训练集和测试集对所述情绪识别卷积神经网络模型进行训练和测试，得到训练完成的情绪识别积神经网络模型；
将所述面部图像输入至所述训练完成的情绪识别卷积神经网络模型中，获得所述情绪识别结果。
在一个实施例中，所述情绪识别卷积神经网络模型还包括输入层，用于对面部图像进行预处理，对面部图像进行预处理的步骤包括：
对所述面部图像进行灰度级变换处理，得到灰度图片；
对所述面部图像进行去噪处理，得到处理过的面部图像。
在一个实施例中，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤包括：
将全部观众的情绪识别结果进行整理汇总，生成情绪分类图表；
将所述情绪分类图表发送给培训讲师。
在一个实施例中，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤还包括：
在培训讲师的客户端生成虚拟观众席，将每个观众的情绪识别结果对应显示在虚拟观众席的虚拟观众上。
在一个实施例中，所述将所述情绪分类图表发送给培训讲师的步骤之后还包括：
当所述情绪分类图表中的指定情绪比例超过预设值时，给培训讲师发出提示。
在一个实施例中，所述根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价的步骤包括：
收集培训过程中的弹幕评论，对所述弹幕评论进行情感分类，分类结果包括积极评论、中性评论和消极评论，根据预设的弹幕评分规则得到弹幕评分；
邀请所有观众对培训课程进行评价，得到反馈评分；
根据所述情绪分类图表利用预设的情绪评分规则得到情绪评分；
对所述弹幕评分、反馈评分、情绪评分进行加权求和，得到最终的评价得分。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种基于情绪识别的线上培训效果评估方法，其特征在于，包括：
在培训过程中，按照预设的频率对观众进行面部图像采集，得到观众的面部图像；
对所述面部图像进行情绪识别，得到情绪识别结果；
对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师；
重复前述步骤直到培训结束，根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。
2.根据权利要求1所述的基于情绪识别的线上培训效果评估方法，其特征在于，所述对所述面部图像进行情绪识别，得到情绪识别结果步骤之前包括：
建立基于深度学习的情绪识别卷积神经网络模型，所述情绪识别卷积神经网络模型包括卷积层、池化层和全连接层；
获取人脸情绪图像数据样本集，将所述人脸情绪图像数据样本集分成样本训练集和测试集，分别利用所述训练集和测试集对所述情绪识别卷积神经网络模型进行训练和测试，得到训练完成的情绪识别积神经网络模型；
所述对所述面部图像进行情绪识别，得到情绪识别结果的步骤包括：
将所述面部图像输入至所述训练完成的情绪识别卷积神经网络模型中，获得所述情绪识别结果。
3.根据权利要求2所述的基于情绪识别的线上培训效果评估方法，其特征在于，所述情绪识别卷积神经网络模型还包括输入层，用于对面部图像进行预处理，对面部图像进行预处理的步骤包括：
对所述面部图像进行灰度级变换处理，得到灰度图片；
对所述面部图像进行去噪处理，得到处理过的面部图像。
4.根据权利要求1所述的基于情绪识别的线上培训效果评估方法，其特征在于，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤包括：
将全部观众的情绪识别结果进行整理汇总，生成情绪分类图表；
将所述情绪分类图表发送给培训讲师。
5.根据权利要求1所述的基于情绪识别的线上培训效果评估方法，其特征在于，所述对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师的步骤还包括：
在培训讲师的客户端生成虚拟观众席，将每个观众的情绪识别结果对应显示在虚拟观众席的虚拟观众上。
6.根据权利要求4所述的基于情绪识别的线上培训效果评估方法，其特征在于，所述将所述情绪分类图表发送给培训讲师的步骤之后还包括：
当所述情绪分类图表中的指定情绪比例超过预设值时，给培训讲师发出提示。
7.根据权利要求4所述的基于情绪识别的线上培训效果评估方法，其特征在于，所述根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价的步骤包括：
收集培训过程中的弹幕评论，对所述弹幕评论进行情感分类，分类结果包括积极评论、中性评论和消极评论，根据预设的弹幕评分规则得到弹幕评分；
邀请所有观众对培训课程进行评价，得到反馈评分；
根据所述情绪分类图表利用预设的情绪评分规则得到情绪评分；
对所述弹幕评分、反馈评分、情绪评分进行加权求和，得到最终的评价得分。
8.一种基于情绪识别的线上培训效果评估装置，其特征在于，包括：
采集模块，用于在培训过程中，按照预设的频率对观众进行面部图像采集，得到观众的面部图像；
情绪识别模块，用于对所述面部图像进行情绪识别，得到情绪识别结果；
整合分析模块，用于对所述情绪识别结果进行整合分析，将分析结果发送给培训讲师；
评价模块，用于根据培训过程中生成的弹幕评论、培训结束后观众的反馈评分以及培训过程中观众的情绪变化情况对整个培训过程做出评价。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011306725.5A CN112418068B (zh) | 2020-11-19 | 2020-11-19 | 基于情绪识别的线上培训效果评估方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011306725.5A CN112418068B (zh) | 2020-11-19 | 2020-11-19 | 基于情绪识别的线上培训效果评估方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112418068A true CN112418068A (zh) | 2021-02-26 |
| CN112418068B CN112418068B (zh) | 2024-09-27 |
Family
ID=74774306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011306725.5A Active CN112418068B (zh) | 2020-11-19 | 2020-11-19 | 基于情绪识别的线上培训效果评估方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112418068B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723284A (zh) * | 2021-08-30 | 2021-11-30 | 未鲲(上海)科技服务有限公司 | 信息生成方法、终端设备及存储介质 |
| CN113744445A (zh) * | 2021-09-06 | 2021-12-03 | 北京雷石天地电子技术有限公司 | 一种比赛投票方法、装置、计算机设备和存储介质 |
| CN114170356A (zh) * | 2021-12-09 | 2022-03-11 | 米奥兰特(浙江)网络科技有限公司 | 线上路演方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107085721A (zh) * | 2017-06-26 | 2017-08-22 | 厦门劢联科技有限公司 | 一种基于人像识别的智能巡课管理系统 |
| CN107958433A (zh) * | 2017-12-11 | 2018-04-24 | 吉林大学 | 一种基于人工智能的在线教育人机交互方法与系统 |
| CN108984516A (zh) * | 2018-06-11 | 2018-12-11 | 华东师范大学 | 一种基于弹幕评论云数据的在线课程内容测评方法及系统 |
| CN109523290A (zh) * | 2018-09-14 | 2019-03-26 | 平安科技（深圳）有限公司 | 基于听众微表情的听讲评价方法、装置、设备及介质 |
| CN110363084A (zh) * | 2019-06-10 | 2019-10-22 | 北京大米科技有限公司 | 一种上课状态检测方法、装置、存储介质及电子 |
| CN110807585A (zh) * | 2019-10-30 | 2020-02-18 | 山东商业职业技术学院 | 一种学员课堂学习状态在线评估方法及系统 |
| CN111275591A (zh) * | 2020-01-15 | 2020-06-12 | 河海大学 | 一种用于在线教育的教学质量评估方法 |
-
2020
- 2020-11-19 CN CN202011306725.5A patent/CN112418068B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107085721A (zh) * | 2017-06-26 | 2017-08-22 | 厦门劢联科技有限公司 | 一种基于人像识别的智能巡课管理系统 |
| CN107958433A (zh) * | 2017-12-11 | 2018-04-24 | 吉林大学 | 一种基于人工智能的在线教育人机交互方法与系统 |
| CN108984516A (zh) * | 2018-06-11 | 2018-12-11 | 华东师范大学 | 一种基于弹幕评论云数据的在线课程内容测评方法及系统 |
| CN109523290A (zh) * | 2018-09-14 | 2019-03-26 | 平安科技（深圳）有限公司 | 基于听众微表情的听讲评价方法、装置、设备及介质 |
| CN110363084A (zh) * | 2019-06-10 | 2019-10-22 | 北京大米科技有限公司 | 一种上课状态检测方法、装置、存储介质及电子 |
| CN110807585A (zh) * | 2019-10-30 | 2020-02-18 | 山东商业职业技术学院 | 一种学员课堂学习状态在线评估方法及系统 |
| CN111275591A (zh) * | 2020-01-15 | 2020-06-12 | 河海大学 | 一种用于在线教育的教学质量评估方法 |
Non-Patent Citations (1)
| Title |
|---|
| 龚雅云等: ""基于面部情绪识别的物理实验教学过程评价"", 物理实验》, vol. 40, no. 09, pages 20 - 25 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723284A (zh) * | 2021-08-30 | 2021-11-30 | 未鲲(上海)科技服务有限公司 | 信息生成方法、终端设备及存储介质 |
| CN113744445A (zh) * | 2021-09-06 | 2021-12-03 | 北京雷石天地电子技术有限公司 | 一种比赛投票方法、装置、计算机设备和存储介质 |
| CN114170356A (zh) * | 2021-12-09 | 2022-03-11 | 米奥兰特(浙江)网络科技有限公司 | 线上路演方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112418068B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pabba et al. | An intelligent system for monitoring students' engagement in large classroom teaching through facial expression recognition | |
| CN108648757B (zh) | 一种基于多维度课堂信息的分析方法 | |
| US10504268B1 (en) | Systems and methods for generating facial expressions in a user interface | |
| CN112418068A (zh) | 基于情绪识别的线上培训效果评估方法、装置和设备 | |
| Modi et al. | Facial emotion recognition using convolution neural network | |
| CN109522815A (zh) | 一种专注度评估方法、装置及电子设备 | |
| CN111160189A (zh) | 一种基于动态目标训练的深度神经网络人脸表情识别方法 | |
| CN113762107A (zh) | 对象状态评估方法、装置、电子设备及可读存储介质 | |
| Atanassov et al. | Pre-trained Deep Learning Models for Facial Emotions Recognition | |
| CN115546861A (zh) | 一种在线课堂专注度识别方法、系统、设备及介质 | |
| Zakka et al. | Estimating student learning affect using facial emotions | |
| CN116050892A (zh) | 一种基于人工智能的智能教育评价监督方法 | |
| CN113257060A (zh) | 一种答疑解决方法、装置、设备和存储介质 | |
| CN109214616B (zh) | 一种信息处理装置、系统和方法 | |
| CN115797829A (zh) | 一种在线课堂学习状态分析方法 | |
| CN114821742A (zh) | 一种实时识别儿童或青少年面部表情的方法和装置 | |
| CN113792626A (zh) | 一种基于教师非言语行为的教学过程评价方法 | |
| Chen et al. | Developing AI into Explanatory Supporting Models: An Explanation-visualized Deep Learning Prototype for Computer Supported Collaborative Learning | |
| CN110705523B (zh) | 一种基于神经网络的创业者路演能力测评方法及其测评系统 | |
| CN115995116A (zh) | 基于计算机视觉的抑郁状态评估方法、装置、终端及介质 | |
| CN111898576B (zh) | 一种基于人体骨架时空关系的行为识别方法 | |
| CN115661885A (zh) | 一种基于表情识别的学生心理状态分析方法及装置 | |
| CN113887339A (zh) | 融合表面肌电信号与唇部图像的无声语音识别系统及方法 | |
| Zhu et al. | Emotion Recognition in Learning Scenes Supported by Smart Classroom and Its Application. | |
| Shenoy et al. | A Study on various Applications of Computer Vision for Teaching Learning in Classroom |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |