CN113963406A - 一种基于人脸表情分析的课堂教学质量监测方法 - Google Patents
一种基于人脸表情分析的课堂教学质量监测方法 Download PDFInfo
- Publication number
- CN113963406A CN113963406A CN202111224812.0A CN202111224812A CN113963406A CN 113963406 A CN113963406 A CN 113963406A CN 202111224812 A CN202111224812 A CN 202111224812A CN 113963406 A CN113963406 A CN 113963406A
- Authority
- CN
- China
- Prior art keywords
- expression
- classroom
- analysis
- facial
- teaching quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000010195 expression analysis Methods 0.000 title claims abstract description 18
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 230000014509 gene expression Effects 0.000 claims abstract description 100
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000013145 classification model Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000007405 data analysis Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000007935 neutral effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 2
- 210000000887 face Anatomy 0.000 description 10
- 238000005286 illumination Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Abstract
本发明公开了一种基于人脸表情分析的课堂教学质量监测方法，包括：网络模型训练：预先收集大量课堂参与者表情图像并进行表情类别设定，构建深度人脸表情识别神经网络，获得表情分类模型；人脸检测及表情分析：进行课堂参与者人脸实时采集，并将采集到的数据输入步骤一获得的表情分类模型进行表情识别，获得所有采集到的课堂参与者的人脸对应的表情类别结果；数据分析：对步骤二获得的课堂参与者的表情类别进行数据统计与分析，计算出不同表情类别的占比，进而对课堂教学质量进行评估。通过本发明可简单、实时、高效、客观地对教师的课堂教学质量进行评估，便于后续提高教学质量，修订教学教案。
Description
技术领域
本发明属于教学质量评价技术领域，涉及一种课堂教学质量监测方法，具体涉及一种基于人脸表情分析的课堂教学质量监测方法。
背景技术
随着国家对“双减”工作的持续推进，一种简单、高效、客观的教学质量评估方法显得格外重要。目前主要通过调查问卷、考试评估等方式评估教学质量，但是这些方法都不能高效、客观的对教师的课堂教学质量进行检测和评估。
调查问卷浪费大量的时间，且会存在每个学生的主观因素。考试评估存在大量的外界因素，且分数的高低并不能评价一个老师的课堂教学质量。检测学生的课堂行为也存在不定因素，且检测难度高，评估条件界定困难，也不能全面的对教学质量进行评定。
发明内容
为了解决现有技术存在的上述问题，本发明提供一种基于人脸表情分析的课堂教学质量监测方法，通过构建深度人脸表情识别神经网络，获得表情分类模型，实时采集堂客学生的人脸表情，并通过神经网络训练好的表情分类模型判断人脸表情对应的表情类别，最后通过统计不同的表情类别占有比例，分析教师该课堂的教学质量，通过本发明可简单、实时、高效、客观地对教师的课堂教学质量进行评估，便于后续提高教学质量，修订教学教案。
本发明的目的是通过以下技术方案实现的：
一种基于人脸表情分析的课堂教学质量监测方法，包括以下步骤：
步骤一、网络模型训练：预先收集大量课堂参与者表情图像并进行表情类别设定，构建深度人脸表情识别神经网络，获得表情分类模型；
步骤二、人脸检测及表情分析：进行课堂参与者人脸实时采集，并将采集到的数据输入步骤一获得的表情分类模型进行表情识别，获得所有采集到的课堂参与者的人脸对应的表情类别结果；
步骤三、数据分析：对步骤二获得的课堂参与者的表情类别进行数据统计与分析，计算出不同表情类别的占比，进而对课堂教学质量进行评估。
进一步地，所述步骤一包括以下步骤：
1)数据准备及标注：收集大量课堂参与者表情图像，构建表情图片数据集；对课堂参与者表情图像中的每个人脸进行手动标注，标注出该人脸对应的表情类别，设定表情类别包括：消极、积极、中性；
2)构建深度人脸表情识别神经网络；
3)对构建的深度人脸表情识别神经网络进行训练，获得表情分类模型。
更进一步地，所述步骤2)构建深度人脸表情识别神经网络，包括：
网络输入单元：读取经过步骤一标准后的课堂参与者表情图像，并对图像进行预处理后获得样本数据；
特征提取单元：对网络输入单元获得的样本数据进行特征提取，提取课堂参与者表情图像中的人脸特征，及积极、消极、中性三种表情类别中人脸对应的表情特征；
特征融合单元：将特征提取单元提取到的不同尺寸特征进行融合；
网络预测输出单元：将人脸特征及归属于不同表情类别的表情特征进行编码，输出具体的数值；根据人脸特征及表情特征就可得到图像中人脸的区域以及每个人脸对应的表情类别。
进一步地，所述步骤二包括以下步骤：
在课堂场所安装视频图像采集设备，实时捕获视频数据，将视频数据传输到上位机控制器，上位机控制器内设有训练好的表情分类模型，通过表情分类模型检测到当前视频中所有的人脸及人脸对应的表情类别；
将实时的人脸表情信息保存到上位机控制器的数据库中。
本发明的有益效果在于：
本发明通过在教学课堂场地中安装摄像头等视频采集设备，通过摄像头实时捕获学生等课堂参与者的人脸区域，根据深度人脸表情识别神经网络构建表情分类模型，通过表情分类模型实时获得每个学生的表情类别，并实时统计出不同的表情类别的占比。该堂课结束后，就能通过定量的方式得到该课程课堂教学质量，便于后续提高教学质量，修订教学教案。
附图说明
图1为本发明一种基于人脸表情分析的课堂教学质量监测方法的流程图；
图2为本发明一种基于人脸表情分析的课堂教学质量监测方法中分析数据保存与分析流程图。
图3为本发明一种基于人脸表情分析的课堂教学质量监测方法中卷积操作中的人脸特征图可视化效果示意图。
具体实施方式
以下结合附图和实施例进一步描述本发明的技术方案：
如图1所示，本实施例提供一种基于人脸表情分析的课堂教学质量监测方法，包括以下步骤：
一、网络模型训练：预先收集大量课堂参与者表情图像并进行表情类别设定，构建深度人脸表情识别神经网络，获得表情分类模型。
1.设定相关的关键词，通过搜索、爬取等方式收集大量课堂教学视频，并截取课堂教学场景的图像，收集大量学生表情图片，构建表情图片数据集。聘请一线教师、学生作为评价人员，对学生表情图片中的每个人脸进行手动标注，以矩形框的方式，分别标注出每个人脸所在的区域，通常该区域上至眉毛，左右至耳朵，下方则以下巴为边界，头发作为背景噪声的区域尽量排除；同时，标注出该人脸对应的表情类别，设定表情类别包括：消极、积极、中性。
2.构建深度人脸表情识别神经网络；深度人脸表情识别神经网络主要包括：网络输入单元、特征提取单元、特征融合单元、网络输出单元。
(1)网络输入单元：负责读取经过步骤一标准后的学生表情图片，并对图片进行预处理。由于图片数据来源不同，通常具有不同的尺寸、光照效果，直接影响神经网络模型的训练，因此要对图片进行预处理，预处理包括：对图片大小缩放、光照归一化、数据增强等，主要是数据增强处理。首先，图片大小缩放至统一尺寸(96*96像素)；通过直方图均衡化和线性映射的方法进行光照归一化；由于获取的数据量不足，还需要对图片进行数据增强，通过旋转、翻转等操作实现数据量的增大，样本数量的增多有助于网络的学习能力的增强。
(2)特征提取单元：主要通过卷积、池化、全链接的操作，依据步骤一标注过的学生表情图片进行训练，让网络学习不同表情状态的人脸特征是什么，也就是提取输入图片中的积极、消极、中性三种表情类别的人脸及对应的表情特征。表情特征是通过预先标定的训练数据由网络自动学习到的，如图3所示。
(3)特征融合单元：卷积操作中会使用不同大小的卷积核对特征图进行卷积操作，来得到不同尺寸的特征。特征融合单元负责将特征提取单元提取到的不同尺寸特征进一步的融合，达到特征增强的作用，这样得到的特征能够更好的表达人脸特征及不同表情对应的表情特征。
(4)网络预测输出单元：负责将人脸特征及归属于不同表情类别(积极、消极、中性)对应的表情特征进行编码，输出具体的数值，根据这些表情特征就可得到图片中人脸的区域以及每个人脸对应的表情类别。
3.神经网络训练，获得表情分类模型。刚构建好的深度人脸表情识别神经网络，他内部的参数都是随机初始化，此时输入图片后，网络无法输出想要的人脸区域所在的位置信息和人脸表情类别，因为此时的神经网络未经训练，无法提取到人脸特征和表情特征，因此需要对神经网络进行训练。
训练方法：网络最开始的参数、权值是随机初始化的，通过不断的输入图片，并告知神经网络与某输入对应的人脸位置及表情类别，以此来计算出神经网络输出值与真实值之间的误差；依据误差，神经网络不断调整参数，即进行权值更新，达到对网络进行训练的目的。通过对神经网络进行训练，最后获得表情分类模型。
二、人脸检测及表情分析：进行课堂参与者人脸实时采集，并将采集到的数据输入步骤一获得的表情分类模型进行表情识别，获得所有采集到的课堂参与者的人脸对应的表情类别结果。
步骤一训练后获得的表情分类模型可以对任意输入的人脸图片进行人脸检测与人脸表情类别识别。
在使用过程中，教室内安装一个摄像头，摄像头实时捕获画面，将画面传输到上位机控制器，上位机控制器内设有训练好的表情分类模型，通过表情分类模型快速检测到当前视频画面中所有的人脸及人脸对应的表情类别。
为了对数据进行分析，我们需要将实时的人脸表情信息保存到上位机控制器的数据库中，并使用数据分析系统对数据进行最终的分析，如图2所示。
三、数据分析：对步骤二获得的课堂参与者的表情类别进行数据统计与分析，计算出不同表情类别的占比，进而对课堂教学质量进行评估。
当一次课程介绍后，人脸表情类别信息采集完毕，立即启动数据分析系统进行数据分析。该数据分析系统首先统计每个学生在整个分析时间段内积极、消极、中性三种表情对应的时长；根据这些数据信息对该课程教学质量进行打分，根据分数高低，确定教学质量的好坏。
Claims (4)
1.一种基于人脸表情分析的课堂教学质量监测方法，其特征在于，包括以下步骤：
步骤一、网络模型训练：预先收集大量课堂参与者表情图像并进行表情类别设定，构建深度人脸表情识别神经网络，获得表情分类模型；
步骤二、人脸检测及表情分析：进行课堂参与者人脸实时采集，并将采集到的数据输入步骤一获得的表情分类模型进行表情识别，获得所有采集到的课堂参与者的人脸对应的表情类别结果；
步骤三、数据分析：对步骤二获得的课堂参与者的表情类别进行数据统计与分析，计算出不同表情类别的占比，进而对课堂教学质量进行评估。
2.如权利要求1所述的一种基于人脸表情分析的课堂教学质量监测方法，其特征在于，所述步骤一包括以下步骤：
1)数据准备及标注：收集大量课堂参与者表情图像，构建表情图片数据集；对课堂参与者表情图像中的每个人脸进行手动标注，标注出该人脸对应的表情类别，设定表情类别包括：消极、积极、中性；
2)构建深度人脸表情识别神经网络；
3)对构建的深度人脸表情识别神经网络进行训练，获得表情分类模型。
3.如权利要求2所述的一种基于人脸表情分析的课堂教学质量监测方法，其特征在于，所述步骤2)构建深度人脸表情识别神经网络，包括：
网络输入单元：读取经过步骤一标准后的课堂参与者表情图像，并对图像进行预处理后获得样本数据；
特征提取单元：对网络输入单元获得的样本数据进行特征提取，提取课堂参与者表情图像中的人脸特征，及积极、消极、中性三种表情类别中人脸对应的表情特征；
特征融合单元：将特征提取单元提取到的不同尺寸特征进行融合；
网络预测输出单元：将人脸特征及归属于不同表情类别的表情特征进行编码，输出具体的数值；根据人脸特征及表情特征就可得到图像中人脸的区域以及每个人脸对应的表情类别。
4.如权利要求1所述的一种基于人脸表情分析的课堂教学质量监测方法，其特征在于，所述步骤二包括以下步骤：
在课堂场所安装视频图像采集设备，实时捕获视频数据，将视频数据传输到上位机控制器，上位机控制器内设有训练好的表情分类模型，通过表情分类模型检测到当前视频中所有的人脸及人脸对应的表情类别；
将实时的人脸表情信息保存到上位机控制器的数据库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111224812.0A CN113963406A (zh) | 2021-10-21 | 2021-10-21 | 一种基于人脸表情分析的课堂教学质量监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111224812.0A CN113963406A (zh) | 2021-10-21 | 2021-10-21 | 一种基于人脸表情分析的课堂教学质量监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113963406A true CN113963406A (zh) | 2022-01-21 |
Family
ID=79465757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111224812.0A Pending CN113963406A (zh) | 2021-10-21 | 2021-10-21 | 一种基于人脸表情分析的课堂教学质量监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963406A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估系统 |
| CN109657529A (zh) * | 2018-07-26 | 2019-04-19 | 台州学院 | 基于面部表情识别的课堂教学效果评价系统 |
| CN111178242A (zh) * | 2019-12-27 | 2020-05-19 | 上海掌学教育科技有限公司 | 一种面向在线教育的学生人脸表情识别方法及系统 |
-
2021
- 2021-10-21 CN CN202111224812.0A patent/CN113963406A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估系统 |
| CN109657529A (zh) * | 2018-07-26 | 2019-04-19 | 台州学院 | 基于面部表情识别的课堂教学效果评价系统 |
| CN111178242A (zh) * | 2019-12-27 | 2020-05-19 | 上海掌学教育科技有限公司 | 一种面向在线教育的学生人脸表情识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522815B (zh) | 一种专注度评估方法、装置及电子设备 | |
| CN111242049B (zh) | 一种基于面部识别的学生网课学习状态评价方法及系统 | |
| CN107240047B (zh) | 一种教学视频的学分评估方法和装置 | |
| CN111915148B (zh) | 一种基于信息技术的课堂教学评价方法和系统 | |
| CN112115736B (zh) | 一种基于图像识别的作业批改方法、系统和智能终端 | |
| CN105825189A (zh) | 一种用于大学生到课率及上课专注度自动分析的装置 | |
| CN112183238B (zh) | 一种远程教育注意力检测方法及系统 | |
| CN105869085A (zh) | 一种成绩录入系统及图像处理的方法 | |
| CN108898115B (zh) | 数据处理方法、存储介质和电子设备 | |
| CN112132009A (zh) | 课堂行为分析方法、系统及电子设备 | |
| CN112926412A (zh) | 自适应教学课堂监控方法及系统 | |
| CN111523444A (zh) | 基于改进的Openpose模型和面部微表情的课堂行为检测的方法 | |
| CN111523445B (zh) | 一种基于改进的Openpose模型和面部微表情的考试行为检测方法 | |
| CN112101074A (zh) | 一种在线教育辅助评分方法和系统 | |
| CN113762107A (zh) | 对象状态评估方法、装置、电子设备及可读存储介质 | |
| CN111353439A (zh) | 一种教学行为的分析方法、装置、系统及设备 | |
| CN113076860B (zh) | 一种野外场景下的鸟类检测系统 | |
| CN105631410B (zh) | 一种基于智能视频处理技术的课堂检测方法 | |
| CN116269378B (zh) | 一种基于皮肤烟酸反应视频分析的心理健康状态检测装置 | |
| CN113963406A (zh) | 一种基于人脸表情分析的课堂教学质量监测方法 | |
| CN116521917A (zh) | 一种图片筛选方法及装置 | |
| CN115409413A (zh) | 一种面向学生教研的多源数据管理方法、系统及存储介质 | |
| CN115810163A (zh) | 一种基于ai课堂行为识别的教学评估方法和系统 | |
| CN112036328B (zh) | 银行客户满意度计算方法及装置 | |
| CN114550918A (zh) | 一种基于绘画特征数据的心理障碍测评方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |