CN112883867A - 一种基于图像情感分析的学生在线学习评估方法及系统 - Google Patents

一种基于图像情感分析的学生在线学习评估方法及系统 Download PDF

Info

Publication number
CN112883867A
CN112883867A CN202110183522.XA CN202110183522A CN112883867A CN 112883867 A CN112883867 A CN 112883867A CN 202110183522 A CN202110183522 A CN 202110183522A CN 112883867 A CN112883867 A CN 112883867A
Authority
CN
China
Prior art keywords
image
face
student
emotion
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110183522.XA
Other languages
English (en)
Inventor
李添财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huicai Chuangzhi Technology Co ltd
Original Assignee
Guangzhou Huicai Chuangzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huicai Chuangzhi Technology Co ltd filed Critical Guangzhou Huicai Chuangzhi Technology Co ltd
Priority to CN202110183522.XA priority Critical patent/CN112883867A/zh
Publication of CN112883867A publication Critical patent/CN112883867A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像情感分析的学生在线学习评估方法及系统，所述方法包括：通过摄像头在预设的学习时间段内对学生进行实时拍摄；采用图像识别技术对图像进行人脸检测，判断所拍摄的图像是否包含人脸；在判断所拍摄的图像包含人脸时，对所拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息；根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。本发明通过在线学习课程和摄像头对学生的学习状态进行实时监控，结合图像识别技术和情感识别技术分析出教学过程中每一个时刻的教学效果，从而对教学效果进行实时反馈和细节内容的评估，并对整体教学效果进行分析和评估，提高在线学习评估的准确性和客观性。

Description

一种基于图像情感分析的学生在线学习评估方法及系统
技术领域
本发明涉及在线教育技术领域，尤其是涉及一种基于图像情感分析的学生在线学习评估方法及系统。
背景技术
教学评估是教育领域的一个重要工作，也是教学工作评价的重要指标。由于评价机制的不完善，当前学校教育和教育培训的教学评估体系都面临着诸多的挑战。在传统教学方式中，教育领域主要习惯于学生对教师或课程进行评分，教师对学生进行考试，这样的方法进行双向评估。
但是，在对现有的教学评估方法的研究与实践的过程中，本发明的发明人发现，传统教学评估方法中对于学生对教师或课程的评分，经常会受到其他因素的影响，例如：教师的权威、学生对成绩的担忧以及学生对教学效果缺乏对比的经验等等。另外，教师对学生进行考试评估也不尽人意，例如：考试的试卷是否全面，难度是否合适，学生考试状态是否正常等等。由于测试的时间短，主观因素太大，导致这些测试或评分难以真正的表达教学评估的效果。因此，亟需一种能够克服上述缺陷的学生在线学习评估方法。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于图像情感分析的学生在线学习评估方法及系统，能够结合图像识别技术和情感识别技术对在线教学效果进行评估。
为解决上述问题，本申请实施例的第一方面提供了一种基于图像情感分析的学生在线学习评估方法，至少包括如下步骤：
通过摄像头在预设的学习时间段内对学生的神态进行实时拍摄，并存储所拍摄的图像至学习系统中；
采用图像识别技术对所述图像进行人脸检测，判断所述拍摄的图像是否包含人脸；
在判断所述拍摄的图像包含人脸时，对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息；
根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。
在第一方面的一种可能的实现方式中，所述基于图像情感分析的学生在线学习评估方法，还包括：
统计所有学生在每个预设时间点对该课程的教学评分。
在第一方面的一种可能的实现方式中，所述基于图像情感分析的学生在线学习评估方法，还包括：
当学生登录学习系统时，通过所述学习系统提示学生打开摄像头，并提示调整摄像头位置。
在第一方面的一种可能的实现方式中，所述基于图像情感分析的学生在线学习评估方法，还包括：
在判断所述拍摄的图像不包含人脸时，通过所述学习系统对学生进行提醒，并将该不包含人脸的图像进行保存。
在第一方面的一种可能的实现方式中，所述采用图像识别技术对所述图像进行人脸检测，具体包括：
根据含人脸特征的图像对进行支持向量机模型训练，得到人脸检测模板；
通过所述人脸检测模板对输入的图像进行人脸检测，得到人脸外接矩形在所述图像中的坐标信息。
在第一方面的一种可能的实现方式中，所述通过所述人脸检测模板对输入的图像进行人脸检测，包括：
对所述输入的图像进行放大或缩小，构造图像金字塔；
采用滑动窗口技术对所述图像金字塔进行人脸检测。
在第一方面的一种可能的实现方式中，在完成所述人脸检测后，还包括：
对检测出的人脸进行预处理，包括灰度化、人脸裁剪和人脸对齐。
在第一方面的一种可能的实现方式中，所述对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息，包括：
采用神经网络对包含人脸的图像进行情感识别训练，得到情感识别神经网络模型；
对所述包含人脸的图像进行人脸面部特征提取，得到纹理特征和边缘特征；
将所述纹理特征和边缘特征进行滤波处理，得到人脸特征的边缘特征图；
将所述纹理特征和边缘特征输入至所述情感识别神经网络模型中进行训练，输出得到最终的特征向量；
将所述最终的特征向量输入至Softmax函数中，得到每个心理状态的得分，并选取分数最高的作为当前识别图像中人脸的心理状态。
在第一方面的一种可能的实现方式中，所述对所述包含人脸的图像进行人脸面部特征提取，得到纹理特征和边缘特征，包括：
采用LBP算法根据每个像素点周边的8个临近像素的灰度值与中心灰度值进行比较，以使每个像素点得到一个8位的编码，提取得到纹理特征；
通过Gabor滤波器对所述图像进行边缘检测，得到对应的边缘特征。
本申请实施例的第二方面提供了一种基于图像情感分析的学生在线学习评估系统，包括：
人脸采集模块，用于通过摄像头在预设的学习时间段内对学生的神态进行实时拍摄，并存储所拍摄的图像至学习系统中；
人脸检测模块，用于采用图像识别技术对所述图像进行人脸检测，判断所述拍摄的图像是否包含人脸；
情感识别分析模块，用于在判断所述拍摄的图像包含人脸时，对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息；
教学评分模块，用于根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的一种基于图像情感分析的学生在线学习评估方法及系统，所述方法包括：通过摄像头在预设的学习时间段内对学生的神态进行实时拍摄，并存储所拍摄的图像至学习系统中；采用图像识别技术对所述图像进行人脸检测，判断所述拍摄的图像是否包含人脸；在判断所述拍摄的图像包含人脸时，对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息；根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。
与现有技术相比，本发明实施例能够通过在线学习课程和摄像头对学生的学习状态进行实时监控，结合图像识别技术和情感识别技术分析出教学过程中每一个时刻的教学效果，实现了教学评估的颗粒化和实时化，对教学效果进行实时反馈和细节内容的评估，并对整体教学效果进行分析和评估，提高在线学习评估的准确性和客观性。
附图说明
图1为本发明第一实施例提供的一种基于图像情感分析的学生在线学习评估方法的流程示意图；
图2为本发明第一实施例提供的另一种基于图像情感分析的学生在线学习评估方法的流程示意图；
图3为本发明第一实施例提供的情感识别框架的流程示意图；
图4为本发明第二实施例提供的种基于图像情感分析的学生在线学习评估系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。
首先介绍本发明可以提供的应用场景，如对在线学习课程进行实时教学效果评估。
本发明第一实施例：
请参阅图1-3。
如图1所示，本实施例提供了一种基于图像情感分析的学生在线学习评估方法，至少包括如下步骤：
S1、通过摄像头在预设的学习时间段内对学生的神态进行实时拍摄，并存储所拍摄的图像至学习系统中。
具体的，对于步骤S1，管理者可预先设置学习时间段内摄像头的拍摄周期，对学生的神态进行实时拍摄和存储。例如，将每次学习时间段分割为1分钟一组，每分钟拍摄一次。即保证了教学的颗粒度足够小，又不会太过频繁的拍照，对系统产生负担。另外，在图片保存后，还需要记录学生账号、视频名和视频播放的时间，以供后续分析使用。
S2、采用图像识别技术对所述图像进行人脸检测，判断所述拍摄的图像是否包含人脸。
具体的，对于步骤S2，采用图像识别技术对摄像头拍摄的图像进行人脸检测，判断拍摄的图像中是否包含人脸，若图像中如果不包含人脸则无法对学生的状态进行分析。
S3、在判断所述拍摄的图像包含人脸时，对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息。
具体的，对于步骤S3，对包含人脸的图像进行情感识别分析，检测学生的心里状态。使用神经网络对包含人脸的图像进行情感识别训练，主要将图像进行情感分类。训练图像来源于Cohn-Kanade(CK)Database。该数据库是由美国卡内基梅隆大学机器人研究所和心理学系共同建立的人脸面部表情数据库。包含210位年龄跨度在18-50岁成年人的2105个正面照，其中包含了69％的女性和31％的男性。
在神经网络经过训练后，将拍摄的学生图像输入到神经网络，得出分类结果，就可以评估出当前学生的心里状态。学生的主要心理状态包括：生气、高兴、悲伤、惊讶、厌恶、恐惧、蔑视和中性。
S4、根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。
具体的，对于步骤S4，学生的心理状态对教学效果的影响是不同的。例如：如果学生表现为生气，说明学生对教学的过程产生了非常大的不满；但是如果学生表现为高兴，说明学生对教学的过程感到满意。
因此要对不同的心理状态进行分数换算。具体换算分数如下表所示：
Figure BDA0002940679840000061
Figure BDA0002940679840000071
不同心理状态的分值，通过使用统计算法进行估计，要求保证所有课程的最终评估结果符合正态分布。计算的结果会出现小数，对结果进行取整操作，形成最终的分值结果。
在优选的实施例中，所述基于图像情感分析的学生在线学习评估方法，还包括：
统计所有学生在每个预设时间点对该课程的教学评分。
具体的，对该课程所有学生进行统计分析，统计出一门课每个时间点听课学生的状态分值，对分值求平均数，表示这门课程在这个时间点的最终教学效果。对一门课程所有时间的教学效果进行汇总可以形成一个连续的曲线，从而能够形象直观地表示出每一个教学点的具体教学效果。
在具体的实施例中，还提供了如图2所示的另一种基于图像情感分析的学生在线学习评估方法，具体步骤如下：启动摄像头，通过学生的摄像头对学生进行拍摄；每隔一分钟拍摄一次图像，对学生的状态图像进行检测，检测是否包含人脸；若是，则对包含人脸的图像进行情感识别分析，检测学生的心理状态，对每个状态进行评分，对该课程同时段所有的学生状态分数进行平均计算，进行统计法分析，形成实时课程效果图；若否，则提示学生调整摄像头，继续每隔一分钟拍摄一次图像。
在优选的实施例中，所述基于图像情感分析的学生在线学习评估方法，还包括：
当学生登录学习系统时，通过所述学习系统提示学生打开摄像头，并提示调整摄像头位置。
具体的，本实施例主要应用于在线教育方面。要想对教学效果进行实时的评估，就要抓住学生的实时反馈。在在线教育中，学生唯一的实时反馈就是学生的神态，因此需要对学生的神态进行实时拍摄。当学生进入学习系统时，系统就会提示学生打开摄像头，并告知学生摄像头的用途。同时，系统通过检测当前摄像头位置是否为最佳拍摄位置，并提示用户对摄像头的位置进行调整。
在优选的实施例中，所述基于图像情感分析的学生在线学习评估方法，还包括：
在判断所述拍摄的图像不包含人脸时，通过所述学习系统对学生进行提醒，并将该不包含人脸的图像进行保存。
具体的，当发现图像不包含人脸时，则对学员进行提醒。对于不包含人脸的图像仍需进行保存。不包含人脸的图像可能原因是：摄像头位置不对，这需要学员进行调整；学员不在电脑旁，这说明学员临时有事，或者学员对课程没有兴趣。因此不包含人脸的图像对教学效果仍有一定的意义。
在具体的实施例中，本实施例提供的一种情感识别框架如图3所示，主要有人脸检测、人脸预处理、特征提取、人脸分类四部分组成。首先，从视频帧中使用OpenCV函数库检测人脸，并对人脸进行灰度化、人脸裁剪和人脸对齐；然后使用不同算法对人脸面部特征进行提取，找到最能表征面部情感的特征；最后使用上一步得到的特征向量对分类器进行训练，最终输出视频帧中对应的表情类别。
在优选的实施例中，所述采用图像识别技术对所述图像进行人脸检测，具体包括：
根据含人脸特征的图像对进行支持向量机模型训练，得到人脸检测模板；
通过所述人脸检测模板对输入的图像进行人脸检测，得到人脸外接矩形在所述图像中的坐标信息。
在优选的实施例中，所述通过所述人脸检测模板对输入的图像进行人脸检测，包括：
对所述输入的图像进行放大或缩小，构造图像金字塔；
采用滑动窗口技术对所述图像金字塔进行人脸检测。
具体的，人脸检测的目标是找出图像中所有的人脸对应的位置，算法的输出是人脸外接矩形在图像中的坐标，可能还包括姿态如倾斜角度等信息。人脸的结构是确定的，由眉毛、眼睛、鼻子、耳朵和嘴等部位组成，近似是一个刚体。
首先通过大量眉毛、眼睛、鼻子、耳朵和嘴图像进行支持向量机模型训练，得到一个解决多类分类问题的分类器，称为人脸检测模板。向这个模板输入固定大小的图像，判断图像中是不是存在眉毛、眼睛、鼻子、耳朵和嘴，并得出这些部位的具体位置。将这些位置合并在一起，得出人脸的大概位置。
但是，由于人脸可能出现在图像的任何位置，在检测时需要滑动窗口技术进行检测，采用固定大小的窗口对图像从上到下、从左到右扫描，判断窗口里的子图像是否为人脸。并且，为了检测不同大小的人脸，还需要对图像进行放大或者缩小构造图像金字塔(同一张图片进行放大和缩小操作，形成的一组图像，就叫做图像金字塔)，对每张缩放后的图像都用上面的方法进行扫描。由于采用了滑动窗口扫描技术，并且要对图像进行反复缩放然后扫描，从而提高了人脸检测的准确性。
在优选的实施例中，在完成所述人脸检测后，还包括：
对检测出的人脸进行预处理，包括灰度化、人脸裁剪和人脸对齐。
具体的，找到人脸之后要对人脸进行灰度化、人脸裁剪、人脸对齐。由于一般我们使用的图像都是彩色图像，彩色图像在处理时，颜色等信息对结果的参考意义不大，但却会消耗大量的计算资源，因此把彩色图像转换成灰色图像。灰色图是指用0——255表示一个像素点的灰度。一般彩色图像是用三个0——255的数字(分别表示红色、绿色、蓝色)表示一个像素点的颜色。
在具体的实施例中，采用如下公式来进行灰度化：
Figure BDA0002940679840000101
公式中的R、G、B分别表示彩色图像中每个像素点的红色、绿色、蓝色的值。
转化成灰度图之后进行人脸裁剪，即根据人脸的位置，裁剪图像，删除其他非人脸的部分。
裁剪出来的图像大小、形状都不一样，因此需要人脸对齐。即把所有图像转化成长宽一致的图像。
在优选的实施例中，所述对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息，包括：
采用神经网络对包含人脸的图像进行情感识别训练，得到情感识别神经网络模型；
对所述包含人脸的图像进行人脸面部特征提取，得到纹理特征和边缘特征；
将所述纹理特征和边缘特征进行滤波处理，得到人脸特征的边缘特征图；
将所述纹理特征和边缘特征输入至所述情感识别神经网络模型中进行训练，输出得到最终的特征向量；
将所述最终的特征向量输入至Softmax函数中，得到每个心理状态的得分，并选取分数最高的作为当前识别图像中人脸的心理状态。
具体的，使用神经网络对包含人脸的图像进行情感识别训练，主要将图像进行情感分类；在完成人脸面部特征提取后，将得到的纹理特征和边缘特征在人脸图像上进行滤波，得出的结果计算平方和再开方。最后得出人脸的边缘特征图；将两种算法的出的特征输入到神经网络中，经过神经网络的训练，输出最终的特征向量，该向量在现实中不具有实际意义，只有数学含义。特征向量的长度为8，代表8种心理状态；使用上一步得到的特征向量输入到Softmax函数中，函数最后的输出结果是每个心理状态的得分，分数为百分比，即表示当前图像属于哪一种心理状态的概率大小；最后选取概率最大的心理状态作为输出结果，即对应的表情类别。
其中，Softmax函数的计算方法为：
Figure BDA0002940679840000111
其中xj表示向量中第j个值，K＝8。
在本实施例中的神经网络模型是基于GoogleNet模型的一种变形，它在训练时不需要依赖手工特征，但使用图像作为输入做特征抽取无论是性能还是效率上都表现很好。允许使用未经预处理的原始图像作为模型的输入。性能的提升主要通过增加神经元的数目或者增进网络层数，同时使用深度稀疏网络降低过拟合的风险，同时减小计算量。
在优选的实施例中，所述对所述包含人脸的图像进行人脸面部特征提取，得到纹理特征和边缘特征，包括：
采用LBP算法根据每个像素点周边的8个临近像素的灰度值与中心灰度值进行比较，以使每个像素点得到一个8位的编码，提取得到纹理特征；
通过Gabor滤波器对所述图像进行边缘检测，得到对应的边缘特征。
具体的，使用不同算法对人脸面部特征进行提取，找到最能表征面部情感的特征。
首先采用LBP算法根据每个像素周边8个临近像素的灰度值，和中心灰度值比较，使每个像素点得到一个八位的编码(大于为1，小于为0)，LBP算法可以去除光照，方向的影响，方便提取纹理特征。
再通过Gabor滤波器对所述图像进行边缘检测，Gabor滤波器是用作边缘检测的线性滤波器。在使用中首先建立滤波器，一个Gabor滤波器是指两组边缘特征图片，每一组具有5*8个图像。5表示图像边缘特征的不同，8表示图像边缘特征的方向。而两组特征的区别在于黑白颜色是相反的。
本实施例提供的一种基于图像情感分析的学生在线学习评估方法，包括：通过摄像头在预设的学习时间段内对学生的神态进行实时拍摄，并存储所拍摄的图像至学习系统中；采用图像识别技术对所述图像进行人脸检测，判断所述拍摄的图像是否包含人脸；在判断所述拍摄的图像包含人脸时，对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息；根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。
与现有技术相比，本实施例能够通过在线学习课程和摄像头对学生的学习状态进行实时监控，实现了基于图像识别的学生情感识别；结合图像识别技术和情感识别技术分析出教学过程中每一个时刻的教学效果，实现了教学评估的颗粒化和实时化，教学评估效果可以短时间立刻查看，不仅对教学效果进行实时反馈和细节内容的评估，还对整体教学效果进行分析和评估，克服了现有技术无法对教学效果进行实时反馈，要等到课程结束之后才能知道结果，避免了只能对教学的整体进行反馈导致粒度太大和无法评估教学的细节内容的问题，提高在线学习评估的准确性和客观性。
本发明第二实施例：
请参阅图4。
如图4所示，本实施例提供了一种基于图像情感分析的学生在线学习评估系统，包括：
人脸采集模块100，用于通过摄像头在预设的学习时间段内对学生的神态进行实时拍摄，并存储所拍摄的图像至学习系统中。
具体的，对于人脸采集模块100，可预先设置学习时间段内摄像头的拍摄周期，对学生的神态进行实时拍摄和存储。例如，将每次学习时间段分割为1分钟一组，每分钟拍摄一次。即保证了教学的颗粒度足够小，又不会太过频繁的拍照，对系统产生负担。另外，在图片保存后，还需要记录学生账号、视频名和视频播放的时间，以供后续分析使用。
在优选的实施例中，所述人脸采集模块100，还用于当学生登录学习系统时，通过所述学习系统提示学生打开摄像头，并提示调整摄像头位置。
人脸检测模块200，用于采用图像识别技术对所述图像进行人脸检测，判断所述拍摄的图像是否包含人脸。
具体的，对于人脸检测模块200，采用图像识别技术对摄像头拍摄的图像进行人脸检测，判断拍摄的图像中是否包含人脸，若图像中如果不包含人脸则无法对学生的状态进行分析。
在优选的实施例中，所述人脸检测模块200，还用于在判断所述拍摄的图像不包含人脸时，通过所述学习系统对学生进行提醒，并将该不包含人脸的图像进行保存。具体的，当发现图像不包含人脸时，则对学员进行提醒。对于不包含人脸的图像仍需进行保存。不包含人脸的图像可能原因是：摄像头位置不对，这需要学员进行调整；学员不在电脑旁，这说明学员临时有事，或者学员对课程没有兴趣。因此不包含人脸的图像对教学效果仍有一定的意义。
情感识别分析模块300，用于在判断所述拍摄的图像包含人脸时，对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息。
具体的，对于情感识别分析模块300，对包含人脸的图像进行情感识别分析，检测学生的心里状态。使用神经网络对包含人脸的图像进行情感识别训练，主要将图像进行情感分类。在神经网络经过训练后，将拍摄的学生图像输入到神经网络，得出分类结果，就可以评估出当前学生的心里状态。学生的主要心理状态包括：生气、高兴、悲伤、惊讶、厌恶、恐惧、蔑视和中性。
教学评分模块400，用于根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。
具体的，对于教学评分模块400，学生的心理状态对教学效果的影响是不同的。例如：如果学生表现为生气，说明学生对教学的过程产生了非常大的不满；但是如果学生表现为高兴，说明学生对教学的过程感到满意。不同心理状态的分值，通过使用统计算法进行估计，要求保证所有课程的最终评估结果符合正态分布。计算的结果会出现小数，对结果进行取整操作，形成最终的分值结果。
在优选的实施例中，所述教学评分模块400，还用于统计所有学生在每个预设时间点对该课程的教学评分。具体的，对该课程所有学生进行统计分析，统计出一门课每个时间点听课学生的状态分值，对分值求平均数，表示这门课程在这个时间点的最终教学效果。对一门课程所有时间的教学效果进行汇总可以形成一个连续的曲线，从而能够形象直观地表示出每一个教学点的具体教学效果。
本实施例提供的一种基于图像情感分析的学生在线学习评估系统，包括：人脸采集模块，用于通过摄像头在预设的学习时间段内对学生的神态进行实时拍摄，并存储所拍摄的图像至学习系统中；人脸检测模块，用于采用图像识别技术对所述图像进行人脸检测，判断所述拍摄的图像是否包含人脸；情感识别分析模块，用于在判断所述拍摄的图像包含人脸时，对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息；教学评分模块，用于根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。
本实施例能够通过在线学习课程和摄像头对学生的学习状态进行实时监控，结合图像识别技术和情感识别技术分析出教学过程中每一个时刻的教学效果，实现了教学评估的颗粒化和实时化，对教学效果进行实时反馈和细节内容的评估，并对整体教学效果进行分析和评估，提高在线学习评估的准确性和客观性。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如所述模块的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (10)

1.一种基于图像情感分析的学生在线学习评估方法，其特征在于，至少包括如下步骤：
通过摄像头在预设的学习时间段内对学生的神态进行实时拍摄，并存储所拍摄的图像至学习系统中；
采用图像识别技术对所述图像进行人脸检测，判断所述拍摄的图像是否包含人脸；
在判断所述拍摄的图像包含人脸时，对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息；
根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。
2.根据权利要求1所述的基于图像情感分析的学生在线学习评估方法，其特征在于，还包括：
统计所有学生在每个预设时间点对该课程的教学评分。
3.根据权利要求1所述的基于图像情感分析的学生在线学习评估方法，其特征在于，还包括：
当学生登录学习系统时，通过所述学习系统提示学生打开摄像头，并提示调整摄像头位置。
4.根据权利要求1所述的基于图像情感分析的学生在线学习评估方法，其特征在于，还包括：
在判断所述拍摄的图像不包含人脸时，通过所述学习系统对学生进行提醒，并将该不包含人脸的图像进行保存。
5.根据权利要求1所述的基于图像情感分析的学生在线学习评估方法，其特征在于，所述采用图像识别技术对所述图像进行人脸检测，具体包括：
根据含人脸特征的图像对进行支持向量机模型训练，得到人脸检测模板；
通过所述人脸检测模板对输入的图像进行人脸检测，得到人脸外接矩形在所述图像中的坐标信息。
6.根据权利要求5所述的基于图像情感分析的学生在线学习评估方法，其特征在于，所述通过所述人脸检测模板对输入的图像进行人脸检测，包括：
对所述输入的图像进行放大或缩小，构造图像金字塔；
采用滑动窗口技术对所述图像金字塔进行人脸检测。
7.根据权利要求5所述的基于图像情感分析的学生在线学习评估方法，其特征在于，在完成所述人脸检测后，还包括：
对检测出的人脸进行预处理，包括灰度化、人脸裁剪和人脸对齐。
8.根据权利要求1所述的基于图像情感分析的学生在线学习评估方法，其特征在于，所述对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息，包括：
采用神经网络对包含人脸的图像进行情感识别训练，得到情感识别神经网络模型；
对所述包含人脸的图像进行人脸面部特征提取，得到纹理特征和边缘特征；
将所述纹理特征和边缘特征进行滤波处理，得到人脸特征的边缘特征图；
将所述纹理特征和边缘特征输入至所述情感识别神经网络模型中进行训练，输出得到最终的特征向量；
将所述最终的特征向量输入至Softmax函数中，得到每个心理状态的得分，并选取分数最高的作为当前识别图像中人脸的心理状态。
9.根据权利要求8所述的基于图像情感分析的学生在线学习评估方法，其特征在于，所述对所述包含人脸的图像进行人脸面部特征提取，得到纹理特征和边缘特征，包括：
采用LBP算法根据每个像素点周边的8个临近像素的灰度值与中心灰度值进行比较，以使每个像素点得到一个8位的编码，提取得到纹理特征；
通过Gabor滤波器对所述图像进行边缘检测，得到对应的边缘特征。
10.一种基于图像情感分析的学生在线学习评估系统，其特征在于，包括：
人脸采集模块，用于通过摄像头在预设的学习时间段内对学生的神态进行实时拍摄，并存储所拍摄的图像至学习系统中；
人脸检测模块，用于采用图像识别技术对所述图像进行人脸检测，判断所述拍摄的图像是否包含人脸；
情感识别分析模块，用于在判断所述拍摄的图像包含人脸时，对所述拍摄的图像进行情感识别分析，检测该学生对应的心理状态信息；
教学评分模块，用于根据所述心理状态信息进行状态分值换算，得到该学生对该课程的教学评分。
CN202110183522.XA 2021-02-09 2021-02-09 一种基于图像情感分析的学生在线学习评估方法及系统 Pending CN112883867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110183522.XA CN112883867A (zh) 2021-02-09 2021-02-09 一种基于图像情感分析的学生在线学习评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110183522.XA CN112883867A (zh) 2021-02-09 2021-02-09 一种基于图像情感分析的学生在线学习评估方法及系统

Publications (1)

Publication Number Publication Date
CN112883867A true CN112883867A (zh) 2021-06-01

Family

ID=76057511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110183522.XA Pending CN112883867A (zh) 2021-02-09 2021-02-09 一种基于图像情感分析的学生在线学习评估方法及系统

Country Status (1)

Country Link
CN (1) CN112883867A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393346A (zh) * 2021-06-04 2021-09-14 伍壹捌肆职业教育咨询(广州)有限责任公司 学习状态与成效判断方法、装置、计算机设备及存储介质
CN113673811A (zh) * 2021-07-05 2021-11-19 北京师范大学 一种基于session的在线学习绩效评估方法及装置
CN114998975A (zh) * 2022-07-15 2022-09-02 电子科技大学成都学院 一种基于大数据的外语教学方法及装置
CN115860995A (zh) * 2022-12-09 2023-03-28 广州沐思信息科技有限公司 基于云计算的智能培训监督方法及系统
CN116227968A (zh) * 2022-12-13 2023-06-06 广州华翰教育科技股份有限公司 根据实时监控信息反馈分析的网络教育效果检验系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
CN106469298A (zh) * 2016-08-31 2017-03-01 乐视控股（北京）有限公司 基于人脸图像的年龄识别方法及装置
CN108960201A (zh) * 2018-08-01 2018-12-07 西南石油大学 一种基于人脸关键点提取和稀疏表达分类的表情识别方法
CN109978732A (zh) * 2017-12-28 2019-07-05 天津玥食通科技有限公司 一种教学评估方法
CN111178195A (zh) * 2019-12-18 2020-05-19 中国平安人寿保险股份有限公司 人脸表情识别方法、装置及计算机可读存储介质
CN111178242A (zh) * 2019-12-27 2020-05-19 上海掌学教育科技有限公司 一种面向在线教育的学生人脸表情识别方法及系统
CN111353363A (zh) * 2019-08-19 2020-06-30 深圳市鸿合创新信息技术有限责任公司 一种教学效果检测方法及装置、电子设备
CN111428671A (zh) * 2020-03-31 2020-07-17 杭州博雅鸿图视频技术有限公司 人脸结构化信息识别方法、系统、装置及存储介质
CN111985364A (zh) * 2020-08-06 2020-11-24 深圳拔越软件有限公司 一种远程互联网教育学生行为评价方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
CN106469298A (zh) * 2016-08-31 2017-03-01 乐视控股（北京）有限公司 基于人脸图像的年龄识别方法及装置
CN109978732A (zh) * 2017-12-28 2019-07-05 天津玥食通科技有限公司 一种教学评估方法
CN108960201A (zh) * 2018-08-01 2018-12-07 西南石油大学 一种基于人脸关键点提取和稀疏表达分类的表情识别方法
CN111353363A (zh) * 2019-08-19 2020-06-30 深圳市鸿合创新信息技术有限责任公司 一种教学效果检测方法及装置、电子设备
CN111178195A (zh) * 2019-12-18 2020-05-19 中国平安人寿保险股份有限公司 人脸表情识别方法、装置及计算机可读存储介质
CN111178242A (zh) * 2019-12-27 2020-05-19 上海掌学教育科技有限公司 一种面向在线教育的学生人脸表情识别方法及系统
CN111428671A (zh) * 2020-03-31 2020-07-17 杭州博雅鸿图视频技术有限公司 人脸结构化信息识别方法、系统、装置及存储介质
CN111985364A (zh) * 2020-08-06 2020-11-24 深圳拔越软件有限公司 一种远程互联网教育学生行为评价方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李文倩: "面向远程教育的学习专注度识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 47 - 48 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393346A (zh) * 2021-06-04 2021-09-14 伍壹捌肆职业教育咨询(广州)有限责任公司 学习状态与成效判断方法、装置、计算机设备及存储介质
CN113673811A (zh) * 2021-07-05 2021-11-19 北京师范大学 一种基于session的在线学习绩效评估方法及装置
CN113673811B (zh) * 2021-07-05 2023-06-27 北京师范大学 一种基于session的在线学习绩效评估方法及装置
CN114998975A (zh) * 2022-07-15 2022-09-02 电子科技大学成都学院 一种基于大数据的外语教学方法及装置
CN115860995A (zh) * 2022-12-09 2023-03-28 广州沐思信息科技有限公司 基于云计算的智能培训监督方法及系统
CN115860995B (zh) * 2022-12-09 2024-02-06 广州兴趣岛信息科技有限公司 基于云计算的智能培训监督方法及系统
CN116227968A (zh) * 2022-12-13 2023-06-06 广州华翰教育科技股份有限公司 根据实时监控信息反馈分析的网络教育效果检验系统

Similar Documents

Publication Publication Date Title
CN112883867A (zh) 一种基于图像情感分析的学生在线学习评估方法及系统
US12039454B2 (en) Microexpression-based image recognition method and apparatus, and related device
CN110678875B (zh) 用于引导用户拍摄自拍照的系统和方法
CN110287790B (zh) 一种面向静态多人场景的学习状态混合分析方法
CN106204779B (zh) 基于多人脸数据采集策略和深度学习的课堂考勤方法
CN107798318A (zh) 一种机器人识别面部快乐微表情的方法及其装置
CN111242049A (zh) 一种基于面部识别的学生网课学习状态评价方法及系统
CN107798279B (zh) 一种人脸活体检测方法及装置
CN111563417A (zh) 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN107085654B (zh) 基于人脸图像的健康分析方法及装置
CN110837947B (zh) 一种基于音视频分析技术的教师授课专注度的评估方法
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN107832740B (zh) 一种远程教学的教学质量评估方法及系统
CN113657168B (zh) 基于卷积神经网络的学生学习情绪的识别方法
CN109559362B (zh) 一种图像主体脸部替换方法及装置
CN113920568B (zh) 基于视频图像的人脸和人体姿态情绪识别方法
CN111008971B (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
Guarin et al. The effect of improving facial alignment accuracy on the video-based detection of neurological diseases
CN111709305A (zh) 一种基于局部图像块的人脸年龄识别方法
CN113436735A (zh) 基于人脸结构度量的体重指数预测方法、设备和存储介质
CN114187640A (zh) 一种基于线上课堂的学情观察方法、系统、设备及介质
CN108399358B (zh) 一种在视频聊天的表情显示方法及系统
KR101734212B1 (ko) 표정 연습 시스템
Yang et al. Combining attention mechanism and dual-stream 3d convolutional neural network for micro-expression recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination