CN108399376A - 学生课堂学习兴趣智能分析方法及系统 - Google Patents

学生课堂学习兴趣智能分析方法及系统 Download PDF

Info

Publication number
CN108399376A
CN108399376A CN201810124929.3A CN201810124929A CN108399376A CN 108399376 A CN108399376 A CN 108399376A CN 201810124929 A CN201810124929 A CN 201810124929A CN 108399376 A CN108399376 A CN 108399376A
Authority
CN
China
Prior art keywords
student
classroom
module
participation
learning interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810124929.3A
Other languages
English (en)
Other versions
CN108399376B (zh
Inventor
陈靓影
徐如意
张坤
韩加旭
刘乐元
彭世新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Normal University
Central China Normal University
Original Assignee
Huazhong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Normal University filed Critical Huazhong Normal University
Priority to CN201810124929.3A priority Critical patent/CN108399376B/zh
Publication of CN108399376A publication Critical patent/CN108399376A/zh
Application granted granted Critical
Publication of CN108399376B publication Critical patent/CN108399376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种学生课堂学习兴趣智能分析方法,其特征在于,包括以下步骤:采集教室内场景图像,在场景图像中定位人脸;在人脸区域中估计头部姿态,根据头部姿态评估学生的认知注意力集中程度;在人脸区域中估计面部表情,根据表情评估学生的学习情绪;记录学生在课堂上互动答题的频率与正确率,根据答题的频率与正确率评估学生的参与度;融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。本发明还提供了一种实现上述方法的系统。应用本发明能够客观地、实时地、准确地对课堂上学生的学习兴趣进行监控与分析,为授课教师提供及实时反馈,帮助其及时调整教学方式以提高教学效果。

Description

学生课堂学习兴趣智能分析方法及系统
技术领域
本发明属于教育信息化技术领域,具体涉及一种学生课堂学习兴趣智能分析方法及系统。
背景技术
学习兴趣是指个人对学习活动的一种积极认识倾向和情绪状态。兴趣是好奇心的来源,具有探究的倾向,学习兴趣可以增强学习效果。研究表明,学习兴趣影响学习发生的类型或方式,学习的过程或机制以及学习目标的完成质量,是提高学习效果的重要因素。因此对学生课堂学习兴趣的分析研究是十分有必要的。
我国现阶段对学生课堂学习兴趣的研究大多采用传统的问卷调查或案例分析等方法,其评价结果较为主观,且需要经过较长时间的统计分析才能得出,不能及时反馈给教师以改善教学行为。
随着信息技术在教育领域的快速发展,教育信息化的应用不断地拓展和深入。学生课堂学习兴趣智能化分析是计算机通过一系列从观察目标获取的信息,如视觉、听觉或生理信号等,推测出相关的兴趣状态。目前学习兴趣的智能化研究侧重于对学习情绪或者认知注意力的分析,并未综合考虑认知注意力、学习情绪、课堂参与度三个方面,不能全面反映学生的学习兴趣。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供一种学生课堂学习兴趣智能分析方法及系统,能够客观地、实时地、准确地对课堂上学生的学习兴趣进行监控与分析,为授课教师提供及实时反馈,帮助其及时调整教学方式以提高教学效果。
一种学生课堂学习兴趣智能分析方法,包括以下步骤:
(1)采集教室内场景图像,在场景图像中定位人脸;
(2)在人脸区域中估计头部姿态,根据头部姿态评估学生的认知注意力;
(3)在人脸区域中估计面部表情,根据表情评估学生的学习情绪;
(4)记录学生在课堂上互动答题的频率与正确率,根据答题的频率与正确率评估学生的参与度;
(5)融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。
进一步地,所述融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣的具体实现方式为:
提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3,其中,aij表示第i个指标对第j个指标的重要程度;根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量归一化后即为三个指标所分配的权重v=[v1,v2,v3];
融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S=S1*v1+S2*v2+S3*v3
进一步地,所述根据头部姿态评估学生的认知注意力集中程度的具体实现方式为:
根据所有参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C};然后根据信息熵计算答题频率和答题正确率的融合权重wR和wCm∈{R,C};计算课堂参与度评分S1=R×wR+C×wC
进一步地,所述根据表情评估学生的学习情绪的具体实现方式为:
在教学时间段内统计学生注视黑板、教师和学生端手持设备的时间,将其定义为注意力集中时间;将注意力集中时间与预定注意力阈值段匹配,将匹配成功的阈值段对应的分值记为注意力评分S2。
进一步地,所述根据答题的频率与正确率评估学生的参与度的具体实现方式为:
若注意力集中且表情为笑脸,表明学习情绪正面,其所持续的时间定义为正面学习情绪时间;计算正面学习情绪时间所占教学时间的比例;将该比例与预定情绪阈值段匹配,将匹配成功的阈值段对应的分值记为学习情绪评分S3。
进一步地,所述头部姿态估计的具体实现方式为:采用vgg-face模型提取人脸图片的fc6层特征,然后送入离线训练的回归随机森林中估计头部姿态。
进一步地,所述面部表情估计的具体实现方式为:采用vgg-face模型提取人脸图片的fc6层特征,按照头部姿态划分为五个区间Ω1={-30°≤ω≤+30°}、Ω2={-60°≤ω<-30°}、Ω3={+30°≤ω<+60°}、Ω4={-90°≤ω<-60°}和Ω5={+60°≤ω<+90°};根据估计的头部姿态在五个区间的概率分布作为条件概率,并按照此条件概率从对应的随机森林表情分类器中选择相应数量的决策树;将选择的决策树组装成新的随机森林分类器并估计面部表情。
一种学生课堂学习兴趣智能分析系统,包括:
摄像头,用于采集教室内场景图像;
人脸检测与分析模块,包括:人脸检测模块、头部姿态估计模块和表情识别模块;人脸检测模块,用于在所述的场景图像中检测和定位人脸区域;头部姿态估计模块,用于在人脸区域估计所述人脸的头部姿态;表情识别模块,用于在人脸区域估计所述人脸的表情;
师生互动云平台模块,包括:教师端模块,学生端模块和平台数据分析模块;教师端模块,用于教师发布互动题目和收集学生的答题情况;学生端模块,用于学生接收互动题目和提交题目答案;平台数据分析模块用于统计学生的答题频率和正确率;
学习兴趣分析模块,包括课堂参与度评分模块、注意力评分模块、参与度评分模块和融合模块;所述课堂参与度评分模块,用于根据头部姿态评估学生的认知注意力;所述注意力评分模块,用于根据表情评估学生的学习情绪;所述参与度评分模块,用于根据答题的频率与正确率评估学生的参与度;所述融合模块,用于融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。
进一步地,所述融合模块的具体实现方式为:提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3,其中,aij表示第i个指标对第j个指标的重要程度;根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量归一化后即为三个指标所分配的权重v=[v1,v2,v3];
融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S=S1*v1+S2*v2+S3*v3
进一步地,所有参与度评分模块的具体实现方式为:依据参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C};然后根据信息熵计算答题频率和答题正确率的融合权重wR和wCm∈{R,C};计算课堂参与度评分S1=R×wR+C×wC
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
本发明方法利用图像处理与模式识别获知头部姿态和面部表情,通过对认知注意力、学习情绪和课堂参与度的三维信息融合,从而实时了解学生在学习过程中的学习兴趣,便于老师了解学生的学习行为,调整教学方式,提高学习效果。
进一步地,在三维信息融合中采用主观赋权法,融合的模型能较好的度量和区分学生的学习兴趣。
进一步地,在参与度评估中采用熵权法,能够从数据样本出发,根据数据的变异性客观估计不同学习情境下的思维活跃度融合权重。
本发明视觉处理对象为大场景图像,应用本发明方法能够同时并行地观测多名学生,提高了监控效率,帮助老师瞬间掌握更多学生的课堂学习兴趣分布情况。
附图说明
图1为本发明方法流程图;
图2为本发明较佳系统较佳实施例结构图;
图3为vgg-face模型的结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明学生课堂学习兴趣智能分析方法的技术思路为:采集教室内场景图像;在场景图像中定位人脸;估计头部姿态,根据头部姿态判断学生的注意力是否集中;估计面部表情,根据表情判断学生的正负情绪;记录学生在课堂上互动答题的正确率,根据答题正确率判断学生的参与度;融合学生的注意力、学习情绪和参与度三维信息,分析学生的学习兴趣。
为了实现上述技术思路,图2示出了本发明学生课堂学习兴趣智能分析系统较佳实施例结构图,包括摄像头、人脸检测与分析模块、师生互动云平台模块、学习兴趣分析模块。摄像头用于采集教室内场景图像,人脸检测与分析模块用于定位场景中的人脸并估计头部姿态和表情,师生互动云平台模块,用于师生进行课堂问答交互并统计学生答题的频率和正确率,学习兴趣分析模块用于多模态融合分析学习兴趣。下面对各模块详细说明。
(1)摄像头,根据教室空间大小布置多个安装于天花板上,每个摄像头负责某一区域的场景图像捕获,多个摄像头的拍摄场景尽量遍及整个教室场景,其采集监测区域内含有多名学生的场景图像。
(2)人脸检测与分析模块,包括:人脸检测模块(21)、头部姿态估计模块(22)和表情识别模块(23),下面详细说明。
(21)人脸检测模块,在所述的场景图像中检测人脸区域。人脸检测可采用分层级联AdaBoost、隐马尔科夫模型HMM、SVM等方法,检测所用的特征可以为Haar、Sobel、稀疏特征等。
(22)头部姿态估计模块,用于估计所述人脸的头部姿态。
头部姿态估计可采用随机森林、深度学习、深度随机森林方式中的任何一种,本发明给出如下一种优选方式,取得更好的估计正确率。
本发明优选的具体实现方式为:
(221)利用模式识别方法离线训练能够估计头部姿态的模型。训练的样本为人工标注的不同头部姿态的图片。训练模型采用的特征通过vgg-face模型提取,vgg-face模型的结构如图3所示。训练样本经过vgg-face逐层运算,将fc6层的输出作为训练样本的特征,特征维数为4096。训练所采用的模型回归随机森林,随机森林包含100棵CART树,每棵树的深度为15。训练得到的模型作为输出。
(222)用离线训练的模型估计输入的人脸图片的头部姿态。将需要估计的图片按照与步骤(221)相同的方法提取特征,然后送入由步骤(221)训练的模型中估计头部姿态。
(23)表情识别
表情识别可采用随机森林、深度学习、支撑向量机中的任何一种,本发明给出一种优选方式,采用条件随机森林能够识别不同头部姿态下的自然笑脸表情。
具体的实现方式为:
(231)利用模式识别方法离线训练能够估计面部表情的模型。训练样本为人工标注的不同头部姿态不同表情的图片。训练模型采用的特征与步骤(221)所用的特征相同。按照头部姿态划分为五个区间Ω1={-30°≤ω≤+30°}、Ω2={-60°≤ω<-30°}、Ω3={+30°≤ω<+60°}、Ω4={-90°≤ω<-60°}和Ω5={+60°≤ω<+90°}。然后在每一个头部姿态区间内,分别训练对应的表情分类器。分类器采用随机森林,每个随机森林包含100棵CART树,每棵树的深度为15。训练得到的模型作为输出。
(232)利用离线训练的模型估计输入的人脸图片的表情。将需要估计的图片按照与步骤(221)相同的方法提取特征,采用与步骤(222)相同的方法估计出头部姿态。根据所估计的头部姿态在五个区间的概率分布作为条件概率,从步骤(223)训练的不同姿态表情分类器中选择相应数量的决策树组装成新的随机森林分类器并估计面部表情。
(3)师生互动云平台模块,包括:教师端模块(31),学生端模块(32)和平台数据分析模块(33)。
(31)教师端模块,可以是办公电脑或笔记本电脑,需要安装云平台教师端APP,用于教师发布互动题目和收集学生的答题情况。
(32)学生端模块,可以是手机、平板电脑等移动便携设备,需要安装云平台学生端APP,用于学生接收互动题目和提交题目答案
(33)平台数据分析模块用于统计学生的答题的频率和正确率。
(4)学习兴趣分析模块,包括课堂参与度评分模块、注意力评分模块、参与度评分模块和融合模块;所述课堂参与度评分模块,用于根据头部姿态评估学生的认知注意力集中程度;所述注意力评分模块,用于根据表情评估学生的学习情绪;所述参与度评分模块,用于根据答题的频率与正确率评估学生的参与度;所述融合模块,用于融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。。
具体的融合方式为:
(41)统计学生在相关子内容互动答题的频率和答题正确率。由于在学习的不同时间段,受课堂学习内容、情景、认知的影响,学生的答题频率和答题正确率对课堂参与度的评价会有不同的权重,权重可预先根据经验值设定,或者按照本发明的一种优选方式采用客观赋权法估计答题频率piR和答题频率piC在课堂参与度评分时的融合权重wR和wC。具体步骤为:根据所有参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C}。然后根据信息熵计算融合权重: m∈{R,C}课堂参与度评分的计算公式为S1=R×wR+C×wC,将评分结果归一化到0到100之间。
(42)根据互动问题所划分的子内容,确定对应的教学时间。在该时间段内统计注视黑板、教师和学生端手持设备的时间,定义为注意力集中时间。然后根据注意力集中时间打分S2:若注意力集中的时间大于某一阈值则为注意力集中,记为100分;若该时间小于某一阈值则为注意力不集中,记为0分;若该时间两个阈值之间则按注意力集中时间比例记分。
(43)根据学生注意力集中时的表情,对学生的学习情绪进行评分。若注意力集中且表情为笑脸,表明学习情绪正面,其所持续的时间定义为正面学习情绪时间。根据正面学习情绪时间所占比例,为学生的学习情绪进行打分S3:若注意力集中时表情为笑脸的时间大于某一阈值,记为100分:若该时间小于某一阈值,记为0分;若该时间在两者之间,则按该时间所占比例记分。
(44)根据主观赋权值法,对认知注意力,学习情感,课堂活跃度的融合权重进行赋值。权重可预先根据经验值设定,或者按照本发明的一种优选方式,具体为:
提取认知注意力、学习情感和思维活跃度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3。其中,aij表示第i个因素对第j个因素的重要程度。根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量经过归一化后即为三个指标所分配的权重v=[v1,v2,v3],分别为0.2534,0.1352和0.6113。融合S1,S2和S3得出学生对教学子内容的学习兴趣分数,其计算公式为:S=S1*0.6113+S2*0.2534+S3*0.1352。
本发明将所述人脸检测与分析模块、学习兴趣分析模块同时部署一台计算机或两台计算机,并无显著差别。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种学生课堂学习兴趣智能分析方法,其特征在于,包括以下步骤:
(1)采集教室内场景图像,在场景图像中定位人脸;
(2)在人脸区域中估计头部姿态,根据头部姿态评估学生的认知注意力;
(3)在人脸区域中估计面部表情,根据表情评估学生的学习情绪;
(4)记录学生在课堂上互动答题的频率与正确率,根据答题的频率与正确率评估学生的参与度;
(5)融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。
2.根据权利要求1所述的学生课堂学习兴趣智能分析方法,其特征在于,所述融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣的具体实现方式为:
提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3,其中,aij表示第i个指标对第j个指标的重要程度;根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量归一化后即为三个指标所分配的权重v=[v1,v2,v3];
融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S=S1*v1+S2*v2+S3*v3
3.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法,其特征在于,所述根据头部姿态评估学生的认知注意力集中程度的具体实现方式为:
根据所有参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C};然后根据信息熵计算答题频率和答题正确率的融合权重wR和wC计算课堂参与度评分S1=R×wR+C×wC
4.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法,其特征在于,所述根据表情评估学生的学习情绪的具体实现方式为:
在教学时间段内统计学生注视黑板、教师和学生端手持设备的时间,将其定义为注意力集中时间;将注意力集中时间与预定注意力阈值段匹配,将匹配成功的阈值段对应的分值记为注意力评分S2。
5.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法,其特征在于,所述根据答题的频率与正确率评估学生的参与度的具体实现方式为:
若注意力集中且表情为笑脸,表明学习情绪正面,其所持续的时间定义为正面学习情绪时间;计算正面学习情绪时间所占教学时间的比例;将该比例与预定情绪阈值段匹配,将匹配成功的阈值段对应的分值记为学习情绪评分S3。
6.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法,其特征在于,所述头部姿态估计的具体实现方式为:采用vgg-face模型提取人脸图片的fc6层特征,然后送入离线训练的回归随机森林中估计头部姿态。
7.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法,其特征在于,所述面部表情估计的具体实现方式为:采用vgg-face模型提取人脸图片的fc6层特征,按照头部姿态划分为五个区间Ω1={-30°≤ω≤+30°}、Ω2={-60°≤ω<-30°}、Ω3={+30°≤ω<+60°}、Ω4={-90°≤ω<-60°}和Ω5={+60°≤ω<+90°};根据估计的头部姿态在五个区间的概率分布作为条件概率,并按照此条件概率从对应的随机森林表情分类器中选择相应数量的决策树;将选择的决策树组装成新的随机森林分类器并估计面部表情。
8.一种学生课堂学习兴趣智能分析系统,其特征在于,包括:
摄像头,用于采集教室内场景图像;
人脸检测与分析模块,包括:人脸检测模块、头部姿态估计模块和表情识别模块;人脸检测模块,用于在所述的场景图像中检测和定位人脸区域;头部姿态估计模块,用于在人脸区域估计所述人脸的头部姿态;表情识别模块,用于在人脸区域估计所述人脸的表情;
师生互动云平台模块,包括:教师端模块,学生端模块和平台数据分析模块;教师端模块,用于教师发布互动题目和收集学生的答题情况;学生端模块,用于学生接收互动题目和提交题目答案;平台数据分析模块用于统计学生的答题频率和正确率;
学习兴趣分析模块,包括课堂参与度评分模块、注意力评分模块、参与度评分模块和融合模块;所述课堂参与度评分模块,用于根据头部姿态评估学生的认知注意力;所述注意力评分模块,用于根据表情评估学生的学习情绪;所述参与度评分模块,用于根据答题的频率与正确率评估学生的参与度;所述融合模块,用于融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。
9.根据权利要求8所述的学生课堂学习兴趣智能分析系统,其特征在于,所述融合模块的具体实现方式为:提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3,其中,aij表示第i个指标对第j个指标的重要程度;根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量归一化后即为三个指标所分配的权重v=[v1,v2,v3];
融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S=S1*v1+S2*v2+S3*v3
10.根据权利要求8或9所述的学生课堂学习兴趣智能分析系统,其特征在于,所有参与度评分模块的具体实现方式为:依据参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C};然后根据信息熵计算答题频率和答题正确率的融合权重wR和wC计算课堂参与度评分S1=R×wR+C×wC
CN201810124929.3A 2018-02-07 2018-02-07 学生课堂学习兴趣智能分析方法及系统 Active CN108399376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810124929.3A CN108399376B (zh) 2018-02-07 2018-02-07 学生课堂学习兴趣智能分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810124929.3A CN108399376B (zh) 2018-02-07 2018-02-07 学生课堂学习兴趣智能分析方法及系统

Publications (2)

Publication Number Publication Date
CN108399376A true CN108399376A (zh) 2018-08-14
CN108399376B CN108399376B (zh) 2020-11-06

Family

ID=63096375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810124929.3A Active CN108399376B (zh) 2018-02-07 2018-02-07 学生课堂学习兴趣智能分析方法及系统

Country Status (1)

Country Link
CN (1) CN108399376B (zh)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165599A (zh) * 2018-08-27 2019-01-08 北京洛必达科技有限公司 大数据教育辅助方法、系统、存储介质及计算机设备
CN109165633A (zh) * 2018-09-21 2019-01-08 上海健坤教育科技有限公司 一种基于摄像头感知的智能交互式学习系统
CN109214966A (zh) * 2018-10-25 2019-01-15 重庆鲁班机器人技术研究院有限公司 学习效果获取方法、装置以及电子设备
CN109241917A (zh) * 2018-09-12 2019-01-18 南京交通职业技术学院 一种基于计算机视觉的课堂行为检测系统
CN109359606A (zh) * 2018-10-24 2019-02-19 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法
CN109508656A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN109583351A (zh) * 2018-11-22 2019-04-05 广州市保伦电子有限公司 基于视频分析的课堂学生注意力获取方法、装置及介质
CN109614934A (zh) * 2018-12-12 2019-04-12 易视腾科技股份有限公司 在线教学质量评估参数生成方法及装置
CN109657553A (zh) * 2018-11-16 2019-04-19 江苏科技大学 一种学生课堂注意力检测方法
CN109670395A (zh) * 2018-10-29 2019-04-23 四川文轩教育科技有限公司 一种基于人工智能的学生专注度监测方法
CN109684949A (zh) * 2018-12-12 2019-04-26 嘉兴极点科技有限公司 一种基于人工智能的在线教育人机交互方法与系统
CN109770889A (zh) * 2017-11-15 2019-05-21 深圳市理邦精密仪器股份有限公司 心电数据选段方法和装置
CN109858410A (zh) * 2019-01-18 2019-06-07 深圳壹账通智能科技有限公司 基于表情分析的服务评价方法、装置、设备及存储介质
CN109919143A (zh) * 2019-04-24 2019-06-21 郭钢 基于多感官交互体验和学习注意力评估的教育方法
CN109961047A (zh) * 2019-03-26 2019-07-02 北京儒博科技有限公司 教育机器人的学习监督方法、装置、机器人及存储介质
CN110246385A (zh) * 2019-05-16 2019-09-17 杭州博世数据网络有限公司 基于关键授课点评价的互联网教学辅助教学系统
CN110276246A (zh) * 2019-05-09 2019-09-24 威比网络科技(上海)有限公司 课程指数检测告警方法、装置、电子设备、存储介质
CN110287790A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种面向静态多人场景的学习状态混合分析方法
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法
CN110378736A (zh) * 2019-07-23 2019-10-25 中国科学院东北地理与农业生态研究所 通过人脸表情识别评价游客对自然资源体验满意度的方法
CN110533992A (zh) * 2019-09-02 2019-12-03 西南大学 一种学习成效预测方法及系统
CN110533335A (zh) * 2019-09-02 2019-12-03 西南大学 一种课堂认知负荷测量方法及系统
CN110660275A (zh) * 2019-09-18 2020-01-07 武汉天喻教育科技有限公司 一种基于视频分析的师生课堂即时互动系统和方法
CN111127967A (zh) * 2019-12-26 2020-05-08 湖北时代万新国际教育发展有限公司 一种中小学生智能教育学习系统
CN111199378A (zh) * 2018-11-20 2020-05-26 深圳云天励飞技术有限公司 学员管理方法、装置、电子设备及存储介质
CN111428686A (zh) * 2020-04-14 2020-07-17 北京易华录信息技术股份有限公司 一种学生兴趣偏好评估方法、装置及系统
CN111523518A (zh) * 2020-06-08 2020-08-11 上海乂学教育科技有限公司 智适应学习方法及系统
CN111680558A (zh) * 2020-04-29 2020-09-18 北京易华录信息技术股份有限公司 一种基于视频图像的学习专注力评估方法及装置
CN111722710A (zh) * 2020-06-02 2020-09-29 广东小天才科技有限公司 开启增强现实ar互动学习模式的方法及电子设备
CN111814556A (zh) * 2020-06-09 2020-10-23 厦门大学 一种基于计算机视觉的教学辅助方法和系统
CN111860033A (zh) * 2019-04-24 2020-10-30 北京三好互动教育科技有限公司 一种注意力识别方法和装置
CN112115601A (zh) * 2020-09-10 2020-12-22 西北工业大学 一种可靠的用户注意力监测估计表示模型
JP2021018316A (ja) * 2019-07-19 2021-02-15 株式会社フォーサイト 学習システム、学習講義提供方法、およびプログラム
CN112529054A (zh) * 2020-11-27 2021-03-19 华中师范大学 一种多源异构数据的多维度卷积神经网络学习者建模方法
CN112633566A (zh) * 2020-12-14 2021-04-09 北京易华录信息技术股份有限公司 一种自律能力评估方法、装置及计算机设备
CN112634096A (zh) * 2020-12-07 2021-04-09 江苏欧帝电子科技有限公司 一种基于智能黑板的课堂管理方法及系统
CN112735213A (zh) * 2020-12-31 2021-04-30 奇点六艺教育科技股份有限公司 一种智慧教学的方法、系统、终端及存储介质
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN113095208A (zh) * 2021-04-08 2021-07-09 吉林工商学院 应用于大学英语教学课堂的注意力观测与提醒系统
CN113239794A (zh) * 2021-05-11 2021-08-10 西北工业大学 一种面向在线学习的学习状态自动识别方法
CN113256129A (zh) * 2021-06-01 2021-08-13 南京奥派信息产业股份公司 一种专注度分析方法、系统及计算机可读存储介质
CN113569761A (zh) * 2021-07-30 2021-10-29 广西师范大学 一种基于深度学习的学生视点估计方法
CN113591678A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 课堂注意力确定方法、装置、设备、存储介质及程序产品
CN114040159A (zh) * 2021-11-05 2022-02-11 漳州爱果冻信息科技有限公司 一种智能自习室
JP2022537475A (ja) * 2020-05-22 2022-08-26 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド ビデオ処理方法及び装置、電子デバイスと記憶媒体
CN114998968A (zh) * 2022-06-16 2022-09-02 北京理工大学 一种基于音视频分析课堂交互行为的方法
CN116453384A (zh) * 2023-06-19 2023-07-18 江西德瑞光电技术有限责任公司 基于tof技术的沉浸式智能学习系统及控制方法
CN117909587A (zh) * 2024-01-19 2024-04-19 广州铭德教育投资有限公司 基于ai的学生课后习题个性化推荐方法、系统
JP7492294B2 (ja) 2019-10-18 2024-05-29 株式会社フォーサイト 学習システム、学習講義提供方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945624A (zh) * 2012-11-14 2013-02-27 南京航空航天大学 基于云计算模型和表情信息反馈的智能化视频教学系统
US20130108170A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
CN205334563U (zh) * 2016-01-05 2016-06-22 华中师范大学 一种学生课堂参与度检测系统
CN106875764A (zh) * 2017-04-26 2017-06-20 北京大生在线科技有限公司 基于网络的虚拟现实外语学习系统及控制方法
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108170A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
CN102945624A (zh) * 2012-11-14 2013-02-27 南京航空航天大学 基于云计算模型和表情信息反馈的智能化视频教学系统
CN205334563U (zh) * 2016-01-05 2016-06-22 华中师范大学 一种学生课堂参与度检测系统
CN106875764A (zh) * 2017-04-26 2017-06-20 北京大生在线科技有限公司 基于网络的虚拟现实外语学习系统及控制方法
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估系统

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109770889A (zh) * 2017-11-15 2019-05-21 深圳市理邦精密仪器股份有限公司 心电数据选段方法和装置
CN109770889B (zh) * 2017-11-15 2022-03-11 深圳市理邦精密仪器股份有限公司 心电数据选段方法和装置
CN109165599A (zh) * 2018-08-27 2019-01-08 北京洛必达科技有限公司 大数据教育辅助方法、系统、存储介质及计算机设备
CN109241917A (zh) * 2018-09-12 2019-01-18 南京交通职业技术学院 一种基于计算机视觉的课堂行为检测系统
CN109165633A (zh) * 2018-09-21 2019-01-08 上海健坤教育科技有限公司 一种基于摄像头感知的智能交互式学习系统
CN109359606A (zh) * 2018-10-24 2019-02-19 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法
CN109214966A (zh) * 2018-10-25 2019-01-15 重庆鲁班机器人技术研究院有限公司 学习效果获取方法、装置以及电子设备
CN109670395A (zh) * 2018-10-29 2019-04-23 四川文轩教育科技有限公司 一种基于人工智能的学生专注度监测方法
CN109508656A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN109657553A (zh) * 2018-11-16 2019-04-19 江苏科技大学 一种学生课堂注意力检测方法
CN109657553B (zh) * 2018-11-16 2023-06-20 江苏科技大学 一种学生课堂注意力检测方法
CN111199378A (zh) * 2018-11-20 2020-05-26 深圳云天励飞技术有限公司 学员管理方法、装置、电子设备及存储介质
CN111199378B (zh) * 2018-11-20 2024-03-26 深圳云天励飞技术有限公司 学员管理方法、装置、电子设备及存储介质
CN109583351A (zh) * 2018-11-22 2019-04-05 广州市保伦电子有限公司 基于视频分析的课堂学生注意力获取方法、装置及介质
CN109614934B (zh) * 2018-12-12 2023-06-06 易视腾科技股份有限公司 在线教学质量评估参数生成方法及装置
CN109684949A (zh) * 2018-12-12 2019-04-26 嘉兴极点科技有限公司 一种基于人工智能的在线教育人机交互方法与系统
CN109614934A (zh) * 2018-12-12 2019-04-12 易视腾科技股份有限公司 在线教学质量评估参数生成方法及装置
CN109858410A (zh) * 2019-01-18 2019-06-07 深圳壹账通智能科技有限公司 基于表情分析的服务评价方法、装置、设备及存储介质
CN109961047A (zh) * 2019-03-26 2019-07-02 北京儒博科技有限公司 教育机器人的学习监督方法、装置、机器人及存储介质
CN109919143A (zh) * 2019-04-24 2019-06-21 郭钢 基于多感官交互体验和学习注意力评估的教育方法
CN109919143B (zh) * 2019-04-24 2023-08-18 重庆交互科技有限公司 基于多感官交互体验和学习注意力评估的教育方法
CN111860033A (zh) * 2019-04-24 2020-10-30 北京三好互动教育科技有限公司 一种注意力识别方法和装置
CN110276246A (zh) * 2019-05-09 2019-09-24 威比网络科技(上海)有限公司 课程指数检测告警方法、装置、电子设备、存储介质
CN110246385A (zh) * 2019-05-16 2019-09-17 杭州博世数据网络有限公司 基于关键授课点评价的互联网教学辅助教学系统
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法
CN110287790A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种面向静态多人场景的学习状态混合分析方法
CN110287790B (zh) * 2019-05-23 2021-04-02 华中师范大学 一种面向静态多人场景的学习状态混合分析方法
JP2021018316A (ja) * 2019-07-19 2021-02-15 株式会社フォーサイト 学習システム、学習講義提供方法、およびプログラム
CN110378736A (zh) * 2019-07-23 2019-10-25 中国科学院东北地理与农业生态研究所 通过人脸表情识别评价游客对自然资源体验满意度的方法
CN110533992A (zh) * 2019-09-02 2019-12-03 西南大学 一种学习成效预测方法及系统
CN110533335A (zh) * 2019-09-02 2019-12-03 西南大学 一种课堂认知负荷测量方法及系统
CN110660275A (zh) * 2019-09-18 2020-01-07 武汉天喻教育科技有限公司 一种基于视频分析的师生课堂即时互动系统和方法
JP7492294B2 (ja) 2019-10-18 2024-05-29 株式会社フォーサイト 学習システム、学習講義提供方法、およびプログラム
CN111127967A (zh) * 2019-12-26 2020-05-08 湖北时代万新国际教育发展有限公司 一种中小学生智能教育学习系统
CN111428686A (zh) * 2020-04-14 2020-07-17 北京易华录信息技术股份有限公司 一种学生兴趣偏好评估方法、装置及系统
CN111680558A (zh) * 2020-04-29 2020-09-18 北京易华录信息技术股份有限公司 一种基于视频图像的学习专注力评估方法及装置
JP2022537475A (ja) * 2020-05-22 2022-08-26 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド ビデオ処理方法及び装置、電子デバイスと記憶媒体
CN111722710A (zh) * 2020-06-02 2020-09-29 广东小天才科技有限公司 开启增强现实ar互动学习模式的方法及电子设备
CN111523518A (zh) * 2020-06-08 2020-08-11 上海乂学教育科技有限公司 智适应学习方法及系统
CN111814556A (zh) * 2020-06-09 2020-10-23 厦门大学 一种基于计算机视觉的教学辅助方法和系统
CN112115601B (zh) * 2020-09-10 2022-05-17 西北工业大学 一种可靠的用户注意力监测估计表示模型
CN112115601A (zh) * 2020-09-10 2020-12-22 西北工业大学 一种可靠的用户注意力监测估计表示模型
CN112529054A (zh) * 2020-11-27 2021-03-19 华中师范大学 一种多源异构数据的多维度卷积神经网络学习者建模方法
CN112634096A (zh) * 2020-12-07 2021-04-09 江苏欧帝电子科技有限公司 一种基于智能黑板的课堂管理方法及系统
CN112633566A (zh) * 2020-12-14 2021-04-09 北京易华录信息技术股份有限公司 一种自律能力评估方法、装置及计算机设备
CN112735213A (zh) * 2020-12-31 2021-04-30 奇点六艺教育科技股份有限公司 一种智慧教学的方法、系统、终端及存储介质
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN112766173B (zh) * 2021-01-21 2023-08-04 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN113095208A (zh) * 2021-04-08 2021-07-09 吉林工商学院 应用于大学英语教学课堂的注意力观测与提醒系统
CN113095208B (zh) * 2021-04-08 2024-01-26 吉林工商学院 应用于大学英语教学课堂的注意力观测与提醒系统
CN113239794A (zh) * 2021-05-11 2021-08-10 西北工业大学 一种面向在线学习的学习状态自动识别方法
CN113239794B (zh) * 2021-05-11 2023-05-23 西北工业大学 一种面向在线学习的学习状态自动识别方法
CN113256129A (zh) * 2021-06-01 2021-08-13 南京奥派信息产业股份公司 一种专注度分析方法、系统及计算机可读存储介质
CN113591678B (zh) * 2021-07-28 2023-06-23 北京百度网讯科技有限公司 课堂注意力确定方法、装置、设备、存储介质及程序产品
CN113591678A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 课堂注意力确定方法、装置、设备、存储介质及程序产品
CN113569761B (zh) * 2021-07-30 2023-10-27 广西师范大学 一种基于深度学习的学生视点估计方法
CN113569761A (zh) * 2021-07-30 2021-10-29 广西师范大学 一种基于深度学习的学生视点估计方法
CN114040159A (zh) * 2021-11-05 2022-02-11 漳州爱果冻信息科技有限公司 一种智能自习室
CN114998968A (zh) * 2022-06-16 2022-09-02 北京理工大学 一种基于音视频分析课堂交互行为的方法
CN114998968B (zh) * 2022-06-16 2024-05-31 北京理工大学 一种基于音视频分析课堂交互行为的方法
CN116453384A (zh) * 2023-06-19 2023-07-18 江西德瑞光电技术有限责任公司 基于tof技术的沉浸式智能学习系统及控制方法
CN117909587A (zh) * 2024-01-19 2024-04-19 广州铭德教育投资有限公司 基于ai的学生课后习题个性化推荐方法、系统

Also Published As

Publication number Publication date
CN108399376B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108399376A (zh) 学生课堂学习兴趣智能分析方法及系统
WO2020010785A1 (zh) 一种课堂教学认知负荷测量系统
Whitehill et al. The faces of engagement: Automatic recognition of student engagementfrom facial expressions
CN108648757B (zh) 一种基于多维度课堂信息的分析方法
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
WO2019028592A1 (zh) 一种教学辅助方法及采用该方法的教学辅助系统
CN111046823A (zh) 基于课堂视频的学生课堂参与度分析系统
WO2021047185A1 (zh) 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN115239527A (zh) 基于知识库的教学特征融合与建模的教学行为分析系统
Agarwal et al. Face recognition based smart and robust attendance monitoring using deep CNN
Ashwin et al. Unobtrusive students' engagement analysis in computer science laboratory using deep learning techniques
CN111178263A (zh) 一种实时表情分析方法及其装置
Meriem et al. Determine the level of concentration of students in real time from their facial expressions
CN111666829A (zh) 多场景多主体身份行为情绪识别分析方法及智能监管系统
Yang et al. Student in-class behaviors detection and analysis system based on CBAM-YOLOv5
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
Nithya Automated class attendance system based on face recognition using PCA algorithm
Yi et al. Real time learning evaluation based on gaze tracking
Binh et al. Detecting student engagement in classrooms for intelligent tutoring systems
Huang et al. Research on learning state based on students’ attitude and emotion in class learning
Chen et al. Intelligent Recognition of Physical Education Teachers' Behaviors Using Kinect Sensors and Machine Learning.
Cheng Video-based student classroom classroom behavior state analysis
CN112084814B (zh) 一种学习辅助方法和智能装置
Nguyen et al. Student postures and gestures recognition system for adaptive learning improvement
Liu AI proctoring for offline examinations with 2-Longitudinal-Stream Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant