CN108805009A - 基于多模态信息融合的课堂学习状态监测方法及系统 - Google Patents
基于多模态信息融合的课堂学习状态监测方法及系统 Download PDFInfo
- Publication number
- CN108805009A CN108805009A CN201810359755.9A CN201810359755A CN108805009A CN 108805009 A CN108805009 A CN 108805009A CN 201810359755 A CN201810359755 A CN 201810359755A CN 108805009 A CN108805009 A CN 108805009A
- Authority
- CN
- China
- Prior art keywords
- student
- classroom
- module
- attention
- wake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 230000035479 physiological effects, processes and functions Effects 0.000 claims abstract description 59
- 230000036651 mood Effects 0.000 claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 230000002452 interceptive effect Effects 0.000 claims abstract description 12
- 230000008921 facial expression Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 25
- 210000003128 head Anatomy 0.000 claims description 19
- 230000019771 cognition Effects 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 239000012141 concentrate Substances 0.000 claims description 4
- 230000002996 emotional effect Effects 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000007637 random forest analysis Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 101000804902 Drosophila melanogaster Xaa-Pro aminopeptidase ApepP Proteins 0.000 description 1
- 208000035126 Facies Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001256 tonic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多模态融合基础上的学生课堂学习状态监测方法及系统。方法具体为：采集教室内场景图像，在场景图像中定位人脸；在人脸区域中估计人脸朝向姿态，据此评估学生的注意力；在人脸区域中估计面部表情，据此评估学生的学习情绪；采集学生的皮肤传导信号，据此评估学生的生理唤醒度；记录学生在课堂上互动答题的频率与正确率，据此评估学生的参与度；融合学生的注意力、学习情绪、生理唤醒度和课堂参与度四维信息，分析学生的课堂学习状态。本发明还提供了一种实现上述方法的系统。应用本发明能够客观地、实时地、准确地对课堂上学生的学习状态进行监测与分析，完善教学过程分析，提升教学效果的可辨识度。
Description
技术领域
本发明属于教育信息化技术领域，具体涉及一种基于多模态信息融合基础上的课堂学习状态监测方法及系统。
背景技术
随着信息技术快速发展，教育信息化的应用也不断丰富和深化。学校的信息化教学环境已初步建立，以多媒体与网络为代表的信息技术广泛运用，教学内容的表现形式和教学活动的呈现方式都引入新的元素。然而，课堂教学多局限于“传递——接受”的传统教学模式，对于教学效果的评价多集中在学生的期末考试分数上，对于教学行为的观察、分析大多停留在传统的问卷调查或案例分析的基础上，其结果较为主观且存在滞后性，不利于实时反馈和调整教学行为。在传统的教学模式中，学生的主体地位得不到体现，不利于学生各项综合能力的培养。因此，为了更加科学的评估教师的教学行为，突出教学活动中学生的主体地位，课堂教学过程中实时掌握学生的学习状态就显得尤为重要。
目前，国内外相关研究的关注点集中在有效利用信息技术逐步建立智能化教学环境，开启启发式，互动式教学，改变知识呈现方式，创新教师的教学模式和学生的学习方式，从而提高课堂教学效果。然而，在信息化智能化教学环境基本建立后，如何将其应用价值最大化，使其最大程度地服务于教师的教，与学生的学，更好地帮助教师掌握学生的课堂学习状态，仍然还缺少一种好的解决方案。
发明内容
本发明目的旨在建立多模态信息融合的学习状态监测方法及系统，实时采集学生认知注意力、学习情绪、生理唤醒度、课堂交互信息四个维度的数据，利用多模态信息融合的手段，监测和分析学生在课堂上的学习状态，完善教学过程分析，提升教学效果的可辨识度。
为实现上述目的，本发明提供了如下的技术方案：
一种基于多模态信息融合基础上的课堂学习状态监测方法，包括以下步骤：
(1)采集教室内场景图像，在场景图像中定位人脸；
(2)在人脸区域中估计人脸朝向姿态，根据人脸朝向姿态评估学生的注意力；
(3)在人脸区域中估计面部表情，根据表情评估学生的学习情绪；
(4)采集学生的皮肤传导信号，根据皮肤传导信号评估学生的生理唤醒度；
(5)记录学生在课堂上互动答题的频率与正确率，根据答题的频率与正确率评估学生的参与度；
(6)融合学生的注意力、学习情绪、生理唤醒度和课堂参与度四维信息，分析学生的学习状态。
一种多模态信息融合基础上的课堂学习状态监测系统，包括：
摄像头，用于采集教室内场景图像；
生理传导信号采集模块，用于采集学生无线手环上检测到的皮肤传导信号；
人脸检测与分析模块，包括：人脸检测模块、头部姿态估计模块和表情识别模块；人脸检测模块，用于在所述的场景图像中检测和定位人脸区域；头部姿态估计模块，用于在人脸区域估计所述人脸朝向姿态；表情识别模块，用于在人脸区域估计所述人脸的表情；
师生互动云平台模块，包括：教师端模块，学生端模块和平台数据分析模块；教师端模块，用于教师发布互动题目和收集学生的答题情况；学生端模块，用于学生接收互动题目和提交题目答案；平台数据分析模块用于统计学生的答题频率和正确率；
学生课堂学习状态分析模块，包括注意力评分模块、学习情绪评分模块、生理唤醒度评分模块、参与度评分模块和多模态融合模块；所述注意力评分模块，用于根据人脸朝向姿态评估学生的注意力；所述学习情绪评分模块，用于根据表情评估学生的学习情绪；所述生理唤醒度评分用于根据皮肤传导信号评估学生的生理唤醒度；所述参与度评分模块，用于根据答题的频率与正确率评估学生的参与度；所述多模态融合模块，用于融合学生的认知注意力、学习情绪、生理唤醒度和课堂参与度四维信息，分析学生的课堂学习状态。
按照一种优选方式，所述融合学生的认知注意力、学习情绪、生理唤醒度和课堂参与度四维信息，分析学生的课堂学习状态的具体实施方式为：
提取认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度两两之间的重要性程度比值，构建重要性程度判定矩阵S＝[sij],1≤i,j≤4，其中sij表示第i个判定维度与第j个判定维度之间的重要性程度比值；根据重要性程度判定矩阵计算特征值和特征向量，对最大特征值对应的特征向量进行归一化后，得到权重向量w＝[w1 w2 w3 w4]，并将此向量中的每个元素值作为对应维度的权重值；
融合认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度的评分C1、C2、C3、C4，依据权重向量w＝[w1 w2 w3 w4]计算得到课堂中学生的学习状态评估值：C＝w1*C1+w2*C2+w3*C3+w4*C4。
本发明的有益技术效果体现在：
本发明采用多模态智能学习场景的方式，融合课堂学习者的认知注意力、自然表情、生理唤醒度、课堂互动反馈结果来提升学生学习状态分析的可信度。本发明方法主要有三个特点：鲁棒性、稳定性、低复杂度。此外、判定级融合策略可以通过分析单个数据源的形态，选择满足不同需求的判定方法。应用本发明能够客观地、实时地、准确地对课堂上学生的学习状态进行监测与分析，完善教学过程分析，提升教学效果的可辨识度。
附图说明
图1为本发明的课堂学生学习环境示意图；
图2为本发明方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图2所示，本发明基于多模态信息融合基础上的课堂学习状态监测方法，包括以下步骤：
(1)采集教室内场景图像，在场景图像中定位人脸；
(2)在人脸区域中估计人脸朝向姿态，根据人脸朝向姿态评估学生的注意力；
(3)在人脸区域中估计面部表情，根据表情评估学生的学习情绪；
(4)采集学生的皮肤传导信号，根据皮肤传导信号评估学生的生理唤醒度；
(5)记录学生在课堂上互动答题的频率与正确率，根据答题的频率与正确率评估学生的参与度；
(6)融合学生的注意力、学习情绪、生理唤醒度和课堂参与度四维信息，分析学生的学习状态。
按照一种优选的方式，步骤(1)中在所述人脸图像中通过人脸识别获取学生身份并生成人员名单。若检测到人脸且人脸的宽度大于N像素(N为经验值，可根据检测结果调整)时进行人脸识别,以人脸识别结果作为学生的身份识别，并维持对检测到的人脸的跟踪。其中，人脸检测可采用层级式AdaBoost、隐马尔科夫模型HMM、SVM等方法，检测所用的特征可以为Haar、Sobel、稀疏特征等；人脸识别可采用LBP(Local Binary Pattern，局部二进制模式)特征和基于卡方距离的直方图匹配算法、几何特征与Hausdorff距离匹配等方法。人脸跟踪可采用基于稀疏表示的Lucas Kanade、Meanshift、Kalman等方法，优选LucasKanade跟踪方法，其融入了跟踪、学习与检测机制，确保了鲁棒性。
按照一种优选的方式，步骤(6)的具体实施方式为：
提取认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度两两之间的重要性程度比值，构建重要性程度判定矩阵S＝[sij],1≤i,j≤4，其中sij表示第i个判定维度与第j个判定维度之间的重要性程度比值；根据重要性程度判定矩阵计算特征值和特征向量，对最大特征值对应的特征向量进行归一化后，得到权重向量w＝[w1 w2 w3 w4]，并将此向量中的每个元素值作为对应维度的权重值；
融合认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度的评分C1、C2、C3、C4，依据权重向量w＝[w1 w2 w3 w4]计算得到课堂中学生的学习状态评估值：C＝w1*C1+w2*C2+w3*C3+w4*C4。
按照一种优选的方式，步骤(2)评估学生的注意力的具体实施方式为：定义课堂教学时间段内学生注释黑板、教师和学生端手持设备的时间为注意力集中时间；计算注意力集中时间所占教学时间的比例；将该比例与提前设定的注意力集中时间阈值段进行匹配，匹配成功的阈值段对应的分值记为注意评分C1。
在教学场景下单个头部分辨率有限，估计学生的人脸朝向姿态面临精度和实时性的双层挑战。基于随机森林鲁棒性强、速度快、精确度高等优点，本发明提出级联分层式随机森林算法，该方法以级联分层式结构将随机森林分类与回归相结合计算头部姿态，该过程分为四个阶段，第一阶段：采用基于Haar特征的级联分类器方法训练人脸分类器，然后在检测人脸的区域内提取图像子块，有利于头部姿态估计的子块为正子块，反之为负子块，正子块将用于后续的头部姿态估计；第二阶段：将狄利克雷树结构引入随机森林以从粗略到精细的分层方式来估计水平方向的头部姿态；第三阶段：在获取水平头部姿态的条件下采用类似于上个阶段的算法进行垂直方向的头部姿态估计，从级联子层的投票产生多类头部姿态的分类结果；第四阶段：基于图像子块之间的几何关系，结合上一层头部姿态的分类结果，通过子层的回归技术获得精确头部姿态。通过将人脸在场景图像中二维位置换算为在教室内的二维位置，并加入学生做高先验值得到人脸在教室内的四维空间位置，结合学生所在的教师空间位置和估计到的头部姿态角度计算学生在教学展示板上的注意力。
按照一种优选的方式，步骤(3)评估学生的学习情绪的具体实施方式为：若注意力集中且表情为笑脸，表明学生此时的学习情绪为正面，其所持续的时间定义为正面学习情绪时间；计算正面学习情绪时间占教学时间的比例；将该比例与提前设定的学习情绪阈值段进行匹配，将匹配成功的阈值段对应的分值即为学习情绪状态评分C2。
按照一种优选的方式，步骤(4)评估学生的生理唤醒度的具体实施方式为：若注意力集中且皮肤传导响应激活时，表明学生此时的生理唤醒度为高，其所持续的时间定义为高生理唤醒度时间；计算高生理唤醒度时间占教学时间的比例；将该比例与提前设定的高生理唤醒度时间阈值段进行匹配，将匹配成功的阈值段对应的分值即为生理唤醒度状态评分C3。
按照一种优选的方式，步骤(5)评估学生的参与度的具体实施方式为：
根据课堂上参与互动问答的学生总数Ns、第i个学生的答题频率pF(i)以及答题准确率pC(i)分别计算这两方面的信息熵：
答题频率信息熵：
答题准确率信息熵：
根据上述两个信息熵分别计算答题频率的融合权重wF和答题正确率的融合权重wF：
计算第i个学生在课堂互动问答中反映的课堂参与度评分C4：
C4＝wFpF(i)+wCpC(i)。
本发明基于多模态信息融合基础上的课堂学习状态监测与系统，包括摄像头摄像头，生理传导信号采集模块、人脸检测与分析模块、师生互动云平台模块和学习状态分析模块。
摄像头采集教室内场景图像。图2给出一个摄像头安装示例，其中一个摄像头用于在教室入口处捕获进入学生的人脸图像，另三个摄像头用于采集教室场景图像。摄像头为专业的工业级高清摄像头，自带无线传输模块。
生理传导信号采集模块利用每个学生护腕上的手环，检测学生的皮电活动，当存在情绪唤醒经历或增加的认知负担时，大脑向皮肤发送信息增加出汗程度，于是气孔开始扩张，产生皮肤传导信号。如果皮肤传导信号形态为慢变式的，即时相型皮肤传导，此时可判断学生未受到特定的突发环境事件或者外界刺激的干扰，此时信号的慢变水平称为皮肤传导水平(SCL)；而当学生受到短时突发事件或者外界刺激时，此时皮肤传导信号会发生突变，信号幅度会突然增大或减小，此时的峰值称为皮肤传导响应(SCR)。在学生在上课之前，会通过生理传导信号采集模块采集他们每个人放松情况下的SCL，作为测量基准。在上课过程中通过检测SCR的幅度来分析预测学习者的唤醒度。
人脸检测与分析模块包括：人脸检测模块、头部姿态估计模块和表情识别模块；人脸检测模块，用于在所述的场景图像中检测和定位人脸区域；头部姿态估计模块，用于在人脸区域估计所述人脸朝向姿态；表情识别模块，用于在人脸区域估计所述人脸的表情。表情识别模块，主要由两部分组成，即训练分类器和调用分类器，具体包括以下几个步骤：从图像上提取出包含明显表情特征的不同局部区域，提取图像特征；通过条件随机森林算法以不同姿态下人脸图像为训练样本分别训练得到的各分类器；级联调用多个分类器，估计输入人脸图像的表情。
师生互动云平台模块包括：教师端模块，学生端模块和平台数据分析模块；教师端模块，用于教师发布互动题目和收集学生的答题情况；学生端模块，用于学生接收互动题目和提交题目答案；平台数据分析模块用于统计学生的答题频率和正确率。师生互动云平台提供了一种通过智能终端记录和增强课堂老师和学生之间的学习交互的方法。为方便学生与教师的课堂交互，系统模块包括教师客户端APP和学生客户端APP。教师可通过教师客户端APP进行操作和查看学生信息，发布课堂提问和习题，回答、学生提问等。学生同扫描二维码登录学生客户端后，可以对教师发布的题目进行答题，提交答案，咨询问题等。
学习状态分析模块，包括注意力评分模块、学习情绪评分模块、生理唤醒度评分模块、参与度评分模块和多模态融合模块；所述注意力评分模块，用于根据人脸朝向姿态评估学生的注意力；所述学习情绪评分模块，用于根据表情评估学生的学习情绪；所述生理唤醒度评分用于根据皮肤传导信号评估学生的生理唤醒度；所述参与度评分模块，用于根据答题的频率与正确率评估学生的参与度；所述多模态融合模块，用于融合学生的认知注意力、学习情绪、生理唤醒度和课堂参与度四维信息，分析学生的学习状态。
多模态信息融合是本发明课堂学习环境中不可缺少的模块，它处理和合成前端多重信号然后创建后端事件。此模块将学生的认知注意力、学生表情、生理唤醒度信号和课堂参与度四个维度信息进行多模态融合产生学生的课堂学习状态，然后反馈给智能控制台。本发明采用判定级融合策略，首先分析每个数据源的特征，做出各自相应的判定。然后，将多个数据源判定的结果进行融合，具体融合过程如下：
定义课堂教学时间段内学生注释黑板、教师和学生端手持设备的时间为注意力集中时间；计算注意力集中时间所占教学时间的比例；将该比例与提前设定的注意力集中时间阈值段进行匹配，匹配成功的阈值段对应的分值记为注意评分C1。
若注意力集中且表情为笑脸，表明学生此时的学习情绪为正面，其所持续的时间定义为正面学习情绪时间；计算正面学习情绪时间占教学时间的比例；将该比例与提前设定的学习情绪阈值段进行匹配，将匹配成功的阈值段对应的分值即为学习情绪状态评分C2。
若注意力集中且皮肤传导响应激活时，表明学生此时的生理唤醒度为高，其所持续的时间定义为高生理唤醒度时间；计算高生理唤醒度时间占教学时间的比例；将该比例与提前设定的高生理唤醒度时间阈值段进行匹配，将匹配成功的阈值段对应的分值即为生理唤醒度状态评分C3。
根据课堂上参与互动问答的学生总数Ns、第i个学生的答题频率pF(i)以及答题准确率pC(i)分别计算这两方面的信息熵：
答题频率信息熵：
答题准确率信息熵：
然后根据上述两个信息熵分别计算答题频率的融合权重wF和答题正确率的融合权重wF：
计算第i个学生在课堂互动问答中反映的课堂参与度评分C4：
C4＝wFpF(i)+wCpC(i)
提取认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度两两之间的重要性程度比值，构建重要性程度判定矩阵S＝[sij],1≤i,j≤4，其中sij表示第i个判定维度与第j个判定维度之间的重要性程度比值；根据重要性程度判定矩阵计算特征值和特征向量，对最大特征值对应的特征向量进行归一化后，得到权重向量w＝[w1 w2 w3 w4]，并将此向量中的每个元素值作为对应维度的权重值。
融合认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度的评分C1、C2、C3、C4，依据权重向量w＝[w1 w2 w3 w4]计算融合后课堂中学生的学习状态评估值：C＝w1*C1+w2*C2+w3*C3+w4*C4。
本发明的系统基于人脸识别、数据库以及移动互联网技术获取智能化教学环境中每位学生的课堂互动状态，比单一传统问卷的方式更加准确。为学生学习状态的分析，提供了客观依据。为解决教学场景下每个学生的头部姿态估计的精度和效率问题，提出级联分层式随机森林算法。并且基于估计的头部姿态，采用条件随机森林来识别教学环境下的人脸自然表情，很好地解决多姿态下的表情识别问题。从学生认知注意力、学习情绪、生理唤醒度及课堂互动四个方面分析学生课堂学习状态，为教师改善教学方法、提高教学效果提供了可靠依据。具体而言：
第一、通过捕获大场景图像，利用图像处理与模式识别获知人脸朝向姿态，实时了解所有学生在学习过程中的注意力分布情况。
第二、通过分析正常中性面部表情与具有表现力的面部表情之间的差异，利用几何与外貌的表情特征，实时分析学生在学习过程的学习情绪；
第三、通过分析比较基准皮肤传导(Tonic skin conductance)和瞬变皮肤传导(Phasic skin conductance)情况下的皮肤传导信号特征，即皮肤传导水平(skinconductance level，SCL)和皮肤传导响应(skin conductance response,SCR),预测学生在课堂学习状态下的生理唤醒度。
第四、本发明视觉处理对象是大场景图像，应用本发明方法能够同时并行地观测多名学生，提高监控效率，帮助老师瞬间掌握更多学生的课堂学习状态。
第五、考虑到大场景图像低分辨率导致图像学生定位难，本发明在身份识别中采用服装特征匹配和人脸识别技术相结合的方式，先通过服装特征匹配筛选候选名单，再通过人脸识别精确识别身份，有效提高了识别准确率，降低了对摄像头的性能要求。
第六、通过使用课堂互动问答的模式，将课堂学习者答题准确率和答题频率作为学习状态评判标准之一，提升学生学习状态监测与分析的可信度。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多模态信息融合基础上的课堂学习状态监测方法，其特征在于，包括以下步骤：
(1)采集教室内场景图像，在场景图像中定位人脸；
(2)在人脸区域中估计人脸朝向姿态，根据人脸朝向姿态评估学生的注意力；
(3)在人脸区域中估计面部表情，根据表情评估学生的学习情绪；
(4)采集学生的皮肤传导信号，根据皮肤传导信号评估学生的生理唤醒度；
(5)记录学生在课堂上互动答题的频率与正确率，根据答题的频率与正确率评估学生的参与度；
(6)融合学生的注意力、学习情绪、生理唤醒度和课堂参与度四维信息，分析学生的课堂学习状态。
2.根据权利要求1所述的多模态信息融合基础上的课堂学习状态监测方法，其特征在于，所述融合学生的注意力、学习情绪、生理唤醒度和课堂参与度四维信息，分析学生的学习状态的具体实施方式为：
提取认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度两两之间的重要性程度比值，构建重要性程度判定矩阵S＝[sij],1≤i,j≤4，其中sij表示第i个判定维度与第j个判定维度之间的重要性程度比值；根据重要性程度判定矩阵计算特征值和特征向量，对最大特征值对应的特征向量进行归一化后，得到权重向量w＝[w1 w2 w3 w4]，并将此向量中的每个元素值作为对应维度的权重值；
融合认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度的评分C1、C2、C3、C4，依据权重向量w＝[w1 w2 w3 w4]计算得到课堂中学生的学习状态评估值：C＝w1*C1+w2*C2+w3*C3+w4*C4。
3.根据权利要求2所述的多模态信息融合基础上的课堂学习状态监测方法，其特征在于，所述评估学生的注意力的具体实施方式为：定义课堂教学时间段内学生注释黑板、教师和学生端手持设备的时间为注意力集中时间；计算注意力集中时间所占教学时间的比例；将该比例与提前设定的注意力集中时间阈值段进行匹配，匹配成功的阈值段对应的分值记为注意评分C1。
4.根据权利要求2所述的多模态信息融合基础上的课堂学习状态监测方法，其特征在于，所述评估学生的学习情绪的具体实施方式为：若注意力集中且表情为笑脸，表明学生此时的学习情绪为正面，其所持续的时间定义为正面学习情绪时间；计算正面学习情绪时间占教学时间的比例；将该比例与提前设定的学习情绪阈值段进行匹配，将匹配成功的阈值段对应的分值即为学习情绪状态评分C2。
5.根据权利要求2所述的多模态信息融合基础上的课堂学习状态监测方法，其特征在于，所述评估学生的生理唤醒度的具体实施方式为：若注意力集中且皮肤传导响应激活时，表明学生此时的生理唤醒度为高，其所持续的时间定义为高生理唤醒度时间；计算高生理唤醒度时间占教学时间的比例；将该比例与提前设定的高生理唤醒度时间阈值段进行匹配，将匹配成功的阈值段对应的分值即为生理唤醒度状态评分C3。
6.根据权利要求2所述的多模态信息融合基础上的课堂学习状态监测方法，其特征在于，所述评估学生的参与度的具体实施方式为：
根据课堂上参与互动问答的学生总数Ns、第i个学生的答题频率pF(i)以及答题准确率pC(i)分别计算这两方面的信息熵：
答题频率信息熵：
答题准确率信息熵：
根据上述两个信息熵分别计算答题频率的融合权重wF和答题正确率的融合权重wF：
计算第i个学生在课堂互动问答中反映的课堂参与度评分C4：
C4＝wFpF(i)+wCpC(i)。
7.一种多模态信息融合基础上的课堂学习状态监测系统，其特征在于，包括：
摄像头，用于采集教室内场景图像；
生理传导信号采集模块，用于采集学生无线手环上检测到的皮肤传导信号；
人脸检测与分析模块，包括：人脸检测模块、头部姿态估计模块和表情识别模块；人脸检测模块，用于在所述的场景图像中检测和定位人脸区域；头部姿态估计模块，用于在人脸区域估计所述人脸朝向姿态；表情识别模块，用于在人脸区域估计所述人脸的表情；
师生互动云平台模块，包括：教师端模块，学生端模块和平台数据分析模块；教师端模块，用于教师发布互动题目和收集学生的答题情况；学生端模块，用于学生接收互动题目和提交题目答案；平台数据分析模块用于统计学生的答题频率和正确率；
学习状态分析模块，包括注意力评分模块、学习情绪评分模块、生理唤醒度评分模块、参与度评分模块和多模态融合模块；所述注意力评分模块，用于根据人脸朝向姿态评估学生的注意力；所述学习情绪评分模块，用于根据表情评估学生的学习情绪；所述生理唤醒度评分用于根据皮肤传导信号评估学生的生理唤醒度；所述参与度评分模块，用于根据答题的频率与正确率评估学生的参与度；所述多模态融合模块，用于融合学生的认知注意力、学习情绪、生理唤醒度和课堂参与度四维信息，分析学生的课堂学习状态。
8.根据权利要求7所述的多模态信息融合基础上的课堂学习状态监测系统，其特征在于，所述多模态融合模块的具体实施方式为：
提取认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度两两之间的重要性程度比值，构建重要性程度判定矩阵S＝[sij],1≤i,j≤4，其中sij表示第i个判定维度与第j个判定维度之间的重要性程度比值；根据重要性程度判定矩阵计算特征值和特征向量，对最大特征值对应的特征向量进行归一化后，得到权重向量w＝[w1 w2 w3 w4]，并将此向量中的每个元素值作为对应维度的权重值；
融合认知注意力、学习情绪、生理唤醒度、课堂参与度四个维度的评分C1、C2、C3、C4，依据权重向量w＝[w1 w2 w3 w4]计算得到课堂中学生的课堂学习状态评估值：C＝w1*C1+w2*C2+w3*C3+w4*C4。
9.根据权利要求8所述的多模态信息融合基础上的课堂学习状态监测系统，其特征在于，
所述注意力评分模块的具体实施方式为：定义课堂教学时间段内学生注释黑板、教师和学生端手持设备的时间为注意力集中时间；计算注意力集中时间所占教学时间的比例；将该比例与提前设定的注意力集中时间阈值段进行匹配，匹配成功的阈值段对应的分值记为注意评分C1；
所述学习情绪评分模块的具体实施方式为：若注意力集中且表情为笑脸，表明学生此时的学习情绪为正面，其所持续的时间定义为正面学习情绪时间；计算正面学习情绪时间占教学时间的比例；将该比例与提前设定的学习情绪阈值段进行匹配，将匹配成功的阈值段对应的分值即为学习情绪状态评分C2；
所述生理唤醒度评分模块的具体实施方式为：若注意力集中且皮肤传导响应激活时，表明学生此时的生理唤醒度为高，其所持续的时间定义为高生理唤醒度时间；计算高生理唤醒度时间占教学时间的比例；将该比例与提前设定的高生理唤醒度时间阈值段进行匹配，将匹配成功的阈值段对应的分值即为生理唤醒度状态评分C3。
10.根据权利要求8或9所述的多模态信息融合基础上的课堂学习状态监测系统，其特征在于，所述参与度评分模块的具体实施方式为：
根据课堂上参与互动问答的学生总数Ns、第i个学生的答题频率pF(i)以及答题准确率pC(i)分别计算这两方面的信息熵：
答题频率信息熵：
答题准确率信息熵：
根据上述两个信息熵分别计算答题频率的融合权重wF和答题正确率的融合权重wF：
计算第i个学生在课堂互动问答中反映的课堂参与度评分C4：C4＝wFpF(i)+wCpC(i)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810359755.9A CN108805009A (zh) | 2018-04-20 | 2018-04-20 | 基于多模态信息融合的课堂学习状态监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810359755.9A CN108805009A (zh) | 2018-04-20 | 2018-04-20 | 基于多模态信息融合的课堂学习状态监测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108805009A true CN108805009A (zh) | 2018-11-13 |
Family
ID=64093437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810359755.9A Pending CN108805009A (zh) | 2018-04-20 | 2018-04-20 | 基于多模态信息融合的课堂学习状态监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805009A (zh) |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583351A (zh) * | 2018-11-22 | 2019-04-05 | 广州市保伦电子有限公司 | 基于视频分析的课堂学生注意力获取方法、装置及介质 |
| CN109934150A (zh) * | 2019-03-07 | 2019-06-25 | 百度在线网络技术（北京）有限公司 | 一种会议参与度识别方法、装置、服务器和存储介质 |
| CN109961047A (zh) * | 2019-03-26 | 2019-07-02 | 北京儒博科技有限公司 | 教育机器人的学习监督方法、装置、机器人及存储介质 |
| CN110210540A (zh) * | 2019-05-22 | 2019-09-06 | 山东大学 | 基于注意力机制的跨社交媒体用户身份识别方法及系统 |
| CN110246385A (zh) * | 2019-05-16 | 2019-09-17 | 杭州博世数据网络有限公司 | 基于关键授课点评价的互联网教学辅助教学系统 |
| CN110287790A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种面向静态多人场景的学习状态混合分析方法 |
| CN110378812A (zh) * | 2019-05-20 | 2019-10-25 | 北京师范大学 | 一种自适应在线教育系统及方法 |
| CN110543828A (zh) * | 2019-08-08 | 2019-12-06 | 南京励智心理大数据产业研究院有限公司 | 基于可穿戴设备和多模态智能分析的学生注意力分析系统 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110674464A (zh) * | 2019-08-27 | 2020-01-10 | 湖南科技学院 | 一种基于物联网的计算机教学评级系统 |
| CN110765987A (zh) * | 2019-11-27 | 2020-02-07 | 北京工业大学 | 创新行为特征的量化方法、装置和电子设备 |
| CN110991277A (zh) * | 2019-11-20 | 2020-04-10 | 湖南检信智能科技有限公司 | 基于深度学习的多维度多任务学习评价系统 |
| CN111047481A (zh) * | 2019-09-29 | 2020-04-21 | 云知声智能科技股份有限公司 | 一种具有监督功能的在线学习系统 |
| CN111046823A (zh) * | 2019-12-19 | 2020-04-21 | 东南大学 | 基于课堂视频的学生课堂参与度分析系统 |
| CN111160239A (zh) * | 2019-12-27 | 2020-05-15 | 中国联合网络通信集团有限公司 | 专注度评估方法和装置 |
| CN111199378A (zh) * | 2018-11-20 | 2020-05-26 | 深圳云天励飞技术有限公司 | 学员管理方法、装置、电子设备及存储介质 |
| CN111507227A (zh) * | 2020-04-10 | 2020-08-07 | 南京汉韬科技有限公司 | 基于深度学习的多学生个体分割及状态自主识别方法 |
| CN111582611A (zh) * | 2019-02-18 | 2020-08-25 | 北京入思技术有限公司 | 一种基于情绪感知的课堂教学评价方法及系统 |
| CN111652045A (zh) * | 2020-04-17 | 2020-09-11 | 西北工业大学太仓长三角研究院 | 课堂教学质量评估方法和系统 |
| CN111754368A (zh) * | 2020-01-17 | 2020-10-09 | 天津师范大学 | 一种高校教学评估方法及基于边缘智能的高校教学评估系统 |
| CN111931585A (zh) * | 2020-07-14 | 2020-11-13 | 东云睿连(武汉)计算技术有限公司 | 一种课堂专注度的检测方法及装置 |
| CN112115601A (zh) * | 2020-09-10 | 2020-12-22 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN112598550A (zh) * | 2020-12-24 | 2021-04-02 | 苏州大学 | 基于行为分析的学生活动多维管理系统及管理方法 |
| CN112597813A (zh) * | 2020-12-03 | 2021-04-02 | 宁波大学科学技术学院 | 一种教学评价方法、设备和计算机可读存储介质 |
| CN112651602A (zh) * | 2020-12-03 | 2021-04-13 | 宁波大学科学技术学院 | 一种课堂模式评价方法和设备 |
| CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
| CN112837574A (zh) * | 2021-01-15 | 2021-05-25 | 中科远见(重庆)科技有限公司 | 一种互动课堂系统及其方法 |
| CN113011341A (zh) * | 2021-03-22 | 2021-06-22 | 平安科技（深圳）有限公司 | 佛经抄写辅助方法、装置、设备及存储介质 |
| CN113221784A (zh) * | 2021-05-20 | 2021-08-06 | 杭州麦淘淘科技有限公司 | 一种基于多模态的学生学习状态分析方法及装置 |
| CN113239794A (zh) * | 2021-05-11 | 2021-08-10 | 西北工业大学 | 一种面向在线学习的学习状态自动识别方法 |
| CN113283334A (zh) * | 2021-05-21 | 2021-08-20 | 浙江师范大学 | 一种课堂专注度分析方法、装置和存储介质 |
| CN113591678A (zh) * | 2021-07-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 课堂注意力确定方法、装置、设备、存储介质及程序产品 |
| CN113792625A (zh) * | 2018-08-11 | 2021-12-14 | 昆山美卓智能科技有限公司 | 一种具有状态监控功能的智能桌、状态监控系统及服务器 |
| CN114022939A (zh) * | 2021-11-16 | 2022-02-08 | 河南职业技术学院 | 一种实践课堂教学课件推荐方法及系统 |
| CN114140282A (zh) * | 2021-11-19 | 2022-03-04 | 武汉东信同邦信息技术有限公司 | 一种基于深度学习的普教课堂答题快速评审方法及装置 |
| CN114821708A (zh) * | 2022-03-31 | 2022-07-29 | 黑龙江大学 | 一种自主沉浸式学习系统及方法 |
| CN114970701A (zh) * | 2022-05-18 | 2022-08-30 | 华中师范大学 | 一种基于多模态融合的课堂互动分析方法及系统 |
| CN114998440A (zh) * | 2022-08-08 | 2022-09-02 | 广东数业智能科技有限公司 | 基于多模态的测评方法、装置、介质及设备 |
| CN115983556A (zh) * | 2022-12-08 | 2023-04-18 | 武汉猪猪乐园教育咨询有限公司 | 一种教师排课优化方法、系统及存储介质 |
| CN115984956A (zh) * | 2022-12-16 | 2023-04-18 | 北京师范大学 | 一种人机协同学生课堂投入度多模态可视分析系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6128587A (en) * | 1997-01-14 | 2000-10-03 | The Regents Of The University Of California | Method and apparatus using Bayesian subfamily identification for sequence analysis |
| CN103400105A (zh) * | 2013-06-26 | 2013-11-20 | 东南大学 | 基于姿态归一化的非正面人脸表情识别方法 |
| CN103970863A (zh) * | 2014-05-08 | 2014-08-06 | 清华大学 | 基于lda主题模型的微博用户兴趣的挖掘方法及系统 |
| CN104008370A (zh) * | 2014-05-19 | 2014-08-27 | 清华大学 | 一种视频人脸识别方法 |
| US20140242560A1 (en) * | 2013-02-15 | 2014-08-28 | Emotient | Facial expression training using feedback from automatic facial expression recognition |
| CN104517102A (zh) * | 2014-12-26 | 2015-04-15 | 华中师范大学 | 学生课堂注意力检测方法及系统 |
| CN106650637A (zh) * | 2016-12-02 | 2017-05-10 | 华中师范大学 | 一种基于条件随机森林的笑脸检测器及方法 |
| CN107025616A (zh) * | 2017-05-08 | 2017-08-08 | 湖南科乐坊教育科技股份有限公司 | 一种幼儿教学状态检测方法及其系统 |
| CN107066951A (zh) * | 2017-03-15 | 2017-08-18 | 中国地质大学（武汉） | 一种人脸自发表情的识别方法及系统 |
-
2018
- 2018-04-20 CN CN201810359755.9A patent/CN108805009A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6128587A (en) * | 1997-01-14 | 2000-10-03 | The Regents Of The University Of California | Method and apparatus using Bayesian subfamily identification for sequence analysis |
| US20140242560A1 (en) * | 2013-02-15 | 2014-08-28 | Emotient | Facial expression training using feedback from automatic facial expression recognition |
| CN103400105A (zh) * | 2013-06-26 | 2013-11-20 | 东南大学 | 基于姿态归一化的非正面人脸表情识别方法 |
| CN103970863A (zh) * | 2014-05-08 | 2014-08-06 | 清华大学 | 基于lda主题模型的微博用户兴趣的挖掘方法及系统 |
| CN104008370A (zh) * | 2014-05-19 | 2014-08-27 | 清华大学 | 一种视频人脸识别方法 |
| CN104517102A (zh) * | 2014-12-26 | 2015-04-15 | 华中师范大学 | 学生课堂注意力检测方法及系统 |
| CN106650637A (zh) * | 2016-12-02 | 2017-05-10 | 华中师范大学 | 一种基于条件随机森林的笑脸检测器及方法 |
| CN107066951A (zh) * | 2017-03-15 | 2017-08-18 | 中国地质大学（武汉） | 一种人脸自发表情的识别方法及系统 |
| CN107025616A (zh) * | 2017-05-08 | 2017-08-08 | 湖南科乐坊教育科技股份有限公司 | 一种幼儿教学状态检测方法及其系统 |
Non-Patent Citations (6)
| Title |
|---|
| YUANYUAN LIU等: "Robust head pose estimation using Dirichlet-tree distribution enhanced random forests", 《NEUROCOMPUTING》 * |
| 刘袁缘: "自然环境下头部姿态估计方法的研究与应用", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 李磊等: "层次分析-熵值定权法在城市水环境", 《长江流域资源与环境》 * |
| 罗楠: "人机交互学习系统实现及学生兴趣程度检测", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 罗珍珍: "基于条件随机森林的非约束环境自然笑脸检测", 《自动化学报》 * |
| 薛向龙: "基于面部动作单元的分层随机森林表情识别算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792625A (zh) * | 2018-08-11 | 2021-12-14 | 昆山美卓智能科技有限公司 | 一种具有状态监控功能的智能桌、状态监控系统及服务器 |
| CN111199378B (zh) * | 2018-11-20 | 2024-03-26 | 深圳云天励飞技术有限公司 | 学员管理方法、装置、电子设备及存储介质 |
| CN111199378A (zh) * | 2018-11-20 | 2020-05-26 | 深圳云天励飞技术有限公司 | 学员管理方法、装置、电子设备及存储介质 |
| CN109583351A (zh) * | 2018-11-22 | 2019-04-05 | 广州市保伦电子有限公司 | 基于视频分析的课堂学生注意力获取方法、装置及介质 |
| CN111582611A (zh) * | 2019-02-18 | 2020-08-25 | 北京入思技术有限公司 | 一种基于情绪感知的课堂教学评价方法及系统 |
| CN109934150A (zh) * | 2019-03-07 | 2019-06-25 | 百度在线网络技术（北京）有限公司 | 一种会议参与度识别方法、装置、服务器和存储介质 |
| CN109934150B (zh) * | 2019-03-07 | 2022-04-05 | 百度在线网络技术（北京）有限公司 | 一种会议参与度识别方法、装置、服务器和存储介质 |
| CN109961047A (zh) * | 2019-03-26 | 2019-07-02 | 北京儒博科技有限公司 | 教育机器人的学习监督方法、装置、机器人及存储介质 |
| CN110246385A (zh) * | 2019-05-16 | 2019-09-17 | 杭州博世数据网络有限公司 | 基于关键授课点评价的互联网教学辅助教学系统 |
| CN110378812A (zh) * | 2019-05-20 | 2019-10-25 | 北京师范大学 | 一种自适应在线教育系统及方法 |
| CN110210540A (zh) * | 2019-05-22 | 2019-09-06 | 山东大学 | 基于注意力机制的跨社交媒体用户身份识别方法及系统 |
| CN110287790B (zh) * | 2019-05-23 | 2021-04-02 | 华中师范大学 | 一种面向静态多人场景的学习状态混合分析方法 |
| CN110287790A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种面向静态多人场景的学习状态混合分析方法 |
| CN110543828A (zh) * | 2019-08-08 | 2019-12-06 | 南京励智心理大数据产业研究院有限公司 | 基于可穿戴设备和多模态智能分析的学生注意力分析系统 |
| CN110674464A (zh) * | 2019-08-27 | 2020-01-10 | 湖南科技学院 | 一种基于物联网的计算机教学评级系统 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110598632B (zh) * | 2019-09-12 | 2022-09-09 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN111047481A (zh) * | 2019-09-29 | 2020-04-21 | 云知声智能科技股份有限公司 | 一种具有监督功能的在线学习系统 |
| CN110991277A (zh) * | 2019-11-20 | 2020-04-10 | 湖南检信智能科技有限公司 | 基于深度学习的多维度多任务学习评价系统 |
| CN110991277B (zh) * | 2019-11-20 | 2023-09-22 | 湖南检信智能科技有限公司 | 基于深度学习的多维度多任务学习评价系统 |
| CN110765987B (zh) * | 2019-11-27 | 2022-05-17 | 北京工业大学 | 创新行为特征的量化方法、装置和电子设备 |
| CN110765987A (zh) * | 2019-11-27 | 2020-02-07 | 北京工业大学 | 创新行为特征的量化方法、装置和电子设备 |
| CN111046823A (zh) * | 2019-12-19 | 2020-04-21 | 东南大学 | 基于课堂视频的学生课堂参与度分析系统 |
| CN111160239A (zh) * | 2019-12-27 | 2020-05-15 | 中国联合网络通信集团有限公司 | 专注度评估方法和装置 |
| CN111754368A (zh) * | 2020-01-17 | 2020-10-09 | 天津师范大学 | 一种高校教学评估方法及基于边缘智能的高校教学评估系统 |
| CN111507227A (zh) * | 2020-04-10 | 2020-08-07 | 南京汉韬科技有限公司 | 基于深度学习的多学生个体分割及状态自主识别方法 |
| CN111507227B (zh) * | 2020-04-10 | 2023-04-18 | 南京汉韬科技有限公司 | 基于深度学习的多学生个体分割及状态自主识别方法 |
| CN111652045A (zh) * | 2020-04-17 | 2020-09-11 | 西北工业大学太仓长三角研究院 | 课堂教学质量评估方法和系统 |
| CN111931585A (zh) * | 2020-07-14 | 2020-11-13 | 东云睿连(武汉)计算技术有限公司 | 一种课堂专注度的检测方法及装置 |
| CN112115601A (zh) * | 2020-09-10 | 2020-12-22 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN112115601B (zh) * | 2020-09-10 | 2022-05-17 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN112651602A (zh) * | 2020-12-03 | 2021-04-13 | 宁波大学科学技术学院 | 一种课堂模式评价方法和设备 |
| CN112597813A (zh) * | 2020-12-03 | 2021-04-02 | 宁波大学科学技术学院 | 一种教学评价方法、设备和计算机可读存储介质 |
| CN112598550B (zh) * | 2020-12-24 | 2024-03-26 | 苏州大学 | 基于行为分析的学生活动多维管理系统及管理方法 |
| CN112598550A (zh) * | 2020-12-24 | 2021-04-02 | 苏州大学 | 基于行为分析的学生活动多维管理系统及管理方法 |
| CN112837574A (zh) * | 2021-01-15 | 2021-05-25 | 中科远见(重庆)科技有限公司 | 一种互动课堂系统及其方法 |
| CN112837574B (zh) * | 2021-01-15 | 2023-04-07 | 中科远见(重庆)科技有限公司 | 一种互动课堂系统及其方法 |
| CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
| CN113011341A (zh) * | 2021-03-22 | 2021-06-22 | 平安科技（深圳）有限公司 | 佛经抄写辅助方法、装置、设备及存储介质 |
| CN113011341B (zh) * | 2021-03-22 | 2024-06-28 | 平安科技（深圳）有限公司 | 佛经抄写辅助方法、装置、设备及存储介质 |
| CN113239794A (zh) * | 2021-05-11 | 2021-08-10 | 西北工业大学 | 一种面向在线学习的学习状态自动识别方法 |
| CN113239794B (zh) * | 2021-05-11 | 2023-05-23 | 西北工业大学 | 一种面向在线学习的学习状态自动识别方法 |
| CN113221784A (zh) * | 2021-05-20 | 2021-08-06 | 杭州麦淘淘科技有限公司 | 一种基于多模态的学生学习状态分析方法及装置 |
| CN113283334B (zh) * | 2021-05-21 | 2023-07-21 | 浙江师范大学 | 一种课堂专注度分析方法、装置和存储介质 |
| CN113283334A (zh) * | 2021-05-21 | 2021-08-20 | 浙江师范大学 | 一种课堂专注度分析方法、装置和存储介质 |
| CN113591678B (zh) * | 2021-07-28 | 2023-06-23 | 北京百度网讯科技有限公司 | 课堂注意力确定方法、装置、设备、存储介质及程序产品 |
| CN113591678A (zh) * | 2021-07-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 课堂注意力确定方法、装置、设备、存储介质及程序产品 |
| CN114022939A (zh) * | 2021-11-16 | 2022-02-08 | 河南职业技术学院 | 一种实践课堂教学课件推荐方法及系统 |
| CN114140282B (zh) * | 2021-11-19 | 2023-03-24 | 武汉东信同邦信息技术有限公司 | 一种基于深度学习的普教课堂答题快速评审方法及装置 |
| CN114140282A (zh) * | 2021-11-19 | 2022-03-04 | 武汉东信同邦信息技术有限公司 | 一种基于深度学习的普教课堂答题快速评审方法及装置 |
| CN114821708A (zh) * | 2022-03-31 | 2022-07-29 | 黑龙江大学 | 一种自主沉浸式学习系统及方法 |
| CN114970701A (zh) * | 2022-05-18 | 2022-08-30 | 华中师范大学 | 一种基于多模态融合的课堂互动分析方法及系统 |
| CN114998440B (zh) * | 2022-08-08 | 2022-11-11 | 广东数业智能科技有限公司 | 基于多模态的测评方法、装置、介质及设备 |
| CN114998440A (zh) * | 2022-08-08 | 2022-09-02 | 广东数业智能科技有限公司 | 基于多模态的测评方法、装置、介质及设备 |
| CN115983556B (zh) * | 2022-12-08 | 2023-09-29 | 北京布局未来教育科技有限公司 | 一种教师排课优化方法、系统及存储介质 |
| CN115983556A (zh) * | 2022-12-08 | 2023-04-18 | 武汉猪猪乐园教育咨询有限公司 | 一种教师排课优化方法、系统及存储介质 |
| CN115984956B (zh) * | 2022-12-16 | 2023-08-29 | 北京师范大学 | 一种人机协同学生课堂投入度多模态可视分析系统 |
| CN115984956A (zh) * | 2022-12-16 | 2023-04-18 | 北京师范大学 | 一种人机协同学生课堂投入度多模态可视分析系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805009A (zh) | 基于多模态信息融合的课堂学习状态监测方法及系统 | |
| CN104463100B (zh) | 基于面部表情识别模式的智能轮椅人机交互系统及方法 | |
| CN107220600B (zh) | 一种基于深度学习的图片生成方法及生成对抗网络 | |
| CN108399376A (zh) | 学生课堂学习兴趣智能分析方法及系统 | |
| CN108875606A (zh) | 一种基于表情识别的课堂教学评价方法及系统 | |
| US20230015773A1 (en) | Crowd motion simulation method based on real crowd motion videos | |
| CN106203503B (zh) | 一种基于骨骼序列的动作识别方法 | |
| CN101604382A (zh) | 一种基于面部表情识别的学习疲劳识别干预方法 | |
| Ren et al. | Human action recognition in smart classroom | |
| CN106778506A (zh) | 一种融合深度图像和多通道特征的表情识别方法 | |
| CN111291613B (zh) | 一种课堂表现评价方法及系统 | |
| CN106909220A (zh) | 一种适用于触控的视线交互方法 | |
| CN110135282A (zh) | 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法 | |
| CN103366160A (zh) | 融合肤色、人脸和敏感部位检测的不良图像判别方法 | |
| CN105631420A (zh) | 一种基于3d骨架的多视角室内人体行为识别方法 | |
| Balasuriya et al. | Learning platform for visually impaired children through artificial intelligence and computer vision | |
| CN110163567A (zh) | 基于多任务级联卷积神经网络的课堂点名系统 | |
| Hussain et al. | Categorical vs. dimensional representations in multimodal affect detection during learning | |
| CN111666829A (zh) | 多场景多主体身份行为情绪识别分析方法及智能监管系统 | |
| CN105426882A (zh) | 一种人脸图像中快速定位人眼的方法 | |
| CN103198330A (zh) | 基于深度视频流的实时人脸姿态估计方法 | |
| Ma et al. | A deep learning approach for online learning emotion recognition | |
| CN114970701A (zh) | 一种基于多模态融合的课堂互动分析方法及系统 | |
| CN103310454B (zh) | 滞留物检测中的静止物体类型判断与物主分析方法及系统 | |
| Qianqian et al. | Research on behavior analysis of real-time online teaching for college students based on head gesture recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181113 |
|
| RJ01 | Rejection of invention patent application after publication |