CN108090857B - 一种多模态的学生课堂行为分析系统和方法 - Google Patents
一种多模态的学生课堂行为分析系统和方法 Download PDFInfo
- Publication number
- CN108090857B CN108090857B CN201711469436.5A CN201711469436A CN108090857B CN 108090857 B CN108090857 B CN 108090857B CN 201711469436 A CN201711469436 A CN 201711469436A CN 108090857 B CN108090857 B CN 108090857B
- Authority
- CN
- China
- Prior art keywords
- teacher
- teaching
- face
- student
- concentration rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 238000010219 correlation analysis Methods 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机技术领域,具体为一种多模态的学生课堂行为分析系统和方法。本发明系统包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块;学生注意力检测模块检测学生的专注率,教师授课内容检测模块检测教师的授课内容,教师授课风格检测模块检测教师的授课风格,相关性分析模块分析学生注意力检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系;本发明对学生的专注率与音频特征、授课主题之间的相关性进行分析,能帮助教师调整授课风格,提升学生的专注率。
Description
技术领域
本发明属于计算机图像处理,文本处理和音频处理技术领域,具体涉及一种多模态的课堂行为分析系统和方法。
背景技术
随着智能手机和其他移动设备的不断增多,学生在课堂中有时候会思想不集中和上课不专心。但是,教育部门仍旧缺少一个有力的工具去评估学生上课思想不集中的严重性和它对学生学业表现的影响。在本发明中,我们去识别学生们在课堂中不同时间段的专注率,与教师的授课风格、授课主题相联系。
利用计算机视觉技术,文本处理技术进行课堂行为分析是一个非常具有挑战性的工作,首先,我们需要在教学视频中自动地检测出学生所在的位置,并实时地跟踪学生的位置,同时,我们需要对教师的授课内容和授课风格进行自动的检测,这对算法的精度和实时性有较高的要求。利用计算机对学生课堂行为进行分析,可以帮助我们实时地了解学生的学习状态,和教师的授课内容,授课风格对学生上课专注率的影响。
学生课堂行为分析涉及到学生的检测,学生身份的识别,也就是需要利用人脸检测技术,人脸认证和跟踪技术。对于单个学生的行为涉及到是否专注于黑板或者老师,是否在做笔记等。对于学生的群体分析,我们需要分析在不同时间段和空间的学生们的行为。同时,我们需要从教师的语音信息中提取教师的授课内容和授课风格,需要利用文本处理技术对文本的主题进行提取,以及利用语音处理技术提取教师的授课风格,如语速,音调等信息。
到目前为止,很多研究者提出了许多基于课堂的视频分析,而且主要针对的是授课内容,学生在教室中的位置和身份。比如,有的研究者提出的方法可以自动识别学生的位置和身份,同时分析学生的社交关系以及位置与最终的学习成绩之间的关系。
发明内容
本发明的目的在于提供一种能够提供鲁棒的、准确的、适应性强的基于多模态的学生课堂行为分析系统和方法。本发明提供的基于多模态的学生课堂行为分析方法,利用检测学生人脸的朝向,提取教师的授课主题和授课风格,从而得到鲁棒的、准确的、适应性强的基于多模态的学生课堂行为分析方法。本发明提出的基于计算机视觉,文本处理,语音处理的学生课堂行为分析算法,是基于对学生行为专注率的分析,以及教师授课内容和授课风格的检测,从而能够对教师的教学效果有一个总体的评估。在多样的教学视频和复杂的背景下,该方法能够较为准确地体现学生行为分析的价值。
本发明的技术方案具体介绍如下。
一种多模态的学生课堂行为分析系统,其包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块;学生注意力检测模块检测学生的专注率,教师授课内容检测模块检测教师的授课内容,教师授课风格检测模块检测教师的授课风格,相关性分析模块分析学生注意检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系;其中:
学生注意力检测模块包括人脸检测子模块和学生视角检测子模块;所述人脸检测子模块,利用MTCNN(Multi-task Convolutional Neural Network)算法得到初步人脸检测结果后,依次经过颜色直方图过滤和时间序列优化,得到最终的人脸检测结果,用于学生视角检测子模块;所述学生视角检测子模块从人脸检测子模块得到的最终的检测到的人脸提取特征点Landmark,利用迭代法求解PnP(Pespective-n-Point),得到人脸的朝向;
教师授课内容检测模块包括中文分词子模块和授课主题子模块,所述中文分词子模块利用FudanNLP工具对教师授课内容对其进行中文分词,授课主题子模块对中文分词子模块中文分词后结果利用LDA算法提取授课主题;
教师授课风格检测模块包括教师音量提取子模块,教师声音过零率提取子模块和教师语速提取子模块;教师音量提取子模块在教师音频中提取对应的音量特征,教师声音过零率提取子模块在教师授课音频中提取相应的过零率特征,教师语速提取子模块通过计算每分钟教师所讲的词汇数量来计算。
相关性分析模块,包含教师授课风格和学生专注率的关系分析和教师授课内容和学生专注率的关系分析。通过计算皮尔森相关系数和斯皮尔曼相关系数分析教师授课音频的音量、过零率、语速和学生专注率的关系,从而得到教师授课风格和学生专注率的关系,对于授课内容和专注率的分析,需要利用图表的可视化来得到分析结果。
本发明还提供一种利用上述的分析系统的方法,具体步骤如下:
步骤一、检测学生的专注率
(1)对于完整的教学视频,进行每5帧选取一帧的采样;
(2)对于每帧图像,利用MTCNN算法检测学生的人脸;
(3)对于检测到的人脸,提取其颜色直方图,与置信度高的人脸的颜色直方图进行相关性比较,小于阈值则认定为非人脸,从而过滤掉非人脸的结果;
(4)利用时序信息对结果进行优化;
(5)利用得到的人脸计算得到对应的特征点Landmark;
(6)利用Levenberg-Marquardt算法优化PnP问题得到人脸的朝向;
步骤二、检测教师的授课内容
(1)对教师授课文本进行中文分词,利用FudanNLP工具对中文文本分词,得到授课文本的词项;
(2)利用LDA算法提取教师授课文本中的课程主题;
步骤三、检测教师的授课风格
(1)提取教师声音的音量v,其计算公式如下所示:
其中si是指第i个采样点,n是采样频率;
(2)提取教师声音的过零率,即统计在采样频率内信号从正到负或从负到正变化的次数;(3)提取教师的语速,即统计教师在每分钟内说出单词的个数;
步骤四、相关性分析
判断学生的专注率与教师的授课内容及授课风格之间的联系。
首先判断学生专注率和教师授课风格之间的联系,通过计算教师音量和学生专注率的皮尔森相关系数和斯皮尔曼相关系数,可以得到两者的正负相关性,其具体过程如下:
①计算教师音量和学生专注率的皮尔森相关系数:
②计算教师音量和学生专注率的斯皮尔斯相关系数:
其中di=vi-yi
用相同的方法计算教师授课音频的过零率、语速和学生专注率的关系。
对于学生专注率和教师授课内容之间的联系,通过图表可视化分析每个时间段的知识点和相应的专注率的关系。
本发明中,步骤一(3)中,置信度高的人脸的颜色直方图由从视频中提取出的100张高置信度人脸取平均而得到;进行相关性比较的具体步骤如下:
①计算人脸颜色直方图的相关性:
②如果相关性小于阈值,认定为非人脸。
本发明中,步骤一(4)中,利用时序信息对结果进行优化的方法如下:
①在5帧的时间窗中,得到所有帧上的检测人脸对象;
②利用非极大抑制算法得到最终的人脸检测结果。
本发明中,步骤二(1)中,利用FudanNLP工具对中文文本分词的过程中,引入课程所属的特定领域的词典以提高分词的准确率,引入停用词列表以过滤口语表达中的噪声。
和现有技术相比,本发明的有益效果在于:本发明能够对教师的教学效果有一个总体的评估。在多样的教学视频和复杂的背景下,该方法能够较为准确地体现学生行为分析的价值。该本发明最终对学生的专注率与音频特征、授课主题之间的相关性进行分析,能由此帮助教师调整授课风格,提升学生的专注率。
附图说明
图1为本发明提出的基于多模态的学生课堂行为分析方法的总流程框图。
图2为教学视频中截取的样例帧。
图3为学生注意力检测模块中人脸检测子模块的检测结果,矩型框表示正确检测到的人脸。
图4为学生注意力检测模块中学生视角检测子模块的检测结果,其中角度轴表示学生面部的朝向。
图5为学生的专注率与教师的授课内容及授课风格之间相关性分析结果的图表展示。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
参照图1,本发明的基于多模态的学生课堂行为分析算法,其具体步骤如下:
(1)学生专注率检测,具体过程如下:
(11)对于完整地教学视频,进行每5帧选取一帧的采样;
(12)对于每帧图像,利用MTCNN算法检测学生的人脸;
(13)对于检测到的人脸,提取其颜色直方图,与置信度高的人脸的颜色直方图进行相关性比较,小于阈值则认定为非人脸,过滤掉非人脸的结果。这里置信度高的人脸的颜色直方图由从视频中提取出的100张高置信度人脸取平均而得到;
(131)计算人脸颜色直方图的相关性的方式如下:
(132)如果相关性小于阈值,我们就认定为非人脸,这里的阈值我们设定为0.35;
(14)利用时序信息对结果进行优化,具体过程如下:
(141)在5帧的时间窗中,得到所有帧上的检测人脸的结果,存储在一个集合中。例如,假设当前已处理了t-1帧,所检测到的人脸存储在集合S中:
S={sF1,sF2,L sFi,L sFn}
其中sFi表示第i个候选人脸,n表示候选人脸的个数。当处理第t帧时,对当前帧进行人脸检测后可得到一个候选人脸集合:
P={pF1,pF2,L pFi,L pFm}
其中pFi表示第i个候选人脸,m表示当前帧中候选人脸的个数。
(142)利用非极大抑制算法得到最终的人脸检测结果(图3)。具体做法是检查P中的每个候选人脸pFi是否已存在与集合S中,定义pFi和sFj的重叠区域(areaoverlap,AO)如下:
其中BB(F)表示人脸区域F的外接矩形框。如果pFi与sFj有显著重叠,那么用pFi替换掉sFj对S进行更新,否则认为pFi是新检测到的人脸,直接加入集合S。这里重叠区域AO的大小阈值设置为0.3;
(15)利用集成回归树算法对得到的人脸计算其对应的人脸标志点;
(16)利用Levenberg-Marquardt算法优化PnP问题得到人脸的朝向。计算机视觉中,从2D图像中恢复出3D点的位置可归结为一个PnP问题,具体方法如下:
给定一组世界坐标系下的3D点qi=[xi yi zi 1]T,i=1,2,L,n其在2D平面上的投影点为pi=[ui vi 1]T。PnP问题的目标是获取相机的旋转矩阵R以及转换向量t,相机的投影模型为sipi=K[R|T]qi,i=1,2,L,n,其中K为相机的内参矩阵,si为尺度因子。在获取到图像中人脸的标志点后,利用Levenberg-Marquardt算法最小化重投影误差,迭代求解PnP问题,从而得到人脸的朝向(图4)。
(2)教师授课内容检测,具体过程如下:
(21)对教师授课文本进行中文分词,利用FudanNLP工具对中文文本分词,得到授课文本的词项。为提高分词的准确度,引入课程所属的特定领域的词典,并利用停用词列表去除口语表达中的噪声。
(22)提取课程主题时,对授课文本应用滑动窗口方法,即将用临近时刻内的5条语句来表达当前时间点的授课内容。在每一个滑动窗口内,将语句视为一个小的文档,利用LDA算法提取教师授课文本中的课程主题。
(23)利用LDA算法提取主题,本质上是计算主题与文档之间的一个概率分布。为了得到概率分布的更好的结果,首先用一些术语描述课程中的概念,随后基于课程概念出现的次数计算其初始主题分布。之后用Gibbs采样法对不属于任何课程概念的术语进行采样,基于初始主题分布和采样数据生成最终的概率分布。
(24)最终采用概率最大的主题作为文档的主题。
(3)教师授课风格检测,具体过程如下:
(31)提取教师声音的音量:
其中si是第i个采样点,n代表采样频率。
(32)提取教师声音的过零率(zero-crossingrate,ZCR),即统计在采样频率内信号正负变化的次数。过零率在语音识别、音乐信息检索等领域有广泛的应用,是一个描述声音特征的常用维度。
(33)提取教师的语速,即统计教师在每分钟内说出的单词的个数。
(4)根据以上步骤,对从3个模块中提取到的信息进行分析,判断学生的专注率与教师的授课内容及授课风格之间的联系。对于描述教师授课风格的音量、过零率及语速3个特征,分别计算其与学生的专注率的相关性,在本实施例中,选取了相关性较高的音量及语速2个特征描述教师的授课风格。参照图5,在本实施例中,横轴表示时间,纵轴表示归一化后的比率。在横轴方向上用不同条带表示不同的授课内容(例如conductionband、electronhole);三条不同的折线分别表示归一化后的学生专注率、教师音量及语速。图表表明,首先,随着授课内容从一个知识概念过渡到另一个,学生的专注率会提高;其次教师音量的提高也会带来学生专注率的提升;最后,教师的语速与学生的专注率呈现负相关,即放慢语速会使学生的专注率提高。通过对图表的分析,可以指导教师从知识概念的切换、音量及语速几个方面进行调整,使学生的专注率保持在较高的水平。
Claims (5)
1.一种多模态的学生课堂行为分析系统,其特征在于,其包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块;学生注意力检测模块检测学生的专注率,教师授课内容检测模块检测教师的授课内容,教师授课风格检测模块检测教师的授课风格,相关性分析模块分析学生注意力检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系;其中:
学生注意力检测模块包括人脸检测子模块和学生视角检测子模块;所述人脸检测子模块,利用MTCNN算法得到初步人脸检测结果后,依次经过颜色直方图过滤和时间序列优化,得到最终的人脸检测结果,用于学生视角检测子模块;所述学生视角检测子模块从人脸检测子模块得到的最终的检测到的人脸提取特征点Landmark,利用迭代法求解PnP,得到人脸的朝向;
教师授课内容检测模块包括中文分词子模块和授课主题子模块,所述中文分词子模块利用FudanNLP工具对教师授课内容对其进行中文分词,授课主题子模块对中文分词子模块中文分词后结果利用LDA算法提取授课主题;
教师授课风格检测模块包括教师音量提取子模块,教师声音过零率提取子模块和教师语速提取子模块;教师音量提取子模块在教师音频中提取对应的音量特征,教师声音过零率提取子模块在教师授课音频中提取相应的过零率特征,教师语速提取子模块通过计算每分钟教师所讲的词汇数量来计算;
相关性分析模块用于教师授课风格和学生专注率的关系分析和教师授课内容和学生专注率的关系分析;通过计算皮尔森相关系数和斯皮尔曼相关系数分析教师授课音频的音量、过零率、语速和学生专注率的关系,从而得到教师授课风格和学生专注率的关系;利用图表的可视化得到授课内容和专注率的的分析结果。
2.一种利用根据权利要求1所述的分析系统的方法,其特征在于,具体步骤如下:
步骤一、检测学生的专注率
(1)对于完整的教学视频,进行每5帧选取一帧的采样;
(2)对于每帧图像,利用MTCNN算法检测学生的人脸;
(3)对于检测到的人脸,提取其颜色直方图,与置信度高的人脸的颜色直方图进行相关性比较,小于阈值则认定为非人脸,从而过滤掉非人脸的结果;
(4)利用时序信息对结果进行优化;
(5)利用得到的人脸计算得到对应的特征点Landmark;
(6)利用Levenberg-Marquardt算法优化PnP问题得到人脸的朝向;
(7)通过判断人脸的朝向来判断学生是否专注于课堂内容;
步骤二、检测教师的授课内容
(1)对教师授课文本进行中文分词,利用FudanNLP工具对中文文本分词,得到授课文本的词项;
(2)利用LDA算法提取教师授课文本中的课程主题;
步骤三、检测教师的授课风格
(1)提取教师声音的音量v,其计算公式如下所示:
其中si是指第i个采样点,n是采样频率;
(2)提取教师声音的过零率,即统计在采样频率内信号从正到负或从负到正变化的次数;
(3)提取教师的语速,即统计教师在每分钟内说出单词的个数;
步骤四、相关性分析
判断学生的专注率与教师的授课内容及授课风格之间的联系;
首先判断学生专注率和教师授课风格之间的联系,通过计算教师音量和学生专注率的皮尔森相关系数和斯皮尔曼相关系数,可以得到两者的正负相关性,其具体过程如下:
①计算教师音量和学生专注率的皮尔森相关系数:
②计算教师音量和学生专注率的斯皮尔斯相关系数:
其中di=vi-yi
用相同的方法计算教师授课音频的过零率、语速和学生专注率的关系;
对于学生专注率和教师授课内容之间的联系,通过图表可视化分析每个时间段的知识点和相应的专注率的关系。
4.根据权利要求2所述的方法,其特征在于,步骤一(4)中,利用时序信息对结果进行优化的方法如下:
①在5帧的时间窗中,得到所有帧上的检测人脸对象;
②利用非极大抑制算法得到最终的人脸检测结果。
5.根据权利要求2所述的方法,其特征在于,步骤二(1)中,利用FudanNLP工具对中文文本分词的过程中,引入课程所属的特定领域的词典以提高分词的准确率,引入停用词列表以过滤口语表达中的噪声。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711469436.5A CN108090857B (zh) | 2017-12-29 | 2017-12-29 | 一种多模态的学生课堂行为分析系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711469436.5A CN108090857B (zh) | 2017-12-29 | 2017-12-29 | 一种多模态的学生课堂行为分析系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108090857A CN108090857A (zh) | 2018-05-29 |
CN108090857B true CN108090857B (zh) | 2021-06-22 |
Family
ID=62179875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711469436.5A Active CN108090857B (zh) | 2017-12-29 | 2017-12-29 | 一种多模态的学生课堂行为分析系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108090857B (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108766075A (zh) * | 2018-05-31 | 2018-11-06 | 长春博立电子科技有限公司 | 一种基于视频分析的个性化教育分析系统及方法 |
CN108875606A (zh) * | 2018-06-01 | 2018-11-23 | 重庆大学 | 一种基于表情识别的课堂教学评价方法及系统 |
CN108898084A (zh) * | 2018-06-20 | 2018-11-27 | 四川文理学院 | 一种机器人识别学生状态辅助课堂教学的方法及其装置 |
CN109063954A (zh) * | 2018-06-20 | 2018-12-21 | 新华网股份有限公司 | 教师教学的测评方法和系统 |
CN109308569A (zh) * | 2018-08-16 | 2019-02-05 | 杨帆 | 一种基于人工智能的教学行为分析系统及分析方法 |
CN109359539B (zh) * | 2018-09-17 | 2021-04-02 | 中国科学院深圳先进技术研究院 | 注意力评估方法、装置、终端设备及计算机可读存储介质 |
CN109447863A (zh) * | 2018-10-23 | 2019-03-08 | 广州努比互联网科技有限公司 | 一种4mat实时分析方法及系统 |
CN109523852A (zh) * | 2018-11-21 | 2019-03-26 | 合肥虹慧达科技有限公司 | 基于视觉监控的学习交互系统及其交互方法 |
CN109583354B (zh) * | 2018-11-23 | 2023-05-05 | 南京极域信息科技有限公司 | 基于机器学习的学生注意力检测系统 |
CN111832787B (zh) * | 2019-04-23 | 2022-12-09 | 北京新唐思创教育科技有限公司 | 教师风格预测模型的训练方法及计算机存储介质 |
CN111832595B (zh) * | 2019-04-23 | 2022-05-06 | 北京新唐思创教育科技有限公司 | 教师风格的确定方法及计算机存储介质 |
CN110210540B (zh) * | 2019-05-22 | 2021-02-26 | 山东大学 | 基于注意力机制的跨社交媒体用户身份识别方法及系统 |
CN112116181B (zh) * | 2019-06-20 | 2022-12-02 | 北京新唐思创教育科技有限公司 | 课堂质量模型的训练方法、课堂质量评价方法及装置 |
CN110427977B (zh) * | 2019-07-10 | 2021-07-27 | 上海交通大学 | 一种课堂互动行为的检测方法 |
CN111243373B (zh) * | 2020-03-27 | 2022-01-11 | 上海米学人工智能信息科技有限公司 | 全景化的模拟教学系统 |
CN111507283B (zh) * | 2020-04-21 | 2021-11-30 | 浙江蓝鸽科技有限公司 | 基于课堂场景的学生行为识别方法及系统 |
CN111477055A (zh) * | 2020-04-30 | 2020-07-31 | 众妙之门(深圳)科技有限公司 | 基于虚拟现实技术的教师培训系统及方法 |
CN111626252B (zh) * | 2020-06-02 | 2023-04-07 | 北京中广上洋科技股份有限公司 | 一种教学视频分析方法及装置 |
CN112001275A (zh) * | 2020-08-09 | 2020-11-27 | 成都未至科技有限公司 | 用于采集学生信息的机器人 |
CN112837190B (zh) * | 2021-01-07 | 2024-04-30 | 上海知到知识数字科技有限公司 | 一种基于在线互动培训课堂培训装置的培训方法 |
CN112911326B (zh) * | 2021-01-29 | 2023-04-11 | 平安科技(深圳)有限公司 | 弹幕信息处理方法、装置、电子设备和存储介质 |
CN112906633B (zh) * | 2021-03-18 | 2021-11-02 | 南通师范高等专科学校 | 一种基于学生注意力的教学优化方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104102627A (zh) * | 2014-07-11 | 2014-10-15 | 合肥工业大学 | 一种多模态的非接触情感分析记录系统 |
CN104517102A (zh) * | 2014-12-26 | 2015-04-15 | 华中师范大学 | 学生课堂注意力检测方法及系统 |
CN104575142A (zh) * | 2015-01-29 | 2015-04-29 | 上海开放大学 | 体验式数字化多屏无缝跨媒体互动开放教学实验室 |
CN105516802A (zh) * | 2015-11-19 | 2016-04-20 | 上海交通大学 | 多特征融合的新闻视频摘要提取方法 |
CN105590632A (zh) * | 2015-12-16 | 2016-05-18 | 广东德诚网络科技有限公司 | 一种基于语音相似性识别的s-t教学过程分析方法 |
CN205334563U (zh) * | 2016-01-05 | 2016-06-22 | 华中师范大学 | 一种学生课堂参与度检测系统 |
CN106547815A (zh) * | 2016-09-23 | 2017-03-29 | 厦门市杜若科技有限公司 | 一种基于大数据的针对性作业生成方法与系统 |
CN107240317A (zh) * | 2017-07-14 | 2017-10-10 | 福建铁工机智能机器人有限公司 | 一种利用ar实现远程教育的方法及设备 |
CN107480633A (zh) * | 2017-08-11 | 2017-12-15 | 安徽辉墨教学仪器有限公司 | 一种高校教室占用情况实时分析方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8898243B2 (en) * | 2013-04-08 | 2014-11-25 | Jani Turkia | Device relay control system and method |
US20160364994A1 (en) * | 2015-06-11 | 2016-12-15 | Matthew Leuchtmann | Method of reiterative enquiry |
-
2017
- 2017-12-29 CN CN201711469436.5A patent/CN108090857B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104102627A (zh) * | 2014-07-11 | 2014-10-15 | 合肥工业大学 | 一种多模态的非接触情感分析记录系统 |
CN104517102A (zh) * | 2014-12-26 | 2015-04-15 | 华中师范大学 | 学生课堂注意力检测方法及系统 |
CN104575142A (zh) * | 2015-01-29 | 2015-04-29 | 上海开放大学 | 体验式数字化多屏无缝跨媒体互动开放教学实验室 |
CN105516802A (zh) * | 2015-11-19 | 2016-04-20 | 上海交通大学 | 多特征融合的新闻视频摘要提取方法 |
CN105590632A (zh) * | 2015-12-16 | 2016-05-18 | 广东德诚网络科技有限公司 | 一种基于语音相似性识别的s-t教学过程分析方法 |
CN205334563U (zh) * | 2016-01-05 | 2016-06-22 | 华中师范大学 | 一种学生课堂参与度检测系统 |
CN106547815A (zh) * | 2016-09-23 | 2017-03-29 | 厦门市杜若科技有限公司 | 一种基于大数据的针对性作业生成方法与系统 |
CN107240317A (zh) * | 2017-07-14 | 2017-10-10 | 福建铁工机智能机器人有限公司 | 一种利用ar实现远程教育的方法及设备 |
CN107480633A (zh) * | 2017-08-11 | 2017-12-15 | 安徽辉墨教学仪器有限公司 | 一种高校教室占用情况实时分析方法 |
Non-Patent Citations (3)
Title |
---|
《Automatic Recognition of Facial Actions in Spontaneous Expressions》;Marian Stewart Bartlett 等;《Journal of Multimedia》;20060331(第6期);第22-35页 * |
《学习分析中的生物数据表征》;张琪 等;《电化教育研究》;20160930(第9期);第76-81页 * |
《课堂教学行为大数据透视下的教学现象探析》;王陆 等;《电化教育研究》;20170430(第4期);第77-84页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108090857A (zh) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108090857B (zh) | 一种多模态的学生课堂行为分析系统和方法 | |
CN109165552B (zh) | 一种基于人体关键点的姿态识别方法、系统及存储器 | |
Fisher et al. | Speaker association with signal-level audiovisual fusion | |
CN110298343A (zh) | 一种手写黑板板书识别方法 | |
CN112784696B (zh) | 基于图像识别的唇语识别方法、装置、设备及存储介质 | |
Yang et al. | In-classroom learning analytics based on student behavior, topic and teaching characteristic mining | |
JP2017091525A (ja) | 視覚質問応答用の注目に基づく設定可能な畳み込みニューラルネットワーク(abc−cnn)のシステム及び方法 | |
CN106022231A (zh) | 一种基于多特征融合的行人快速检测的技术方法 | |
CN112183334B (zh) | 一种基于多模态特征融合的视频深度关系分析方法 | |
CN114186069B (zh) | 基于多模态异构图注意力网络的深度视频理解知识图谱构建方法 | |
CN112734803B (zh) | 基于文字描述的单目标跟踪方法、装置、设备及存储介质 | |
More et al. | Hand gesture recognition system using image processing | |
Monteiro et al. | Detecting and identifying sign languages through visual features | |
CN110427977B (zh) | 一种课堂互动行为的检测方法 | |
Kalbande et al. | Lip reading using neural networks | |
CN111914760B (zh) | 一种在线课程视频资源构成的解析方法及系统 | |
CN113920534A (zh) | 一种视频精彩片段提取方法、系统和存储介质 | |
CN114357206A (zh) | 基于语义分析的教育类视频彩色字幕生成方法及系统 | |
CN113283334A (zh) | 一种课堂专注度分析方法、装置和存储介质 | |
Alon et al. | Deep-hand: a deep inference vision approach of recognizing a hand sign language using american alphabet | |
Goh et al. | Dynamic fingerspelling recognition using geometric and motion features | |
CN103996207A (zh) | 一种物体跟踪方法 | |
CN114708645A (zh) | 物件辨识装置及物件辨识方法 | |
CN116704508A (zh) | 信息处理方法及装置 | |
CN110929013A (zh) | 一种基于bottom-up attention和定位信息融合的图片问答实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |