CN114297418A - 一种识别学习情绪进行个性化推荐的系统及方法 - Google Patents

一种识别学习情绪进行个性化推荐的系统及方法 Download PDF

Info

Publication number
CN114297418A
CN114297418A CN202111622297.1A CN202111622297A CN114297418A CN 114297418 A CN114297418 A CN 114297418A CN 202111622297 A CN202111622297 A CN 202111622297A CN 114297418 A CN114297418 A CN 114297418A
Authority
CN
China
Prior art keywords
student
teacher
students
emotion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111622297.1A
Other languages
English (en)
Inventor
何茂
谢维义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jiafa Education Technology Co ltd
Original Assignee
Chengdu Jiafa Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jiafa Education Technology Co ltd filed Critical Chengdu Jiafa Education Technology Co ltd
Priority to CN202111622297.1A priority Critical patent/CN114297418A/zh
Publication of CN114297418A publication Critical patent/CN114297418A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种识别学习情绪进行个性化推荐的系统及方法,所述系统包括:教学过程采集单、学生影像采集装置、视音频合成单元、交互行为分析单元、情绪评价单元、智能切片单元、个性化标注单元和个性化推荐单元。本发明首先利用教室内直录播影像系统采集与分析每个学生的情绪数据、学习状态,对所有情绪数据进行汇总统计,并依据整体专注程度对视频进行切片,同时结合个人对不同片段的情绪表现,最终形成基于时间维度的个性化切片课堂录屏结果,推荐给对应学生,既能帮助学生更清楚的认识自我学习状态,更能有针对性的帮助学生有所侧重的解决课堂中的遗留问题。

Description

一种识别学习情绪进行个性化推荐的系统及方法
技术领域
本发明涉及学习情绪识别,特别是涉及一种识别学习情绪进行个性化推荐的系统及方法。
背景技术
在教育信息化的大环境下,智慧课堂的存在越发普遍,在高等院校中也开始较为广泛的使用。
其主要目的,包括在课内实现教学互动、记录教学过程数据、课后分发作业资料、形成课堂教学的完整闭环。智慧课堂的诞生之初,其目的是了辅助教师,为教师提供新的手段即时了解课堂学情,针对性的改进教学活动,针对性的在课后进行查漏补缺。
但随着教学改革的不断深入,学习者的主体地位日益凸显,学生该如何进行有效自主学习成为重要的课题,而教师的时间、精力是非常有限的,无法做到眼观四路、耳听八方,无法探知每个学生的心理活动状态,因此无法逐一照顾到每个学生的水平。
目前现行的智慧课堂解决方案中针对学生课后自主学习,主要包括以下方法:
方法一:教师通过任务形式推送微课等资源,教师需要根据主观判断提前对学生进行分组,选择相应的资源进行推送。但这种方法不仅依赖于教师对学生学情的精准掌握,而且还需要教师找到合适不同层次学生的资源,加重了教师的工作负担。
方法二:通过录屏、录像的形式产生课堂教学的完整视频,课后推送给学生,学生可借此进行回顾复习。此种方式虽然教师不需要付出额外的工作,但对于学生来说学习仍然缺乏重点,使得学生没有动力去观看一次完整的视频,课堂遗失的问题也难以通过这样的复习来补全。这两种方式固有的缺陷导致均不适用于学生进行高效的自主学习。
发明内容
本发明的目的在于克服现有技术的不足,提供一种识别学习情绪进行个性化推荐的系统及方法,有效利用了教室内的直录播装置,动态跟踪课堂上每个学生的情绪变化,据此对教师机实时采集的音视频信号进行分段切片标注并实现情绪关联,将资源推送给学生,帮助学生课后自主温习,巩固与提升。
本发明的目的是通过以下技术方案来实现的:一种识别学习情绪进行个性化推荐的系统,包括:
教学过程采集单元,对教师教学过程的音视频信息进行采集;
学生影像采集装置,用于对学生的影像信息进行采集;
视音频合成单元,用于接收来自教学过程采集单元的音视频信息,并进行音视频合成;
交互行为分析单元,用于根据交互行为对视音频合成单元输出的视频进行标记;
情绪评价单元,用于根据学生影像采集装置实时采集到的影像,对学生个人进行情绪识别,标记当前时间流上该学生的状态,并分析全体学生的情绪信息,标记当前时间流上的课堂情况;
智能切片单元,结合交互行为分析单元的到的结果,对视频进行多维度切片;
个性化标注单元,用于根据学生的个人情绪评价,对切片进行个性标注;
个性化推荐单元,用于整套课程视频资源进行整理,并向教师或学生进行推送。
进一步地,所述系统还包括时间总控单元,用于确保各种装置、单元在时间上连续、一致的同步,使得系统中多个装置、多个单元协同工作,对同一时间点的课堂教学行为的反馈信息加以采集利用。
进一步地,所述教学过程采集模块包括:
教师影像采集装置,即教师内的直录播设备,用于采集教师的教学过程影像,包括教师的神态动作,以及教师背后的黑板或白板的影像,并将图像传输至视音频合成单元;
教师PC录屏装置,用于实现对教师PC屏幕的全程屏幕录像,并将录制视频传输至视音频合成单元;
课堂音频采集装置,用于采集课堂内的所有声音素材,包括教师讲解语音,学生作答语音,教师内播放多媒体素材时发出的声音,采集到的声音将传输至视音频合成单元。
所述学生影像采集装置包括教室内的直录播设备,设置与教于室正前方,面向所有学生,用于采集位置上所有学生的表情、体态特征,记录所有学生课堂学习过程影像。
进一步地,所述视音频合成单元,接收教师影像采集装置和PC录屏装置传输的视频流,并与课堂音频采集装置采集的音频进行同步合成,输出连续的视频,包括连续教师影像视频、连续录屏影像视频。
进一步地,所述交互行为分析单元包括:
教师声音识别模块,用于识别教师声音,在教师进行连续讲解的过程中进行教师讲解标记;
学生作答声音识别模块,用于识别学生作答声音,在学生作答时进行学生作答标记;
环境嘈杂音识别模块,用于识别嘈杂环境音,标记嘈杂环境标识;
安静环境音识别模块,用于识别安静环境音,标记安静环境标识;
教师板书识别模块,用于识别教师板书行为,进行教师板书标记;
幻灯片切换识别单元,用于识别教师PC幻灯片切换、切换到桌面行为,进行对应分段标记。
进一步地,所述情绪识别单元包括
个人情绪评价模块,用于根据学生影像采集装置采集到的人脸信息,对学生个人进行情绪识别,标记当前时间流上该学生的状态;标记内容包括学生高兴、平静、愤怒、伤心的基础表情情况,以及的学情情况,所述学情情况包括走神、专注、思考、睡觉、其他五类;
综合情绪评价模块,用于根据学生影像采集装置采集到的影像,分析全体学生的情绪信息,标记当前时间流上的课堂情况:
在每个时间点上,各种情绪下的学生占比,包括高兴情绪下的学生占比、平静情绪下的学生占比、愤怒平静情绪下的学生占比和伤心平静情绪下的学生占比;
在每个时间点上,标记各种学情下的学生占比,包括走神的学生占比、专注的学生占比、思考的学生占比、睡觉的学生占比、其他的学生占比。
进一步地,所述智能行为切片单元工作时,从教师影像将教师板书切为一段、教师讲解切为一段、教师提问切为一段;从教师音频上将教师连续讲解切为一段、师生交互切为一段、学生讨论切为一段等;从录屏影像上将教师每次PPT翻页截为一段;
所述个性化标注单元,在进行多维度视频切片的同时,基于综合情绪评价模块进行的整体综合情绪分析情况,对所切片段进行标记:
对于得到的任一切片,在该切片持续的时间内,统计各种学情下的学生占比,包括走神的学生占比、专注的学生占比、思考的学生占比、睡觉的学生占比、其他的学生占比;并利用占比最大的学情对该切片进行标记,同时记录当前切片其他学情的占比情况;
其中,切片下任一学情的学生占比,等于该切片持续时间内每个时间点上该学情占比的平均值。
进一步地,所述个性化推荐单元包括:
教师推荐模块,向教师反馈课堂学生综合表现,了解整体学情,反馈课堂过程中的各个环节情况,方便教师授课复盘;
学生推荐模块,向学生反馈课堂个人综合表现以及标注为个人不专注、不认真、出现其他异常情绪的切片内容,这部分内容需进行复习;同时向学生推荐整体专注度较高的内容,这部分内容是教师讲授的重点内容,最终帮助学生有效精准复习。
一种识别学习情绪进行个性化推荐的方法,包括以下子步骤:
S1.教学过程采集单元对教师教学过程的音视频信息进行采集,学生影像采集装置对学生的影像信息进行采集;
S2.视音频合成单元接收来自教学过程采集单元的音视频信息,并进行音视频合成;
S3.交互行为分析单元根据交互行为对视音频合成单元输出的视频进行标记;
S4.情绪评价单元根据学生影像采集装置实时采集到的影像,对学生个人进行情绪识别,标记当前时间流上该学生的状态,并分析全体学生的情绪信息,标记当前时间流上的课堂情况;
S5.智能切片单元结合交互行为分析单元的到的结果,对视频进行多维度切片;
S6.个性化标注单元根据学生的个人情绪评价,对切片进行个性标注;
S7.个性化推荐单元,用于整套课程视频资源进行整理,并向教师或学生进行推送。
本发明的有益效果是:本发明利用教室内直录播影像系统采集与分析每个学生的情绪数据、学习状态,对所有情绪数据进行汇总统计,并依据整体专注程度对视频进行切片,同时结合个人对不同片段的情绪表现,最终形成基于时间维度的个性化切片课堂录屏结果,推荐给对应学生,既能帮助学生更清楚的认识自我学习状态,更能有针对性的帮助学生有所侧重的解决课堂中的遗留问题。
附图说明
图1为本发明的系统原理示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
如图1所示,一种识别学习情绪进行个性化推荐的系统,包括:
教学过程采集单元,对教师教学过程的音视频信息进行采集;
学生影像采集装置,用于对学生的影像信息进行采集;
视音频合成单元,用于接收来自教学过程采集单元的音视频信息,并进行音视频合成;
交互行为分析单元,用于根据交互行为对视音频合成单元输出的视频进行标记;
情绪评价单元,用于根据学生影像采集装置实时采集到的影像,对学生个人进行情绪识别,标记当前时间流上该学生的状态,并分析全体学生的情绪信息,标记当前时间流上的课堂情况;
智能切片单元,结合交互行为分析单元的到的结果,对视频进行多维度切片;
个性化标注单元,即对学生进行个性化标注的单元,用于根据学生的个人情绪评价,对切片进行个性标注;
个性化推荐单元,用于整套课程视频资源进行整理,并向教师或学生进行推送。
进一步地,所述系统还包括时间总控单元,用于确保各种装置、单元在时间上连续、一致的同步,使得系统中多个装置、多个单元协同工作,对同一时间点的课堂教学行为的反馈信息加以采集利用。
进一步地,所述教学过程采集模块包括:
教师影像采集装置,即教师内的直录播设备,用于采集教师的教学过程影像,包括教师的神态动作,以及教师背后的黑板或白板的影像,并将图像传输至视音频合成单元;
教师PC录屏装置,用于实现对教师PC屏幕的全程屏幕录像,并将录制视频传输至视音频合成单元;
课堂音频采集装置,用于采集课堂内的所有声音素材,包括教师讲解语音,学生作答语音,教师内播放多媒体素材时发出的声音,采集到的声音将传输至视音频合成单元。
所述学生影像采集装置包括教室内的直录播设备,设置与教于室正前方,面向所有学生,用于采集位置上所有学生的表情、体态特征,记录所有学生课堂学习过程影像。
进一步地,所述视音频合成单元,接收教师影像采集装置和PC录屏装置传输的视频流,并与课堂音频采集装置采集的音频进行同步合成,输出连续的视频,包括连续教师影像视频、连续录屏影像视频。
进一步地,所述交互行为分析单元包括:
教师声音识别模块,用于识别教师声音,在教师进行连续讲解的过程中进行教师讲解标记;
学生作答声音识别模块,用于识别学生作答声音,在学生作答时进行学生作答标记;
环境嘈杂音识别模块,用于识别嘈杂环境音,标记嘈杂环境标识,如学生正在组织进行集体讨论等;
安静环境音识别模块,用于识别安静环境音,标记安静环境标识,如学生正在集体作答等;其中,这里的作答行为,主要指课堂上教师通过智慧课堂系统发布的在线练习,学生通常直接在个人终端进行相关的填写;
教师板书识别模块,用于识别教师板书行为,进行教师板书标记;
幻灯片切换识别单元,用于识别教师PC幻灯片切换、切换到桌面行为,进行对应分段标记。
进一步地,所述情绪识别单元包括
个人情绪评价模块,用于根据学生影像采集装置采集到的人脸信息,对学生个人进行情绪识别,标记当前时间流上该学生的状态;标记内容包括学生高兴、平静、愤怒、伤心的基础表情情况,以及的学情情况,所述学情情况包括走神、专注、思考、睡觉、其他五类;
综合情绪评价模块,用于根据学生影像采集装置采集到的影像,分析全体学生的情绪信息,标记当前时间流上的课堂情况:即在每个时间点上,各种情绪下的学生占比,包括高兴情绪下的学生占比、平静情绪下的学生占比、愤怒平静情绪下的学生占比和伤心平静情绪下的学生占比。
在本申请的实施例中,情绪评价的方式如下:
(1)人脸检测与跟踪。采用ZdenekKalal等人提出的基于Tracking-Learn ing-Detection(TLD)的人脸检测算法。TLD可实现实时、无约束背景下的持续跟踪,尤其在复杂背景、面部遮挡、成像距离角度变化以及视频中出现多张人脸等情况下可以准确区别跟踪,其精度较高。
(2)预处理。表情图像预处理是为了去除噪声,剔除与表情无关的区域,如背景、头发、耳朵及双肩等,统一表情区域尺寸,减弱光线和光照强度的影响。因此需预先对表情图像进行降噪、几何归一化、高斯混合模型人脸分割等处理。首先对采集的图像标定特征点,如眼睛、眉毛、鼻子和嘴巴的中心点;根据左右两眼位置旋转图像,保证人脸方向的一致性;根据面部特征点几何模型确定矩形特征区域并剪裁;采用双线性差值法把表情子区域图像变换为统一尺寸;最后采用直方图均衡化,达到图像灰度归一化,使图像细节更为清楚。
(3)特征提取。基于Gabor小波变换进行特征提取的优点在于Gabor小波具有空间局部性、空间频率选择性和方向选择性的特征,可以提取图像不同方向的纹理信息,并在一定程度上克服了光照条件和人脸姿态的变化对识别率的影响。由于得到图像的Gabor特征维数很高,因此需要降维。为此,采用Gabor小波变换提取表情特征,并结合主成分分析(PCA)和Fisher线性判别分析(FLD)对特征进行降维。
Gabor小波介绍
当图像的边缘特征方向与二维Gabor滤波器纹理特征方向一致的时候,二维Gabor小波变换有较强的响应,如眼睛,鼻子等部位Gabor响应输出较为强烈。
通过修改Gabor函数的参数sigma,theta,可以获得不同中心频率,不同方向上的Gabor滤波器,既可以提取到不同局部细节的纹理特征,又能够提取全局性较强的特征,同时减少噪声干扰。
Gabor核函数为:
Figure BDA0003438510710000061
其中,σ是尺度参数,θ为方向参数。
在此,我们选用Gabor函数的实部表达式进行滤波器的设计,函数为:
Figure BDA0003438510710000062
在人脸特征提取的时候,一般采用不同向,不同尺度下的Gabor滤波器组进行滤波,以提取到不同细节上的特征信息。
在参数选择上,大尺度可以描述全局性较强的信息,同时能较好的掩盖噪声的影响;而小尺度可以描述比较精细的局部结构,但受噪声的影响较大。
综合考虑细节特征的提取与噪声的影响,本次我们设计了4个方向,3个尺度的滤波器。
参数选择:
σ=1,2,3,4;
θ=k*(4/π)。k=0,1,2,3;
在对滤波器进行滤波之前要对时域滤波器进行离散。
x=ic-msize;y=jc-msize;
Gabor掩膜的大小为17*17。
通过左右,上下平移,完成对图片数据的gabor滤波。
(4)表情分类识别。支持向量机方法SVM可解决小样本问题、模型选择问题和非线性问题,且具有很强的泛化性能。因此,在表情分类识别部分,将多类支持向量机算法作为人脸表情分类器,即通过构造和结合一系列的两类分类器来实现多类分类。所有表情图像须经过预处理并映射到特征空间,在特征空间使用SVM进行表情分类。
进一步地,所述智能行为切片单元工作时,从教师影像将教师板书切为一段、教师讲解切为一段、教师提问切为一段;从教师音频上将教师连续讲解切为一段、师生交互切为一段、学生讨论切为一段等;从录屏影像上将教师每次PPT翻页截为一段;
所述个性化标注单元,在进行多维度视频切片的同时,基于综合情绪评价模块进行的整体综合情绪分析情况,对所切片段进行标记:
对于得到的任一切片,在该切片持续的时间内,统计各种学情下的学生占比,包括走神的学生占比、专注的学生占比、思考的学生占比、睡觉的学生占比、其他的学生占比;并利用占比最大的学情对该切片进行标记,同时记录当前切片其他学情的占比情况;
其中,切片下任一学情的学生占比,等于该切片持续时间内每个时间点上该学情占比的平均值;例如,对于包含n个时间点的某一切片,其第一个时间点上走神的学生占比(占总学生的比例)为x1%,第二个时间点上走神的学生占比为x2%,在第n个时间点上走神的学生占比为xn%,则切片下走神的学生占比为x1%,x2%,…,xn%的平均值。
进一步地,所述个性化推荐单元包括:
教师推荐模块,向教师反馈课堂学生综合表现,了解整体学情,反馈课堂过程中的各个环节情况,方便教师授课复盘;
学生推荐模块,向学生反馈课堂个人综合表现以及标注为个人不专注、不认真、出现其他异常情绪的切片内容,这部分内容需进行复习;同时向学生推荐整体专注度较高的内容,这部分内容是教师讲授的重点内容,最终帮助学生有效精准复习。
一种识别学习情绪进行个性化推荐的方法,包括以下子步骤:
S1.教学过程采集单元对教师教学过程的音视频信息进行采集,学生影像采集装置对学生的影像信息进行采集;
S2.视音频合成单元接收来自教学过程采集单元的音视频信息,并进行音视频合成;
S3.交互行为分析单元根据交互行为对视音频合成单元输出的视频进行标记;
S4.情绪评价单元根据学生影像采集装置实时采集到的影像,对学生个人进行情绪识别,标记当前时间流上该学生的状态,并分析全体学生的情绪信息,标记当前时间流上的课堂情况;
S5.智能切片单元结合交互行为分析单元的到的结果,对视频进行多维度切片;
S6.个性化标注单元根据学生的个人情绪评价,对切片进行个性标注;
S7.个性化推荐单元,用于整套课程视频资源进行整理,并向教师或学生进行推送。
上述说明示出并描述了本发明的一个优选实施例,但如前所述,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种识别学习情绪进行个性化推荐的系统,其特征在于:包括:
教学过程采集单元,对教师教学过程的音视频信息进行采集;
学生影像采集装置,用于对学生的影像信息进行采集;
视音频合成单元,用于接收来自教学过程采集单元的音视频信息,并进行音视频合成;
交互行为分析单元,用于根据交互行为对视音频合成单元输出的视频进行标记;
情绪评价单元,用于根据学生影像采集装置实时采集到的影像,对学生个人进行情绪识别,标记当前时间流上该学生的状态,并分析全体学生的情绪信息,标记当前时间流上的课堂情况;
智能切片单元,结合交互行为分析单元的到的结果,对视频进行多维度切片;
个性化标注单元,用于根据学生的个人情绪评价,对切片进行个性标注;
个性化推荐单元,用于整套课程视频资源进行整理,并向教师或学生进行推送。
2.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统,其特征在于:所述系统还包括时间总控单元,用于确保各种装置、单元在时间上连续、一致的同步,使得系统中多个装置、多个单元协同工作,对同一时间点的课堂教学行为的反馈信息加以采集利用。
3.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统,其特征在于:所述教学过程采集模块包括:
教师影像采集装置,即教师内的直录播设备,用于采集教师的教学过程影像,包括教师的神态动作,以及教师背后的黑板或白板的影像,并将图像传输至视音频合成单元;
教师PC录屏装置,用于实现对教师PC屏幕的全程屏幕录像,并将录制视频传输至视音频合成单元;
课堂音频采集装置,用于采集课堂内的所有声音素材,包括教师讲解语音,学生作答语音,教师内播放多媒体素材时发出的声音,采集到的声音将传输至视音频合成单元。
4.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统,其特征在于:所述学生影像采集装置包括教室内的直录播设备,设置与教于室正前方,面向所有学生,用于采集位置上所有学生的表情、体态特征,记录所有学生课堂学习过程影像。
5.根据权利要求3所述的一种识别学习情绪进行个性化推荐的系统,其特征在于:所述视音频合成单元,接收教师影像采集装置和PC录屏装置传输的视频流,并与课堂音频采集装置采集的音频进行同步合成,输出连续的视频,包括连续教师影像视频、连续录屏影像视频。
6.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统,其特征在于:所述交互行为分析单元包括:
教师声音识别模块,用于识别教师声音,在教师进行连续讲解的过程中进行教师讲解标记;
学生作答声音识别模块,用于识别学生作答声音,在学生作答时进行学生作答标记;
环境嘈杂音识别模块,用于识别嘈杂环境音,标记嘈杂环境标识;
安静环境音识别模块,用于识别安静环境音,标记安静环境标识;
教师板书识别模块,用于识别教师板书行为,进行教师板书标记;
幻灯片切换识别单元,用于识别教师PC幻灯片切换、切换到桌面行为,进行对应分段标记。
7.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统,其特征在于:所述情绪识别单元包括
个人情绪评价模块,用于根据学生影像采集装置采集到的人脸信息,对学生个人进行情绪识别,标记当前时间流上该学生的状态;标记内容包括学生高兴、平静、愤怒、伤心的基础表情情况,以及的学情情况,所述学情情况包括走神、专注、思考、睡觉、其他五类;
综合情绪评价模块,用于根据学生影像采集装置采集到的影像,分析全体学生的情绪信息,标记当前时间流上的课堂情况:
在每个时间点上,标记各种情绪下的学生占比,包括高兴情绪下的学生占比、平静情绪下的学生占比、愤怒平静情绪下的学生占比和伤心平静情绪下的学生占比;
在每个时间点上,标记各种学情下的学生占比,包括走神的学生占比、专注的学生占比、思考的学生占比、睡觉的学生占比、其他的学生占比。
8.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统,其特征在于:所述智能行为切片单元工作时,从教师影像将教师板书切为一段、教师讲解切为一段、教师提问切为一段;从教师音频上将教师连续讲解切为一段、师生交互切为一段、学生讨论切为一段等;从录屏影像上将教师每次PPT翻页截为一段;
所述个性化标注单元,在进行多维度视频切片的同时,基于综合情绪评价模块进行的整体综合情绪分析情况,对所切片段进行标记:
对于得到的任一切片,在该切片持续的时间内,统计各种学情下的学生占比,包括走神的学生占比、专注的学生占比、思考的学生占比、睡觉的学生占比、其他的学生占比;并利用占比最大的学情对该切片进行标记,同时记录当前切片其他学情的占比情况;
其中,切片下任一学情的学生占比,等于该切片持续时间内每个时间点上该学情占比的平均值。
9.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统,其特征在于:所述个性化推荐单元包括:
教师推荐模块,向教师反馈课堂学生综合表现,了解整体学情,反馈课堂过程中的各个环节情况,方便教师授课复盘;
学生推荐模块,向学生反馈课堂个人综合表现以及标注为个人不专注、不认真、出现其他异常情绪的切片内容,这部分内容需进行复习;同时向学生推荐整体专注度较高的内容,这部分内容是教师讲授的重点内容,最终帮助学生有效精准复习。
10.根据权利要求1所述的一种识别学习情绪进行个性化推荐的方法,基于权利要求1~8中任意一项所述的系统,其特征在于:包括以下子步骤:
S1.教学过程采集单元对教师教学过程的音视频信息进行采集,学生影像采集装置对学生的影像信息进行采集;
S2.视音频合成单元接收来自教学过程采集单元的音视频信息,并进行音视频合成;
S3.交互行为分析单元根据交互行为对视音频合成单元输出的视频进行标记;
S4.情绪评价单元根据学生影像采集装置实时采集到的影像,对学生个人进行情绪识别,标记当前时间流上该学生的状态,并分析全体学生的情绪信息,标记当前时间流上的课堂情况;
S5.智能切片单元结合交互行为分析单元的到的结果,对视频进行多维度切片;
S6.个性化标注单元根据学生的个人情绪评价,对切片进行个性标注;
S7.个性化推荐单元,用于整套课程视频资源进行整理,并向教师或学生进行推送。
CN202111622297.1A 2021-12-28 2021-12-28 一种识别学习情绪进行个性化推荐的系统及方法 Pending CN114297418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111622297.1A CN114297418A (zh) 2021-12-28 2021-12-28 一种识别学习情绪进行个性化推荐的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111622297.1A CN114297418A (zh) 2021-12-28 2021-12-28 一种识别学习情绪进行个性化推荐的系统及方法

Publications (1)

Publication Number Publication Date
CN114297418A true CN114297418A (zh) 2022-04-08

Family

ID=80969245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111622297.1A Pending CN114297418A (zh) 2021-12-28 2021-12-28 一种识别学习情绪进行个性化推荐的系统及方法

Country Status (1)

Country Link
CN (1) CN114297418A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304315A (zh) * 2023-02-27 2023-06-23 广州沐思信息科技有限公司 一种网上教学用内容智能推荐系统
CN118297766A (zh) * 2024-06-06 2024-07-05 朗朗教育科技股份有限公司 多用户协同的学前智慧课堂管理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304315A (zh) * 2023-02-27 2023-06-23 广州沐思信息科技有限公司 一种网上教学用内容智能推荐系统
CN116304315B (zh) * 2023-02-27 2024-02-06 广州兴趣岛信息科技有限公司 一种网上教学用内容智能推荐系统
CN118297766A (zh) * 2024-06-06 2024-07-05 朗朗教育科技股份有限公司 多用户协同的学前智慧课堂管理系统

Similar Documents

Publication Publication Date Title
Dewan et al. A deep learning approach to detecting engagement of online learners
Ambadar et al. Deciphering the enigmatic face: The importance of facial dynamics in interpreting subtle facial expressions
Greene et al. What you see is what you expect: rapid scene understanding benefits from prior experience
Ez-Zaouia et al. EMODA: A tutor oriented multimodal and contextual emotional dashboard
CN114297418A (zh) 一种识别学习情绪进行个性化推荐的系统及方法
Shaw et al. Classifying students based on cognitive state in flipped learning pedagogy
Sumer et al. Attention flow: End-to-end joint attention estimation
Girges et al. Categorizing identity from facial motion
Raca Camera-based estimation of student's attention in class
Hung et al. Augmenting teacher-student interaction in digital learning through affective computing
CN114299617A (zh) 一种教学互动情况识别方法、装置、设备及存储介质
Ochoa Multimodal systems for automated oral presentation feedback: A comparative analysis
Watanabe et al. Engauge: Engagement gauge of meeting participants estimated by facial expression and deep neural network
Wang et al. Human-in-the-loop design with machine learning
Oviatt et al. I know what you know: What hand movements reveal about domain expertise
Tsuchiya et al. Detecting deception using machine learning with facial expressions and pulse rate
Silpani et al. A feasibility study on hand gesture intention interpretation based on gesture detection and speech recognition
Agarwal et al. Semi-Supervised Learning to Perceive Children's Affective States in a Tablet Tutor
WO2023079370A1 (en) System and method for enhancing quality of a teaching-learning experience
MacHardy et al. Engagement analysis through computer vision
Andrunyk et al. AI system in monitoring of emotional state of a student with autism
Takahashi et al. Improvement of detection for warning students in e-learning using web cameras
Chen et al. Audio-visual saliency prediction for movie viewing in immersive environments: Dataset and benchmarks
D’Angelo et al. Advancing computational grounded theory for audiovisual data from mathematics classrooms
Lu et al. Techniques for enhancing pervasive learning in standard natural classroom

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination