CN107958433A - 一种基于人工智能的在线教育人机交互方法与系统 - Google Patents
一种基于人工智能的在线教育人机交互方法与系统 Download PDFInfo
- Publication number
- CN107958433A CN107958433A CN201711359925.5A CN201711359925A CN107958433A CN 107958433 A CN107958433 A CN 107958433A CN 201711359925 A CN201711359925 A CN 201711359925A CN 107958433 A CN107958433 A CN 107958433A
- Authority
- CN
- China
- Prior art keywords
- module
- user
- subsystem
- content
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0638—Interactive procedures
Abstract
本发明公开了一种基于人工智能的在线教育人机交互方法与系统,涉及电子信息领域的一种数字化视听技术,包括一种能够识别受众情绪的子系统和智能会话子系统。尤其是将其二者与在线教育系统相结合,可以更好向受众呈现个性化的教学内容。本系统从增强在线学习的人机交互生动性角度出发,情绪识别子系统通过用户观看视频时的表情来判断用户的学习状态,然后智能会话子系统依据用户的状态进行机器问答式的交互。情绪识别子系统最终将受众的情绪分为七类:生气、厌恶、害怕、伤心、惊讶、中立、开心。而智能会话子系统会根据不同的情绪来调节相应的课程内容并进行机器问答式的交互,从而起到将传统课堂上的师生交互与反馈搬到线上,赋予在线课堂以更加逼真的拟人互动性。
Description
技术领域
本发明涉及电子信息领域的一种数字化视听技术,包括一种能够识别受众情绪的子系统和智能会话子系统,尤其是将其二者与在线教育系统相结合,可以更好向受众呈现个性化的教学内容。
背景技术
在线教育(也称为e-Learning)是通过应用信息科技和互联网技术进行课程内容传播分享和快速学习的方法。在线教育的教学方式以网络为介质,用户与教师通过网络即使相隔万里也可以开展教学活动;此外,借助网络课件,用户还可以随时随地进行学习,真正打破了时间和空间的限制,网络远程教育是最方便不过的学习方式。
现有的在线教育系统,包括教师终端、网关服务器、用户终端等设备、教师终端提供课程的视频信息,然后宽带网关设备通过网关服务器将课程视频信息发送到用户终端,受众通过用户终端即可观看老师的授课内容。然而,在发展的过程中也出现了一些问题:由于虚拟世界的限制,受众与老师交互性不好;每个用户的学习进度不一致,对知识点的掌握程度不一样,而采用统一的课表难以满足受众个性化的需求。
为了解决上述技术问题,专利 CN201320133075.8公开了包括教师终端、服务器和至少一个用户终端的解决方案,所述教师终端和所述至少一个用户终端都借助于无线通信网络连接到所述服务器。专利CN201410132195.5公开了一种在线教育互动的方法及系统,包括由第一客户端获取用户手动书写的信息,响应用户的发送请求,将手动书写的信息发送至目标客户端;目标客户端接收后,将所述信息呈现给目标用户,同时获取目标用户手动书写的反馈信息的方式来实现。专利CN201310567606.9公开发了一种在线教育提问方法及系统,包括服务器,以及与该服务器连接的讲师端和若干用户端,该系统包括:提交模块,设置于讲师端和若干用户端;用于用户端提交问题或者答案至服务器的转发模块;转发模块,设置于服务器中,用于服务器将问题发送至其他用户端和讲师端进行显示,以及所述答案发送至用户端和讲师端。专利CN201610813907.9提供了一种移动互联网的在线教育系统,包括:云存储端、客户端、资料结构化单元、个性化推荐单元、学习评估单元等模块。云存储端用于提供海量数据的云存储,实现数据保存、备份;客户端,该客户端用于上传或下载相应的数据;资料结构化单元用于将数据中的学习资料进行分类并转换成细粒度可考核,形成可评估数据;个性化推荐单元根据学习资料官方定制或用户个性化定制若干课程模板,该模块根据课程模板定制课程顺序实现在线教育;学习评估单元根据练习评测、测验评测、学习过程收集的数据,评估学员学习情况。
总体来看,虽然现有的在线教育系统已经能够在某些方面初步提供个性化的服务,但在交互在线教育方法与系统方面还未见专利报道。本发明以现有流行在线教育平台为基础框架,以情绪识别模块的输出为依据,通过智能会话模块围绕课程内容进行个性化的人机交互。
发明内容
目前的在线教育,向用户直接提供视频,无法根据用户的学习状态适时调整课堂内容,因此,效果并不理想。它对用户的认知水平要求较高;缺乏有效管理;对于系统性和操作性较强的知识的学习缺乏优势,缺乏人机互动交流。本发明公开一种基于人工智能的在线教育人机交互方法与系统,包括在线教育人机交互方法、情绪识别子系统和智能会话子系统。本系统从增强在线学习的人机交互生动性角度出发,情绪识别子系统通过用户观看视频时的表情来判断用户的学习状态。而智能会话子系统会根据不同的情绪来调节相应的课程内容并进行机器问答式的交互,从而起到将传统课堂上的师生交互与反馈搬到线上,赋予在线课堂以更加逼真的拟人互动性。(如图1)
面向在线教育的情绪识别子系统是指,通过用户端摄像头采集的影像信息,利用计算机情绪识别技术分析用户的情绪,进而判断用户的学习状态和接受程度。在此基础上,适时调整在线课程的呈现内容与方式,解决传统在线教育学习效果不佳的问题。
面向在线教育的智能会话子系统是指,通过接收用户的语音输入并将其转换成文字形式,再利用自然语言理解模块对其进行处理。会话管理负责协调以上各部分的调用及维护当前会话状态,选择特定回复方式并交由自然语言生成部分进行处理。自然语言生成部分输出文字形式的回复,作为输入由语音合成部分将文字转换成语音输出给用户。
本发明解决其技术问题所采取的具体技术方案:情绪识别子系统可概括为5个部分:卷积神经网络提取图像特征,递归神经网络建模时序特征,音频模块处理音频信息,Aggregated CNN进行粗略分类,融合网络将不同类型特征融合。智能会话子系统可概括为5个部分:语音识别,自然语言理解,对话管理,自然语言生成,语音合成。
卷积神经网络作为特征提取器,提取图像特征。递归神经网络将图像特征在时间序列上进行建模。音频模块作为音频特征提取器,提取音频特征。聚集卷积神经网络接收来自卷积神经网络的特征向量,对特征进行粗略的分类。融合网络将不同类型的特征融合,对该小片段视频的情绪进行预测。情绪识别子系统最终将受众的情绪分为七类:生气、厌恶、害怕、伤心、惊讶、中立、开心。
语音识别模块负责接收用户的语音输入并将其转换成文字形式交由自然语言理解模块进行处理。自然语言理解模块是了一个基于本体和语义文法的上下文相关问答系统。会话管理模块负责协调各个模块的调用及维护当前会话状态,选择特定回复方式并交由自然语言生成模块进行处理。自然语言生成模块输出文字形式的回复,作为输入交由语音合成模块进行语音合成的处理。语音合成模块中使用统计参数语音合成方法将自然语言生成模块的输出转换成语音,然后输出给用户。
针对不同的情绪,智能会话子系统会通过人机问答的形式做出不同的交互,以调节课堂节奏和气氛,帮助用户轻松愉快地完成课程内容的学习。
以在线教育为背景,基于人工智能的在线教育人机交互方法将生气、厌恶、害怕、伤心、惊讶、中立、开心七种情绪对应地理解为:课堂节奏过慢或过快产生抵触情绪、不适应讲者的授课风格、课堂内容难度太大产生畏难情绪、跟不上课堂进度、不能理解讲者所授内容(生气、厌恶、害怕、伤心),意想不到的知识点(惊讶),正在认真听讲(中立),对知识点理解的很透彻(开心)。
例如,当用户流露出惊讶、中立、开心的表情时,系统会认为其对该部分知识掌握较好,将推送下一场景或给出适当的褒扬,并提升课堂节奏;当用户流露出生气、厌恶的表情时,系统会认为其对老师授课风格不适应,或感觉该部分内容较为枯燥,将播放舒缓音乐等调节课堂气氛,让用户尽快进入良好的学习状态;当用户流露出害怕、伤心的表情时,系统会认为其因为知识内容太过深入难以理解,或产生了畏难情绪,将给课堂管理者及时的反馈,并适当调整课程内容或者补充辅助的知识,帮助用户重新理解这部分内容。
智能会话子系统在用户学习的同时会自动管理一个重点内容提示窗口,该窗口是当前讲述内容的重点知识。依据所讲述的内容智能会话子系统在适当的场景下提出对应的问题。若用户回答正确且情绪识别子系统的反馈结果为惊讶、中立或开心的三者之一,则将推送下一教学场景。若用户回答正确且情绪识别子系统的反馈是厌恶,智能会话子系统则发出“这个内容或许有些单调,但这是基础,沉住气坚持下去”等类似的温馨提示。若在教学过程中用户出现生气或厌恶情绪,则由智能会话子系统播放舒缓的乐曲或者风趣的问答对话,待用户情绪恢复则继续进行教学。若在教学过程中用户出现害怕或伤心情绪,则智能会话子系统进行心理安抚,如发出:“这个内容确实很难,你已经很棒啦”、“加油哦,不要气馁呦”等鼓励性话语。然后在将上一教学场景的内容重新展示或跳到该教学场景内容的细化部分,之后再由智能会话子系统进行出题测试,测试通过后即可推送下一教学场景。若在教学过程中用户出现比较惊讶的情绪,根据教学内容弹出“这个方法是不是很高大上哦”、“加油,你马上就能理解和掌握这种方法”等鼓励性提示。
为了便于系统管理不同深度的教学内容,课程采取三层模板的方式进行组织。第一层为全部课程的知识概况,该层展示了课程的知识大类,起到类似一级目录的作用;第二层为给定知识的正式教学内容,该层为用户提供了具体课程内容,是教学组织的核心层,起到类似二级目录的作用;第三层为正式教学内容的补充和拓展知识,是对教学内容的辅助说明,以便加深用户的理解,起到类似三级目录的作用。
附图说明:
图1在线教育平台总流程图
图2情绪特征提取卷积神经网络框架示意图
图3递归神经网络单个神经元在时间序列上的模型示意图
图4聚集卷积神经网络框架示意图
图5语音识别模块框架示意图
图6声学模型的建立流程
图7Tri-gram语言模型建模过程
图8自然语言理解模块框架示意图
图9会话管理总控模块框架示意图
图10自然语言生成模块框架示意图
图11语音合成模块框架示意图
具体实施方式
从实时采集的视频图像中定位用户的人脸位置,进行图像预处理。首先,对实时视频进行逐帧处理,对于每一帧调用人脸定位算法,确定人脸的位置,然后进行调整人脸图像大小,深度等预处理工作,以适应于情绪识别的输入端要求。
情绪识别子系统(如图1中情绪识别子系统部分所示)可概括的分为5个部分:卷积神经网络提取图像特征,递归神经网络建模时序特征,音频模块处理音频信息,AggregatedCNN进行粗略分类,融合网络将不同类型特征融合。该情绪识别子系统将情绪分为7类,分别是:生气、厌恶、害怕、开心、伤心、惊讶和中立。
接下来,分别介绍情绪识别子系统的几个部分。所述的卷积神经网络(如图2所示)包含3个卷积层,每个卷积层后带一个池化层。第一个卷积层有32个9×9大小的卷积核,其后跟着一个最大池化层。第二个卷积层也有32个9×9大小的卷积核,其后跟着一个平均池化层。接着是第三个卷积层有64个9×9大小的卷积核,其后跟着一个平均池化层。接着是有300个隐藏单元的全连接层。CNN所用激活函数为ReLU,其函数形式为:
relu(x)=log(1+exp(x))
全连接层之后用一个递归神经网络(如图3所示)将视频中用户所表达的情绪在时间序列上进行建模。聚集CNN网络(如图4所示)在前述卷积神经网络基础上添加了K-mean层以及softmax输出,softmax层神经元个数为7个。融合网络将音频中提取的前十个主成分特征、聚集CNN的输出以及RNN的输出作为输入,然后将这些输入进行正则化。最后,再输入给一个softmax层(含有7个神经元),即可将受众情绪分为7类。
智能会话子系统(如图1中智能会话子系统部分所示)可概括地分为5个部分:(1)语音识别,(2)自然语言理解,(3)会话管理,(4)自然语言生成,(5)语音合成。语音识别模块负责接收用户的语音输入并将其转换成文字形式交由自然语言理解模块进行处理。会话管理模块负责协调各个模块的调用及维护当前会话状态,选择特定回复方式并交由自然语言生成模块进行处理。自然语言生成模块输出文字形式的回复,作为输入交由语音合成模块转换成语音输出给用户。
智能会话子系统的各个部分的结构为:
(1)语音识别模块(如图5所示)包括信号处理,解码器以及声学模型和语言模型。信号处理模块将根据人耳的听觉感知特点,抽取语音中最重要的特征,主要包括线性预测编码与梅尔频率倒谱系数,将语音信号转换为特征矢量序列。解码器根据声学模型和语言模型,将输入的语音特征矢量序列转化为字符序列。声学模型是对声学、语音学、环境的变量,以及说话人性别、口音的差异等的知识表示。语言模型则是对一组字序列构成的知识表示。
(2)自然语言理解模块(如图8所示)构建了一个基于文法和分类的问答系统。该模块是一个集问题分析处理,文本检索处理和答案抽取处理的管道模型。前一处理的输出是后一处理的输入,前一步的处理结果是后一步的处理对象。问题分析处理对问句进行句法和语义分析,以明确问题预期的答案类型以及抽取出查询关键词以用于相关文本的检索;文本检索处理利用第一个模块返回的查询关键词,从海量文档集中检索到包含答案的相关文档。从相关文档中,提取出包含答案的文档片段,以进一步减少答案抽取空间;答案抽取处理根据问题分析模块产生的各种约束条件,如问题的语义类别,命名实体类型,从文档片段中提取出答案,对答案进行处理后作为问答系统最后的输出结果。
(3)会话管理总控模块(如图9所示)负责协调和调度课程表示,学习记录管理,会话上下文管理和会话生成这四个模块。其中,课程表示模块,学习记录管理模块和会话上下文管理模块之间没有关联,都为会话生成模块服务,提供辅助的信息。课程表示模块(此模块还没有体现在架构图中)将设计通用的课程表示模板。针对在线教育系统,以课程为单位,研究课程知识的表示方法,设计课程形式表示模板,使得以该模板表示的课程内容能够方便地被会话机器人所使用乃至理解,从而达到自由运用到会话情景当中的目的。学习记录模块的记录包括学习活动的时间与内容,还包括各阶段的测试成绩,也包括用户在教育平台中各课程之间的横向活动记录。该模块的目的是让会话机器人掌握用户的学习情况,并重点评估用户对各知识点的理解和记忆程度,以便抽取需要强化的知识点,进行新会话的设计。会话上下文管理模块(此模块还没有体现在架构图中)管理和分析用户与机器人的对话,重点掌握用户当前的专注程度和情绪,从而为会话的生成提供辅助的信息。该部分采用前馈人工神经网络分析会话的语气语调等信息。会话生成模块(此模块还没有体现在架构图中)的功能是通过自然语言生成模块形成文字会话形式,后续经过语音合成模块处理可以转换成语音形式从而输出。
(4)自然语言生成模块(如图10所示)采用Encoder-Decoder框架。如图5所示,Encoder部分采用多层向前神经网络,Decoder部分采用RNN神经网络。将Context和Message拼接起来形成一个长的输入提供给Encoder,把上下文信息融入模型之中。用框架来解决自然语言生成问题时,其含义是当用户输入Message后,经过Encoder-Decoder框架计算,首先Encoder对输入进行语义编码,形成中间语义表示C,Decoder根据C生成了会话子系统的应答Response。这样,用户反复输入不同的Message,聊天机器人每次都形成新的Response。
(5)语音合成模块(如图11所示)中使用统计参数语音合成方法。首先对输入文木进行分析,得到所需要的标注数据,即上下文属性;然后报据这些属性分别对时长、基频和谱参数的聚类决策树进行决策,并得到相应的模型序列;接着根据时长模型序列得到对应的状态序列,也就是预测出每个状态对应的顿数;最后结合预测出的状态时长,由基频模型和频谱模型基于参数生成算法来预测基频特征和频谱特征,该算法能保证生成平滑连续的特征轨迹。预测出基频特征和频谱特征被送入高质量合成器,合成出最终的语音。其中采用线谱对特征作为频谱特征。预测出的线谱对特征首先被转换成对应的系数,然后由系数恢复成频谱包络。恢复出的频谱包络和预测的基频特征被统一送入来重建语音。
Claims (8)
1.一种基于人工智能的在线教育人机交互方法与系统,包括:在线教育人机交互方法、情绪识别子系统、智能会话子系统、课堂组织模块;其特征在于:
所述在线教育人机交互方法具有两个与用户进行交互的方法,分别是:情绪识别子系统和智能会话子系统。
所述情绪识别子系统通过学生端摄像头采集的影像信息,利用计算机情绪识别技术分析学生的情绪,进而判断受教育者的学习状态和接受程度。
所述智能会话子系统通过接收学生的语音输入并将其转换成文字形式,再利用自然语言理解模块对其进行处理。
2.根据权利要求1所述的一种基于人工智能的在线教育人机交互方法与系统,其特征在于:情绪识别子系统包括5个部分,分别为:卷积神经网络提取图像特征,递归神经网络建模时序特征,音频模块处理音频信息,Aggregated CNN进行粗略分类,融合网络将不同类型特征融合。
3.根据权利要求1、2情绪识别子系统将用户情绪分为7类,分别是:生气、厌恶、害怕、开心、伤心、惊讶和中立。
4.根据权利要求1所述的一种基于人工智能的在线教育人机交互方法与系统,其特征在于:智能会话子系统包括5个部分,分别为:语音识别模块、自然语言理解模块、会话管理模块、自然语言生成模块、语音合成模块,其中语音识别模块负责接收用户的语音输入并将其转换成文字形式交由自然语言理解模块进行处理。自然语言理解模块是了一个基于本体和语义文法的上下文相关问答系统。会话管理模块负责协调各个模块的调用及维护当前会话状态,选择特定回复方式并交由自然语言生成模块进行处理。自然语言生成模块输出文字形式的回复,作为输入交由语音合成模块进行语音合成的处理。语音合成模块中使用统计参数语音合成方法将自然语言生成模块的输出转换成语音,然后输出给用户。
5.根据权利要求1所述的一种基于人工智能的在线教育人机交互方法与系统,其特征在于:课程采取三层模板的方式进行组织。第一层为全部课程的知识概况,该层展示了课程的知识大类,起到类似一级目录的作用;第二层为给定知识的正式教学内容,该层为学生提供了具体课程内容,是教学组织的核心层,起到类似二级目录的作用;第三层为正式教学内容的补充和拓展知识,是对教学内容的辅助说明,以便加深学生的理解,起到类似三级目录的作用。
6.根据权利要求1、2所述的一种基于人工智能的在线教育人机交互方法与系统,其特征在于:将生气、厌恶、害怕、伤心、惊讶、中立、开心七种情绪对应地理解为:课堂节奏过慢或过快产生抵触情绪、不适应讲者的授课风格、课堂内容难度太大产生畏难情绪、跟不上课堂进度、不能理解讲者所授内容(生气、厌恶、害怕、伤心),意想不到的知识点(惊讶),正在认真听讲(中立),对知识点理解的很透彻(开心)。
7.根据权利要求1、4所述的一种基于人工智能的在线教育人机交互方法与系统,其特征在于:智能会话子系统在用户学习的同时会自动管理一个重点内容提示窗口,该窗口是当前讲述内容的重点知识,依据所讲述的内容智能会话子系统在适当的场景下提出对应的问题。
8.根据权利要求1、5所述的一种基于人工智能的在线教育人机交互方法与系统,其特征在于:用户流露出惊讶、中立、开心的表情时,系统会认为其对该部分知识掌握较好,将推送下一场景或给出适当的褒扬,并提升课堂节奏;当用户流露出生气、厌恶的表情时,系统会认为其对老师授课风格不适应,或感觉该部分内容较为枯燥,将播放舒缓音乐等调节课堂气氛,让用户尽快进入良好的学习状态;当用户流露出害怕、伤心的表情时,系统会认为其因为知识内容太过深入难以理解,或产生了畏难情绪,将给课堂管理者及时的反馈,并适当调整课程内容或者补充辅助的知识,帮助用户重新理解这部分内容。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711359925.5A CN107958433A (zh) | 2017-12-11 | 2017-12-11 | 一种基于人工智能的在线教育人机交互方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711359925.5A CN107958433A (zh) | 2017-12-11 | 2017-12-11 | 一种基于人工智能的在线教育人机交互方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107958433A true CN107958433A (zh) | 2018-04-24 |
Family
ID=61959220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711359925.5A Pending CN107958433A (zh) | 2017-12-11 | 2017-12-11 | 一种基于人工智能的在线教育人机交互方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107958433A (zh) |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108615423A (zh) * | 2018-06-21 | 2018-10-02 | 中山大学新华学院 | 一种基于深度学习的线上教育管理系统 |
CN108615420A (zh) * | 2018-04-28 | 2018-10-02 | 北京比特智学科技有限公司 | 课件的生成方法和装置 |
CN108924608A (zh) * | 2018-08-21 | 2018-11-30 | 广东小天才科技有限公司 | 一种视频教学的辅助方法及智能设备 |
CN108962255A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 语音会话的情绪识别方法、装置、服务器和存储介质 |
CN109064797A (zh) * | 2018-08-24 | 2018-12-21 | 重庆虚拟实境科技有限公司 | 具有真人结合人工智能的教学系统及虚拟实景教学系统 |
CN109101933A (zh) * | 2018-08-21 | 2018-12-28 | 重庆乐教科技有限公司 | 一种基于人工智能的情绪行为可视化分析方法 |
CN109101107A (zh) * | 2018-06-29 | 2018-12-28 | 温州大学 | 一种vr虚拟课堂对虚拟机器人训练的系统及方法 |
CN109147440A (zh) * | 2018-09-18 | 2019-01-04 | 周文 | 一种互动教学系统及方法 |
CN109165599A (zh) * | 2018-08-27 | 2019-01-08 | 北京洛必达科技有限公司 | 大数据教育辅助方法、系统、存储介质及计算机设备 |
CN109255366A (zh) * | 2018-08-01 | 2019-01-22 | 北京科技大学 | 一种针对在线学习的情感状态调节系统 |
CN109377802A (zh) * | 2018-11-26 | 2019-02-22 | 暗物质(香港)智能科技有限公司 | 一种自动交互式智能教育系统及方法 |
CN109461104A (zh) * | 2018-10-22 | 2019-03-12 | 杭州闪宝科技有限公司 | 课堂监控方法、装置及电子设备 |
CN109559579A (zh) * | 2018-12-06 | 2019-04-02 | 安徽教育网络出版有限公司 | 一种基于人工智能的在线教育人机交互方法与系统 |
CN109584648A (zh) * | 2018-11-08 | 2019-04-05 | 北京葡萄智学科技有限公司 | 数据生成方法及装置 |
CN109841122A (zh) * | 2019-03-19 | 2019-06-04 | 深圳市播闪科技有限公司 | 一种智能机器人教学系统及学生学习方法 |
CN109885727A (zh) * | 2019-02-21 | 2019-06-14 | 广州视源电子科技股份有限公司 | 资料推送方法、装置、电子设备及系统 |
CN109961777A (zh) * | 2019-02-16 | 2019-07-02 | 天津大学 | 一种基于智能机器人的语音交互方法 |
CN110069707A (zh) * | 2019-03-28 | 2019-07-30 | 广州创梦空间人工智能科技有限公司 | 一种人工智能自适应互动教学系统 |
CN110148318A (zh) * | 2019-03-07 | 2019-08-20 | 上海晨鸟信息科技有限公司 | 一种数字助教系统、信息交互方法和信息处理方法 |
CN110163145A (zh) * | 2019-05-20 | 2019-08-23 | 西安募格网络科技有限公司 | 一种基于卷积神经网络的视频教学情感反馈系统 |
CN110390048A (zh) * | 2019-06-19 | 2019-10-29 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
CN110531849A (zh) * | 2019-08-16 | 2019-12-03 | 广州创梦空间人工智能科技有限公司 | 一种基于5g通信的增强现实的智能教学系统 |
CN110555204A (zh) * | 2018-05-31 | 2019-12-10 | 北京京东尚科信息技术有限公司 | 情绪判断的方法和装置 |
CN110598041A (zh) * | 2019-09-06 | 2019-12-20 | 广州努比互联网科技有限公司 | 一种FlACS实时分析方法与装置 |
CN110688911A (zh) * | 2019-09-05 | 2020-01-14 | 深圳追一科技有限公司 | 视频处理方法、装置、系统、终端设备及存储介质 |
CN110718119A (zh) * | 2019-09-26 | 2020-01-21 | 北京光年无限科技有限公司 | 基于儿童专用穿戴智能设备的教育能力支持方法及系统 |
CN110826510A (zh) * | 2019-11-12 | 2020-02-21 | 电子科技大学 | 一种基于表情情感计算的三维教学课堂实现方法 |
CN110969099A (zh) * | 2019-11-20 | 2020-04-07 | 湖南检信智能科技有限公司 | 近视预防预警直线距离的阀值计算方法与智能台灯 |
CN111026872A (zh) * | 2019-04-29 | 2020-04-17 | 广东小天才科技有限公司 | 一种关联听写方法及电子设备 |
CN111128118A (zh) * | 2019-12-30 | 2020-05-08 | 科大讯飞股份有限公司 | 语音合成方法、相关设备及可读存储介质 |
CN111178273A (zh) * | 2019-12-30 | 2020-05-19 | 云知声智能科技股份有限公司 | 一种基于情绪变化的教育方法及装置 |
CN111274372A (zh) * | 2020-01-15 | 2020-06-12 | 上海浦东发展银行股份有限公司 | 用于人机交互的方法、电子设备和计算机可读存储介质 |
CN111327943A (zh) * | 2019-07-17 | 2020-06-23 | 杭州海康威视系统技术有限公司 | 信息管理方法及装置、系统、计算机设备、存储介质 |
CN111414733A (zh) * | 2020-03-18 | 2020-07-14 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
CN111522877A (zh) * | 2020-04-08 | 2020-08-11 | 上海乂学教育科技有限公司 | 教育课程在线同步处理系统 |
CN111540358A (zh) * | 2020-04-26 | 2020-08-14 | 云知声智能科技股份有限公司 | 人机交互方法、装置、设备和存储介质 |
CN111563697A (zh) * | 2020-05-21 | 2020-08-21 | 上海复岸网络信息科技有限公司 | 一种线上课堂学生情绪分析方法和系统 |
CN111695442A (zh) * | 2020-05-21 | 2020-09-22 | 北京科技大学 | 一种基于多模态融合的在线学习智能辅助系统 |
CN111898810A (zh) * | 2020-07-16 | 2020-11-06 | 上海松鼠课堂人工智能科技有限公司 | 基于师生交流用户流失预测系统 |
CN112329802A (zh) * | 2019-08-01 | 2021-02-05 | 实践大学 | 气质量表与专注力及放松度量测的ai分群整合系统 |
CN112418068A (zh) * | 2020-11-19 | 2021-02-26 | 中国平安人寿保险股份有限公司 | 基于情绪识别的线上培训效果评估方法、装置和设备 |
CN112419809A (zh) * | 2020-11-09 | 2021-02-26 | 江苏创设未来教育发展有限公司 | 一种基于云数据在线教育的智能教学监测系统 |
CN116595153A (zh) * | 2023-07-11 | 2023-08-15 | 安徽淘云科技股份有限公司 | 智能交互设备的交互方法、装置、电子设备和存储介质 |
CN117171322A (zh) * | 2023-09-14 | 2023-12-05 | 华东师范大学 | 一种基于大型语言模型的智能教育聊天机器人训练方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023693A (zh) * | 2016-05-25 | 2016-10-12 | 北京九天翱翔科技有限公司 | 一种基于虚拟现实技术和模式识别技术的教育系统及方法 |
CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及系统 |
CN107292778A (zh) * | 2017-05-19 | 2017-10-24 | 华中师范大学 | 一种基于认知情感感知的云课堂学习评价方法及其装置 |
-
2017
- 2017-12-11 CN CN201711359925.5A patent/CN107958433A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023693A (zh) * | 2016-05-25 | 2016-10-12 | 北京九天翱翔科技有限公司 | 一种基于虚拟现实技术和模式识别技术的教育系统及方法 |
CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及系统 |
CN107292778A (zh) * | 2017-05-19 | 2017-10-24 | 华中师范大学 | 一种基于认知情感感知的云课堂学习评价方法及其装置 |
Cited By (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108615420A (zh) * | 2018-04-28 | 2018-10-02 | 北京比特智学科技有限公司 | 课件的生成方法和装置 |
CN108615420B (zh) * | 2018-04-28 | 2020-08-28 | 北京比特智学科技有限公司 | 课件的生成方法和装置 |
CN110555204A (zh) * | 2018-05-31 | 2019-12-10 | 北京京东尚科信息技术有限公司 | 情绪判断的方法和装置 |
CN108615423A (zh) * | 2018-06-21 | 2018-10-02 | 中山大学新华学院 | 一种基于深度学习的线上教育管理系统 |
CN109101107A (zh) * | 2018-06-29 | 2018-12-28 | 温州大学 | 一种vr虚拟课堂对虚拟机器人训练的系统及方法 |
CN108962255A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 语音会话的情绪识别方法、装置、服务器和存储介质 |
CN109255366A (zh) * | 2018-08-01 | 2019-01-22 | 北京科技大学 | 一种针对在线学习的情感状态调节系统 |
CN109101933B (zh) * | 2018-08-21 | 2021-05-28 | 重庆乐教科技有限公司 | 一种基于人工智能的情绪行为可视化分析方法 |
CN108924608A (zh) * | 2018-08-21 | 2018-11-30 | 广东小天才科技有限公司 | 一种视频教学的辅助方法及智能设备 |
CN109101933A (zh) * | 2018-08-21 | 2018-12-28 | 重庆乐教科技有限公司 | 一种基于人工智能的情绪行为可视化分析方法 |
CN109064797A (zh) * | 2018-08-24 | 2018-12-21 | 重庆虚拟实境科技有限公司 | 具有真人结合人工智能的教学系统及虚拟实景教学系统 |
CN109165599A (zh) * | 2018-08-27 | 2019-01-08 | 北京洛必达科技有限公司 | 大数据教育辅助方法、系统、存储介质及计算机设备 |
CN109147440A (zh) * | 2018-09-18 | 2019-01-04 | 周文 | 一种互动教学系统及方法 |
CN109461104A (zh) * | 2018-10-22 | 2019-03-12 | 杭州闪宝科技有限公司 | 课堂监控方法、装置及电子设备 |
CN109584648A (zh) * | 2018-11-08 | 2019-04-05 | 北京葡萄智学科技有限公司 | 数据生成方法及装置 |
CN109584648B (zh) * | 2018-11-08 | 2022-09-20 | 北京葡萄智学科技有限公司 | 数据生成方法及装置 |
CN109377802B (zh) * | 2018-11-26 | 2022-05-03 | 暗物智能科技(广州)有限公司 | 一种自动交互式智能教育系统及方法 |
CN109377802A (zh) * | 2018-11-26 | 2019-02-22 | 暗物质(香港)智能科技有限公司 | 一种自动交互式智能教育系统及方法 |
CN109559579A (zh) * | 2018-12-06 | 2019-04-02 | 安徽教育网络出版有限公司 | 一种基于人工智能的在线教育人机交互方法与系统 |
CN109961777A (zh) * | 2019-02-16 | 2019-07-02 | 天津大学 | 一种基于智能机器人的语音交互方法 |
CN109885727A (zh) * | 2019-02-21 | 2019-06-14 | 广州视源电子科技股份有限公司 | 资料推送方法、装置、电子设备及系统 |
CN110148318A (zh) * | 2019-03-07 | 2019-08-20 | 上海晨鸟信息科技有限公司 | 一种数字助教系统、信息交互方法和信息处理方法 |
CN109841122A (zh) * | 2019-03-19 | 2019-06-04 | 深圳市播闪科技有限公司 | 一种智能机器人教学系统及学生学习方法 |
CN110069707A (zh) * | 2019-03-28 | 2019-07-30 | 广州创梦空间人工智能科技有限公司 | 一种人工智能自适应互动教学系统 |
CN111026872A (zh) * | 2019-04-29 | 2020-04-17 | 广东小天才科技有限公司 | 一种关联听写方法及电子设备 |
CN111026872B (zh) * | 2019-04-29 | 2024-03-22 | 广东小天才科技有限公司 | 一种关联听写方法及电子设备 |
CN110163145A (zh) * | 2019-05-20 | 2019-08-23 | 西安募格网络科技有限公司 | 一种基于卷积神经网络的视频教学情感反馈系统 |
WO2020253372A1 (zh) * | 2019-06-19 | 2020-12-24 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
CN110390048A (zh) * | 2019-06-19 | 2019-10-29 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
CN111327943B (zh) * | 2019-07-17 | 2022-08-02 | 杭州海康威视系统技术有限公司 | 信息管理方法及装置、系统、计算机设备、存储介质 |
CN111327943A (zh) * | 2019-07-17 | 2020-06-23 | 杭州海康威视系统技术有限公司 | 信息管理方法及装置、系统、计算机设备、存储介质 |
CN112329802A (zh) * | 2019-08-01 | 2021-02-05 | 实践大学 | 气质量表与专注力及放松度量测的ai分群整合系统 |
CN110531849A (zh) * | 2019-08-16 | 2019-12-03 | 广州创梦空间人工智能科技有限公司 | 一种基于5g通信的增强现实的智能教学系统 |
CN110688911A (zh) * | 2019-09-05 | 2020-01-14 | 深圳追一科技有限公司 | 视频处理方法、装置、系统、终端设备及存储介质 |
CN110688911B (zh) * | 2019-09-05 | 2021-04-02 | 深圳追一科技有限公司 | 视频处理方法、装置、系统、终端设备及存储介质 |
CN110598041A (zh) * | 2019-09-06 | 2019-12-20 | 广州努比互联网科技有限公司 | 一种FlACS实时分析方法与装置 |
CN110718119A (zh) * | 2019-09-26 | 2020-01-21 | 北京光年无限科技有限公司 | 基于儿童专用穿戴智能设备的教育能力支持方法及系统 |
CN110826510A (zh) * | 2019-11-12 | 2020-02-21 | 电子科技大学 | 一种基于表情情感计算的三维教学课堂实现方法 |
CN110969099A (zh) * | 2019-11-20 | 2020-04-07 | 湖南检信智能科技有限公司 | 近视预防预警直线距离的阀值计算方法与智能台灯 |
CN111128118A (zh) * | 2019-12-30 | 2020-05-08 | 科大讯飞股份有限公司 | 语音合成方法、相关设备及可读存储介质 |
CN111128118B (zh) * | 2019-12-30 | 2024-02-13 | 科大讯飞股份有限公司 | 语音合成方法、相关设备及可读存储介质 |
CN111178273A (zh) * | 2019-12-30 | 2020-05-19 | 云知声智能科技股份有限公司 | 一种基于情绪变化的教育方法及装置 |
CN111274372A (zh) * | 2020-01-15 | 2020-06-12 | 上海浦东发展银行股份有限公司 | 用于人机交互的方法、电子设备和计算机可读存储介质 |
CN111414733A (zh) * | 2020-03-18 | 2020-07-14 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
CN111414733B (zh) * | 2020-03-18 | 2022-08-19 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
CN111522877B (zh) * | 2020-04-08 | 2024-04-02 | 上海松鼠课堂人工智能科技有限公司 | 教育课程在线同步处理系统 |
CN111522877A (zh) * | 2020-04-08 | 2020-08-11 | 上海乂学教育科技有限公司 | 教育课程在线同步处理系统 |
CN111540358B (zh) * | 2020-04-26 | 2023-05-26 | 云知声智能科技股份有限公司 | 人机交互方法、装置、设备和存储介质 |
CN111540358A (zh) * | 2020-04-26 | 2020-08-14 | 云知声智能科技股份有限公司 | 人机交互方法、装置、设备和存储介质 |
CN111563697A (zh) * | 2020-05-21 | 2020-08-21 | 上海复岸网络信息科技有限公司 | 一种线上课堂学生情绪分析方法和系统 |
CN111695442A (zh) * | 2020-05-21 | 2020-09-22 | 北京科技大学 | 一种基于多模态融合的在线学习智能辅助系统 |
CN111898810B (zh) * | 2020-07-16 | 2021-06-01 | 上海松鼠课堂人工智能科技有限公司 | 基于师生交流用户流失预测系统 |
CN111898810A (zh) * | 2020-07-16 | 2020-11-06 | 上海松鼠课堂人工智能科技有限公司 | 基于师生交流用户流失预测系统 |
CN112419809A (zh) * | 2020-11-09 | 2021-02-26 | 江苏创设未来教育发展有限公司 | 一种基于云数据在线教育的智能教学监测系统 |
CN112418068A (zh) * | 2020-11-19 | 2021-02-26 | 中国平安人寿保险股份有限公司 | 基于情绪识别的线上培训效果评估方法、装置和设备 |
CN116595153A (zh) * | 2023-07-11 | 2023-08-15 | 安徽淘云科技股份有限公司 | 智能交互设备的交互方法、装置、电子设备和存储介质 |
CN116595153B (zh) * | 2023-07-11 | 2023-11-24 | 安徽淘云科技股份有限公司 | 智能交互设备的交互方法、装置、电子设备和存储介质 |
CN117171322A (zh) * | 2023-09-14 | 2023-12-05 | 华东师范大学 | 一种基于大型语言模型的智能教育聊天机器人训练方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107958433A (zh) | 一种基于人工智能的在线教育人机交互方法与系统 | |
CN106023693B (zh) | 一种基于虚拟现实技术和模式识别技术的教育系统及方法 | |
CN105632251B (zh) | 具有语音功能的3d虚拟教师系统及其方法 | |
Cole et al. | Perceptive animated interfaces: First steps toward a new paradigm for human-computer interaction | |
WO2019237708A1 (zh) | 基于深度学习的人际交互肢体语言自动生成方法及系统 | |
CN107133303A (zh) | 用于输出信息的方法和装置 | |
CN108648535A (zh) | 一种基于vr移动端技术的教学系统及其运行方法 | |
CN115953521B (zh) | 远程数字人渲染方法、装置及系统 | |
CN115146975A (zh) | 基于深度学习的面向师-机-生教学成效评估方法和系统 | |
Wilske | Form and meaning in dialog-based computer-assisted language learning | |
CN117522643A (zh) | 一种口才训练方法、装置、设备及存储介质 | |
CN117251057A (zh) | 一种基于aigc构建ai数智人的方法及系统 | |
Geng | Design of English teaching speech recognition system based on LSTM network and feature extraction | |
CN116564144A (zh) | 一种基于元宇宙的数字虚拟人在线教学系统及方法 | |
CN110956142A (zh) | 一种智能交互培训系统 | |
Wang et al. | Personalized storytelling with social robot Haru | |
Lee et al. | Affective effects of speech-enabled robots for language learning | |
Doswell | It's virtually pedagogical: pedagogical agents in mixed reality learning environments | |
Wu et al. | [Retracted] Status Quo and Countermeasures of College English Listening Teaching in the New Multimedia Environment | |
Grifoni et al. | When language evolution meets multimodality: Current status and challenges toward multimodal computational models | |
CN117560340B (zh) | 基于模拟角色的信息交互方法、装置和存储介质 | |
Blagoev et al. | ANALYSIS OF TOOLS FOR GENERATION OF EDUCATIONAL CONTENT USING ARTIFICIAL INTELLIGENCE | |
Li et al. | Informatization of Constructive English Learning Platform Based on Artificial Intelligence Algorithm | |
Wu et al. | Wuhan Railway Vocational College of Technology, Wuhan, Hubei, China stefanie1251@ 163. com | |
CN117727303A (zh) | 一种音视频的生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |