CN110853422A - 一种沉浸式语言学习系统及其学习方法 - Google Patents

一种沉浸式语言学习系统及其学习方法 Download PDF

Info

Publication number
CN110853422A
CN110853422A CN201810866646.6A CN201810866646A CN110853422A CN 110853422 A CN110853422 A CN 110853422A CN 201810866646 A CN201810866646 A CN 201810866646A CN 110853422 A CN110853422 A CN 110853422A
Authority
CN
China
Prior art keywords
learning
user
content
module
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810866646.6A
Other languages
English (en)
Inventor
张运军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shixue Shenzhen Technology Co Ltd
Original Assignee
Shixue Shenzhen Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shixue Shenzhen Technology Co Ltd filed Critical Shixue Shenzhen Technology Co Ltd
Priority to CN201810866646.6A priority Critical patent/CN110853422A/zh
Publication of CN110853422A publication Critical patent/CN110853422A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Abstract

本发明提供一种能够自动评估用户的学习水平、能够根据用户所学内容与用户进行对话的沉浸式语言学习系统及其学习方法。学习系统包括学习终端、服务器和自我训练装置。用户能够通过学习终端进行学习,然后通过对话阶段与学习终端进行人机对话。学习系统能够根据当前的用户等级,输出与用户等级相匹配的内容,这样能够增强用户的积极性,增强学习效率,用户可以随时随地的学习。

Description

一种沉浸式语言学习系统及其学习方法
技术领域
本发明提供一种的语言学习系统及其学习方法,具体地,特别涉及沉浸式语言学习系统及其学习方法。
背景技术
语言是人类最重要的交际工具,是人们进行沟通的主要表达方式。人们借助语言保存和传递人类文明的成果。语言是民族的重要特征之一。一般来说,各个民族都有自己的语言。汉语,法语,俄语,西班牙语,阿拉伯语,英语是世界上的主要语言,也是联合国的工作语言。汉语是世界上使用人口最多的语言。据德国出版的《语言学及语言交际工具问题手册》说,现在世界上查明的有5651种语言。在这些语言中,约有1400多种还没有被人们承认是独立的语言,或者是正在衰亡的语言。
学习者不仅学习自己本国语言,为了增加与其它国家的人员交流和文化往来,学习者还需要学习其它语言,如英语、日语、德语等,因此具有一种以上的外语能力是目前每一个人所需要的,无论是在职场上或是在对话中,具备多种外语能力的人,无形中自然会被更加重视。所以,如何增加学习外语能力的方法常会被人们提起。但现在学习生活中,语言教学一般都为教师的课堂讲课教授,再辅以文字教材的方式达成或者视频录播教学,强硬通过单词,句子,听力来被动学习,过程较为枯燥,教学效果一般,不能满足现在的学习需求。该方式需要求学习者和授课者于时间上高度配合,但往往时间上存在冲突或者学习仅能是在课堂上完成,业余时间学生需要课后巩固学习成果时,往往缺乏老师的指导,导致学生出现疑问不能及时解答。
另外,学习者还对非本国语言学习产生一定的动力,为了增加外语能力,市面上提出了许多硬体装置或软件方法以达到学习外语的能力。例如,利用学习英语的软件的话,它就是会列出每个不同级别的单字范围,例如:小学、中学等,让你选择范围后,开始自字母“a”开始背起单词。由于,这些英文单字是预先设计好的,因此,没办法根据你的实际需要分类出单词范围。学习英语软件的背单词功能有:单词的播放,单词测验等。这些背单词的方法都是靠眼睛的“视觉”,来进行记忆的。但是,熟悉语言学习的人们都知道,仅使用单一种“视觉”进行记忆单字其效率有限,若能配合“听觉”,以声音的形式朗读出来,不断刺激人的大脑,帮助人们对于单词的记忆,会让语言学习的效率更进一步。因此,现在有很多录制好的音效档案,能让你放在播放器中使用“听觉”进行单字记忆,但是却使用纸本方式让使用者阅读,因此需要在固定场所,方能进行语言学习,无法让使用者可以随时随地的进行语言学习,这也是一个问题。
现有语言学习中主要被动方式学习主要采取真人面对面或在线教学、视频录播教学,强硬通过单词,句子,听力来被动学习,通过本方法类似母语,所听所见即是所学的方式,主动学习,自然而然的学会了外语。
专利(CN 107909519 A)提供了一种语言学习方法及其学习系统,其提供的语言学习系统,包括中央控制处理模块,所述中央控制处理模块分别连接缓存模块、数据存储模块、无线信号收发模块、外设装置、语言功能库模块、音响数据模块、视频资料处理模块和数据提取模块,所述视频资料处理模块连接高清摄像头,所述数据提取模块连接数据库模块,所述数据库模块包括词汇库模块、语法库模块、例句库模块、视频资料库模块、语音资料库模块、词法库模块和特征库模块,所述语言功能库模块包括词汇查询模块、语法查询模块、例句推荐模块、翻译模块、模拟对话模块和音频读取模块。学生在学习过程中,其仅是只能根据用户机械式选择模块进行学习,而实际上,不同的用户的语言水平各有差异,仅是机械式选择用户,会导致不同语言水平的用户学习同一个教程,起不到真正语言的学习效果。
专利(CN107909519 A)提供了一种语言学习系统及其学习方法,其提供的系统包括数据库、主控端和小组端。主控端包括作业模块、统计模块、存储模块和监控模块。作业模块用于在数据库中选取题目并生成作业包发送给小组端。统计模块用于统计小组端反馈回来的成绩信息,并生成回答正确率变化曲线及回答时长变化曲线。存储模块用于存储小组端反馈回来的成绩信息及统计模块生成的回答正确率变化曲线、回答时长变化曲线。监控模块用于实时监控小组端的答题情况。小组端包括学习模块、评分模块和反馈模块。所述的学习模块用于接收主控端发送来的作业包,并将作业包显示出来供学习者进行答题。评分模块用于在学习者完成作业包内所有作业后进行正确率判断及评分,并将正确率及评分结果通过反馈模块发送给主控端。尽管其考虑到需要对不用的学习者进行测试,评估其语言水平,但是该过程较为复杂,而且是通过人工进行的,这将耗时耗力,且人工评分带有主观性,难免有失偏颇,造成误判。
另外,学习者经过一段时间的学习,需要与机器进行人机对话,检验一下学习效果。目前现有的语言学习机器的对话都是预先设计好的,对话内容上下文都是提前写入数据库系统中,而不能根据学习者的学习过程自动设计对话,这会使得学习者学习内容与人机对话的内容不匹配,导致学习者无法检测自我的学习水平。
发明内容
基于现有语言学习技术中存在的缺陷,本发明提供一种能够自动评估用户的学习水平、能够根据用户所学内容与用户进行对话的沉浸式语言学习系统及其学习方法。
本发明提供了一种沉浸式语言学习方法,其特征在于,至少包括学习阶段,学习阶段至少包括以下步骤:
步骤S101:接收到来自于学习终端的信息,对所接收到的信息进行识别并获取识别后的内容;
步骤S102:获取所需解码的内容;
步骤S103:对需要进行解码的内容进行分析处理获得多个关键词;
步骤S104:根据获得多个关键词与学习内容数据库进行匹配生成学习内容;
步骤S105:将学习内容传送给学习终端进行输出显示;
所述步骤S103中对解码内容的分析处理至少包括以下步骤:
步骤S103a:获得的步骤S102中的所需解码的内容;
步骤S103b:将所需解码的内容中的特征词分别与第一词库名单和第二词库名单进行比较;
步骤S103c:将出现在第二词库名单中的特征词去除,保留出现在第一词库名单的特征词;
步骤103d:结合用户等级,然后从保留的特征词中选择与用户等级匹配的多个关键词;
所述第一词库名单和第二词库名单中的特征词至少包含有预先设计的词或词组或句子。
优选的,步骤S101的信息至少包括文字、语音、视频、手势、手语、姿态中的一种或它们之间的组合。
优选的,本发明涉及接收到信息或内容以及处理过程中产生的信息至少包括文字、语音、视频、手势、手语、姿态中的一种或它们之间的组合。
一般情况下,用户群体各异,考虑不同的用户的年龄、国籍、性别、兴趣爱好、语言水平不相同,学习系统如果用相同的条件对待,则势必会产生分歧,语言水平高的学生不愿意学习较简单的单词、句子。语言水平低的学生如果学习难度大的内容,会对其学习信心造成打击,使其丧失学习兴趣。因此,需要考虑用户的年龄、国籍、性别、兴趣爱好、语言水平,设定用户的真是水平,根据用户的真实水平进行测试、学习。为此设计了用户等级的获取方法:
步骤S301:获取用户的初始背景信息;
步骤S302:根据用户的初始背景信息对用户进行初始测试;
步骤S303:根据用户的测试结果获得初始用户等级;
步骤S304:用户经过学习阶段进行自我学习;
步骤S305:对用户进行阶段测试;
步骤S306:根据用户的阶段测试结果获得用户等级;
步骤S307:判断用户是否继续学习,若继续学习,则执行步骤S304;若用户放弃学习,将用户等级保存,结束学习。
具体地,在步骤S302和步骤S305的,对用户进行初始测试和阶段测试都是由系统评测模块进行的。
本发明提供了一种沉浸式语言学习方法,其特征在于,至少包括对话阶段,对话阶段至少包括以下步骤:
步骤S201:接收到来自学习终端的信息;
步骤S202:对接收到的信息进行识别获取识别结果;
步骤S203:对识别结果进行语义分析处理获得对话内容;
步骤S204:将对话内容传输给学习终端进行输出显示。
在人机对话阶段,语义分析成为该系统最为关键的问题,语义分析处理需要根据获得识别结果,经过综合分析最终获取能够与用户进行对话的内容,为此,本发明设计了在步骤S203设计两种不同的语义分析处理方法:
第一种分析方法如下:
所述步骤S203中语义分析处理对识别结果进行分析处理至少包括:
步骤S203a:获取步骤S202中的识别结果;
步骤S203b:通过自然语言理解处理识别结果判断用户的领域识别、意图识别和语义分析并提取关键词或词组或句子;
步骤S203c:将关键词或词组或句子与对话数据库进行匹配,判断是否有匹配的内容,若有匹配的内容,则执行步骤S203d、步骤S203e,若无匹配的内容,则执行步骤S203f至步骤S203h;
步骤S203d:找出匹配的符合条件的多个候选对话词或词组或者句子;
步骤S203e:依据当前的用户等级输出与用户等级相符合的词句或者短语或者词组;
步骤S203f:将关键词或词组或句子通过服务器接入互联网进行大范围搜索,从而筛选出符合条件的多个候选结果;
步骤S203g:文本聚类及摘要抽取并获得对话内容;
步骤S203h:依据当前的用户等级输出与用户等级相符合的对话内容并将对话内容存入对话数据库中进行更新对话数据库。
第二种分析方法如下:
所述步骤S203中语义分析处理对识别结果进行分析处理至少包括:
步骤S401:获取步骤S202中的识别结果;
步骤S402:通过自然语言理解处理识别结果判断用户的领域识别、意图识别和语义分析并提取关键词或词组或句子;
步骤S403:数据句法模型分析获得多个候选句子;
步骤S404:将多个候选句子按照概率进行排序;
步骤S405:依据当前的用户等级输出与用户等级相符合的对话内容并将对话内容存入对话数据库中进行更新对话数据库。
本发明提供一种沉浸式语言学习方法,其特征在于,包括学习阶段和对话阶段,学习阶段和对话阶段可以合为一体,也可以单独分开独立进行,二者阶段既可以相互衔接,也可以相互独立。例如:用户也可以仅采用学习阶段相关内容的学习而不与机器进行对话,用户经过本发明提供的学习进行学习后,可以与同学、同事或者其它人员进行对话交流练习。或者用户如果一定的语言水平,也可以开启对话模式直接与机器进行对话。
本发明提供了一种沉浸式语言学习方法,其特征在于,至少包括学习阶段和对话阶段;
所述学习阶段至少包括:
步骤S101:接收到来自于学习终端的信息,对所接收到的信息进行识别并获取识别后的内容;
步骤S102:获取所需解码的内容;
步骤S103:对需要进行解码的内容进行分析处理获得多个关键词;
步骤S104:根据获得多个关键词与学习内容数据库进行匹配生成学习内容;
步骤S105:将学习内容传送给学习终端进行输出显示;
所述步骤S103中对解码内容的分析处理至少包括以下步骤:
步骤S103a:获得的步骤S102中的所需解码的内容;
步骤S103b:将所需解码的内容中的特征词分别与第一词库名单和第二词库名单进行比较;
步骤S103c:将出现在第二词库名单中的特征词去除,保留出现在第一词库名单的特征词;
步骤103d:结合用户等级,然后从保留的特征词中选择与用户等级匹配的多个关键词;
所述第一词库名单和第二词库名单中的特征词至少包含有预先设计的词或词组或句子。
所述对话阶段至少包括:
步骤S201:接收到来自学习终端的信息;
步骤S202:对接收到的信息进行识别获取识别结果;
步骤S203:对识别结果进行语义分析处理获得对话内容;
步骤S204:将对话内容传输给学习终端进行输出显示。
用户能够完成学习阶段的学习后达到一定的语言水平,然后在对话阶段与机器进行对话,再次检验学习效果,提高学习效率,提升用户的学习信心。
本发明还根据该学习方法设计了对应的学习系统,通过学习系统,用户可以进行自我学习,沉浸式语言学习系统的具体组成结构如下:
一种沉浸式语言学习系统,其特征在于,至少包括学习终端(1)和服务器(2);
所述学习终端(1)至少包括:
显示模块(101),用于对输入与输出的内容进行显示;通信模块(102),用于对学习终端内部模块之间的通信或学习终端与外部通信;摄像模块(103),用于对物体进行拍照或者摄像或人脸识别;语音模块(104),用于对语音的输入或者语音的输出;所述通信模块(102)与显示模块(101)、摄像模块(103)、语音模块(104)电连接;
优选的,摄像模块可以为摄像头、TOF深度相机、3D相机、红外相机等。
所述服务器(2)至少包括:通信模块(202),用于对服务器内部模块之间的通信或服务器与外部通信;数据存储模块(203),用于对服务器(2)模块之间产生的信息进行存储或接收到的外部信息进行存储;识别模块(204),用于对接收到的信息进行识别;解码模块(205),用于对识别模块(204)经过识别后获得的内容进行解码;用户等级模块(206),用于获取用户等级;匹配模块(207),用于对解码模块经过解码后获得的内容与数据存储模块中内容进行匹配并获得匹配结果;语义分析模块(208),用于对解码模块经过解码后获得的内容进行分析处理;
所述通信模块(202)与数据存储模块(203)、识别模块(204)、解码模块(205)、用户等级模块(206)、匹配模块(207)、语义分析模块(208)电连接。
优选的,所述学习终端(1)还包括学习模式选择模块(105),学习模式选择模块(105)至少包括对话模块105a、训练模式(105b)、测试模式(105c);
优选的数据存储器模块(203)至少包括临时数据库(203a)、对话数据库(203b)、关键词数据库(203c)、图片数据库(203d)、学习内容数据库(203e)中的一种;
临时数据库(203a),用于存储服务器(2)各模块处理过程中产生的临时信息;
对话数据库(203b),用于存储与对话数据有关的内容;
关键词数据库(203c),用于存储产生的关键词、预设的关键词、第一词库名单、第二词库名单;
图片数据库(203d),用于存储各种图片,包括关键词对应的图片,用户拍照产生的图片、网络获取的图片;
学习内容数据库(203e),用于存储用户学习内容。
优选的,所述识别模块(204)至少包括图像识别(204a)、语音识别(204b)、视频识别(204c)、手语识别(204d)中的一种;
图像识别(204a),用于对接收到的图片数据进行识别;
语音识别(204b),用于对接收到的语音数据进行识别;
视频识别(204c),用于对接收到的视频数据进行识别;
手语识别(204d),用于对接收到的手语数据进行识别。
优选的,服务器(2)可设置于学习终端内或服务器(2)独立于学习终端,服务器(2)为本地服务器或云端服务器。
服务器(2)还包括系统评测模块(209),系统评测模块(209)分别与数据存储模块(203)和用户等级模块(206)电连接;
系统评测模块(209)用于用户经过一段时间的学习后,对用户的语言学习水平进行测试。
沉浸式语言学习系统还包括自我训练装置(3),自我训练装置(3)至少包括通信模块(301)、临时训练数据库(302)、深度学习训练分类模块(303),通信模块(301)与临时训练数据库(302)和深度学习训练分类模块(303)进行电直接连接或者间接电连接;通信模块(301)还与通信模块(202)、通信模块(102)进行电连接;
深度学习训练分类模块(303)包括学习教程(304)、词汇(305)、对话预料(306)并依据学习教程(304)、词汇(305)、对话预料(306)进行自我训练并将训练获得的结果存储到服务器(2)中的数据存储模块。自我训练装置(3)能够根据收集多种用户的学习内容,及时通过海量的网络进行搜索,及时更新用数据库,使得数据库的学习内容能够与时俱进,自我更新,无需人工干涉。
具体地,本发明的通信模块(102)、通信模块(202)、通信模块(301)之间互相进行通信,进行信息的双向传递。通信模块(102)能够与学习终端(1)的各个模块进行直接或者间接的电连接。通信模块(202)能够与服务器(2)的各个模块进行直接或者间接的电连接。通信模块(301)能够与自我训练装置中的各个模块进行直接或者间接的电连接。
通信模块(102)、通信模块(202)、通信模块(301)可以采用无线或者有线的方式进行通信,例如:LAN、WAN、无限带宽技术(Infiniband)、3G、4G、5G、蓝牙、wifi、RFID、NFC等通信手段进行通信。
优选的,服务器(2)和自我训练装置(3)可以设置于学习终端,也可以独立于学习终端单独设立。
本发明的有益技术效果:
(1)真正随时随地进入学习,看到任何场景和文字,拍一拍即可进入学习;系统结合标准学习流程和深度机器学习教育内容,不管用户随手拍一拍还是选择标准学习,都可根据用户级别自动匹配适合当前水平的学习内容;基础学习单词和句子时,都通过图片识别来进行,强化知识与实物结合;建立基础学习标准化流程,并植入语音智能评分系统对学习内容进行评分;能够24小时不间断与机器人对话,对话内容贴合学习者当前水平;能够24小时随时随地发起学习,无需预约或排课。
(2)本发明预设了第一词库名单和第二词库名单,第一词库名单专门用来存储记录对用户学习有价值的词、词组、句子、短语等,例如日常生活中的常用词汇、高频词汇等,第二词库名单专门用来存储记录对用户学习无价值的词、词组、句子、短语、文章等,例如日常生活中的生僻词,极少出现频率低的词、不文明词汇等。通过设计第一词库名单和第二词库名单,将提取的特征词与两个名单进行对比,找出有利于用户学习的关键词,这样能够提高学习效率。
(3)定义了用户等级,能够自动获取当前的用户等级,从而及时调整与用户难度系统相匹配的学习内容,增加学习兴趣,提高用户学习效率,使用户能够及时达到目标。
(4)本发明提供语言学习系统包括学习阶段和对话阶段,用户可以通过学习阶段的学习使其语言水平达到一定程度后,可以立即与学习系统开展人机对话,检验学习效果,而不用再去找老师或者同学进行对话检验。通过本发明的语言学习系统,能够独立完成学习过程而无需老师或者家长的帮助。
(5)本发明提供的自我训练装置(3)能够根据收集多种用户的学习内容,及时通过海量的网络进行搜索,及时更新用数据库,使得数据库的学习内容能够与时俱进,自我更新,无需人工干涉。
(6)要求当前用户的学习内容比例在于当前用户等级学习的60~80%的内容中单词、词组、句子、图形、视频、语音的分数与用户等级对应的难度等级匹配,其余学习内容与当前用户等级相差在二级以内。如:用户等级为5级的用户,其学习内容的60~80%与难度等级处于40~50分之内,其余学习内容的难度等级处于可以为20~30,30~40,50~60,60~70。这样定义学习内容,能够提供学生学习的积极性,增强学生的学习信心,提高学习效率,能够使学生短期内达到事半功倍的效果。
(7)语义分析模块或者关键词获取方法等能够根据用户等级及时调整用户的学习内容,使其学习内容的难度系数能够及时与用户的当前语言水平匹配,提高学习效率,避免将时间话费在用户已掌握的学习内容或者学习内容已远超过用户的语言水平。
附图说明
以下附图仅对本发明做示意性说明和解释,并不限定本发明的范围。
图1是本发明提供的一种沉浸式语言学习方法中学习阶段的学习方法流程示意图;
图2是本发明提供的学习阶段的学习方法中解码模块对识别结果进行分析处理获得多个关键词的方法流程示意图;
图3是本发明提供的一种沉浸式语言学习方法中用户等级的获取方法流程示意图;
图4是本发明提供的一种沉浸式语言学习方法中对话阶段的学习方法流程示意图;
图5是本发明提供的对话阶段中语义分析模块对识别结果进行分析处理获得对话内容的其中一种方法流程示意图;
图6是本发明提供的对话阶段中语义分析模块对识别结果进行分析处理获得对话内容的其中另一种方法流程示意图;
图7是本发明提供一种沉浸式语言学习系统的示意图。
图中标号:
学习终端(1):显示模块(101)、通信模块(102)、摄像模块(103)、语音模块(104)、学习模式选择模块(105)、对话模式(105a)、训练模式(105b)、测试模式(105c);
服务器(2):通信模块(202)、数据存储模块(203)、识别模块(204)、解码模块(205)、用户等级模块(206)、匹配模块(207)、语义分析模块(208)、系统评测模块(209)、图像识别(204a)、语音识别(204b)、视频识别(204c)、手语是被(204d)、临时数据库(203a)、对话数据库(203b)、关键词数据库(203c)、图片数据库(203d)、学习内容数据库(203e);
自我训练装置(3):通信模块(301)、临时训练数据库模块(302)、深度学习训练分类模块(303)、学习教程(304)、词汇(305)、对话预料(306)。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式,在各图中相同的标号表示相同的部分。为使图面简洁,各图中的只示意性地表示出了与本发明相关部分,而并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。
在本文中,“示意性”表示“充当实例、例子或说明”,不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。
具体实施例:
本发明提供一种沉浸式语言学习系统及其学习方法。
具体地,本发明包括提供的沉浸式语言学习系统可以用来提供给用户进行自我学习。
本发明提供的沉浸式语言学习系统,参见图7a至图7d至少包括学习终端(1)和服务器(2);
学习终端(1)至少包括:
显示模块(101),用于对输入与输出的内容进行显示;通信模块(102),用于对学习终端内部模块之间的通信或学习终端与外部通信;摄像模块(103),用于对物体进行拍照或者摄像或人脸识别;语音模块(104),用于对语音的输入或者语音的输出;通信模块(102)与显示模块(101)、摄像模块(103)、语音模块(104)电连接;
具体地,摄像模块可以为摄像头、TOF深度相机、3D相机、红外相机等。
服务器(2)至少包括:通信模块(202),用于对服务器内部模块之间的通信或服务器与外部通信;数据存储模块(203),用于对服务器(2)模块之间产生的信息进行存储或接收到的外部信息进行存储;识别模块(204),用于对接收到的信息进行识别;解码模块(205),用于对识别模块(204)经过识别后获得的内容进行解码;用户等级模块(206),用于获取用户等级;匹配模块(207),用于对解码模块经过解码后获得的内容与数据存储模块中内容进行匹配并获得匹配结果;语义分析模块(208),用于对解码模块经过解码后获得的内容进行分析处理;
具体地,解码模块(107)分别与识别模块(204)、匹配模块(207)、语义分析模块(208)相连接;用户等级模块分别与匹配模块(207)、语义分析模块(208)相连接。
需要说明的是,以上连接关系仅是一种事例,具体的连接关系是可以改变的,其可以是两种模块直接电连接,或者通过其它模块进行间接的电连接,只要能够达到相互调用、相互通信即可。本实施例中的模块之间的连接关系并不限制本发明的学习系统的保护范围。
通信模块(202)与数据存储模块(203)、识别模块(204)、解码模块(205)、用户等级模块(206)、匹配模块(207)、语义分析模块(208)电连接。
具体地,学习终端(1)还包括学习模式选择模块(105),学习模式选择模块(105)至少包括对话模块(105a)、训练模式(105b)、测试模式(105c);
当用户开启学习终端需要进行自我学习时,用户通过学习模式选择模块选择训练模式(105b),此时,用户可以根据其提供的关键词或者学习系统自动提供的关键词内容从学习内容数据库输出相关内容进行学习,其输出内容既可以是文字,也可以是语音。将文字转化为语音的功能设置在语音模块中。
当用户开启学习终端需要进行对话模式时,用户通过学习模式选择模块选择对话模式(105a),此时,用户可以根据其提供的关键词或者学习系统自动提供的关键词内容从对话数据库中输出相关内容进行学习,其输出内容既可以是文字,也可以是语音。将文字转化为语音的功能设置在语音模块中。
当用户开启学习终端需要进行测试模式时,用户通过学习模式选择模块选择测试模式(105c),此时,服务器收到测试模块的指令时,系统评测模块会在学习内容数据库中搜索用户已经学习内容,再结合当前的用户等级。根据其所学的内容或者与学习内容相关的未学习内容产生测试题目。测试题目既可以是语音、文字、图片,题型包括听力、选择、语法、改错、阅读等。
具体地,数据存储器模块(203)至少包括临时数据库(203a)、对话数据库(203b)、关键词数据库(203c)、图片数据库(203d)、学习内容数据库(203e)中的一种;
临时数据库(203a),用于存储服务器(2)各模块处理过程中产生的临时信息;
对话数据库(203b),用于存储与对话数据有关的内容;
关键词数据库(203c),用于存储产生的关键词、预设的关键词、第一词库名单、第二词库名单;
此处,传统的关键词提取算法将获取的信息进行识别处理,将处理的结果通过简单处理获得关键词,而不管关键词获取是否有利于学习者的学习,是否具有学习价值。如英文中,假设有语言片段出现多处“fuck”等带有不文明词汇,建设提取关键词不经过处理,则关键词会出现fuck等词汇,显然这种带有不文明词汇的单次显然不利于儿童的学习,该单词不具备教育价值。或者选取某一个生僻词作为关键词,这个生僻词在日常行为的过程中出现概率非常低,显然这类词汇也利于用户的学习。为此,本发明预设了第一词库名单和第二词库名单,第一词库名单专门用来存储记录对用户学习有价值的词、词组、句子、短语等,例如日常生活中的常用词汇、高频词汇等,第二词库名单专门用来存储记录对用户学习无价值的词、词组、句子、短语、文章等,例如日常生活中的生僻词,极少出现频率低的词、不文明词汇等。
图片数据库(203d),用于存储各种图片,包括关键词对应的图片,用户拍照产生的图片、网络获取的图片;
学习内容数据库(203e),用于存储用户学习内容;
具体地,识别模块(204)至少包括图像识别(204a)、语音识别(204b)、视频识别(204c)、手语识别(204d)中的一种;
图像识别(204a),用于对接收到的图片数据进行识别;
语音识别(204b),用于对接收到的语音数据进行识别;
视频识别(204c),用于对接收到的视频数据进行识别;
手语识别(204d),用于对接收到的手语数据进行识别。
具体地,服务器(2)可设置于学习终端内或服务器(2)独立于学习终端,服务器(2)为本地服务器或云端服务器。
服务器(2)还包括系统评测模块(209),系统评测模块(209)分别与数据存储模块(203)和用户等级模块(206)电连接;
系统评测模块(209)用于用户经过一段时间的学习后,对用户的语言学习水平进行测试。
具体地,沉浸式语言学习系统还包括自我训练装置(3),自我训练装置(3)至少包括通信模块(301)、临时训练数据库(302)、深度学习训练分类模块(303),通信模块(301)与临时训练数据库(302)和深度学习训练分类模块(303)进行电直接或者间接电连接;通信模块(301)还与通信模块(202)、通信模块(102)进行电连接;
深度学习训练分类模块(303)包括学习教程(304)、词汇(305)、对话预料(306)并依据学习教程(304)、词汇(305)、对话预料(306)进行自我训练并将训练获得的结果存储到服务器(2)中的数据存储模块。自我训练装置(3)能够根据收集多种用户的学习内容,及时通过海量的网络进行搜索,及时更新用数据库,使得数据库的学习内容能够与时俱进,自我更新,无需人工干涉。
具体地,本发明的通信模块(102)、通信模块(202)、通信模块(301)之间互相进行通信,进行信息的双向传递。通信模块(102)能够与学习终端(1)的各个模块进行直接或者间接的电连接。通信模块(202)能够与服务器(2)的各个模块进行直接电连接或者间接的电连接。通信模块(301)能够与自我训练装置中的各个模块进行直接或者间接的电连接。
通信模块(102)、通信模块(202)、通信模块(301)可以采用无线或者有线的方式进行通信,例如:LAN、WAN、无限带宽技术(Infiniband)、3G、4G、5G、蓝牙、wifi、RFID、NFC等通信手段进行通信。
具体地,服务器(2)和自我训练装置(3)可以设置于学习终端,也可以独立于学习终端单独设立。
具体地,本发明的学习系统由学习终端(1)至少包括处理器(CPU)、存储器,如硬盘,SSD固态硬盘、DDR3或DDR4内存,摄像头、通信芯片(如Wifi,4G模块)等,这些芯片可以集成到一块主板上,也可以分别集成多款主板上。还可以包括图形处理器(GPU)语音识别芯片、声卡(语音输入输出芯片)、麦克风。更具体,可以为当前手机、电脑、智能的可穿戴设备、游戏设备等。
服务器(2)可以包括处理器(CPU)、图形处理器(GPU)、存储器,如硬盘,SSD固态硬盘、DDR3或DDR4内存,语音识别芯片、声卡(语音输入输出芯片)、文字语音转化芯片、通信芯片(如Wifi,4G模块)等,这些芯片可以集成到一块主板上,也可以分别集成多款主板上。当然,服务器也可以只包括其中的一些芯片,只要能够满足功能就行。
自我训练装置(3)包括处理器(CPU)、图形处理器(GPU)、存储器,如硬盘,SSD固态硬盘、DDR3或DDR4内存,语音识别芯片、声卡(语音输入输出芯片)、文字语音转化芯片、通信芯片(如Wifi,4G模块)等,这些芯片可以集成到一块主板上,也可以分别集成多款主板上。其中为了提高效率,处理器可以采用ASIC专用人工智能芯片。
需要说明的是,本发明学习终端、服务器、自我训练装置等采用的学习阶段和对话阶段的各种方法,可以通过软件的方式集成嵌入到学习终端、服务器、自我训练装置中。使用的,直接调用就可以。例如,学习阶段和人机对话阶段的方法可以集成到学习终端中,也可以集成到服务器中。或者分别集成到学习终端和服务器中,只要方法能够运行即可满足要求。
需要说明的是,本发明学习终端、服务器、自我训练装置可以集成到一起,例如,可以将这些功能都集中到学习终端中,只需要学习终端既可以满足所有的要求。也可以自我训练装置集成中服务器中,服务器设置在云端,学习终端需要用服务器,直接通过操作学习终端调用云端服务器。
需要说明的是,本发明的学习终端、服务器、自我训练装置的硬件组成是多种做样的,其硬件可以根据功能订制,如可以将处理器和图形处理器集成到一起,甚至多个功能的芯片也可以利用FPGA或者ASIC集成到一起,都能够实现本发明的功能。
具体地,需要说明的,本发明输出的学习内容和对话内容,其形式多种多样,既可以是文字、语音、图片、视频、手语、姿态等能够提供给用户进行学习的内容,但并不局限于这些内容。
本发明还提供了一种浸式语言学习方法,该学习既可以应用于本发明的学习系统也可以应用其它的语言学习系统,学习机器、设备,例如:手机、电脑、智能手表、PDA等可以用于学习的设备。
具体地,本发明提供一种浸式语言学习方法包括两个独立的阶段:学习阶段和对话阶段
学习阶段和对话阶段都能够单独成为一种学习方法,例如用户可以通过本发明的学习系统利用在学习阶段进行学习,学习达到一定水平后可以去找真人进行语言交流。
具体地,用户也可以通过报名参加培训学校后掌握一定的语言能力后通过与对话阶段与学习系统进行对话练习。
具体地,用户可以通过本发明的学习系统利用在学习阶段进行学习,当用户达到一定的语言能力后,用户立即与学习系统进行对话练习。这样非常方便,而不用费时、费力的去找真人进行对话或者报名参加培训学习。
具体地,一种浸式语言学习方法中的学习阶段至少包括以下步骤:
参见图1,图1是本发明提供的一种沉浸式语言学习方法中学习阶段的学习方法流程示意图。
步骤S101:接收到来自于学习终端的信息,对所接收到的信息进行识别并获取识别后的内容。具体地,学习终端将接收到的信息传送至识别模块,识别模块对所接收到的信息进行识别并获取识别后的内容提供解码模块进行解码;
步骤S102:获取所需解码的内容;
步骤S103:对需要进行解码的内容进行分析处理获得多个关键词。具体地,解码内容的分析处理通过解码模块来进行。
步骤S104:根据获得多个关键词与学习内容数据库进行匹配生成学习内容;
步骤S105:将学习内容传送给学习终端进行输出显示。
本发明提供的学习方法能够根据用户提供的信息及时将相关的学习内容传送给用户进行学习,如信息包括文字、语音、视频、手势、手语、姿态中的一种或它们之间的组合。因此如何根据用户信息寻找合适的关键词成为该学习方法的核心环节。
具体地,解码模块对信息进行分析处理获取关键词的步骤如下:
参见图2,步骤S103中解码模块对关键才进行解码至少包括以下步骤:
步骤S103a:获得的步骤S102中的所需解码的内容;
步骤S103b:将所需解码的内容中的特征词分别与第一词库名单和第二词库名单进行比较;
步骤S103c:将出现在第二词库名单中的特征词去除,保留出现在第一词库名单的特征词;
步骤103d:结合用户等级,然后从保留的特征词中选择与用户等级匹配的多个关键词;
所述第一词库名单和第二词库名单中的特征词至少包含有预先设计的词或词组或句子。
获取用户等级是非常关键的一个环节,每个人的学习起点都是不同的,因此系统需要学习的语言水平设定学习内容。获取用户等级,从而获得当前用户的学习水平是非常重要的。
步骤S104中,根据获得多个关键词与学习内容词数据库进行匹配生成学习内容,该过程将所获得的关键词在学习内容数据库中进行检索,找出符合当前用户的学习内容并结合用户等级,输出符合用户的学习内容提供给用户进行学习。需要说明的是,符合内容可以有多个,系统对不用的语言水平定义多个等级,例如分为1至9级用户,1级为初学者,10级为精通者,参见表1。在学习内容数据库中,将其涉存储的词、词组、短语、句子、听力片段等都进行分数设定,可以根据单词的字母个数、发音的难易、日常使用频率等进行分数评估,即定义难度等级,参见表1。例如:假设定义分数为1至100分,分为10分为一个等级,则分为10级,a:2分,an:2分,recommendations:50分,然后定义用户等级与学习内容数据中的单词分数相匹配。即1级的用户学习内容的60~80%的内容的分数要低于10分。为此,要求当前用户学习的难度等级与当前的用户等级的学习内容匹配度为60~80%,其余学习内容的难度等级与当前用户等级相差在二级以内。如:用户等级为5级的用户,其学习内容的60~80%与难度等级处于40~50分之内,其余学习内容的难度等级处于可以为20~30,30~40,50~60,60~70。这样定义学习内容,能够提供学生学习的积极性,增强学生的学习信心,提高学习效率,能够使学生短期内达到事半功倍的效果。
表1用户等级与难度等级匹配关系图
用户等级 1 2 3 4 5 6 7 8 9 10
难度等级 0~10 10~20 20~30 30~40 40~50 50~60 60~70 70~80 80~90 90~100
具体地,本发明的提供的学习方法能够自动获取或者用户选择获取自己目前的用户等级,用户等级与用户的实际语言水平挂钩。因此,需要考虑用户的年龄、国籍、性别、兴趣爱好、语言水平,设定用户的真是水平,根据用户的真实水平进行测试、学习。为此设计了用户等级的获取方法,用户等级的获取方法参见图3。
步骤S301:获取用户的初始背景信息。用户拿到学习机器,首先填写一个初始的用户信息,如年龄、国籍、性别、学历、专业、语言熟练程度等,系统会根据用户填写的相关信息,预估用户的需要进行测试的学习内容。
步骤S302:根据用户的初始背景信息对用户进行初始测试。依据背景信息,系统评测模块会从学习数据库中获取学习内容,组成多套测试题目,对用户进行测试。
步骤S303:根据用户的测试结果获得初始用户等级。对用户的测试结果的分数进行评估,获取用户的初始用户等级。
步骤S304:用户经过学习阶段进行自我学习。系统获知用户的初始等级后,用户的学习内容会根据用户的初始内容进行获取提供用户学习,保证难度适中,提升用户的兴趣,提高学习效率。
步骤S305:对用户进行阶段测试。当用户经过一段时间的学习后,如学习时间为3~5小时后,可以根据设定,系统评测模块会自动对用户进行测试,即根据用户学习阶段的内容,系统评测模块会从学习内容数据库中获取多套题目提供给用户进行测试。或者用户也可以同学学习评测模块(105)主动选择进行测试。
步骤S306:根据用户的阶段测试结果获得用户等级。当用户经过学习阶段进行学习后,根据用户的阶段测试结果,系统会根据用户的分数给予用户一定的评级,从而获取当前的用户等级。
步骤S307:判断用户是否继续学习,若继续学习,则执行步骤S304;若用户放弃学习,将当前用户等级保存,结束学习。
具体地,用户经过学习阶段的学习后,还可以与学习系统进行对话。
具体地,参见图4,一种沉浸式语言学习方法,包括对话阶段,对话阶段至少包括以下步骤:
步骤S201:接收到来自学习终端的信息。具体地,学习终端接收到来自用户的信息,然后学习终端在将信息传送给识别模块。此处,接收到来自学习终端信息的是识别模块。
步骤S202:对接收到的信息进行识别获取识别结果。具体地,对接收到学习终端的信息进行识别是通过识别模块进行,其至少包括语音识别、图像识别、手语识别、视频识别等,通过识别模块进行识别获取识别结果。
步骤S203:对识别结果进行语义分析处理获得对话内容。具体地,语义分析处理是通过语义分析模块进行的。
步骤S204:将对话内容传输给学习终端进行输出显示。
在人机对话阶段,语义分析模块成为该系统最为关键的问题,语义分析模块需要根据获得识别结果,经过综合分析最终获取能够与用户进行对话的内容,为此,本实施例设计了在步骤S203设计两种不同的分析方法:
第一种分析方法如下,参见图5:
所述步骤S203中语义分析模块对识别结果进行分析处理至少包括:
步骤S203a:获取步骤S202中的识别结果;
步骤S203b:通过自然语言理解处理识别结果判断用户的领域识别、意图识别和语义分析并提取关键词或词组或句子;
自然语言理解分解为3个子任务:其一是领域识别,判定用户谈论的是什么领域的事情;其二是意图识别,识别用户话语的目的,比如是告知某个信息,还是确认某个信息;其三是语义分析,又称为槽填充,旨在标识用户话语中与目标有关的语义类别,比如预订机票时需要的出发地、目的地、时间等语义类别。
步骤S203c:将关键词或词组或句子与对话数据库进行匹配,判断是否有匹配的内容,若有匹配的内容,则执行步骤S203d、步骤S203e,若无匹配的内容,则执行步骤S203f至步骤S203h;
步骤S203d:找出匹配的符合条件的多个候选对话词或词组或者句子或者其它内容。例如:根据获得关键词或词组或句子等在对话数据库中搜索与其相关的内容,按照相关性,从大到小进行排序,输出多个候选结果。
步骤S203e:依据当前的用户等级输出与用户等级相符合的词句或者短语或者词组;
需要说明的是,符合内容可以有多个,系统对不用的语言水平定义多个等级,例如分为1至9级用户,1级为初学者,9级为精通者,参见表1。在对话数据库中,将其涉存储的词、词组、短语、句子、听力片段等都进行分数设定,可以根据单词的字母个数、发音的难易、日常使用频率等进行分数评估,即定义难度等级,参见表1。例如:假设定义分数为1至100分,分为10分为一个等级,则分为9级,a:2分,an:2分,recommendations:50分,然后定义用户等级与对话数据中的单词分数相匹配,用户等级与难度等级与表1定义相同,输出用户等级与难度等级相同符合的候选结果,如可以输出相关性最大的候选结果,其余候选结果提供给用户当做备选学习。例如:
用户:How are you?
学习系统输出:Fine,thank you.
备选结果:I'm fine,too!/“pretty good!/It couldn't be better等。
步骤S203f:将关键词或词组或句子通过服务器接入互联网进行大范围搜索,从而筛选出符合条件的多个候选结果。例如:系统可以通过谷歌、百度、360搜索或者各大公司提供的数据库,如Cnki、Web of sience等,通过搜索获取多个候选结果。
步骤S203g:文本聚类及摘要抽取并获得对话内容;
对于自我对话返回的答案集,本文采用词向量模型来实现文本的聚类,根据句子之间的相似度将答案聚类为两类,然后选取与当前对话最接近的一类作为摘要抽取的数据集,采用TextRank算法进行关键信息抽取。其算法如下公式:
其中,Vj表示第j个句子,W(vj)表示第j句的权重,In(vi)是指存在指向第i句信息的句子集合,
Out(vj)是第j句所指向的句子集合。求和的分母S(i,j)表示两个句子的相似程度,d是阻尼系数,整个公式是一个迭代的过程。通过多次的迭代计算,所有句子的权值会收敛到一个稳定的值,最后将权值最高的,即最重要的句子作为抽取的结果,当作答案进行反馈。
其中,计算句子的相似程度方法如下,
在人机对话过程中,人在表达自己的观点或者对计算机进行交流时,往往是针对对话历史中的某个问题进行的,然而当前对话对应的问题也许在上一轮对话中,也许在更靠前的对话历史中,计算机并不知道对应的问题,因此需要根据历史对话,选取与当前对话最接近的问题。在研究中发现,对话过程中,当前对话往往与其更接近的历史对话相关度更高,所以当前对话与历史对话之间的距离是一个很重要的因素;另一方面,问题与交流内容往往在具有相似的话题,两者之间的句子相似度也是关键;
S(xi,xt)表示第i条历史与当前对话之间的句子相似度,其计算方法如公式(2)。
在计算相似度时,本文采用句子向量空间的余弦距离来表示。其中,x,y表示句子x和句子y的向量序列,由句子x,y分词后的词向量组成。根据根据ρ=Max(ρi)获得当前对话最匹配的问句。
具体地,还可以采用距离法等其它能够计算句子相关的方法计算相关度,本实施例采用的方法不会成为限定本发明的保护范围。
步骤S203h:依据当前的用户等级输出与用户等级相符合的对话内容并将对话内容存入对话数据库中进行更新对话数据库。
用户等级与难度等级匹配的方法参见表1
具体地,本实施例在步骤S203还设计了另外一种的分析方法:
第二种分析方法如下:
所述步骤S203中语义分析模块对识别结果进行分析处理至少包括:
步骤S401:获取步骤S202中的识别结果;
步骤S402:通过自然语言理解处理识别结果判断用户的领域识别、意图识别和语义分析并提取关键词或词组或句子;
自然语言理解分解为3个子任务:其一是领域识别,判定用户谈论的是什么领域的事情;其二是意图识别,识别用户话语的目的,比如是告知某个信息,还是确认某个信息;其三是语义分析,又称为槽填充,旨在标识用户话语中与目标有关的语义类别,比如预订机票时需要的出发地、目的地、时间等语义类别。
步骤S403:数据句法模型分析获得多个候选句子;
具体地,数据句法模型(Data-Oriented Parsing)可以分为以下步骤:
(1)建立包括以往成功分析的语言经验的标注语料库;
(2)从语料库中抽取片段单元来构造新语言的分析过程;
(3)计算分析过程的概率.Data-Oriented Parsing模型建立在包含大量语言现象的语料库基础上,把经过标注的语料库看作一个语法(grammar)。
当输入一个新的现象时,系统通过对语料库中片段单元的组合操作来组合分析过程.根据所有片段单元的共现频率来评估最有可能性的分析结果.这个模型预设了一个具有带标短语结构树标注的语料库,然后从这个语料库中抽取所有任意大小规模和任意复杂结构的子树;通过对语料库中子树的组合操作来实现新输入的分析,然后考虑输入的所有派生结果的概率总和的大小来选择最有可能性的分析结果.对话语句经过Data-OrientedParsing模型分析之后,可过滤不符合汉语语义的句子.在得到的候选语句集合基础上,将使用用户当前情绪的分析结果对生成的语句进行简单处理.
步骤S404:将多个候选句子按照概率进行排序;
步骤S405:依据当前的用户等级输出与用户等级相符合的对话内容并将对话内容存入对话数据库中进行更新对话数据库。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,而并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方案或变更,如特征的组合、分割或重复,均应包含在本发明的保护范围之内。

Claims (23)

1.一种沉浸式语言学习方法,其特征在于,至少包括学习阶段,所述学习阶段至少包括以下步骤:
步骤S102:获取所需解码的内容;
步骤S103:对需要进行解码的内容进行分析处理获得多个关键词;
所述步骤S103中对解码内容的分析处理至少包括以下步骤:
步骤S103a:获取步骤S102中的所需解码的内容;
步骤S103b:将所需解码的内容中的特征词分别与第一词库名单和第二词库名单进行比较;
步骤S103c:将出现在第二词库名单中的特征词去除,保留出现在第一词库名单的特征词;
步骤103d:结合用户等级,然后从保留的特征词中选择与用户等级匹配的多个关键词;
所述第一词库名单和第二词库名单中的特征词至少包含有预先设计的词或词组或句子。
2.根据权利要求1所述一种沉浸式语言学习方法,其特征在于,所述学习阶段在步骤S102之前包括:
步骤S101:接收到来自于学习终端的信息,然后对所接收到的信息进行识别并获取识别后的内容;
所述学习阶段在步骤S103之后包括:
步骤S104:根据获得多个关键词与学习内容数据库进行匹配生成学习内容;
步骤S105:将学习内容传送给学习终端进行输出显示。
3.根据权利要求2所述一种沉浸式语言学习方法,其特征在于,所述步骤S101的信息至少包括文字、语音、视频、手势、手语、姿态中的一种或它们之间的组合。
4.根据权利要求1所述一种沉浸式语言学习方法,其特征在于,所述步骤S103d中的用户等级的获取方法至少包括:
步骤S301:获取用户的初始背景信息;
步骤S302:根据用户的初始背景信息对用户进行初始测试;
步骤S303:根据用户的测试结果获得初始用户等级;
步骤S304:用户经过学习阶段进行自我学习;
步骤S305:对用户进行阶段测试;
步骤S306:根据用户的阶段测试结果获得用户等级;
步骤S307:判断用户是否继续学习,若继续学习,则执行步骤S304;若用户放弃学习,将用户等级保存,结束学习。
5.一种沉浸式语言学习方法,其特征在于,至少包括对话阶段,对话阶段至少包括以下步骤:
步骤S201:接收到来自学习终端的信息;
步骤S202:对接收到的信息进行识别获取识别结果;
步骤S203:对识别结果进行语义分析处理获得对话内容;
步骤S204:将对话内容传输给学习终端进行输出显示。
6.根据权利要求5所述一种沉浸式语言学习方法,其特征在于,所述步骤S201的信息至少包括文字、语音、视频、手势、手语、姿态中的一种或它们之间的组合。
7.根据权利要求5所述一种沉浸式语言学习方法,其特征在于,所述步骤S203中语义分析处理至少包括:
步骤S203a:获取步骤S202中的识别结果;
步骤S203b:通过自然语言理解处理识别结果判断用户的领域识别、意图识别和语义分析并提取关键词或词组或句子;
步骤S203c:将关键词或词组或句子与对话数据库进行匹配,判断是否有匹配的内容,若有匹配的内容,则执行步骤S203d、步骤S203e,若无匹配的内容,则执行步骤S203f至步骤S203h;
步骤S203d:找出匹配的符合条件的多个候选对话词或词组或者句子;
步骤S203e:依据当前的用户等级输出与用户等级相符合的词句或者短语或者词组;
步骤S203f:将关键词或词组或句子通过服务器接入互联网进行大范围搜索,从而筛选出符合条件的多个候选结果;
步骤S203g:文本聚类及摘要抽取并获得对话内容;
步骤S203h:依据当前的用户等级输出与用户等级相符合的对话内容并将对话内容存入对话数据库中进行更新对话数据库。
8.根据权利要求5所述一种沉浸式语言学习方法,其特征在于,所述步骤S203中语义分析处理至少包括:
步骤S401:获取步骤S202中的识别结果;
步骤S402:通过自然语言理解处理识别结果判断用户的领域识别、意图识别和语义分析并提取关键词或词组或句子;
步骤S403:数据句法模型分析获得多个候选句子;
步骤S404:将多个候选句子按照概率进行排序;
步骤S405:依据当前的用户等级输出与用户等级相符合的对话内容并将对话内容存入对话数据库中进行更新对话数据库。
9.一种沉浸式语言学习方法,其特征在于,至少包括学习阶段和对话阶段;
所述学习阶段至少包括:
步骤S101:接收到来自于学习终端的信息,对所接收到的信息进行识别并获取识别后的内容;
步骤S102:获取所需解码的内容;
步骤S103:对需要进行解码的内容进行分析处理获得多个关键词;
步骤S104:根据获得多个关键词与学习内容数据库进行匹配生成学习内容;
步骤S105:将学习内容传送给学习终端进行输出显示;
所述步骤S103中对解码内容的分析处理至少包括以下步骤:
步骤S103a:获得的步骤S102中的所需解码的内容;
步骤S103b:将所需解码的内容中的特征词分别与第一词库名单和第二词库名单进行比较;
步骤S103c:将出现在第二词库名单中的特征词去除,保留出现在第一词库名单的特征词;
步骤103d:结合用户等级,然后从保留的特征词中选择与用户等级匹配的多个关键词;
所述第一词库名单和第二词库名单中的特征词至少包含有预先设计的词或词组或句子。
所述对话阶段至少包括:
步骤S201:接收到来自学习终端的信息;
步骤S202:对接收到的信息进行识别获取识别结果;
步骤S203:对识别结果进行语义分析处理获得对话内容;
步骤S204:将对话内容传输给学习终端进行输出显示。
10.根据权利要求9所述一种沉浸式语言学习方法,其特征在于,所述步骤S101或步骤S201的信息至少包括文字、语音、视频、手势、手语、姿态中的一种或它们之间的组合。
11.根据权利要求9所述一种沉浸式语言学习方法,其特征在于,所述步骤S103d中的用户等级的获取方法至少包括:
步骤S301:获取用户的初始背景信息;
步骤S302:根据用户的初始背景信息对用户进行初始测试;
步骤S303:根据用户的测试结果获得初始用户等级;
步骤S304:用户经过学习阶段进行自我学习;
步骤S305:对用户进行阶段测试;
步骤S306:根据用户的阶段测试结果获得用户等级;
步骤S307:判断用户是否继续学习,若继续学习,则执行步骤S304;若用户放弃学习,将用户等级保存,结束学习。
12.根据权利要求9所述一种沉浸式语言学习方法,其特征在于,所述步骤S203中语义分析模块对识别结果进行分析处理至少包括:
步骤S203a:获取步骤S202中的识别结果;
步骤S203b:通过自然语言理解处理识别结果判断用户的领域识别、意图识别和语义分析并提取关键词或词组或句子;
步骤S203c:将关键词或词组或句子与对话数据库进行匹配,判断是否有匹配的内容,若有匹配的内容,则执行步骤S203d、步骤S203e,若无匹配的内容,则执行步骤S203f至步骤S203h;
步骤S203d:找出匹配的符合条件的多个候选对话词或词组或者句子;
步骤S203e:依据当前的用户等级输出与用户等级相符合的词句或者短语或者词组;
步骤S203f:将关键词或词组或句子通过服务器接入互联网进行大范围搜索,从而筛选出符合条件的多个候选结果;
步骤S203g:文本聚类及摘要抽取并获得对话内容;
步骤S203h:依据当前的用户等级输出与用户等级相符合的对话内容并将对话内容存入对话数据库中进行更新对话数据库。
13.根据权利要求9所述一种沉浸式语言学习方法,其特征在于,所述步骤S203中语义分析模块对识别结果进行分析处理至少包括:
步骤S401:获取步骤S202中的识别结果;
步骤S402:通过自然语言理解处理识别结果判断用户的领域识别、意图识别和语义分析并提取关键词或词组或句子;
步骤S403:数据句法模型分析获得多个候选句子;
步骤S404:将多个候选句子按照概率进行排序;
步骤S405:依据当前的用户等级输出与用户等级相符合的对话内容并将对话内容存入对话数据库中进行更新对话数据库。
14.根据权利要求9所述一种沉浸式语言学习方法,其特征在于,所述步骤S104中,匹配要求当前用户学习的难度等级与当前的用户等级的学习内容匹配度为60~80%,其余学习内容的难度等级与当前用户等级相差在二级以内。
15.一种沉浸式语言学习系统,其特征在于,至少包括学习终端(1)和服务器(2);所述学习终端(1)至少包括:
显示模块(101),用于对输入与输出的内容进行显示;通信模块(102),用于对学习终端内部模块之间的通信或学习终端与外部通信;摄像模块(103),用于对物体进行拍照或者摄像或人脸识别;语音模块(104),用于对语音的输入或者语音的输出;所述通信模块(102)与显示模块(101)、摄像模块(103)、语音模块(104)电连接;
所述服务器(2)至少包括:通信模块(202),用于对服务器内部模块之间的通信或服务器与外部通信;数据存储模块(203),用于对服务器(2)模块之间产生的信息进行存储或接收到的外部信息进行存储;识别模块(204),用于对接收到的信息进行识别;解码模块(205),用于对识别模块(204)经过识别后获得的内容进行解码;用户等级模块(206),用于获取用户等级;匹配模块(207),用于对解码模块经过解码后获得的内容与数据存储模块中内容进行匹配并获得匹配结果;语义分析模块(208),用于对解码模块经过解码后获得的内容进行分析处理;
所述通信模块(202)与数据存储模块(203)、识别模块(204)、解码模块(205)、用户等级模块(206)、匹配模块(207)、语义分析模块(208)电连接。
16.根据权利要求15所述一种沉浸式语言学习系统,其特征在于,所述学习终端(1)还包括学习模式选择模块(105),学习模式选择模块(105)至少包括对话模块105a、训练模式(105b)、测试模式(105c)。
17.根据权利要求15所述一种沉浸式语言学习系统,其特征在于,所述数据存储器模块(203)至少包括临时数据库(203a)、对话数据库(203b)、关键词数据库(203c)、图片数据库(203d)、学习内容数据库(203e)中的一种;
临时数据库(203a),用于存储服务器(2)各模块处理过程中产生的临时信息;
对话数据库(203b),用于存储与对话数据有关的内容;
关键词数据库(203c),用于存储产生的关键词、预设的关键词、第一词库名单、第二词库名单;
图片数据库(203d),用于存储各种图片,包括关键词对应的图片,用户拍照产生的图片、网络获取的图片;
学习内容数据库(203e),用于存储用户学习内容。
18.根据权利要求15所述一种沉浸式语言学习系统,其特征在于,所述识别模块(204)至少包括图像识别(204a)、语音识别(204b)、视频识别(204c)、手语识别(204d)中的一种;
图像识别(204a),用于对接收到的图片数据进行识别;
语音识别(204b),用于对接收到的语音数据进行识别;
视频识别(204c),用于对接收到的视频数据进行识别;
手语识别(204d),用于对接收到的手语数据进行识别。
19.根据权利要求15所述一种沉浸式语言学习系统,其特征在于,所述服务器(2)还包括系统评测模块(209),系统评测模块(209)分别与数据存储模块(203)和用户等级模块(206)电连接;
系统评测模块(209)用于用户经过一段时间的学习后,对用户的语言学习水平进行测试。
20.根据权利要求15所述一种沉浸式语言学习系统,其特征在于,所述服务器(2)可设置于学习终端内或服务器(2)独立于学习终端;所述服务器(2)为本地服务器或云端服务器。
21.根据权利要求15所述一种沉浸式语言学习系统,其特征在于,还包括机器自我训练装置(3),机器自我训练装置(3)至少包括通信模块(301)、临时训练数据库(302)、深度学习训练分类模块(303),通信模块(301)与临时训练数据库(302)和深度学习训练分类模块(303)进行电直接连接或者间接电连接;通信模块(301)还与通信模块(202)、通信模块(102)进行电连接;
深度学习训练分类模块(303)包括学习教程(304)、词汇(305)、对话预料(306)并依据学习教程(304)、词汇(305)、对话预料(306)进行自我训练并将训练获得的结果存储器到服务器(2)中的数据存储模块。
22.根据权利要求15所述一种沉浸式语言学习系统,其特征在于,所述信息包括文字、语音、视频、手势、手语、姿态中的一种或它们之间的组合。
23.根据权利要求14至22所述的一种沉浸式语言学习系统的学习方法,其特征在于,至少包括学习阶段和对话阶段;
所述学习阶段至少包括:
步骤S101:接收到来自于学习终端的信息,对所接收到的信息进行识别并获取识别后的内容;
步骤S102:获取所需解码的内容;
步骤S103:对需要进行解码的内容进行分析处理获得多个关键词;
步骤S104:根据获得多个关键词与学习内容数据库进行匹配生成学习内容;
步骤S105:将学习内容传送给学习终端进行输出显示;
所述步骤S103中对解码内容的分析处理至少包括以下步骤:
步骤S103a:获得的步骤S102中的所需解码的内容;
步骤S103b:将所需解码的内容中的特征词分别与第一词库名单和第二词库名单进行比较;
步骤S103c:将出现在第二词库名单中的特征词去除,保留出现在第一词库名单的特征词;
步骤103d:结合用户等级,然后从保留的特征词中选择与用户等级匹配的多个关键词;
所述第一词库名单和第二词库名单中的特征词至少包含有预先设计的词或词组或句子。
所述对话阶段至少包括:
步骤S201:接收到来自学习终端的信息;
步骤S202:对接收到的信息进行识别获取识别结果;
步骤S203:对识别结果进行语义分析处理获得对话内容;
步骤S204:将对话内容传输给学习终端进行输出显示。
CN201810866646.6A 2018-08-01 2018-08-01 一种沉浸式语言学习系统及其学习方法 Withdrawn CN110853422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810866646.6A CN110853422A (zh) 2018-08-01 2018-08-01 一种沉浸式语言学习系统及其学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810866646.6A CN110853422A (zh) 2018-08-01 2018-08-01 一种沉浸式语言学习系统及其学习方法

Publications (1)

Publication Number Publication Date
CN110853422A true CN110853422A (zh) 2020-02-28

Family

ID=69594888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866646.6A Withdrawn CN110853422A (zh) 2018-08-01 2018-08-01 一种沉浸式语言学习系统及其学习方法

Country Status (1)

Country Link
CN (1) CN110853422A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001930A (zh) * 2020-07-17 2020-11-27 完美世界控股集团有限公司 图片资产处理方法及装置、存储介质、电子装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001930A (zh) * 2020-07-17 2020-11-27 完美世界控股集团有限公司 图片资产处理方法及装置、存储介质、电子装置
CN112001930B (zh) * 2020-07-17 2021-05-11 完美世界控股集团有限公司 图片资产处理方法及装置、存储介质、电子装置

Similar Documents

Publication Publication Date Title
US10720078B2 (en) Systems and methods for extracting keywords in language learning
KR20180105693A (ko) 디지털 미디어 컨텐츠 추출 및 자연어 프로세싱 시스템
US7860705B2 (en) Methods and apparatus for context adaptation of speech-to-speech translation systems
CN106796594B (zh) 从句子生成高级别问题
KR20170034227A (ko) 음성 인식 장치 및 방법과, 음성 인식을 위한 변환 파라미터 학습 장치 및 방법
KR20130128716A (ko) 어학 학습 시스템 및 학습 방법
KR101255957B1 (ko) 개체명 태깅 방법 및 장치
CN110569364A (zh) 在线教学方法、装置、服务器及存储介质
KR20190059185A (ko) 청각 장애 학생들을 위한 전문 자료 텍스트 분석 기반 음성인식 기술 정확도 향상 방법 및 시스템
CN110853422A (zh) 一种沉浸式语言学习系统及其学习方法
KR20160106363A (ko) 스마트 강의 시스템 및 방법
WO2021218028A1 (zh) 基于人工智能的面试内容精炼方法、装置、设备及介质
CN110796911A (zh) 一种自动产生测试题目的语言学习系统及其语言学习方法
CN112487139A (zh) 基于文本的自动出题方法、装置及计算机设备
CN101739852A (zh) 基于语音识别的实现自动口译训练的方法和装置
KR102098377B1 (ko) 퍼즐 게임으로 어순을 학습하는 외국어 학습 서비스 제공 방법
CN110852073A (zh) 一种为用户定制学习内容的语言学习系统及学习方法
Kamal et al. Towards Kurdish text to sign translation
CN109949799B (zh) 一种语义解析方法及系统
KR102277362B1 (ko) 제2언어로서의 한국어 습득을 위한 언어 학습 서비스 제공 시스템
Melchor et al. Speech to Mexican Sign Language for Learning with an Avatar
Elsheikh et al. Mada Tawasol Symbols & Mobile App
CN110059231B (zh) 一种回复内容的生成方法及装置
CN106781781A (zh) 一种语言类习题的解题方法及装置
Nagai et al. Sentence classification with grammatical errors and those out of scope of grammar assumption for dialogue-based CALL systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200731

Address after: 518000 building B9, building m-2, building 2, manqueling Industrial Zone, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Yuanyi Information Technology Co., Ltd

Address before: 518000 Room 301, building 12, Shenzhen Software Park (phase 2), No. 1, Keji Middle Road, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shixue (Shenzhen) Technology Co.,Ltd.

TA01 Transfer of patent application right
WW01 Invention patent application withdrawn after publication

Application publication date: 20200228

WW01 Invention patent application withdrawn after publication