基于机器学习的智能语言学习方法、系统、装置及介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于机器学习的智能语言学习方法、系统、装置及介质。
背景技术
人工智能已经变革和赋能到很多的领域,但是,目前尚未有一款真正针对语言学习的智能化学习系统,特别是真正能辅助学习者提高语言听、说能力的便携式语音交互系统。目前,智能语言学习方面,智能音箱主要偏重在日常资讯及内容层面的交互、智能问答、行动指令及相关的智能设备控制;另外一些针对儿童或者专业领域人员(例如:医生)的学习系统也还是采用较为传统的技术方案来做益智和专业教学相关的查阅、问答使用,运用海量的本地内置的知识库或者基于云端的动态增量库来进行基于内容的交互。无论是智能音箱还是学习系统等现有的语音交互系统,均不能通过AI的智能化自然语言理解来帮助学习者进行智能化、不受时间和地域因素影响限制的语言学习,对学习者语言的学习有所限制,难以实现真正地智能化语言学习。
发明内容
本发明提供一种智能语言学习方法、系统、装置及介质,以解决现有技术不能通过AI的智能化自然语言理解来帮助学习者进行智能化、不受时间和地域因素影响限制的语言学习的问题。
为了实现上述目的,本发明的第一个方面是提供一种基于机器学习的智能语言学习方法,应用于电子装置,包括:
获取学习者的目标语音;通过经过训练得到的语义理解模型对所述目标语音进行语义和语法理解;通过经过训练得到的深度学习算法模型对语义和语法理解的结果进行错误纠正,其中,所述深度学习算法模型利用学习经验标注数据集进行训练,所述学习经验标注数据集包括语义和语法理解后的多轮回答样本数据集,以及语义语法错误反馈样本数据集;输出错误纠正的结果。
优选地,所述语义理解模型为基于自然语言处理的语义理解模型。
优选地,所述方法还包括:构建数据集;
利用构建的数据集,通过循环神经网络对所述语义理解模型进行训练;
其中,所述构建数据集的步骤,包括:收集目标语言元素,并对所述目标语言元素进行预处理,利用经过预处理的目标语言元素构建数据集。
优选地,所述方法还包括:建立损失模型,所述损失模型根据实际计算输出与标注的结果进行损失度评估;通过所述损失模型得到损失值;基于最小的损失值对所述深度学习算法模型进行训练,并以损失曲线无限逼近0%为训练的迭代停止条件。
优选地,对语义和语法理解的结果进行错误纠正,包括以下步骤:开启发音模式,将学习者的发音与标准发音进行比对,根据比对结果,对学习者进行提醒。
优选地,所述方法还包括:对所述深度学习算法模型中的迭代参数进行自适应调整,所述迭代参数为所述深度学习算法模型中的偏置量。
优选地,获取学习者的目标语音的步骤之前,所述方法还包括:获取学习者的输入信息,所述输入信息包括学习者的年龄、学历、语言水平等级和学习目标中的一种或多种;根据学习者的输入信息确定学习路径。
本发明的第二个方面是提供一种基于机器学习的智能语言学习系统,包括:语音获取模块、语义理解模块、纠错模块以及输出模块,其中,通过所述语音获取模块获取学习者的目标语音之后,通过语义理解模块中的经过训练得到的语义理解模型对获取的目标语音进行语义和语法理解,通过纠错模块中的经过训练得到的深度学习算法模型对语义和语法理解的结果进行错误纠正,通过输出模块将错误纠正的结果输出,其中,所述深度学习算法模型利用学习经验标注数据集进行训练,所述学习经验标注数据集包括语义和语法理解后的多轮回答样本数据集,以及语义语法错误反馈样本数据集。
为了实现上述目的,本发明的第三个方面是提供一种电子装置,该电子装置包括:处理器,存储器,所述存储器中包括基于机器学习的智能语言学习程序,所述智能语言学习程序被所述处理器执行时实现以下的智能语言学习方法的步骤:
获取学习者的目标语音;通过经过训练得到的语义理解模型对所述目标语音进行语义和语法理解;通过经过训练得到的深度学习算法模型对语义和语法理解的结果进行错误纠正,其中,所述深度学习算法模型利用学习经验标注数据集进行训练,所述学习经验标注数据集包括语义和语法理解后的多轮回答样本数据集,以及语义语法错误反馈样本数据集;输出错误纠正的结果。
为了实现上述目的,本发明的第四个方面是提供一种计算机可读存储介质,所述计算机可读存储介质中包括智能语言学习程序,所述智能语言学习程序被处理器执行时,实现如上所述的智能语言学习方法的步骤。
相对于现有技术,本发明具有以下优点和有益效果:
本发明通过训练得到的语义理解模型以及深度学习算法模型分别对目标语音进行语义理解和错误纠正,实现智能化语言学习,有利于学习者进行语言听说能力的日常训练和提高。
本发明可以基于不同学习者进行个性化自适应调整,以满足每个学习者的学习目的,更加精准地辅助学习。
本发明可以实现学习者不受时间和地域因素的限制来学习语言,更加便利。
附图说明
图1为本发明所述基于机器学习的智能语言学习方法的流程示意图;
图2为本发明中基于机器学习的智能语言学习系统的装置示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可以认识到,在不偏离本发明的精神和范围的情况下,可以用各种不同的方式或其组合对所描述的实施例进行修正。因此,附图和描述在本质上是说明性的,仅仅用以解释本发明,而不是用于限制权利要求的保护范围。此外,在本说明书中,附图未按比例画出,并且相同的附图标记表示相同的部分。
图1为本发明所述基于机器学习的智能语言学习方法的流程示意图,如图1所示,本发明所述智能语言学习方法,包括以下步骤:
步骤S1,获取学习者的目标语音,其中,目标语音可以任何一门语言,例如,英语、日语、韩语等;
步骤S2,通过经过训练得到的语义理解模型对所述目标语音进行语义和语法理解;
步骤S3,通过经过训练得到的深度学习算法模型对语义和语法理解的结果进行错误纠正,包括对发音、语法、时态、句型等语法层面的反馈以及语义层面的纠正和内容交互,其中,所述深度学习算法模型利用学习经验标注数据集进行训练,所述学习经验标注数据集包括语义和语法理解后的多轮回答样本数据集,以及语义语法错误反馈样本数据集;
步骤S4,输出错误纠正的结果,例如,输出的结果可以是获取的学习者的目标语音是否有误,若有误,具体包括发音、语法、时态等哪些方面的错误;并且,当学习者的目标语音是问句时,还可以根据目标语音的内容进行回答,实现内容交互,并将回复的语音作为结果进行输出。学习者可以根据输出的错误纠正的结果进行学习,以便于纠正在语言学习过程中出现的错误,并可随时随地进行语音交互,实现智能语言学习。
本发明可以实现学习者不受时间和地域因素的限制进行目标语言的学习,实现语言学习的智能化,帮助训练和提高学习者的语言听说能力。
本发明的一个可选的实施例中,所述语义理解模型为基于自然语言处理的语义理解模型,可以正确理解语义并可以对提问问题做出正确回答。
进一步地,所述智能语言学习方法还包括:对语义理解模型的训练步骤。具体地,包括:构建数据集,包括:收集目标语言元素,并对目标语言元素进行预处理,利用经过预处理的目标语言元素构建数据集,其中,目标语言元素包括单词、短语、语法、时态、句子等,所述预处理包括:对目标语言元素进行抽出-转换-加载(Extract-Transform-Load,ETL)等处理;利用构建的数据集,通过循环神经网络(Recurrent Neural Network,RNN)对所述语义理解模型进行训练,经过训练的语义理解模型可以精准地对目标语言进行语义和语法理解。
可选的,对语义和语法理解的结果进行错误纠正之后,所述智能语言学习方法还包括:对学习者的目标语音进行反馈,以完成交互问答,帮助学习者在纠正语法的基础上进行语义(内容及资讯)的回答,增强用户体验。
标注是算法模型训练过程中的关键步骤,高质量的数据和精确标注是提高模型训练准确度的重要基础。标注的具体操作是指在输入样本的时候,参考一定的标准或专家系统,对应给出相应输入所期望的输出结果,也就是对于用于训练的数据集的目标输出结果。可选的,所述学习经验标注数据集中,对数据的标注为将语言学习中在学习过程中的一些语法错误、时态错误、短语错误等常犯错误进行标明。目标学习语言为英语时,多轮回答样本数据集和语义语法错误反馈样本数据集都可以由英语方面的专家来进行标注和整理输出,就像英语老师在教学中纠正学生的英语学习过程中的语义和语法一样。
需要说明的是,标注的所有数据均必须按照一定的格式进行量化和记录,将输入样本数据(提出的问题,包括提问的内容和语法是否有错误以及多无的具体位置)和输出样本数据(对问题的回答,包括回答的内容和语法纠正结果)共同构建形成学习经验标注数据集,对模型进行迭代训练。
以利用所述智能语言学习方法来学习英语为例,对模型训练使用的标注数据集进行举例说明,语义语法理解后的多轮回答样本数据集,比如:
Q:How’s the weather today?
A:It’s a sunny day and Temperature is 10-16 degrees.
Q:Are there any good movies recently?
A:Avenger Alliance 4 is great.
语义语法(发音、语法、时态、句型等)错误反馈样本数据集,比如:
1.介词用法:
错误:Let’s begin from page 10.
正确:Let’s begin at page 10.
2.动词错误:
错误:This is where you mistake.
正确:This is where you are mistake.
3.时态错误:
错误:I have written a letter last night.
正确:I wrote a letter last night.
本发明的一个可选实施例中,深度学习算法模型为基于tensorflow框架中的RNN深度学习模型,利用已经标注好的学习经验标注数据集进行训练。
本发明的一个可选实施例中,深度学习算法模型以基于多维特征值的相似度综合加权评估结果,其中,多维特征值主要表征学习者的语言学习条件特征:专业领域、级别目标、常用词量、当前基础等。优选地,智能语言学习方法还包括:建立损失模型,所述损失模型根据实际计算输出与标注的结果进行损失度评估,通过所述损失模型得到损失值,基于最小的损失值(梯度下降法)对深度学习算法模型训练,以最小的损失值作为训练模型输出最优的标准。模型停止迭代的条件可以基于运算的复杂度(GPU算力、计算时间)与数据样本(数据量、质量)来进行人工调优和迭代,优选以损失曲线无限逼近0%为训练的迭代停止条件。
深度学习算法模型以Tensorflow机器学习框架为基础进行系统建模,设计数据流图(Dataflow Graph),构建计算图进行所有相关业务流的连接,包括:数据的加载、模型训练数据集的学习以及迭代损失模型的条件设定等。模型自适应迭代可以使用Adam、Adagrad等自适应算法,实现学习率的自适应调整,从而保证准确率的同时加快收敛速度。
其中,数据流图即是把整个训练的过程构建成一套系统化的pipeline,可以把数据的加载、模型的训练学习以及迭代损失模型等各模块可以串起来以实现数据的读取、训练、损失评估、迭代条件。
本发明的一个可选实施例中,对语义和语法理解的结果进行错误纠正,包括对学习者的发音进行纠正,具体地,包括以下步骤:开启发音模式,将学习者的发音(单词)与标准发音进行比对,根据比对结果,对学习者进行提醒。其中,标准发音为对应语言的纯正口音。
需要说明的是,本发明中,也可以仅仅在发音(单词)相对于标准发音不标准时,对学习者进行提醒,包括提醒出错以及提醒错误的具体位置。
需要说明的是,本发明中,还可以通过复读学习者的发音(句子)以及所对应的正确、标准发音(句子)来纠正和训练学习者的发音。
由于语言的学习差异化比较严重,每个学习者所在的地域(中国、印度、俄罗斯等)、常用词量、专业领域、各异的语言基础、常用的句型、单词以及发音的标准、音量和常问的问题等都不完全相同,因此,需要对模型进行调整,以实现所述智能语言学习方法的个性化适配。优选的,智能语言学习方法还包括:
对深度学习算法模型中的迭代参数进行自适应调整,以使得所述深度学习算法模型适用于不同的学习者,以及每个学习者的不同学习阶段,从而适配每个学习者的特点,更加精准地进行语言学习辅助。
其中,迭代参数为深度学习算法模型中的偏置量,所述偏置量根据增量因子和时间进行调整,所述增量因子包括学习者所在的地域、常用词量、专业领域、语言基础以及个体习惯使用的句法句型等可量化指标项中的一种或多种。当深度学习算法模型中的输入样本不同时,可以基于对偏置量的调整达到模型统一收敛的目的。随着时间的推移,学习者在学习的过程中会产生越来越多的学习数据,产生的学习数据可以作为输入数据,去反馈和迭代深度学习算法模型。
本发明的一个可选实施例中,获取学习者的目标语音之前,所述智能语言学习方法还包括:
获取学习者的输入信息,所述输入信息包括学习者的年龄、学历、语言水平等级(例如,英语四级、六级、英语专业六级、英语专业八级等语言水平等级)和学习目标(商务、生活等)中的一种或多种;
根据学习者的输入信息确定学习路径。
其中,语言水平等级可以根据学习者的学习目标设定,也可以根据内置或额外的评估系统对学习者目前的语言水平进行评估确定。学习路径为基于过往学习者的语言学习路径或者语言教学者的经验数据来针对不同学习者的具体情况而制定的智能化、有针对性地、循序渐进的学习计划,以便于对每个学习者更有针对性地制定不同的学习计划,缩减学习者达到学习目标的时间,提高学习效率。
本发明所述智能语言学习方法可以使得学习者随时随地进行学习和语言环境交互问答,应用于电子装置,所述电子装置可以是电视机、智能手机、便携式智能语言交互设备、手机APP、针对PC的网页应用、平板电脑、计算机等终端设备,所有终端数据打通并同步在云端以方便学习进度的无缝切换。
所述电子装置包括:处理器,存储器,用于存储智能语言学习程序,处理器执行所述智能语言学习程序,实现以下的智能语言学习方法的步骤:
获取学习者的目标语音;
通过经过训练得到的语义理解模型对所述目标语音进行语义和语法理解;
通过经过训练得到的深度学习算法模型对语义和语法理解的结果进行错误纠正,其中,所述深度学习算法模型利用学习经验标注数据集进行训练,所述学习经验标注数据集包括语义和语法理解后的多轮回答样本数据集,以及语义语法错误反馈样本数据集;
输出错误纠正的结果。
所述电子装置还包括网络接口和通信总线等。其中,网络接口可以包括标准的有线接口、无线接口,通信总线用于实现各个组件之间的连接通信。
存储器包括至少一种类型的可读存储介质,可以是闪存、硬盘、光盘等非易失性存储介质,也可以是插接式硬盘等,且并不限于此,可以是以非暂时性方式存储指令或软件以及任何相关联的数据文件并向处理器提供指令或软件程序以使该处理器能够执行指令或软件程序的任何装置。本发明中,存储器存储的软件程序包括智能语言学习程序,并可以向处理器提供该智能语言学习程序,以使得处理器可以执行该智能语言学习程序,实现智能语言学习方法的步骤。
处理器可以是中央处理器、微处理器或其他数据处理芯片等,可以运行存储器中的存储程序,例如,本发明中智能语言学习程序。
所述电子装置还可以包括显示器,显示器也可以称为显示屏或显示单元。在一些实施例中显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。显示器用于显示在电子装置中处理的信息以及用于显示可视化的工作界面。
所述电子装置还可以包括用户接口,用户接口可以包括输入单元(比如键盘)、语音输出装置(比如音响、耳机)等。
需要说明的是,本发明中电子装置的具体实施方式与上述基于机器学习的智能语言学习方法的具体实施方式大致相同,在此不再赘述。
图2为本发明中基于机器学习的智能语言学习系统的装置示意图,如图2所示,本发明所述基于机器学习的智能语言学习系统包括:语音获取模块1、语义理解模块2、纠错模块3以及输出模块4,其中,通过所述语音获取模块1获取学习者的目标语音之后,通过语义理解模块2中的经过训练得到的语义理解模型对获取的目标语音进行语义和语法理解,通过纠错模块3中的经过训练得到的深度学习算法模型对语义和语法理解的结果进行错误纠正,通过输出模块4将错误纠正的结果输出,其中,所述深度学习算法模型利用学习经验标注数据集进行训练,所述学习经验标注数据集包括语义和语法理解后的多轮回答样本数据集,以及语义语法错误反馈样本数据集。
本发明所述智能语言学习系统可以实现学习者随时随地进行语言学习和语言内容的交互问答,更加的智能化。本发明所述智能语言学习系统的产品可以为一款交互式智能音箱设备,学习者可以直接与该智能设备进行对话,该智能设备在提供内容回答的同时可以进行语法的纠错。对于不同的产品形态,其辅助语言学习时,对听说读写等能力训练和提高的偏重可能不同。
本发明的一个实施例中,语义理解模块中的语义理解模型为基于自然语言处理的语义理解模型,纠错模块中的深度学习算法模型为基于tensorflow框架中的RNN深度学习模型。
本发明的一个实施例中,智能语言学习系统还包括:训练模块,对语义理解模型和深度学习算法模型进行训练。训练模块利用经过预处理的目标语言元素构建数据集,通过循环神经网络对语义理解模型进行训练,其中,目标语言元素包括单词、短语、语法、时态、句子等,所述预处理包括:对目标语言元素进行抽出-转换-加载(Extract-Transform-Load,ETL)等处理。训练模块在训练深度学习算法模型时,通过建立损失模型,对实际计算输出与标注的结果进行损失度评估,通过所述损失模型得到损失值,基于最小的损失值进行训练,以最小的损失值作为训练模型输出最优的标准,并优选以损失曲线无限逼近0%为训练的迭代停止条件。
本发明的一个可选实施例中,所述智能语言学习系统还包括:信息获取模块和计划制定模块,通过信息获取模块来获取学习者的年龄、学历、语言水平等级和学习目标(商务、生活等)等信息,通过计划制定模块来根据学习者的输入信息确定学习计划,以使得制定的学习计划更加符合学习者目前语言基础以及语言学习能力,辅助提高学习者的语言能力。
本发明的一个可选实施例中,所述智能语言学习系统还包括:评估模块,在获取学习者的输入信息之前,对学习者目前的语言水平等级进行评估。
需要说明的是,本发明基于机器学习的智能语言学习系统的其他具体实施方式与上述智能语言学习方法的具体实施方式大致相同,在此不再赘述。
在其他实施例中,电子装置中包括的智能语言学习程序还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器中,并由处理器执行,以完成本发明,实现相应的功能。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。所述智能语言学习程序可以被分割为:语音获取模块1、语义理解模块2、纠错模块3和输出模块4。上述模块所实现的功能或操作步骤均与上文类似,此处不再详述,示例性地,例如其中:
语音获取模块1,获取学习者的目标语音;
语义理解模块2,通过经过训练得到的语义理解模型对所述目标语音进行语义和语法理解;
纠错模块3,通过经过训练得到的深度学习算法模型对语义和语法理解的结果进行错误纠正,其中,所述深度学习算法模型利用学习经验标注数据集进行训练,所述学习经验标注数据集包括语义和语法理解后的多轮回答样本数据集,以及语义语法错误反馈样本数据集;
输出模块4,将错误纠正的结果输出。
本发明的一个实施例中,计算机可读存储介质可以是任何包含或存储程序或指令的有形介质,其中的程序可以被执行,通过存储的程序指令相关的硬件实现相应的功能。例如,计算机可读存储介质可以是计算机磁盘、硬盘、随机存取存储器、只读存储器等。本发明并不限于此,可以是以非暂时性方式存储指令或软件以及任何相关数据文件或数据结构并且可提供给处理器以使处理器执行其中的程序或指令的任何装置。所述计算机可读存储介质中包括智能语言学习程序,所述智能语言学习程序被处理器执行时,实现如下的智能语言学习方法:
获取学习者的目标语音;
通过经过训练得到的语义理解模型对所述目标语音进行语义和语法理解;
通过经过训练得到的深度学习算法模型对语义和语法理解的结果进行错误纠正,其中,所述深度学习算法模型利用学习经验标注数据集进行训练,所述学习经验标注数据集包括语义和语法理解后的多轮回答样本数据集,以及语义语法错误反馈样本数据集;
输出错误纠正的结果。
本发明所述计算机可读存储介质可以实现学习者不受时间和地域因素的限制进行目标语言的学习,实现语言学习的智能化,帮助训练和提高学习者的语言听说能力。
需要说明的是,本发明之计算机可读存储介质的具体实施方式与上述智能语言学习方法、电子装置的具体实施方式大致相同,在此不再赘述。
需要说明的是,在本发明中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。