CN102667889B - 用于外语学习的设备和方法 - Google Patents

Abstract

本发明涉及用于外语学习的设备与方法，用于外语学习的设备，包括：语音识别装置，被配置为识别用户输入的发言并将该发言转换为发言文本；发言含义识别装置，被配置为使用用户的技能等级信息和对话语境信息提取发言文本的用户发言含义；以及反馈处理装置，被配置为根据用户发言含义和用户的发言情况提取不同的表达。根据本发明，即使学习者的技能很低，也可以确定学习者的发言的含义，并且可向学习者提供针对各种情况而定制的表达。

Description

用于外语学习的设备和方法

技术领域

本发明涉及用于外语学习的设备和方法。

背景技术

通常，用于外语会话教学的最有效方法是使母语教师和学生彼此进行一对一的交谈。然而，由于这种方法需要大量开销，故对于许多学生来说，难以从这种教学中获益。

最近，已经对使用能够代替母语教师的人工智能自然语言处理技术的基于语音的自然语言会话系统积极地展开了大量研究。然而，大多数现有语音识别装置都是针对母语者开发的。因此，当语音识别装置被用于非母语者的语音识别时，它们表现出非常低的识别性能。

因为语音识别的技术瓶颈，事实上学习者无法自由地输入发言。因此，针对外语学习的当前会话系统中的大多数都在基于情境的有限方式下被利用。然而，根据外语学习理论，已知的是学习者通过他人对学习者所输入的发言的反应来检验并学习他们的外语技能。因此，总是基于情境提供相同反应的大多数现有会话系统无法提供令人满意的学习效果。

发明内容

因此，提供本发明以解决现有技术中所存在的问题，并且本发明的目的是提供用于外语学习的设备和方法，即使学习者的技能等级很低，本发明也能够确定学习者的发言含义并向学习者提供与该发言含义相一致的响应，并且向学习者提供针对各种情况而定制的表达。

为了实现上述目的，根据本发明的一个方面，用于外语学习的设备，包括：语音识别装置，被配置为识别用户输入的发言并将发言转换为发言文本；发言含义识别装置，被配置为使用用户的技能等级信息和对话语境信息提取发言文本的用户发言含义；以及反馈处理装置，被配置为根据用户发言含义和用户的发言情况提取不同的表达。

发言含义识别装置可使用针对用户的技能等级而单独生成的多个基于发言的模型和通过考虑对话语境而生成的基于对话语境的模型来提取用户发言含义。

发言含义识别装置可根据用户的技能等级信息选择基于发言的模型，并使用所选的基于发言的模型估计发言文本估计的发言含义，并且使用基于对话语境的模型基于对话语境信息估计来估计发言含义。

发言含义识别装置可在统计学上将以基于发言的模型的发言含义和以基于对话语境的模型的发言含义合成，并提取用户发言含义。

该设备还可包括对话管理模块，对话管理模块被配置为根据用户发言含义和对话语境信息生成对发言文本的响应。

当用户的发言未在预设时间内被输入或用户发出帮助请求时，反馈处理装置可从数据库提取推荐表达并将推荐表达提供给用户。

当用户的发言不正确时，反馈处理装置可从数据库提取正确表达并将正确表达提供给用户。

当用户的发言正确时，反馈处理装置从数据库提取与用户的发言具有相同意思或相近意思的可替换表达并将可替换表达提供给用户。

该设备还可包括：自然语言生成装置，被配置为将反馈处理装置所提取的表达转换为自然语言发言；以及语音合成装置，被配置为将自然语言生成装置所转换的自然语言发言合成为语音。

根据本发明的另一个方面，用于外语学习的设备包括：语音识别装置，被配置为识别用户输入的发言并将发言转换为发言文本；发言含义识别装置，被配置为为发言文本提取用户发言含义；以及反馈处理装置，被配置为根据用户发言含义和用户的发言情况提取推荐表达、正确表达、或可替换表达，并将所提取的表达提供给用户。

反馈处理装置可当用户的发言未在预设时间内被输入或用户发出帮助请求时从数据库提取推荐表达，当用户的发言不正确时从数据库提取正确表达，并且当用户的发言正确时从数据库提取可替换表达。

根据本发明的另一个方面，一种对话系统包括：语音识别装置，被配置为识别用户输入的发言并将发言转换为发言文本；以及发言含义识别装置，被配置为使用针对用户的技能等级而单独生成的多个基于发言的模型和通过考虑对话语境而生成的基于对话语境的模块来提取用户发言含义。

发言含义识别装置可根据用户的技能等级信息选择基于发言的模型，并使用所选的基于发言的模型估计发言文本的发言含义，并且使用基于对话语境的模型基于对话语境信息估计发言含义。

发言含义识别装置可在统计学上将以基于发言的模型为基础的发言含义和以基于对话语境的模型为基础的发言含义合成，并提取用户发言含义。

根据本发明的另一个方面，用于外语学习的方法包括：对用户输入的发言进行识别并将发言转换为发言文本；使用用户的技能等级信息和对话语境信息提取发言文本的用户发言含义；以及根据用户发言含义和用户的发言情况提取不同表达。

根据本发明的另一个方面，用于外语学习的方法包括：对用户输入的发言进行识别并将发言转换为发言文本；提取发言文本的用户发言含义；以及根据用户发言含义和用户的发言情况提取推荐表达、正确表达、或可替换表达，并将所提取的表达提供给所述用户。

根据本发明的另一个方面，用于提供对话的方法包括：识别用户输入的发言并将发言转换为发言文本；以及使用针对用户的技能等级而单独生成的多个基于发言的模型和通过考虑对话语境而生成的基于对话语境的模块来提取发言文本的用户发言含义。

附图说明

在结合附图阅读了以下详细描述之后，本发明的上述目的、以及其它特征和优点将变得显而易见，在附图中：

图1是根据本发明的一个实施方式的用于外语学习的设备的框图；

图2示出图1的发言含义识别装置使用基于发言的模型和基于对话语境的模型提取发言含义的过程的概念图；

图3是示出根据本发明的另一个实施方式的根据用于外语学习的方法提取发言含义的过程的流程图；

图4是示出根据本发明的实施方式的根据用于外语学习的方法的响应学习者的过程的流程图。

具体实施方式

将对本发明的优选实施方式进行更加详细地描述，在附图中示出优选实施方式的示例。无论在什么情况下，在附图和说明书中，相同的参考标号都将指代相同或相似的部件。

首先，将参照图1和2，详细地描述了根据本发明实施方式的用于外语学习的设备。

图1是根据本发明的实施方式的用于外语学习的设备框图。图2是示出图1的发言含义识别装置使用基于发言模型和基于对话语境的模型提取发言含义的过程的概念图。

参照图1，根据本发明的实施方式的用于外语学习的设备100包括语音识别装置10、发言含义识别装置20、反馈处理装置30、对话管理模块40、语音合成装置50、自然语言生成装置60、成员数据库65、发言数据库70、语境数据库80、以及表达数据库90。

语音识别装置10被配置为对通过麦克风输入的学习者语音进行识别，将被识别的语音转换为发言文本，并将被转换的发言文本转移至发言含义识别装置20。在下文中，为了便于描述，假设学习者是以韩语作为母语的用户且语音识别装置10基于韩语之外的语言，例如，英语。因此，学习者在与用于外语学习的设备100交谈时学习英语。韩语或英语仅为示例，同样也可应用其它语言，诸如汉语、日语或德语。

发言含义识别装置20被配置为使用自语音识别装置10转移的发言文本来确定学习者的发言含义。此时，发言含义识别装置20使用基于发言的模型和基于对话语境的模型提取用户的发言含义，基于发言的模型和基于对话语境的模型分别以发言数据库70和语境数据库80中所储存的信息为基础生成。

参照图2，发言数据库70可储存第1至第n等级数据。第1至第n等级数据可通过以下步骤获得：将学习者的发言中所包含的发言数据，诸如单词、词素和句子信息，划分为第1至第n等级，并单独收集对应于相同等级的发言数据。

语境数据库80可储存由用于外语学习的设备100所提供的与相应学习者的先前发言有关的信息、学习者与用于外语学习的设备100之间的对话的列表、以及与学习者的学习内容有关的语境信息，诸如推荐表达、可替换表达、以及正确表达。

因为对话的基本特性，根据学习者的技能等级，在单词使用中可能出现错误或差别。因此，针对每个学习者的等级对基于发言的模型进行单独建模。也就是说，基于发言的模型被分为第1至第n等级的基于发言的模型。各等级的基于发言的模型基于语言学信息而构建，该语言学信息取决于发言数据库70的第1至第n个发言数据。然而，由于对话语境的前后关系几乎不变，故基于语境的模型被生成为一个模型，并且以语境数据库80的各种信息为基础构建。

基于发言的模型和基于对话语境的模型可应用于各种统计和规则模型，以便获得后验概率。例如，基于发言的模型可由使用形成发言的单词的n-gram信息作为特征的分类器生成，并且基于对话语境的模型可由使用先前顺序中的系统发言含义、先前顺序中的用户发言含义、当前顺序中用户发言含义以及直到当前顺序由用户发出的信息作为特征的分类器生成。为了该操作，可利用各种常用分类器，诸如最大熵和支持向量机。

成员数据库65可储存学习者的个人信息、ID、密码、以及技能等级以及与学习者所学习的内容有关的信息。学习者的技能等级可作为选择哪种基于发言的模型来进行应用以使发言含义识别装置20识别学习者的发言含义的标准。也就是说，当学习者的当前技能等级在成员数据库65中被储存为第3等级时，发言含义识别装置20使用第3等级的基于发言的模型估计估计发言含义。

发言含义识别装置20根据先前输入的技能等级对基于发言的模型进行选择，并使用所选的基于发言的模型估计估计来自声音识别装置10的发言文本的发言含义和可靠性。同时，发言含义识别装置20使用基于对话语境的模型基于对话语境信息估计估计发言含义和可靠性。对话语境信息表示学习者与用于外语学习的设备100之间的对话有关的信息，并且可包括与已经从对话开始进行到当前顺序的对话的全部或部分有关的信息。

发言含义识别装置20在统计学上将以基于发言的模型的发言含义和可靠性和以基于对话语境的模型的发言含义和可靠性合并，并提取具有最高可能性的发言含义作为最终的学习者发言含义。由于可一并考虑学习者的技能等级和对话语境信息的特性，故即使存在错误或者学习者的发言不熟练，也能够尽可能精确地估计学习者发言含义。

由于此时，发言含义识别装置20可使用通常用于模型综合的各种统计学方法，诸如互信息测量，以综合基于发言的模型和基于对话语境的模型。

对话管理模块40被配置为(1)基于来自发言含义识别装置20的学习者发言含义和发言文本确定学习者的发言是否正确，(2)确定学习者是否在预设时间内输入发言，以及(3)学习者是否明确需要帮助。

(1)当确定学习者的发言正确时，对话管理模块40通过考虑学习者发言含义和当前对话语境生成对学习者发言文本的合适响应，并将所生成的响应转移至自然语言生成装置60。例如，当学习者正确地朗读“What kind of music do you listen to？(你喜欢听哪种音乐)”时，对话管理模块40可生成响应，诸如“I usually listen to country module.(我常听乡村音乐)”。

(2)当学习者的发言未在预设时间内输入时，对话管理模块40将学习者发言文本和发言含义转移至反馈处理装置30。

(3)当学习者按下屏幕上所显示的“Help me(帮助我)”按钮或亲自说“Help me(帮助我)”、“I don′t know(我不知道)”、或“I don’tknow what to say(我不知道该说什么)”时，对话管理模块40从反馈处理装置30请求反馈。

当预设条件满足时，反馈处理装置30向学习者反馈各种表达。也就是说，反馈处理装置30(i)当学习者的发言未在预设时间内输入或学习者明确请求帮助时，(ii)当确定学习者的发言不正确时，以及(iii)当学习者的发言正确但需要学习相似表达时分别提供推荐表达、正确表达、以及可替换表达。

同时，表达数据库90被配置为储存基于对话语境的各发言含义或各主题的推荐表达、正确表达、以及可替换表达，并根据反馈处理装置30的请求来提供相应表达。

(i)当响应时间超时或明确请求帮助时

当学习者在对话期间不知道如何说且无法使对话语句继续时，学习者可以在预定时间或更长时间内不说话。在这种情况下，对话管理模块40通知反馈处理装置30超过响应时间，并将学习者的对话内容转移至反馈处理装置30。随后，反馈处理装置30通过考虑当前对话语境信息根据学习者的对话语境选择主题，并从表达数据库90提取能够使对话接着最后的对话语句继续的语句作为推荐表达。

(ii)当学习者的发言不正确时

当确定学习者的发言不正确时，反馈处理装置30通过考虑对话语境从表达数据库90中选择最符合发言者的发言含义的语句，并提取所选择的语句作为正确表达。

(iii)当学习者的发言正确时

当确定学习者的发言正确时，反馈处理装置30从表达数据库90选择与学习者的发言具有相同意思或相似意思的另一种表达，并提取所选择的表达作为可替换表达。

自然语言生成装置60被配置为将对话管理模块40或反馈处理装置30所生成的概念性响应转换为自然语言发言。虽然未在图中单独示出，但自然语言生成装置60可在显示屏上以文本形式输出自然语言发言。

语音合成装置50被配置为基于自然语言生成装置60所生成的自然语言发言合成母语者所朗读的语音，并通过扬声器、耳机、或听筒输出被合成的语音。

如上所述，根据本发明的实施方式的用于外语学习的设备100可基于针对学习者的各技能等级而构建的基于对话语境的模型和基于发言的模型提取学习者发言含义。因此，即使含有错误或学习者的发言不熟练，用于外语学习的设备100也能够可靠地提取学习者发言含义。此外，用于外语学习的设备100可向学习者反馈适于各种情况的表达，使得学习者自己知道自己的错误并在学习相似表达的同时使对话继续。

根据本发明的实施方式的用于外语学习的设备100可以被实现为独立服务器的形式，并且学习者可使用诸如计算机、个人数字助手(PDA)、或有线/无线电话的用户终端与用于外语学习的设备100进行交谈。在这种情况下，用户终端和用于外语学习的设备100可通过有线/无线通信网络连接。另一方面，用于外语学习的设备100可实施为独立装置。在这种情况下，学习者可携带和使用用于外语学习的设备100，或在面对用于外语学习的设备的同时使用用于外语学习的设备100。

此外，用于外语学习的设备100的全部或部分功能可实施在用户终端或智能机器人中。此外，用于外语学习的设备100不仅可用作用于外语学习的设备，还可与诸如购物和交易的各种内容结合。此外，用于外语学习的设备100可应用于能够与用户或自然语言处理人工智能代理进行交谈的对话系统，以便向用户提供特殊服务。

成员数据库65、发言数据库70、语境数据库80、以及表达数据库90可被实施为一个数据库。在本发明的该实施方式中，已经描述，用于外语学习的设备100包括成员数据库65、发言数据库70、以及语境数据库80。然而，数据库可不一定被包含在用于外语学习的设备100中，并且一个或多个数据库可单独地实施在用于外语学习的设备100外部或被省略。

现在将参照图3和4对根据本发明的另一个实施方式的用于外语学习的方法进行描述。

图3是示出根据本发明的实施方式的用于外语学习的方法来提取发言含义的过程的流程图。图4是示出根据本发明的实施方式的用于外语学习的方法对学习者进行响应的过程的流程图。

首先，当在如图3所示的步骤S300中学习者输入发言时，在步骤S310中，语音识别装置10识别学习者的语音，并将被识别的语音转换为发言文本，并将被转换的发言文本转移至发言含义识别装置20。在步骤S325中，发言含义识别装置20使用基于对话语境的模型基于对话语境信息估计估计发言含义和可靠性。同时，在步骤S320中，发言含义识别装置20根据学习者的技能等级在第1至第n等级的基于发言的模型中选择基于发言的模型，并使用所选择的基于发言的模型基于学习者的发言文本估计估计发言含义和可靠性。随后，在步骤S330中，发言含义识别装置20合成基于发言的模型的发言含义和可靠性和基于对话语境的模型的发言含义和可靠性，并提取学习者的最终发言含义。在步骤S340中，发言含义识别装置20将被提取的学习者发言含义转移至对话管理模块40。

参照图4，在步骤S400中，对话管理模块40确定学习者是否在预设时间内输入发言。当发言在预设时间内被输入时(S400-Y)，在步骤S410中，对话管理模块40确定被输入的发言是否是明确请求帮助的发言。步骤S410可根据用户对帮助请求按钮的输入来执行，而不考虑用户的发言。

当确定被输入的发言不是明确请求帮助的发言时(S410-N)，在步骤S420中对话管理模块40确定用户的发言是否正确。当确定用户的发言正确时(S420-Y)，在步骤S430中对话管理模块40通过考虑来自发言含义识别装置20的学习者发言含义和对话语境生成对学习者的发言的合适响应。当确定学习者的发言不正确时(S420-N)，对话管理模块40将控制转移至反馈处理装置30，并且反馈处理装置30通过考虑学习者发言含义和对话语境从表达数据库90提取正确表达。

当发言未在预设时间内被输入(S400-N)或被输入的发言是明确请求帮助的发言时(S410-Y)，在步骤S450中对话管理模块40将控制转移至反馈处理装置30，并且反馈处理装置30基于对话语境信息从表达数据库90提取推荐表达。

同时，当学习者的发言正确时(S420-Y)，在步骤S440中反馈处理装置30从表达数据库90提取与学习者的发言具有相同意思或相似意思的可替换表达。

在步骤S450中，自然语言生成装置60将由对话管理模块40和反馈处理装置30所生成的响应转换为自然语言发言。随后，在步骤S460中，语音合成装置50基于被转换的自然语言发言来合成母语者所朗读的语音。

用于外语学习的设备100可通过扬声器等输出被合成的语音，并根据需要以文本形式在显示屏上单独输出自然语言发言。

当学习者无法使对话继续或明确请求帮助时，学习者可从用于外语学习的设备100接收推荐表达并使对话继续。当学习者的发言不正确时，学习者可接收正确表达以纠正错误。此外，由于学习者可通过对话自然地了解他/她的弱点，故学习者可在不受到压力的情况下学习外语。此外，即使当学习者做出正确的发言时，学习者也可接收具有相同意思的另一种表达，从而拓宽外语的表达范围。

根据本发明的实施方式，学习者的发言的含义可根据学习者的各个等级和对话语境的语言性质来确定。因此，即使学习者的技能等级很低，也可精确确定学习者的发言含义，从而可向学习者提供符合发言含义的响应。此外，针对各种情况而定制的表达也可提供给学习者，这能够使学习者在学习外语的同时使学习者所受到的压力最小化。由于学习者可接收各种表达并反复练习外语，故学习者可以较低成本学习外语。

虽然出于示意性目的而对本发明的优选实施方式进行了详细的说明，但本领域技术人员应理解，在不背离所附权利要求中公开的本发明的精神和范围的情况下，可以进行多种修改、添加和替换。

Claims (14)

1.一种用于外语学习的设备，包括：

语音识别装置，被配置为识别用户输入的发言并将所述发言转换为发言文本；

发言含义识别装置，被配置为使用所述用户的技能等级信息和对话语境信息提取所述发言文本的用户发言含义；以及

反馈处理装置，被配置为根据所述用户发言含义和所述用户的发言情况提取不同的表达。

2.如权利要求1所述的设备，其中，所述发言含义识别装置使用针对所述用户的技能等级而单独生成的多个基于发言的模型和通过考虑对话语境而生成的基于对话语境的模型来提取所述用户发言含义。

3.如权利要求2所述的设备，其中，所述发言含义识别装置根据所述用户的技能等级信息选择基于发言的模型，并使用所选的基于发言的模型估计所述发言文本的发言含义，并且使用所述基于对话语境的模型基于所述对话语境信息估计发言含义。

4.如权利要求3所述的设备，其中，所述发言含义识别装置在统计学上将以所述基于发言的模型为基础的发言含义和以所述基于对话语境的模型为基础的发言含义进行合成，并提取所述用户发言含义。

5.如权利要求1所述的设备，还包括对话管理模块，所述对话管理模块被配置为根据所述用户发言含义和所述对话语境信息来生成对所述发言文本的响应。

6.如权利要求1所述的设备，其中，当所述用户的发言未在预设时间内被输入或所述用户发出帮助请求时，所述反馈处理装置从数据库中提取推荐表达并将所述推荐表达提供给所述用户。

7.如权利要求1所述的设备，其中，当所述用户的发言不正确时，所述反馈处理装置从数据库中提取正确表达并将所述正确表达提供给所述用户。

8.如权利要求1所述的设备，其中，当所述用户的发言正确时，所述反馈处理装置从数据库中提取与所述用户的发言具有相同意思或相似意思的可替换表达，并将所述可替换表达提供给所述用户。

9.如权利要求1所述的设备，还包括：

自然语言生成装置，被配置为将所述反馈处理装置所提取的表达转换为自然语言发言；以及

语音合成装置，被配置为将所述自然语言生成装置所转换的所述自然语言发言合成为语音。

10.一种用于外语学习的设备，包括：

语音识别装置，被配置为识别用户输入的发言并将所述发言转换为发言文本；

发言含义识别装置，被配置为使用所述用户的技能等级信息和对话语境信息提取所述发言文本的用户发言含义；以及

反馈处理装置，被配置为根据所述用户发言含义和所述用户的发言情况提取推荐表达、正确表达或可替换表达，并将所提取的表达提供给所述用户。

11.如权利要求10所述的设备，其中，当所述用户的发言未在预设时间内被输入或所述用户发出帮助请求时，所述反馈处理装置从数据库中提取所述推荐表达，当所述用户的发言不正确时，所述反馈处理装置从数据库中提取所述正确表达，并且当所述用户的发言正确时，所述反馈处理装置从数据库中提取所述可替换表达。

12.一种对话系统，包括：

语音识别装置，被配置为识别用户输入的发言并将所述发言转换为发言文本；

发言含义识别装置，被配置为使用针对所述用户的技能等级而单独生成的多个基于发言的模型和通过考虑对话语境而生成的基于对话语境的模型来提取所述发言文本的用户发言含义；以及

反馈处理装置，被配置为根据所述用户发言含义和所述用户的发言情况提取推荐表达、正确表达或可替换表达，并将所提取的表达提供给所述用户。

13.如权利要求12所述的对话系统，其中，所述发言含义识别装置根据所述用户的技能等级信息选择基于发言的模型，并使用所选的基于发言的模型估计所述发言文本的发言含义，并且使用所述基于对话语境的模型基于所述对话语境信息估计发言含义。

14.如权利要求13所述的对话系统，其中，所述发言含义识别装置在统计学上将以所述基于发言的模型为基础的发言含义和以所述基于对话语境的模型为基础的发言含义进行合成，并提取所述用户发言含义。