CN1952995B - 智能互动型语言练习装置及其方法 - Google Patents

Abstract

本发明涉及智能互动型语言练习方法和装置，包括：提供第一语音库，包含至少一条第一语音数据；提供一个语音模型和语法库，包含至少一条语音模型识别数据；将所述语音模型识别数据与标识数据相关联；提供第二语音库，包括至少一条第二语音数据；将所述标识数据与所述第二语音库的第二语音数据相关联；从所述第一语音库中选择一条第一语音数据，通过音频装置输出；接收学习者的语音输入，转换成输入语音数据；将所述输入语音数据通过所述语音模型和语法库进行语音识别，获得一标识数据；根据所述标识数据，从所述第二语音库中得到第二语音数据；以及通过音频输出装置，输出所述第二语音数据。

Description

智能互动型语言练习装置及其方法

技术领域

本发明有关于语言学习设备和方法，具体地说，涉及一种具有互动功能的语言练习装置和练习方法。

背景技术

随着时代的发展和进步，人与人的交流已不再受地域的限制，除了地域性的交往之外，国际交流也越来越频繁。交流的内容除了普通的进出口商务之外，其它类型的交流，诸如投资、旅游等也越来越普遍。以往的依靠翻译进行交流的模式也已不能适应这种发展。因此，在社会中，人们已开始要求外语语言能力作为人的一种必备的技能，学习外语蔚然成风。

学习语言，除了下功夫之外，语言环境相当重要。小孩之所以能学会语言，环境起到了相当大的作用。然而，目前语言学习者大都在国门之内学习，外语语言环境的欠缺是快速学会和学好语言的最重要的障碍之一。

为了帮助人员学好语言，目前市场上已出现了各式各样的学习辅助装置。大致可以分成以下几类：

一、电子字典类：使用者可以通过这类装置输入一个中文或英文单词，然后装置会提供相应的英文或中文翻译，或还包括一些对词的解释和说明，较为高档的装置还可以提供该单词的发单。显然，这类装置起到的仍然是一本字典的作用，至多提供了用户发音的功能，离用户的需求尚远；

二、学习类：这类装置可以包括一个输入装置、一个显示装置和一个音频输出装置，用户可以选择学习的内容，装置把学习的内容通过显示装置或音频输出装置输出，用户跟读。在一些功能更好的装置中，还可以把用户的读音输入到装置中，进行识别比较，然后，输出一个分值，以分值的形式，告知用户发音的准确程度。

这类学习装置，在一定程度上给学习者制造了一个语言学习环境，提高了使用者的语言学习的效率和效果。然而，由于其与学习者的互动仅通过分数的形式，学习者虽然能通过分数了解自己的发音准确程度，然而，在发音不正确的时间去无法了解什么地方错了。因此，这类学习装置的互动性尚待提高。

发明内容

因此，本发明的目的在于提供一种具有更好的互动性的智能互动型语言练习装置和方法，通过本发明的装置和方法，给用户创造和提供一个更接近真人的语言环境。

根据本发明的上述目的，本发明提供一种互动型语言练习方法，包括如下步骤：

(a)提供第一语音库，包含至少一条第一语音数据；

(b)提供一语音模型和语法库，包含至少一条语音模型识别数据；

(c)将每一所述语音模型识别数据与一标识数据相关联；

(d)提供第二语音库，包括至少一条第二语音数据；

(e)将所述标识数据与所述第二语音库的第二语音数据相关联；

(f)从所述第一语音库中选择一条第一语音数据，通过音频装置输出；

(g)接收学习者的语音输入，转换成输入语音数据；

(h)将所述输入语音数据通过所述语音模型和语法库进行语音识别，与一条语音模型识别数据相匹配，从而获得一标识数据；

(i)根据所述标识数据，从所述第二语音库中得到第二语音数据；以及

(j)通过音频输出装置，输出所述第二语音数据。

在上述方法中，所述第一语音库为引导语音库，所述第一语音数据是引导语音数据。

在上述方法中，所述第二语音库为反馈语音库，所述第二语音数据为反馈语音数据。

在上述方法中，还提供一第三语音库，所述第三语音库包含至少一条第三语音数据；所述第三语音库中的所述第三语音数据与所述第一语音库中的所述第一语音数据相关联；在所述步骤(f)之后，还包括：

(f1)根据已输出的所述第一语音数据，利用所述第三语音数据与所述第一语音数据的关联性，从所述第三语音库中选择一条第三语音数据，通过音频设备输出。

在上述方法中，所述第三语音库是讲解语音库，所述第三语音数据为讲解语音数据。

在上述方法中，根据用户的选择决定是否执行所述步骤(f1)。

在上述方法中，在所述步骤(g)之后，还包括：

(g1)存储所述输入语音数据。

在上述方法中，在所述步骤(j)之后，还包括：

(k)再次通过所述音频输出设备输出所述第一语音数据，或者通过所述音频设备输出在步骤(g1)存储的所述输入语音数据。

在上述方法中，还包括：

提供一练习语句库，包含至少一条练习语句显示数据，所述练习语句显示数据与所述第一语音库中的第一语音数据相关联；

根据所述第一语音数据，从所述练习语句库中选择一条练习语句显示数据，通过一显示装置显示所述练习语句显示数据。

在上述方法中，还包括：

提供一反馈显示数据库，包含至少一条反馈显示数据，所述反馈显示数据与所述标识数据相关联；

根据在步骤(h)得到的所述标识数据，从所述反馈显示数据库中选择一条反馈显示数据，通过一显示装置显示所述反馈显示数据。

在上述方法中，还包括：

将所述语音模型识别数据与一分数数据相关联；

在所述步骤(h)时，获得一分数数据；

将该分数数据通过一显示装置显示。

在上述方法中，所述语音模型识别数据包括标准语音模型识别数据和错误语音模型识别数据，所述标准语音模型识别数据为被视为正确发音的语音模型识别数据；所述错误语音模型识别数据为被视为错误发音的语音模型识别数据。

在上述方法中，所述第一引导语音数据为MP3格式的数据或OGG-Speex格式的数据，所述第二引导语音数据为MP3格式的数据或OGG-Speex格式的数据。

本发明还提供一种互动型语言练习装置，包括：

第一语音库，包含至少一条第一语音数据；

语音模型和语法库，包含至少一条语音模型识别数据和与所述语音模型识别数据关联的标识数据；

第二语音库，包括至少一条第二语音数据，所述第二语音数据与所述标识数据相关联；

控制装置，与所述第一语音库相连，从所述第一语音库中选择第一语音数据；

音频输出装置，与所述控制装置和所述第一语音库相连，根据所述控制装置的选择，从第一语音库中得到所述第一语音数据，并输出；

语音输入装置，用于接收用户的语音输入，并将所述语音输入转换成输入语音数据；以及

识别装置，与所述语音输入装置相连，用于接收所述输入语音数据，将所述输入语音数据通过所述语音模型和语法库进行语音识别，与一条语音模型识别数据相匹配，获得一标识数据；

所述控制装置还与所述识别装置相连，接收所述标识数据，根据所述标识数据，从所述第二语音库中选出第二语音数据；

音频输出装置还与所述第二语音库相连，根据控制装置的选择，从第二语音库中得到所述第二语音数据，并输出。

在上述装置中，所述第一语音库为引导语音库，所述第一语音数据是引导语音数据。

在上述装置中，所述第二语音库为反馈语音库，所述第二语音数据为反馈语音数据。

在上述装置中，还包括：

第三语音库，包含至少一条第三语音数据，所述第三语音库中的所述第三语音数据与所述第一语音库中的所述第一语音数据相关联；

所述控制装置还与所述第三语音库相连，根据所述第一语音数据，利用所述第三语音数据与所述第一语音数据的关联性，从所述第三语音库中选择一条第三语音数据；

所述音频设备还与所述第三语音库相连，根据所述控制装置的选择，从第三语音库中得到所述第三语音数据，并输出。

在上述装置中，所述第三语音库是讲解语音库，所述第三语音数据为讲解语音数据。

在上述装置中，还包括：

输入装置，接收用户的输入，用于选择第一语音数据。

在上述装置中，还包括：

输入语音存储装置，与所述语音输入装置相连，用于存储所述输入语音数据。

在上述装置中，所述语音输出装置与所述输入语音存储装置相连，用于输出所述输入语音数据。

在上述装置中，还包括：

练习语句库，包含至少一条练习语句显示数据，所述练习语句显示数据与所述第一语音库相关联；

显示装置；

所述控制装置与所述显示装置和所述练习语句库相连，根据所述第一语音数据，从所述练习语句库中选择一条练习语句显示数据，通过所述显示装置显示所述练习语句显示数据。

在上述装置中，还包括：

反馈显示数据库，包含至少一条反馈显示数据，所述反馈显示数据与所述标识数据相关联；

所述控制装置根据所述标识数据，从所述反馈显示数据库中选择一条反馈显示数据，通过所述显示装置显示所述类型反馈显示数据。

在上述装置中，所述语音模型识别数据还与一分数数据相关联；

所述识别装置获得分数数据，所述控制装置从所述识别装置接收所述分数数据，并将所述分数数据提供给所述显示装置进行显示。

在上述装置中，所述语音模型识别数据包括标准语音模型识别数据和错误语音模型识别数据，所述标准语音模型识别数据为正确发音的语音数据；所述错误语音模型识别数据为错误发音的语音数据。

在上述装置中，所述第一引导语音数据为MP3格式的数据或OGG-Speex格式的数据，所述第二引导语音数据为MP3格式的数据或OGG-Speex格式的数据。

如上所述，本发明的练习方法和装置向用户提供了即时的语音对话，并能对学习者所犯的错误给出具体的语音反馈，用户犹如身边多了一位外语老师，有效地改善学习环境，提高学习的准备性和学习效率。

附图说明

图1是本发明的智能互动型语言练习装置的结构图；

图2至图6是本发明的智能互动型语言练习装置的各个变化例的结构图。

具体实施方式

下面将根据附图详细描述本发明的具体实施例，应当理解，下面的描述仅是一个具体的例子而已，是为了有助于理解和实现本发明，这些例子不应成为对本发明的限制，本发明的保护范围就由所附的权利要求书来限定。

首先，请参见图1，图1示出了本发明的互动型语言练习装置的结构框图。如图1所示，图1示出了本发明的一个基本结构，它包括第一语音库10、第二语音库20、语音模型和语法库30、控制装置40、识别装置50、语音输入装置60和音频输出装置70。

第一语音库10包含至少一条第一语音数据，在本发明中第一语音数据可以为引导语音数据，如需要用户跟读的数据：nuclear，或I was in your shoes justa few years ago；或者可以是一个提问：How old are you？

第一语音数据可以采用目前常用的MP3格式数据，或者OGG-Speex音频格式，也可以采用例如WAV、AAC等音频格式数据。

第二语音库20包含至少一条第二语音数据，在本发明中第二语音数据为反馈语音数据。所谓反馈，后面将作进一步的描述。

语音模型和语法库30包含有至少一条语音模型识别数据。该语音模型识别数据与第一语音库10中的第一语音数据相对应。例如，对于上面的“nuclear”的例子，在语音模型和语法库30中对应有一条该单词的正确读音[nu:kli:

]的语音模型识别数据，在本发明中，与第一语音数据相对应的除了正确读音的语音模型识别数据之外，还可以包括错误读音的语音模型识别数据。对于上面的“nuclear”的例子，在语音模型和语法库30中除了有一条该单词的正确读音[nu:kli:]的语音模型识别数据之外，还可以包括一些典型错误读音的语音模型识别数据，例如：[nu:ku:l

]，或者[nu:kel

]等。

再例如，对于上面的I was in your shoes just a few years ago的例子，与该句子的第一语音数据相对应的除了这句句子的正确读音的语音模型识别数据之外，还可以包括一些典型错误读音或者句法错误的语音模型识别数据，下面是一些具有语法错误的句子的语音模型识别数据的例子：

I was in your shoes just a few years；

I was in your shoes just a years ago.

对于上面的提问的例子，除了把对该提问的正确回答的读音作为语音模型识别数据之外，还可以把一些典型错误的回答的读音作为语音模型识别数据。

每个语音模型识别数据还关联一个标识数据。该标识数据用于对该语音模型识别数据作一标识，以便通过该标识数据获得该语音模型识别数据的反馈数据。

在第二语音库20中包括的反馈语音数据与语音模型和语法库30中的标识数据相对应，即与语音模识别数据关联的每个标识数据，在第二语音库20中可以找到一个对应的反馈语音数据。标识数据可以使用数据定表示，例如对应于“00”标识数据，在第二语音库20中有一条发音为“correct”的反馈语音数据与之对应，根据标识数据“00”即可从第二语音库20中找到“correct”的反馈语音数据。对应于“03”标识数据，在第二语音库20中有一条发音为“语法错误”的反馈语音数据，也可以包括一条能指出更具体的错误之处的反馈语音数据，例如对于“I was inyour shoes just a few years”的语音模型识别数据，其反馈语音数据可以是“我听到您说了I was in your shoes just a few years，漏掉了ago。请再试一遍”，语音模型识别数据与反馈语音数据之间通过标识数据进行关联。

至于标识数据的多少以及语音反馈的内容可以根据需要和实际的课程加以确定，常见的一些语音反馈可以包括：发音(或回答)正确、读音错误、语法错误、语调错误、重音错误等。

控制装置40是互动型语言练习装置的核心单元，整个装置在其统一控制下协调运作。它与第一语音库10相连，从第一语音库10中选择一条第一语音数据，提供给与之相连的音频输出装置70。

音频输出装置70通常采用扬声器等元件，例如，如果控制装置40选择了nuclear的第一语音数据，则音频输出装置70发出nuclear的正确读音。当然，控制装置40的选择可以是装置本身设定的，按一定的顺序进行；也可以由用户通过其它输入装置(例如键盘或鼠标等，图中未示出)来进行选择，这种选择结构属于公知技术，在本实施例中，不再作详细的描述。

语音输入装置60通常采用诸如话筒等电声转换元件，它可以接收用户的语音输入，把语音输入转换成电子式的输入语音数据。在音频输出装置70发出的nuclear等要求用户跟读的标准音之后，用户通过语音输入装置60把跟读的语音输入到装置中。

识别装置50与语音输入装置60相连，接收输入语音数据，然后，将输入语音数据通过语音模型和语法库30进行语音识别，识别出最接近的语音模型识别数据，然后通过关联得到标识数据，并把标识数据提供给控制装置40。在本实施例中的语音模型和语法库30和识别装置50可以使用一些公知的技术，具体内容可以参见例如“Spoken Language Processing″(出自Prentice Hall PTR(2001))和StatisticalMethod for Speech Recognition(出自MIT Press 98)。

控制装置40则根据该标识数据，从第二语音库中20中，通过关联查找得到第二语音数据；然后把查找得到的第二语音数据提供给音频输出装置70，由音频输出装置70以音频方式向用户发出反馈。

下面是一个用户学习的例子：

控制装置40按设定的顺序，或根据用户的选择，从第一语音库10中选出了nuclear的第一语音数据，通过音频输出装置70向用户发出nuclear的正确发音。

然后装置等待用户的跟读，如果用户的发音为[nu:ku:l]，通过语音输入装置60将该发音转换成输入语音数据之后，在识别装置50中进行识别，从语音模型和语法库30中识别出了发明为[nu:ku:l

]的识别语音数据，通过该识别语音数据获得与其关联的标识数据。

然后，识别装置50把标识数据提供给控制单元40，控制单元通过该标识数据，从第二语音库20中查找得到相应的第二语音数据，该第二语音数据可以是“我听到您的发音中第二和第三音节为[ku:l

]，发音有误，请再试一遍”。

下面说明和描述本发明的一些其它可行的变化例。

变化例一：

请参见图2所示，与图1的实施例相比，图2的变化例增加了一个第三语音库80，该第三语音库80包含至少一条第三语音数据，第三语音数据与第一语音库20中的第一语音数据相关联。

当控制装置40通过音频输出装置70输出了第一语音库10中选择的第一语音数据之后，通过关联，从第三语音库80中找出相关联的第三语音数据，并把该第三语音数据提供给音频输出装置70，由音频输出装置70输出。

第三语音数据可以是讲解语音数据。例如，与″nuclear″的第一语音数据相对应的讲解语音数据可以是“该单词的含义是核心的、原子核的，请跟读”。

装置是否利用第三语音数据，则可以由用户通过例如键盘或鼠标等输入装置进行选择，是决定是否播放讲解语音数据。

变化例二：

请参见图3所示，与图1的实施例相比，图3的变化例增加了一个输入语音存储装置90，该输入语音存储装置90与语音输入装置60相连，用于存储语音输入装置60转换输出的输入语音数据。控制装置40可以根据需要(例如系统设定或用户选择)，通过音频输出装置70输出存储在输入语音存储装置90中的输入语音数据。

例如，在装置播放了反馈语音数据之后，可以根据系统设定或用户的选择，通过音频输出设备70输出存储在输入语音存储装置60内的输入语音数据，供用户了解自己的发音，或者根据系统设定或用户选择，再次输出第一语音数据(引导语音数据)，供用户再次跟读。

变化例三：

请参见图4所示，与图1的实施例相比，图4的变化例增加了一个练习语句库100和显示装置110。

该练习语句库100包含至少一条练习语句显示数据，该练习语句显示数据与第一语音库中的第一语音数据相关联。控制装置40可以根据需要(例如系统设定或用户选择)，把练习语句显示数据通过显示装置110向用户显示。

例如，控制装置40从第一语音库10中选择了一条第一语音数据之后，在通过音频输出装置70输出第一语音数据之前或之后，根据选出的第一语音数据，通过关联关系，从练习语句库100中选择相关联的练习语句显示数据，并传送给显示装置110，向用户显示。

变化例四：

请参见图5所示，与图4的实施例相比，图5的变化例是用反馈显示数据库120替代了练习语句库100。

该反馈显示数据库120包含了至少一条反馈显示数据，该反馈显示数据与标识数据相关联。在一个具体的例子中，反馈显示数据显示的内容可以与反馈语音数据的内容相对应。控制装置40可以根据需要(例如系统设定或用户选择)，根据获得的标识数据以关联关系，从反馈显示数据库120中得到相应的反馈显示数据，然后，把反馈显示数据通过显示装置110向用户显示，可以作为反馈语音数据的一个补充。

变化例五：

请参见图4所示，在图4的实施例中，除了把语音模型识别数据与一个标识数据相关联之外，还可以把语音模型识别数据与一个分数数据相关据。识别装置50在进行语音识别时，除了获得标识数据之外，通过关联关系，也可以同时获得该分数数据，并提供给控制装置40。控制装置40可以把该分数数据通过显示装置110向用户显示分数数据。该分数可以表示用户此次练习的得分情况。

变化例六：

请参见图6所示，在图6的实施例中，在识装置50中还可以增加包含一个韵律分析装置55。韵律分析装置55可以判断输入语音数据(或学习者的发音)在重音、句子音调、语速等方面是否存在问题。韵律分析装置55在作了上述的分析之后，输出一个标识数据，提供给控制装置40，然后由控制装置40根据该标识数据，从第二语音库20中，通过关联查找得到第二语音数据。在本实施例中，韵律分析装置55可以采用公知的技术，，具体内容可以参见例如“Spoken LanguageProcessing″(出自Prentice Hall PTR(2001))和Statistical Method for SpeechRecognition(出自MIT Press 98)。

虽然上面分别描述了一些本发明的实施例可能出现的一些变化例，但应当理解，上述这些描述并非是对本发明的限制，上述的这些变化例也可以相互组合形成新的变化例，例如变化例一可以和变化二组成构成新的变化例，因这些组合对于本领域技术人员在了解了本发明之后都是可以推导而得的，因此为使描述不过于繁复，在此不再一一描述。

Claims (11)

1.一种互动型语言练习装置，包括：

第一语音库，包含至少一条第一语音数据；

语音模型和语法库，包含语音模型识别数据和与所述语音模型识别数据关联的标识数据，所述语音模型识别数据包含与所述第一语音数据相对应的正确读音的语音模型识别数据和错误的语音模型识别数据；

第二语音库，包括第二语音数据，所述第二语音数据与所述标识数据相关联，所述第二语音数据为反馈语音数据，所述第二语音数据包含了对应于正确读音的语音模型识别数据的反馈语音数据和对应于错误的语音模型识别数据的反馈语音数据；

控制装置，与所述第一语音库相连，从所述第一语音库中选择第一语音数据；

音频输出装置，与所述控制装置和所述第一语音库相连，根据所述控制装置的选择，从第一语音库中得到所述第一语音数据，并输出；

语音输入装置，用于接收用户的语音输入，并将所述语音输入转换成输入语音数据；以及

识别装置，与所述语音输入装置相连，用于接收所述输入语音数据，将所述输入语音数据通过所述语音模型和语法库进行语音识别，与一条语音模型识别数据相匹配，获得一标识数据；

所述控制装置还与所述识别装置相连，接收所述标识数据，根据所述标识数据，从所述第二语音库中选出第二语音数据；

音频输出装置还与所述第二语音库相连，根据控制装置的选择，从第二语音库中得到所述第二语音数据，并输出。

2.如权利要求1所述的装置，其特征在于，所述第一语音库为引导语音库，所述第一语音数据是引导语音数据。

3.如权利要求2所述的装置，其特征在于，还包括：

第三语音库，包含至少一条第三语音数据，所述第三语音库中的所述第三语音数据与所述第一语音库中的所述第一语音数据相关联；

所述控制装置还与所述第三语音库相连，根据所述第一语音数据，利用所述第三语音数据与所述第一语音数据的关联性，从所述第三语音库中选择一条第三语音数据；

所述音频设备还与所述第三语音库相连，根据所述控制装置的选择，从第三语音库中得到所述第三语音数据，并输出。

4.如权利要求3所述的装置，其特征在于，所述第三语音库是讲解语音库，所述第三语音数据为讲解语音数据。

5.如权利要求1所述的装置，其特征在于，还包括：

输入装置，接收用户的输入，用于选择第一语音数据。

6.如权利要求1或3所述的装置，其特征在于，还包括：

输入语音存储装置，与所述语音输入装置相连，用于存储所述输入语音数据。

7.如权利要求6所述的装置，其特征在于，所述语音输出装置与所述输入语音存储装置相连，用于输出所述输入语音数据。

8.如权利要求1或3所述的装置，其特征在于，还包括：

练习语句库，包含至少一条练习语句显示数据，所述练习语句显示数据与所述第一语音库相关联；

显示装置；

所述控制装置与所述显示装置和所述练习语句库相连，根据所述第一语音数据，从所述练习语句库中选择一条练习语句显示数据，通过所述显示装置显示所述练习语句显示数据。

9.如权利要求1或3所述的装置，其特征在于，还包括：

反馈显示数据库，包含至少一条反馈显示数据，所述反馈显示数据与所述标识数据相关联；

所述控制装置根据所述标识数据，从所述反馈显示数据库中选择一条反馈显示数据，通过所述显示装置显示所述类型反馈显示数据。

10.如权利要求9所述的装置，其特征在于，所述语音模型识别数据还与一分数数据相关联；

所述识别装置获得分数数据，所述控制装置从所述识别装置接收所述分数数据，并将所述分数数据提供给所述显示装置进行显示。

11.如权利要求1或3所述的装置，其特征在于，所述第一引导语音数据为MP3格式的数据或OGG-Speex格式的数据，所述第二引导语音数据为MP3格式的数据或OGG-Speex格式的数据。

Images