CN1327221A - 外语口语学习系统及方法 - Google Patents

Abstract

本发明提供了一种外语口语学习系统,包括:语音输入/输出模组,藉由语音输入/输出模组可输入使用者的语音信号及输出标准口语发音;与说话者无关的语音识别模组,具有多个假设的对象模板,藉以对输入的语音信号进行识别,且与语音识别模组内多个假设的对象模板进行比对;外语口语教学应用模组,藉以将语音输入/输出模组所接收的语音信号及与说话者无关的语音识别模组所比对的结果,判定为特定对象;以及显示模组,显示外语口语教学应用模组判定结果。

Description

外语口语学习系统及方法

本发明涉及一种外语口语学习系统及方法。

外语教学类电子产品种类很多。从词汇学习到语法练习，从造句到写文章，从读到写，以及听都很丰富。随着语音技术的发展，说方面的练习也渐渐走向市场。但综观这些产品，其最重要的缺陷是口语练习的环境问题。很多学外语的人，不仅是那些口语发音差的人，就是那些口语发音比较好的人，在与他人进行口语交流时，也因为许多心理因素而不敢开口说外语。因此，目前的外语教学产品不能在此方面提供学外语的人一个很好的学习方法。

本发明提供了一种外语口语学习系统。它的优点在于：

1.整合了语音识别技术，设计了多种人机语音交流环境，创造了一个很好的外语口语学习环境，让使用者能与机器进行互动式交谈，而不需要面对其他说话的人，从而打破了开口说外语的心理障碍，获得了外语口语学习兴趣与提高学习效率的目的。

2.本设计系统重点在于让使用者开口说话，所以设计系统避免挑战语音识别技术的难点和弱点，并特别针对华人发音特点，提出了适合华人发音的语音识别声学模板的建立方法，使得本设计中的语音识别率非常高，增加了人机互动性，因而所设计出来的学习环境特别适合于华人使用。

3.为纠正发音错误，本设计专门开设了”音谱园地”，提供了标准的外语口语发音模板。

本发明的外语口语学习系统，主要包括五个方面：

一、与说话者无关的语音识别模组；二、外语口语教学题材；三、语音输入/输出模组；四、外语口语教学应用软件；及五、显示模组。

我们以本发明所述的系统，在电脑上建立了一套适合华人英语口语学习的环境，名为”Talk To Learn”，经部分使用者试用后取得了不错的效果，首先让使用者根据性别选择“男声”，或“女声”，以运用相对应的男声或女声语音识别声学模板，从而提高语音识别率，此学习环境除了“说明”和“退出”两个辅助功能外，系统还包含了五大功能：情景对话；语法练习；造句练习；单字关连；音谱园地。

以下，结合附图说明本发明的实施例。图中：

图1显示了本发明的外语口语学习系统的结构图；

图2显示了一套“Talk To Learn”英语口语学习的环境的主画面；

图3显示了“Talk To Learn”的控制流程图；

图4显示了情景对话操作界面；

图5显示了情景对话的流程图；

图6显示了情景对话的控制流程图；

图7显示了语法练习操作界面；

图8显示了造句练习操作界面；

图9显示了单字关连操作界面；

图10显示了音谱园地操作界面。

本发明的一种外语口语学习系统的一个实施例如图1所示，它主要包括五个方面：

一、与说话者无关的语音识别模组

为了适合任何华人用户，并且他们事先无须进行复杂费时的训练，开口就能说，就可以与电脑平台进行人机对话，我们采用了与说话者无关的语音识别引擎(Speaker—Independent Voice Recognition Engine)。可以运用目前世界顶尖级语音识别公司如DragonSystem，IBM等公司的语音识别引擎。

为了特别满足华人用户的发音特征，我们选用上述语音识别引擎的同时，必须对其仅适合欧美语系的语音声学模板进行改良，即加入华人发音特征，建立适合华人的语音声学模板。其方法如下：

第一步：挑选合适的音素提供人(即录音人)，录音人的选择要求如下：

(1)不同地区：

可选择以下十大类人士：高尚且优秀之人士；

(2)不同年龄：

可选择18—60岁不同年龄段的各类成年人。

(3)男女比例：

由于男女声发音上存在很大差异，所以为了避开语音识别技术的难点和弱点。我们必须分别建立男声和女声的声学模板，因此男女录音人各占一半；

(4)文化层次：

须选择具有相当外语水准的录音人，能够比较正确和流利地朗读所要求的录音题材；

(5)人数：

人数男女各50人以上为佳。

第二步：提取这些录音数据中的声音特征值，建立语音识别用的声学模板。

二、外语口语教学题材

设计互动性较强的口语教学题材。它包括以下几个方面的内容：情景对话：语法练习；造句练习；单字关连和音谱园地。其中，音谱园地提供了所有教学题材中的词和句子的标准口语发音。

三、语音输入/输出模组

话筒(Microphone)输入提供使用者语音输入的方式。它将用户的语音输入到计算机中，(与说话者无关的)语音识别引擎将其与声学模板中的特定模板进行匹配，即进行语音识别。

扬声器(Speaker)则是给用户提供标准的外语口语发音，而声卡则主要完成模/数转换。

四、外语口语教学应用软件

它将上述功能很好地包装整合，提供用户/使用者一个方便、活泼、轻松的口语学习环境。

五、显示模组

显示设备用来显示外语口语教学题材及各种辅助信息，以提示使用顺利完成各项练习。

外语口语学习的过程大体上可以描述如下，请参考图1(图中的数字为外语口语教学的控制步骤)：

步骤一、输入语音

①使用者通过Microphone输入语音信号

步骤二、模/数转换

②声卡将语音信号从模拟信号转换成计算机可以处理的数字信号(输入)以及将计算机储存的数字语音信号转换成模拟信号(输出)

步骤三、语音识别(一)

③与说话者无关的语音识别模组(简称语音识别模组)对输入的语音信号进行识别，且与假设的N个“对象”的“模板”进行比对，若与某一”“对象n”的“模板”匹配成功，则语音识别结果判定该输入即为”对象n”。

④外语口语教学应用软件(简称应用软件)将语音输入判定为”对象n”

⑤将判定结果显示在显示设备上。

步骤三、语音识别(二)

③语音识别模组找不到任何一个“对象n”的“模板”与输入语音匹配，则语音识别结果判定该输入为”“错误输入”。

④应用软件将语音输入判定为“错误输入”。

⑤显示判定结果。

因为本设计系统重点在于让使用者开口说话，所以设计系统避免挑战语音识别上的难点和弱点，特别设计了外语口语教学题材，尽可能设计发音(声学模板)存在很大差异的“对象”作为假设对象。只要使用者的发音基本接近候选的“对象”的“模板”，就很容易与之匹配，并不会与其他“对象”的“模板”发生混淆，使使用者自信心大大提高，外语口语积极性大大提高。

步骤四、标准口语输出

棍据步骤三、语音识别(一)的结果，电脑平台会给出不同的结果⑥⑦⑧，且输出不同的标准口语与使用者进行对话。

使用者还可以随时请求电脑平台给出对话内容中的任何句子/单字的标准口语发音。

⑥是应用软件调用标准口语发音库。

⑦是声卡将数字信号转换成模拟信号轮出。

⑧是喇叭放音。

我们以本发明所述的系统，在电脑上建立了一套适合华人英语口语学习的环境，名为”Talk To Learn”，经部分使用者试用后取得了不错的效果，现详述如下：

首先让使用者根据性别选择“男声”，或“女声”，以选用相对应的男声或女声语音识别声学模板，从而提高语音识别率。然后是主画面，如图2所示，除了“说明”和“退出”两个辅助功能外，系统还包含了五大功能：情景对话；语法练习：造句练习：单字关连；音谱园地。整个系统运行的控制流程如图3所示。

以下对这五个功能分别加以说明：

一、情景对话

情景对话是模拟真实生活中的各种场景。让使用者与电脑进行互动式的交流。如图4所示的情景对话操作界面所示，在“问题区域”电脑提出一个问题后，使用者可从系统所提供的答案中挑选一个进行回答。由于这些答案并无对错之分，只不过模拟各种可能的状况，因此使用者可根据自己的感受进行回答；而系统亦会通过语音识别进行判断，并根据你的回答来进行相应的对话，因此可实现使用者与系统之间互动式的对话练习。我们以“介绍”场景为例，来看一下对话题材的设计：

topic：Introduce your self

Introduction：

Bobby has found that Robot Computer is friendly. So Bobby wants tomake friends with him. Robot is also interested in Bobby. So he is goingto ask some questions about Bobby and Bobby’s family.

Dialog：

Robot：

*1：Can yon tell me some thing about yourself？

*2：First，what’s your name？

*3：Then how old are you？

*4：But I really want to know.

*5：I guess you’re 6，right？

*6：Then you are 12 now，right？

Bobby：

1a：Yes，certainly.

1b：All right.

1c：What do you want to know？

2a：My name is Bobby.

2b：I’m Bobby.

2c：Bobby， B—O—B—B—Y，Bobby.

3a：I’m 12 years old.

3b：It’s a secret.

3c：Just guess.

4a：I’m 12.

4b：Six years ago 1 was 6.

4c：Don’t ask people about their age！

5a：Yes， you’re right.

5b：Yeah！ You’ve guessed it！

5c：Right， I’m 12.

6a：Yes， I’m 12 years old.

6b：You’re good at math.

6c：How clever you are！

其中，带*号的是机器的发音，而对应每个机器发音的句子，都有三个可能的对话。这三个可能的对话就是语音识别特识别的三个对象。

例如，机器说*1句时，可能的对话是1a或1b或1c，机器再根据不同的回答，说不同的句子，从而达到情景对话的功能。其对话路径如图5所示，整个对话的控制过程如下所示(参考图1和图6)：

步骤一、输入语音

①使用者通过话筒输入某一对象的语音信号。

步骤一、摸/数转换

②声卡将语音信号从模拟信号转换成计算机可以处理的数字信号(输入)以及将计算机储存的数字语音信号转换成模拟信号(输出)。

步骤三、语音识别(一)

③与说话者无关的语音识别模组(简称语音识别模组)对输入的语音信号进行识别，且与假设的N个“对象”的“模板”进行比对，若与某一“对象n”的“模板”匹配成功，则语音识别结果判定该输入即为“对象n”。

④外语口语教学应用软件(简称应用软件)将语音输N判定为“对象n”。

⑤将判定结果显示在显示设备上。

步骤三、语音识别(二)

⑥语音识别模组找不到任何一个“对象n”的“模板”与输入语音匹配，则语音识别结果判定该输入为“错误输入”。

⑦应用软件将语音输入判定为“错误输入”。

⑧显示判定结果。

步骤四、标准口语输出

根据步骤三、语音识别(一)的结果，电脑平台会给出不同的结果⑥⑦⑧，且输出不同的标准口语与使用者进行对话。

使用者还可以随时请求电脑平台给出对话内容中的任何句子/单字的标准口语发音。

ぁ是应用软件调用标准口语发音库。

⑥是应用软件调用标准口语发音库。

⑦是声卡将数字信号转换成模拟信号输出。

⑧是嗽叭放音。

以上所示就是情景对话中有关“自我介绍”部分的内容。另有其他部分如“兴趣爱好”等等，这里不再详细例举。在这种模拟实际生活的情景对话中，相信能让使用者勇于开口说话，而提高生活中的口语能力。

二、语法练习

语法练习是让使用者在练习英语语法时，也能进行口语练习。具体操作界面如图7的语法练习操作界面所示，其中，在“题目区”列出的题目如下：

He is surprised the Robot can speak English.

(a)which

(b)so

(c)because

(d)by

其中的四个答案就是特识别的“对象”，控制过程与情景对话类似。可以看出，在题目区列出的题目是让使用老练习语法用的。通常做法一般是选择正确答案的序号。但在本学习环境中则是朗读使用者所选定的答案。这样系统就可以对此进行语音识别，从而判断出使用者是否回答正确。在这种情况下，使用者既练习了语法，又练习了口语，从而得到了语法和口语的综合练习。

三、造句练习

造句练习是提供一组单字或调组，让使用者把它们组合成一个完整的句子。它的界面如8图所示，在题目区中列出了一组(四个)单字或词组，让使用者把他们连成句子。与传统方法(如键盘或鼠标输入)不同的是使用者可以通过朗读相应的单字或调组来进行造句。如上例四个单字或调组分别是：

(a)he is surprised

(b)can speak English

(c)the Robot

(d)because

当使用者朗读其中任何一个词组时，系统便会进行语音识别，并将识别结果显示在“答题区”中。这样，朗读完四组单字或调组后，一个完整的句子便显示在“答题区”中，并可告诉使用者答案是否正确。例如，造句后的句子如果是”he is surprised because the Robot can speak English”，则本次造句结果正确。因此，在做造句练习时，同样也得到了口语的练习。

四、单字关连

单字关连是为了让使用者找出与已知单字同意或反义的单字，从而掌握更多的单字量，为口语对话打下基础。单字关连的操作界面如图9的单字关连操作界面所示，如图7的左面的“题目区”列出了一组单字，而右面的“答题区”中有一组次序被打乱的反义词。要求使用者找出每个单字的正确的反义词。如下所示：

                  in              foolish

                  friend          dirty

                  clean           light

                  clever          enemy

                  heavy           out

练习时，当左面的某个单字反白(如图单字为in)时，使用者必须在右面找出该单字的反义词。使用者可以将选择的反义词通过朗读输入到系统，让系统进行语音识别，然后在这两个单字之间画一根线。做完全部五组后就完成了这一次的单字关连。同时系统可显示答题是否正确。这样，在做单字关连的时候，也让使用者得到了口语锻炼。其控制过程与情景对话类似。

五、音谱园地

在做以上四种练习时，都会让使用者有机会锻炼口语。为了让用户能掌握每种练习中的单字或句子的正确读音，设计了音谱园地这个练习。在任何以上四种练习中只要使用者不知道某个单字或句子如何发音，他都可以进入本音谱园地来针对这些单字或调组进行训练，从而提高英语的发青水平。音谱园地的操作界面如图10的音谱园地操作界面所示，举例来说，当用户在情景对话中想说“”very well”这句话时，如果他不会读或者是认为读得不够准确的话，他就可以进入音谱园地进行训练。如图10所示，在“标准发音波形区”中会显示标准发音的波形，同时还有“标准发音放音键”让使用者可以聆听标准发音。然后使用者学会以后可按“录音键”进行录音。录音完后就会在“用户发音波形区”显示用户发音的波形，让用户与标准发音波形进行比较，以知晓哪些部分读得正确，而哪些部分可能还读得不够好。同时还可以从声音上进行比较，不断地聆听用户发音与标准发音有何区别，自己的发音是否准确。经过这样反复的比较/训练后，相信使用者就一定能掌握该单字或调组的正确读音。

以上所述就是该学习环境的五大功能。其他一些辅助功能等与本发明无关，因此这里不再详述。

综观以上五大功能，我们发现除了情景对话能提供一个模拟的生活环境让使用者与机器进行互动的对话外其他四个功能中也都融入了口语练习。既无论使用者在做何种练习，他都必须要用口语进行回答。这样一个环境正是本发明所述的“一个外语口语学习系统”。相信在这种环境下进行外语口语的学习将得到非常有效的结果。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何熟习此技术领域者，在不脱离本发明的精神和范围内，当可作些许更动与润饰，因此本发明的保护范围当由后附权利要求书来界定。

Claims (24)

1.一种外语口语学习系统，包括：

一语音输入/输出模组，藉由该语音输入/输出模组可输入使用者的语音信号及输出标准口语发音；

一与说话者无关的语音识别模组，具有多个假设的对象模板，籍以对输入的语音信号进行识别，且与该语音识别模组内多个假设的对象模板进行比对；

一外语口语教学应用模组，籍以将该语音输入/输出模组所接收的语音信号及该与说话者无关的语音识别模组所比对的结果，判定为一特定对象；以及

一显示模组，显示该外语口语教学应用模组判定结果。

2.如权利要求1所述的外语口语学习系统，其特征在于，该输入/输出模组还包括一声卡，可将语音信号从模拟信号转换成计算机可以处理的数字信号以及将计算机储存的数字语音信号转换成模拟信号。

3.如权利要求1所述的外语口语学习系统，其特征在于，该与说话者无关的语音识别模组还包括一与说话者无关的语音识别引擎及一华人语音声学模板。

4.如权利要求3所述的外语口语学习系统，其特征在于，该与说话者无关的语音识别引擎为IBM公司的语音识别引擎。

5.如权利要求3所述的外语口语学习系统，其特征在于，该与说话者无关的语音识别引擎为Dragon System公司的语音识别引擎。

6.如权利要求3所述的外语口语学习系统，其特征在于该华人语音声学模板的建立方法，包括：

挑选不同地区、不同年龄、具有外语能力之人士作为音素提供人：以及

提取该些音素提供人的录音数据中的声音特征值，建立语音识别用的声学模板。

7.如权利要求1所述的外语口语学习系统，其特征在于，还包括一外语口语教学题材，提供所有教学题材中的标准口语发音。

8.如权利要求1所述的外语口语学习系统，其特征在于，还包括情景对话的方法，该方法是由问题区域提出一个问题后，使用者可从系统所提供的答案中挑选一个进行回答，由于这些答案并无对错之分，只不过模拟各种可能的状况，因此使用者可根据自己的威受进行回答，而系统亦会通过话音识别进行判断，并根据回答来进行相应的对话，而实现使用者与系统之间互动式的对话练习。

9.如权利要求1所述的外语口语学习系统，其特征在于，还包括语法练习的方法，该方法是由题目区提出一个让使用者练习语法用的问题，使用者可从系统所提供的答案中挑选一个进行回答，这样系统就可以对此进行语音识别，从而判断出使用者是否回答正确。

10.如权利要求1所述的外语口语学习系统，共特征在于，还包括造句练习的方法，该方法是由题目区提供一组单字或调组，让使用者把它们组合成一个完整的句子，当使用者朗读其特征在于，任何一个词组时，系统便会进行语音识别，并将识别结果显示在答题区中，朗读完所有单字或调组后，一个完整的句子便显示在答题区中，并可告诉使用者答案是否正确。

11.如权利要求1所述的外语口语学习系统，其特征在于，还包括单字关连的方法，该方法是由题目区列出了一组单字，而答题区中有一组次序被打乱的反义词或同义词，使用者必须在右面找出该单字的反义词或同义词，使用者将选择的反义词或同义词通过朗读输入到系统中，让系统进行语音识别，然后在这两个单字之间画一根线，做完后系统显示答题是否正确。

12.如权利要求1所述的外语口语学习系统，其特征在于，还包括音谱园地的方法，该方法是在标准发音波形区中会显示标准发音的波形，且具有标准发音放音键让使用者可以聆听标准发音，使用者亦可按录音键进行录音，录音完后就会在用户发音波形区显示用户发音的波形。

13.一种外语口语学习方法，包括：

执行一语音输入/输出模组，藉由执行该语音输入/输出模组可输入使用者的语音信号及输出标准口语发音：

执行一与说话者无关的语音识别模组，该与谈话者无关的语音识别模组具有多个假设的对象模板，籍以对输入的语音信号进行识别，且与该语音识别模组内的多个假设的对象模板进行比对；

执行一外语口语教学应用模组，藉以将该语音输入/输出模组所接收的语音信号及该与说话者无关的语音识别模组所比对的结果，判定为一特定对象；以及

执行一显示模组，显示该外语口语教学应用模组判定结果。

14.如权利要求13所述的外语口语学习方法，其特征在于，该输入/输出模组，还包括一声卡，可将语音信号从模拟信号转换成计算机可以处理的数字信号以及将计算机储存的数字语音信号转换成模拟信号。

15.如权利要求13所述的外语口语学习方法，其特征在于，该与说话者无关的语音识别模组，还包括一与说话者无关的语音识别引擎及一华人语音声学模板。

16.如权利要求15所述的外语口语学习方法，其特征在于，该与说话者无关的语音识别引擎为IBM公司的语音识别引擎。

17.如权利要求15所述的外语口语学习方法，其特征在于，该与说话者无关的语音识别引擎可以为Dragon System公司的语音识别引擎。

18.如权利要求15所述的外语口语学习方法，其特征在于，该华人语音声学模板的建立方法，包括：

挑选不同地区、不同年龄、具有外语能力之人士作为音素提供人；以及

提取该些音素提供人的录音数据中的声音特征值，建立语音识别用的声学模板。

19.如权利要求13所述的外语口语学习方法，其特征在于，还包括执行一外语口语教学题材，提供所有教学题材中的标准口语发音。

20.如权利要求13所述的外语口语学习方法，其特征在于，还包括情景对话的方法，该方法是由问题区域提出一个问题后，使用者可从系统所提供的答案中挑选一个进行回答，由于这些答案并无对错之分，只不过模拟各种可能的状况，因此使用者可根据自己的感受进行回答，而系统亦会通过话音识别进行判断，并根据回答来进行相应的对话，而实现使用者与系统之间互动式的对话练习。

21.如权利要求13所述的外语口语学习方法，其特征在于，还包括语法练习的方法，该方法是由题目区提出一个让使用者练习语法用的问题，使用者可从系统所提供的答案中挑选一个进行回答，这样系统就可以对此进行语音识别，从而判断出使用者是否回答正确。

22.如权利要求13所述的外语口语学习方法，其特征在于，还包括造句练习的方法，该方法是由题目区提供一组单字或调组，让使用者把它们组合成一个完整的句子，当使用者朗读其特征在于，任何一个词组时，系统便会进行语音识别，并将识别结果显示在答题区中，朗读完所有单字或调组后，一个完整的句子便显示在答题区中，并可告诉使用者答案是否正确。

23.如权利要求13所述的外语口语学习方法，其特征在于，还包括单字关连的方法，该方法是由题目区列出了一组单字，而答题区中有一组次序被打乱的反义词或同义词，使用者必须在右面技出该单字的反义词或同义词，使用者将选择的反义词或同义词通过朗读输入到系统中，让系统进行语音识别，然后在这两个单字之间画一根线，做完后系统显示答题是否正确。

24.如权利要求13所述的外语口语学习方法，其特征在于，还包括音谱园地的方法，该方法是在标准发音波形区中会显示标准发音的波形，且具有标准发音放音键让使用者可以聆听标准发音，使用者亦可按录音键进行录音，录音完后就会在用户发音波形区显示用户发音的波形。

Images