CN101630448A - 语言学习客户端及系统 - Google Patents

Abstract

一种语言学习客户端及系统。所述语言学习客户端包括：网络与数据管理单元，用于获取课程文件，所述课程文件至少包括课程内容，所述课程内容至少包括标准读音的音频及对应的文本；图形化用户界面单元，用于显示图形化操作界面及课程内容和课程学习记录，将用户的图形化操作转换成操作指令；多媒体文件处理单元，用于对网络与数据管理单元提供的课程文件进行解码并播放；获取用户声音数据，将所述用户声音数据以及标准读音的音频转换成语音数据；语音评价单元，用于将多媒体文件处理单元提供的语音数据进行比较，给出评分。所述语言学习客户端及系统提高了辅助语言学习的效率。

Description

语言学习客户端及系统

技术领域

本发明涉及计算机辅助语言学习装置，特别涉及语言学习客户端及语言学习系统。

背景技术

听说能力的提高是外语学习中的重要环节。而对于外语学习者来说，由于缺乏语音环境和实践机会，普遍感觉听说能力提高困难。因而较有效的方法是通过强化听说训练来锻炼自己的听说能力。

最初，强化听说训练可以通过反复跟读录音机中的标准发音语句来进行。而随着计算机应用的普及，也开始出现了计算机辅助语言学习工具。例如申请号为88107789.5的中国专利申请就公开了一种计算机外语听力学习装置，所述装置由计算机，控制接口板和录音机组成。计算机和录音机同步工作，能程序化自动寻找，自动播放语句，在连续或反复播放中可以自选停顿时间，以便复述所听内容，还可以随时要求在屏幕上提示关键词、原文、中文译文等信息。而为了方便学习者调整学习进程，在另一申请号为200410068308.6的中国专利申请还公开了一种使用数字音频的和字幕数据的学习方法和装置。当学习语言时，可以同时或者有选择地输出声音和文本。可在能够存储数字音频文件和字幕数据的重现装置中实现该目的。可以根据学习进程来调整声音、乐曲伴奏和字幕数据的输出。重现装置应该有两个或多个声道，并且声道可以存储不同的内容。用户可以任意选择不同的声道。

然而，目前的辅助语言学习工具大多只注重于学习教材的发音播放和文字翻译，学习者无法通过辅助语言学习工具判断自己的发音是否准确，因而学习者和辅助语言学习工具之间缺乏互动，从而辅助语言学习工具的辅助效率较低。

发明内容

本发明解决的问题是现有辅助语言学习工具无法提供语言学习互动，从而辅助效率较低的问题。

为解决上述问题，本发明提供一种语言学习客户端，包括，

网络与数据管理单元，用于获取课程文件，所述课程文件至少包括课程内容，所述课程内容至少包括标准读音的音频及对应的文本；

图形化用户界面单元，用于显示图形化操作界面及显示课程内容和课程学习记录，将用户的图形化操作转换成操作指令；

多媒体文件处理单元，用于对网络与数据管理单元提供的课程文件进行解码并播放；还用于获取用户声音数据，将所述用户声音数据以及标准读音的音频转换成语音数据；

语音评价单元，用于将多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行比较，给出评分。

其中，多媒体文件处理元和语音评价单元的操作是根据图形化用户界面单元提供的操作指令进行的。

相应地，本发明还提供一种语言学习系统，包括语言学习客户端和服务器，

所述服务器用于存储课程文件，所述课程文件至少包括课程内容，所述课程内容至少包括标准读音的音频及对应的文本；

所述语言学习客户端包括，

网络与数据管理单元，用于获取课程文件，所述课程文件包括课程内容和课程学习记录，所述课程内容至少包括标准读音的音频及对应的文本；

图形化用户界面单元，用于显示图形化操作界面及显示课程内容和课程学习记录，将用户的图形化操作转换成操作指令；

多媒体文件处理单元，用于对网络与数据管理单元提供的课程文件进行解码并播放；还用于获取用户声音数据，将所述用户声音数据以及标准读音的音频转换成语音数据；

语音评价单元，用于将多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行比较，给出评分，

其中，多媒体文件处理元和语音评价单元的操作是根据图形化用户界面单元提供的操作指令进行的。

相应地，本发明还提供一种语言学习系统，包括语言学习客户端和内容制作工具，

所述语言学习客户端包括，

网络与数据管理单元，用于获取课程文件，所述课程文件至少包括课程内容，所述课程内容至少包括标准读音的音频及对应的文本；

图形化用户界面单元，用于显示图形化操作界面及显示课程内容和课程学习记录，将用户的图形化操作转换成操作指令；

多媒体文件处理单元，用于对网络与数据管理单元提供的课程文件进行解码并播放；还用于获取用户声音数据，将所述用户声音数据以及标准读音的音频转换成语音数据；

语音评价单元，用于将多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行比较，给出评分，

其中，多媒体文件处理元和语音评价单元的操作是根据图形化用户界面单元提供的操作指令进行的；

所述内容制作工具用于制作课程文件。

与现有技术相比，上述方案具有以下优点：所述语言学习客户端及系统通过获得用户声音数据，将之与标准读音进行比较并给出评分及建议，从而使得用户能直观获得发音的准确度信息，从而提高了辅助语言学习的效率。

附图说明

图1是本发明语言学习客户端的一种实施例示意图；

图2至图6是图1所示语言学习客户端的应用实例图；

图7是本发明语言学习客户端的另一种实施例示意图；

图8是包含图1或图7所示语言学习客户端的语言学习系统示意图；

图9是图8所示语言学习系统中的内容制作工具结构图；

图10是图9所示内容制作工具的预处理单元结构图；

图11是应用图9所示内容制作工具制作课程文件流程图；

图12至图19是图11所示制作课程文件流程的示意图；

图20是图1或图7所示客户端制作为网页插件的实施例示意图。

具体实施方式

本发明语言学习客户端及系统通过获得用户声音数据，将之与标准读音进行比较并给出评分及建议，从而使得用户能直观获得发音的准确度信息。

参照图1所示，本发明语言学习客户端的一种实施例包括：

网络与数据管理单元10，用于获取课程文件，所述课程文件包括课程内容和课程学习记录，所述课程内容至少包括标准读音的音频及对应的文本；

图形化用户界面单元40，用于显示图形化操作界面及显示课程内容和课程学习记录，将用户的图形化操作转换成操作指令；

多媒体文件处理单元20，用于对网络与数据管理单元10提供的课程文件进行解码并播放；还用于获取用户声音数据，将所述用户声音数据以及标准读音的音频转换成语音数据；

语音评价单元30，用于将多媒体文件处理单元20提供的转换为语音数据的用户声音数据与标准读音的音频进行比较，给出评分。

其中，多媒体文件处理元20和语音评价单元30的操作是根据图形化用户界面单元40提供的操作指令进行的。

在语言学习客户端的其他实施例中，所述课程内容还包括视频及对应的文本，所述视频中包括标准读音的音频。所述课程文件还可以包括描述音频与文本对应关系的描述文件、描述视频与文本对应关系的描述文件以及用户信息、课程名称、课程类别等描述性信息。

所述图形化用户界面单元40根据所述描述文件，在所述多媒体文件处理单元20播放音频或视频时，显示对应的文本内容。

下面以一个具体实施例的形式，对语言学习客户端进行进一步说明。

参照图2所示，所述语言学习客户端提供图形化用户界面。所述用户界面的显示区域包括两部分：分区1′和分区2′。分区1′显示的内容为课程文件，包括课程内容和课程学习记录，所述课程内容包括例如课程名称、课程类别、课程文本内容及翻译等，所述课程学习记录包括例如本地用户信息、本地或异地用户练习时间、本地或异地用户在所述课程中的朗读内容得分、当前句子被本地或异地用户练习次数、本地或异地用户练习当前句子时所获最高分、平均分等；而分区2′则为操作界面，包括例如“单句”、“下一句”、“上一句”、“我的读音”、“开始录音”、“标准读音”等操作按钮。

分区1′显示的内容中，所述课程内容和课程学习记录可以由图形化用户界面单元40从网络与数据管理单元10提供的课程文件中获得。

在语言学习过程中可以有两种方法实现听读能力的练习，一种是听读标准读音，另一种则是将自己所朗读的文本录音，并与文本对应的标准读音进行比较，以获得朗读能力的评分。本例的语言学习客户端即可提供这两种练习的图形化操作。

对于听取标准读音的图形化操作，继续参照图2所示，可以通过点击分区2′中的“标准读音”按钮，而所述图形化用户界面单元40就会将点击“标准读音”按钮的图形化操作转换成播放标准读音的操作指令，并发送至多媒体文件处理单元20。所述多媒体文件处理单元20就会将从所述网络与数据管理单元10获取的课程文件中的标准读音的音频文件进行解码并播放，而所述音频文件对应的文本内容，则由所述图形化用户界面单元40在分区1′中显示。如此，就可通过边看文本内容，边听取标准读音来进行听读能力的练习。

若课程文件中还有视频文件及对应的文本内容的话，参照图3所示，可以通过点击分区2′中的相应操作按钮来边观看视频边练习。而所述图形化用户界面单元40就会将点击按钮的图形化操作转换成播放视频的操作指令，并发送至多媒体文件处理单元20。所述多媒体文件处理单元20可以将所述网络与数据管理单元10发送的课程文件中的标准读音的视频文件进行解码并播放，而所述视频文件对应的文本内容，则由所述图形化用户界面单元40从所述网络与数据管理单元10发送的课程文件中选取并在分区1′中显示。如此，就可通过边看文本内容，边听取标准读音，边观看视频来进行听读能力的练习，从而也增加了听读练习的方式。当完成练习后，继续参照图3所示，通过点击分区2′中“停止播放”按钮来关闭视频，所述图形化用户界面单元40就会将点击“停止播放”按钮的图形化操作转换成停止播放视频的操作指令，并发送至多媒体文件处理单元20。所述多媒体文件处理单元20就会停止播放视频文件。

为了进一步提高听读练习的效果，本例中的语言学习客户端还可以提供播放标准读音时的文本内容同步高亮显示，即当标准读音播放到某一句时，该句的文本内容也将高亮显示，从而进一步方便用户跟读。而这一功能的实现，则可以由所述图形化用户界面单元40从所述网络与数据管理单元10获取的课程文件中获得视频与文本对应关系的描述文件。继续参照图3所示，当所述多媒体文件处理单元20播放标准读音的视频文件时，所述图形化用户界面单元40就可以通过读取所述视频与文本对应关系的描述文件，在分区2′中进行文本内容的同步高亮显示。

而对于将自己所朗读的文本录音，并与文本对应的标准读音进行比较的图形化操作，继续参照图2或图3所示，可以通过点击分区2′中的“开始录音”按钮，并对照所显示的课程文本进行朗读。而所述图形化用户界面单元40就会将点击“开始录音”按钮的图形化操作转换成录音的操作指令，并发送至所述多媒体文件处理单元20和所述语音评价单元30。所述多媒体文件处理单元20就会获取用户朗读课程文本的录音，并将所述用户声音数据以及从所述网络与数据管理单元10获取的课程文件中的标准读音的音频文件转换成语音数据发送至语音评价单元30。所述语音评价单元30在获得所述用户声音数据和标准读音的音频后，就会根据所述图形化用户界面单元40发送的录音的操作指令，对用户声音数据和标准读音的音频进行比较分析。

所述语音评价单元30可以包括切分单元和比较单元。所述切分单元，用于对多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行切分；而所述比较单元，用于对切分后的用户声音数据与标准读音的音频进行比较，给出评分。

所述比较单元可以采用例如发音和语调等指标来对切分后的用户声音数据和标准读音的音频进行比较分析。以采用发音指标来对用户声音数据和标准读音的音频进行比较分析的过程为例，所述语音评价单元30首先会分别对所获得的用户声音数据的语音数据和标准读音的音频的语音数据进行切分，以获得最小比较单位，通常来说都是以单词和音节作为最小比较单位。并且，用户声音数据和标准读音的最小比较单位是一一对应的，即用户声音数据和标准读音的每一个比较单位对应的文本内容是一致的，例如将用户声音数据中单词“then”与标准读音中单词“then”作为比较单位。然后，分别抽取用户声音数据的语音数据和标准读音的音频中的发音特征数据进行比较，例如抽取用户声音数据中单词“then”的发音特征数据和标准读音中单词“then”的发音特征数据进行比较，根据用户声音数据的发音特征数据与标准读音的发音特征数据的相似度给出评分及建议，并发送给所述图形化用户界面单元40以显示，例如参照图4所示，在分区1′中给予发音得分82分，语调得分79分，并提示可将“then”的声音发得大声点作为建议。

为了进一步给出更为直观的比较分析结果，所述语音评价单元30还可以向所述图形化用户界面单元40发送代表评分的柱状图数据，例如参照图5所示，由所述图形化用户界面单元40在分区1′中显示柱状图以获得更直观的评分结果。

采用语调指标来对用户声音数据和标准读音的音频进行比较分析的过程可参照上述对发音的比较分析说明，不同之处仅在于对于语调，可以从例如节奏、重读、音调等方面来对用户声音数据和标准读音的音频中的相应特征数据进行比较分析。

在使用上述的语言学习客户端完成所述课程练习后，所述图形化用户界面单元40还可以汇总本地用户练习所述课程的学习记录信息，并发送至网络与数据管理单元10，从而所述语言学习客户端可通过网络与数据管理单元10与其他异地用户实现学习记录信息共享，例如参照图6所示，本地用户对课程中某句句子的听读次数、最高分数、最低分数等已被所述图形化用户界面单元40获取并在分区1′中显示，而异地用户对同一课程的同一句句子的听读次数、最高分数、最低分数等也已通过所述图形化用户界面单元40在分区1′中显示出来。

甚至，还可将练习所述课程的录音共享。例如，将所述多媒体文件处理单元20获取的用户声音数据通过所述网络与数据管理单元10进行共享。例如继续参照图6所示，已获知异地用户smilingday对当前句子的得分为最高的96分，那么就可以通过所述客户端的多媒体文件处理单元20从网络与数据管理单元10中获取异地用户smilingday的录音进行播放(在分区1′中点击耳机的图标)，通过听取该异地用户的录音来达到借鉴的目的。

参照图7所示，本发明语言学习客户端的另一种实施例包括：

网络与数据管理单元10′，用于获取课程文件，所述课程文件包括课程内容和课程学习记录，所述课程内容至少包括标准读音的音频及对应的文本；

图形化用户界面单元40′，用于显示图形化操作界面及显示课程内容和课程学习记录，将用户的图形化操作转换成操作指令

任务分配处理单元50′，用于将所述图形化用户界面单元40′提供的操作指令相应发送至多媒体文件处理单元20′或语音评价单元30′，将所述网络与数据管理单元10′所获取的与所述操作指令对应的课程文件相应发送至多媒体文件处理单元20′或语音评价单元30′；

多媒体文件处理单元20′，用于对网络与数据管理单元10′提供的课程文件进行解码并播放；还用于获取用户声音数据，将所述用户声音数据以及标准读音的音频转换成语音数据；

所述语音评价单元30′，用于将多媒体文件处理单元20′提供的转换为语音数据的用户声音数据与标准读音的音频进行比较，给出评分，

其中，多媒体文件处理元20′和语音评价单元30′的操作是根据任务分配处理单元50′提供的操作指令进行的。

在语言学习客户端的其他实施例中，所述课程内容还包括视频及对应的文本，所述视频中包括标准读音的音频。所述课程文件还可以包括描述音频与文本对应关系的描述文件、描述视频与文本对应关系的描述文件以及用户信息、课程名称、课程类别等描述性信息。

所述图形化用户界面单元40′根据所述描述文件，在所述多媒体文件处理单元20′播放音频或视频时，显示对应的文本内容。

下面以一个具体实施例的形式，对语言学习客户端进行进一步说明。

继续参照图2所示，所述语言学习客户端提供图形化用户界面。所述用户界面的显示区域包括两部分：分区1′和分区2′，分区1′显示的内容为课程文件，包括课程内容和课程学习记录，所述课程内容包括例如课程名称、课程类别、课程文本内容及翻译等，所述课程学习记录包括例如本地用户信息、本地或异地用户练习时间、本地或异地用户在所述课程中的朗读内容得分、当前句子被本地或异地用户练习次数、本地或异地用户练习当前句子时所获最高分、平均分等；而分区2′则为操作界面，包括例如“单句”、“下一句”、“上一句”、“我的读音”、“开始录音”、“标准读音”等操作按钮。

分区1′显示的内容中，所述课程内容和课程学习记录可以由图形化用户界面单元40′从任务分配处理单元50′提供的课程文件获得，而任务分配处理单元50′的课程文件从网络与数据管理单元10′中获得。

在语言学习过程中可以有两种方法实现听读能力的练习，一种是听读标准读音，另一种则是将自己所朗读的文本录音，并与文本对应的标准读音进行比较，以获得朗读能力的评分。本例的语言学习客户端即可提供这两种练习的图形化操作。

对于听取标准读音的图形化操作，继续参照图2所示，可以通过点击分区2′中“标准读音”按钮，而所述图形化用户界面单元40′就会将点击“标准读音”按钮的图形化操作转换成播放标准读音的操作指令，并发送至任务分配处理单元50′。所述任务分配处理单元50′会根据所述播放标准读音的操作指令从所述网络与数据管理单元10′发送的课程文件中选取标准读音的音频文件，并连同所述播放标准读音的操作指令一并发送至多媒体文件处理单元20′，所述多媒体文件处理单元20′在获得所述操作指令后，就会将所获得的标准读音的音频文件进行解码并播放，而所述音频文件对应的文本内容，则由任务分配处理单元50′从所述网络与数据管理单元10′发送的课程文件中选取并发送至所述图形化用户界面单元40′，以在分区1′中显示。如此，就可通过边看文本内容，边听取标准读音来进行听读能力的练习。

若课程文件中还有视频文件及对应的文本内容的话，继续参照图3所示，可以通过点击分区2′中相应操作按钮来边观看视频边练习。而所述图形化用户界面单元40′就会将点击按钮的图形化操作转换成播放视频的操作指令，并发送至任务分配处理单元50′。所述任务分配处理单元50′会根据所述播放视频的操作指令从所述网络与数据管理单元10′发送的课程文件中选取视频文件，并连同所述播放视频的操作指令一并发送至多媒体文件处理单元20′。所述多媒体文件处理单元20′在获得所述操作指令后，就会将所获得的视频文件进行解码并播放。而所述视频文件对应的文本内容，则由任务分配处理单元50′从所述网络与数据管理单元10′发送的课程文件中选取并发送至所述图形化用户界面单元40′以在分区1′中显示。如此，就可通过边看文本内容，边听取标准读音，边观看视频来进行听读能力的练习，从而也增加了听读练习的方式。当完成练习后，继续参照图3所示，通过点击分区2′中“停止播放”按钮来关闭视频，所述图形化用户界面单元40′就会将点击“停止播放”按钮的图形化操作转换成停止播放视频的操作指令，并发送任务分配处理单元50′，由任务分配处理单元50′将所述停止播放视频的操作指令发送至多媒体文件处理单元20′。所述多媒体文件处理单元20′就会停止播放视频文件。

为了进一步提高听读练习的效果，本例中的语言学习客户端还可以提供播放标准读音时的文本内容同步高亮显示，即当标准读音播放到某一句时，该句的文本内容也将高亮显示，从而进一步方便用户跟读。而这一功能的实现，则可以由所述任务分配处理单元50′从所述网络与数据管理单元10′获取的课程文件中获得视频与文本对应关系的描述文件，并发送至所述图形化用户界面单元40′。继续参照图3所示，当所述多媒体文件处理单元20′播放标准读音的视频文件时，所述图形化用户界面单元40′就可以通过读取所述视频与文本对应关系的描述文件，在分区1′中进行文本内容的同步高亮显示。

而对于将自己所朗读的文本录音，并与文本对应的标准读音进行比较的图形化操作，继续参照图2或图3所示，可以通过点击分区2′中“开始录音”按钮，并对照所显示的课程文本进行朗读。而所述图形化用户界面单元40′就会将点击“开始录音”按钮的图形化操作转换成录音的操作指令，并发送至任务分配处理单元50′。所述任务分配处理单元50′会将所述录音的操作指令发送至所述多媒体文件处理单元20′，指示所述多媒体文件处理单元20′获取用户声音数据以及将所述用户声音数据转换成语音数据发送至所述语音评价单元30′。并且，所述任务分配处理单元50′还从所述网络与数据管理单元10′获取的课程文件中选取标准读音的音频文件发送至所述多媒体文件处理单元20′，指示所述多媒体文件处理单元20′将所述标准读音的音频文件也转换成语音数据发送至所述语音评价单元30′。所述语音评价单元30′在获得所述用户声音数据和标准读音的音频后，就会对用户声音数据和标准读音进行比较分析。当然，所述语音评价单元30′也可以在接收到所述任务分配处理单元50′发送的分析指令后再对用户声音数据和标准读音的音频进行比较分析。

所述语音评价单元30′可以包括切分单元和比较单元。所述切分单元，用于对多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行切分；而所述比较单元，用于对切分后的用户声音数据与标准读音的音频进行比较，给出评分。

所述比较单元可以采用例如发音和语调等指标来对用户声音数据和标准读音的音频进行比较分析。以采用发音指标来对用户声音数据和标准读音的音频进行比较分析的过程为例，所述语音评价单元30′首先会分别对所获得的用户声音数据的语音数据和标准读音的音频的语音数据进行切分，以获得最小比较单位，通常来说都是以单词和音节作为最小比较单位。并且，用户声音数据和标准读音的最小比较单位是一一对应的，即用户声音数据和标准读音的每一个比较单位对应的文本内容是一致的，例如将用户声音数据中单词“then”与标准读音中单词“then”作为比较单位。然后，分别抽取用户声音数据的语音数据和标准读音的音频中的发音特征数据进行比较，例如抽取用户声音数据中单词“then”的发音特征数据和标准读音中单词“then”的发音特征数据进行比较，根据用户声音数据的发音特征数据与标准读音的发音特征数据的相似度给出评分及建议，并发送给所述任务分配处理单元50′，由所述任务分配处理单元50′将所述评分及建议发送至图形化用户界面单元40′以显示，例如继续参照图4所示，在分区1′中给予发音得分82分，语调得分79分，并提示可将“then”的声音发得大声点作为建议。

为了进一步给出更为直观的比较分析结果，所述语音评价单元30′还可以向所述任务分配处理单元50′发送代表评分的柱状图数据，由所述任务分配处理单元50′将所述柱状图数据发送至所述用户界面单元40′以显示，例如继续参照图5所示，通过所述图形化用户界面40′在分区1′中显示的柱状图能够获得更直观的评分结果。

采用语调指标来对用户声音数据和标准读音的音频进行比较分析的过程可参照上述对发音的比较分析说明，不同之处仅在于对于语调，可以从例如节奏、重读、音调等方面来对用户声音数据和标准读音的音频中的相应特征数据进行比较分析。

在使用上述的语言学习客户端完成所述课程练习后，所述图形化用户界面单元40′还可以汇总本地用户练习所述课程的学习记录信息，籍由所述任务分配处理单元50′发送至网络与数据管理单元10′，从而所述语言学习客户端可通过网络与数据管理单元10′与其他异地用户实现学习记录信息共享，例如继续参照图6所示，本地用户对课程中某句句子的听读次数、最高分数、最低分数等已被所述图形化用户界面单元40′获取并在分区1′中显示，而异地用户对同一课程的同一句句子的听读次数、最高分数、最低分数等也已通过所述图形化用户界面单元40′在分区1′中显示出来。

甚至，还可将练习所述课程的录音共享。例如，将所述多媒体文件处理单元20′获取的用户声音数据通过所述网络与数据管理单元10′进行共享。例如继续参照图6所示，已获知异地用户smilingday对当前句子的得分为最高的96分，那么就可以通过所述客户端的任务分配处理单元50′从网络与数据管理单元10′中获取异地用户smilingday的录音，并发送至多媒体文件处理单元20′进行播放(通过点击分区1′中的耳机图标)，通过听取该异地用户的录音来达到借鉴的目的。

另外，上述实施例的语言学习客户端还可作成网页插件，这样就可以通过在浏览器中加载所述网页插件来在网页上实现所述语言学习客户端的功能。所述网页插件可以包括ActiveX控件和Flash控件。下面以ActiveX控件为例，对网页插件的具体实施过程进行详细说明。例如，参照图20所示，为所述语言学习客户端在网页上实现用户声音数据评价的实例，通过在网页4′上选择句子，点击“Benchmark”按钮，所述语言学习客户端的图形化用户界面单元就会将所述操作转换成播放标准读音的指令，并发送给多媒体文件处理单元，由多媒体文件处理单元播放标准读音。

而当点击“Record”按钮，并朗读该句子时，所述语言学习客户端的图形化用户界面单元就会将所述操作转换成录音的指令，并发送给多媒体文件处理单元，由多媒体文件处理单元获得用户声音数据数据，并随同标准读音数据一通同发送给语音评价单元，由所述语音评价单元给出评价及建议，并由所述图形化用户界面单元将所述评分及建议显示。例如，对于所选择的句子“Every year，thousands of students travel to foreign countries to study”的用户声音数据，在“Feedback”栏目中给出了27分的评分，并且“Details”栏目中给出了该句中每一个单词的评分。

Flash控件的实现形式与ActiveX控件的实现形式类似，此处就不再赘述了。

参照图8所示，本发明语言学习系统的一种实施方式包括：

服务器2，用于存储课程文件，所述课程文件包括课程内容和课程学习记录，而课程内容包括课程文本内容和对应的音频内容或视频内容；

语言学习客户端1，用于从所述服务器1上获取课程文件，提供图形化用户界面进行语言学习。

所述语言学习客户端1可以使用上述实施例中所说明的语言学习客户端。

在所述语言学习系统的其他实施例中，还可以包括内容制作工具3，所述内容制作工具3用于制作课程文件，并可以上传至服务器2，供其他用户使用语言学习客户端1下载使用。

参照图9所示，所述内容制作工具3的一种实例包括：

图形化用户界面单元100，用于显示图形化操作界面及显示课程信息，将用户的图形化操作转换成操作指令；

预处理单元200，用于对所获得的多媒体素材和对应的文本素材进行预处理，获得多媒体预处理文件和文本预处理文件；

匹配单元300，用于对预处理单元200提供的多媒体预处理文件和文本预处理文件进行匹配处理，获得表示多媒体预处理文件和文本预处理文件内容对应关系的描述文件；

上传单元400，用于将所述多媒体预处理文件、文本预处理文件和描述文件打包成课程文件，上传至服务器。

参照图10所示，所述预处理单元200可以包括文本预处理单元201和多媒体预处理单元202，分别用于对文本素材预处理获得文本预处理文件以及对多媒体素材预处理获得多媒体预处理文件。

根据之前对语言学习客户端的说明可知，一般来说课程文件都包含多媒体文件和对应的文本文件，所述多媒体文件可以是音频文件，也可以是视频文件，通过收听音频文件或收看视频文件并对照所显示的文本，即可进行有针对性的语言练习了。因而，所述多媒体素材可以包括音频素材和视频素材，所述音频素材可以是例如电台的外语广播录音、外语原声演讲等，而所述视频素材可以是例如外语原版电影、外语电台广播的视频录像等。而所述文本素材则是与这些多媒体素材对应的文本内容，以外语原声演讲为例，所述文本素材就可以是所述外语原声演讲的演讲稿。

当所述文本预处理单元201和所述多媒体预处理单元202获得了各自素材后，就开始对所述素材进行预处理，并在预处理之后通过匹配单元300对多媒体预处理文件和文本预处理文件进行匹配处理，以最终形成课程文件。所述预处理及匹配而最终形成课程文件的过程可以参照图11所示的方法：

执行步骤s100，检查所述文本素材的文本内容中是否有生词或词语的特殊用法，若有，则执行步骤s100′；若无则执行步骤s101。步骤s100′，对生词标注音标，对特殊用法解析。

步骤s100可以通过在所述图形化用户界面单元100提供的图形化用户界面上操作来实现。例如参照图12所示，在用户界面3′中的输入文件栏中指定音频文件和对应的英文脚本文件的位置，然后点击“下一步”按钮。所述图形化界面单元100就会将所述图形化操作转换成检查文本内容中是否有生词或词语的特殊用法的操作指令，并发送至所述文本预处理单元201中。而所述文本预处理单元201在获得所述操作指令后，就会读取所述文本素材并扫描。

当发现所述文本素材的文本内容中存在生词时，所述文本预处理单元201就会根据预先已存有的常规发音规则对所述生词进行音标预标注，并将结果反馈给所述图形化用户界面单元100显示。当用户确认使用所述预标注的音标时，则可通过用户界面发送确认信息，即点击相应图形化操作按钮。所述图形化用户界面单元100就会将所述图形化操作转换成确认所述预标注音标的指令并发送至所述文本预处理单元201。在获得了所述确认预标注音标的指令后，所述文本预处理单元201就会将所述音标与所述生词进行标记对应。而当用户需要对所述预标注的音标进行修改时，也可点击相应图形化操作按钮。所述图形化用户界面单元100就会将所述图形化操作转换成修改所述预标注音标的指令，并连同修改的音标一并发送至所述文本预处理单元201。在获得了所述修改预标注音标的指令后，所述文本预处理单元201就会将所述新的音标与所述生词进行标记对应。当以后所述文本用于语言练习时，结合图1所示，语音评价单元30就可以依据该音标对用户的发音进行评价，而在用户跟读标准读音时，就能在显示所述生词的同时提供音标的显示，方便用户根据音标跟读。例如，参照图13所示，所述文本预处理单元201在扫描文本时发现生词“Gansu”，就对所述生词进行音标预标注

，并由图形化用户界面单元100在用户界面3′中显示。若用户确认所述预标注音标正确，则可点击“确定”按钮，而若认为不正确，则可点选所显示的音标按钮，并点击“修改”按钮来对所标注的音标进行修改。

当发现所述文本素材的文本内容中存在词语的特殊用法时，例如非语言练习所使用的语种或数字或符号，所述文本预处理单元201就会根据预先已存有的一些特殊词或符号的词库来对这些特殊用法进行预解析，并将预解析反馈给所述图形化用户界面单元100显示。当用户确认使用所述预解析时，就可点击相应图形化操作按钮。所述图形化用户界面100就会将所述图形化操作转换成确认所述预解析的指令并发送至所述文本预处理单元201。在获得了所述确认预解析的指令后，所述文本预处理单元201就会将所述预解析与所述词语进行标记对应。而当用户需要对所述预解析进行修改时，也可点击相应图形化操作按钮。所述图形化用户界面100就会将所述图形化操作转换成修改所述预解析的指令，并连同修改的解析内容一并发送至所述文本预处理单元201。在获得了所述修改预解析的指令后，所述文本预处理单元201就会将所述新的解析内容与所述词语进行标记对应。当以后所述文本用于语言练习时，语音评价单元30就可以依据所述解析对用户的发音进行评价，而在用户跟读标准读音时，就能在显示所述特殊词语的同时提供相关解析，方便用户。例如，参照图14所示，所述文本预处理单元201在扫描文本时发现数字“ 100”，就会将“100”预解析成“one hundred”，并由图形化用户界面单元100在用户界面3′中显示。若用户确认所述预解析正确，则可点击“确定”按钮，而若认为不正确，则可点选所显示的字母按钮，并点击“修改”按钮来对预解析内容进行修改。

若扫描文本内容后未发现生词或词语的特殊用法，则执行步骤s101，对所述文本内容进行分隔。本步骤可以通过在所述图形化用户界面单元100提供的图形化用户界面上操作来实现。例如参照图15所示，在用户界面3′上点击“自动分隔”按钮。所述图形化用户界面单元100就会将所述图形化操作转换成自动分隔文本内容的操作指令，并发送至所述文本预处理单元201。而所述文本预处理单元201在获得了所述操作指令后，就会根据标点符号，依照已存有的一般句子分隔规则来对文本内容进行分隔，并按分隔的顺序对每一句句子进行编号。在分隔完成后，所述文本预处理单元201会将所述分隔结果反馈给图形化用户界面单元100以在用户界面3′显示。

若用户确认使用所述分隔结果，则可点击相应图形化操作按钮，所述图形化用户界面单元100会将所述图形化操作转换成确认自动分隔的操作指令，并发送至所述文本预处理单元201。而所述文本预处理单元201在获得所述操作指令后，就会将所述句子编号等分隔信息与所述文本进行标记对应。例如继续参照图15所示，所述文本预处理单元201将所述文本内容分隔成11句句子，若用户确认所述分隔，则可点击“下一步”按钮。

而若用户需要对所述分隔结果进行修改，则可点击相应图形化操作按钮，所述图形化用户界面单元100会将所述图形化操作转换成修改分隔结果的操作指令，并连同修改后的分隔信息一并发送至所述文本预处理单元201。而所述文本预处理单元201在获得所述操作指令后，就会将所述修改后的分隔信息与所述文本进行标记对应。例如继续参照图15所示，所述文本预处理单元201将所述文本内容分隔成11句句子，若用户需要对所述分隔结果手动修改，则可点击“全部清除”按钮全部清除自动分隔的句子编号等信息，然后通过点击“增加分隔”和“删除分隔”按钮来进行手动分隔。当然，也可不全部清除自动分隔的句子编号等信息，而通过点击“增加分隔”和“删除分隔”按钮对自动分隔结果进行手动局部调整。

在完成对文本分隔的确认之后，所述文本预处理单元201还会将包含所述分隔信息的文本预处理文件发送至匹配单元300待用。

接下来执行步骤s102，对多媒体文件进行分隔。本步骤可以通过在所述图形化用户界面单元100提供的图形化用户界面上操作来实现。例如，参照图15所示，在用户点击“开始分隔”按钮之后，也相当于发送了对多媒体文件进行分隔的信息。所述图形化用户界面单元100就会将所述图形化操作转换成对多媒体文件进行分隔的操作指令，并发送至所述多媒体预处理单元202。而所述多媒体预处理单元202就会根据所述文本预处理单元201已获得的文本分隔结果对多媒体文件进行对应的自动分隔，并按分隔的顺序对每一段多媒体文件进行编号。并且，在对多媒体文件进行分隔之前，所述多媒体预处理单元202还会先对所述多媒体文件的质量进行扫描预检，例如，若多媒体文件是音频文件的话，则检查声音是否清晰，音量是否达到要求等，而若多媒体文件是视频文件的话，则还会检查图像是否清晰等。

在分隔完成后，所述多媒体预处理单元202将分隔结果反馈给所述图形化用户界面单元100以显示。并且，还会将包含所述分隔信息的多媒体预处理文件发送至匹配单元300。而所述分隔结果还可进行手动调整，通过用户界面发送修改信息，即点击相应图形化操作按钮。所述图形化用户界面单元100会将所述图形化操作转换成修改分隔结果的操作指令，并连同修改后的分隔信息一并发送至所述多媒体预处理单元202。而所述多媒体预处理单元202在获得所述操作指令后，就会将所述修改后的分隔信息与所述多媒体文件进行标记对应。例如，继续参照图16所示，所述多媒体预处理单元202根据文本分隔后的第15-18句，将音频文件也作了相应分隔，并由图形化用户界面单元100在用户界面3′显示。若用户需要对所述分隔结果手动修改，则可点击“全部清除”按钮全部清除自动分隔的音频段编号等信息，然后通过点击“句子结束”、“语音结束”和“删除标识”按钮来进行手动分隔。当然，也可不全部清除自动分隔的句子编号等信息，可以由匹配单元300获得当前分隔后的文本与音频对应关系，并连同文本与音频一并发送至所述图形化用户界面单元100，来逐句播放分隔后的文本对应的音频，文本以高亮显示，音频可通过控制按钮顺序播放。用户通过点击“句子结束”、“语音结束”、“删除标识”、“暂停”、“后退五秒”、“上一句”、“下一句”等按钮来进行手动局部分隔调整。

在完成对多媒体文件分隔后，执行步骤s103，对所述分隔后的文本和分隔后的多媒体文件是否匹配进行验证，若匹配，则执行步骤s105；若不匹配，则返回步骤s102。

步骤s104，生成描述多媒体文件与文本匹配关系的描述文件，并最终生成课程文件。

所述分隔后的文本和分隔后的多媒体文件匹配是指每一段多媒体文件播放的内容应与文本内容吻合。参照图17所示，所述匹配单元300在获得文本预处理文件和多媒体预处理文件之后就会进行逐句验证，通过将所述多媒体预处理文件播放的内容与文本预处理文件的文本内容进行对照，并将对照结果反馈至所述图形化用户界面单元100在用户界面3′中显示，例如在状态栏中显示“第1句语音验证成功”、“第2句语音验证成功”等。而根据所述对照结果，若分隔后的多媒体文件与文本匹配，则所述匹配单元300生成描述多媒体文件与文本匹配关系的描述文件，并连同文本预处理文件和多媒体预处理文件一同发送至上传单元400；若不匹配，则根据对照结果进行图形化操作修改多媒体分隔结果，由所述图形化用户界面单元100将图形化操作转换成修改的操作指令，并连同修改后的分隔信息一并发送至所述多媒体预处理单元202。而所述多媒体预处理单元202在获得所述操作指令后，就会将所述修改后的分隔信息与所述多媒体文件进行标记对应，并再次将包含所述分隔信息的多媒体预处理文件发送至匹配单元300进行匹配验证。

例如，继续参照图17所示，所述匹配单元300进行验证之后，点选“验证成功的句子”，若发现分隔后的文本与音频内容完全吻合，则通过点击“下一步”按钮发送确认信息。所述图形化用户界面单元100将所述图形化操作转换成确认的操作指令并发送至所述匹配单元300。而所述匹配单元300在接收到所述操作指令后，就生成描述多媒体文件与文本匹配关系的描述文件，并连同文本预处理文件和多媒体预处理文件发送至所述上传单元400。

若所述匹配单元300验证后存在文本与音频内容不吻合，继续参照图17所示，所述匹配单元300将经对照后发现的文本与音频内容不吻合的句子信息发送至所述图形化用户界面单元100以高亮显示。用户通过用鼠标拖动句子分隔线的方法在用户界面3′中来进行手动重新分隔，并可通过“播放”、“停止”、“上一句”、“下一句”按钮播放分隔后的音频。

另外，为了使得课程文件更个性化，还可对课程文件添加相关描述性介绍信息。即通过用户界面添加所述描述性介绍信息，所述图形化用户界面单元100会将所述描述性介绍信息发送至上传单元400中(图9未示)。例如，参照图18所示，在用户界面3′的课程信息栏中添加课程名称、类别、课程封面图片、课程标签以及课程简介等，然后点击“下一步”按钮来发送所述信息。

上传单元400在获得文本预处理文件和多媒体预处理文件及描述文件后，参照图19所示，就会将这些文件打包成课程文件上传至服务器2备存，在用户界面3′中显示上传状态。当有其他语言学习客户端1需要使用所述课程文件时，就能通过所述服务器2下载。

虽然本发明已以较佳实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (33)

1.一种语言学习客户端，其特征在于，包括，

网络与数据管理单元，用于获取课程文件，所述课程文件至少包括课程内容，所述课程内容至少包括标准读音的音频及对应的文本；

图形化用户界面单元，用于显示图形化操作界面及显示课程内容和课程学习记录，将用户的图形化操作转换成操作指令；

多媒体文件处理单元，用于对网络与数据管理单元提供的课程文件进行解码并播放；还用于获取用户声音数据，将所述用户声音数据以及标准读音的音频转换成语音数据；

语音评价单元，用于将多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行比较，给出评分，

其中，多媒体文件处理元和语音评价单元的操作是根据图形化用户界面单元提供的操作指令进行的。

2.如权利要求1所述的语言学习客户端，其特征在于，还包括任务分配处理单元，用于将所述图形化用户界面单元的操作指令相应发送至多媒体文件处理单元或语音评价单元，将所述网络与数据管理单元所获取的与所述操作指令对应的课程文件相应发送至多媒体文件处理单元或语音评价单元。

3.如权利要求2所述的语言学习客户端，其特征在于，所述课程内容还包括视频及对应的文本、描述音频与文本对应关系的描述文件、描述视频与文本对应关系的描述文件。

4.如权利要求3所述的语言学习客户端，其特征在于，所述图形化用户界面单元根据所述描述文件，在所述多媒体文件处理单元播放课程文件时，同步显示对应的文本内容。

5.如权利要求1所述的语言学习客户端，其特征在于，所述课程文件还包括课程学习记录，所述图形化用户界面单元还用于显示课程学习记录。

6.如权利要求1所述的语言学习客户端，其特征在于，所述图形化用户界面单元还用于生成当前的课程学习记录，所述网络与数据管理单元还用于将课程学习记录进行共享。

7.如权利要求1所述的语言学习客户端，其特征在于，所述语音评价单元包括，

切分单元，用于对多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行切分；

比较单元，用于对切分后的用户声音数据与标准读音的音频进行比较，给出评分。

8.如权利要求7所述的语言学习客户端，其特征在于，所述比较单元根据发音和语调对切分后的用户声音数据与标准读音的音频进行比较。

9.如权利要求1至8任一项所述的语言学习客户端，其特征在于，所述语言学习客户端为加载入浏览器中的网页插件。

10.如权利要求9所述的语言学习客户端，其特征在于，所述网页插件包括ActiveX控件或Flash控件。

11.一种语言学习系统，其特征在于，包括语言学习客户端和服务器，

所述服务器用于存储课程文件，所述课程文件至少包括课程内容，所述课程内容至少包括标准读音的音频及对应的文本；

所述语言学习客户端包括，

网络与数据管理单元，用于获取课程文件，所述课程文件至少包括课程内容，所述课程内容至少包括标准读音的音频及对应的文本；

图形化用户界面单元，用于显示图形化操作界面及显示课程内容和课程学习记录，将用户的图形化操作转换成操作指令；

多媒体文件处理单元，用于对网络与数据管理单元提供的课程文件进行解码并播放；还用于获取用户声音数据，将所述用户声音数据以及标准读音的音频转换成语音数据；

语音评价单元，用于将多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行比较，给出评分，

其中，多媒体文件处理元和语音评价单元的操作是根据图形化用户界面单元提供的操作指令进行的。

12.如权利要求11所述的语言学习系统，其特征在于，还包括任务分配处理单元，用于将所述图形化用户界面单元的操作指令相应发送至多媒体文件处理单元或语音评价单元，将所述网络与数据管理单元所获取的与所述操作指令对应的课程文件相应发送至多媒体文件处理单元或语音评价单元。

13.如权利要求12所述的语言学习系统，其特征在于，所述课程内容还包括视频及对应的文本、描述音频与文本对应关系的描述文件、描述视频与文本对应关系的描述文件。

14.如权利要求13所述的语言学习系统，其特征在于，所述图形化用户界面单元根据所述描述文件，在所述多媒体文件处理单元播放课程文件时，同步显示对应的文本内容。

15.如权利要求11所述的语言学习系统，其特征在于，所述课程文件还包括课程学习记录，所述图形化用户界面单元还用于显示课程学习记录。

16.如权利要求11所述的语言学习系统，其特征在于，所述图形化用户界面单元还用于生成当前的课程学习记录，所述网络与数据管理单元还用于将课程学习记录进行共享。

17.如权利要求11所述的语言学习系统，其特征在于，所述语音评价单元包括，

切分单元，用于对多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行切分；

比较单元，用于对切分后的用户声音数据与标准读音的音频进行比较，给出评分。

18.如权利要求17所述的语言学习系统，其特征在于，所述比较单元根据发音和语调对切分后的用户声音数据与标准读音的音频进行比较。

19.如权利要求11至18任一项所述的语言学习系统，其特征在于，所述语言学习客户端可被制作为网页插件并加载入浏览器中。

20.如权利要求19所述的语言学习系统，其特征在于，所述网页插件包括ActiveX控件或Flash控件。

21.一种语言学习系统，其特征在于，包括语言学习客户端和内容制作工具，

所述语言学习客户端包括，

网络与数据管理单元，用于获取课程文件，所述课程文件至少包括课程内容，所述课程内容至少包括标准读音的音频及对应的文本；

图形化用户界面单元，用于显示图形化操作界面及显示课程内容和课程学习记录，将用户的图形化操作转换成操作指令；

多媒体文件处理单元，用于对网络与数据管理单元提供的课程文件进行解码并播放；还用于获取用户声音数据，将所述用户声音数据以及标准读音的音频转换成语音数据；

语音评价单元，用于将多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行比较，给出评分，

其中，多媒体文件处理元和语音评价单元的操作是根据图形化用户界面单元提供的操作指令进行的；

所述内容制作工具用于制作课程文件。

22.如权利要求21所述的语言学习系统，其特征在于，还包括任务分配处理单元，用于将所述图形化用户界面单元的操作指令相应发送至多媒体文件处理单元或语音评价单元，将所述网络与数据管理单元所获取的与所述操作指令对应的课程文件相应发送至多媒体文件处理单元或语音评价单元。

23.如权利要求22所述的语言学习系统，其特征在于，所述课程内容还包括视频及对应的文本、描述音频与文本对应关系的描述文件、描述视频与文本对应关系的描述文件。

24.如权利要求23所述的语言学习系统，其特征在于，所述图形化用户界面单元根据所述描述文件，在所述多媒体文件处理单元播放课程文件时，同步显示对应的文本内容。

25.如权利要求21所述的语言学习系统，其特征在于，所述课程文件还包括课程学习记录，所述图形化用户界面单元还用于显示课程学习记录。

26.如权利要求21所述的语言学习系统，其特征在于，所述图形化用户界面单元还用于生成当前的课程学习记录，所述网络与数据管理单元还用于将课程学习记录进行共享。

27.如权利要求21所述的语言学习系统，其特征在于，所述语音评价单元包括，

切分单元，用于对多媒体文件处理单元提供的转换为语音数据的用户声音数据与标准读音的音频进行切分；

比较单元，用于对切分后的用户声音数据与标准读音的音频进行比较，给出评分。

28.如权利要求27所述的语言学习系统，其特征在于，所述比较单元根据发音和语调对切分后的用户声音数据与标准读音的音频进行比较。

29.如权利要求21至28任一项所述的语言学习系统，其特征在于，所述语言学习客户端可被制作为网页插件并加载入浏览器中。

30.如权利要求29所述的语言学习系统，其特征在于，所述网页插件包括ActiveX控件或Flash控件。

31.如权利要求21所述的语言学习系统，其特征在于，所述内容制作工具包括，

图形化用户界面单元，用于显示图形化操作界面及显示课程信息，将用户的图形化操作转换成操作指令；

预处理单元，用于对所获得的多媒体素材和对应的文本素材进行预处理，获得多媒体预处理文件和文本预处理文件；

匹配单元，用于对预处理单元提供的多媒体预处理文件和文本预处理文件进行匹配处理，获得表示多媒体预处理文件和文本预处理文件内容对应关系的描述文件；

上传单元，用于将所述多媒体预处理文件、文本预处理文件和描述文件打包成课程文件并共享。

32.如权利要求31所述的语言学习系统，其特征在于，所述预处理单元还包括文本预处理单元和多媒体预处理单元，分别用于对文本素材预处理获得文本预处理文件以及对多媒体素材预处理获得多媒体预处理文件。

33.如权利要求32所述的语言学习系统，其特征在于，所述匹配单元根据所述多媒体预处理文件和文本预处理文件内容对应关系，逐句对照所述多媒体预处理文件和文本预处理文件的内容来进行匹配验证。

Images