CN103080991A - 基于音乐的语言学习方法及使用该方法的学习装置 - Google Patents

Abstract

本发明涉及一种基于音乐的语言学习方法及使用该方法的学习装置，尤其涉及一种视听语言学习方法及使用该方法的学习装置。根据该方法，生成并播放用户定制的多媒体学习内容用以聆听和观看，其中主要由具有歌词和伴奏的歌曲组成的音乐和由其文本和发音组成的语言与多媒体内容中的相关的图像或视频匹配。根据本发明的基于音乐的语言学习方法包括以下步骤：使用学习装置的输入单元选择预先存储的音乐伴奏和单词/词汇或句子；通过将由所述输入单元选择的所述音乐伴奏和所述单词/词汇或句子与文本、由讲母语的人的发音、以及相关的图像或视频进行匹配，使用定制学习内容生成单元生成并存储用于定制学习的基于音乐的内容；以及使用控制单元再现所述定制学习内容，用于通过显示单元输出所述文本和所述相关的图像或视频，以及通过扬声器输出所述讲母语的人的发音和所述音乐伴奏。

Description

基于音乐的语言学习方法及使用该方法的学习装置

技术领域

本发明涉及一种基于音乐的语言学习方法及使用该方法的学习装置，尤其涉及一种视听语言学习方法及使用该方法的学习装置，该方法用于生成面向用户的多媒体学习内容并播放该内容，以便用户能够观看和聆听，在该多媒体学习内容中，以由歌词和伴奏组成的歌曲和由文本和发音组成的语言作为基础的音乐与相关的图像或视频进行匹配。

背景技术

随着现代社会的全球化，外语（例如英语、日语和汉语）已经成为社会生活的重要组成部分。

因此，从早期就开始了语言教育，并且已经开发出各种用于进行有效语言教育的方法。

例如，在学习外语时，学习者通常可以直接注册成为外语教育机构的会员并参加外语讲座，然而，这是昂贵的且有时间限制的。

此外，使用互联网的在线外语学习方法记录老师的讲座并通过互联网提供所记录的内容，但由于所记录的内容被单方面地（unilaterally）提供给学习者，因此，这种学习方法降低了学习效率。

近年来，由于外语教育的重要性随着全球化时代的趋势而被强调，而词汇量（其为语言学习的重要基础）的扩展往往取决于个人的努力，因此，对于单词或短语（idiom）的学习效果并不完善。

此外，现有的语言学习方法仍处于离线学习阶段，该阶段提供了记录讲母语的人的发音的音频文件或包含学习过程的视频。而且，面向内容的学习方法（其为针对已经提供过的学习内容的重复学习）不能充分地满足更喜欢随时随地通过重新配置期望的学习内容来学习定制学习内容的学习者的要求。

此外，在一些针对定制学习内容的学习方法中，根据现有的面向内容的学习方法设计的学习内容只是被重新编排，这几乎不能被认为是由参与学习的学习者直接生成的面向用户的学习内容，并且也不能被学习者广泛地使用。

发明内容

技术问题

本发明用以提供一种视听语言学习方法及使用该方法的学习装置，该方法用于生成面向用户的多媒体学习内容并播放该内容，以便用户能够观看和聆听，在该多媒体学习内容中，以由歌词和伴奏组成的歌曲和由文本和发音组成的语言作为基础的音乐与相关的图像或视频进行匹配。

此外，本发明用以提供一种基于音乐的语言学习方法及使用该方法的学习装置，该方法将通过重复地聆听而不经意间学到的音乐特征引入（graft）到语言学习中，并通过完整地提供相关的图像和视频来对语言学习产生持续的兴趣，以及通过将语言学习与一首歌曲相结合来确保学习者不会感觉厌烦，从而提高了词汇量（其为语言学习的基础）。

技术方案

在一个总体方案中，根据本发明的一个实施例的基于音乐的语言学习方法包括：由语言学习装置的输入单元指定预先存储的单词/词汇或句子及伴奏；通过将由所述输入单元指定的所述单词/词汇或句子及所述伴奏与文本、相关的图像或视频及讲母语的人的发音匹配，由定制学习生成单元生成基于音乐的定制学习内容，并存储所述基于音乐的定制学习内容；以及由控制器播放所述定制学习内容，以通过显示单元输出所述文本和所述相关的图像或视频，以及通过扬声器输出所述讲母语的人的发音和所述伴奏。

在另一个总体方案中，根据本发明的一个实施例的基于音乐的语言学习方法包括：在由语言学习装置的输入单元选择学习级别的情况下，由控制器输出学习音乐内容的内容列表，其中通过根据适合于所述学习级别的单词分类或含义使多个单词/词汇与伴奏一起成为一首歌曲而获得该学习音乐内容；在由所述输入单元选择所述内容列表中的一项内容的情况下，由所述控制器输出所述内容的学习功能列表；以及在由所述输入单元选择所述学习功能列表中的一项学习功能的情况下，由所述控制器根据所述学习功能而用不同的方式播放所述内容，以通过显示单元输出文本和相关的图像或视频，以及通过扬声器输出讲母语的人的发音和伴奏。

在又一个总体方案中，提供一种使用基于音乐的语言学习方法的语言学习装置，所述语言学习装置包括：输入单元；显示单元；扬声器；存储单元以及控制器，其中所述存储单元存储文本和多个单词/词汇的发音、伴奏以及相关的图像或视频，其中所述装置还包括定制学习生成单元，用于将由所述输入单元选择的所述存储单元的单词/词汇和伴奏与图像或视频进行匹配，以生成基于音乐的单词/词汇定制学习内容，并在所述存储单元中存储所述基于音乐的单词/词汇定制学习内容，以及其中所述控制器播放存储在所述存储单元中的所述单词/词汇定制学习内容，通过所述扬声器以可听方式输出所述单词/词汇定制学习内容的发音和伴奏，以及通过所述显示单元输出所述文本和所述图像或视频。

发明的有益效果

根据上述内容，当学习者选择音乐和单词/词汇时，生成将音乐与单词/词汇或相关的图像进行匹配的定制学习内容，因此，学习者可以通过使用该定制学习内容来练习发音，通过音乐和游戏来记忆单词/词汇，以及像演唱一首歌曲一样学习语言，其中根据伴奏（背景音乐）通过收集由学习者指定的单词/词汇来给这首歌曲填词。

此外，通过提供将音乐或相关的图像和视频与语言学习相结合来诱导对语言学习的持续兴趣，并将该语言学习与一首歌曲相结合，使得学习者不会感觉厌烦，从而提高了词汇量（其为语言学习的基础）。

附图说明

通过以下结合附图进行的详细描述，公开的示例性实施例的上述和其他方案、特征和优点将变得更为清晰，其中：

图1是示出根据本发明的一个实施例的语言学习装置的示意图；

图2是示出存储在用于图1的语言学习装置中的存储单元的学习信息存储区中的学习信息的示意图；

图3是用于示出根据本发明的第一实施例的语言学习方法的流程图；

图4是用于示出根据本发明的第二实施例的语言学习方法的流程图；

图5和图6是应用到本发明的音调提取（tune-extracting）程序的曲线图；

图7到图9示出了在图3的生成操作中输出到显示单元的图像；以及

图10到图19示出了在图4的每个阶段从显示单元输出的图像。

[主要元件的详细说明]

具体实施方式

在下文中，将参照附图来描述本发明的实施例的配置和操作。

图1是示出根据本发明的一个实施例的语言学习装置的示意图。

如图1所示，语言学习装置10包括：控制器11、输入单元12、显示单元13、语音处理单元14、通信单元15、存储单元16、定制学习生成单元17和评估单元18。

控制器11控制用于执行根据本发明的语言学习的整个操作。

存储单元16由程序存储区、暂时存储区和学习信息存储区组成；其中，程序存储区用于存储执行语言学习的程序，暂时存储区用于暂时存储当程序正在执行时生成的数据，以及学习信息存储区用于存储语言学习所需的学习信息。

此外，存储在存储单元16中的学习内容数据可以被分为：独立操作学习装置以使内容数据库被异步扩展（该内容数据库被配置在学习装置中，且如果改变这种配置，则学习者需要升级或更新内容数据库）的情况；以及设置内容数据库服务器以使内容数据库在通信环境下被同步扩展（该内容数据库被配置为服务器，并在通信环境下实时配置内容数据库以便只将可用的内容下载到学习装置）的情况，该内容数据库服务器可根据语言学习设置方法进行不同的配置。

存储单元16的程序存储区存储音调提取程序以提取讲母语的人和学习者的发音的音调（音高）并将其显示为曲线图。

图5和图6是当读出英语单词（例如，polite、current、severe和remote）时由不同的音调提取程序提取的曲线图的例子，且可以理解的是，不同的音调提取程序绘制出相同的曲线图。

评估单元18比较由音调提取程序绘制出的讲母语的人和学习者的曲线图，并根据曲线图之间的相似度来评分。

换言之，在学习者通过扬声器SP以预定时间间隔重复输出的讲母语的人的发音（由存储单元提供的语音数据）并记录和存储所重复的发音的情况下，音调提取程序提取所存储的学习者发音的音调、音量和播放时间信息以生成发音曲线图；在该发音曲线图中，用高度表示音调，用厚度表示音量，以及用长度表示播放时间，使得能够形象地对讲母语的人的发音和学习者的发音之间的不同进行比较。此外，评估单元18通过评估这两个发音曲线图之间的相似度来计算得分（point）。

此外，在学习者学习包括在内容中的单词并执行与所学单词相关的测试游戏的情况下，评估单元18根据测试游戏的结果（即，正确或错误答案的数目）来计算得分。

输入单元12具有用于控制语言学习装置10的操作的多个按键、鼠标、或使用支持触摸界面的屏幕作为输入装置的虚拟键输入系统，并将当学习者按压按键、点击鼠标、或操纵触摸界面时获得的数据输出到控制器11。

显示单元13为液晶显示器（LCD）、支持触摸界面的屏幕、或CRT监视器，并在控制器11的控制下将各种语言学习信息显示为文本、图像和视频。

语音处理单元14连接至麦克风MIC和扬声器SP，且将通过麦克风MIC输入的模拟语音处理为PCM、EVRC或MP3格式，并将处理后的语音输出到控制器11；而控制器11将处理后的语音存储为存储单元16的记录信息16e。

此外，语音处理单元14对存储在存储单元16中的语音数据（发音）或歌曲文件进行转换，并通过扬声器SP输出声音。

通信单元15在控制器11的控制下访问互联网，并下载和更新由学习信息服务器（未示出）提供的学习信息，例如是图2中所示的与单词电子词典16a、句子电子词典16b和内容功能信息16c有关的数据。

定制学习生成单元17通过将由学习者选择的音乐和单词/词汇与相关的图像或视频进行匹配来生成基于音乐的定制学习内容，并将该基于音乐的定制学习内容存储为存储单元16中的定制学习内容信息16d。

根据基于单词/词汇的语音的长度（一拍型或二拍型等）和音调（基本型、改良型a或改良型b等），由用户指定的单词/词汇的语音数据可具有各种学习者组合。因此，即使使用相同的伴奏，也可以根据歌词（单词/词汇）生成不同的基于音乐的定制学习内容。

语言学习装置10可以被实现为学习者专用终端或个人终端（例如智能电话等移动电话、支持语音和视频的各种便携设备等），而显示单元13优选地配置为支持触摸界面的屏幕，以同时提供显示单元13和输入单元12的功能。

语言学习装置10的操作被分为：用户学习模式（其为主菜单）和推荐学习模式（其为快捷菜单）。在用户学习模式下，学习者可选择单词/词汇和伴奏，并通过使用将所选单词/词汇和伴奏与相关的图像或视频进行匹配而新生成的基于音乐的定制学习内容来学习语言。在推荐模式下，学习者可根据不同的学习功能，通过将存储在语言学习装置10中的内容信息（由学习信息提供者提供的学习内容、或者在用户学习模式下已经由学习者生成和存储的定制学习内容）进行输出来学习语言。

图2是示出存储在图1的存储单元的学习信息存储区中的学习信息的示意图。

如图2所示，单词电子词典16a、句子电子词典16b、内容功能信息16c、定制学习内容信息16d和记录信息16e存储在存储单元16的学习信息存储区中。

单词电子词典16a为语言学习装置10的专用词典，并且可以通过单词电子词典16a来查找单词。查找到的单词被存储为历史数据。

单词电子词典16a存储多个单词、这些单词的多媒体文件、以及与这些文件匹配的各种风格的大量伴奏音乐。

更详细地，单词电子词典16a包括：音乐信息16aa、文本信息16ab、语音信息16ac或图像信息16ad等。

音乐信息16aa为关于由伴奏（背景音乐）或旋律（melody）（在下文中，称为伴奏）组成的多首歌曲的信息，且配置为每首歌曲的播放长度大约3分钟，这对一般的音乐用户来说是熟知的音乐长度。

文本信息16ab包括单词及其含义，而图像信息16ac包括表示该单词含义的图片文件且被存储为与文本信息16ab的单词相对应。

语音信息16ad包括与单词及其含义相对应的发音的语音文件，且被存储为与文本信息16ab的单词相对应。

句子电子词典16b可查找句子并制作句子列表，以及存储各种句子（被分为短语、谚语和会话）、这些句子的多媒体文件、以及与这些文件匹配的各种风格的大量伴奏音乐。

更详细地，句子电子词典16b包括：音乐信息16ba、文本信息16bb、语音信息16bc或图像信息16bd等。

音乐信息16ba为关于由伴奏组成的多首歌曲的信息，且配置为每首歌曲的播放长度大约3分钟，这对一般的音乐用户来说是熟知的音乐长度。

文本信息16bb包括句子（短语、谚语和会话）及其译文，而图像信息16bc包括句子的含义和表示该含义的图片文件，且被存储为与文本信息16bb的句子相对应。

语音信息16bd包括与句子及其含义相对应的发音的语音文件，且被存储为与文本信息16bb的句子相对应。

在推荐模式下，根据每个学习等级预先存储由学习者选择的用于语言学习的内容功能信息16c，且该内容功能信息16c包括视频功能16ca、分段练习功能16cb、发音练习功能16cc、多媒体书功能16cd、单词列表功能16ce、例句功能16cf和游戏功能16cg。

将由根据单词分类或含义组合的多个单词/词汇的学习音乐内容组成的内容与伴奏一起组成一首歌曲。该歌曲的基本格式允许学习者重复地演唱单词/词汇及其含义，且单词/词汇及其含义之间的时间间隔为0.5到0.7秒。

视频功能16ca是输出将表示包括在内容中的每个单词的图像与排版（typography）（带有视觉效果的文本图像）匹配的视频文件的功能。

分段练习功能16cb是将内容分成多个预定段（例如，8个段）并输出预先记录的讲母语的人的歌曲（配置为内容数据库的语音数据）的功能，该功能允许学习者重复预定的指定段，并且可以将一首大约3分钟长度的歌曲分成多个小单元而由用户学习。

发音练习功能16cc是将包括在内容中的单词/词汇分成预定单词/词汇并随后将讲母语的人的发音（由存储单元提供的语音数据）与图像一起输出的功能。学习者根据节奏重复讲母语的人的发音。因此，学习者可以很容易地模仿讲母语的人的音调（例如单词的重音），通过在显示单元13中显示的包含单词/词汇含义的图像感受视觉一致性（agreement），并精神集中且兴趣浓厚地在短时间内学习大量单词。

多媒体书功能16cd是将包括在内容中的单词/词汇及相关的图像与语音文件一起显示在显示单元的屏幕上的功能。每当屏幕被触摸时，语言学习装置10对此作出响应而输出语音或变换图像。

单词列表功能16ce是以电子书的形式显示包括在内容中的单词/词汇的中心词（headword）及相应的信息（词源、派生词、同义词、反义词或短语等）的功能。

例句功能16cf是输出由包括在内容中的单词/词汇的中心词组成的句子的功能。该句子可以与伴奏和讲母语的人的发音（由存储单元提供的语音数据）匹配并随后由学习者学习，或者只有句子可以被采集和学习。

游戏内容16cg是显示包括在内容中的语言的正确和错误答案并允许学习者选择正确和错误答案中的一个的功能。评估单元18根据正确和错误答案的数目来计算得分。

定制学习内容信息16d将通过使单词/词汇或句子和由学习者指定的伴奏与相关的图像进行匹配而生成的基于音乐的定制学习内容存储为多媒体内容。

当学习者重复由学习者生成的定制学习内容或由已经提供的学习内容生成的定制学习内容时，记录信息16e以语音数据的形式存储学习者的发音。

图3是用于示出根据本发明的第一实施例的语言学习方法的流程图。

如图3所示，在执行语言学习装置10之后，学习者通过输入单元12在输出到显示单元13的模式选择窗口下选择待学习的模式（S302）。

例如，在学习者想要指定和学习单词/词汇和伴奏的情况下，用户选择用户学习模式。如果用户想要通过使用已存储的内容（在用户学习模式下，由学习信息提供者提供的已经完成的学习内容，或者已经由学习者生成和存储的定制学习内容）来进行学习，则学习者选择推荐学习模式。

如果选择用户学习模式，则单词/词汇或句子被指定。首先，如果将单词/词汇或句子的文本输出到显示单元13，学习者可通过输入单元12选择期望的单词/词汇或句子以生成列表，并确定该列表的标题以指定单词或句子。其次，为了指定单词/词汇或句子，学习者可通过单词电子词典16a或句子电子词典16b查找单词或句子以生成列表并确定该列表的标题（S304）。

然后，在单词/词汇或句子被指定之后，输入单元12指定待用于该歌曲的伴奏音乐（S306）。

定制学习生成单元17通过将学习者选择单词选项时指定的伴奏和单词与发音和图像进行匹配来生成基于音乐的定制学习内容。如果学习者选择了单词+含义选项，则定制学习生成单元17通过将指定的伴奏和单词与含义、发音和图像进行匹配来生成基于音乐的定制学习内容，并在存储单元16中将带有列表标题的基于音乐的定制学习内容存储为定制学习内容信息16d（S308）。

此外，在学习者选择句子选项的情况下，定制学习生成单元17通过将指定的伴奏和句子与发音和图像进行匹配来生成基于音乐的定制学习内容。如果学习者选择了句子+译文选项，则定制学习生成单元17通过将指定的伴奏和句子与译文、发音和图像进行匹配来生成基于音乐的定制学习内容，并在存储单元16中将带有列表标题的基于音乐的定制学习内容存储为定制学习内容信息16d。

然后，如果学习者通过输入单元12选择执行定制学习内容，则在控制器11的控制下，通过扬声器SP和显示单元13来播放基于音乐的定制学习内容（S310）。

在播放通过选择单词选项生成的定制学习内容时，相应的单词的图像与文本一起按照例如1.2秒或2.4秒的时间间隔（根据单词的长度是否为一拍或两拍）显示在显示器13上（参见图7到图9），并根据指定的伴奏通过扬声器SP例如按照例如1.2秒或2.4秒的时间间隔输出单词的发音。

此外，在输出通过选择单词+含义选项生成的定制学习内容的情况下，相应的单词的图像与文本一起按照例如1.2秒或2.4秒的时间间隔（根据单词的长度是否为一拍或两拍）显示在显示器13上，并根据指定的伴奏通过扬声器SP例如按照例如0.6秒或1.2秒的时间间隔输出单词的发音以及输出含义的语音。

此外，在输出通过选择句子选项生成的定制学习内容的情况下，相应的句子的图像与文本一起显示在显示器13上，并根据指定的伴奏通过扬声器SP输出句子的发音。

通过将例如2秒添加到特定句子的长度（时间）来获得特定句子与下一句之间的输出时间间隔。

可以将排版功能（带有视觉效果的文本图像）应用到句子中。这里，可以从句子的发音中提取音调信息和音量信息。所提取的信息被反映在文本上以在该文本中生成曲线，其中文本的高度根据音调的高度而变化，文本的厚度根据音量的强度而变化，然后，将该文本输出到显示单元13上。

此外，在输出通过选择句子+译文选项生成的定制学习内容情况下，将相应的句子的图像与文本一起输出到显示器13，并根据指定的伴奏通过扬声器SP输出句子的发音以及输出译文的语音。

通过这样做，当用耳朵聆听讲母语的人的发音或含义（译文）（与伴奏一起）、用眼睛观看文本和相关的图像、以及用嘴重复时，学习者体验了3级式（3-Tier）（三维或三种方式）学习。

换言之，学习者会像唱歌一样进行自愿和自发的语言学习。

学习者的发音通过麦克风MIC被输入，通过语音处理单元14在存储单元16中被记录为记录信息16e，以及被存储为语音数据（S312）。

控制器11通过扬声器SP将所记录和存储的学习者的发音与讲母语的人的发音一起输出，以可听方式对这两个发音的不同进行比较（S314）。

在存储单词或句子的发音的情况下，音调提取程序提取音调、音量、讲母语的人的发音的播放时间信息和学习者的发音，以生成发音曲线图。在该发音曲线图中，将用高度表示的音调、用厚度表示的音量、以及用长度表示的播放时间输出到显示单元13，以便能够明显地对讲母语的人的发音和学习者的发音之间的不同进行比较（S316）。

评估单元18通过比较讲母语的人和学习者的发音曲线图之间的相似度来计算得分。

根据如上所述的第一实施例的语言学习方法，通过生成基于音乐的定制学习内容（其中将由学习者指定的单词/词汇和伴奏与图像进行匹配），可以像歌曲一样学习（记忆）单词及其含义。

图4是用于示出根据本发明的第二实施例的语言学习方法的流程图。

在步骤S302中选择推荐学习模式的情况下，将学习级别选择窗口输出到显示单元13（参见图10），且学习者通过输入单元12选择其学习级别（S402）。

如果内容数据库的结构被确定，则可以根据学习者（小学生，初中生，高中生，托业/托福）或学习程度（初级、中级、高级）来对学习级别进行分类。

将与所选的学习级别相对应的多个内容列表输出到显示单元18，且学习者通过输入单元12选择单一的内容（S404）。

由多媒体内容（其中根据单词分类或含义结合的多个单词/词汇）组成的内容与伴奏一起组成一首歌曲。歌曲的基本格式允许学习者重复地演唱单词/词汇及其含义，且单词/词汇及含义之间的时间间隔为0.5到0.7秒。

在选择内容之后，将与内容相对应的学习功能列表输出到显示单元13（参见图11），且学习者通过输入单元12选择用于学习所选的内容的功能（S406）。

学习内容的功能包括视频、分段练习、发音练习、多媒体书、单词列表、例句和游戏。

如果选择内容学习功能中的一个，则根据学习功能，通过扬声器SP和显示单元13以不同方式播放所选的学习功能内容（S408）。

在选择视频功能16ca的情况下，输出表示每个单词/词汇的图像或排版的视频文件（参见图12）。

在选择分段练习功能16cb的情况下，将内容分成多个预定段（例如，8个段），并将讲母语的人预先录制的歌曲（配置为内容数据库的语音数据）与伴奏一起输出到扬声器SP，以及将表示每个单词的图像和文本输出到显示单元13（参见图13）。

学习者在聆听讲母语的人的歌曲并重复该歌曲时进行学习。为了防止在学习上的任何混淆，当生成讲母语的人的歌曲时，并且当用户重复该歌曲时，在该歌曲开始之前将输出到显示单元13的文本设置为不同的颜色。

在选择发音练习功能16cc的情况下，将内容分成多个预定单元，并输出讲母语的人的发音（由存储单元提供的语音数据）。此时，可选择单词选项、单词+含义选项、无伴奏选项或屏幕关闭选项等。

在选择单词/词汇的情况下，按照预定时间间隔（例如，2.4秒）将单词/词汇的相关的图像与文本一起输出到显示单元13，并按照预定时间间隔（例如，2.4秒）将伴奏和讲母语的人的发音输出到扬声器SP。

在选择单词/词汇+含义的情况下，按照预定时间间隔（例如，2.4秒）将单词/词汇的相关的图像与文本一起输出到显示单元13（参见图14），并根据伴奏按照预定时间间隔（例如，1.2秒）将讲母语的人的发音及含义的语音文件输出到扬声器SP。

学习者根据伴奏，通过重复讲母语的人的发音以及重复含义的语音文件来学习（记忆）单词及其含义。

在选择无伴奏的情况下，将语音文件输出到扬声器SP而无需伴奏，并将图像和文本输出到显示单元13。

在选择屏幕关闭的情况下，只有语音文件和伴奏通过扬声器SP输出。

在选择多媒体书功能16cd的情况下，将包括在内容中的单词/词汇的相关图像的每个剪辑段（cut）逐一输出到显示单元13，并因此将讲母语的人的发音输出到扬声器SP。

通过学习者的选择，单词可以通过每个剪辑段被输出，或者相同的单词可以被重复地输出。

多媒体书功能16cd具有例如讲母语的人发音、歌曲、封面（binding）、信息和所有视图的选项。

在选择讲母语的人发音的情况下，每当学习者翻转每个剪辑段时，通过扬声器SP将与单词相对应的讲母语的人的发音输出。

在选择歌曲的情况下，每当显示单元的屏幕的每个剪辑段被翻转时，将与单词/词汇相对应的歌曲通过扬声器SP输出。

如果选择封面，即使学习者触摸显示单元13的屏幕也不会输出声音。

如果选择信息，将与单词/词汇（词源、派生词、同义词、反义词或短语等）相对应的信息窗口输出到显示单元13（参见图15和图16）。

如果选择所有视图，将与内容的单词/词汇相对应的屏幕快照输出到显示单元（参见图17）。

如果选择所有视图，可以通过滚动屏幕快速找到期望的单词/词汇。

如果选择单词列表功能16ce，则包含在内容中的单词/词汇的中心词和相应的信息（词源、派生词、同义词、反义词或短语等）通过显示单元13和扬声器SP输出（参见图18）。

学习者可仅检查不确定的单词/词汇，使得只有所检查的单词/词汇的中心词和相应的信息通过显示单元13和扬声器SP输出。

在选择例句功能16cf的情况下，由所检查的包括在内容中的单词/词汇的中心词组成的句子通过显示单元13和扬声器SP输出。

学习者可仅检查待学习的句子，使得只有所检查的句子及其译文通过显示单元13和扬声器SP输出。

通过使用例句功能16cf，可以对伴奏和讲母语的人的发音（从存储单元提供的语音数据）进行匹配和学习，或者可以仅对句子进行收集和学习。

在选择游戏功能16cg的情况下，包括在内容中的语言的正确和错误答案都被同时显示到显示单元13（参见图19）。

学习者根据节拍点击他认为正确的答案。在游戏结束之后，评估单元18根据正确和不正确的答案的数目来计算得分。

接着，学习者根据所选的学习功能重复讲母语的人的发音。此时，学习者的发音或其含义（译文）通过麦克风MIC输入，通过语音处理单元14在存储单元16中被记录为记录信息16e，并被存储为语音数据（S410）。

如果单词/词汇被选为发音练习功能16cc中的选项，由扬声器SP按照预定时间间隔（例如，2.4秒）输出伴奏和讲母语的人的发音。此时，学习者在讲母语的人的发音之后，按照预定时间间隔（例如，1.2秒）重复该发音，且通过麦克风MIC将其输入并存储在存储单元16的记录信息16e中。

控制器11通过扬声器SP将所记录和存储的学习者的发音与讲母语的人的发音一起输出，以便能够以可听方式对在发音上的不同进行比较（S412）。

在音调提取程序中，提取讲母语的人的发音和学习者的发音的音调、音量、播放时间信息，以生成发音曲线图。在该发音曲线图中，将以高度表示的音调、以厚度表示的音量、以及以长度表示的播放声音输出到显示单元13，以便能够明显地对讲母语的人的发音和学习者的发音之间的不同进行比较（S414）。

此外，评估单元18通过比较讲母语的人和学习者的发音曲线图之间的相似度来计算得分（S416）。

根据如上所述的第二实施例的语言学习方法，由多媒体内容（其中根据存储在语言学习装置10中的单词分类或含义结合有多个单词/词汇）组成的内容与伴奏一起组成一首歌曲，即，可以通过使用各种学习功能，像歌曲一样学习单词/词汇或句子及其含义（或译文）的发音。

根据本发明，在学习者选择音乐和单词/词汇的情况下，生成将音乐和单词/词汇与相关的图像进行匹配的定制学习内容。通过使用由学习者指定的音乐作为伴奏、使用由用户指定的单词/词汇作为歌词、以及将相关的图像转换成视频使该定制学习内容变成像一种音乐视频一样的多媒体内容。因此，学习者通过使用该多媒体内容来练习发音，通过音乐和游戏来记忆（学习）单词/词汇，以及欣赏一首由自己填词的歌曲。因此，本发明可有道对语言学习的持续兴趣，防止学习者感觉厌烦，以及提高作为语言学习基础的单词/词汇。

虽然已示出和描述了示例性实施例，但是本领域的普通技术人员应该认识到，在不脱离所附权利要求书限定的该公开内容的精神和范围的情况下，可对形式和细节进行各种修改。

Claims (15)

1.一种基于音乐的语言学习方法，包括：

由语言学习装置的输入单元指定预先存储的单词/词汇或句子及伴奏；

通过将由所述输入单元指定的所述单词/词汇或句子及所述伴奏与文本、相关的图像或视频及讲母语的人的发音匹配，由定制学习生成单元生成基于音乐的定制学习内容，并存储所述基于音乐的定制学习内容；以及

由控制器播放所述定制学习内容，以通过显示单元输出所述文本和所述相关的图像或视频，以及通过扬声器输出所述讲母语的人的发音和所述伴奏。

2.根据权利要求1所述的基于音乐的语言学习方法，其中，在将所述句子的所述文本输出到所述显示单元的情况下，所述控制器根据所述音量的强度将排版应用至所述句子以改变所述文本的厚度，并根据所述音调的高度来调整所述文本的高度，使所述句子变得栩栩如生。

3.一种基于音乐的语言学习方法，包括：

在由语言学习装置的输入单元选择学习级别的情况下，由控制器输出学习音乐内容的内容列表，其中通过根据适合于所述学习级别的单词分类或含义使多个单词/词汇与伴奏一起结合成一首歌曲而获得该学习音乐内容；

在由所述输入单元从所述内容列表中选择一个内容的情况下，由所述控制器输出所述内容的学习功能列表；以及

在由所述输入单元从所述学习功能列表中选择一个学习功能的情况下，由所述控制器根据所述学习功能而用不同的方式播放所述内容，以通过显示单元输出文本和相关的图像或视频，以及通过扬声器输出讲母语的人的发音和伴奏。

4.根据权利要求3所述的基于音乐的语言学习方法，其中，所述学习功能包括：

视频功能，用于输出视频文件，在该视频文件中将表示包括在所述内容中的每个单词/词汇的图像与排版进行匹配；

分段练习功能，用于将所述内容分成多个预定段，并通过所述扬声器将讲母语的人的歌曲与伴奏一起输出；

发音练习功能，用于将内容分成多个预定单元，并通过所述扬声器输出讲母语的人的发音；

多媒体书功能，用于通过显示单元逐一输出包括在所述内容中的所述单词/词汇的图像的每个单个剪辑段，并通过所述扬声器输出所述讲母语的人的相应的发音；

单词列表功能，用于通过所述显示单元和所述扬声器输出包括在所述内容和所述相应的信息（词源、派生词、同义词、反义词或短语等）中的所述单词/词汇的中心词；

例句功能，用于通过所述显示单元和所述扬声器输出由包括在所述内容中的所述单词/词汇的中心词组成的句子；以及

游戏功能，用于通过所述显示单元同时输出包括在所述内容中的所述单词/词汇的正确和错误答案。

5.根据权利要求1或3所述的基于音乐的语言学习方法，还包括：

在所述学习者重复所述讲母语的人的发音的情况下，在存储单元中存储所述学习者的发音；以及

通过所述扬声器将所存储的所述学习者的发音与所述讲母语的人的发音一起输出。

6.根据权利要求5所述的基于音乐的语言学习方法，其中所述控制器根据所述讲母语的人的发音和所述学习者的发音提取音调、音量和播放时间信息，并将所述信息作为曲线图输出到所述显示单元。

7.根据权利要求6所述的基于音乐的语言学习方法，其中所述控制器将所述讲母语的人和所述学习者的所述曲线图输出到所述显示单元，使得在所述发音曲线图中以高度表示所述音调，以厚度表示所述音量，以及以长度表示所述播放时间。

8.根据权利要求7所述的基于音乐的语言学习方法，其中评估单元比较所述讲母语的人和所述学习者的所述曲线图，并根据所述曲线图之间的相似度来计算得分。

9.根据权利要求1或3所述的基于音乐的语言学习方法，其中，在通过所述扬声器输出所述单词或句子的发音之后，通过所述扬声器在0.5到0.7秒之后将所述单词或句子的含义输出。

10.一种使用基于音乐的语言学习方法的语言学习装置，所述语言学习装置包括输入单元、显示单元、扬声器、存储单元和控制器，

其中所述存储单元存储文本和多个单词/词汇的发音、伴奏以及相关的图像或视频，

其中所述装置还包括定制学习生成单元，用于将由所述输入单元选择的所述存储单元的单词/词汇和伴奏与图像或视频进行匹配，以生成基于音乐的单词/词汇定制学习内容，并在所述存储单元中存储所述基于音乐的单词/词汇定制学习内容，以及

其中所述控制器播放存储在所述存储单元中的所述单词/词汇定制学习内容，通过所述扬声器以可听方式输出所述单词/词汇定制学习内容的发音和伴奏，以及通过所述显示单元输出所述文本和所述图像或视频。

11.根据权利要求10所述的使用基于音乐的语言学习方法的语言学习装置，

其中所述存储单元还存储多个句子和译文的文本和发音、伴奏、及相关的图像或视频，以及所述定制学习生成单元将由所述输入单元选择的所述存储单元的所述句子和伴奏与图像或视频进行匹配，以在所述存储单元中生成基于音乐的句子定制学习内容，并在所述存储单元中存储所述基于音乐的句子定制学习内容，以及

其中所述控制器播放存储在所述存储单元中的所述句子定制学习内容，通过所述扬声器以可听方式输出所述句子定制学习内容的发音和伴奏，并通过所述显示单元输出所述文本和所述图像或视频。

12.根据权利要求11所述的使用基于音乐的语言学习方法的语言学习装置，其中所述存储单元还根据学习级别来存储学习音乐内容，其中通过根据单词分类或含义将多个单词/词汇与伴奏一起结合成一首歌曲而获得该学习音乐内容，以及所述控制器根据每个学习功能通过所述扬声器以不同的方式输出所述内容。

13.根据权利要求10到12中任一项所述的使用基于音乐的语言学习方法的语言学习装置，

其中所述存储单元还存储音调提取程序，该音调提取程序用于提取所述讲母语的人的发音和所述学习者的发音的音调、音量和播放时间信息，并通过所述显示单元输出作为曲线图的所述信息，以及

其中所述装置还包括评估单元，用于比较所述讲母语的人和所述学习者彼此的所述曲线图，并根据所述曲线图之间的相似度来计算得分。

14.根据权利要求13所述的使用基于音乐的语言学习方法的语言学习装置，其中所述控制器通过所述显示单元输出所述曲线图，使得在发音曲线图中以高度表示所述音调，以厚度表示所述音量，以及以长度表示所述播放时间。

15.根据权利要求10所述的使用基于音乐的语言学习方法的语言学习装置，其中所述显示单元包括支持触摸界面的屏幕以用作所述输入单元，以及所述语言学习装置为每个学习者的专用终端。

Images