CN104123931B - 语言学习方法与装置以及计算机可读记录媒体 - Google Patents

语言学习方法与装置以及计算机可读记录媒体 Download PDF

Info

Publication number
CN104123931B
CN104123931B CN201310186263.1A CN201310186263A CN104123931B CN 104123931 B CN104123931 B CN 104123931B CN 201310186263 A CN201310186263 A CN 201310186263A CN 104123931 B CN104123931 B CN 104123931B
Authority
CN
China
Prior art keywords
expressions
words
study
input
phoneme sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310186263.1A
Other languages
English (en)
Other versions
CN104123931A (zh
Inventor
萧希群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN104123931A publication Critical patent/CN104123931A/zh
Application granted granted Critical
Publication of CN104123931B publication Critical patent/CN104123931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)

Abstract

一种语言学习方法与装置以及计算机可读记录媒体，此方法包括：根据语法规则将来自语音接收器的输入语音转换为输入字句；判断输入字句与显示器所显示的学习字句是否相同；以及若输入字句与学习字句不相同，产生包含输入字句中与学习字句不相同的至少一误差词的辅助信息。

Description

语言学习方法与装置以及计算机可读记录媒体
技术领域
本发明涉及一种语言学习方法与装置以及计算机可读记录媒体。
背景技术
一般来说，现有的语言学习软件普遍是由软件开发商对各个词汇或单字的发音进行预录，并根据这些预录的发音产生相对应的声学模型。当语言学习者利用此语言学习软件练习发音时，系统会将所接收到的语音讯号与这些声学模型进行比对，以判断语言学习者的发音是否有误等等。
此种学习机制虽然能判断语言学习者的发音是否有误，并输出发音错误的词或单字。但是，语言学习者并无法通过此种学习机制来得知其发音的具体情况。例如，当使用者不断地重复将英文单字「play」的发音念成「pay」的发音时，以往的学习机制并不能快速地指出此一重点，而只会不断地告知语言学习者其发音有误或提供正确的发音信息等。
发明内容
本发明提供一种语言学习方法与装置以及计算机可读记录媒体，可有效地提升使用者学习外语发音的效率。
本发明提出一种语言学习方法，此方法包括：根据语法规则将来自语音接收器的输入语音转换为输入字句；判断输入字句与显示器所显示的学习字句是否相同；以及若输入字句与学习字句不相同，产生包含输入字句中与学习字句不相同的至少一误差词的辅助信息。
在本发明的一实施例中，上述的根据语法规则将来自语音接收器的输入语音转换为输入字句的步骤包括：取得对应于输入语音的第一音素序列；以及根据语法规则取得对应于第一音素序列的输入字句。
在本发明的一实施例中，上述的判断输入字句与显示器所显示的学习字句是否相同的步骤包括：取得对应于输入字句的一第二音素序列；判断第二音素序列是否与对应于学习字句的标准音素序列相同；以及若第二音素序列与标准音素序列不相同，判定输入字句与学习字句不相同。
在本发明的一实施例中，上述的判断第二音素序列是否与对应于学习字句的标准音素序列相同的步骤包括：利用一动态时间校正演算法比对第二音素序列与标准音素序列；以及根据动态时间校正演算法的一比对结果判断第二音素序列与标准音素序列是否相同。
在本发明的一实施例中，上述的产生包含输入字句中与学习字句不相同的至少一误差词的辅助信息的步骤包括：根据动态时间校正演算法的比对结果取得第二音素序列与标准音素序列之间的误差信息；根据误差信息从输入字句中取得至少一误差词以及学习字句中对应于至少一误差词的至少一标准词；以及产生包含至少一误差词以及至少一标准词的辅助信息。
在本发明的一实施例中，上述的判断输入字句与显示器所显示的学习字句是否相同的步骤包括：利用一动态时间校正演算法比对输入字句与学习字句；根据动态时间校正演算法的一比对结果取得输入字句与学习字句之间的一相同信息；根据相同信息将输入字句中与学习字句相同的至少一正确词与学习字句中对应于至少一正确词的至少一标准词进行对齐；以及若输入字句与学习字句无法完全对齐，判定输入字句与学习字句不相同。
在本发明的一实施例中，上述的产生包含输入字句中与学习字句不相同的至少一误差词的辅助信息的步骤包括：根据学习字句的文法格式将输入字句划分为至少一词组；以及以至少一词组为单位产生包含至少一误差词的辅助信息。
在本发明的一实施例中，上述的语言学习方法还包括：通过显示装置显示学习字句；以及通过语音接收装置接收输入语音。
本发明还提出一种语言学习装置，包括第一处理器以及第二处理器。第一处理器用以根据语法规则将输入语音转换为输入字句。第二处理器用以判断输入字句与学习字句是否相同，其中若输入字句与学习字句不相同，第二处理器产生包含输入字句中与学习字句不相同的至少一误差词的辅助信息。
在本发明的一实施例中，上述的第一处理器取得对应于输入语音的第一音素序列，并根据语法规则取得对应于第一音素序列的输入字句。
在本发明的一实施例中，上述的第二处理器取得对应于输入字句的第二音素序列，并判断第二音素序列是否与对应于学习字句的标准音素序列相同，其中若第二音素序列与标准音素序列不相同，第二处理器判定输入字句与学习字句不相同。
在本发明的一实施例中，上述的第二处理器利用动态时间校正演算法比对第二音素序列与标准音素序列，并根据动态时间校正演算法的比对结果判断第二音素序列与标准音素序列是否相同。
在本发明的一实施例中，若第二音素序列与标准音素序列不相同，第二处理器根据动态时间校正演算法的比对结果取得第二音素序列与标准音素序列之间的误差信息，根据误差信息从输入字句中取得至少一误差词以及学习字句中对应于至少一误差词的至少一标准词，并产生包含至少一误差词以及至少一标准词的辅助信息。
在本发明的一实施例中，上述的第二处理器还用以利用动态时间校正演算法比对输入字句与学习字句，并根据动态时间校正演算法的比对结果取得输入字句与学习字句之间的相同信息，其中第二处理器还用以根据相同信息将输入字句中与学习字句相同的至少一正确词与学习字句中对应于至少一正确词的至少一标准词进行对齐，其中若输入字句与学习字句无法完全对齐，第二处理器判定输入字句与学习字句不相同。
在本发明的一实施例中，上述的第二处理器还用以根据学习字句的文法格式将输入字句划分为至少一词组，并以至少一词组为单位产生包含至少一误差词的辅助信息。
在本发明的一实施例中，上述的语言学习装置还包括显示器与语音接收器，其中显示器用以显示学习字句，并且语音接收器用以接收输入语音。
从另一角度来看，本发明还提出一种计算机可读记录媒体，此计算机可读记录媒体储存多个程序码，当这些程序码被载入至处理器后，处理器执行这些程序码以完成下列步骤：根据语法规则将来自语音接收器的输入语音转换为输入字句；判断输入字句与显示器所显示的学习字句是否相同；以及若输入字句与学习字句不相同，产生包含输入字句中与学习字句不相同的至少一误差词的辅助信息。
基于上述，本发明提出的语言学习方法与装置以及计算机可读记录媒体，可将使用者发出的输入语音转换为输入字句，并通过音素比对或字句比对的方式来判断输入字句与显示器所显示的学习字句是否相同。若输入字句与学习字句不相同时，产生包含输入字句中与学习字句不相同的误差词的辅助信息。藉此，当使用者观看此辅助信息时，使用者可很明确地得知其发音错误真正的问题，并让使用者厘清其是否有将某个单字与另一个单字混淆。
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并结合附图详细说明如下。
附图说明
图1为根据本发明的第一范例实施例所绘示的语言学习装置的功能方块图。
图2为根据本发明的第一范例实施例所绘示的语言学习方法的流程示意图。
图3为根据本发明的第一范例实施例所绘示的辅助信息的示意图。
图4为依据本发明的第二范例实施例所绘示的语言学习方法的流程示意图。
图5为根据本发明的第二范例实施例所绘示的比对第二音素序列与标准音素序列的示意图。
图6为依据本发明的第三范例实施例所绘示的语言学习方法的流程示意图。
图7A为根据本发明的第三范例实施例所绘示的比对输入字句与学习字句的示意图。
图7B为根据本发明的第三范例实施例所绘示的将输入字句划分为词组的示意图。
图7C为根据本发明的第三范例实施例所绘示的划分非属于片语结构的词组的示意图。
图8为依据本发明的第四范例实施例所绘示的语言学习方法的流程示意图。
附图符号说明
10：语言学习装置
11：显示器
12：储存媒体
13：语音接收器
14：第一处理器
15：第二处理器
31：比对画面
311、71：学习字句
3111～3113、3121～3123：音素组
312、72：输入字句
313：辅助信息
321～323：功能按钮
51：标准音素序列
511～514、521：音素
52：第二音素序列
711～713：标准词
721～723：正确词
S202、S204、S206、S208、S210：本发明的第一实施例的语言学习方法各步骤
S402、S404、S406、S408、S410、S412、S414、S416、S418、S420、S422：本发明的第二实施例的语言学习方法各步骤
S602、S604、S606、S608、S610、S612、S614、S616、S618、S620、S622：本发明的第三实施例的语言学习方法各步骤
S802、S804、S806、S808、S810、S812、S814、S816、S818、S820、S822、S824、S826、S828、S830、S832、S834、S836：本发明的第四实施例的语言学习方法各步骤
具体实施方式
为了提升语言学习者学习外语（例如，英语、日语或其他语言）的效率，本发明实施例提出一种语言学习方法，可通过一显示器显示供使用者学习的学习字句，并接收使用者根据此学习字句所发出的语音。接着，将使用者所发出的语音转换为相对应的输入字句，并通过音素（phoneme）比对或字句（sentence）比对等方式来比对此输入字句与作为发音练习的范例的学习字句，进而产生相对应的辅助信息或执行预设操作。
此外，本发明实施例还揭示了可用于体现上述语言学习方法的语言学习装置与计算机可读记录媒体。为了使本发明的内容更容易明了，以下特举实施例作为本发明确实能够据以实施的范例。
[第一范例实施例]
图1为根据本发明的第一范例实施例所绘示的语言学习装置的功能方块图。请参照图1，语言学习装置10可以是个人数字助理（Personal Digital Assistant,PDA）、智能型手机（smart phone）、笔记型计算机（notebook）、平板计算机（Tablet PC）或桌上型计算机等各式具运算功能的电子装置。
语言学习装置10包括显示器11、储存媒体12、语音接收器13、第一处理器14以及第二处理器15。
显示器11例如是液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器、场发射显示器(Field Emission Display，FED)或其它种类的显示器。或者，显示器11也可以是具有触控功能的显示器，本发明不对其限制。
储存媒体12例如是各种非易失性存储器（non-volatile）或其组合，例如只读存储器（read-only memory,ROM）和/或快闪存储器（flash memory）。另外，储存媒体12还可包括硬盘、光盘或外接式储存装置（如存储卡、随身盘等）等储存媒体或其组合，在此并不对储存媒体12的体现方式加以限制。
在本范例实施例中，储存媒体12可储存有一声学（Acoustic）数据库与一语法（Grammar）数据库。此声学数据库储存有多个声学模型以及对应于这些声学模型的音素，其中每一个声学模型对应至一个或多个音素的组合。在此提及的音素可以是发音上的最小单位，例如KK音标、自然发音（Phonics）的音标或注音符号（Phonetic Symbols）等，视实务上的需求而定。此语法数据库储存有多个词、单字、这些单次或词常用的语法规则和/或片语结构等信息。
在本范例实施例中，储存媒体12的语法数据库例如是以规则法（method ofrules）或统计法（method of statistics）来加以建构。以规则法为例，可将一语言（例如，英语）的所有或常用的语法规则输入至此语法数据库中，以建构此语法数据库。或者，以统计法为例，可通过随机上下文无关文法（probabilistic context-free grammar,PCFG）来建构统计式的语法数据库。特别是，对于PCFG来说，其还具有自动学习（learning）机制，而可更加提升使用上的便利性。此外，在一实施例中，声学数据库也可以是利用网络上现有的语音数据库（例如，Google语音数据库）来取代，且语法数据库也可利用线上的各文法数据库来取代，视实务上的需求而定。
语音接收器13例如是麦克风或各式具有语音接收功能的语音接收装置。第一处理器14与第二处理器15例如是独立的两个逻辑电路（logic circuit）或中央处理器（centralprocessing unit,CPU）。或者，第一处理器14与第二处理器15也可以是以同一个中央处理器、晶片组或逻辑电路来实施，本发明不对其限制。
图2为根据本发明的第一范例实施例所绘示的语言学习方法的流程示意图。以下将以结合图1与图2的方式来说明本范例实施例所述的语言学习方法的各步骤，以及语言学习装置10的详细实施方式。
请参照图1与图2，当使用者开始进行语言学习时，使用者可观看由显示器11显示的一字句（以下统称为学习字句）。在步骤S202中，第一处理器14可根据预设的语法规则将来自语音接收器13的输入语音讯号（以下统称为输入语音）转换为输入字句。
举例来说，当第一处理器14接收到来自语音接收器13的输入语音时，首先，第一处理器14可取得对应于此输入语音的音素序列（以下统称为第一音素序列）。例如，第一处理器14可将此输入语音与储存媒体12的声学数据库中的一个或多个声学模型进行比对，以取得与此输入语音最匹配的一个或多个声学模型。然后，第一处理器14可根据所述一个或多个声学模型自此声学数据库中取得第一音素序列。在本范例实施例中，第一音素序列包括一个或多个音素。
接着，第一处理器14可查询储存媒体12的语法数据库，以根据储存于语法数据库中的语法规则取得对应于第一音素序列的输入字句。特别是，在取得输入字句的过程中，本范例实施例实质上是将输入语音经过音素分析、语法分析和/或最佳化处理才得到此输入字句，因此，所取得的输入字句已可概略地符合该语言的常用的语法规则或片语结构。以英文作为使用者学习的语言以及以KK音标作为音素格式的范例来看，当第一处理器14根据输入语音所辨识出的第一音素序列为「kudtu」时，通过查询语法数据库，第一处理器14可产生例如是「could to」的输入字句。其中，取得第一音素序列（即，「kudtu」）为音素分析的结果，而产生输入字句（即，「could to」）则为语法分析以及最佳化处理的结果。
接续于步骤S202，在步骤S204中，第二处理器15可判断第一处理器14所产生的输入字句与学习字句是否相同。在此提及的学习字句可储存于储存媒体12的一学习字句数据库中，而当使用者欲进行发音练习时，第二处理器15可自储存媒体12中取出此学习字句，并通过显示器11将其显示以供使用者观看。在本范例实施例中，第二处理器15可直接将此输入字句与此学习字句进行比对，以判断此输入字句与此学习字句是否相同。
若第二处理器15判断此输入字句与此学习字句不相同，于步骤S206中，第二处理器15可产生包含此输入字句中与此学习字句不相同的一个或多个误差词的辅助信息。
举例来说，图3为根据本发明的第一范例实施例所绘示的辅助信息的示意图。请参照图3，假设显示器（例如，显示器11）所显示的比对画面31中，学习字句311有一个词为「basketball」，但第一处理器14根据使用者的语音所产生的输入字句312中相对应的词为「baseball」。此时，第二处理器15会判断输入字句312与学习字句311不相同，并产生包括此误差词（即，「baseball」）的辅助信息313。以图3为例，辅助信息313例如是「您将学习字句中的“basketball”的发音，误发为“baseball”的发音」。藉此，使用者可根据此辅助信息313得知其误将「basketball」的发音发成「baseball」的发音，并根据辅助信息313对发音不正确之处多加练习。
此外，若第二处理器15判断此输入字句与此学习字句相同，则于步骤S210中，第二处理器15执行一预设操作。例如，通过显示器11显示另一个学习字句等。
换言之，本发明除了会告知使用者其发音有误以及误发的音之外，还可进一步的告知使用者其是将某个单字或词的发音误发成另一个单字或词的发音（例如，将「basketball」的发音发成「baseball」的发音）。藉此，不仅可提醒使用者其发音上的盲点，也可同时提供正确的词与使用者发音错误的词以产生对比信息（例如，发音类似的「basketball」与「baseball」），进而有效地提升使用者在学习外语时的学习效率。
在此需注意的是，本范例实施例中提及的比对画面（例如，比对画面31）及/或辅助信息（例如，辅助信息313）还可以包括各种具有辅助学习的功能的信息。以图3为例，比对画面31可包括用于指示学习字句311的发音方式的音素组3111～3113（即，「aI」、「ple」以及）以及用于指示输入字句312的发音方式的音素组3121～3123（即，「aI」、「ple」以及「besbl」）等。或者，如图3所示，比对画面31也可具有功能按钮321～323等，本发明不对其限制。例如，当使用者点选功能按钮321时，可重新学习前一个学习字句。当使用者点选功能按钮322时，可开始学习下一个学习字句。当使用者点选功能按钮323时，可进入设定选单执行各种设定操作。
然而，本发明不以上述实施方式为限。在一范例实施例中，第二处理器还可以利用比对第一音素序列与学习字句的标准音素序列的方式，来判断使用者的发音是否有误，并显示相对应的辅助信息来辅助使用者对其发音有误之处进行调整。
[第二范例实施例]
图4为依据本发明的第二范例实施例所绘示的语言学习方法的流程示意图。在此请注意，第二范例实施例的硬件架构类似于第一范例实施例的硬件架构，因此，在此不再重复赘述。以下将利用第一范例实施例的元件来说明第二范例实施例。
请参照图1与图4，当使用者开始进行语言学习时，使用者观看由显示器11显示的一学习字句（例如，图3中的学习字句311）。在步骤S402中，语音接收器13接收使用者所发出的输入语音。接着，在步骤S404中，第一处理器14取得对应于输入语音的第一音素序列。然后，在步骤S406中，第一处理器14根据储存于储存媒体12中的语法规则取得对应于第一音素序列的输入字句（例如，图3中的输入字句312）。步骤S402、步骤S404以及步骤S406的可实施方式可参考上述对于第一范例实施例中步骤S202的说明，故在此不再赘述。
接续于步骤S406，在步骤S408中，第二处理器15会取得对应于步骤S406中产生的输入字句的音素序列（以下统称为第二音素序列）。以图3为例，第二处理器15可自储存媒体12中取得输入字句312中每一个单字或词所对应的音素组3121～3123（即，「aI」、「ple」以及「besbl」），并将音素组3111～3113进行组合而产生此第二音素序列（例如，「aplebesbl」）。
然后，于步骤S410中，第二处理器15自储存媒体12中取得对应于学习字句的标准音素序列。以图3为例，第二处理器15可将学习字句311的音素组3111～3113组合为标准音素序列（即，），并利用一动态时间校正演算法（Dynamic Time Warping,DTW）比对此第二音素序列（例如，「aplebesbl」）与此标准音素序列（例如，）。
特别是，对于大部分的语言来说，当多个单字或词合并为一个句子时，此句子中部分单字或词的发音可能会改变。举例来说，这些发音的改变包括连音、消音、弱音和/或变音等等。若使用者在学习发音时没有考虑到这些发音的改变，而仅是依据各个单字或词固定的发音方式来发音，则在未来口语的表达上可能会始终无法更进一步。
因此，于步骤S410中，第二处理器15实质上可适应性地根据单字或词在句子中不同的位置或组合，而自储存媒体12中取得并产生符合此句子的整体语法结构的标准音素序列。
接着，于步骤S412中，第二处理器15根据此动态时间校正演算法的比对结果判断第二音素序列与此标准音素序列是否相同。若第二处理器15判断第二音素序列与此标准音素序列相同，于步骤S414中，第二处理器15执行一预设操作。例如，通过显示器11显示另一个学习字句等。
图5为根据本发明的第二范例实施例所绘示的比对第二音素序列与标准音素序列的示意图。请参照图5，假设标准音素序列51为，且第二音素序列52为「aplebesbl」。在第二处理器15利用上述动态时间校正演算法将标准音素序列51（即，）与第二音素序列52（即，「aplebesbl」）进行比对之后，第二处理器15可得知标准音素序列51与第二音素序列52不相同，且造成标准音素序列51与第二音素序列52的音素分别是标准音素序列51中的音素511～514以及第二音素序列52中的音素521。
换言之，根据动态时间校正演算法的比对结果，第二处理器15可得知使用者是将标准音素序列51中音素511（即，）的音误发成第二音素序列52中音素521（即，「e」）的音，并漏发了标准音素序列51中音素512～514（即，「k」、「」、「t」）的音。
承上所述，既然标准音素序列51与第二音素序列52不相同，标准音素序列51所对应的学习字句以及第二音素序列52所对应的输入字句也不相同，因此，在本范例实施例中，通过比对标准音素序列51以及第二音素序列52，同样可作为第一范例实施例的步骤S204中判断学习字句与输入字句是否相同的技术手段之一。
请再次参照图4，若第二处理器15判断第二音素序列与此标准音素序列不相同，则在步骤S416中，第二处理器15可根据动态时间校正演算法的比对结果取得此第二音素序列与此标准音素序列之间的误差信息。例如，以图5为例，第二处理器15所取得的误差信息包括使用者将标准音素序列51中音素511（即，）的音误发成第二音素序列52中音素521（即，「e」）的音，并漏发了标准音素序列51中音素512～514（即，「k」、「」、「t」）的音等等。
接着，在步骤S418中，第二处理器15可根据此误差信息从此输入字句中取得一个或多个误差词以及此学习字句中对应于所述一个或多个误差词的一个或多个标准词。例如，以图5为例，第二处理器15可根据音素511～514取得标准音素序列51所对应的学习字句中的标准词「basketball」，并根据音素521以及缺少音素512～514的位置取得第二音素序列52所对应的输入字句中的误差词「baseball」。
然后，在步骤S420中，第二处理器15可产生包含所述一个或多个误差词以及所述一个或多个标准词的辅助信息。例如，以图3为例，第二处理器15可产生辅助信息313或其他类似的辅助信息，在此不再赘述。接着，于步骤S422中，第二处理器15可通过显示器11显示此辅助信息。
然而，本发明仍不以上述实施方式为限。在一范例实施例中，第二处理器还可以通过将输入字句与学习字句进行中相同的词进行对齐的方式，来判断使用者的发音是否有误，并通过片语结构的方式来呈现比对结果。藉此，可同时达到文法教学以及以片语作为一个发音单位来练习发音的功效。
[第三范例实施例]
图6为依据本发明的第三范例实施例所绘示的语言学习方法的流程示意图。在此请注意，第三范例实施例的硬件架构类似于第一范例实施例的硬件架构，因此，在此不再重复赘述。以下将利用第一范例实施例的元件来说明第三范例实施例。
请参照图1与图6，当使用者开始进行语言学习时，使用者可观看由显示器11显示的一学习字句（例如，图3中的学习字句311）。在步骤S602中，语音接收器13接收使用者所发出的输入语音。接着，在步骤S604中，第一处理器14取得对应于输入语音的第一音素序列。然后，在步骤S606中，第一处理器14根据储存于储存媒体12中的语法规则取得对应于第一音素序列的输入字句（例如，图3中的输入字句312）。步骤S602、步骤S604以及步骤S606的可实施方式可参考上述对于第一范例实施例中步骤S202的说明，故在此不再赘述。
接续于步骤S606，在步骤S608中，第二处理器15比对此输入字句与此学习字句。例如，第二处理器15可利用上述动态时间校正演算法将输入字句与学习字句进行比对。
图7A为根据本发明的第三范例实施例所绘示的比对输入字句与学习字句的示意图。请参照图7A，假设学习字句71为「Could you turn the volume up a little」，且输入字句72为「Could to tend to volume of a teacup」。在第二处理器15利用上述动态时间校正演算法将学习字句71（即，「Could you turn the volume up a little」）与输入字句72（即，「Could to tend to volume of a teacup」）进行比对之后，第二处理器15可得知输入字句72中的正确词721～723与学习字句71中的标准词711～713皆依序为「Could」、「volume」以及「a」。
请再次参照图6，接续于步骤S608，于步骤S610中，第二处理器15可根据此动态时间校正演算法的比对结果取得输入字句与学习字句之间的相同信息。以图7A为例，此相同信息可包含输入字句72中的正确词721～723与学习字句71中的标准词711～713，以及正确词721～723与标准词711～713的对应关系。
接着，于步骤S612中，第二处理器15根据此相同信息将输入字句中与学习字句相同的一个或多个正确词与学习字句中对应于所述一个或多个正确词的一个或多个标准词进行对齐。以图7A为例，第二处理器15将输入字句72中的正确词721～723依序与学习字句71中的标准词711～713一对一对齐。
然后，于步骤S614中，第二处理器15判断此输入字句与此学习字句是否可完全对齐。若第二处理器15判断此输入字句与此学习字句可完全对齐，表示输入字句与学习字句相同。因此，在步骤S614之后，第二处理器15可接续执行步骤S616，以执行一预设操作。例如，通过显示器11显示另一个学习字句等。
另外，若第二处理器15判断此输入字句与此学习字句无法完全对齐（例如，图7A中的输入字句72中仅正确词721～723可与学习字句71中的标准词711～713对齐），则在步骤S614之后第二处理器15接续执行步骤S618。
在步骤S618中，第二处理器15根据学习字句的文法格式将输入字句划分为一个或多个词组。例如，第二处理器15可查询储存媒体12中的语法数据库，以取得学习字句中符合预设的语法规则的文法格式。
图7B为根据本发明的第三范例实施例所绘示的将输入字句划分为词组的示意图。请参照图7B，通过查询语法数据库，第二处理器15可以得知学习字句71包含片语结构731～733，且片语结构731～733分别是「could you」、「volume up」以及「a little」。因此，在本范例实施例中，第二处理器15可根据学习字句71的文法结构对应地将输入字句72依序划分为词组741～743，并且词组741～743分别是「could you」、「volume of」以及「a teacup」。
请再次参照图6，接续于步骤S618，在步骤S620中，第二处理器15以所述一个或多个词组为单位，产生包含一个或多个误差词的辅助信息。然后，在步骤S622中，第二处理器15通过显示器11显示此辅助信息。
举例来说，下列表1为根据本发明的第三范例实施例所绘示的辅助信息的表格。请参照图7B以及表1，若以词组741～743为单位来看，首先，使用者是将学习字句71中「couldyou」的音误发为输入字句72中「could to」的音，故辅助信息中可告知使用者其应加强「j」（即，[kd ju]中的「j」）的发音。其次，使用者也将学习字句71中「volume up」的音误发为输入字句72中「volume of」的音，故辅助信息中可告知使用者其应加强「^p」（即，[vljmp]中的「^p」）的发音。再者，使用者还将学习字句71中「a little」的音误发为输入字句72中「ateacup」的音，故辅助信息中可告知使用者其应加强「lI」与「tl」（即，[e ltl]中的「lI」与「tl」）的发音。
表1
请再次参照图6，在步骤S618中，第二处理器15也可将学习字句与输入字句中没有被划分入片语结构中的词或单字，分别划分为多个非属于片语结构的词组。然后，于步骤S620中，第二处理器15可将多个词组进行结合，并以这些结合后的词组为单位产生包含误差词的辅助信息。
举例来说，图7C为根据本发明的第三范例实施例所绘示的划分非属于片语结构的词组的示意图。请参照图7C，第二处理器15可利用词组731与732作为边界，将词组731与732中间的词划分为词组751（即，非属于片语结构的词组）。或者，第二处理器15也可通过查询储存媒体12的语法数据库来取得词组751。
然后，第二处理器15可利用词组741与742作为边界，将词组741与742中间的词划分为词组761（即，非属于片语结构的词组）。藉此，尽管输入字句72仅是杂乱的单字或词的组合，第二处理器15也可系统化地对输入字句进行整理，以便产生对其进一步的分析或产生其他应用。
例如，下列表2为根据本发明的第三范例实施例所绘示的另一辅助信息的表格。请参照图7C以及表2，第二处理器15可另显示包含将词组751与732结合以及将词组761与词组742结合的辅助信息。藉此，使用者可根据辅助信息勤加练习「turn the volume up」的发音，以避免在与外语人士沟通时，使其听成「tend to volume of」。
表2
然而，本发明仍不以上述实施方式为限。在一范例实施例中，第二处理器还可判断是否需将输入字句划分为多个词组。若输入字句无法或不需要被划分为多个词组，则使用上述第二范例实施例的实施方式来执行后续的操作。反之，若输入字句可以被划分为多个词组，则可使用上述第三范例实施例的实施方式来执行后续的操作。藉此，有效地提升本发明在使用上的弹性。
[第四范例实施例]
图8为依据本发明的第四范例实施例所绘示的语言学习方法的流程示意图。在此请注意，第四范例实施例的硬件架构类似于第一范例实施例的硬件架构，因此，在此不再重复赘述。以下将利用第一范例实施例的元件来说明第四范例实施例。
请参照图1与图8，当使用者开始进行语言学习时，使用者可观看由显示器11显示的一学习字句（例如，图3中的学习字句311）。在步骤S802中，语音接收器13接收使用者所发出的输入语音。接着，在步骤S804中，第一处理器14取得对应于输入语音的第一音素序列。然后，在步骤S806中，第一处理器14根据储存于储存媒体12中的语法规则取得对应于第一音素序列的输入字句（例如，图3中的输入字句312）。步骤S802、步骤S804以及步骤S806的可实施方式可参考上述对于第一范例实施例中步骤S202的说明，故在此不再赘述。
值得一提的是，在步骤S808中，第二处理器15会判断学习字句是否可划分为多个词组，以作为是否可将输入字句划分为多个词组的依据。例如，第二处理器15可查询储存媒体12的语法数据库，以取得学习字句的文法格式。然后，第二处理器15根据学习字句的文法格式来判断学习字句是否包含一个或多个的片语结构。若第二处理器15判断学习字句没有包含任何片语结构，第二处理器15判定学习字句不可划分为多个词组，并在步骤S808之后接续执行步骤S810。此外，若第二处理器15判断学习字句有包含一个或多个片语结构，则第二处理器15判定学习字句可划分为多个词组，并在步骤S808之后接续执行步骤S822。
或者，在步骤S808中，第二处理器15也可以根据使用者的选择操作来选择要接续执行步骤S810或S822。在此请注意，步骤S810至步骤S836的实施方式已详细地记载于上述范例实施例中，故在此不再赘述。例如，步骤S810～步骤S820可参考上述步骤S408～步骤S420的实施方式，而步骤S822～步骤S832则可参考上述步骤S608～步骤S620的实施方式。
另一方面，上述范例实施例中提及的语言学习方法各步骤亦可以软件或固件的形式来加以实施。例如，本发明另一范例实施例提出一种计算机可读记录媒体，其基本概念类似于上述各范例实施例。所述计算机可读记录媒体可为任何可储存数据的数据储存元件，其储存多个程序码，当这些程序码被载入至处理器后，此处理器执行这些程序码以完成上述各范例实施例所述的方法步骤及其相关作动。所述计算机可读记录媒体可以包括只读存储器（Read-Only Memory，ROM）、快闪存储器（flash memory）、CD-ROM、磁带、软性磁盘、光学数据储存元件等。所述计算机可读记录媒体亦可分布于网络耦接的计算机系统上，从而可用分布式方式来储存及执行上述程序码。另外，上述微处理器单元可以是嵌入式处理器（embedded processor）或中央处理器（central processing unit,CPU）等，但本发明可实施方式并不对限定于上述。
综上所述，有别于以往预先给定每个单字或词一个固定的发音方式，本发明可针对单字或词在输入字句中不同的位置和/或排列方式而适应性地调整这些单字或词的发音方式，让使用者更为贴近以此语言作为母语的外语人士的发音习惯。当使用者完成每一次的发音练习之后，使用者可根据此辅助信息而得知其发音需要改进之处或根据预设操作进行下一个发音练习等。此外，通过系统化的将输入字句与学习字句的文法结构相互对应，本发明还可利用片语或文法结构的观点来告知使用者如何修正其在读整个句子或部分句子时的发音。藉此，可有效地提高学习外语时的学习效率。
虽然本发明已以范例实施例揭示如上，然其并非用以限定本发明，本领域的技术人员在不脱离本发明的精神和范围的前提下，可作些许的更动与润饰，故本发明的保护范围是以本发明的权利要求为准。

Claims (12)

1.一种语言学习方法，包括：
根据一语法规则将来自一语音接收器的一输入语音转换为一输入字句；
判断该输入字句与一显示器所显示的一学习字句是否相同；以及
若该输入字句与该学习字句不相同，产生包含该输入字句中与该学习字句不相同的至少一误差词的一辅助信息，
其中根据该语法规则将来自该语音接收器的该输入语音转换为该输入字句的步骤包括：
取得对应于该输入语音的一第一音素序列；以及
根据该语法规则取得对应于该第一音素序列的该输入字句，
其中产生包含该输入字句中的与该学习字句不相同的至少该误差词的辅助信息的步骤包括：
根据该学习字句的文法格式将该输入字句划分为至少一词组；以及
以该至少一词组为单位产生该辅助信息，其中该辅助信息包括该至少一误差词以及对应于该学习字句的标准音素序列的至少一个音素，其中该至少一个音素没有被正确发音并且对应于该至少一误差词，
其中该学习字句包括多个词，并且根据该多个词在该学习字句中的位置而确定符合该学习字句的文法结构的该标准音素序列。
2.如权利要求1所述的语言学习方法，其中判断该输入字句与该显示器所显示的该学习字句是否相同的步骤包括：
取得对应于该输入字句的一第二音素序列；
判断该第二音素序列是否与对应于该学习字句的一标准音素序列相同；以及
若该第二音素序列与该标准音素序列不相同，判定该输入字句与该学习字句不相同。
3.如权利要求2所述的语言学习方法，其中判断该第二音素序列是否与对应于该学习字句的该标准音素序列相同的步骤包括：
利用一动态时间校正演算法比对该第二音素序列与该标准音素序列；以及
根据该动态时间校正演算法的一比对结果判断该第二音素序列与该标准音素序列是否相同。
4.如权利要求3所述的语言学习方法，其中产生包含该输入字句中与该学习字句不相同的该至少一误差词的该辅助信息的步骤包括：
根据该动态时间校正演算法的该比对结果取得该第二音素序列与该标准音素序列之间的一误差信息；
根据该误差信息从该输入字句中取得该至少一误差词以及该学习字句中对应于该至少一误差词的至少一标准词；以及
产生包含该至少一误差词以及该至少一标准词的该辅助信息。
5.如权利要求1所述的语言学习方法，其中判断该输入字句与该显示器所显示的该学习字句是否相同的步骤包括：
利用一动态时间校正演算法比对该输入字句与该学习字句；
根据该动态时间校正演算法的一比对结果取得该输入字句与该学习字句之间的一相同信息；
根据该相同信息将该输入字句中与该学习字句相同的至少一正确词与该学习字句中对应于该至少一正确词的至少一标准词进行对齐；以及
若该输入字句与该学习字句无法完全对齐，判定该输入字句与该学习字句不相同。
6.如权利要求1所述的语言学习方法，还包括：
通过该显示器显示该学习字句；以及
通过该语音接收装置接收该输入语音。
7.一种语言学习装置，包括：
一第一处理器，用以根据一语法规则将一输入语音转换为一输入字句；以及
一第二处理器，用以判断该输入字句与一学习字句是否相同，
其中若该输入字句与该学习字句不相同，该第二处理器产生包含该输入字句中与该学习字句不相同的至少一误差词的一辅助信息；
其中该第一处理器取得对应于该输入语音的一第一音素序列，并根据该语法规则取得对应于该第一音素序列的该输入字句，
其中产生包含该输入字句中的与该学习字句不相同的至少该误差词的辅助信息的步骤包括：
根据该学习字句的文法格式将该输入字句划分为至少一词组；以及
以该至少一词组为单位产生该辅助信息，其中该辅助信息包括该至少一误差词以及对应于该学习字句的标准音素序列的至少一个音素，其中该至少一个音素没有被正确发音并且对应于该至少一误差词，
其中该学习字句包括多个词，并且根据该多个词在该学习字句中的位置而确定符合该学习字句的文法结构的该标准音素序列。
8.如权利要求7所述的语言学习装置，其中该第二处理器取得对应于该输入字句的一第二音素序列，并判断该第二音素序列是否与对应于该学习字句的一标准音素序列相同，
其中若该第二音素序列与该标准音素序列不相同，该第二处理器判定该输入字句与该学习字句不相同。
9.如权利要求8所述的语言学习装置，其中该第二处理器利用一动态时间校正演算法比对该第二音素序列与该标准音素序列，并根据该动态时间校正演算法的一比对结果判断该第二音素序列与该标准音素序列是否相同。
10.如权利要求9所述的语言学习装置，其中若该第二音素序列与该标准音素序列不相同，该第二处理器根据该动态时间校正演算法的该比对结果取得该第二音素序列与该标准音素序列之间的一误差信息，根据该误差信息从该输入字句中取得该至少一误差词以及该学习字句中对应于至少一误差词的至少一标准词，并产生包含该至少一误差词以及该至少一标准词的该辅助信息。
11.如权利要求7所述的语言学习装置，其中该第二处理器还用以利用一动态时间校正演算法比对该输入字句与该学习字句，并根据该动态时间校正演算法的一比对结果取得该输入字句与该学习字句之间的一相同信息，
其中该第二处理器还用以根据该相同信息将该输入字句中与该学习字句相同的至少一正确词与该学习字句中对应于该至少一正确词的至少一标准词进行对齐，
其中若该输入字句与该学习字句无法完全对齐，该第二处理器判定该输入字句与该学习字句不相同。
12.如权利要求7所述的语言学习装置，还包括一显示器与一语音接收器，其中该显示器用以显示该学习字句，并且该语音接收器用以接收该输入语音。
CN201310186263.1A 2013-04-26 2013-05-20 语言学习方法与装置以及计算机可读记录媒体 Active CN104123931B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102115082A TWI508033B (zh) 2013-04-26 2013-04-26 語言學習方法與裝置以及電腦可讀記錄媒體
TW102115082 2013-04-26

Publications (2)

Publication Number Publication Date
CN104123931A CN104123931A (zh) 2014-10-29
CN104123931B true CN104123931B (zh) 2018-11-23

Family

ID=51769321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310186263.1A Active CN104123931B (zh) 2013-04-26 2013-05-20 语言学习方法与装置以及计算机可读记录媒体

Country Status (3)

Country Link
US (1) US10102771B2 (zh)
CN (1) CN104123931B (zh)
TW (1) TWI508033B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10957310B1 (en) 2012-07-23 2021-03-23 Soundhound, Inc. Integrated programming framework for speech and text understanding with meaning parsing
US11295730B1 (en) 2014-02-27 2022-04-05 Soundhound, Inc. Using phonetic variants in a local context to improve natural language understanding
GB2575423B (en) * 2018-05-11 2022-05-04 Speech Engineering Ltd Computer implemented method and apparatus for recognition of speech patterns and feedback
CN109147419A (zh) * 2018-07-11 2019-01-04 北京美高森教育科技有限公司 基于错误发音检测的语言学习机系统
CN109147404A (zh) * 2018-07-11 2019-01-04 北京美高森教育科技有限公司 一种被错误发音的音标的检测方法及装置
JP7376071B2 (ja) * 2018-09-03 2023-11-08 株式会社アイルビーザワン コンピュータプログラム、発音学習支援方法及び発音学習支援装置
CN109036464B (zh) * 2018-09-17 2022-02-22 腾讯科技（深圳）有限公司 发音检错方法、装置、设备及存储介质
WO2021127976A1 (zh) * 2019-12-24 2021-07-01 广州国音智能科技有限公司 一种可供比对音素选取方法和装置
CN110890095A (zh) * 2019-12-26 2020-03-17 北京大米未来科技有限公司 语音检测方法、推荐方法、装置、存储介质和电子设备
CN111292769A (zh) * 2020-03-04 2020-06-16 苏州驰声信息科技有限公司 一种口语发音的纠音方法、系统、装置、存储介质
CN111583908A (zh) * 2020-04-30 2020-08-25 北京一起教育信息咨询有限责任公司 一种语音数据分析方法及系统
CN111862959B (zh) * 2020-08-07 2024-04-19 广州视琨电子科技有限公司 发音错误检测方法、装置、电子设备及存储介质
CN112634862B (zh) * 2020-12-18 2024-01-23 北京大米科技有限公司 一种信息交互方法、装置、可读存储介质和电子设备
CN113268981B (zh) * 2021-05-27 2023-04-28 咪咕音乐有限公司 一种信息处理方法、装置及电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5487671A (en) * 1993-01-21 1996-01-30 Dsp Solutions (International) Computerized system for teaching speech
TW325542B (en) * 1994-05-31 1998-01-21 Jiunn-Fa Wang Phrase speech input method
US5963903A (en) * 1996-06-28 1999-10-05 Microsoft Corporation Method and system for dynamically adjusted training for speech recognition
US5995928A (en) * 1996-10-02 1999-11-30 Speechworks International, Inc. Method and apparatus for continuous spelling speech recognition with early identification
GB9802838D0 (en) * 1998-02-10 1998-04-08 Canon Kk Pattern matching method and apparatus
US7149690B2 (en) * 1999-09-09 2006-12-12 Lucent Technologies Inc. Method and apparatus for interactive language instruction
JP2002132287A (ja) * 2000-10-20 2002-05-09 Canon Inc 音声収録方法および音声収録装置および記憶媒体
TWI238379B (en) 2001-11-16 2005-08-21 Inventec Besta Co Ltd System and method for language reiterating and correcting pronunciation in a portable electronic device
TW556152B (en) 2002-05-29 2003-10-01 Labs Inc L Interface of automatically labeling phonic symbols for correcting user's pronunciation, and systems and methods
US7299188B2 (en) * 2002-07-03 2007-11-20 Lucent Technologies Inc. Method and apparatus for providing an interactive language tutor
US6535853B1 (en) * 2002-08-14 2003-03-18 Carmen T. Reitano System and method for dyslexia detection by analyzing spoken and written words
WO2004049283A1 (en) * 2002-11-27 2004-06-10 Visual Pronunciation Software Limited A method, system and software for teaching pronunciation
WO2004061796A1 (en) * 2002-12-31 2004-07-22 Burlingtonspeech Limited Comprehensive spoken language learning system
TWI220206B (en) * 2003-04-04 2004-08-11 Inventec Besta Co Ltd System and method for searching a single word in accordance with speech
TW200506764A (en) * 2003-08-05 2005-02-16 Wen-Fu Peng Interactive language learning method with speech recognition
EP1665792A4 (en) * 2003-08-26 2007-11-28 Clearplay Inc METHOD AND DEVICE FOR CONTROLLING THE PLAYING OF AN AUDIOSIGNAL
GB0426347D0 (en) * 2004-12-01 2005-01-05 Ibm Methods, apparatus and computer programs for automatic speech recognition
JP5120826B2 (ja) * 2005-09-29 2013-01-16 独立行政法人産業技術総合研究所 発音診断装置、発音診断方法、記録媒体、及び、発音診断プログラム
WO2007062529A1 (en) * 2005-11-30 2007-06-07 Linguacomm Enterprises Inc. Interactive language education system and method
WO2007134293A2 (en) * 2006-05-12 2007-11-22 Nexidia, Inc. Wordspotting system
CN102376182B (zh) * 2010-08-26 2014-08-27 财团法人工业技术研究院 语言学习系统、语言学习方法及其程序产品
US8744856B1 (en) * 2011-02-22 2014-06-03 Carnegie Speech Company Computer implemented system and method and computer program product for evaluating pronunciation of phonemes in a language
US20140120502A1 (en) * 2012-11-01 2014-05-01 Clayton Prince Language learning using electronic book
US9280906B2 (en) * 2013-02-04 2016-03-08 Audible. Inc. Prompting a user for input during a synchronous presentation of audio content and textual content

Also Published As

Publication number Publication date
CN104123931A (zh) 2014-10-29
TWI508033B (zh) 2015-11-11
TW201441991A (zh) 2014-11-01
US20140324433A1 (en) 2014-10-30
US10102771B2 (en) 2018-10-16

Similar Documents

Publication Publication Date Title
CN104123931B (zh) 语言学习方法与装置以及计算机可读记录媒体
CN109036464B (zh) 发音检错方法、装置、设备及存储介质
CN105283914B (zh) 用于识别语音的系统和方法
US7996209B2 (en) Method and system of generating and detecting confusing phones of pronunciation
CN110473523A (zh) 一种语音识别方法、装置、存储介质及终端
US20100211376A1 (en) Multiple language voice recognition
US20130059276A1 (en) Systems and methods for language learning
CN104681037A (zh) 发音指导方法、装置及点读机
WO2010133072A1 (zh) 发音评测装置及其方法
US20210050004A1 (en) Method and system using phoneme embedding
WO2019075828A1 (zh) 一种语音评价方法及装置
KR102225435B1 (ko) Stt 기반 언어구사 학습-훈련 시스템
CN102682768A (zh) 基于语音识别技术的汉语学习系统
US20140278428A1 (en) Tracking spoken language using a dynamic active vocabulary
KR20130068598A (ko) 외국어 학습자의 발음 평가 장치 및 방법
US11556708B2 (en) Method and apparatus for recommending word
JP2014164261A (ja) 情報処理装置およびその方法
KR20160001332A (ko) 영어 연음 학습 시스템 및 그의 방법
KR20140087956A (ko) 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법
JP2007148170A (ja) 外国語学習支援システム
TWI240875B (en) Method for interactive computer assistant language learning and system thereof
Bang et al. An automatic feedback system for English speaking integrating pronunciation and prosody assessments
Wik Designing a virtual language tutor
Jo et al. Effective computer‐assisted pronunciation training based on phone‐sensitive word recommendation
KR20150136309A (ko) 언어 학습 교구 및 이를 이용한 학습 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant