CN101366065A - 交互式语言教育系统和方法 - Google Patents

交互式语言教育系统和方法 Download PDF

Info

Publication number
CN101366065A
CN101366065A CN200680051902.1A CN200680051902A CN101366065A CN 101366065 A CN101366065 A CN 101366065A CN 200680051902 A CN200680051902 A CN 200680051902A CN 101366065 A CN101366065 A CN 101366065A
Authority
CN
China
Prior art keywords
student
language
grammer
course
pronunciation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200680051902.1A
Other languages
English (en)
Inventor
J·R·泽尔伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LINGUACOMM ENTPR Inc
Original Assignee
LINGUACOMM ENTPR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LINGUACOMM ENTPR Inc filed Critical LINGUACOMM ENTPR Inc
Publication of CN101366065A publication Critical patent/CN101366065A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Abstract

本发明提供一种在目标语言中提高会话的听说能力的交互式语言教育系统,该系统通过个人通讯装置(例如:使用网络和其它无线网络的移动电话、使用公众交换电话网(PSTN)的电话、网络电话功能(VOIP)的通讯装置、智能电话,以及语音掌上电脑)和一自动系统,提供词汇、发音、语法/句法的口语/听力教授和练习,使使用者能够进行模拟会话,并且基于对学员出现的具体发音和语法/句法错误的类型和频率的分析,为进一步的练习提供个人化的反馈和建议。

Description

交互式语言教育系统和方法
【相关申请】
本申请要求于2005年11月30日提交的美国临时专利申请第60/740,660号的优先权。
【技术领域】
本发明涉及语言的教学系统和方法,更具体地说,涉及使用自动化系统的系统和方法。
【背景技术】
世界上有十亿以上的人希望学会讲英文作为第二语言或外语,而且还有相当数量的人希望学说其它语言作为第二语言或外语。同样地,全世界有十五亿以上的人使用移动电话,在今后的两年中数量有望接近或超过二十亿。
驾轻就熟地以一种语言进行会话的能力取决于两点:说和听。无论人们因商业、移民、旅游为目的而学习一种语言,以便加入使用该语言讲授的学术机构,或者能够与说母语的宾客进行简单地交谈,大部分第二语言的学员均缺乏以该语言有效进行交流的技巧和信心。在很多情形下,在他们原籍的国家,学校教授学生第二语言中的语法、阅读和写作,但是很少或无法提供与说母语人士的听说练习。若以口语讲授,教师又常常不是说母语的人士。结果,以这些方法学习的口语,往往很难理解说母语人士的语言,而且学生学着去理解很重口音的音调,却又听不懂也不理解说母语人士的话音。即使当说母语人士用第二语言讲授,而这些教师却有下列倾向:(a)无意识地过度发音,也就是说,比说母语人士的正常说话更为清楚和速度更慢;以及(b)对发音和语法/句法的错误变得习以为常,结果,教师不能再确定究竟是否是错误。此外,很少能在课室内单独为学生设定数分钟的口语练习。当然,许多有需要或想要学语言的人士往往因为工作、家庭和其它的事务而不能参加语言学习班。
少数人拥有私人指导教师在他们需要语言指导时随时可以在他们身旁。不是每个人每天都能参加语言学习班。大多数人不能全天候二十四小时使用带有麦克风和扬声器的台式电脑。因此,尽管说和听是学语言的关键,但实际上只有少数人有机会与说母语人士进行正规地、实际地会话练习,这些说母语人士可以发觉和纠正他们的发音和语法/句法错误。
目前,提供会话语言学习的方法有以下几种:书本、录音带/声音光盘(CD)、录像带、唯读光盘(CD-ROM)/高密度唯读光盘(DVD-ROM)、网站以及面授。为了提供有效的学习经验,这样一些教授方法具有下列特征:
听:传授的方法使学员能够聆听说母语人士的言语。
回放:应学员的要求传授的方法仅提供语音模式的即时重播。
说:传授的方法回应学员的口头输入。
应答对话:传授的方法使学员能够参与说母语人士的英语会话,其中会话回应系统基于学员所说的话而转变。
录音和回放:传授的方法记录学员所说的话,并使学员能够聆听他/她的说话。
个人化反馈:传授的方法分析学员的语法和发音,并在具体问题区提供做进一步练习的反馈建议。
无论何时何地:传授的方法伴随学员无论去到哪里并助他/她在公众场所练习口语。
易于使用:传授的方法采用学员感到舒适和熟悉的技术,而且对学员来说容易掌握的。
廉价使用:即使学员的经济来源有限,传授的方法也是负担得起的。
可更新的内容:传授的方法使学员能够随时使用不同的内容。
在现有技术中较佳的选择如下:
录音带/声音光盘(CD):录音带/声音光盘(CD)使学员能够聆听说母语人士的录音。学员可以聆听录音并可以重复所听的内容,但是没有关于他们发音、语法或句法的反馈。为了能够使用这些产品,学员需要配备一部磁带播放机或光盘机。除非在具有非常复杂的技术环境条件下配置一正式的语言实习,没有其它的机器可以录音和重播学员的说话。这些产品对于学员的表现不能回应或提供任何反馈。这就需要一“倒带和搜索”的手动键来重播录制模式的部分。如果学员想要大声练习说话,一般会使用这些专门设定的产品。这些产品的内容都是固定的,而且学员为了要获得一些新的内容,就必须用一新的录音带/声音光盘。
唯读光盘(CD-ROM)/高密度唯读光盘(DVD-ROM):唯读光盘(CD-ROM)/高密度唯读光盘(DVD-ROM)可使学员聆听说母语人士的录音。学员可以聆听录音并可以重复所听的内容。在某些情况下,系统录下学员的语音并可以回播。在另一些情况下,学员可以大声读出预先设定对话中一角色的对话。对话是预先设定的,因此学员的说话能力必须很准确地与文本配合,而且下一行对话也总是同样的。在这些情况下,如果学员产生的波形与模式产生的波形密切相配,对话则继续进行,否则,对话无法继续。对于学员的表现,通常提供两种反馈形式中的一种:(a)显示学员可以与模式波形作视觉比较的波形;和/或(b)以一记分或表现程度表示学员产生的波形与模式波形接近程度。学员不可能知道他们有何错误,或者不会提供对具体发音错误或口语语法或句法错误的反馈和指引。这些产品依靠可视化的(课文和图示)使用者介面组件。为了能够使用这些产品,学员需要配备一部带有唯读光盘/高密度唯读光盘驱动器、麦克风、扬声器或耳机的电脑。这些产品一般以私人设置使用,其内容是固定的,而且学员为了要获得一些新的内容,就必须用一新的唯读光盘/高密度唯读光盘。
网站:网站有时使学员能够聆听说母语人士的录音。学员可以聆听录音并可以重复所听的内容。在某些情况下,系统录下学员的谈话并可以回播。如果提供学员发音的反馈,通常为两种形式中的一种:(a)显示学员可以与模式波形作视觉比较的波形;和/或(b)以一记分或表现程度表示学员产生的波形与模式波形接近程度。学员不可能知道其有何错误,也不会提供具体发音错误或口语语法或句法错误的反馈和指引。这些网站依靠可视化的(课文和图示)使用者介面组件,并且一般以私人设置使用。为了使用这些网站,学员就必须要有一部连接互联网且带有麦克风、扬声器或耳机的电脑。
【发明内容】
本发明对个人通讯装置使用者(例如,使用网络和其它无线网络的移动电话,用公众交换电话网(PSTN)的电话,网络电话功能(VOIP)的通讯装置,智能型电话,以及语音掌上电脑),提供一种语言教学和自动语言会话(口语/听力)的练习方法,该方法对特定第一语言组的说话者提供具体发音、语法和句法的常见错误的分析和反馈。
本发明的方法和系统可通过一个人通讯装置传授一可在任何时间地点使用的接合的模擬环境,以获得语言会话技能。本发明的方法和系统使语言学员能够与学员在任何地方随时所选的目标语言的“虚拟说母语人士”进行说话和听力练习。本发明的方法和系统能够以一特定的话题使学员与“虚拟说母语人士”进行“自由”会话,并基于学员说的内容而改变回答的内容。该系统使用一模擬“辅导员”使学员为进行特定会话话题而作准备,并使学员能够进行实际模拟会话,其中本系统灵活地回应学员的输入。本发明的方法和系统可以分析学员的口语应答和为进一步进行具体发音、语法和句法问题的练习提供个人化的反馈、教授和建议。
本发明的系统和方法较现有技术有更多的优点。使学员可能够通过其个人通讯装置随时随地使用本发明的系统。由于本方法可以在普通的移动电话或公众交换电话网(PSTN)的电话上使用,也就无需任何特殊的装备(因此,也就无需使用电脑、互联网连接、麦克风或扬声器)。
本发明的系统提供使用一种可更新的内容体,而不要求有线的网络连接或获取诸如唯读光盘(CD-ROM)的实际媒体。该系统还提供一说和听(因电话为说和听而设计)的自然环境。因为使用者简单的在电话中进行会话,可消除在公众场合中作口语练习所经常出现的尴尬。
本发明的系统和方法易于学员用作熟悉的话音,而对部分学员来说,电话接口不要求特殊的技术专长。本发明的系统和方法在词汇、语法、句法、习惯用语和理解力方面的提供个人化的輔導,以为学员进行实际模拟会话作准备,使学员能够与“说母语人士”进行实际模拟会话并对学员的输入提供智能回应。
本发明的系统和方法可检测出与特定第一语言组有共同之处的发音、语法/句法的错误,并对学员进一步练习提供个人化的反馈、教授和建议。该学员可选择不同的学习路径(顺序,通过等级、话题、发音或语法/句法问题)。
本发明的系统和方法可对学员讲话作录音和回放,并可应学员的要求实时重播语音模式,以及基于学员能力规定“无法忍受”的不同等级(例如:在较高等级下,该系统可以使部分学员对错误不能容忍性逐渐增加)。
本发明的系统可追踪学员的学习进程,并可以在学员先前停止之处自动继续。学员可以容易地跳过课程的不同段落,而且课程最好设计成短段以支持移动交互的按需性。
本发明的方法进一步提供一种方法,即采用本方法供本系统使用的课程的研发者可以迅速编制和实施形成该课程所用的内容。
本发明提供一种对拥有个人通讯装置的学员教授目标语言的方法,本方法包括:(a)学员与一自动语音应答系统建立语音通讯;(b)学员使用个人通讯装置选择一语言课程;(c)学员使用个人通讯装置通过与一自动语音识别系统交互进行语言课程;以及(d)基于学员在所述课程中出现的错误使用预定语句向学员提供反馈。
本发明的方法可包括向学员提供参与一辅助课程的机会。学员在整个课程所说的发言可被记录。使这些发言与一语法做比较,该语法包括当使用目标语言时与学员相关的第一语言说话者的常见错误。可为学员做日志,并呈交给学员的教师。
所述的课程可以是一词汇、语法或发音的课程,也可以是与语音识别系统进行互动会话。
本发明提供一种对拥有个人通讯装置的学员教授目标语言的方法,本方法包括:(a)学员与一自动语音应答系统建立语音通讯;(b)学员使用个人通讯装置选择一语言课程;(c)学员使用个人通讯装置通过与一自动语音识别系统交互进行语言课程;以及(d)基于学员在课程中所做出的正确回答,使用预定语句向学员提供反馈。
本发明提供一种交互式语言教育系统,该系统包括:(a)一电话网关,其通过一个人通讯装置接收来自目标语言学员的电话呼叫;(b)一接收学员发言的语音识别系统,该语音识别系统具有一语法,该语法包括与所述学员相联的第一语言说话者在所述目标语言中常见错误发音的短语,其中语法可识别错误发音的短语;以及(c)通讯装置,通过个人通讯装置向学员传送正确的短语发音。
本发明提供一种语音识别系统的语法,该语法包括:(a)在第一语言中单词的多个正确发音;(b)为选择多个正确发音,选择单词的多个不正确发音;其中该语法区分选择单词的正确和不正确的发音。不正确发音可能是第二语言的说话者选择的单词的常见错误发音。
本发明提供一语音识别系统,该系统包括一第一语言的语法,该语法包括学习第一语言的第二语言说话者语法上常见的错误发音,其中该语法可识别学员语法上的错误发音。
本发明提供一种语言课程的设立方法,该方法包括以下步骤:(a)提供一课程的话题;(b)识别课程中涉及的语法问题;(c)对语法问题提供一初步的解释;(e)提供与说明语法问题的话题有关的短语;(f)提供练习指导,在练习中学员使用适当的语法形式改变语句;(g)提供如何进行练习的例子;(h)叙述多个错误,学员可尝试练习,并对每一错误语句提供反馈;(i)为学员提供一语句以使用适当的语法形式作变化。
本发明方法进一步包括:(j)识别课程中涉及的发音问题;(k)提供发音问题的例子;(l)识别一单词,并通过一特定第一语言组提供单词中目标语音的常见错误发音;(m)提供包括单词的短语;(n)对单词的错误发音提供第二反馈语句;以及(o)提供单词如何发音的指导,并提供包括单词的实例对话。
本发明方法还可以包括:(q)提供在实例对话中一特定语境词汇并解释其在对话中的意思;一结合词汇的对话中语句;重述对话中语句,以另一单词或保留与词汇相关的原意的单词替代特定语境词汇的语句;以及重述对话中语句,以另一单词或改变语句中含意的单词替代词汇的语句。
【附图简要说明】
图1所示为本发明的一语言教授方法的流程图;以及
图2所示为本发明的一语言教授系统的方框图。
【具体实施方法】
本发明的系统是一种使学员能够提高其外语会话的听说能力的自动系统。该系统将语音识别技术与伺服器端的语法和发音分析软件结合,以建立一模擬环境,为使用个人通讯装置(例如:使用网络和其它无线网络的移动电话,使用公众交换电话网(PSTN)的电话,网络电话功能(VOIP)的通讯装置,智能电话,或语音掌上电脑)的学员提供快速、实际及与语境相关的应答和个人化反馈。
该系统以电话和伺服器端技术与语言学习的基本原理和创新的内容设计相结合,为口语学习创立一多元化、有意义及教学法上的语音移动环境。
该系统提供一结构化的学习方法,其中包括一系列的会话课程。使用者主要通过听和说与该系统进行互动。该系统的内容以短段提供,以支持移动学习的按需性。每一课程重点放在一具体的发音问题、语法/句法问题、和/或会话话题上。每一会话话题涉及多种难度等级。学员可以选择通过课程顺序地(由头至尾)进行,选择一特定的课程以把重点放在一具体的发音、语法/句法问题上,或者注重在一特定的会话话题上。该系统充当一辅导员,为学员准备特定的会话情景,并聆听与特定第一语言组说话者有共同之处的具体发音和语法/句法常见的问题。该系统以目标语言和学员的第一语言提供教学内容。本发明用统计的模式对学员的表现提供独立和累计的反馈,以基于不同种类错误出现的频率而提供定制的反馈。辅助发音和语法/句法练习单元每一课程都有,并且该系统可以将学员引向这些单元,或当检测到具体问题时返回到预备的模块。该系统包括一用户注册和跟踪模块,以及一内容管理模块,而内容管理模块允许加新的内容和由非技术性专家定义的词典和语法。该系统还包括一定制的课程设计和编纂方法学。
以下将参照附图1和2对本发明进行说明。图1所示为学员使用本发明系统的方法。在步骤100中,学员在拨打本系统之后收到一欢迎语。该欢迎语可为学员定制,可以使用语音识别、辨认学员的电话号码、个人身份识别号(PIN)或其它项目对该学员进行辨认。
然后,学员可以(使用键盘或口令)从提供的菜单(步骤110)做出选择。学员可以借助于会话话题或能力水平从菜单中选择进程。识别学员时,默认情况下,系统将自动在最后不连续的话路端处恢复。
接下来,学员收到一在选择课程(步骤120)内进行的会话话题、发音以及语法/句法问题的介绍。学员聆听一结合当前课程(步骤130)中进行的会话话题、发音以及语法/句法问题的简短对话。
然后,学员收到对具体的词汇、发音、或语法/句法问题的指导,再收到对发音、语法和理解力的评估和反馈。接着,学员回放他/她的语音并将这些语音与模式语音做比较。这些词汇、发音和语法/句法的课程分别在步骤中140、150和160中完成。
学员然后以一特定的话题(步骤170)进行模拟会话。该系统以适当和智能型的会话应答做回应,或者对学员提供提示会话,若合适的话。
在步骤180中,学员收到在会话过程中识别具体发音或语法/句法问题的辅导。反馈可以包括重放学员的语音和与说母语人士的语音做比较,解释识别的发音或语法/句法错误,指导合适使用,以及指导复习一较早的模式对话,或者分段准备和训练,或进行具体发音或语法/句法问题的辅助练习,其中学员收到更为详细的发音或语法/句法识别问题的指导(步骤185和190)。对特定错误的性质和出现频率的统计分析可决定该系统提供适当的辅导的回应。
参照附图1,以下叙述学员与该系统实施例之间的互动。
学员通过拨打其个人通讯装置(在该实施例中以移动电话为例)的号码进入一会话语言课程。播放一简短的欢迎语后,将给予学员选择一待授语言的接受指示,称之“目标语言”(在该实施例中为英语)或者学员的第一语言的接受指示。此后的任何时间内,学员可以在目标语言(如英语)或学员的第一语言接收指示之间进行转换。检测移动装置的识别符(ID)后,要求学员输入一个人身份识别号(PIN)。如果学员没有PIN,他/她将直接进入到一注册系统。如果学员输入一有效的PIN,则学员将返回(步骤100)至课程中,并且给予从学员最后的停留点继续选择或者从菜单中选取一课程。
整个课程中,向学员提出以及选择选项的方法取决于学员个人通讯装置的性能和用于进入系统的网络。根据学员个人通讯装置的性能和电话网络,以可听(使用自动语音应答(ASR)系统)或可视(使用移动电话上的数字显示)的方式提出选项。学员通过向语音应答(ASR)系统提供语音应答或按下特定的键(如移动电话上的)选择要求的选项。
系统输出的语音可以是预先录制的音频段,也可以由文语转换机产生。
依据菜单(步骤110),学员可以基于会话话题、等级、发音问题、或语法问题选择课程。学员还可以从菜单中要求帮助如何使用本系统。
每一课程由一介绍(步骤120)开始。“辅导员”以音频做介绍,以由系统“个人化”的讲话向学员提供指导和反馈。学员可选择以其第一语言或目标语言听取指导。在介绍中,辅导员解说该课程的目的:本课程涉及什么会话话题、发音问题,和/或语法/句法问题。
介绍之后,向学员提出一模式对话(步骤130)。在该模式对话中,学员可听到一简短、惯用和文化上适合的对话,该对话结合会话话题、课程所注重的发音问题,和/或语法/句法问题。每一对话由两个或多个角色之间的一系列交谈构成。学员可随意地多次选择回放该对话。该对话可以是预先录制的音频段,也可以由文语转换机产生。
听完模式对话之后,学员可参加以下任一或全部三种预备模块:
词汇模块(步骤140):学员可以聆听并获得对话中所使用的单词和短语的语境定义,因为例如这些单词和詞组都是惯用语或罕有用法,有可能会引起困难。举例来说,英文中常见的短语“I’m afraid not”(意思是“抱歉,我必须说不行”),以及“to hold you up”(意思是“耽误你了”)。在学员的选择方面,可以以学员的第一语言或目标语言提供定义和指导。学员可随意地多次聆听每一词条及其定义的典型例子。学员可以练习说出词汇,将他/她的发音与该模式做比较,以及接收对他/她发音的反馈。学员可以进行一理解力练习以便测试其是否理解该模式中的单词和短语。在练习中,学员可听预录的加入该模式中的单词或短语的语句。然后,辅导员要求学员从几种选项中选出每一语句的正确含意。这些语句可以是预先录制的音频段,或者可以由文语转换机产生。
发音模块(步骤150):辅导员叙述该模块注重的发音问题,并且解释为什么第一语言学员组的成员会出现该问题。学员可以聆听用于对话中的单词和短语,这些单词和短语包含课程涉及的发音问题。例如,以广东话为第一语言的人士来说,在区别英文“l”和“r”音方面有发音问题。学员可以聆听并重复该模块中的模式单词和短语,也可以聆听它们的发音录音。学员可以练习说出词汇,将他/她的发音与模块做比较,以及接收对他/她发音的反馈。学员可随意地多次聆听并重复该模块中的单词和短语。学员可以参与一听力理解练习。在该练习中,学员听到结合在该模块中使用的单词和短语的语句。然后,辅导员要求学员从两项选择中选出每一语句的正确含意,在這方面,每一选择都代表不同的意思,这取决于学员的听力是否能够分辨正确的发音。例如,那位女士是说她会把纸张放入活页夹,还是说她会把纸张烧掉?(“我会把纸张放入活页夹(I’am going to put the paper in the file)”还是“我将会把纸张放入火中(I’am going to put the paper in the fire)”?)
语法/句法模块(步骤160):辅导员叙述该模块注重的语法/句法问题,并且解释为什么第一语言学员组的成员会出现该问题。学员可以聆听结合该课程涉及的语法/句法问题的模式语句。学员可随意地多次重复这些语句。学员可以练习说出语句,将他/她所说的语句与模式语句做比较,并将他/她的发音也与模式语句做比较,以及接收在再现模式语句中产生的任何错误的反馈。然后,要求学员基于一模式使用该模块中所教的正确语法/句法形式进行造句。例如,使用“would you”或“could you”的客气请求转变下列语句。指令:“Waitfive minutes”(等五分钟)。客气请求:“Could you wait five minutes?”(您能等五分钟吗?)学员做出回答。辅导员对学员的回答提供反馈。
当学员认为已经准备好了,就可以开始会话(步骤170)。在会话中,辅导员叙述一剧情,其中学员将与一“虚拟说母语人士”进行会话(例如,“你预约了布雷克女士于11时进行面试。接待员将会接待你。聆听并回答。”)。该系统充当其它角色,使用预先录制的音频或文语转换技术开始会话。学员口头回答他/她所听到的内容。根据学员的回答,系统可做以下的回应:(a)使用几种可能适当的对话片段中的一种来继续会话;(b)保留该“角色”并要求学员重复他/她的回答;(c)提示学员可以说些什么;或(d)回放会话中适当的交谈。
在会话过程中,系统将学员所说的语言与一带标记的单词和短语的习惯词汇,以及由第一语言学员组的说话者通常所说的单词和短语的变化做比较。每一变化表示一具体的发音或语法/句法错误。由学员所做的每一变化被记录为一数据库项目。
在会话的结尾,学员收到来自辅导员的反馈(步骤180)。如果没有错误,学员将会听到一信息,即辅导员对学员表现的祝贺并建议他/她继续下一课程(步骤195)。如果学员能够大部分正确地使用课程涉及的发音和语法/句法而只出现一些小错误,辅导员将回放检测到的错误语句的录音和说母语人士在那种情形下将如何表达的实例录音。辅导员对发音或语法/句法问题提供简短的提醒(可以在这样的前提下创立方法论,即学员能够正确处理发音或语法/句法的问题,大多时能够理解“规则”并只需提醒其“注意”)。如果学员在整个会话中频繁或经常地出现发音或语法/句法错误,辅导员将向学员解释他/她有具体发音或语法/句法的问题(例如,“我注意到你以复数名词用动词单数形式”),并解释为什么第一语言学员组会有这个问题。可以回放包含错误的学员语句录音并将其与说母语人士的语句做比较。根据每种错误出现的频率,辅导员将作出下列步骤:(a)建议学员复习课程的发音(步骤150)或语法/句法(步骤160)模块;(b)做辅助发音(步骤185)或辅助语法/句法(步骤190)模块,以学习更多有关识别的发音或语法/句法问题;或(c)尝试一较容易的课程。学员可以依据辅导员的建议进行,或者也可以再次重复会话(步骤170)。
如果学员关系到辅助发音(步骤185)模块,学员可收到更多有关该课程注重的具体发音问题的详细指导(例如,如何安置和移动嘴唇、舌头和下巴以发出英文“r”音)。学员将有机会练习结合具体发音问题的单词和短语,并将收到有关他/她表现的反馈。系统将记录和分析正确和错误回答的频率。当学员的表现符合学员现有等级的预期表现时,辅导员将会建议学员回到主课程。
如果学员关系到辅助语法/句法(步骤190)模块,学员可收到更多有关该课程注重的具体语法/句法问题的详细指导(例如,对复数名词应用动词复数形式)。学员将有机会练习结合具体语法/句法问题的造句,并收到有关他/她表现的反馈。系统将记录和分析正确和错误使用的频率。当学员的表现符合学员现有等级的预期表现时,辅导员将会建议学员回到主课程。
全局命令
学员在任何时候都可以按键,例如“*”键,转换以他/她的第一语言或目标语言接收指示。学员也可以通过交谈命令键提出某些要求(或选择按与下该命令相关的键)。这些键包括:“菜单”、“帮助”、“略过”、“继续”、“重复”以及“再见”。“菜单”使学员回到如上所述的菜单(步骤110)。“帮助”根据学员接下来进行的活动向学员提供语境有关的帮助。“略过”使学员能够从一实例或语句移至在一模块内下一项。“继续”使学员能够从一模块移至在一课程内下一模块,或者从一课程的结尾移至下一课程的开始。“重复”使使用者能够重播模块的任何部分(例如,词汇定义或练习、发音实例或练习、语法/句法实例或练习等)。“再见”终止会话。在本发明的较佳的实施例中,系统将会在没有收到学员回答的一段时间后自动切断。
图2所示为一技术上实施本发明的实施例。学员的个人通讯装置200(例如,使用网络和其它无线网络的移动电话、使用公众交换电话网(PSTN)的电话、网络电话功能(VOIP)的通讯装置、智能电话,以及语音掌上电脑),通过电话网络210(无线移动电话网络或简易老式电话业务(POTS))将音频和双音多频(DTMF)输入传送到电话网关/语音浏览(VoiceXML)解释器220,该个人通讯装置200安装在一电脑上,该电脑最好具有处理器、随机存取内存(RAM)、存储媒体、网络卡及电话卡。电话网关/语音浏览(VoiceXML)解释器220将音频输入和适当的语法传送到语音识别伺服器230。语音识别伺服器230解译该音频输入,把音频转换成文本,以及将文本结果传回到电话网关/语音浏览(VoiceXML)解释器220中。基于所述的结果,电话网关/语音浏览(VoiceXML)解释器220将一包含相关数据的超文本传输规约(HTTP)要求递交给网络伺服器250。收到HTTP要求之后,网络伺服器250发送一要求到应用伺服器260,以进行以下其中之一的操作(如HTTP要求中所指):设立一新的使用者;校验使用者;恢复使用者的状态;恢复教学的内容;记录学员的表现;分析学员的表现或提供反馈。
在词汇、发音和语法/句法(分别为步骤140,150和160)的准备和练习、发音和语法/句法(分别为步骤185、190)的辅助练习、以及会话(步骤170)的过程中,应用服务器260将学员所说的语言与带标记的单词和短语的习惯语法(词汇),以及第一语言学员组的说话者通常所说的单词和短语的变化进行比较。每一变化代表一具体的发音或语法/句法错误。如下所述,当系统识别出一带标记的单词或变化,系统将从数据库270中检索出适当的辅导内容并将其送到网络伺服器250。
在词汇、发音和语法/句法(分别为步骤140,150和160)的准备和练习过程中,学员每次的回答符合一带标记的单词或短语,他/她将会收到一指出其回答正确的辅导回应。学员每次产生一表示具体发音或语法/句法错误的变化,他/她则会收到包括以下的辅导回应:重复问题;重复指导和问题;如何做练习的详细指导;复习课程的建议;进行辅助练习(如适当的步骤185或190)的建议;或尝试一较简单课程的建议。
在发音和语法/句法(分别为步骤185、步骤190)的练习辅助过程中,学员每次的回答符合一带标记的单词或短语,他/她则会收到一指出其回答正确的辅导回应。学员每次产生一表示具体发音或语法/句法错误的变化,他/她则会收到包括以下的辅导回应:重复问题;重复指导和问题;如何做练习的详细指导;如何具体发音或使用具体语法/句法结构的详细指导;复习课程的建议;或尝试一较简单课程的建议。
在会话(步骤170)的过程中,系统确定是否使用者输入的每一片段(又称语音)符合几个预先输入中的一个或不能被识别。在每种情况下,系统播放一适当的回应,将会话移向其逻辑结论。使用者的不同输入将启动系统播放不同的回应。在会话的尾声,系统向学员提出选择再次尝试会话。在会话的过程中,系统会记录由学员预先输入语音的每一错误变化。在会话的结束,应用伺服器260计算在对话过程中学员出现的每种类型错误的频率。根据对话过程中学员出现的每种类型错误的数量,系统将从数据库270中检索适当的辅导内容并将其送到网络伺服器250。辅导回应可以包括:(a)祝贺并建议进行下一课程;(b)回放包含错误的语句和比较的模式语句,并且简短提醒相关的发音或语法/句法规则;或(c)向学员解释他/她有具体发音或语法/句法错误的问题,并解释为什么第一语言组的人会有这个问题。包含错误的学员语句录音可以回放,并且可与说目标语言的母语人士所说的语句做比较。然后,根据每种类型错误出现的频率,辅导员将作出如下建议:(i)学员复习该课程的发音(步骤150)或语法/句法(步骤160)模块;或(ii)进行辅助发音(步骤185)或辅助语法/句法(步骤190)模块,以学习更多有关识别的发音或语法/句法的问题。
网络伺服器250将回答以语音浏览(VoiceXML)及任何预先录制的音频形式送到电话网关/语音浏览(VoiceXML)解释器220。如果使用文语转换机作出系统产生回应,电话网关/语音浏览(VoiceXML)解释器220将待翻译的文本发送到文语转换伺服器240。文语转换伺服器240产生送回至电话网关/语音浏览(VoiceXML)解释器220的音频输出。然后,电话网关/语音浏览(VoiceXML)解释器220传送一语音回应,该语音回应通过电话网络210被送至学员的个人通讯装置200。
电话网关/语音浏览(VoiceXML)解释器220、语音识别伺服器230、文语转换伺服器240、网络伺服器250、应用伺服器260以及数据库270可以全部安装在一电脑上,或者可以分布于具有处理器、随机存取内存(RAM)、网络卡和存储媒体的多路电脑上。
本发明的系统还具有另外的特征。例如,系统可产生学员从事的每一活动的日志,并将该日志储存在数据库270内。学员在每一会话中的语音(即输入)也记录在数据库270内。这些日志和记录通常可以产生:(a)学员的报告,其中学员可以复查其进程和复习他们的语音说话;以及(b)教师的报告,其中教师可以复查学员的进程和学员的语音。
在本发明的实施例中,系统在任何给定的时间上检测哪些学员正在使用系统,并确定每一学员的学习等级和话题。这一信息用来使同类的学员互相竞赛,并向这些竞赛的学员提供选择采相互用语音通讯,诸如网络电话功能(VOIP)进行点对点实时会话练习。
此外,系统还可向学员提供使用声音或VOIP选择与一实时导师连接,例如通过说出一诸如“导师”的密钥指令。如果系统使一学员与一实时导师连接,导师则收到一指出学员进行哪些活动及学员现时话题和等级的报告。
在另一实施例中,本发明的系统还可提供一系列可视内容,取决于使用者个人通讯装置以及网络的性能,其包括例如:(a)说明舌头、嘴唇和下巴如何动作以发出某些音素的动画短片;(b)结合并有剧情的实例对话的视频短片;或(c)说明词汇术语的图片或动昼。
课程样板
本发明的系统还可爲设立课程提供一循序渐进的方法,并且如上所述,然后可使用这些课程。
第一步:识别课程的话题。例如:“招聘面试—会见接待员。”
第二步:识别课程中涉及的语法问题。例如,“在这一片段中,我们将练习使用定冠词和不定冠词。”
第三步:提供语法问题的初步解释。例如,“英语具有两种类型的冠词:定冠词和不定冠词。当你指的是一特定的项目时,使用定冠词。例如,“该杯咖啡”指的只是这一杯咖啡。而当你指的是一种类型事物的任何成员时,使用不定冠词。例如,“一杯咖啡”是指任何一杯咖啡。
第四步:提供与说明语法问题的课程的话题有关的多达六个短语(不需要完整的句子)。
第五步:爲练习提供指导,其中学员使用适当的语法形式改变句子。例如,“在以下的句子中,以适当的不定冠词“a”、“an”或“some”代替定冠词“the”。”
第六步:提供一实例,以说明如何进行练习。例如:
使用定冠词“the”的句子:“您要这杯咖啡吗?”
使用不定冠词“a”的句子:“您要一杯咖啡吗?”
第七步:叙述学员在尝试练习中可能出现的每一错误。对于每一可能的错误提供一适当的反馈语句。例如:
不正确的回答A:重复原来的句子。
对不正确的回答A的反馈:“听起来好像你重复了该例子。再来一次。聆听该例子后,以适当的不定冠词“a”、“an”或“some”代替定冠词“the”。”
第八步:使用在第四步中识别的短语造句,学员将使用适当的语法形式作改变。对于每一句子以及每一预料中不正确的变化提供正确的回答。对于每一不正确的变化,指出一适当的反馈选项。例如:
                                                           反馈选项
原始句子        Did you develop the application?(你开发
                这项应用了吗?)
正确回答        Did you develop an application?(你开发
                一项应用了吗?)
不正确回答1     Repeats the original(重复原始句子)          A
不正确回答2     Did you develop an application?(你开发      B
                一项应用了吗?
……
不正确回答      N                                           N
第九步:识别课程中涉及的发音问题。例如,“在这一段中,我们以如“right”中开头字母/r/音练习单词的发音。”
第十步:提供发音问题的一例子。例如,单词“Look”以如“Love”中的/l/开始发音。“To look at something”含意为“盯着眼看(to focus your eyes on)”某物。单词“Rook”包含如“Raymond”中的/r/音。单词“rook”为一名词,其意思是乌鸦,或是国际象棋中的一棋子。“Look”和“Rook”的发音相近,但具有完全不同的含意。
第十一步:识别单词的数量,诸如五或六个单词,其在结合发音问题的课程的话题方面有意义。对于每一单词,则提供一配对物,其通过特定的第一语言组结合目标音素常见的发音错误。例如:
结合发音问题的单词:Right
结合常见发音错误的单词:Light
第十二步:造出五或六个短语,其在相关于该课程话题的对话方面有意义,以及结合前述图表中所列的词汇。使用结合发音问题的单词和结合常见发音错误的单词提供短语。例如:
正确的短语:You are right(你很正确)!
常见不正确发音的短语:You are light(你很轻快)!
第十三步:对不正确发音提供基本的反馈。例如,“听上去你好像把“right”说成了“light”。
第十四步:对于如何做到要求的发音提供详细的反馈。例如,“要发出以/l/字母开头的音,应该先以你的舌尖放在你的牙齿之间,当你要发音时,使你的舌尖沿牙根滑回口中。”
第十五步:对基于课程话题的样板对话提供一说明。例如,“在该样板对话中,你将会听到一接待员与一应聘者之间的交谈。”
第十六步:对一招聘面试的话题的简短对话或会话(约六位的交谈者)提供一文本。在对话中,可结合第四步中已识别的短语和第十一步中已识别的单词。在该对话中可使用惯用语和适当语境的语言,并以目标学习等级写出对话。
第十七步:识别样板对话中惯用语和特定词汇语境的例题,这些例题对学员来说可能较陌生。对于每一单词或短语,提供以下几点:
Figure A200680051902D0018141051QIETU
  在对话中该单词或短语的含意的解释;
Figure A200680051902D0018141051QIETU
  结合该单词或短语的对话中语句;
Figure A200680051902D0018141051QIETU
  以保持原意的另一单词替代该单词或短语的对话中语句的重述;以及
Figure A200680051902D0018141051QIETU
  以改变含意的另一单词替代该单词或短语的对话中语句的重述。
例如:
单词或短语            Fire away!(开始吧!)
解释                  在对话中,我们可以听到如何将“Fire away!”用作非正式的方式以鼓励其它人去开始
对话中的句子          Fire away!(开始吧!)
重述(相同含意)        Please proceed!(请开始吧!)
重述(不同含意)        Please shoot me!(请朝我开枪吧!)
第十八步:叙述一种基于课程话题的“自由”会话方案。包括在会话过程中要求学员提供任何主要信息。例如,“你是应聘者,你预约了11时与布雷克女士于面试。接待员会接待你。聆听她的接待并回答。”
第十九步:为预先录制的会话提供开场语句。
 
语句/问题A 开场语句/问题类型 识别哪一项回答(设有B,C,D,E,F....X)    
预计回答类型1    提供预计回答类型1的可能回答清单                        识别哪一项回答(设有B,C,D,E,F....X)    
预计回答类型2    提供预计回答类型2的可能回答清单                        识别哪一项回答(设有B,C,D,E,F....X)    
预计回答类型3    提供预计回答类型3的可能回答清单                        识别哪一项回答(设有B,C,D,E,F....X)    
预计回答 提供预计回答类型4的可能回答 识别哪一项回答(设有B,
 
类型4 清单 C,D,E,F....X)
没有回答 识别哪一项回答(设有B,C,D,E,F....X)    
无法理解的回答 识别哪一项回答(设有B,C,D,E,F....X)    
如有需要,可设立更多语句/问题表。
以上的方法使课程创立人能够快捷而简易地设立供本系统用的课程。在本发明的实施例中,上述的方法用于一电脑控制的内容编写系统,其中课程创立人以填空题和选择题编写课程,向系统提供音频输出并设立适当的语法。当课程创立人在一领域进行填空时,系统将那种信息用于去填充表格的剩余部分,以便引导和帮助课程设立过程中的课程创立人。例如,在第七步中,课程创立人识别应提供的回答,以回应学员在语法练习中可能出现的错误(A,B,C.....N)。作为第八步中的一部分,在确定应提供的对每一预计的错误所中,课程创立人可以从在第七步中由学员指定的回答所形成的回答清单(例如,一下拉式菜单或滚动清单)中选择。
虽然,如上所述的系统和方法是本发明较佳的实施例,但有可能出现许多变型,这些仍在本发明的精神内。例如,所揭示课程的准备方法不需要包括上述所有的步骤,而可以按优选包括或多或少的步骤。同样,本文所述的方法可以作为一具有包括在其中的电脑可读码的由一电脑内的处理器来执行的电脑程序产品来实施。所述的方法还可以设置在一电脑可读记忆体或储存媒体内,在其上记录由实施本的方法电脑执行的语句和指导。

Claims (18)

1.一种对具有个人通信装置的学员教授目标语言的方法,所述的方法包括以下步骤:
(a)学员与一自动语音应答系统建立语音通讯;
(b)学员使用个人通讯装置选择一语言课程;
(c)学员使用个人通讯装置通过与一自动语音识别系统的交互进行所述的语言课程;以及
(d)基于学员在所述课程中所出现的错误使用预定语句向学员提供反馈。
2.如权利要求1所述的方法,其特征在于,所述的方法进一步包括以下步骤:
(e)对学员提供参与一辅助课程的机会。
3.如权利要求2所述的方法,其特征在于,记录学员在整个所述课程中所说的话语。
4.如权利要求3所述的方法,其特征在于,当使用目标语言时,把所述的话语与一语法做比较,所述的语法包括与学员相关的第一语言说话者的常见错误。
5.如权利要求4所述的方法,其特征在于,构成一学员日志。
6.如权利要求5所述的方法,其特征在于,所述的日志呈交给学员的教师。
7.如权利要求6所述的方法,其特征在于,所述的课程是一词汇课程。
8.如权利要求6所述的方法,其特征在于,所述的课程是一语法课程。
9.如权利要求6所述的方法,其特征在于,所述的课程是一发音课程。
10.如权利要求6所述的方法,其特征在于,所述的课程是一与语音识别系统进行互动会话的课程。
11.一种对具有个人通信装置的学员教授目标语言的方法,所述的方法包括以下步骤:
(a)学员与一自动语音应答系统建立语音通讯;
(b)学员使用个人通讯装置选择一语言课程;
(c)学员使用个人通讯装置通过与一自动语音识别系统的交互进行所述的语言课程;以及
(d)基于学员在所述课程中所作的正确回答使用预定语句向学员提供反馈。
12.一种交互式语言教育系统,所述的系统包括:
(a)一电话网关,其通过一个人通讯装置接收来自目标语言学员的电话呼叫;
(b)一接收学员话语的语音识别系统,所述的语音识别系统具有一语法,所述的语法包括由与所述学员相联的第一语言说话者以所述目标语言外常见错误发音的短语,其中所述的语法可以识别错误发音的短语;以及
(c)通讯装置,通过所述个人通讯装置向所述学员传送短语的正确发音。
13.一语音识别系统的语法,所述的语法包括:
(a)多个单词以第一语言的正确发音;
(b)为选择所述多个正确发音,多个所选择单词的不正确发音;
其中所述的语法能区分所选择单词的所述正确和不正确的发音。
14.如权利要求13所述的语法,其特征在于,所述的不正确发音是由第二语言的说话者对所选的单词的常见错误发音。
15.一语音识别系统,所述的系统包括一第一语言的语法,所述的语法包括学习第一语言的第二语言说话者语法上常见的错误发音,其中所述语法可识别所述学员出现的所述语法上错误发音。
16.一语言课程的设立方法,所述的方法包括以下的步骤:
(a)提供一课程的话题;
(b)识别课程中涉及的语法问题;
(c)提供对所述语法问题的初步解释;
(e)提供与说明语法问题的话题有关的短语;
(f)提供练习的指导,其中学员使用适合的语法形式改变语句;
(g)提供说明如何完成练习的一例子;
(h)叙述所述学员在尝试做所述练习中可能出现的错误,并对所述每一错误语句提供反馈语句;以及
(i)为学员提供一语句以使用适当的语法形式做转变。
17.如权利要求16所述的方法,其特征在于,所述的方法进一步包括以下步骤:
(j)识别课程中涉及的发音问题;
(k)提供所述发音问题的一例子;
(1)识别一单词,并通过一特定的第一语言组提供所述的单词在目标语音的常见错误发音;
(m)提供包括所述单词的短语;
(n)对所述单词的错误发音提供第二反馈语句;
(o)提供所述单词如何发音的指导;以及
(p)提供包括所述单词的样板对话。
18.如权利要求17所述的方法,其特征在于,所述的方法进一步包括以下步骤:
(q)提供在所述样板对话中一特定语境的词汇和解释所述词汇在对话中含意的;结合所述词汇的对话中的一语句;重述一所述对话中的所述语句,以另一单词并保留与所述词汇原意相关的单词替代所述特定语境的词汇;以及重述一所述对话中的所述语句,以另一单词或改变所述语句含意的单词替代所述词汇。
CN200680051902.1A 2005-11-30 2006-11-30 交互式语言教育系统和方法 Pending CN101366065A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US74066005P 2005-11-30 2005-11-30
US60/740,660 2005-11-30

Publications (1)

Publication Number Publication Date
CN101366065A true CN101366065A (zh) 2009-02-11

Family

ID=38091845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680051902.1A Pending CN101366065A (zh) 2005-11-30 2006-11-30 交互式语言教育系统和方法

Country Status (4)

Country Link
US (1) US20100304342A1 (zh)
CN (1) CN101366065A (zh)
CA (1) CA2631485A1 (zh)
WO (1) WO2007062529A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870122A (zh) * 2014-02-25 2014-06-18 华南师范大学 基于情景的动态“中断-反馈”方法及系统
CN104252864A (zh) * 2013-06-28 2014-12-31 国际商业机器公司 实时语音分析方法和系统
CN104681037A (zh) * 2015-03-19 2015-06-03 广东小天才科技有限公司 发音指导方法、装置及点读机
TWI501204B (zh) * 2014-05-07 2015-09-21 Han Lin Publishing Co Ltd A system and method for generating a split language test sound file
TWI509583B (zh) * 2014-05-07 2015-11-21 Han Lin Publishing Co Ltd A system and method for assembling a language test title audio file
CN106558252A (zh) * 2015-09-28 2017-04-05 百度在线网络技术(北京)有限公司 由计算机实现的口语练习方法及装置
CN109035896A (zh) * 2018-08-13 2018-12-18 广东小天才科技有限公司 一种口语训练方法及学习设备
CN109064790A (zh) * 2018-08-28 2018-12-21 林莉 一种英语发音学习方法及系统
CN109166594A (zh) * 2018-07-24 2019-01-08 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN109493658A (zh) * 2019-01-08 2019-03-19 上海健坤教育科技有限公司 情景化人机对话式口语交互学习方法

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US20070242814A1 (en) * 2006-01-13 2007-10-18 Gober Michael E Mobile CLE media service with cross-platform bookmarking and custom playlists
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
TWI375933B (en) * 2007-08-07 2012-11-01 Triforce Co Ltd Language learning method and system thereof
CA2639720A1 (en) * 2007-09-21 2009-03-21 Neurolanguage Corporation Community based internet language training providing flexible content delivery
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8175882B2 (en) * 2008-01-25 2012-05-08 International Business Machines Corporation Method and system for accent correction
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8964980B2 (en) * 2008-09-30 2015-02-24 The F3M3 Companies, Inc. System and method of distributing game play instructions to players during a game
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20100105015A1 (en) * 2008-10-23 2010-04-29 Judy Ravin System and method for facilitating the decoding or deciphering of foreign accents
US8775932B2 (en) * 2009-05-28 2014-07-08 Xerox Corporation Guided natural language interface for print proofing
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US8840400B2 (en) * 2009-06-22 2014-09-23 Rosetta Stone, Ltd. Method and apparatus for improving language communication
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
KR101522837B1 (ko) * 2010-12-16 2015-05-26 한국전자통신연구원 대화 방법 및 이를 위한 시스템
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
WO2012170053A1 (en) * 2011-06-09 2012-12-13 Rosetta Stone, Ltd. Producing controlled variations in automated teaching system interactions
US20130059276A1 (en) * 2011-09-01 2013-03-07 Speechfx, Inc. Systems and methods for language learning
US9679496B2 (en) * 2011-12-01 2017-06-13 Arkady Zilberman Reverse language resonance systems and methods for foreign language acquisition
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US20140324749A1 (en) * 2012-03-21 2014-10-30 Alexander Peters Emotional intelligence engine for systems
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US10068569B2 (en) * 2012-06-29 2018-09-04 Rosetta Stone Ltd. Generating acoustic models of alternative pronunciations for utterances spoken by a language learner in a non-native language
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
EP2954514B1 (en) 2013-02-07 2021-03-31 Apple Inc. Voice trigger for a digital assistant
WO2014125356A1 (en) * 2013-02-13 2014-08-21 Help With Listening Methodology of improving the understanding of spoken words
US9293129B2 (en) 2013-03-05 2016-03-22 Microsoft Technology Licensing, Llc Speech recognition assisted evaluation on text-to-speech pronunciation issue detection
US9076347B2 (en) * 2013-03-14 2015-07-07 Better Accent, LLC System and methods for improving language pronunciation
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US20140272823A1 (en) * 2013-03-15 2014-09-18 Phonics Mouth Positions + Plus Systems and methods for teaching phonics using mouth positions steps
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
TWI508033B (zh) * 2013-04-26 2015-11-11 Wistron Corp 語言學習方法與裝置以及電腦可讀記錄媒體
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) * 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US20170124892A1 (en) * 2015-11-01 2017-05-04 Yousef Daneshvar Dr. daneshvar's language learning program and methods
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US20170337923A1 (en) * 2016-05-19 2017-11-23 Julia Komissarchik System and methods for creating robust voice-based user interface
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
CN108806719A (zh) * 2018-06-19 2018-11-13 合肥凌极西雅电子科技有限公司 交互式语言学习系统及其方法
CN108897848A (zh) * 2018-06-28 2018-11-27 北京百度网讯科技有限公司 机器人互动方法、装置及设备
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US20210049922A1 (en) * 2019-08-14 2021-02-18 Charles Isgar Global language education and conversational chat system
TWI727395B (zh) * 2019-08-15 2021-05-11 亞東技術學院 語言發音學習系統及方法
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN110929875A (zh) * 2019-10-12 2020-03-27 平安国际智慧城市科技股份有限公司 基于机器学习的智能语言学习方法、系统、装置及介质
CN110992754B (zh) * 2019-12-02 2021-09-28 王言之 一种英语口语的高效备考、自学和教学方法
US20210304628A1 (en) * 2020-03-26 2021-09-30 Ponddy Education Inc. Systems and Methods for Automatic Video to Curriculum Generation
WO2021226211A1 (en) * 2020-05-07 2021-11-11 Rosetta Stone Llc System and method for an interactive language learning platform
CN112863268B (zh) * 2021-01-19 2022-06-03 青岛黄海学院 一种英语口语人机对话装置
CN112863267B (zh) * 2021-01-19 2022-06-03 青岛黄海学院 一种英语人机对话系统及学习方法
WO2022195379A1 (en) * 2021-03-18 2022-09-22 Cochlear Limited Auditory rehabilitation for telephone usage

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100309207B1 (ko) * 1993-03-12 2001-12-17 에드워드 이. 데이비스 음성-대화식언어명령방법및장치
US5540589A (en) * 1994-04-11 1996-07-30 Mitsubishi Electric Information Technology Center Audio interactive tutor
WO1998014934A1 (en) * 1996-10-02 1998-04-09 Sri International Method and system for automatic text-independent grading of pronunciation for language instruction
US6017219A (en) * 1997-06-18 2000-01-25 International Business Machines Corporation System and method for interactive reading and language instruction
US7149690B2 (en) * 1999-09-09 2006-12-12 Lucent Technologies Inc. Method and apparatus for interactive language instruction
AU2002231045A1 (en) * 2000-12-18 2002-07-01 Digispeech Marketing Ltd. Method of providing language instruction and a language instruction system
WO2002050799A2 (en) * 2000-12-18 2002-06-27 Digispeech Marketing Ltd. Context-responsive spoken language instruction
US6435876B1 (en) * 2001-01-02 2002-08-20 Intel Corporation Interactive learning of a foreign language
US20030039948A1 (en) * 2001-08-09 2003-02-27 Donahue Steven J. Voice enabled tutorial system and method
WO2004059593A2 (en) * 2002-12-30 2004-07-15 Marco Luzzatto Distance learning teaching system process and apparatus
US7407384B2 (en) * 2003-05-29 2008-08-05 Robert Bosch Gmbh System, method and device for language education through a voice portal server
US7524191B2 (en) * 2003-09-02 2009-04-28 Rosetta Stone Ltd. System and method for language instruction
KR20070006742A (ko) * 2004-02-09 2007-01-11 더 유니버서티 어브 퀸슬랜드 언어교육방법

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252864A (zh) * 2013-06-28 2014-12-31 国际商业机器公司 实时语音分析方法和系统
US11062726B2 (en) 2013-06-28 2021-07-13 International Business Machines Corporation Real-time speech analysis method and system using speech recognition and comparison with standard pronunciation
US10586556B2 (en) 2013-06-28 2020-03-10 International Business Machines Corporation Real-time speech analysis and method using speech recognition and comparison with standard pronunciation
CN104252864B (zh) * 2013-06-28 2018-04-10 国际商业机器公司 实时语音分析方法和系统
CN103870122A (zh) * 2014-02-25 2014-06-18 华南师范大学 基于情景的动态“中断-反馈”方法及系统
CN103870122B (zh) * 2014-02-25 2017-06-09 华南师范大学 基于情景的动态“中断‑反馈”方法及系统
TWI501204B (zh) * 2014-05-07 2015-09-21 Han Lin Publishing Co Ltd A system and method for generating a split language test sound file
TWI509583B (zh) * 2014-05-07 2015-11-21 Han Lin Publishing Co Ltd A system and method for assembling a language test title audio file
CN104681037B (zh) * 2015-03-19 2018-04-27 广东小天才科技有限公司 发音指导方法、装置及点读机
CN104681037A (zh) * 2015-03-19 2015-06-03 广东小天才科技有限公司 发音指导方法、装置及点读机
CN106558252A (zh) * 2015-09-28 2017-04-05 百度在线网络技术(北京)有限公司 由计算机实现的口语练习方法及装置
CN106558252B (zh) * 2015-09-28 2020-08-21 百度在线网络技术(北京)有限公司 由计算机实现的口语练习方法及装置
CN109166594A (zh) * 2018-07-24 2019-01-08 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN109035896A (zh) * 2018-08-13 2018-12-18 广东小天才科技有限公司 一种口语训练方法及学习设备
CN109035896B (zh) * 2018-08-13 2021-11-05 广东小天才科技有限公司 一种口语训练方法及学习设备
CN109064790A (zh) * 2018-08-28 2018-12-21 林莉 一种英语发音学习方法及系统
CN109493658A (zh) * 2019-01-08 2019-03-19 上海健坤教育科技有限公司 情景化人机对话式口语交互学习方法

Also Published As

Publication number Publication date
US20100304342A1 (en) 2010-12-02
WO2007062529A1 (en) 2007-06-07
CA2631485A1 (en) 2007-06-07

Similar Documents

Publication Publication Date Title
CN101366065A (zh) 交互式语言教育系统和方法
Saricoban The teaching of listening
Peterson Skills and strategies for proficient listening
Bird How I stopped dreading and learned to love transcription
US8371857B2 (en) System, method and device for language education through a voice portal
Bernstein et al. Subarashii: Encounters in Japanese spoken language education
US20050255431A1 (en) Interactive language learning system and method
CN102262820A (zh) 一种交互式外语学习方法
CN101488121A (zh) 一种语言学习方法
Qodir et al. Developing materials of listening comprehension for the English department students
Indrasari Designing Listening Tasks For English Students
Rypa et al. VILTS: A tale of two technologies
KR100450019B1 (ko) 인터넷을 이용한 음성인식 영어 학습서비스방법
KR20220011109A (ko) 디지털 영어 학습 서비스 방법 및 시스템
KR20000001064A (ko) 인터넷을 이용한 외국어 회화 학습 시스템
Mediska et al. Improving student's speaking by using cocktail party technique in teaching recount text for senior high school students
KR20020068835A (ko) 네트워크를 이용한 외국어 학습 시스템 및 그 방법
KR100687441B1 (ko) 외국어 음성 평가 방법 및 시스템
KR20140004538A (ko) 음성인식엔진을 이용한 스피킹 테스트 및 문자 정보의 순차적인 생략을 통한 외국어 롤플레잉 학습 서비스 제공 방법
Putri Lecturers’ strategies: The use of media and material in teaching listening
Ismailia et al. Implementing a video project for assessing students’ speaking skills: A case study in a non-English department context
Alimin Developing listening materials for the tenth graders of Islamic senior high school
KR20140004539A (ko) 음성인식엔진을 이용한 외국어 콘텐츠에 관한 쌍방향 대화를 통한 외국어 이해력 증진 학습 서비스 제공 방법
Brown Task-Based Listening: What Every ESL Teacher Needs to Know
Havrylenko ESP LISTENING IN ONLINE LEARNING TO UNIVERSITY STUDENTS

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090211