CN101751799A - 情境模拟对话练习系统与方法 - Google Patents

Abstract

一种情境模拟对话练习系统。此系统可包含由多流程对话路径与可代换多种词汇的对话语句所构成的情境会话教材、一语音处理模块、以及一对话处理模块。语音处理模块根据此情境会话教材，动态调整一语音辨识模型并辨识输入的学习者的语音讯号，以决定出辨识结果的信息。对话处理模块根据此辨识结果的信息、此情境会话教材，决定出响应学习者的信息。

Description

情境模拟对话练习系统与方法

技术领域

本发明是关于一种情境模拟对话练习(Conversation Practice InSimulated Situations)系统与方法。

背景技术

目前市面上提供着许多数字情境模拟对话系统，例如常见的为学习使用的对话脚本(Script Of A Conversation)以及对话语音教材供学习者练习。此数字化的教材大致可分为四类：(1)文字和图片，单纯的显示文字和图片供学习者学习；(2)声音呈现，录制语句(Auditory Sentence Recording)的示范音(Demonstrated Sound)，此声音可通过播放装置来播放，如CD/MP3播放器(Player)；(3)影音呈现(Video/Audio Presentation)，录制语句的声音及发音(Pronunciation)时的影像，该影像和声音可通过播放装置来播放，如VCD/DVD播放器；(4)计算机互动教学软件，可通过计算机软件让学习者与编辑好的教材进行互动。

使用类型(1)-(3)的学习教材进行语言学习时，单纯地由教材编辑者设计好的课程通过装置呈现给学习者，例如图1的对话教材的范例流程中，学习者单纯地听着声音和跟着固定的脚本，如此，学习者只能一次又一次练习着相同的句子。由于同一句子的说法有很多种，当学习者在真实的外语环境与对方进行对话时，若对方的句子说法与此练习的脚本不同的话，学习者在一时之间可能会无法反应，而沟通不良。所以，使用此对话教材与流程来进行语言学习时，往往不能知道学习者反应与吸收的程度。

通过计算机教学软件，学习者与教学者可进行部份的互动，如此，在特定的环境的下，提供使用者重复学习的机会，并通过计算机分析的能力，给予使用者响应进而提升学习效果。

例如，中国台湾专利号468120公开一种外语口语学习系统及方法，当学习系统提出一个问题后，使用者可用语音从系统所提供的答案中挑选一个进行回答，可挑选的语句是经过设计且存在很大差异的语句。中国台湾公开号200506764公开一种具语音辨识的交互式语言学习方法，使用者可用语音进行回答，回答语句是系统设定好的固定语句，并没有描述对话流程。中国台湾专利号583609公开一种具情境角色选择的造句会话教学系统及方法，可供使用者可以自由选择教材情境及扮演角色，使用者依系统所安排的学习流程来进行学习。

中国公开号CN 1720520A公开一种具备客制化的对话系统的机器人设备，此系统纪录特定使用者的所有个人信息以及历史对话过程，并将所有信息应用在未来使该使用者的对话中。中国公开号CN 1881206A公开一种能够适当处理使用者重新输入的对话系统，此系统存储使用者的对话历史纪录，当使用者进入不同场景却需要相同信息时，对话系统可以不需重复询问使用者，经由重新输入取得相关信息。

美国专利编号5810599公开一种交互式语音影像播放系统，可将预先将准备好的多媒体信息通过播放和暂停来达到互动的功效。美国专利7052278公开一种自动化语言取得系统与方法，学习者可根据如图片等提示，使用语音念出教材设定的单字(Word)、词组(Phrase)和句子，并进行学习者语音正确性的评量，但没有详述不同角色间交互式的对话。

美国专利号7149690公开一种交互式语言教学系统，可依学习者输入的语句产生对话影像及根据学习者语音进行评量，但没有公开互动对话流程的对话设计。美国专利公开号20060177802公开一种机器人装置以及语音对话装置与方法，可让使用者通过语音与系统进行对话，其对话语句与路径是预先设定好的语句与流程，没有进行偏误相关的处理。

发明内容

本发明的目的在于提供一种情境模拟对话练习系统与方法。

在本发明的一实施范例中，所公开的是有关于一种情境模拟对话练习系统。此系统可包含由多流程对话路径与可代换多种词汇的对话语句所构成的情境会话教材(Situational Conversation Teaching Material)、一语音处理模块(Audio Processing Module)、以及一对话处理模块(ConversationProcessing Module)。语音处理模块根据此情境会话教材，动态调整一语音辨识(Speech Recognition)模型，并辨识输入的学习者的语音讯号，以决定出辨识结果的信息。该语音处理模块动态调整一语音辨识模型，除单独根据情境会话教材，亦可依据情境会话教材与教材偏误信息，依据情境会话教材与教材同义信息，或依据情境会话教材、教材偏误信息、与教材同义信息，进行动态调整。对话处理模块根据此辨识结果的信息、以及此情境会话教材，决定出响应学习者的信息。

在本发明另一实施范例中，所公开的是有关于一种情境模拟对话练习方法。此方法包含：准备多流程对话路径与可代换多种词汇的对话语句所构成的情境会话教材；根据情境会话教材，调整一语音辨识模型，并辨识输入的学习者语音讯号，以决定出辨识结果的信息；该调整一语音辨识模型，除单独根据情境会话教材，亦可依据情境会话教材与教材偏误信息，或依据情境会话教材与教材同义信息，或依据情境会话教材、教材偏误信息、与教材同义信息，进行动态调整。

附图说明

图1是一种对话教材的一个范例流程图。

图2是一种情境模拟对话练习系统的一个范例示意图，并且与本发明的某些公开的实施范例一致。

图3是情境模拟对话练习方法的一个范例流程图，并且与本发明的某些公开的实施范例一致。

图4以一个范例来说明对话节点与连接线，并且与本发明的某些公开的实施范例一致。

图5以一个范例来说明课程目标规则与课程目标的任务，并且与本发明的某些公开的实施范例一致。

图6进一步说明情境会话教材的多变化对话语句与多变化流程的特性，并且与本发明的某些公开的实施范例一致。

图7进一步说明情境会话教材的多变化对话语句的特性，并且与本发明的某些公开的实施范例一致。

图8a至图8g说明多路径连接规则中八种型态连接线的定义，并且与本发明的某些公开的实施范例一致。

图9是偏误语句对应表的一个范例示意图，并且与本发明的某些公开的实施范例一致。

图10是语音处理模块的架构与其细部运作的一个范例示意图，并且与本发明的某些公开的实施范例一致。

图11是对话处理模块的架构与其细部运作的一个范例示意图，并且与本发明的某些公开的实施范例一致。

图12是错误回复样版语句的一个范例示意图，并且与本发明的某些公开的实施范例一致。

图13是输出装置的系统架构的一个范例示意图，并且与本发明的某些公开的实施范例一致。

图14是第一工作范例的情境会话教材的一个范例流程图，并且与本发明的某些公开的实施范例一致。

图15是根据图14，其情境会话教材变量字段图表的一个范例，与本发明的某些公开的实施范例一致。

图16是第二工作范例的情境会话教材的一个范例流程图，并且与本发明的某些公开的实施范例一致。

图17是根据图16，其情境会话教材变量字段图表的一个范例，与本发明的某些公开的实施范例一致。

图18是第三工作范例的情境会话教材的一个范例流程图，并且与本发明的某些公开的实施范例一致。

图19是根据图18，其情境会话教材变量字段图表的一个范例，与本发明的某些公开的实施范例一致。

图20A是情境会话教材中加入教材偏误信息前的一个范例，此范例结果为目标语句经变量处理后的语句，并且与本发明的某些公开的实施范例一致。

图20B是加入偏误后语句与偏误类型序号的对应表格的一个范例，与本发明的某些公开的实施范例一致。

图21是同义语句对应表的一个范例示意图，并且与本发明的某些公开的实施范例一致。

附图中主要组件符号说明：

200情境模拟对话练习系统       210情境会话教材

220语音处理模块               230对话处理模块

210a多流程对话路径            210b对话语句

220a学习者语音讯号            220b辨识结果的信息

230a教材偏误信息              230b向应学习者的信息

230c教材同义信息

302准备多流程对话路径与可代换多种词汇的对话语句所构成的情境会话教材

304根据情境会话教材、教材偏误信息、以及教材同义信息，动态调整一语音辨识模型，并辨识输入的学习者语音讯号，以决定出辨识结果的信息

306根据辨识结果的信息、情境会话教材、教材偏误信息、以及教材同义信息，决定出响应学习者的信息

400一般教材                   410对话节点

420连接线

501从本课程所有多个课程目标中，随机选取一个课程目标

502将此课程目标中的变量进行替换，成为本次学习的任务

610多变化语句                 610a偏误语句

615同义语句                   625失误语句

620a、620b、620c三种不同的对话流程

A、B对话节点

80a流程由对话节点A转移至对话节点B

80b流程由对话节点A转移至对话节点B，若对话节点B曾被转移过则禁止转移至对话节点B

80c若对话节点A所连接的所有型态1或型态2的对话节点，曾被转移过，则可进行由对话节点A转移至对话节点C

80d当对话节点A所连接的所有型态1或型态2的对话节点全部被转移后，才可进行由对话节点A转移至对话节点C

80e流程由对话节点A转移至对话节点B，此转移的情况不会影响其它型态

80f流程由对话节点A转移至对话节点B，此转移的情况不会影响其它型态，若对话节点B曾被转移过，则禁止转移至对话节点B

80g型态7的流程由呼叫节点A连接至起始节点B，当流程遇到型态8时，将由B节点经过A节点并进行转移至对话节点C

1021语音辨识模块            1022调适模块

1121语句处理模块            1122流程处理模块

1130对话数据                1140样版语句

1300输出装置                1310数据读取模块

1320影像式人脸合成模块      1330语音合成模块

$Var1至$Var7变量字段        $T1至$T5变量字段

具体实施方式

配合附图和实施范例，将上述及本发明的其它特征与优点详述于后。

在真实环境中，人与人对话时习惯彼此看着对方来说话，而在做语言学习时也是如此，学习者往往会希望看着真实的人像来说话，而每一次的对话内容都应根据自己不同的回答而产生不同的响应。本发明公开的情境模拟对话练习系统的实施范例中，根据多流程对话路径与可代换多种词汇的对话语句所构成的会话教材与学习者进行互动对话的练习，提供学习者近似自然对话的环境，以模拟真实对话的情境。例如提供人脸合成的影像，模拟人与人面对面的交谈；提供多种语句的说法，避免一成不变的对话语句；提供多路径的对话流程，避免一成不变固定的对话流程等。

图2是此情境模拟对话练习系统的一个范例示意图，并且与本发明的某些公开的实施范例一致。参考图2，情境模拟对话练习系统200包含由多流程对话路径210a与可代换多种词汇的对话语句210b所构成的情境会话教材210、一语音处理模块220、以及一对话处理模块230。语音处理模块220根据情境会话教材210，动态调整一语音辨识模型，并辨识输入的学习者语音讯号220a，将决定出的辨识结果的信息220b响应给对话处理模块230。对话处理模块230根据辨识结果的信息220b、情境会话教材210，决定出响应学习者的信息230b。其中，语音处理模块220或可根据情境会话教材210、与教材偏误信息230a以及教材同义信息230c的其中一项或其两项，动态调整一语音辨识模型；则对话处理模块230也会根据辨识结果的信息220b、情境会话教材210、以及教材偏误信息230a与教材同义信息230c的一或二项，决定出响应学习者的信息230b。

语音辨识模型系选自声学模型、语言模型、文法和辞典。语音处理模块220也可通过一输入装置来取得学习者语音讯号220a。对话处理模块230可通过一输出装置输出所要响应的信息，例如文字、图片、声音或影像等。当整个会话练习教材结束后也可通过此输出装置，将学习者对话信息完整呈现出来，让学习者了解自己的对话练习的状况。

承上述，图3是情境模拟对话练习方法的一个范例流程图，并且与本发明的某些公开的实施范例一致。参考图3的范例流程，首先准备多流程对话路径210a与可代换多种词汇的对话语句210b所构成的情境会话教材210，如步骤302所示。根据情境会话教材210、教材偏误信息230a、以及教材同义信息230c，动态调整一语音辨识模型，并辨识输入的学习者语音讯号220a，以决定出辨识结果的信息220b，如步骤304所示。根据辨识结果的信息220b、教材偏误信息230a、教材同义信息230c、以及情境会话教材210，决定出响应学习者的信息230b，如步骤306所示。

情境会话教材是依据教材编辑规则而产生。情境会话教材也可以包含一教材偏误数据库。此教材偏误数据库的信息(简称教材偏误信息230a)系依据学习者常犯偏差错误与对话教材来产生，也可以提供给对话处理模块230，作为判定学习者对话语句的正确性的参考信息。情境会话教材也可以包含一教材同义数据库，此教材同义数据库的信息(简称教材同义信息230c)依据常用说法与词汇分析整理所产生，也可以提供给对话处理模块230，作为学习者对话同义词的参考信息，以动态调整该语音辨识模型并辨识输入的学习者的语音讯号。

情境模拟对话练习方法的另一个范例流程，是将图3的范例流程简化，就是首先准备多流程对话路径210a与可代换多种词汇的对话语句210b所构成的情境会话教材210，如步骤302所示。根据情境会话教材210，动态调整一语音辨识模型，并辨识输入的学习者语音讯号220a，以决定出辨识结果的信息220b。根据辨识结果的信息220b以及情境会话教材210，决定出响应学习者的信息230b。

在本发明的实施范例中，情境会话教材中每一对话节点以节点连接线进行具有方向性连接。图4中，举一个范例来说明对话节点与连接线，并且与本发明的某些公开的实施范例一致。如图4所示，标号410是一般教材400其中的一个对话节点，而对话节点是以节点连接线，例如连接线420，进行具有方向性连接。

而教材编辑规则可包括如课程目标规则、多路径连接规则与多变化对话语句规则等。课程目标规则如图5所示，每一个课程，可以存在多个课程目标，而每一个课程目标的语句中可以存在一个以上的变量，然而，课程目标叙述着每一个课程所需要完成的任务，课程中的任务将会从本课程所有多个课程目标中，随机选取一个课程目标，如标号501所示；再将此课程目标中的变量进行替换，成为本次学习的任务，如标号502所示。而所设计的对话语句与对话流程将会针对目前的课程目标进行适当的安排，当学习者进行的课程完成后，会显示本次练习后的课程目标达成程度，了解此次学习是否完成课程目标。

承上述图4的范例，图6进一步说明情境会话教材的多变化对话语句与多变化流程的特性，并且与本发明的某些公开的实施范例一致。如图6所示，课程目标的语句可以有多种变化，例如多变化语句610，并且可以存在多个变量。以『我想买$Var1(两块)橡皮擦。』为例，假设$Var1随机选取到「两块」，根据图21的原有样版(Primitive Pattern)与被修改样版(RevisedPattern)的对照范例，多变化语句610的同义语句615可以有「我要买两块橡皮擦」、「我要买两块擦子」、「我想要买两块橡皮擦」、「我想要买两块擦子」、「买两块橡皮擦」，以及「买两块擦子」，共六种说法；如果$Var1随机选取到「一块」时，其同义语句会实时更变为「我要买一块橡皮擦」、「我要买一块擦子」、「我想要买一块橡皮擦」、「我想要买一块擦子」、「买一块橡皮擦」、以及「买一块擦子」。

此范例也含有偏误信息，根据图9的原有样版(Primitive Pattern)与被修改样版(Revised Pattern)的对照范例，多变化语句610的偏误语句610a为「我想买二块橡皮擦」、「我想买两粒橡皮擦」、「我想买两颗橡皮擦」、「我想买二粒橡皮擦」、「我想买二颗橡皮擦」，共五种说法。此外本发明中也设计了失误语句，其定义为学习者应注意而未注意所造成的失误。以上述范例『我想买$Var1(两块)橡皮擦』为例，其失误语句为图7的$Var1表格中的其它名称，根据图7的中的$Var1变量，产生了「我想买一块橡皮擦」、「我想买三块橡皮擦」、「我想买五块橡皮擦」这三句失误语句，此三句失误语句如图6的标号625所示。

此情境会话教材的范例中，所有课程目标的语句总共存在九个变量$Var1至$Var9，如图7所示。图7中进一步说明多变化对话语句的特性，并且与本发明的某些公开的实施范例一致。在这些变量$Var1至$Var9中，具有三种属性以及两种存放数据的字段。此三种属性分别称为Random、取到Get、以及Total。此两种存放数据的字段分别称为Name与Value。以下说明此三种属性的特色。

Random属性是在制作课程最常使用的属性，其功能是当学习者进入课程后，针对具有Random属性的变量，进行随机选取的动作。Get属性是用来针对具备有高度相关的变数，其动作为让具有Get属性的变量，与被Get的变量具有相同的随机参数值。例如，总共金额($Var7)以及付账金额($Var8)的变量，一定要是付账金额大于总共金额，否则对于对话流程，会造成学习者混淆。Get属性的用法会根据教材编辑者的想法，拥有不同的用途，例如量词(枝、把、本)与名词(铅笔、尺、书)的对应，也是利用此属性来解决。Total属性是用来针对一些简单计算，例如找零，加总等，其提供的功能为基本的加减乘除计算。

多变化流程例如图6中标号620a至620c，有三种不同的对话流程。对话语句与对话流程也会针对课程目标进行适当的安排，例如当课程目标选取到了『今天唐先生要帮儿子购买$Var2(两把)尺，并希望在下午$Var5(三点)前送达，于是唐先生上了购物网站...』，系统会在练习中提醒你本次的课程目标，让学习者不会在对话的过程中，迷失了自己的目标，并在每句对话后，实时更新目前课程目标的达标率，此外在对话结束后，告知是否达成本次练习的课程目标。

多路径连接规则系针对对话节点的连接定义了八种连接线，分别称为型态(Type)1连接线至型态8连接线，以下图8a至图8g说明多路径连接规则中的型态1连接线至型态8连接线的定义。

参考图8a，型态1连接线代表的流程由对话节点A转移至对话节点B，如标号80a所示。其中表示此连接线为课程基本连接线，并且此连接线所连接的对话节点B可重复被转移。

参考图8b，型态2连接线代表的流程由对话节点A转移至对话节点B，若对话节点B曾被转移过则禁止转移至对话节点B，如标号80b所示。换句话说，其中表示此连接线为课程基本连接线，并且由此连接线所连接的对话节点B不可重复被转移。

参考图8c，型态3连接线表示若对话节点A所连接的所有型态1或型态2的对话节点，例如有一对话节点B，曾被转移过，则可进行由对话节点A转移至对话节点C，如标号80c所示。换句话说，此连接线的节点为只要型态1或型态2连接线的其中一种走过一次后，就可走型态3连接线的节点。

参考8d，型态4连接线表示当对话节点A所连接的所有型态1或型态2的对话节点全部被转移后，才可进行由对话节点A转移至对话节点C，如标号80d所示。换句话说，此连接线的节点为所有型态1或型态2连接线连都走完后，才可走型态4连接线的节点。

参考图8e，型态5连接线表示流程由对话节点A转移至对话节点B，此转移的情况不会影响其它型态，如标号80e所示。也就是说，此连接线为课程联机中的非基本连接线，此连接线的节点B可重复被转移。

参考图8f，型态6连接线表示流程由对话节点A转移至对话节点B，此转移的情况不会影响其它型态，若对话节点B曾被转移过，则禁止转移至对话节点B，如标号80f所示。也就是说，此连接线为课程联机中的非基本连接线，若对话节点B曾被转移过，由此连接线所连接的节点B不可重复被转移。

参考图8g，型态7连接线，即呼叫(Call)连接线，表示流程由呼叫节点(对话节点A)连接至起始节点(对话节点B)。当流程遇到型态8连接线时，即返回(Return)连接线时，流程将由B节点经过A节点，并进行转移至对话节点C，如标号80g所示。换句话说，型态8连接线表示由结束节点返回呼叫节点的连接线。

多变化对话语句规则系允许一个对话节点内，存在相同意义但叙述方式不同的语句，可提高更符合真实情境的效果。并且，针对不同的对话语句可赋予变量设定的功能，包括如数字变量、字符串变量、还有提供变量与变量之间的计算方程式，根据教材编辑者的设定，可以让课程变得更加活泼与生动。所以，情境模拟对话练习系统200具有让情境会话教材210设定课程目标的功能。

教材偏误数据库是收集学习常犯偏差错误，由专业学者分析并整理所得。此教材偏误数据库指出正确与偏误语句或词汇的对应，可采用对应表来呈现，如图9偏误语句对应表的范例。其中，偏误序号字段记录偏误的类型与序号，例如偏误序号ER_Num_11；原有样版字段记录着课程编辑者所编辑的样版，通常记录语言的正确用法，例如偏误序号ER_Num_11所对应的原有样版为「本笔记本」；被修改样版字段记录着原有样版可能的偏误或其它用法，例如偏误序号ER_Num_11所对应的被修改样版为「件笔记本」；备注(Memo)字段记录着对规则的说明，以供偏误编辑者参考，例如偏误序号ER_Num_11所对应的备注为：量词“件”误用，笔记本应该用“本”。英文备注栏位纪录对规则的英文说明，必要时可修改为学习者的母语说明，主要是提供学习者了解偏误语法的正确用法，可作为对话练习后学习者的参考信息。错误类型(Error Type)字段纪录规则属于何种类型的偏误。

语音处理模块220可通过一输入装置取得学习者的语音讯号后，进行语音辨识及语者调适，以决定出响应对话处理模块的信息。第十图进一步说明语音处理模块220的架构与细部运作，并且与本发明的某些公开的实施范例一致。参考图10，语音处理模块220包含一语音辨识模块1021与一调适模块1022。调适模块1022根据情境会话教材、教材偏误信息、以及教材同义信息，动态调整语音辨识模型，以提供语音辨识模块1021进行学习者语音讯号的辨识；并根据学习者语音讯号进行语者调适，调整语音辨识模型的声学模型，以及根据情境会话教材、教材偏误信息与教材同义信息调整语言模型、文法和辞典，以增加语音辨识可辨程度。语音辨识模块821将语音讯号辨识结果的信息220b传至对话处理模块230，以进行相对应的响应。此语音讯号辨识结果的信息例如：语句分数和语句文字等。

依此，在图3的范例流程中的步骤304可包括下列子步骤：先根据情境会话教材、教材偏误信息、教材同义信息，动态调整语音辨识模型，来进行学习者语音讯号的辨识；并根据学习者语音讯号进行语者调适，以及根据教材与教材偏误信息进行调整语音辨识模型中的声学模型，再加上教材同义信息进行调整语音辨识模型中的语言模型、文法和辞典，以增加语音辨识可辨程度；然后决定并输出语音讯号辨识结果。在另外的实施例，直接根据情境会话教材即可动态调整语音辨识模型。或是根据情境会话教材与教材偏误信息、或根据情境会话教材与教材同义信息，均可动态调整语音辨识模型。

对话处理模块230可根据语音辨识结果及教材偏误数据库的信息，侦测出语法及发音的可能错误，并根据情境会话教材决定响应学习者的信息。也可以储存学习者的对话数据记录。此对话数据可能包含对话语句、对话语音、发音状况和偏误情形等。图11是对话处理模块的架构与其细部运作的一个范例示意图，并且与本发明的某些公开的实施范例一致。此细部运作也就是图3的范例流程中步骤306包括的子步骤。

参考图11，对话处理模块230包含一语句处理模块1121与一流程处理模块1122。语句处理模块1121根据语音处理模块220的数据(包括情境会话教材210、或情境会话教材210加上教材偏误信息230a与教材同义信息230c)与语音产生语音辨识结果的信息，判定学习者对话的语句为正确、同义、偏误或错误，并将对话语句相关讯息记录至对话数据1130。教材偏误信息230a可以是一教材偏误数据库的信息，教材同义信息230c也可以是一教材同义数据库的信息。其中，当语音处理模块220的信息包括情境会话教材210加上教材偏误信息230a或教材同义信息230c，则语句处理模块1121根据该等语音处理模块220的信息与语音产生语音辨识结果的信息，可提供学习者对话的语句为同义或偏误与否的信息。

流程处理模块1122根据语句处理模块1121的判定结果决定接下来的响应语句，当判定结果为正确、同义或偏误时，将进行对话教材中下一个对话节点的对话流程，若判定结果为错误时，将进行样版语句1140的对话响应。样版语句1140是当学习者语句被判定为错误时，所回复的对话语句，如图12的对话语句的范例所示。

若该对话节点学习者语句再次被判定为错误时，流程可设定为进行对话教材中下一个对话语句的对话流程。当进行下一个对话语句时，可通过一输出装置输出所要响应的数据，此响应数据可以是文字、图片、声音、影像数据等。图13是输出装置的一个架构范例示意图，并且与本发明的某些公开的实施范例一致。当整个会话练习教材结束后，可通过一输出装置将对话数据完整呈现出来，让学习者了解自己的对话练习的状况。

参考图13，输出装置1300可包括一数据读取模块1310、或一影像式人脸合成模块1320或一语音合成模块1330。数据读取模块1310可接收对话处理模块230输出的数据并呈现的。若所接收的数据为文字或声音，也可以通过影像式人脸合成模块1320，产生影像式人脸对话影像并以整合后的声音影像输出，或呼叫语音合成模块1330，将文字数据通过语音合成模块1330将文字内容转换为语音输出。

以下以三个工作范例来说明情境会话教材的流程、多路径连接规则中的型态1连接线至型态8连接线、以及情境会话教材变量字段的设计。

第一个工作范例中，课程目标为唐先生要在某一购物网中买到三枝红笔、三罐墨水和笔记本。通过本公开的情境会话教材210，可以将课程目标设定为唐先生要在某一购物网中买到$Var1(3)枝$Var2(红)笔、$Var7(3)$Var4(罐墨水)和$Var3(笔记本)。也就是说，情境模拟对话练习系统200赋予课程目标设定变量的功能。

并且依据前述定义的八种连接线，可产生出的一个情境会话教材的范例流程如图14所示。此范例流程中，根据多路径连接规则的定义，流程行走过的连接线可包括型态1连接线、型态2连接线、型态3连接线、型态4连接线、型态7连接线、以及型态8连接线。

从图14的会话教材的范例流程中，可以了解此情境会话教材的对话脚本至少包括对话节点、对话流程、对话语句、同义语句、偏误语句、以及失误语句的设计。对话数据也需要通过如变量图表来记录。图15是此情境会话教材的变量字段图表的一个范例，与本发明的某些公开的实施范例一致。

图15的变量图表的范例中，共有七种变量字段图表，$Var1至$Var7。变量字段$Var1为字符串变量，记录着笔的可能数量，例如2、3、4、5、6。变量字段$Var2为字符串变量，记录着笔的可能颜色，例如蓝、黑、红。变量字段$Var7为字符串变量，记录着墨水罐的可能数量，例如1、2、3。变量字段$Var6利用Get属性来取得与变量字段$Var3相同的随机参数值。此范例中，随机选取到的各变数值分别为$Var1等于“3”，$Var2等于“红”，$Var3等于“笔记本”，$Var4等于“罐墨水”，$Var5等于“4”，$Var6等于“本笔记本”，$Var7等于“3”。

从图14与图15中，可以看出一个对话节点内，存在相同意义但叙述方式不同的语句，并且针对不同的对话语句也可赋予变量设定的功能，包括如数字变量、字符串变量、还有提供变量与变量间的搭配运用，情境会话教材210也赋予课程目标与对话节点的语句可以使用相同变量名称的功能。所以让课程变得更加活泼与生动，也创造更符合真实情境的效果。

第二个工作范例中，课程目标为唐先生要某一购物网中买两枝红笔，如果红笔卖完的话，两枝蓝笔也可以，另外还需要两包牛皮纸。通过本公开的情境会话教材210，可以将课程目标设定为唐先生要某一购物网中买$Var1(两枝)$Var2(红笔)，如果$Var2(红笔)卖完的话，$Var1(两枝)！$Var2(蓝笔)也可以，另外还需要$Var3(一包)$Var4(牛皮纸)。在此补充说明多变化对话语句另一个特性，$Var2(红笔)与！$Var2(蓝笔)的差别，在于「！」符号，此符号的功能是针对Random属性的变量，在随机选取参数号时，是扣除这一次的选取，再重新选取一次，举例来说，“$Var2”随机选取到的是“红笔”，那“！$Var2”将扣除红笔之外，从黑笔与蓝笔中，再随机选取一个，当作是“！$Var2”。

并依据前述定义的八种连接线，可产生出的一个情境会话教材的范例流程如图16所示。此范例流程中，根据多路径连接规则的定义，流程行走过的连接线可包括型态1连接线、型态2连接线、以及型态4连接线。图17是此情境会话教材的变量字段图表的一个范例，与本发明的某些公开的实施范例一致。

从图17可以看出，变量与变量之间的计算方程式，例如$Var5，此变量属性为Total，其数字变量为＝$Var1.Value*$Var2.Value+$Var3.Value*$Var4.Value。当随机取到的字段是“两枝红笔+一包牛皮纸”时，则此方程式的计算结果为2×10+1×90＝110。所以，情境模拟对话练习系统200也提供变量与变量之间有计算方程式的功能。并且可以看出扣除从上次随机选取到的变量字段$！Var2的“蓝笔”，也可以再次随机选取到变量字段$！Var4的“图画纸”。如此，对话语句也将因为可代换词汇的不同而有所变化，因此通过情境模拟对话练习系统200，也可以吸引学习者的兴趣，提高学习者的学习意愿与效率。

第三个工作范例中，课程目标为唐先生要在某一购物网中买四把尺、五枝笔、七本笔记本、三块橡皮擦，并希望在两点以前可以送货到家，另外，唐弟弟希望如果唐先生有看到运动用品，也帮他买一件。通过本公开的情境会话教材210，可以将课程目标设定为唐先生要在某一购物网中买$T1(四把)尺、$T2(五枝)笔、$T3(七本)笔记本、$T4(三块)橡皮擦，并希望在$T5(两点)以前可以送货到家，另外，唐弟弟希望如果唐先生有看到运动用品，也帮他买一件。

并依据前述定义的八种连接线，可产生出的一个情境会话教材的范例流程如图18所示。此范例流程中，根据多路径连接规则的定义，流程行走过的连接线可包括型态1连接线、型态2连接线、型态4连接线、以及型态6连接线。图19是此情境会话教材的变量字段图表的一个范例，与本发明的某些公开的实施范例一致。

图19的变量图表的范例中，共有五种变量字段图表，$T1至$T5。变量字段$T1至$T5为字符串变量，例如：$T1记录着尺的数、量词名称，例如一把、三把、四把、七把、九把；变量字段$T2记录着笔的数、量词名称，例如三枝、五枝、七枝；变量字段$T5记录着送货到家的时间名称，以小时为单位名称。

图20A～B是情境会话教材中加入教材偏误信息的一个范例，此范例结果为目标语句加上偏误语句，并且与本发明的某些公开的实施范例一致。系统根据学习者输入的语句在图20A的表格中，经过替代处理后，再参考图9，将替代后的语句，经过原有样板与被修改样板的取代，并找出对应的偏误类型序号，产生图20B，图20B的偏误序号，将可参考图9的备注栏，提供学习者所犯偏误语法的说明与正确用法。

综上所述，本公开的实施范例可提供一种情境模拟对话练习系统与方法，提供教材编辑者可设计出多变化对话语句与多变化对话流程的情境会话教材。每份会话教材均可设定对话学习目标与对话语句的可代换词汇，而对话语句因为可代换词汇的不同而有所变化，对话流程亦会因学习者的不同响应而有所改变。通过此情境模拟对话练习系统，学习者可与真人人脸合成影像进行类似情境对话的互动。若学习者语句发生偏差错误，也可以将此信息记录下来，并于完成该对话练习教材后呈现出来。也可以指出学习者发生偏差错误的地方。本公开的实施范例与工作范例也证明了本发明的可行性。因此通过本发明的情境模拟对话练习系统与方法可以吸引学习者的兴趣，提高学习者的学习意愿与效率。

以上所述仅为本发明的实施范例，当不能依此限定本发明实施的范围。即大凡本发明申请专利范围所作的均等变化与修饰，皆应仍属本发明权利要求涵盖的范围。

Claims (35)

1.一种情境模拟对话练习系统，该系统包含：

由多流程对话路径与可代换多种词汇的对话语句所构成的情境会话教材；

一语音处理模块，根据该情境会话教材中不同的内容，动态调整一语音辨识模型，并辨识输入的学习者的语音讯号，以决定出的辨识结果的信息；以及

一对话处理模块，根据该辨识结果的信息、该情境会话教材，以决定出响应学习者的信息。

2.如权利要求1所述的情境模拟对话练习系统，其中，该情境会话教材还包括一教材偏误数据库、一教材同义数据库，该教材偏误数据库的教材偏误信息是依据学习者常犯偏差错误分析整理所产生，该教材同义数据库的教材同义信息依据常用说法与词汇分析整理所产生。

3.如权利要求1所述的情境模拟对话练习系统，其中，该语音处理模块还包括一教材同义信息，根据该教材同义信息，以动态调整该语音辨识模型并辨识输入的学习者的语音讯号。

4.如权利要求1所述的情境模拟对话练习系统，其中，该语音处理模块还包括一教材偏误信息，根据该教材偏误信息，以动态调整该语音辨识模型并辨识输入的学习者的语音讯号。

5.如权利要求1所述的情境模拟对话练习系统，其中，该情境会话教材中每一对话节点是以节点连接线进行具有方向性连接。

6.如权利要求1所述的情境模拟对话练习系统，其中，该情境会话教材是依据教材编辑规则而产生，并且该教材编辑规则包括课程目标规则、多路径连接规则与多变化对话语句规则。

7.如权利要求1所述的情境模拟对话练习系统，其中，该系统通过一输出装置来输出响应学习者的信息。

8.如权利要求1所述的情境模拟对话练习系统，其中，该系统具有让情境会话教材拥有课程目标的功能。

9.如权利要求6所述的情境模拟对话练习系统，其中，该系统针对课程目标与对话语句赋予变量设定的功能。

10.如权利要求1所述的情境模拟对话练习系统，其中，该语音处理模块包括：

一语音辨识模块，将该语音讯号的辨识结果传至该对话处理模块；以及

一调适模块，根据该情境会话教材与、该教材偏误信息、以及教材同义信息，动态调整该语音辨识模型，以提供该语音辨识模块进行学习者语音讯号的辨识，并根据学习者语音讯号进行语者调适，调整该语音辨识模型，以增加语音辨识可辨程度。

11.如权利要求1所述的情境模拟对话练习系统，其中，该对话处理模块储存学习者的对话数据记录。

12.如权利要求1所述的情境模拟对话练习系统，其中，该对话处理模块包括：

一语句处理模块，根据语音辨识结果和一教材偏误数据库以及一教材同义数据库的信息，判定学习者对话的语句为正确、同义、偏误或错误，并将学习者对话语句的相关讯息记录至对话数据；以及

一流程处理模块，根据该语句处理模块的判定结果决定接下来的响应语句。

13.如权利要求6所述的情境模拟对话练习系统，其中，该情境会话教材是依据教材编辑规则而产生，并且该教材编辑规则针对该方向性的连接线，定义型态1至型态8的共八种型态连接线。

14.如权利要求1所述的情境模拟对话练习系统，其中，该语音辨识模型包括声学模型、语言模型、文法以及辞典。

15.如权利要求7所述的情境模拟对话练习系统，其中，该输出装置还包括一影像式人脸合成模块，从该响应学习者的信息中的语音或文字，产生相对应的影像式人脸对话影像并以整合后的声音影像输出。

16.如权利要求7所述的情境模拟对话练习系统，其中，该输出装置还包括一语音合成模块，从该响应学习者的信息中的文字内容转换为语音。

17.如权利要求6所述的情境模拟对话练习系统，其中，该系统赋予课程目标与对话节点的语句使用相同变量名称的功能。

18.如权利要求13所述的情境模拟对话练习系统，其中，该型态1连接线定义为课程基本连接线，并且其连接的节点可被重复使用。

19.如权利要求13所述的情境模拟对话练习系统，其中，该型态2连接线定义为课程基本连接线，并且其连接的节点不可被重复使用。

20.如权利要求13所述的情境模拟对话练习系统，其中，该型态5连接线定义为课程联机中的非基本连接线，并且其连接的节点可被重复使用。

21.如权利要求13所述的情境模拟对话练习系统，其中，该型态6连接线定义为课程联机中的非基本连接线，并且其连接的节点不可被重复使用。

22.如权利要求13所述的情境模拟对话练习系统，其中，该型态7连接线定义为一呼叫连接线，表示流程由呼叫节点连接至起始节点的连接线。

23.如权利要求13所述的情境模拟对话练习系统，其中，该型态8连接线定义为一返回连接线时，表示由结束节点返回呼叫节点的连接线。

24.如权利要求13所述的情境模拟对话练习系统，其中，该型态3连接线定义为在对话流程进行中，只要该型态1或型态2连接线的其中一种连接线行走过一次后，就可以行走的连接线。

25.如权利要求13所述的情境模拟对话练习系统，其中，该型态4连接线定义为在对话流程进行中，所有该型态1或型态2连接线都行走完后，才可以走的连接线。

26.一种情境模拟对话练习方法，该方法包含：

准备由多流程对话路径与可代换多种词汇的对话语句所构成的情境会话教材；

根据情境会话教材，动态调整一语音辨识模型，并辨识输入的学习者语音讯号，以决定出辨识结果的信息；以及

根据该辨识结果的信息、该情境会话教材，决定出响应学习者的信息。

27.如权利要求25所述的情境模拟对话练习方法，其中，该方法还包括：

若该响应学习者的信息为文字或声音，则产生影像式人脸对话影像并以整合后的声音影像输出。

28.如权利要求25所述的情境模拟对话练习方法，其中，该方法还包括：

将该响应学习者信息中的文字内容转换为语音输出。

29.如权利要求25所述的情境模拟对话练习方法，其中，该方法还包括：

将该情境会话教材中每一对话节点以节点连接线进行具有方向性连接；以及

针对该方向性的连接线，定义八种型态连接线；以及

依据该八种连接线的定义，产生出一个情境会话教材流程。

30.如权利要求29所述的情境模拟对话练习方法，其中，该方法还包括：

于该情境会话教材中加入一教材偏误信息或一教材同义信息，该教材偏误信息或该教材同义信息侦测学习者的语法是否出现偏差错误或侦测学习者的语法是否出现同义语句，以供学习者在出现偏差错误时了解该偏误语法或同义语句的正确用法。

31.如权利要求29所述的情境模拟对话练习方法，其中，该方法还包括：

于该情境会话教材中加入一教材偏误信息、一教材同义信息，该教材偏误信息或该教材同义信息侦测学习者的语法是否出现偏差错误或侦测学习者的语法是否出现同义语句，以供学习者在出现偏差错误时了解该偏误语法或同义语句的正确用法。

32.如权利要求29所述的情境模拟对话练习方法，其中，该情境会话教材是依据教材编辑规则而产生，并且该教材编辑规则包括课程目标规则、多路径连接规则与多变化对话语句规则。

33.如权利要求29所述的情境模拟对话练习方法，其中，该根据辨识结果的信息、该情境会话教材，决定出响应学习者的信息的步骤包括：

根据该语音辨识结果的信息，判定学习者对话的语句为正确、错误语句，并将对话语句相关讯息记录至对话数据；以及

根据该判定结果决定接下来的响应语句，当判定结果为正确语句时，将进行情境会话教材中下一个对话节点的对话流程，若该判定结果为错误时，将进行样版语句的对话响应。

34.如权利要求29所述的情境模拟对话练习方法，其中，该根据辨识结果的信息、该情境会话教材，决定出响应学习者的信息的步骤包括：

根据该语音辨识结果的信息，判定学习者对话的语句为正确、错误、同义或偏误语句，并将对话语句相关讯息记录至对话数据；以及

根据该判定结果决定接下来的响应语句，当判定结果为正确、同义或偏误语句时，将进行情境会话教材中下一个对话节点的对话流程，若该判定结果为错误时，将进行样版语句的对话响应。

35.如权利要求29所述的情境模拟对话练习方法，其中，该根据辨识结果的信息、该情境会话教材，决定出响应学习者的信息的步骤包括：

根据该语音辨识结果的信息，判定学习者对话的语句为正确、错误、同义、偏误语句，并将对话语句相关讯息记录至对话数据；以及

根据该判定结果决定接下来的响应语句，当判定结果为正确、同义或偏误语句时，将进行情境会话教材中下一个对话节点的对话流程，若该判定结果为错误时，将进行样版语句的对话响应。

Images