CN100449544C - 会话帮助装置 - Google Patents

Abstract

提供了一种会话帮助装置，其可提高外语会话的实用性等。会话帮助装置以可访问的方式连接到数据库，该数据库存储回答语句表，其中回答语句表关联用于标识发出语句的发出语句标识信息与回答语句列表，所述回答语句列表列举出对发出语句的设想的响应，并且获取与输入的发出语句的发出语句标识信息相关联的回答语句列表，显示回答语句列表中包含的回答语句的列表，并使回答者选择性地大声读出。

Description

会话帮助装置

相关申请的交叉参考

本申请以在先申请第JP2005-122824号和JP2005-122825号为基础，其整个内容以参照的方式被包含在这里。

技术领域

本发明涉及一种会话帮助装置，其用于帮助在提问题人和回答问题人之间进行的会话。

背景技术

目前，运输网的联合是非常先进的，出国旅行很容易，并且也意味着与来自不同国家的人进行会话的会晤大量增加。在当前情况下，会话中使用的各种外语也大量增加，所以需要一种装置，以帮助这些外语会话。

日本专利公开第2004-294993号公开了一种提出外语问题以便帮助外语学习的电子词典。用于句子的语法分析的称做机器翻译的技术也有所发展。

然而，对于上述诸如电子词典和机器翻译之类的技术，它们不一定能对会话提供有效的帮助。例如，对于电子词典，在将被讨论的内容中存在未知词的情况下，其是有效的；但是当会话中句子组织在一起时，其是无效的。并且，在向另一个人的讲话中存在未知词的情况下，如果该词的拼法是未知的，则不可能传达其含义。在使用机器翻译的情况下，可以把句子放在一起作为会话，但是在由另一个人讲话的内容不能被理解的情况下，存在不能被机器翻译的问题。

用这种方法，对于相关技术的电子词典技术和机器翻译技术，存在例如在外语会话中实用性很低的问题。此外，该情况不限于外语会话。

发明内容

本发明已经考虑到上述情况，本发明的目的是提供例如能够提高外语会话的实用性的会话帮助装置。

为了解决相关技术的上述问题，本发明提供了一种会话帮助装置，该会话帮助装置以可访问的方式连接到数据库，该数据库存储回答语句表，其中回答语句表关联用于标识发出语句的发出语句标识信息与回答语句列表，所述回答语句列表列举出对发出语句的设想的响应，并包含用于获取与输入的发出语句的发出语句标识信息相关联的回答语句列表的回答语句获取部分，和显示回答语句列表中包含的回答语句的列表的回答语句显示部分。

根据本发明，提供了一种会话帮助装置，包括：发出语句接受部分，用于接受发出语句的输入，并检测输入的发出语句中包含的关键词；发出语句候选选择部分，用于通过使用检测的关键词，从存储在发出语句实体表中的发出语句中选择对应于接受的输入的一个或更多个发出语句候选，所述一个或更多个发出语句候选均与相应的发出语句标识信息相关联；发出语句候选呈现部分，用于显示所选择的一个或更多个发出语句候选的列表，并接受从显示的一个或更多个发出语句候选中选择的语句；回答语句获取部分，用于访问存储回答语句表的数据库，其中回答语句表关联用于标识发出语句的发出语句标识信息与回答语句列表，所述回答语句列表列举出对发出语句的设想的响应，并且所述回答语句获取部分用于获取与由发出语句候选呈现部分选择的发出语句的发出语句标识信息相关联的回答语句列表；和回答语句显示部分，用于显示回答语句列表中包含的回答语句的列表。

根据本发明，提供了一种会话帮助装置，包括：发出语句接受部分，用于接受发出语句的输入，并检测输入的发出语句中包含的关键词；发出语句候选选择部分，用于通过使用检测的关键词，从存储在发出语句实体表中的发出语句中选择对应于接受的输入的一个或更多个发出语句候选，所述一个或更多个发出语句候选均与相应的发出语句标识信息相关联；发出语句候选呈现部分，用于显示所选择的一个或更多个发出语句候选的列表，并接受从显示的一个或更多个发出语句候选中选择的语句；和强调词呈现部分，用于访问存储作为强调表达词列表的多组词的数据库，所述多组词具有多种语言的相互关联的强调表达词，从强调表达词列表中呈现指定语言的强调表达词的列表，从呈现的列表中指定包含所选词的词组，并取出包括在指定词组中的另一种指定语言的词，并将其呈现。

根据本发明，提供了一种会话帮助装置，包括：发出语句接受部分，用于接受发出语句的输入，并检测输入的发出语句中包含的关键词；发出语句候选选择部分，接收所检测的关键词，参照对应于发问方语言信息的语言的发出语句实体表和选择的场景，与相关关键词比较，而从存储在发出语句实体表中的发出语句中选择一个或多个匹配所检测的关键词的发出语句候选，并输出到发出语句候选呈现部分；发出语句候选呈现部分，用于呈现一个或更多个候选发出语句的列表，并使用户能够从中选择发出语句，使选择的发出语句成为标注语句并从发出语句实体表读取该标注语句的文本；回答语句获取部分，用于访问存储回答语句表的数据库，其中回答语句表关联用于标识发出语句的发出语句标识信息与回答语句列表，所述回答语句列表列举出对发出语句的设想的响应，并且所述回答语句获取部分用于获取与由发出语句候选呈现部分选择的发出语句的发出语句标识信息相关联的回答语句列表；和回答语句显示部分，用于显示回答语句列表中包含的回答语句的列表。

附图说明

图1是示出本发明的实施例的会话帮助装置的示例的构成的方框图。

图2是示出本发明的实施例的发出语句数据库的示例的说明图。

图3是示出本发明的实施例的回答语句数据库的示例的说明图。

图4是示出本发明的实施例的回答语句表的示例的说明图。

图5是示出本发明的实施例的指定词列表的示例的说明图。

图6是示出本发明的实施例的会话帮助装置的示例的功能方框图。

图7是示出本发明的实施例的对应句子表的示例的说明图。

图8是示出本发明的实施例的强调词列表的示例的说明图。

图9是示出本发明的实施例的强调词列表的另一示例的说明图。

图10是示出本发明的实施例的会话帮助装置的屏幕示例的说明图。

图11是示出本发明的实施例的会话帮助装置的屏幕示例的说明图。

图12是示出本发明的实施例的会话帮助装置的屏幕示例的说明图。

图13是示出本发明的指令表的示例的说明图。

具体实施方式

下面参照附图将描述本发明的实施例。例如使用便携式游戏机，可实现本发明的实施例的会话帮助装置。如图1所示，该便携式游戏机包括：控制部分11、接口单元12、操作单元13、无线通讯模块14、盘驱动器15、存储部分16、电源控制部分17、图像处理部分18、显示器19、声音处理单元20、声音输出部分21和声音输入部分22。

这里，操作单元13、无线通讯模块14、盘驱动器15、存储部分16和声音输入部分22通过接口单元12与控制部分11相连。电源控制部分17、图像处理单元18和声音处理单元20也与控制部分11相连，此外，显示器19与图像处理单元18相连。声音输出部分21也与声音处理单元20相连。

控制部分11是MPU(微处理单元)等，并且根据盘驱动器15中插入的计算机可读取外部存储介质M或存储部分16中存储的程序运行。对于本实施例，用于使用该便携式游戏机实现会话帮助装置的程序被提供并存储在外部存储介质M中，控制部分11从外部存储介质M读取该程序并执行该程序。

作为会话帮助装置在处理中使用的数据库也被存储在外部存储介质M中。下面将详细描述控制部分11的处理内容和数据库的内容。

根据从控制部分11输入的指令，接口单元12向无线通讯模块14、盘驱动器15和存储部分16中的一个分发和输出由控制部分11输出的信号。而且，接口单元12分别仲裁(arbitrate)从操作单元13、无线通讯模块14、盘驱动器15、存储部分16和声音输入部分22到控制部分11的信号，并且将其输出到控制部分11。

操作单元13包括游戏操作按钮和设置按钮。游戏者通过操作操作单元13中包含的每一不同按钮等，执行游戏操作。操作单元13将表示游戏者操作内容的信号输出到接口单元12。

无线操作模块14是符合例如802.11b或802.11g的无线通讯装置，并且根据从控制部分11输入的指令，通过无线发射，发送构成发送目标的数据。到达天线(未示出)的信号也被接收并输出到控制部分11。

作为来自控制部分11的指令的结果，盘驱动器15从插入的外部存储介质M中读取数据，并且将数据输出到控制部分11。存储部分16是诸如RAM或ROM之类的存储元件，其可用作保存将要由控制部分11执行的程序的计算机可读取存储介质，或可用作控制部分11的工作存储器。

电源控制部分17向每部分供电。图像处理单元18根据从控制部分11输入的指令产生将要在显示器19上显示的图像，并且输出用于显示所产生图像的图像信号到显示器19。显示器19例如为液晶显示器，根据从图像处理单元18输入的图像信号，控制液晶以显示图像。

声音处理单元20根据从控制部分11输入的指令合成声音，并且将所合成的声音输出到声音输出部分21。这里，声音例如为嘟嘟声或音乐声，也可是表示人的语音的各种声音。声音输出部分21例如为扬声器和耳机终端，其根据从声音处理单元20输入的声音信号驱动扬声器，并将声音信号输出到耳机终端。

声音输入部分22例如为麦克风，用于将周围声音转换为电子信号并输出该信号。

数据库内容

对于本实施例，至少发出语句数据库、回答语句数据库、回答语句表和指定词列表被存储在数据库中。以下将举例说明每个数据库。

(1)发出语句(spoken sentence)数据库

首先，如图2中所示，发出语句数据库包含用于诸如日语、英语等各语言的发出语句实体表组G。发出语句实体表组G包含用于诸如“机场/飞行中”、“购物”之类的每个场景标识符标识的场景的发出语句实体表T。

该发出语句实体表以相关联的方式存储发出语句实体音频数据和发出语句标识符的关键词。这里，发出语句实体为描述实际要说出的句子的文本串，音频数据为记录用相应外语说出文本串的声音的数据。该音频数据例如以诸如MP3和AIFF之类的各种的音频数据格式被记录。此外，在存在以接收发出语句的方法输入的音频的情况下，需要关键词；在不存在输入的音频的情况下，不需要关键词。作为特定示例，这些关键词为在音频识别时作为比较目标的音素数据。关键词也可以例如是发出语句实体的一部分。换句话说，如果所讲实体为“Whenis this store’s regular holiday？”，关键词包括“store”、“regularholiday”、“when”等。此外，作为关键词可以具有与发出语句子有关的可能说出的词。例如，如果讲上述句子“When is this store’s regularholiday？”，则关键词可以包括描述“regular holiday”的同义词，诸如“holiday”、“closed day”等。

顺便提及，各发出语句实体表T预先存储与发出语句有关的信息，设想其可被用于由各场景标识符标识的每个场景。

(2)回答语句数据库

回答语句数据库与发出语句数据库相似，包含诸如日语、英语等每种语言的回答语句实体表。回答语句的实体与回答语句标识符相关联地被存储在回答语句实体表中。这里，回答语句实体为描述实际要说的句子的文本串。而且，对于本实施例，可以在用于每种语言(诸如日语、英语等)的数据库中存储关联对应于回答的音频数据(回答音频数据)以及回答音频数据的标识符的表(回答音频数据表)。在这种情况下，也可以关联对应于各自的回答语句标识符的回答音频数据的标识符，并把它们包括在回答语句实体表中(图3)。

(3)回答语句表

如图4中所示，回答语句表关联作为发出语句标识信息的发出语句标识符、先前列举出对由发出语句标识符标识的发出语句的设想回答的回答语句列表、和使用表示肯定或否定的词表示回答的适当性的特定(specific)回答适当性信息。

作为示例，回答语句列表将“Sunday”、“We are Always open”等与发出语句“When is this store’s regular holiday？”的发出语句标识符相关联。对于本实施例，回答语句列表实体不与回答语句相关联而与回答语句标识符相关联。

此外，在上述描述的示例“When is this store’s regular holiday？”中，由于不能使用诸如“yes(是)”或“no(否)”之类的表示肯定或否定的词回答，这意味着表示不能进行这种回答(“N”)的信息作为特定回答适当性信息被关联。

例如，作为另一个示例，对于为可回答为“yes”或“no”的句子“Canyou make it a little cheaper？(能便宜一点吗？)”的发出语句标识符，可关联诸如“That’s not possible(不能)”或“I’ll check with themanager(我与经理商量一下)”之类的回答语句列表，同时，表示可以使用表示肯定或否定的词回答(“Y”)的信息作为特定回答适当性信息被关联。

(4)指定词(assigned word)列表

如图5中所示，对于与发出语句数据库相同的每个场景标识符，诸如“机场/飞行中”、“购物”之类等，通过指定词，指定词列表存储对应于每个场景中可能被表达的事物的词的列表。以相互关联的字符串的形式每个词保持每种语言的表达。

这里，指定词为由诸如“this”或“that”、“it”或“they”之类的词替代的词。指定词也是被表示为指定词的词。例如在“旅馆”场景中，作为旅馆内的固定设备，诸如“television(电视)”、“telephone(电话)”、“internet connection terminal(互联网连接终端)”之类的物品使用指定词来表示，因此这些词被存储在指定词列表中。

(5)数据库内容

对于本实施例，这些数据库被存储在外部存储介质M中，通过盘驱动器15，其可从控制部分11被存取。

[发出语句的接受]

本实施例的会话帮助装置建立在两个人之间进行语句。通常地，会话在开始会话的某人(讲话者)和回答该会话开始的某人(回答者)之间进行。讲话者事先执行指定操作以选择他们自己将使用的语言和回答者使用的语言。控制部分11接收指定操作，并将表示讲话者一方语言的信息(发问方语言信息)和表示回答者一方语言的信息(回答方语言信息)存储在存储部分16中。

讲话者还选择一个应用场景。该选择为对应于发出语句数据库中场景标识符的任何场景的选择。控制部分11指定由讲话者选择的场景，并将场景标识信息存储在存储部分16中。

在本实施例中，如图6中所示，作为会话帮助装置由控制部分11执行的处理就其功能包括：发出语句接受部分31、发出语句候选选择部分32、发出语句候选呈现(presentation)部分33、回答语句候选检索部分34、回答语句候选加入部分35、回答语句候选呈现部分36和回答语句输出部分37。

讲话者的讲话输入音频输入部分22，例如输入发出语句。如果音频信号从音频输入部分22被输入到发出语句接受部分31，则其与和发出语句数据库中存储的关键词有关的音素相比较，以检测输入的发出语句中包含的关键词。该处理可直接使用用于声音识别的一般处理，因此这里将省略对其的详细描述。

顺便提及，发出语句接受部分31也可通过操作单元13接受作为如文本数据输入的发出语句。在该情况下，发出语句接受部分31检测作为文本数据输入的发出语句中包含的关键词。作为在文本中搜索匹配的处理，该处理也是公知的，因此这里将省略对其的详细描述。

然后，发出语句候选选择部分32接收所检测的关键词，参照对应于所选语言(对应于发问方语言信息的语言)的发出语句实体表和选择的场景，在每个发出语句的相关关键词中计数存在多少所检测的关键词。

例如，在会话的语调为疑问句的情况下，如“When is this storeclosed？”，控制部分11检测关键词“store”、“when”和“closed”。此时，对于“When is this store’s regular holiday？”的发出语句，在诸如“store”、“regular holiday”、“closed”和“when”之类的关键词被关联的情况下，计数将为“3”。而且，在发出语句“Does this store have aJapanese branch？”具有“store”、“Japan”和“have”的相关关键词的情况下，在根据上述问题检测的关键词中仅词“store”匹配，因此计数为“1”。而且，这里已经给出根据所检测的关键词计数选择发出语句候选的示例的描述，但是也可以设置容易识别为关键词及容易根据关键词是否被检测到选择发出语句候选的部分。具体地说，在该情况下，例如，诸如“bar”、“can drink”和“where’s the bar”之类的关键词被指定为对应于诸如“Where is the bar？”之类的发出语句的关键词。

发出语句接受部分31通过操作单元13接受作为文本数据输入的发出语句，并检测作为文本数据输入的发出语句中包含的关键词。然后，发出语句候选选择部分32接收所检测的关键词，参照对应于所选语言(对应于发问方语言信息的语言)的发出语句实体表和选择的场景与相关关键词比较，并且将指定匹配所检测关键词的发出语句的信息输出到发出语句候选呈现部分33。

[发出语句候选的呈现]

根据从发出语句候选部分32输入的信息，发出语句候选呈现部分33选择发出语句，使选择的发出语句成为标注(noted)语句并从发出语句实体表读取该标注语句的文本。然后，指示图像处理单元18在显示器19上显示读取的文本。

例如，在发出语句候选选择部分32输出关键词的计数数量的情况下，具有最大的计数的发出语句被选择作为标注的发出语句。在该示例的情况下，对于“When is this store closed？(商店什么时候关门？)”的问题，如果对于发出语句“When is this store’s regular holiday？(这个商店的休息日是什么时候)”的计数最大，则该发出语句“When isthis store’s regular holiday？”被显示在显示器部分19上。

类似地，在找到与检测的关键词相关联的发出语句及输出指定该找到的发出语句的信息的情况下，由该信息指定的发出语句被选择为标注发出语句。对于本示例，对于问题“Is there any place I candrink？”，例如，关键词“can drink”被检测到，则找到发出语句“Whereis the bar？”，并且输出指定句子“Where is the bar？”的信息。发出语句“Where is the bar？”也被显示在显示器19上。

而且，此时，发出语句候选呈现部分33选择所选的标注语句是否对应于由讲话者预期的问题。这里，如果操作者已经执行大意为预期的问题没被表达的指令操作，则控制部分11中断处理并等待输入问题。

在另一方面，如果讲话者已经执行大意为标注语句表达了它们的意图的指令操作，则控制部分11参照回答方语言信息并读取与标注语句相关联的回答方语言的音频信息。然后，音频信息被输出到音频处理单元。例如，当“日语”被设置为回答方语言时，对应于发出语句“When is this store’s regular holiday？”的日语音频被再现，并通过扬声器输出。

[与指定词相关的处理]

当诸如“this”或“these”、“that”或“those”之类预定的指定词被包含在通过发出语句接受部分31检测的关键词中时，发出语句候选呈现部分33可执行与这些指定词相关的处理。

这些指定词也被预先以每种外语设置。按照该处理，当预定的指定词被包含在所检测关键词中时，发出语句候选呈现部分33在显示器部分19上显示对应于所选场景的场景标识符的指定词的列表。该处理也可在用户执行大意为标注发出语句表达了它们的预期含义的指令操作之后被执行。

如果考虑具体的示例，例如，当用户选择“旅馆”作为场景时，如果输入问题“Do you have this？”，“this”和“have”被分别检测为关键词，诸如“Do you have this？”的发出语句作为标注发出语句被选择。

此时，发出语句候选呈现部分33在显示器19上显示当前被存储在数据库中的词的列表作为对应于“旅馆”的场景标识符的指定词列表。以这种方法，作为旅馆内的固定设备，诸如“television”、“telephone”、“internet connection terminal”等之类的列表被呈现在显示器19上。讲话者执行指令操作以从该列表中选择其一。

在该情况下，控制部分11参照回答方语言信息并读出与标注语句相关联的回答方语言的音频信息。然后，音频信息被输出到音频处理单元20，并且对应于回答方语言的来自所选指定词中的词被显示在显示器19上。

例如，对于上述的旅馆的示例，如果用户选择“television”，则对应于发出语句“Do you have this？”的回答方语言的音频从扬声器发出，并且对应于“television”的词以回答方语言被显示在显示器上。

[多个候选]

此外，当存在要选择的发出语句的多个候选时，如具有最大计数的发出语句和匹配所检测关键词的发出语句候选，发出语句候选呈现部分33可呈现多个候选发出语句的列表，并使用户能够选择。

此外，对于根据这些类型的关键词在选择中可能出现同时选择的多个发出语句(以下称作相似发出语句组)，也可以预先关联数据库的发出语句实体表中的每个相似发出语句组固有的组标识符。

例如，在“机场/飞行中”场景中，例如，“I would like to change toan aisle seat”、“I would like to change to a window seat”和“I wouldlike to change to another vacant seat”的三个发出语句，它们均与关键词“seat”和“change”相关联，因此，与所检测关键词有关的计数很可能将变得相同。因此这些句子分别与共同的组标识符相关联。

而且，对于每组标识符，关联每个选项的发出语句标识符与每种外语的对应问题(counter question)及选项的表(对应问题语句表)被存储在数据库中(图7)。

如果存在具有最大计数的许多句子，则发出语句候选呈现部分33参照与每个发出语句相关联的组标识符，并检查它们是否为共同的。如果存在共同性，则发出语句候选呈现部分33从对应问题语句中和对应问题语句表中存储的并与那些对应于讲话者方语言的组标识符相关的选项中选择性读取，将对应问题语句显示在显示器19上，和/或将对应问题语句的音频输出到音频处理部分20以发出声音。而且，选项被显示在显示器19上使讲话者能够选择。

例如，如果讲话者通过说“I would like to change seats”输入问题，则关键词“seat”和“change”被检测。然后，如上述示例中，在所有三个发出语句“I would like to change to an aisle seat”、“I would like tochange to a window seat”和“I would like to change to another vacantseat”中，这些检测的关键词的计数最大为“2”。

因为关联这些发出语句的组标识符相同(共同)，所以发出语句候选呈现部分33读取对应问题和与该组标识符相关联的选项。此时，讲话者方的语言为日语，日语对应问题和选项被读出。

例如，该对应问题按照符合诸如“Which seat would you like？”之类的发出语句候选被预先构成。而且，根据上述的三个问题，显示诸如“aisle seat”、“window seat”和“another vacant seat”的各选项。如果讲话者执行指令操作以从这些选项中选择一个，则发出语句呈现部分33对应于选择的选项读出记录的发出语句标识符。

而且，发出语句候选呈现部分33参照回答方语言信息以使读出的发出语句标识符和读出的对应于回答方语言的音频信息相关联。然后，音频信息被输出到音频处理单元。

当讲话者用这种方法从选项中选择“aisle seat”时，例如，对应于发出语句“I would like to change to an aisle seat”的音频信息被发出。

[情绪程度表达]

按照讲话者的指示，发出语句候选呈现部分33也可加入用于进一步强调发出语句的表达(expression)。在该情况下，作为强调表达词列表，每种外语的强调表达的词和对应的音频数据以相关联的方式被存储在数据库中(该数据库存储在外部存储介质M中)(图8)，或者，每种语言的具有相同含义的分别相关的强调表达的词组与对应的音频数据相关联地被分别存储(图9)。顺便提及，根据强调的程度，多个语言组被存储。

此外，即使对具有相同含义的词，对于表达为诸如“extremely tasty(非常美味)”之类高兴的或肯定的情况，以及对于表达为诸如“extremely bad(非常糟)”之类悲观的或否定的情况(身体上等)，诸如“extremely”之类的音频表现也将是不同的。对于强调表达词列表，如图9中示例所示，用于肯定情况的音频数据和用于否定情况的音频数据被关联为分别对应于每种语言的强调表达的词的音频数据。例如，如图8等中所示，作为强调表达的词，存在“a little”、“so so”、“quite”和“extremely”等。

发出语句候选呈现部分33允许在能够输入标注语句是否为所期望的屏幕中选择这些强调表达。如果用户不选择强调表达，则执行已经被描述的操作。而且，当选择强调表达时，首先肯定或否定被选择，数据库中存储的强调表达的词的列表被呈现，并执行哪个表达要被使用的选择。

例如，当标注语句为“This is tasty”时，用户选择肯定和“extremely”。在这种情况下，从包含“extremely”的讲话者方语言的词组，对应于回答者语言的词的音频数据被获取并被呈现。

用这种方法，连同以回答者方语言说对应于“This is tasty”的句子，根据对应于“extremely”的回答者方语言的音频数据，产生音频。

顺便提及，在所讲语言表中，表示该类型的强调表达是否可能存在的标志与每个发出语句相关联，并且可以在与指示强调表达可能存在的标志相关联的发出语句为标注语句的情况下，仅执行上述处理。

而且，在诸如“Do you have a television？(你有电视吗？)”之类的发出语句中，通过输入强调表达“extremely！”，句子变成诸如“Doyou have a television？Extremely！”之类的可笑的句子，在两个人的会话中可以带来更好的气氛，其意味着不管是否不符合语法或文法上能够具有强调表达，可以使强调表达的词可选择。

此外，这里已经给出了使用音频数据产生声音的示例的描述，但是也可以在显示器19上用回答者方语言显示发出语句的文本和所选择强调表达的文本。对于所选择强调表达为肯定或否定的情况，也可以执行的不同的表达。例如，在肯定强调表达的情况下，可以将强调表达的文本呈现为红色，并且在肯定表达的情况下将强调表达的文本呈现为蓝色。而且，使用能够按照表达被绘制的字符，诸如人或动物，在肯定表达的情况和否定表达的情况下，对于已被预先设置的各相应的表达，可以附加地显示具有面部表情的字符。

[回答语句的呈现]

如果发出语句候选呈现部分33已经完成诸如输出对应于发出语句的音频信息的处理，则开始回答语句候选检索部分34的处理。

回答语句候选检索部分34接收发出语句候选呈现部分33中发出的发出语句的发出语句标识符的输入。然后，参照数据库，从回答语句列表中存储的回答语句列表，回答语句候选检索部分34获取与输入的发出语句标识符相关联并对应于回答方语言的回答语句列表。

回答语句候选加入部分35接收发出语句候选呈现部分33中发出的发出语句的发出语句标识符的输入，并参照数据库获取与发出语句标识符相关联的特定回答适当性信息。然后，如果特定回答适当性信息为表示使用表示肯定或否定的词可以响应的信息(“Y”)，则表示肯定和否定的词以回答者方语言被加入到通过回答语句候选检索部分34获取的回答语句列表中并被输出。这里，作为表示肯定或否定的词，在英语中例如存在词“Yes(是)”和“No(否)”。

而且，如果所获取的特定回答适当性信息为表示使用表示肯定或否定的词不能响应的信息(“N”)，则回答语句候选加入部分35直接输出通过回答语句候选检索部分34获取的回答语句列表。

根据通过回答语句候选加入部分35输出的回答语句列表，回答语句候选呈现部分36从回答语句数据库中获取回答语句的文本，并将回答语句的文本显示在显示器19上。

然后，回答者从显示器19上显示的回答语句的文本中选择一个回答语句并且说出。此时，用于选择一个回答语句的指令操作可以被执行，然后，回答输出部分37从对应于所选择的回答语句的回答音频数据中读出对应于讲话者方语言的回答音频数据并输出到音频处理单元20，并且借助于扬声器、根据回答语句音频数据发出声音。

回答者也可以将一个回答语句大声地读入到音频输入部分22，并且控制部分11确定什么回答语句作为音频被输入，然后将确定结果显示在显示器19上。对于这种情况下的音频识别，可以关联每个回答语句的音频识别关键词，并且确定从显示的候选回答语句中，具有包含在输入音频中的最多相关关键词的句子被大声读出。

[操作]

本实施例的会话帮助装置的操作具有上述结构并操作如下。这里，例如，将假定以日语为母语的讲话者与以英语为母语的回答者进行谈话的情况进行描述。讲话者操作会话帮助装置将讲话者方语言设置为日语并将回答者方语言设置为英语。根据正在使用装置的地点，场景也被选择。这里，例如选择“餐馆”作为场景。

当讲话者想知道菜单上的多项中哪一项为饭店的“推荐菜”时，他们说出“o-susume wo oshiete kudasai”(What do you recommend？(你们推荐什么菜？))以输入到会话帮助装置的音频输入部分22中。这里，本实施例的会话帮助装置不选择整个的输入发出语句，而使用发出语句中包含的关键词、从预定的发出语句组中选择最合理的句子，而不必严格地输入与存储在数据库中的句子相同的句子。例如，会话帮助装置本身可以用作一个翻译，并按照讲话者方语言(日语)的祈使表达执行输入，诸如“o-susume-ga-naika-kiitekure”，其英语的意思是“Would you like to ask what they recommend？(你是问他们推荐什么菜吗？)”。

会话帮助装置从输入信息中检测关键词。这里，从预定的关键词列表中检测到“recommend(推荐)”，并且从对应于场景“餐馆”的所讲词列表中检索与所检测关键词相关联的发出语句。这里，查到发出语句“Do you have any recommendations？(你们推荐什么菜？)”。

会话帮助装置显示该检索的结果，并执行询问讲话者是否存在希望的内容的显示(图10)。如果讲话者确认存在希望的句子，则执行该方面指令操作，会话帮助装置读出与发出语句相关联的回答者方语言(英语)的音频数据，并根据音频数据发出音频。在这种情况下，也可以在显示器19上以回答者方语言显示对应于发出语句的句子。在选择用于强调的词的情况下，也可以执行类似的显示。

而且，会话帮助装置读出与发出语句的标识符相关联存储的回答者方语言的回答语句列表。这里，对于问题“o-susume arimasuka”(Doyou have any recommendations？(你们有什么推荐菜吗？))，由于有可能用诸如“是”和“否”之类的表示肯定和否定的词回答，所以，使用对应于“yes”和“no”的回答者方语言(英语)的词，表达被加入到所存储的回答语句列表中。

用这种方法，连同用为英语的回答者方语言指示应选择回答，如“Please choose a reply from the following(请从下面选择回答)”，显示出回答选项，如“yes”、“no”、“It is sold out”、“You can find it onthe menu”等(图11)。

回答方用户从这些选择中选择回答语句并将其大声读出。

此外，在讲话者在吃饭时想要勺子的情况下，如果诸如“korearukana”之类的发出语句(其英语的意思为“Do you have this？”)以讲话者方语言被输入，则会话帮助装置从输入的发出语句中检测诸如“koke”(其意思为“this”)和“aru”(在该上下文中其意思为“have”)之类的关键词，具有最多检测的相关关键词的讲话者方语言的发出语句“kore wa arimasuka”(其意思为“Do you have this？”)被找到，并且讲话者被问及这是否是希望的内容。如果讲话者确认该内容是希望的并执行该方面的指令操作，则会话帮助装置检测指定词“kore”(其意思为“this”)是否包括在检测关键词中，显示与场景“餐馆”相关联的讲话者方语言的指定词列表，并提醒讲话者进行选择。讲话者从列表中选择希望的词“supu-n”(其意思为“spoon”)。如果已完成上述操作，则会话帮助装置读出与发出语句相关联的回答方语言“英语”的音频数据，并且在根据音频数据发出音频的同时，为回答方语言英语的并对应于从指定词列表中选择的“supn-n”的文本被显示在显示器19上。这里，示出句子为英语的状态，对应于发出语句的“Do you havethis？(你有这个吗？)”也被显示。

根据显示在显示器19上的词和所讲音频，回答者能够明白讲话的内容。

而且，会话帮助装置读出与发出语句的标识符相关联被存储的回答者方语言的回答语句列表。对于上述问题，由于有可能用诸如“是”和“否”之类的表示肯定或否定的词做出响应，所以，使用对应于“yes”和“no”的回答者方语言(英语)的词，表达(presentation)被加到所存储的回答语句列表中。

用这种方法，例如，连同用为英语的回答者方语言指示应选择回答，如“kotae wo tsugi kara eranda kudasai”(其意思为“Choose youranswer from the following(从下面选择回答)”)，回答选项诸如“yes”、“no”、“ima，mottekimssu”(其意思为“I will get one for you(我去给你拿)”)被显示。

回答方用户从这些选择中选择性地大声读出回答语句。会话帮助装置11对大声读出的内容执行声音识别，并在显示器19上显示已选择哪些句子。在下列描述中，呈现了对应讲话者方语言的文本和音频，并且用这种方法，通过会话帮助装置，在讲话者和回答者之间的会话被建立。

[对有关当事人的指令]

此外，本实施例的会话帮助装置11也可要求讲话者和回答者执行指定操作，该指定操作与由发出语句候选呈现部分33所呈现的发出语句有关。在这种情况下，关联发出语句标识符、对讲话者方的各自语言的操作指令和对回答者方的各自语言的操作指令如图13中所示的指令表也被保存在外部存储介质M中存储的数据库中。

然后，当指令操作被执行，指示由发出语句候选呈现部分33所呈现的标注语句为讲话者希望的句子时，控制部分11检查与标注发出语句的发出语句标识符相关联的操作指令是否被存储在指令表中。

这里，如果操作指令被存储在指令表中，则控制部分11读出设置的讲话者方语言的讲话者方的操作指令，并将其显示在显示器19上。而且，当与发出语句有关的回答语句列表被显示在显示器19上时，从与发出语句的发出语句标识符相关联的对回答者方的操作指令，控制部分11读出这些回答者方语言的指令并将其一起显示。

例如，在如上述示例中的“餐馆”场景中，对于发出语句诸如“o-susume wa dore desuka？”(Which would you recommend？(你推荐什么菜？))，操作指令诸如“menyu wo shimeshite kudasai”(Please show the menu(请给我菜单))被关联作为指令表中讲话者方语言的对讲话者方的操作指令。而且，作为对回答者方操作指令，操作指令诸如“menyu de shimeshite kudasai(Please show the menu)”被关联。

用这种方法，当发出语句已被选择时，例如，“menyu-woshimeshite kudasai”(其意思为“Please show the menu”(“请给我菜单”))以讲话者方语言被显示在讲话者方，讲话者根据操作指令所示示出菜单，并且在回答者方操作指令“menyu wo shimeshite kudasai(Please show the menu)”以回答者方语言被参照，使得例如当看菜单时，通过选择性地大声读出作为回答语句的诸如“kore desu”(Thisone(这个))的回答语句，能够进行会话。

[下载]

此外，本实施例的数据库内容例如可通过无线通讯模块14从网络上的服务器下载。作为特定的示例，例如，如果指定词列表可被下载，则其不仅可以包括对应于场景的词，也可以包括对应于年代等的词。

根据本实施例，回答语句作为列表被呈现，并且通过选择性地大声读给另一个人，对话被建立，这就意味着可以避免其他人不能听到或不能理解的情况等。而且，由于参照术语被检测以及指定词列表被呈现并被选择，所以可以结合指定词列表使用参照术语建立会话，并且不必包括对数据库中每一单个名词的说明。用这种方法，可以减小数据库的大小。以这种方式，可以提高本实施例的会话帮助装置的实用性。

通过优选实施例或典型实施例已描述了本发明，但本发明不限于此。

Claims (9)

1、一种会话帮助装置，包括：

发出语句接受部分，用于接受发出语句的输入，并检测输入的发出语句中包含的关键词；

发出语句候选选择部分，接收所检测的关键词，参照对应于发问方语言信息的语言的发出语句实体表和选择的场景，在每个发出语句的相关关键词中计数存在多少所检测的关键词，而从存储在发出语句实体表中的发出语句中选择一个或多个具有最大计数的发出语句候选，并输出到发出语句候选呈现部分；

发出语句候选呈现部分，用于呈现一个或更多个候选发出语句的列表，并使用户能够从中选择发出语句，使选择的发出语句成为标注语句并从发出语句实体表读取该标注语句的文本；

回答语句获取部分，用于访问存储回答语句表的数据库，其中回答语句表关联用于标识发出语句的发出语句标识信息与回答语句列表，所述回答语句列表列举出对发出语句的设想的响应，并且所述回答语句获取部分用于获取与由发出语句候选呈现部分选择的发出语句的发出语句标识信息相关联的回答语句列表；和

回答语句显示部分，用于显示回答语句列表中包含的回答语句的列表。

2、如权利要求1所述的会话帮助装置，其中回答语句表中还存储与发出语句标识信息相关联的、使用表示肯定或否定的词表示回答的适当性的特定回答适当性信息，并且所述会话帮助装置进一步包括回答语句加入部分，用于参照与输入的发出语句的发出语句标识信息相关联的特定回答适当性信息，如果可以使用肯定或否定的词回答，则加入肯定或否定的词到获取的回答语句列表。

3、如权利要求1所述的会话帮助装置，其中数据库存储指令表，对于标识发出语句的发出语句标识信息，该指令表关联对讲话者方的指令和对回答者方的指令，并进一步包括指令呈现部分，用于与输入的发出语句的发出语句标识信息相关联地呈现指令到讲话者方和呈现指令到回答者方。

4、如权利要求1所述的会话帮助装置，其中数据库存储对应于参照项的指定词列表，并进一步包括列表显示部分，用于呈现指定词列表，并当输入的发出语句中包括指定词时呈现到发问方用户。

5、一种会话帮助装置，包括：

发出语句接受部分，用于接受发出语句的输入，并检测输入的发出语句中包含的关键词；

发出语句候选选择部分，接收所检测的关键词，参照对应于发问方语言信息的语言的发出语句实体表和选择的场景，与相关关键词比较，而从存储在发出语句实体表中的发出语句中选择一个或多个匹配所检测的关键词的发出语句候选，并输出到发出语句候选呈现部分；

发出语句候选呈现部分，用于呈现一个或更多个候选发出语句的列表，并使用户能够从中选择发出语句，使选择的发出语句成为标注语句并从发出语句实体表读取该标注语句的文本；和

强调词呈现部分，用于访问存储作为强调表达词列表的多组词的数据库，所述多组词具有多种语言的相互关联的强调表达词，从强调表达词列表中呈现指定语言的强调表达词的列表，从呈现的列表中指定包含所选词的词组，并取出包括在指定词组中的另一种指定语言的词，并将其呈现。

6、一种会话帮助装置，包括：

发出语句接受部分，用于接受发出语句的输入，并检测输入的发出语句中包含的关键词；

发出语句候选选择部分，接收所检测的关键词，参照对应于发问方语言信息的语言的发出语句实体表和选择的场景，与相关关键词比较，而从存储在发出语句实体表中的发出语句中选择一个或多个匹配所检测的关键词的发出语句候选，并输出到发出语句候选呈现部分；

发出语句候选呈现部分，用于呈现一个或更多个候选发出语句的列表，并使用户能够从中选择发出语句，使选择的发出语句成为标注语句并从发出语句实体表读取该标注语句的文本；

回答语句获取部分，用于访问存储回答语句表的数据库，其中回答语句表关联用于标识发出语句的发出语句标识信息与回答语句列表，所述回答语句列表列举出对发出语句的设想的响应，并且所述回答语句获取部分用于获取与由发出语句候选呈现部分选择的发出语句的发出语句标识信息相关联的回答语句列表；和

回答语句显示部分，用于显示回答语句列表中包含的回答语句的列表。

7、如权利要求6所述的会话帮助装置，其中回答语句表中还存储与发出语句标识信息相关联的、使用表示肯定或否定的词表示回答的适当性的特定回答适当性信息，并且所述会话帮助装置进一步包括回答语句加入部分，用于参照与输入的发出语句的发出语句标识信息相关联的特定回答适当性信息，如果可以使用肯定或否定的词回答，则加入肯定或否定的词到获取的回答语句列表。

8、如权利要求6所述的会话帮助装置，其中数据库存储指令表，对于标识发出语句的发出语句标识信息，该指令表关联对讲话者方的指令和对回答者方的指令，并进一步包括指令呈现部分，用于与输入的发出语句的发出语句标识信息相关联地呈现指令到讲话者方和呈现指令到回答者方。

9、如权利要求6所述的会话帮助装置，其中数据库存储对应于参照项的指定词列表，并进一步包括列表显示部分，用于呈现指定词列表，并当输入的发出语句中包括指定词时呈现到发问方用户。

Images