附图说明
图1是示出本发明涉及的对话支援装置的实施方式之一的结构的方框图。
图2是示出例句数据库的一个例子的图。
图3是示出例句选择部的工作的流程图。
图4是示出例句选择部使用于计算类似度的动态规划的一个例子的图。
图5是示出利用本发明涉及的对话支援装置的场景的一个例子的图。
图6(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图7(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图8(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图9(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图10(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图11(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图12(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图13(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图14(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图15(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图16是示出发明涉及的对话支援装置的其他实施方式的结构的方框图。
图17是示出表现转换部的一个例子的图。
图18(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图19是示出本发明涉及的对话支援装置的其他实施方式的结构的方框图。
图20(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图21是示出例句数据库的一个例子的图。
图22(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图23(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图24(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图25(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图26(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图27(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图28(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图29(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图30(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图31(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图32是示出表现转换部的一个例子的图。
图33(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图34(a)、(b)是示出本发明涉及的对话支援装置的显示例子的图。
图35是示出发明涉及的对话支援装置的其他实施方式的结构的方框图。
图36是示出发明涉及的对话支援装置的其他实施方式的结构的方框图。
符号说明
101 例句数据库
102 发言接受部
103 例句选择部
104 发送部
105 发言差分计算部
106 接收部
107 发言输出部
501 用户1的PDA
502 用户2的PDA
503 发言输入按钮
504 发言输入按钮
505 发言信息U及部分发言信息u的显示区域
506 发言信息U及部分发言信息u的显示区域
507 预测候补E的显示区域
508 预测候补E的显示区域
509 对应的例句的显示区域
510 对应的例句的显示区域
511 差分信息的显示区域
512 差分信息的显示区域
513 发言接受部102的麦克风
514 发言接受部102的麦克风
701 接收状态下的对方的例句的显示区域
702 接收状态下的对方的例句的显示区域
801 示出在发言信息U的u的部分的下划线
1201 表示剩余信息的条线图
1202 表示剩余信息的条线图
1301 表示剩余信息的圆形图
1302 表示剩余信息的圆形图
1401 表示剩余信息的隐喻
1501 表现转换部
1701 转换为语言表现的剩余信息
1801 填充词数据库
具体实施方式
本发明的实施方式涉及的对话支援装置,支援对话的,其中,包括:例句数据库,将用于对话的第1例句和第2例句相对应并存储;发言接受单元,接受用户的发言;例句选择单元,根据由上述发言接受单元所接受的上述发言来检索上述例句数据库,从而选择第1例句,并输出与选择后的上述第1例句相对应的第2例句;发言差分计算单元,计算上述发言和由上述例句选择单元所选择的上述第1例句之间的差分,并输出表示计算后的上述差分的差分信息;以及发送单元,将上述第2例句和上述差分信息发送到对方用户的对话支援装置,该上述第2例句是由上述例句选择单元所输出的例句,该上述差分信息是由上述发言差分计算单元所输出的信息。
据此,可以通知给对方已经发出要告诉的发言(由发言接受单元所接受的发言)中的多少内容,来减少因误解或贸然断定而引起的发言,以便使对话快速结束。
并且,上述例句选择单元也可以,根据选择后的上述第1例句和上述发言之间的差分,选择针对上述发言的下一个第1例句。据此,可以将向对方发出后剩下的部分依次发出到对方,并可以通知此时为止的差分信息。
并且,上述例句选择单元也可以,以文字、单词或表示读法的文字为单位,利用动态规划(Dynamic Programming)来计算类似度,该类似度表示上述发言和上述第1例句之间的类似程度。
并且,上述发言差分计算单元也可以,基于文字、单词或表示读法的文字,比较上述发言和上述第1例句,来计算上述差分,上述第1例句是由上述例句选择单元所选择的例句。
并且,上述对话支援装置,还可以包括:接收单元,接收从上述对方用户的对话支援装置发送的第2例句和差分信息;以及发言输出单元,输出由接收单元所接收的上述第2例句和上述差分信息。据此,可以知道对方已经发出要告诉的发言中的多少内容,并可以客观地判断出是否应该作出针对发言的回答。于是,支援对话,可以减少因误解或贸然断定而引起的发言,以便使对话快速结束。
并且,上述发言输出单元也可以,以数字来显示,由上述接收单元所接收的上述差分信息。并且,上述发言输出单元也可以,以图形来显示,由上述接收单元所接收的上述差分信息。据此,用户可以直觉地把握差分信息,也可以减轻等待下一个发言的负担。
并且,上述发言输出单元也可以,将由上述接收单元所接收的上述差分信息转换为定性的语言表现,并输出转换后的上述语言表现。并且,上述发言输出单元也可以,根据由上述接收单元所接收的上述差分信息,生成相当于填充词的语言表现,并输出生成后的上述语言表现。据此,用户可以减轻等待下一个发言的负担。
并且,上述对话支援装置也可以,进一步包括:候补通知单元,将由上述例句选择单元所选择的上述第1例句的候补通知给上述用户;以及选择指示接受单元,从上述用户接受选择指示,该选择指示表示从上述第1例句的候补中选择1个第1例句的指示;上述例句选择单元,根据上述发言来检索上述例句数据库,从而选择上述第1例句的候补,并且,根据由上述选择指示接受单元所接受的上述选择指示来选择上述第1例句。
并且,上述发言接受单元也可以,通过利用语言模型的连续声音识别处理,接受上述发言,该语言模型是由上述例句数据库存储的上述第1例句所构成的语言模型,或者,通过键盘接受上述发言,该键盘的输入被限制为构单词,该单词构成例句数据库存储的上述第1例句。
并且,本发明的实施方式涉及的对话支援系统,使用第1对话支援装置及第2对话支援装置支援对话,其中,上述第1对话支援装置,包括:例句数据库,将用于对话的第1例句和第2例句相对应并存储;发言接受单元,接受用户的发言;例句选择单元,根据由上述发言接受单元所接受的上述发言来检索上述例句数据库,从而选择第1例句,并输出与选择后的上述第1例句相对应的第2例句;发言差分计算单元,计算上述发言和由上述例句选择单元所选择的上述第1例句之间的差分,并输出表示计算后的上述差分的差分信息;以及发送单元,将上述第2例句和上述差分信息发送到对方用户的对话支援装置,该上述第2例句是由上述例句选择单元所输出的例句,该上述差分信息是由上述发言差分计算单元所输出的信息,上述第2对话支援装置,包括:接收单元,接收从上述第1对话支援装置发送的第2例句和差分信息;以及发言输出单元,输出由接收单元所接收的上述第2例句和上述差分信息。
并且,本发明的实施方式涉及的对话支援系统,使用连接于服务器的第1对话支援装置及第2对话支援装置支援对话,其中上述第1对话支援装置,包括:发言接受单元,接受用户的发言;以及发送部,将由上述发言接受单元所接受的上述发言输出到上述服务器;上述服务器,包括:例句数据库,将用于对话的第1例句和第2例句相对应并存储;例句选择单元,通过根据从上述第1对话支援装置发送的上述发言来检索上述例句数据库,从而选择第1例句,并输出与选择后的上述第1例句相对应的第2例句;发言差分计算单元,计算上述发言和由上述例句选择单元所选择的上述第1例句之间的差分,并输出表示计算后的上述差分的差分信息;以及发送单元,将上述第2例句和上述差分信息发送到对方用户的对话支援装置,该上述第2例句是由上述例句选择单元所输出的例句,该上述差分信息是由上述发言差分计算单元所输出的信息;上述第2对话支援装置,包括:接收单元,接收从上述服务器发送的第2例句和差分信息;以及发言输出单元,输出由接收单元所接收的上述第2例句和上述差分信息。
并且,本发明,除了如上所述的对话支援装置以外,也可以将上述对话支援装置具有的特征单元作为步骤的对话支援方法来实现,还可以使计算机执行这些步骤的程序来实现。并且,当然也可以通过CD-ROM等记录介质或互联网等传输介质来分发这些程序。
以下,参照附图对本发明的实施方式进行说明。
图1是示出本发明涉及的对话支援装置的实施方式之一的结构的方框图。
对话支援装置是用于支援人与人的对话的装置,如图1所示,包括:例句数据库101、发言接受部102、例句选择部103、发言差分计算部105、发送部104、接收部106以及发言输出部107。
在此,发言接受部102相当于发言接受单元,例句选择部103相当于例句选择单元,候补通知单元以及选择指示接受单元,发言差分计算部105相当于发言差分计算单元,发送部104相当于发送单元,接收部106相当于接收单元,发言输出部107相当于发言输出单元。
例句数据库101,存储用于对话的例句。发言接受部102,接受用户的发言,并作为发言信息输出。例句选择部103,依次选择最接近发言信息的、例句数据库101中包含的例句,并输出与此例句相对应的例句。发言差分计算部105,计算发言信息和由例句选择部103所选择的例句之间的差分,并输出差分信息。发送部104,将从例句选择部103所输出的例句和差分信息发送给对方用户的对话支援装置。接收部106,接收从对方用户的对话支援装置所输出的例句和差分信息。发言输出部107,输出由接收部106所接收的差分信息和例句。并且,在用户的发送部104和对方用户的接收部106之间,或在对方用户的发送部104和用户的接收部106之间,可以直接地接收并发送例句和差分信息,也可以通过服务器间接地接收并发送例句和差分信息。
其次,进一步说明,通过如上述构成的对话支援装置支援不同语言的对话的情况的结构。假设,用户的母语是日语,对方用户的母语是英语。
图2是示出例句数据库101存储的例句的一个例子的图。相当于第1例句的语言1是自己的母语,相当于第2例句的语言2是对方的母语,语言1和语言2的例句处于对译关系。例如,例句选择部103选择语言1的发言No.16的例句“空港ヘ行きたい(想去机场)”时,作为对应的例句输出语言2的“I want togo to the airport.”。
发言接受部102,通过连续声音识别处理或键盘,将用户的发言作为文字信息来获得,并作为发言信息来输出。在此,发言信息是相当于用户的发言的字符串。在发言接受部102通过连续声音识别处理接受用户的发言的情况下,通过根据例句数据库101存储的例句来构成语言模型,可以提高声音识别精确度。并且,在发言接受部102通过键盘接受用户的发言的情况下,通过将输入限制为单词,可以高效率地输入文字,该单词构成例句数据库101存储的语言1的例句。
图3是示出例句选择部103的工作流程的流程图。例句选择部103,按照图3的流程图依次输出最接近发言信息的例句。
首先,例句选择部103,将相当于从发言接受部102所输入的发言的发言信息设定为全发言信息U(步骤S301)。其次,将U设定为部分发言信息u,消除已转换发言信息v。并且,通过发送部104将对方用户的对话支援装置的模式变更为接收状态(步骤S302)。例句选择部103,计算部分发言信息u和例句数据库101的语言1的所有的例句之间的类似度(步骤S303)。在此,例句选择部103,使用如图4所示的动态规划,作为类似度,计算部分发言信息u和各例句之间的距离。在此情况下,距离的值越小,类似度越高。对于图4的动态规划,句子的构成单位是文字或单词或表示读法的文字等中的某一个,或是这些组合。例如,在构成单位是单词且α=1的情况下,句子1={空港(机场),ヘ(往),行く(去)}和句子2={空港(机场),まで(到),行く(去)}的类似度,被计算为a[3][3]=1。
其次,例句选择部103,在语言1的所有的例句中选择类似度为阈值β以下的例句,来设定为例句候补E(步骤S304)。再者,根据例句数据库101存储的例句的数量,和其中表现上类似的例句的数量,来决定阈值β。并且,例句选择部103,判定例句候补E是否空(步骤S305)。根据此结果,例句候补E不是空时(在步骤S305否),向用户提示部分发言信息u和例句候补E,来使用户选择所要的例句(步骤S306)。并且,用户选择例句e时,将此对译例句输出到发送部104(步骤S307)。其次,例句选择部103,将部分发言信息u和已转换发言信息v的内容更新为v←v+u及u←U-v,并输出到发言差分计算部105(步骤S308)。并且,判定部分发言信息u是否空(步骤S310),部分发言信息u是空时(在步骤S310是)结束,不是空时(在步骤S310否)返回到类似度计算处理(步骤S303)。
另一方面,在上述判定处理(步骤S305)中例句候补E是空的情况下(在步骤S305否),从最末尾缩短部分发言信息,以便从例句数据库101中选择最接近部分发言信息u的例句(步骤S309)。在此,进行缩短的单位是,文字、单词、或句节中的某一个。例如,在u=“空港ヘ行く電車は何時発ですか(去机场的电车几点钟出发)”的情况下,要使部分发言信息u缩短时,部分发言信息u是{空港ヘ(机场),行く(去),電車は(电车),何時発ですか(几点钟出发)},因此成为u=“空港ヘ行く電車は(去机场的电车)”。其次,再次返回到类似度计算处理(步骤S303),反复计算与例句数据库101的语言1的各例句之间的类似度。
发言差分计算部105,根据全发言信息U和已转换发言信息v,来计算差分信息(U-v)/U并输出到发送部104。根据例如全发言信息U和已转换发言信息v的文字数、单词数、或表示读法的文字数,来计算差分信息。在全发言信息U=“空港ヘ行く電車は何時発ですか(去机场的电车几点钟出发)”、已转换发言信息v=“空港ヘ行く電車は(去机场)”的情况下,根据文字数来计算时,差分信息成为
发送部104,重叠从发言差分计算部105所输出的差分信息,来将从例句选择部103依次输出的例句数据库101的语言2的例句,发送到对方的对话支援装置。发送后的信息,由对方的对话支援装置的接收部106接收,并通过发言输出部107输出到对方。由例如LCD等显示装置或声音合成处理构成发言输出部107。
下面说明,通过如上述构成的对话支援装置支援不同语言的对话的情况下的工作。在此,如图5所示,将用户(用户1)和对方用户(用户2)进行对话的情况作为例子来进行说明,该用户(用户1)是游客,母语为日语,该对方用户(用户2)是宾馆的服务台的服务员,母语为英语。
图6(a)、(b)是示出安装对话支援装置的PDA的图。用户1使用图6(a)所示的PDA501,用户2使用图6(b)所示的PDA502。各用户,按下发言输入按钮503、504,用声音输入发言。输入发言后,在显示区域505、506显示作为发言信息的、由发言接受部102所接受的发言,通过例句选择部103,在显示区域507、508显示例句的候补E。从例句的候补中选择所要的例句e后,在显示区域509、510显示此对译例句,并向对方的对话支援装置发送此对译例句。在显示区域511及512显示差分信息。麦克风513和514是将用户的声音输入到发言接受部102的麦克风。
如图7(a)所示,在用户1按下发言输入按钮503来输入发言“空港ヘ行く電車は何時発ですか(去机场的电车几点钟出发?)”的情况下,通过发言接受部102的声音识别处理转换为发言信息“空港ヘ行く電車は何時発ですか(去机场的电车几点钟出发?)”,并如图8(a)所示显示在显示区域505。发言信息,输入到例句选择部103,在步骤301,全发言信息U=“空港ヘ行く電車は何時発ですか(去机场的电车几点钟出发?)”,在步骤302,部分发言信息u=“空港ヘ行く電車は何時発ですか(去机场的电车几点钟出发?)”、已转换发言信息v=“”,并且,通过发送部104,使对方用户的PDA502的模式变更为接收状态。在接收状态下,在显示区域701显示,最近由对方用户的对话支援装置所选择的例句的对译例句,在显示区域702依次显示由对方用户的对话支援装置所选择的所有的例句的对译例句。并且,按下发言输入按钮504来开始发言的输入,消除PDA502的接收状态,并返回到图6的状态。
其次,例句选择部103,在步骤303、步骤304、步骤305、步骤309,缩短部分发言信息u来计算与所有的例句的类似度,最后,针对部分发言信息u=“空港ヘ行く(去机场)”获得例句候补E={空港ヘ行きたい(想去机场),空港ヘ行く方法を教えて下さい(请教我一下去机场怎么走)}。在步骤306,部分发言信息u的值,反映到显示区域505的显示,如图9(a)所示,用下划线801显示给用户1。并且,例句选择部103,将例句候补E显示在显示区域507。如图10(a)所示,用户1作为所要的例句e选择“空港ヘ行きたい(想去机场)”后,在步骤307,将此对译例句“I want to go to the airport.”输出到发送部104。在步骤308,更新为v=“空港ヘ行く(去机场)”、u=U-v,即,更新为部分发言信息u=“電車は何時発ですか(电车几点钟出发)”。这些信息被输出到发言差分计算部105,发言差分计算部105获得
的差分信息。在显示区域511显示获得后的差分信息,发送部104将对译例句“I want to go to the airport.”和差分信息「0.64」输出到PDA502。由PDA502的接收部106所接收的这些信息,如图10(b)所示,通过发言输出部107被显示在显示区域701、702。并且,发言输出部107,通过声音合成处理,由PDA502输出相当于“I want togo to the airport.”的声音信息。在此,由于在显示区域512显示差分信息,因此用户2可以知道用户1要说的内容还剩下64%。因此,根据用户1还没告诉发言的一半以上,用户2可以客观地判断出,比起只听到“I want to go to the airport.”就立刻回答,等待剩下的发言为好,因此可以避免不必要的发言。
其次,在步骤310,由于部分发言信息u=“電車は何時発ですか(电车几点钟出发?)”,因此返回到步骤303,同样,在步骤305,获得例句候补E={電車は何時に出発しますか(电车几点钟出发?)、電車は何時に到着しますか(电车几点钟到达?)、電車は何で遅れていますか(电车为什么误点?)}后,如图11(a)所示,在步骤306,在显示区域505、507分别显示部分发言信息u和例句候补E。如图12(a)所示,同样,用户1选择所要的例句“電車は何時に出発しますか(电车几点钟出发?)”后,如图12(b)所示,PDA502输出此对译例句“What time doesthe train leave?”。在步骤308,更新为已转换发言信息v=“空港ヘ行く電車は何時発ですか(去机场的电车几点钟出发?)”、部分发言信息u=“”。这些信息输出到发言差分计算部105,发言差分计算部105获得(U-v)/U=(14-14)/14=0的差分信息。获得后的差分信息,显示在显示区域511,同样,也显示在显示区域512。用户2可以知道,在显示区域702中包含用户1要说的全部内容。因此,可以客观地判断为需要对显示区域702作出回答,也可以以必要且充分的发言来回答给对方。
并且,上述示出用数值来表示差分信息的例子,不过,如图13(a)、(b)所示,用条形图1201、1202,或如图14(a)、(b)所示,用圆形图1301、1302等的图形来表示差分信息也可以。或者,将差分信息作为控制参数来控制隐喻也可以,该隐喻表示差分信息。例如,将如图15(b)所示的要旋转的沙漏1401的旋转速度与差分信息成比例也可以。如此,通过用图形或隐喻来表示差分信息,用户可以直觉地把握差分信息,也可以减轻等待下一个发言的负担。
并且,如图16所示,也可以使图1所示的对话支援装置的结构加上并包括表现转换部1501,将差分信息以语言表现来传给用户。如图17,表现转换部1501是,由从差分信息转换为语言表现的转换规则构成的。在图10的状态下差分信息为0.64时,在图16的结构,根据表现转换部1501的转换规则No.2,将差分信息,转换为“Wait for awhile.”,且如图18(b)所示,以定性的语言表现1701传给对方用户。如此,通过以适当的语言来表现差分信息,用户可以减轻等待下一个发言的负担。
并且,如图19所示,也可以使图1所示的对话支援装置的结构加上并包括填充词数据库1801。在此情况下,发言输出部107也可以,由对方的对话支援装置所发送的差分信息不是0时,将此差分信息作为控制参数,到从对方的对话支援装置受到下一个例句为止之间,按规则或任意生成相当于填充词数据库1801中的“え一つと(那个)”、“そうですね(就是)”、“And please wait,”等填充词的句子。对于图19的结构,在图11的状态下,如图20(b)所示,PDA502任意再生填充词的声音。如此,通过使用适当的填充词在听觉上来填充收到下一个发言为止的空白时间,可以减轻等待下一个发言的用户的负担。此时,可以显示图20所示的在显示区域512的差分信息的,也可以不显示。
在此为止,说明了假设用户讲日语、对方用户讲英语的情况,下面,说明假设用户讲汉语、对方用户讲英语的情况。在此,如图5所示,将用户(用户1)和对方用户(用户2)进行对话的情况作为例子来进行说明,该用户(用户1)是游客,母语为汉语,该对方用户(用户2)是宾馆的服务台的服务员,母语为英语。并且,对于与上述相同的结构,省略说明。
图21是示出例句数据库101存储的例句的一个例子的图。相当于第1例句的语言1是汉语,相当于第2例句的语言2是英语,语言1和语言2的例句处于对译关系。例如,例句选择部103选择语言1的发言No.16的例句“想去机场”时,作为对应的例句输出语言2的“Iwant to go to the airport.”。
图22(a)、(b)是示出安装对话支援装置的PDA的图。用户1使用图22(a)所示的PDA501,用户2使用图22(b)所示的PDA502。各用户,按下发言输入按钮503、504,用声音输入发言。输入发言后,在显示区域505、506显示作为发言信息的、由发言接受部102所接受的发言,通过例句选择部103,在显示区域507、508显示例句的候补E。从例句的候补中选择所要的例句e后,在显示区域509、510显示此对译例句,并向对方的对话支援装置发送此对译例句。在显示区域511及512显示差分信息。麦克风513和514是将用户的声音输入到发言接受部102的麦克风。
如图23(a)所示,在用户1按下发言输入按钮503来输入发言“去机场的电车的出发时间是几点”的情况下,通过发言接受部102的声音识别处理转换为发言信息“去机场的电车的出发时间是几点”,并如图24(a)所示显示在显示区域505。发言信息,输入到例句选择部103,在步骤301,全发言信息U=“去机场的电车的出发时间是几点”,在步骤302,部分发言信息u=“去机场的电车的出发时间是几点”、已转换发言信息v=“”,并且,通过发送部104,使对方用户的PDA502的模式变更为接收状态。在接收状态下,在显示区域701显示,最近由对方用户的对话支援装置所选择的例句的对译例句,在显示区域702依次显示由对方用户的对话支援装置所选择的所有的例句的对译例句。并且,按下发言输入按钮504来开始发言的输入,消除PDA502的接收状态,并返回到图22的状态。
其次,例句选择部103,在步骤303、步骤304、步骤305、步骤309,缩短部分发言信息u来计算与所有的例句的类似度,最后,针对部分发言信息u=“去机场的”获得例句候补E={想去机场,请教我一下去机场怎么走}。在步骤306,部分发言信息u的值,反映到显示区域505的显示,如图25(a)所示,用下划线801显示给用户1。并且,例句选择部103,将例句候补E显示在显示区域507。如图26(a)所示,用户1作为所要的例句e选择“想去机场”后,在步骤307,将此对译例句“I want to go to the airport.”输出到发送部104。在步骤308,更新为v=“去机场的”、u=U-v,即,更新为部分发言信息u=“电车的出发时间是几点”。这些信息被输出到发言差分计算部105,发言差分计算部105获得的差分信息。在显示区域511显示获得后的差分信息,发送部104将对译例句“I wantto goto the airport.”和差分信息「0.71」输出到PDA502。由PDA502的接收部106所接收的这些信息,如图26(b)所示,通过发言输出部107被显示在显示区域701、702。并且,发言输出部107,通过声音合成处理,由PDA502输出相当于“I want to go to the airport.”的声音信息。在此,由于在显示区域512显示差分信息,因此用户2可以知道用户1要说的内容还剩下71%。因此,根据用户1还没告诉发言的一半以上,用户2可以客观地判断出,比起只听到“I want to go to the airport.”就立刻回答,等待剩下的发言为好,因此可以避免不必要的发言。
其次,在步骤310,由于部分发言信息u=“电车的出发时间是几点”,因此返回到步骤303,同样,在步骤305,获得例句候补E={电车几点钟出发?、电车几点钟到达?、电车为什么误点?}后,如图27(a)所示,在步骤306,在显示区域505、507分别显示部分发言信息u和例句候补E。如图28(a)所示,同样,用户1选择所要的例句“电车几点钟出发?”后,如图28(b)所示,PDA502输出此对译例句“What timedoes the train leave?”。在步骤308,更新为已转换发言信息v=“去机场的电车的出发时间是几点?”、部分发言信息u=“”。这些信息输出到发言差分计算部105,发言差分计算部105获得(U-v)/U=(14-14)/14=0的差分信息。获得后的差分信息,显示在显示区域511,同样,也显示在显示区域512。用户2可以知道,在显示区域702中包含用户1要说的全部内容。因此,可以客观地判断为需要对显示区域702作出回答,也可以以必要且充分的发言来回答给对方。
并且,上述示出用数值来表示差分信息的例子,不过,如图29(a)、(b)所示,用条形图1201、1202,或如图30(a)、(b)所示,用圆形图1301、1302等的图形来表示差分信息也可以。或者,将差分信息作为控制参数来控制隐喻也可以,该隐喻表示差分信息。例如,将如图31(b)所示的要旋转的沙漏1401的旋转速度与差分信息成比例也可以。如此,通过用图形或隐喻来表示差分信息,用户可以直觉地把握差分信息,也可以减轻等待下一个发言的负担。
并且,如图16所示,也可以使图1所示的对话支援装置的结构加上并包括表现转换部1501,将差分信息以语言表现来传给用户。如图32,表现转换部1501是,由从差分信息转换为语言表现的转换规则构成的。在图10的状态下差分信息为0.71时,在图16的结构,根据表现转换部1501的转换规则No.2,将差分信息,转换为“Wait fora while.”,且如图33(b)所示,以定性的语言表现1701传给对方用户。如此,通过以适当的语言来表现差分信息,用户可以减轻等待下一个发言的负担。
并且,如图19所示,也可以使图1所示的对话支援装置的结构加上并包括填充词数据库1801。在此情况下,发言输出部107也可以,由对方的对话支援装置所发送的差分信息不是0时,将此差分信息作为控制参数,到从对方的对话支援装置受到下一个例句为止之间,按规则或任意生成相当于填充词数据库1801中的“那个”、“就是”、“And please wait,”等填充词的句子。对于图19的结构,在图27的状态下,如图34(b)所示,PDA502任意再生填充词的声音。如此,通过使用适当的填充词在听觉上来填充收到下一个发言为止的空白时间,可以减轻等待下一个发言的用户的负担。此时,可以显示图34所示的在显示区域512的差分信息的,也可以不显示。
并且,如图35所示,也可以独立构成发送方和接收方,该发送方包括例句数据库101、发言接受部102、例句选择部103、发送部104以及发言差分计算部105,该接收部包括接收部106以及发言输出部107。
并且,如图36所示,也可以构成为以下系统,即,对话支援装置包括发言接受部102、发送部104、接收部106以及发言输出部107,服务器包括例句选择部103以及发言差分计算部105,该服务器通过互联网等网络2210连接对话支援装置。在此情况下,发送部104将发言信息发送到服务器,服务器的接收部2201接收发言信息。而且,服务器的发送部2202,将根据发言信息由服务器所确定的例句和差分信息,发送到对方用户的对话支援装置的接收部106。再者,也可以,先将根据发言信息由服务器所确定的例句和差分信息发送到用户的对话支援装置后,从用户的对话支援装置发送到对方用户的对话支援装置。
并且,在本实施方式中,将是日语和英语的情况以及是汉语和英语的情况作为一个例子,不过,本发明不受语言的限制,针对法语等其他语言也可以同样实施。