CN1943212A

CN1943212A - 会话支持系统与会话支持方法

Info

Publication number: CN1943212A
Application number: CNA2004800208273A
Authority: CN
Inventors: 吉峰贵司
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-05-12
Filing date: 2004-05-12
Publication date: 2007-04-04
Anticipated expiration: 2024-05-12
Also published as: CN100592749C; JP4761568B2; EP1746807A1; JPWO2005109830A1; WO2005109830A1; US7702506B2; US20060204033A1

Abstract

一种会话支持设备和会话支持方法，用于确保用户可以有效地和流畅地进行彼此会话。由于可以以不同角度放置第一显示部分(22)和第二显示部分(32)，在分别看第二显示部分(32)和第一显示部分(22)的同时，第一用户和第二用户可以彼此流畅地会话。此外，由于提供了第一显示部分(22)和第二显示部分(32)，第二用户和第一用户可以面对面地彼此会话。

Description

会话支持系统与会话支持方法

技术领域

本发明涉及支持例如非残疾人与残疾人士的用户之间的会话的会话支持设备与会话支持方法。

背景技术

已经提出了一种支持用户与残疾人士或者外国人士之间的会话的技术。已经公开了分析由摄影机所捕获的讲话者的嘴唇的活动的图像，将活动的图像转换为字符信息和声音信息，以及将其输出到显示部分、扬声器等的技术(例如，参考日本专利待审公开No.2004-15250的段[0017]、图1)。

此外，已经公开了将讲话的用户所讲的语言翻译成预定语言以及在监视器等上显示所翻译的语言的字符串的技术(例如，参考日本专利待审公开No.2003-345379的段[0013]、图1)。

发明内容

要解决的问题

当讲话者利用例如在专利文献1中所公开的设备与听者面对面交谈时，优选的是有效地执行其图像处理、声音处理等。具体地，专利文献1没有具体描述读唇处理的方法。因此，没有适当的修改，则无法实现专利文献1的设备。

在专利文献1的设备中，当谈话用户按下设备的图像分析控制键时，摄像机开始工作。在摄像机开始工作之后，开始图像分析处理。因此，无论什么时候谈话者进行谈话，他或她都需要不方便地按下控制键。

从以上所描述的观点来看，本发明的目的是提供一种使得用户可以有效地和流畅地进行彼此会话的会话支持设备和会话支持方法。

解决问题的手段

为了实现上述目的，本发明是一种会话支持设备，包括：图像捕获装置，用于捕获第一用户和第二用户的图像；第一转换装置，用于将已捕获其图像的第一用户的第一图像信息转换为第二用户可以理解的第一信息；第二转换装置，用于将已捕获其图像的第二用户的第二图像信息转换为第一用户可以理解的第二信息；第一显示装置，其具有第一显示屏，用于在第一显示屏上显示已转换的第一信息；以及第二显示装置，其具有可以以与第一显示屏的角度不同的角度进行放置的第二显示屏，用于在第二显示屏上显示已转换的第二信息。

由于可以将第一显示屏和第二显示屏以不同的角度放置，在第一用户看第二显示屏并且第二用户看第一显示屏的同时，他们可以有效地和流畅地进行彼此会话。另外，由于第一显示屏和第二显示屏都显示，第二用户和第一用户可以彼此面对面会话。

根据本发明，第一用户是非残疾人或者听力残疾人士。当第一用户是非残疾人时，第二用户是听力残疾人士。相反地，当第一用户是听力残疾人士时，第二用户是非残疾人或者听力残疾人士。

根据本发明的会话支持设备可以支持外国人之间的会话。在该情况下，当第一用户是讲第一语言的人时，第二用户是讲与第一语言不同的第二语言的人。

根据本发明的实施方式，会话支持设备还包括声音收集装置，用于收集第一用户的声音；以及第三转换装置，用于将所收集的声音转换为第一信息。因此，当用户可以讲话时，讲话者的声音信息可以被转换为第一信息，而不需要使用所捕获的图像信息。作为代替，图像分析处理和声音分析处理可以同时进行。因此，可以提高第一用户希望与第二用户会话的内容的识别准确性。根据本发明，可以提供用于收集第二用户的声音的装置。

根据本发明，可以提供用于相关地存储所收集的第一用户的声音图案和第一信息图案的装置。因此，通过分析声音信息，确定声音图案，以及提取与声音图案相对应的第一信息图案，第三转换装置可以执行转换处理。可以以相同方式处理第二用户的声音。

根据本发明的实施方式，第一转换装置将第一图像信息转换为字符信息和手势信息之一作为第一信息。因此，当第二用户是听力残疾人士时，他或她可以通过显示字符信息和手势信息的第二用户观看的第一显示屏与第一用户进行交流。同样地，第二转换装置可以具有用于将第二用户的图像信息作为第二信息转换为字符信息和手势信息之一的装置。因此，第一用户可以是听力残疾人士。即使两个用户都是听力残疾人士，他们也可以有效地进行彼此会话。

根据本发明的实施方式，第一转换装置将第一图像信息转换为声音信息作为第一信息。会话支持设备还包括用于输出已转换的声音信息的输出装置。因此，当第一用户是非残疾人士或者即使他或她是听力残疾人士时，他或她以及视力残疾人士(第二用户)可以彼此会话。类似地，第二转换装置可以具有用于将第二用户的图像信息转换为声音信息作为第二信息的装置。会话支持设备还可以具有用于输出已转换的声音信息的装置。

根据本发明的实施方式，第一显示装置在第一显示屏上显示第二信息。因此，第二用户自己可以检查第一显示屏上的第二信息。例如，第二用户可以检查是否存在第二转换装置的转换错误。另外，第二显示装置可以在第二显示屏上显示第一信息。具体地，根据本发明的实施方式，当第一显示装置对第二信息的显示与第二显示装置对第二信息的显示的定时几乎同步时，用户可以流畅地彼此会话。

根据本发明的实施方式，当第一转换装置将第一图像信息转换为字符信息和手势信息时，第一显示装置在第一显示屏上显示已由第一转换装置所转换的手势信息。第二显示装置对已由第一转换装置所转换的字符信息的显示与第一显示装置对手势信息的显示的定时几乎同步。根据本发明，第一用户希望与第二用户进行会话的内容在第二用户观看的第一显示屏上显示为手势信息，并且在第一用户观看的第二显示屏上显示为字符信息。因此，在他或她观看第二显示屏的同时，第一用户可以检查他或她希望与第二用户会话的内容。具体地，第一用户可以检查内容是否包含转换错误等。

根据本发明的实施方式，会话支持设备还包括测量装置，用于测量第一用户的声音的声压级或噪声级；设置装置，用于设置声压级或噪声级的阈值；以及执行装置，用于当所测量的声压级或噪声级等于或大于阈值时，使第三转换装置执行转换处理。因此，当第一用户以高于预定阈值的声压级或者噪声级开始向第二用户讲话时，可以自动开始声音识别。因此，不同于相关技术，用户不需要按下图像分析和声音识别控制键等。因此，用户可以流畅地彼此会话。另外，根据本发明，代替或除了第三转换装置，可以执行第一转换装置的转换处理。

根据本发明的实施方式，会话支持设备还包括存储装置，用于相关地存储发音人的嘴唇的多个图像图案以及与该人所发出的声音相对应的字符信息。图像捕获装置捕获第一用户的嘴唇的图像作为第一图像信息。第一转换装置具有图像图案比较装置，用于将所捕获的图像信息与每一个图像图案相比较，图像图案选择装置，用于从与所比较的结果相对应的图像图案中选择与所捕获的嘴唇图像信息相对应的一个图像图案，以及字符信息提取装置，用于提取与所选择的图像图案相对应的字符信息。这个人可以是第一用户自己或者不同于第一用户的另一用户。作为代替，这个人不可以是第二用户。这适用于以下描述。根据本发明，第一转换装置通过所谓的图案匹配选择与所捕获的嘴唇图像信息相对应的图像图案。当然，第二转换装置可以具有与第一转换装置相似的装置。

根据本发明的实施方式，存储装置相关地存储多个人的每一个的图像图案以及字符信息，并且存储多个人的每一个的嘴唇形状图案。会话支持设备还包括形状图案比较装置，用于将所捕获的嘴唇图像信息与形状图案进行比较，以及形状图案选择装置，用于从与所比较的结果相对应的形状图案中选择与所捕获的嘴唇图像信息最相似的一个形状图案。根据本发明，当已经选择了与嘴唇图像信息最相似的一个形状图案时，第一和第二用户开始彼此会话。基于所选择的形状图案，可以执行图案匹配。因此，可以更准确地识别用户的图像。此外，可以更准确地执行转换处理。因此，可以降低转换处理中的转换错误的出现率等。

根据本发明的实施方式，会话支持设备还包括存储装置，用于相关地存储发音人的嘴唇的多个图像图案以及与该人所发出的声音相对应的手势信息。图像捕获装置捕获第一用户的嘴唇的图像作为第一图像信息。第一转换装置具有图像图案比较装置，用于将所捕获的第一用户的嘴唇的图像的信息与图像图案相比较；图像图案选择装置，用于从与所比较的结果相对应的图像图案中选择与所捕获的第一用户的嘴唇的图像的信息相对应的一个图像图案；以及手势信息提取装置，用于提取与所选择的图像图案相对应的手势信息。当然，第二转换装置可以具有与第一转换装置相同的装置。此外，根据本发明存储装置可以相关地存储多个人的每一个的图像图案以及手势信息，并且存储多个人的每一个的嘴唇形状图案。会话支持设备还可以包括形状图案比较装置，用于将所捕获的第一用户的嘴唇的图像的信息与形状图案相比较；以及形状图案选择装置，用于从与所比较的结果相对应的形状图案中选择与所捕获的第一用户的嘴唇的图像的信息最相似的一个形状图案。

根据本发明的实施方式，会话支持设备还包括存储装置，用于相关地存储发音人的多个嘴唇图像图案以及与该人所发出的声音相对应的字符信息。图像捕获装置捕获第一用户的嘴唇的图像作为第一图像信息。第一转换装置具有图像图案比较装置，用于将所捕获的第一用户的嘴唇的图像的信息与图像图案相比较，图像图案选择装置，用于从与所比较的结果相对应的图像图案中选择与所捕获的第一用户的嘴唇的图像的信息相对应的一个图像图案，以及声音信息提取装置，用于提取与所选择的图像图案相对应的声音信息。当然，第二转换装置可以具有与第一转换装置相同的装置。此外，根据本发明，存储装置可以相关地存储多个人的每一个的图像图案与手势信息，并存储多个人的每一个的嘴唇形状图案。会话支持设备还可以包括形状图案比较装置，用于将所捕获的嘴唇图像信息与形状图案相比较，以及形状图案选择装置，用于从与所比较的结果相对应的形状图案中选择与所捕获的嘴唇图像信息最相似的一个形状图案。

根据本发明的实施方式，第一显示装置具有第一部分，所述第一部分具有第一端部，并且其中放置了第一显示屏。第二显示装置具有第二部分，所述第二部分具有第二端部，并且其中放置了第二显示屏，第一端部和第二端部这样相连接，从而第二显示屏可以对于第一显示屏转动，并且第二显示屏可以向第一部分折叠。因此，不限制第一用户和第二用户的位置。

根据本发明的实施方式，会话支持设备还包括存储装置，用于存储第一信息；重放装置，用于在第一显示屏上重放存储在存储装置中的第一信息；以及特技播放装置，用于针对所存储的第一信息执行特技播放操作。特技播放包括，例如，快速前进操作、倒转操作、慢重放操作、双倍速度重放操作等。特技播放是不同于正常图像重放的显示操作。利用特技播放，第二用户可以重放遗漏的信息，例如通过倒转所记录的信息。另外，会话支持设备还包括用于存储第二信息的装置，以及用于针对所存储的第二信息来执行特技播放操作，从而使第二显示装置针对第一信息执行特技播放的装置。

本发明是一种会话支持方法，包括以下步骤：捕获第一用户的图像和第二用户的图像；将所捕获的第一用户的图像的第一图像信息转换为第二用户可以理解的第一信息；将所捕获的第二用户的图像的第二图像信息转换为第一用户可以理解的第二信息；在第一显示屏上显示所转换的第一信息；以及在第二显示屏上显示所转换的第二信息，该第二显示屏可以以与第一显示屏的角度不同的角度进行放置。

根据本发明，由于可以以不同的角度放置第一显示屏和第二显示屏，在第一用户看第二显示屏和第二用户看第一显示屏的同时，他们可以彼此流畅地会话。

本发明的效果

如上所述，根据本发明，用户可以彼此流畅地会话。

附图说明

图1是示出了根据本发明的实施方式的会话支持设备的立体图；

图2是示出了会话支持设备的结构的方框图；

图3是示出了存储在主存储部分8中的软件的示意图；

图4是示出了图像/声音数据库的例子的示意图；

图5是示出了声压级确定部分的结构的方框图；

图6是示出了第一主体和第二主体的连接部分的放大图；

图7是示出了会话支持设备的操作的流程图；

图8是示出了图7所示的步骤706的图像分析处理的流程图；

图9是示出了已经转换的和在第二显示部分32上所显示的图像的例子的示意图；

图10是示出了将多个人的嘴唇图案与其转换表ID相关联的表的示意图；

图11是示出了转换表的示意图；

图12是示出了根据本发明的另一实施方式的会话支持设备的部分操作(初始设置)的流程图；以及

图13是示出了根据本发明的又一其它实施方式的会话支持设备的侧视图。

具体实施方式

接下来，将参考附图描述本发明的实施方式。

图1是示出了根据本发明的第一实施方式的会话支持设备的立体图。图2是示出了由参考数字1所表示的会话支持设备的结构的方框图。

会话支持设备1由第一主体20和第二主体30组成。会话支持设备1的尺寸与例如个人数字助理(PDA)相近。第一主体20具有第一显示部分22。类似地，第二主体30具有第二显示部分32。第一显示部分22由例如液晶或有机电致发光(EL)组成。第二显示部分32具有与第一显示部分22相同的结构。在第一主体20的一个端部2b和第二主体30的一个端部3b所放置的分别是摄像机21和31。摄像机21和31可以在箭头B的方向转动，从而可以调整其图像捕获范围。摄像机21和31具有可以捕获活动图像的功能。第一主体20具有操作按钮组24。当用户按下例如“记录”按钮时，会话支持设备1存储由摄像机21所捕获的图像等。

会话支持设备1具有主处理器3、子处理器5和6、随机存取存储器(RAM)4和7、主存储部分8、麦克风23、声压级确定部分9、图像/声音重放处理部分13、扬声器33以及时间码产生部分18。

主处理器3控制整个会话支持设备1。另外，主处理器3为子处理器5和6执行数据处理调度管理。子处理器5为第一主体20执行数据处理。子处理器6为第二主体30执行数据处理。子处理器5和6可以独立地执行数据处理。RAM 4是例如主处理器3和子处理器5的工作区域。RAM 7是子处理器6的工作区域。

由摄像机21和31所捕获的图像帧分配有摄像机ID，其识别由摄像机21和31所捕获的图像。另外，所捕获的图像帧按时间顺序分配有唯一的序列号。此外，所捕获的图像帧用时间码加上时间戳。由时间码产生部分18产生时间码。结果，主处理器3、以及子处理器5和6可以识别由哪一个摄像机捕获了所获得的图像帧。另外，它们可以识别图像帧的捕获的顺序和捕获的时间。此外，由摄像机21和31所捕获的图像帧的帧速率可以是例如5-20帧/秒。

类似地，由麦克风所收集的声音信息在例如预定时间周期的时间间隔用时间码加上时间戳。在该情况下，优选的是预定时间周期与帧速率相匹配。

图3是示出了存储在主存储部分8中的软件的示意图。主存储部分8可以由例如硬盘、半导体存储器等组成。主存储部分8存储图像分析程序11、声音分析程序12以及图像/声音数据库17。图像分析程序11具有读唇功能，其将用户的图像，具体地，将由摄像机21所捕获的用户的嘴唇活动，分析为字符信息或者声音信息，手势图像分析功能，它分析例如用户做的并且摄像机31捕获的手势图像，并将该图像转换成字符信息或声音信息，以及其它功能。第二主体30显示字符信息，所述字符信息由对摄像机21所捕获的图像信息进行转换而得到。第一主体20显示字符信息，所述字符信息由对摄像机31所捕获的图像信息进行转换而得到。图像分析程序11将用户的图像转换为字符信息和手势信息。另外，图像分析程序11将手势图像转换为声音信息。

声音分析程序12是分析由麦克风23所收集的用户的声音的程序，并且其将所收集的声音转换为字符信息。第二主体30显示已转换的字符信息。声音分析程序12可以将声音转换为字符信息和手势信息。

图4是示出了预先存储的图像/声音数据库17的例子的示意图。具体地，图像/声音数据库17是与人的嘴唇图像图案25、声音图案26、字符信息27以及手势信息28相关的表。

嘴唇图像图案25是正在发例如“A(日语)”的人的嘴唇以及其附近的图像。由于不仅是嘴唇的图像，而且是其附近的图像，例如，使用了嘴唇附近的皱纹信息，因此更加提高了图像识别的准确性。当人发“E(日语)”时出现的皱纹不同于当他或她发“I(日语)”时出现的皱纹。优选的是将嘴唇图像图案25存储为词而不是字符。

声音图案26是人所发出的词、短语或者句子的声音特征。声音特征是例如频率、声压、词之间的时间间隔、短语或句子的总时间间隔。

字符信息27是例如文本信息。手势信息28是手势图像的图案。存储每一个手势字符或每一个手势词的图像手势图案。

图5是示出了图1所示的声压级确定部分9的结构的方框图。声压级确定部分9具有阈值设置部分15以及比较部分16。例如，当比较部分16已经确定用户在麦克风23前所发出的声音的声压超过了在阈值设置部分15中所设置的阈值时，声压级确定部分9具有开始分析由摄像机21所捕获的图像的功能等。在该情况下，利用操作按钮24，用户可以设置阈值。作为代替，声压级确定部分9可以利用噪声级而不是声压级开始分析。

图6是示出了连接第一主体20和第二主体30的连接部分的放大视图。第一主体20和第二主体30利用连接机构10在另一端部2a和3a连接。连接机构10具有轴部分10a和10b。轴部分10b允许第一主体20和第二主体30可以在如图1所示的方向A折叠。第一主体20和第二主体30可以按照第一显示部分22的显示屏与第二显示部分32的显示屏彼此面对的角度以及第一显示部分22的后表面与第二显示部分32的后表面彼此面对的角度进行折叠。换句话说，第一主体部分20和第二主体部分30利用连接机构10这样连接，从而角度A成为360度。另外，轴部分10a使得第二显示部分32的显示屏可以对于第一显示部分22的显示屏转动。换句话说，第一主体部分20和第二主体部分30围绕轴X转动。一个显示部分以例如270度对于另一显示部分转动。由于这些显示部分可以折叠和转动，因此不论彼此会话的两人的位置如何，都可以使用该设备。例如，即使两人彼此面对或者并排站立，也可以彼此交谈。

接下来，将描述会话支持设备1的操作。图7是示出了会话支持设备1的操作的流程图。

接下来，将描述例如非残疾人和听力残疾人士彼此谈话的情况。在看第一显示部分22的同时，非残疾人对听力残疾人士进行谈话。在看第二显示部分32的同时，听力残疾人士对非残疾人进行谈话。

当打开会话支持设备1的电源开关(未示出)时，照相机21开始捕获非残疾人的图像。另外，摄像机31开始捕获听力残疾人士的图像(在步骤701)。这时，针对预定时间周期或者预定存储容量，可以捕获活动图像并将其存储在RAM 4等中。可以按照最旧的图像帧的顺序来擦除存储在RAM 4等中的图像帧。作为代替，可以将图像帧连续地存储在主存储部分8中。

当摄像机21和31开始捕获图像时，主处理器3、子处理器5等将由摄像机21和31所捕获的图像分别在第二显示部分32和第一显示部分22上实时显示(在步骤702)。在该情况下，在主处理器3控制之下，子处理器5可以负责第二显示部分32。另一方面，在主处理器3控制之下，子处理器6可以负责第一显示部分22。

当摄像机21和31开始捕获图像时，会话支持设备1等待，直到输入非残疾人或听力残疾人士的声音(在步骤703)。当输入声音时(即，在步骤704所确定的结果是YES)，声压级确定部分9确定输入声音的声压级是否等于或大于阈值(在步骤705)。当输入声音的声压级等于或大于阈值时，主处理器3分别根据图像分析程序11和声音分析程序12，开始对由摄像机21等所捕获的图像进行分析处理，以及对由麦克风23所收集的声音进行分析处理。在该情况下，根据由主处理器3所发出的分析处理命令，子处理器5和6共享这些处理。在该情况下，例如，子处理器5可以执行对图像的分析处理，而例如，子处理器6可以执行对声音的分析处理。

在分析处理执行之后，主处理器3等针对预定时间周期保持步骤705的YES状态。换句话说，即使非残疾人停止讲话，主处理器3等保持步骤705的YES状态。预定时间周期是例如一秒钟或者大约几秒钟。

图像分析程序11具体地分析非残疾人的嘴唇的图像。具体地，由于人的嘴部位于脸的较低部分，当会话支持设备1识别嘴部的位置时，通过扫描非残疾人的整张脸并提取人脸的轮廓，会话支持设备1可以检测嘴唇的位置。图8是图像分析处理的流程图。主处理器3等频繁地将摄像机21所捕获的非残疾人的嘴唇的图像与存储在主存储部分8中的每一个嘴唇图像图案25相比较(在步骤801)。主处理器3等选择相对应的嘴唇图像图案(在步骤802)，并提取所选择的图像图案(在步骤803)。

具体地，利用黑白二进制值的矩阵来分析图像。更具体地，可以将所匹配的像素数目最大的图像帧看作为与所捕获的嘴唇图像相对应的嘴唇图像图案。由于仅需要识别嘴唇和手(当分析手势图像时捕获的手的图像)，二进制数据是足够的。因此，可以降低主存储部分8、RAM4等的存储容量。

子处理器5等提取与所提取的图像图案相对应的手势信息28，并且将手势信息28在第二显示部分32上显示(在步骤707)。图9示出了在第二显示部分32上所显示的图像的例子。在该例子中，信息“KON-NICHI-WA(日语中的你好)”作为手势图像而显示。另外，如图所示，子处理器5等可以提取与所提取的图像图案相对应的字符信息27，并且将字符信息27在第二显示部分32上显示。通过看在第二显示部分32上所显示的字符信息27，听力残疾人士可以理解内容。

声音分析程序12分析非残疾人发出的声音。具体地，声音分析程序12总是将由麦克风23所收集的信息与在主存储部分8中所存储的每一个声音图案26相比较。声音分析程序12选择相对应的声音图案26，并提取所选择的声音图案。通过例如隐式马尔可夫模型来执行该声音分析处理。声音分析程序12提取与所提取的声音图案相对应的手势信息或者字符信息，并且将所提取的信息在第二显示部分32上显示。另外，在声音分析处理中，从所提取的声音中去除噪声，并且校正声音的失真。

在步骤802，与声音分析程序12所执行的声音分析处理同步地执行一个处理。具体地，对分配了与所提取的图像帧相同的时间码的部分的声音数据进行分析。确定由图像分析处理在步骤707所提取的手势信息是否与由声音分析处理在步骤707所提取的手势信息相匹配。当它们不相匹配时，再执行一次图像分析处理和声音分析处理。作为代替，由于声音识别的识别速率高于图像识别的识别速率，由声音分析处理所提取的结果可以优先于图像识别处理。由于以这种方式执行针对图像和声音的分析处理，提高了非残疾人讲话的内容的识别准确性。

在步骤707，子处理器6等可以在第一显示部分22上显示手势信息或字符信息，其与子处理器5在第二显示部分32上显示所提取的手势信息或字符信息几乎同步。因此，在非残疾人看第一显示部分22的同时，他或她可以检查关于他或她所讲的内容是否包含转换错误等。

另一方面，当听力残疾人士讲话时，子处理器6等执行针对他或她所使用的以及摄像机31所捕获的手势图像的分析处理，并且提取与手势图像相对应的手势信息以及与手势信息相对应的声音图案26。子处理器6等将声音图案26转换为声音信息，并将其输出给扬声器33。作为代替，子处理器6等提取与所提取的手势信息28相对应的字符信息27，并将其在第一显示部分22上显示。

如上所述，根据本实施方式，在非残疾人看第一显示部分22以及听力残疾人士看第二显示部分32的同时，他们可以彼此会话。因此，他们可以有效地和流畅地彼此会话。

根据本实施方式，由于会话支持设备1提供有声压级确定部分9，不同于相关技术，无论何时开始讲话，用户都不需要按下图像分析控制键和声音识别控制键。因此，用户可以流畅地彼此会话。

接下来，将描述本发明的另一实施方式。除不同点之外，将简要或者省略与以上实施方式的会话支持设备1的部分、功能和操作相似的该实施方式的会话支持设备的部分、功能和操作的描述。

图10示出了将多个人的嘴唇形状图案与其会话表ID相关联的表。由参考数字40表示的该表可以存储在例如主存储部分8(参考图2)中。图11示出了由参考数字45表示的会话表。类似地，会话表45将图4中所示的嘴唇图像图案25与字符信息27相关联。会话表45是专用于多个人的一个的会话表(例如会话表ID＝7)。图11示出了嘴唇图像图案与字符之间的关系。作为代替，如图4所示，会话表45可以将嘴唇图像图案25与词、短语或句子相关联。多个人可以是例如5人、10人、20人或更多人。

可以将图10所示的嘴唇形状图案作为例如预先捕获的默认图案进行存储。作为代替，可以存储由用户所收集的嘴唇形状图案。嘴唇形状图案可以是闭嘴的图案(沉默状态)或者正在发出例如“A”的具体词或者例如“KON-NICHI-WA”的具体句子的图案。当发出词“A”时，其嘴唇形状图案是静止的图像。当发出句子“KON-NICHI-WA”时，其嘴唇形状图案是活动的图像。

图12是示出了根据本发明的该实施方式的会话支持设备的部分操作的流程图。

在用会话支持设备开始会话之前，执行初始设置。将参考图12描述初始设置的操作。当彼此会话的人是非残疾人和听力残疾人士时，通过摄像机21等捕获非残疾人的嘴唇的图像(在步骤201)。在该情况下，操作按钮组24可以具有“初始设置”按钮。当非残疾人按下初始设置按钮时，可以开始初始设置。作为代替，可以通过摄像机21捕获非残疾人闭嘴状态的图像(沉默状态)。作为代替，可以通过摄像机21捕获非残疾人正在发出具体词“A”或者具体句子“KON-NICHI-WA”(日语中的你好)的图像。

主处理器3、子处理器5、子处理器6等将所捕获的非残疾人的嘴唇的图像存储到RAM 4等中。根据图像分析程序11，主处理器3等将非残疾人的嘴唇形状与在主存储部分8中所存储的多个人的每一个的嘴唇形状图案相比较(在步骤202)。主处理器3等从存储在主存储部分8中的多个人的嘴唇形状图案中选择一个形状图案，所述形状图案与非残疾人的嘴唇形状最相似(在步骤203)。具体地，主处理器3等选择匹配的“黑白”二进制图像信息像素数目最大的图像帧。在步骤203之后，主处理器3等从存储器提取与所选择的形状图案相对应的转换表(在步骤204)。此后，主处理器3等参考表40执行图7所示的操作。因此，会话支持设备1可以更准确地执行图像识别。另外，会话支持设备1可以更准确地将所捕获的图像转换为手势信息。因此，由于可以降低转换处理的转换错误的出现率等，用户可以流畅地彼此会话。

应该注意，本发明并不局限于上述实施方式。作为替换，可以对本发明进行各种修改。

根据上述实施方式，描述了非残疾人和听力残疾人士彼此会话的情况。作为代替，本发明可以应用于日本人和非日本人彼此会话的情况。另外，根据上述实施方式，听力残疾人士和视力残疾人士可以彼此会话。在该情况下，当视力残疾人士所发出的声音被转换为字符信息或手势信息并被显示在显示部分时，听力残疾人士可以通过显示部分理解视力残疾人士讲话的内容。另一方面，当将听力残疾人士的手势信息转换为声音信息，并且从扬声器33输出时，视力残疾人士可以通过扬声器33与听力残疾人士会话。

根据上述实施方式，如图9所示，将非残疾人士讲话的内容在第二显示部分32上显示为手势信息或者字符信息。但是，代替手势信息或者此外，可以在第二显示部分32上显示非残疾人士的嘴唇的活动图像。在该情况下，可以将在第二主体30上所显示的嘴唇的图像转换为动画图像并显示。

会话支持设备1的形状并不局限于图1所示的形状。作为代替，可以使用图13所示的会话支持设备。用参考数字50表示图13所示的会话支持设备。会话支持设备50的尺寸与例如便携式计算机的相近。在会话支持设备50中，第一主体60和第二主体70与连接部分51这样相连接，从而它们可以以任意角度C折叠。第一主体60和第二主体70具有腿部69和71，其可以以任意角度D转动。腿部69和70可以提供有操作按钮、扬声器、麦克风等(未示出)。在图13中，参考数字61和71代表摄像机。参考数字62和72代表显示部分(显示面板)。利用会话支持设备50，例如，非残疾人34和听力残疾人士35可以彼此会话。

根据上述实施方式，非残疾人首先发出词。声压级确定部分9确定输入词的声压级。作为代替，声压级确定部分9可以确定听力残疾人士开始所发出的词的声压级。听者要听到听力残疾人士发出的词可能较困难。但是，当他或她发出一些词时，会话支持设备可以通过确定词的声压级，启动针对听力残疾人士的手势图像的分析处理。

当用户操作操作按钮组24的预定按钮时，可以针对在显示部分22等上所显示的图像以及从扬声器所输出的声音执行特技播放(trick play)操作。特技播放操作是例如快速前进操作、倒转操作等。当针对图像执行快速前进操作时，按照例如帧号为3、6、9等的升序将存储在RAM中的图像帧进行间歇地显示。可以通过图像/声音重放处理部分13(参考图2)执行这种特技播放操作。

图11所示的转换表45是将嘴唇图像图案与字符信息相关联的转换表。但是，转换表45可以是将嘴唇图像图案与手势信息相关联的转换表，或者是将嘴唇图像图案与声音信息相关联的转换表。

图12描述了在用户开始会话之前执行初始设置的例子。但是，可以没有初始设置，而在用户开始会话之后，立即执行如图12所示的操作。

根据上述实施方式，第一主体20具有麦克风23。但是，第二主体30可以具有麦克风。另外，仅第二主体30具有扬声器33。作为代替，第一主体20可以具有扬声器。

子处理器的数目并不局限于2。作为代替，子处理器的数目可以是1或3或更多。

代码的解释

1、50 会话支持设备

2a、3a 另一端部

3 主处理器

4、7 RAM

5、6 子处理器

8 主存储部分

9 声压级确定部分

11 图像分析程序

12 声音分析程序

13 图像/声音重放处理部分

14、33 扬声器

15 阈值设置部分

16 比较部分

17 图像/声音数据库

20、60 第一主体

21、31、61、71 摄像机

23 麦克风

25 人的嘴唇图像图案

26 声音图案

27 字符信息

28 手势信息

30、70 第二主体

Claims

1.一种会话支持设备，包括：

图像捕获装置，用于捕获第一用户和第二用户的图像；

第一转换装置，用于将已捕获其图像的第一用户的第一图像信息转换为第二用户可以理解的第一信息；

第二转换装置，用于将已捕获其图像的第二用户的第二图像信息转换为第一用户可以理解的第二信息；

第一显示装置，其具有第一显示屏，用于在第一显示屏上显示已转换的第一信息；以及

第二显示装置，其具有可以以与第一显示屏的角度不同的角度进行放置的第二显示屏，用于在第二显示屏上显示已转换的第二信息。

2.根据权利要求1所述的会话支持设备，还包括：

声音收集装置，用于收集第一用户的声音；以及

第三转换装置，用于将所收集的声音转换为第一信息。

3.根据权利要求1所述的会话支持设备，

其中第一转换装置将第一图像信息转换为字符信息和手势信息之一作为第一信息。

4.根据权利要求1所述的会话支持设备，

其中第一转换装置将第一图像信息转换为声音信息作为第一信息，以及

其中会话支持设备还包括：

输出装置，用于输出所转换的声音信息。

5.根据权利要求1所述的会话支持设备，

其中第一显示装置具有：

第二信息显示装置，用于在第一显示屏上显示第二信息。

6.根据权利要求5所述的会话支持设备，

其中第一显示装置对第二信息的显示与第二显示装置对第二信息的显示的定时几乎同步。

7.根据权利要求3所述的会话支持设备，

其中当第一转换装置将第一图像信息转换为字符信息和手势信息时，第一显示装置在第一显示屏上显示已由第一转换装置所转换的手势信息，以及

其中第二显示装置对已由第一转换装置所转换的字符信息的显示与第一显示装置对手势信息的显示的定时几乎同步。

8.根据权利要求2所述的会话支持设备，还包括：

测量装置，用于测量第一用户的声音的声压级或噪声级；

设置装置，用于设置声压级或噪声级的阈值；以及

执行装置，用于当所测量的声压级或噪声级等于或大于阈值时，使第三转换装置执行转换处理。

9.根据权利要求2所述的会话支持设备，还包括：

测量装置，用于测量第一用户的声音的声压级或噪声级；

设置装置，用于设置声压级或噪声级的阈值；以及

执行装置，用于当所测量的声压级或噪声级等于或大于阈值时，使第一转换装置执行转换处理。

10.根据权利要求3所述的会话支持设备，还包括：

存储装置，用于相关地存储发音人的嘴唇的多个图像图案以及与该人所发出的声音相对应的字符信息，

其中图像捕获装置捕获第一用户的嘴唇的图像作为第一图像信息，以及

其中第一转换装置具有：

图像图案比较装置，用于将所捕获的图像信息与每一个图像图案相比较，

图像图案选择装置，用于从与所比较的结果相对应的图像图案中选择与所捕获的嘴唇图像信息相对应的一个图像图案，以及

字符信息提取装置，用于提取与所选择的图像图案相对应的字符信息。

11.根据权利要求10所述的会话支持设备，

其中存储装置相关地存储多个人的每一个的图像图案以及字符信息，并且存储多个人的每一个的嘴唇形状图案，以及

其中会话支持设备还包括：

形状图案比较装置，用于将所捕获的嘴唇图像信息与形状图案进行比较，以及

形状图案选择装置，用于从与所比较的结果相对应的形状图案中选择与所捕获的嘴唇图像信息最相似的一个形状图案。

12.根据权利要求3所述的会话支持设备，还包括：

存储装置，用于相关地存储发音人的嘴唇的多个图像图案以及与该人所发出的声音相对应的手势信息，

其中图像捕获装置捕获第一用户的嘴唇的图像作为第一图像信息，以及，

其中第一转换装置具有：

图像图案比较装置，用于将所捕获的第一用户的嘴唇的图像的信息与图像图案相比较；

图像图案选择装置，用于从与所比较的结果相对应的图像图案中选择与所捕获的第一用户的嘴唇的图像的信息相对应的一个图像图案；以及，

手势信息提取装置，用于提取与所选择的图像图案相对应的手势信息。

13.根据权利要求12所述的会话支持设备，

其中存储装置相关地存储多个人的每一个的图像图案以及手势信息，并且存储多个人的每一个的嘴唇形状图案，以及

其中会话支持设备还包括：

形状图案比较装置，用于将所捕获的第一用户的嘴唇的图像的信息与形状图案相比较；以及

形状图案选择装置，用于从与所比较的结果相对应的形状图案中选择与所捕获的第一用户的嘴唇的图像的信息最相似的一个形状图案。

14.根据权利要求4所述的会话支持设备，还包括：

存储装置，用于相关地存储发音人的多个嘴唇图像图案以及与该人所发出的声音相对应的字符信息，

其中第一转换装置具有：

图像图案比较装置，用于将所捕获的第一用户的嘴唇的图像的信息与图像图案相比较，

图像图案选择装置，用于从与所比较的结果相对应的图像图案中选择与所捕获的第一用户的嘴唇的图像的信息相对应的一个图像图案，以及

声音信息提取装置，用于提取与所选择的图像图案相对应的声音信息。

15.根据权利要求14所述的会话支持设备，

其中存储装置相关地存储多个人的每一个的图像图案与手势信息，并存储多个人的每一个的嘴唇形状图案，以及

其中会话支持设备还包括：

形状图案比较装置，用于将所捕获的嘴唇图像信息与形状图案相比较，以及

16.根据权利要求1所述的会话支持设备，

其中第一显示装置具有第一部分，所述第一部分具有第一端部，并且其中放置了第一显示屏，以及

其中第二显示装置具有第二部分，所述第二部分具有第二端部，并且其中放置了第二显示屏，第一端部和第二端部这样相连接，从而第二显示屏可以对于第一显示屏转动，并且第二显示屏可以向第一部分折叠。

17.根据权利要求1所述的会话支持设备，还包括：

存储装置，用于存储第一信息；

重放装置，用于在第一显示屏上重放存储在存储装置中的第一信息；以及

特技播放装置，用于针对所存储的第一信息执行特技播放操作。

18.一种会话支持方法，包括以下步骤：

捕获第一用户的图像和第二用户的图像；

将所捕获的第一用户的图像的第一图像信息转换为第二用户可以理解的第一信息；

将所捕获的第二用户的图像的第二图像信息转换为第一用户可以理解的第二信息；

在第一显示屏上显示所转换的第一信息；以及

在第二显示屏上显示所转换的第二信息，该第二显示屏可以以与第一显示屏的角度不同的角度进行放置。