CN103329515A - 外部输入装置、通信终端、显示数据共享系统和计算机可读信息记录介质 - Google Patents

Abstract

公开一种与向经由网络连接的另一组设备递送包括语音或视频的会议数据的通信终端连接的外部输入装置。所述外部输入装置包括第一显示部件，其用于显示图像；操作接收部件，其用于接收用户的操作；图像获得部件，其用于获得图像的图像数据；图像数据传送部件，其用于通过使用通信终端向其他组设备传送图像数据；转换信息存储部件，其用于根据由通信终端报告的显示控制信息登记用于接收图像数据的共享控制操作的共享菜单的转换条件；以及菜单控制部件，其用于通过使用第一显示部件显示根据从通信终端获得的显示控制信息和转换条件确定的共享菜单。

Description

外部输入装置、通信终端、显示数据共享系统和计算机可读信息记录介质

技术领域

本发明涉及一种在远程位置之间进行通信的远程通信系统中传送图像的显示数据的外部输入装置，具体地，涉及一种以其可以由相应的位置共享显示数据的外部输入装置等。

背景技术

随着例如因特网的通信网络的数据传输速率的扩大和提高，在远程位置之间进行TV会议的远程通信系统已投入使用。通过使用所述远程通信系统，可以降低出差成本和出差工时。

在可以进行TV会议的远程通信系统中，在多个远程通信终端之间直接或使用服务器传送图像数据和语音数据。由于最近的宽带环境的成熟，传送具有高图像质量的图像数据和具有高声音质量的语音数据变得可能。因此，变得能够容易地理解TV会议中另一人的情况，并且变得可以通过交谈高水平地彼此理解。

通过使用这种远程通信系统，不但在一些情况下通过使用某个装置（例如，外部输入装置）在会议中向另一人传送语音数据和图像数据，而且传送用于会议的材料的显示数据。因为传送所述材料的显示数据，会议中的另一人可以看见与这一侧的材料相同的材料（例如，参见美国专利No.6760749）。

然而，随着在TV会议中使用的远程通信终端的数量增加，将由相应的远程通信终端共享的材料组的数量增加。就这点来说，根据美国专利No.6760749，作为会议参加者通过指定对应的URL（统一资源定位符）从多组材料中选择要显示的材料的结果，选择要显示的材料。

然而，如果用户需要选择要在远程通信终端上显示的材料，则操作性能可能下降。例如，每次当某个用户切换材料时，另一用户需要通过使用URL指定材料，并且在自己的远程通信终端上显示所述材料。

另一方面，当可共享的所有多组材料和可能变为讨论的目标的多组材料在减小大小或使用相应的窗口之后在远程通信终端的显示设备上显示时，减小每组材料的显示区域的大小或重叠所述显示区域，从而观看性能可能下降。此外，对于每个用户可能变得难以确定多组材料中的哪一个是当前讨论的目标。

发明内容

根据本发明的实施例，与向经由网络连接的另一组设备递送包括语音或视频的会议数据的通信终端连接的外部输入装置包括：第一显示部件，其被配置为显示图像；操作接收部件，其被配置为接收用户的操作；图像获得部件，其被配置为获得图像的图像数据；图像数据传送部件，其被配置为使用通信终端向另一组设备传送图像数据；转换信息存储部件，其被配置为根据由通信终端递送的显示控制信息登记用于接收图像数据的共享控制操作的共享菜单的转换条件；以及菜单控制部件，其被配置为通过使用第一显示部件显示根据从通信终端获得的显示控制信息和转换条件确定的共享菜单。

当结合附图阅读时，根据下列详细描述本发明的其他目的、特征和优点将变得更清楚。

附图说明

图1示出远程通信系统的配置的一个示例；

图2示出通信终端的硬件配置的一个示例；

图3示出远程通信管理系统的硬件配置的一个示例；

图4A和图4B示出远程通信系统中包括的终端、装置和系统中的每一个的功能框图的一个示例；

图5示出外部输入装置的功能框图的一个示例；

图6示出材料管理表的一个示例；

图7示出改变质量管理表的一个示例；

图8示出中继装置管理表的一个示例；

图9示出终端认证管理表的一个示例；

图10示出终端管理表的一个示例；

图11示出目的地列表管理表的一个示例；

图12示出会话管理表的一个示例；

图13示出地址优先级管理表的一个示例；

图14示出传输速率优先级管理表的一个示例；

图15示出质量管理表的一个示例；

图16示出布置信息管理表的一个示例；

图17示出划分显示设备的屏幕的一个示例和指示从所述划分获得的区域的一个示例；

图18示出布置信息的一个示例和分配到相应的区域1、2、3和4的视频数据和显示数据的关系的一个示例；

图19示出所选的布置信息的状态转换图的一个示例；

图20示出从中继装置传送的事件的一个示例，和由布置信息选择部件根据所述事件设置的共享标记和由显示数据控制部件确定的显示控制标记之间的对应关系的一个示例；

图21A和图21B示出图示显示设备菜单的转换的一个示例；

图22示出由通信终端建立会话的处理的流程图的一个示例；

图23示出在通信终端之间传送图像数据和语音数据的处理的序列图的一个示例；

图24A和图24B示出从外部输入装置向通信终端传送显示数据的过程的流程图的一个示例。

图25示出传送在通信终端1（通信终端10）拍摄的视频数据、在通信终端2（通信终端10）拍摄的视频数据、以及从与通信终端1、2（通信终端10）连接的外部输入装置1、2（外部输入装置40）传送的显示数据的序列图的一个示例；

图26示出当在图25的步骤S103或S104中由外部输入装置开始传送显示数据时的控制过程的序列图的一个示例；

图27A和图27B是示意性地示出当通信终端接收显示数据时显示设备的屏幕的状态的一个示例；

图28A、图28B、图28C和图28D示出在外部输入装置上显示的菜单的一个示例；

图29是示出当外部输入装置开始传送显示数据时的控制过程的序列图的一个示例；

图30是示出确定在通信终端已接收到“从另一开始事件递送”的情况下是否请求停止递送的过程的流程图的一个示例；

图31是示出中继装置中的确定过程的流程图的一个示例；

图32是图示在已完成图29的处理的状态下外部输入装置停止传送显示数据的过程的序列图的一个示例；以及

图33是示出断开通信终端之间的会话的处理的流程图的一个示例。

具体实施方式

下面，将参考附图描述本发明的实施例。

根据本发明的实施例，可以提供外部输入装置，由此在确保远程通信终端的显示设备上显示的图像的观看性能的同时，可以在不需要用户的操作的情况下或通过减少的必要的过程量选择和显示合适的图像。

根据本发明的实施例的远程通信系统1的一般特征如下：

（1）位于两个不同的位置的外部输入装置1和2（外部输入装置40）中的每一个在对应的显示设备上显示用于开始材料的显示数据的共享的菜单，并且外部输入装置1和2（外部输入装置40）中的每一个可以递送显示数据。另一方面，例如，当连接到外部输入装置1（外部输入装置40）的通信终端1（通信终端10）接收指示将经由中继装置从外部输入装置2（外部输入装置40）开始显示数据的递送的事件通知时，外部输入装置1（外部输入装置40）停止传送直到那时为止已传送的显示数据，并且再次显示用于开始共享显示数据的菜单。此外，通信终端1（通信终端10）显示从外部输入装置2（外部输入装置40）接收的显示数据。

因此，可以将要在通信终端1共享和显示的显示数据限制为一组显示数据，并且TV会议的参加者不需要选择多组显示数据中的一个。

（2）进一步，响应于事件通知，外部输入装置1和2（外部输入装置40）中的每一个显示指示显示数据的共享状态的消息。因此，参加者可以理解共享的在通信终端1和2（通信终端10）显示的显示数据的状态。

（3）进一步，响应于来自中继装置的事件通知，通信终端1和2（通信终端10）可以以强调（放大）视频数据或显示数据的方式在单个屏幕上布置视频数据或显示数据。因此，可以指示视频数据或显示数据是要注意的数据而不需要参加者在视频数据和显示数据之间切换的操作。

【配置】

图1示出根据本发明的实施例的远程通信系统1的配置的一个示例。作为示例，在远程通信系统1中，通信终端10被布置为分布在区域A和区域B中。然而，当存在最少两个通信终端10时可以进行远程通信。

远程通信系统1包括多个通信终端（10aa、10ab、……、10db）、用于相应的通信终端（10aa、10ab、……、10db）的显示设备（100aa、100ab、……、100db）、多个中继装置（30a、30b、30c、和30d）、远程通信管理系统50、程序提供系统90和外部输入装置（40aa、40ab、……、40db）。

注意，在指示多个通信终端（10aa、10ab、……、10db）中的任何通信终端的情况下，可以使用“通信终端10”的表达。在指示多个显示设备（100aa、100ab、……、100db）中的任何显示设备的情况下，可以使用“显示设备100”的表达。在指示多个中继装置（30a、30b、30c、和30d）中的任何一个的情况下，可以使用“中继装置30”的表达。在指示多个外部输入装置（40aa、40ab、……、40db）中的任何一个的情况下，可以使用“外部输入装置40”的表达。

通信终端10向另一通信终端10传送图像数据、语音数据等，并从另一通信终端10接收图像数据、语音数据等。虽然将描述图像数据（例如，通过CCD（电荷耦合设备）112获得）的图像是视频（移动图像）的情况，图像数据的图像可以是静止图像。此外，图像数据的图像可以包括视频（移动图像）和静止图像两者。中继装置30在多个通信终端10之间中继图像数据和语音数据。远程通信管理系统50以统一的方式管理通信终端10和中继装置30。

外部输入装置40与对应的通信终端10连接，并且向通信终端10传送用于显示材料数据的显示数据。材料数据指的是例如使用文件合成软件、电子表格软件、演示软件（即，用于演示的软件）等产生的数据。

在图1中示出的多个路由器（70a、70b、……、70f）选择图像数据和语音数据的最优路径。注意，在下文中，在指示多个路由器（70a、70b、……、70f）中的任何一个的情况下，可以使用“路由器70”的表达。

程序提供系统90包括HD（硬盘）（未示出），所述HD存储用于通信终端10中的每一个执行各种功能或使得通信终端10中的每一个用作各种功能部件的程序，并且所述程序提供系统90能够向通信终端10中的每一个传送所述程序。此外，程序提供系统90的HD还存储用于中继装置30中的每一个执行各种功能或使得中继装置30中的每一个用作各种功能部件的程序，并且所述HD能够向中继装置30中的每一个传送所述程序。此外，程序提供系统90的HD还存储用于远程通信管理执行各种功能或使得远程通信管理装置50用作各种功能部件的程序，并且能够向远程通信管理装置50传送用于远程通信管理的程序。

通信终端10aa、10ab、中继装置30a和路由器70a通过LAN2a以它们能够进行相互通信的方式连接到一起。通信终端10ba、10bb、中继装置30b和路由器70b通过LAN2b以它们能够进行相互通信的方式连接到一起。LAN2a和LAN2b通过包括路由器70c的专线2ab以它们能够进行互相通信的方式连接到一起，并且被内置于特定区域A中。例如，区域A是日本、LAN2a内置于东京的任何公司中，并且LAN2b内置于大阪的任何公司中。

另一方面，通信终端10ca、10cb、中继装置30c和路由器70c通过LAN2c以它们能够进行相互通信的方式连接到一起。通信终端10da、10db、中继装置30d和路由器70e通过LAN2d以它们能够进行相互通信的方式连接到一起。LAN2c和LAN2d通过包括路由器70f的专线2cd以它们能够进行互相通信的方式连接到一起，并且内置于特定区域B中。例如，区域B是美国、LAN2c内置于纽约的任何公司中，并且LAN2d内置于华盛顿特区的任何公司中。

区域A和区域B分别使用路由器（70c和70f）通过因特网2i以它们能够进行相互通信的方式连接到一起。

此外，以远程通信管理系统50、程序提供系统90、通信终端10和中继装置30能够通过因特网2i进行相互通信的这种方式连接它们。远程通信管理系统50和程序提供系统90可以安装在区域A或区域B中，或可以安装在另一区域中。

注意，在实施例中，通信网络2包括LAN2a、LAN2b、专线2ab、因特网2i、专线2cd、LAN2c和LAN2d。

此外，在图1中，在通信终端10、中继装置30、远程通信管理系统50、路由器70中的每一个下面的四个数字以简化的方式示出根据普通IPv4的IP地址。例如，通信终端10aa的IP地址是“1.2.1.3”。可以使用IPv6替代IPv4。然而，为了简化描述的目的，将使用IPv4进行描述。

《硬件配置》

然后，将描述多组设备中的每一个的硬件配置。下面，在本实施例的描述中，在延迟发生在作为中继目的地的通信终端10处图像数据的接收中的情况下，中继装置30改变图像数据的图像的分辨率，然后向通信终端10传送图像数据。

图2示出根据本实施例的通信终端10的硬件配置。如图2中所示，根据本实施例的通信终端10包括：CPU（中央处理单元）101，其控制整个通信终端10的操作；ROM（只读存储器）102，其存储用于通信终端10的程序；RAM（随机存取存储器）103，其用作CPU101的工作区域；以及闪存104，其存储各种数据，例如图像数据和语音数据。根据本实施例的通信终端10还包括：SSD（固态驱动器）105，其根据CPU101的控制，控制从闪存104读取各种数据并向闪存104写入各种数据；介质驱动器107，其控制从例如闪存的记录介质106读取数据，并向例如闪存的记录介质106写入（记录）数据；操作按钮108，在用户在选择通信终端10的目的地等情况下由用户操作；电源开关109，其用于接通或断开通信终端10中的电源；网络I/F（接口）111，其用于使用通信网络2传送数据；CCD112，其根据CPU101的控制拍摄对象并获得图像数据；图像传感器I/F113，其控制驱动CCD112；麦克风114，其输入语音；扬声器115，其输出语音；语音输入/输出I/F116，其根据CPU101的控制处理来自麦克风114的语音信号的输入和向扬声器115的语音信号的输出；显示器I/F117，其根据CPU101的控制向在外部提供的显示设备100传送图像数据；外部装置I/F118，其用于连接各种类型的外部装置；以及总线110，例如地址总线、数据总线等，其用于如图2中所示电连接上述各种元件/组件。

注意，记录介质106被配置为对于通信终端10是可拆卸的。此外，只要是可以根据CPU101的控制进行读取和写入的非易失性存储器，闪存存储器104就不受限制，可替换地，可以使用EEPROM（电可擦除可编程只读存储器）等。此外，CCD112是固态图像感测器件，其将光转变为电荷，并从对象的图像（视频）获得电信号。CCD不受限制，只要其用于拍摄对象，且可以代替地使用CMOS（互补金属氧化物半导体）器件等。此外，显示设备100由显示对象、用于由用户操作的图标等的图像（视频）的液晶或有机电致发光（EL）材料等组成。

此外，可以以可安装或可执行类型的文件的格式在例如记录介质106的计算机可读信息记录介质中记录用于通信终端10的程序，然后可以运行所述程序。

图3示出根据本实施例的远程通信管理系统50的硬件配置的一个示例。远程通信管理系统50包括CPU201，其控制整个远程通信管理系统50的操作；ROM202，其存储用于远程通信管理的程序；RAM203，其用作CPU201的工作区域；HD（硬盘）204，其存储各种数据；HDD（硬盘驱动器）205，其根据CPU201的控制，控制从HD204读取各种数据并向HD204写入各种数据；介质驱动器207，其控制从例如闪存的记录介质206读取数据，或向例如闪存的记录介质206写入（记录）数据；显示设备208，其显示各种类型的信息，例如光标、菜单、窗口、字符/字母（文本）和图像；网络I/F209，其用于使用通信网络2进行数据传送；键盘211，其包括用于用户输入字符/字母、数值和各种指令等的多个键；鼠标212，其用于用户选择或开始各种指令的执行，选择要处理的目标、或移动光标等；CD-ROM驱动器214，其控制从作为可拆除记录介质的示例的CD-ROM（光盘只读存储器）213读取各种数据；外部装置I/F215，其向外部装置传送各种类型的数据并从外部装置接收各种类型的数据；以及总线210，例如地址总线、和数据总线等，如图3中所示，其将上述相应的元件/组件电连接到一起。

注意，可以在例如上述记录介质206、CD-ROM213等的计算机可读记录介质中以可安装类型或可执行类型的文件的格式记录用于远程通信管理的程序，然后运行所述程序。

外部输入装置40具有与上述远程通信管理装置50的硬件配置相同的硬件配置，从而，将省略其描述。然而，在外部输入装置40的ROM202中，记录用于控制外部输入装置40的外部输入装置40的程序。此外，在这种情况下，可以以可安装类型或可执行类型的文件的格式在例如记录介质206或CD-ROM213的计算机可读记录介质中记录用于外部输入装置的程序，并且运行所述程序。

此外，中继装置30具有与远程通信管理装置50的硬件配置相同的硬件配置，从而，将省略其描述。然而，在中继装置30的ROM202中，记录用于控制中继装置30的中继装置的程序。此外，在这种情况下，可以以可安装类型或可执行类型的文件的格式在例如记录介质206、CD-ROM213等的计算机可读记录介质中记录用于中继装置的程序，并且运行所述程序。

此外，程序提供系统90具有与远程通信管理装置50的硬件配置相同的硬件配置，从而，将省略其描述。然而，在程序提供系统90的ROM202中，记录用于提供程序的程序。此外，在这种情况下，可以以可安装类型或可执行类型的文件的格式在例如记录介质206、CD-ROM213等的计算机可读记录介质中记录用于提供程序的程序，并且运行所述程序。

注意可以在作为上述可拆除记录介质的另一示例的例如CD-R（可记录光盘）、DVD（通用多用途盘）或蓝光盘的计算机可读记录介质中记录上述程序中的每一个，然后提供所述程序。

图4A和图4B示出根据本实施例的在通信系统1中包括的终端10、装置30和系统50的功能框图。在图4A和图4B中，通信终端10、中继装置30和远程通信管理系统50通过通信网络2以可以相互进行数据通信的方式连接到一起。外部输入装置40通过USB连接线等与通信终端10连接，使得可以相互进行数据通信。由于图1中示出的程序提供系统90不直接涉及TV会议的通信，因此在图4A和图4B中省略程序提供系统90。此外，虽然图5是外部输入装置40的功能框图的一个示例，但为了使描述更容易的目的，再次示出图10中示出的通信终端的功能框图。

<通信终端的功能配置>

通信终端10包括传送/接收部件11、操作输入接收部件12、登录请求部件13、拍摄部件14a、图像显示控制部件（或显示控制部件）14b、语音输入部件15a、语音输出部件15b、选择处理部件16、延迟检测部件17、外部信息传送/接收部件18、存储/读取处理部件19、布置信息选择部件21和显示数据控制部件22。相应的部件与作为图2中示出的相应的元件/组件根据由CPU101给出的指令而操作的结果实现的功能或功能部件对应，所述CPU101根据在ROM102中存储的用于通信终端的程序操作而给出指令。

在通信终端10与外部输入装置40连接的情况下，外部输入装置40获得显示数据并向通信终端10传送所述显示数据。当接收所述显示数据时，通信终端10经由通信网络2向中继装置30传送显示数据。

此外，通信终端10具有存储部件1000，其包括图2中示出的ROM102、RAM103和闪存存储器104中的任何一个。存储部件1000存储布置信息管理表23和事件标记表24。

（通信终端的详细功能配置）

然后，将详细描述通信终端10的相应的部件。由图2中示出的网络I/F111实现通信终端10的传送/接收部件11，并且所述传送/接收部件11经由通信网络2与例如另一通信终端10、中继装置30、远程通信管理系统50等的另一组设备执行各种类型的数据（信息）的传送或接收。由图2中示出的操作按钮108和电源开关109实现操作输入接收部件12，并且所述操作输入接收部件12接收由用户进行的各种类型的输入操作。例如，当用户接通电源开关109时，图4B中示出的操作输入接收部件12通过接收用户接通电源开关109的操作接通通信终端10中的电源。通过来自图2中示出的CPU101的指令实现登录请求部件13，并且所述登录请求部件13响应于接收用户接通电源开关109的操作经由通信网络2从传送/接收部件11向远程通信管理系统50自动传送指示请求登录的登录请求信息和当前时间的通信终端10的IP地址。

由图2中示出的CCD112和图像传感器I/F113实现拍摄部件14a，所述拍摄部件14a拍摄对象，并输出由此从拍照获得的图像数据（视频数据）。由图2中示出的显示器I/F117实现图像显示控制部件14b，并且所述图像显示控制部件14b进行控制以便在通信终端10的外部上提供的显示设备100上显示图像数据（视频数据）。图像显示控制部件14b不但显示由通信终端10和另一通信终端10的拍摄部件14a拍摄的视频数据，而且还显示在连接到通信终端10的外部输入装置40的显示设备400上显示的并被捕获的数据。图像显示控制部件14b具有控制视频数据和显示数据的显示区域的功能。

由图2中示出的麦克风114和语音输入/输出I/F116实现语音输入部件15a，所述语音输入部件15a输入用户的语音声音，并将输入的语音声音转变为语音信号，并输出与语音信号对应的语音数据。由图2中示出的扬声器115和语音输入/输出I/F116实现语音输出部件15b，所述语音输出部件15b将与语音数据对应的语音信号转变为语音，并输出所述语音。语音输入部件15a测量语音信号的输入电平，将所测量的输入电平与阈值等相比较，并确定语音信号是否存在。

布置信息选择部件21通过基于显示数据的递送事件从事件标记表24中选择共享标记，并使用所选择的共享标记读取布置信息管理表23，来向图像显示控制部件14b给出用于将在显示设备100上显示的屏幕页面的布置信息的指令。将在下面描述使用布置信息管理表23和时间标记表24的控制的细节。

选择处理部件16进行最终缩窄多个中继装置30的最终缩窄处理以便选择单个中继装置30。当对于由传送/接收部件11接收的先前的传送信息组中的每一个由传送/接收部件11接收到先前的传送信息时，选择处理部件16测量接收日期和时间。对于已测量接收日期和时间的先前的传送信息组（分别与作为候选者的多个中继装置30对应）中的每一个，选择处理部件16基于在所接收的先前的传送信息组中的每一个中包括的所测量的接收日期和时间以及传送日期和时间之间的差来计算从先前的传送信息的传送到其接收所需的时间。选择处理部件16从所计算的所需时间中选择具有最短所需时间的已中继先前的传送信息的中继装置30，从而，最终选择单个中继装置30。

根据图2中示出的来自CPU101的指令实现延迟检测部件17，并且所述延迟检测部件17检测经由中继装置30从另一通信终端10发送的图像数据或语音数据的延迟时间（ms）。此外，外部信息传送/接收部件18使用外部输入装置I/F215向外部输入装置40传送数据，并从外部输入装置40接收数据。由图2中示出的SSD105实现存储/读取处理部件19，所述存储/读取处理部件19在存储部件1000中存储各种类型的数据，并且读取在存储部件1000中存储的各种类型的数据。在存储部件1000中存储用于识别通信终端10的终端ID（标识）和密码，用于识别传送图像数据、语音数据等的中继装置30的中继装置ID，目的地终端的IP地址等。

显示数据控制部件22获得外部输入装置40的显示数据，并经由中继装置40向另一通信终端传送所获得的显示数据。例如，显示数据是以JPEG（联合图像专家组）、位图等的格式创建的图像数据、或以GDI（图形设备界面）的格式创建的渲染命令。显示数据可以包括材料数据或可以与不包括材料数据的简单桌面屏幕页面对应。

此外，响应于来自外部输入装置40的请求，显示数据控制部件22向中继装置30发送开始递送显示数据的请求或停止递送显示数据的请求。此外，响应于来自中继装置30的递送事件，显示数据控制部件22读取事件标记表24，确定显示控制标记的状态，并向外部输入装置40传送显示控制标记。将稍后描述显示控制标记。

注意，根据本实施例的终端ID和中继装置ID指示标识信息，例如分别用于唯一识别远程通信终端10和中继装置30的语言、字符/字母、符号或各种类型的标志。此外，终端ID和中继装置ID中的每一个可以是作为上述语言、字符/字母、符号、和各种类型的标志中的至少两个的组合的标识信息。此外，在下文中，作为请求开始TV会议的请求源的远程通信终端10可以被称为“请求源终端10A”，并且作为请求目的地的作为目的地的远程通信终端10可以被称为“目的地终端10B”。

<外部输入装置的功能配置>

如图5中所示，外部输入装置40包括传送/接收部件41、连接检测部件42、存储部件43、显示数据获得部件451、显示数据传送部件452、菜单控制部件44、操作输入接收部件46和存储/读取处理部件49。相应的部件与作为图3中示出的相应的元件/组件根据由CPU201给出的指令操作的结果而实现的功能或功能部件对应，所述CPU201根据在ROM202中存储的用于外部输入装置的程序操作。此外，外部输入装置40具有作为图3中示出的显示设备208的显示设备400。此外，外部输入装置40具有在其中载入的例如Windows（注册商标）的操作系统（OS），从而具有当与另一装置连接时执行所述程序的功能。

<外部输入装置的细节功能配置>

然后，将进一步详细描述外部输入装置40的每一个部分。由图3中示出的网络I/F209实现外部输入装置40的传送/接收部件41，并且所述传送/接收部件41向通信终端10传送各种类型的数据（信息），并从通信终端10接收各种类型的数据。连接检测部件42检测到变为能够使用外部装置I/F215向通信终端10传送数据并从通信终端10接收数据。由键盘、和鼠标等实现操作输入接收部件46，并且所述操作输入接收部件46接收通过用户的操作的输入。

显示数据获得部件451通过捕获显示设备400等的屏幕页面来获得外部输入装置40的显示数据。显示数据传送部件452向通信终端10传送由显示数据获得部件451获得的显示数据。

由图3中示出的HDD205实现存储/读取处理部件49，并且所述存储/读取处理部件49进行存储各种类型的数据和读取在存储部件43中存储的各种类型的数据的处理。由HDD205实现存储部件43，并且所述存储部件43存储材料管理表432、转换条件表431等。显示设备400是显示设备208，并且在屏幕上进行显示。菜单控制部件44使得显示设备400根据显示控制标记显示菜单的内容或共享的状态（即，共享状态）。

（材料管理表）

在外部输入装置40的HDD205中存储材料管理表432。

图6示出材料管理表432的一个示例。在材料管理表432中，材料名称是材料的名称；大小指示材料的大小；应用名称指示用于创建材料的应用软件的名称；最近更新材料的更新日期和时间；并且材料数据彼此相关联并被管理。

<中继装置的功能配置>

将参考图4B描述中继装置30的功能和相应的部件。中继装置30包括传送/接收部件31、状态检测部件32、数据质量确定部件33、改变质量管理部件34、数据质量改变部件35和存储/读取处理部件39。这些部件与作为图3中示出的相应的元件/组件根据由CPU201给出的指令操作的结果而实现的功能或功能部件对应，所述CPU201根据在ROM202中存储的程序操作。此外，中继装置30具有包括图3中示出的HDD204的存储部件3000。

（改变质量管理表）

在存储部件3000中，存储包括例如图7中示出的改变质量管理表的改变质量管理表的改变质量管理DB（数据库）3001。在改变质量管理表中，作为图像数据的中继目的地的通信终端10的IP地址和通过中继装置30向中继目的地中继的图像数据的图像质量彼此相关联并被管理。

例如，关于分辨率，存在作为具有160像素（水平方向上）乘120像素（垂直方向上）的配置的基本图像的低分辨率的图像、具有320像素（水平方向上）乘240像素（垂直方向上）的配置的中等分辨率的图像、以及具有640像素（水平方向上）乘480像素（垂直方向上）的配置的高分辨率的图像。其中，在使用窄带路径的情况下，中继仅包括作为基本图像的低分辨率的图像数据的低图像质量的图像数据。在带宽相对宽的情况下，中继包括作为基本图像的低分辨率的图像数据和中等分辨率的图像数据的中等图像质量的图像数据。在带宽非常宽的情况下，中继包括作为基本图像的低分辨率的图像数据、中等分辨率的图像数据、以及高分辨率的图像数据的高图像质量的图像数据。例如，在图7中示出的改变质量管理表中，在中继装置30向IP地址“1.3.2.4”的目的地终端10db中继图像数据的情况下，图像数据的图像质量（图像的质量）是“高质量”（高图像质量）。

（中继装置的详细功能配置）

然后，将详细描述在中继装置30中包括的部件/组件中的每一个的功能配置。注意，下面连同描述中继装置30的功能配置一起，还将描述与用于实现中继装置30的功能配置的来自图3中示出的那些元件/组件的主要元件/组件的关系。

由图3中示出的网络I/F209实现图4B中示出的中继装置30的传送/接收部件31，并且所述传送/接收部件31经由通信网络2进行与例如通信终端10、另一中继装置30、远程通信管理系统50等的另一组设备的各种类型的数据（信息）的传送和接收。通过来自图3中示出的CPU201的指令实现状态检测部件32，并且所述状态检测部件32检测具有该状态检测部件32的中继装置30的操作状态。操作状态可以是“在线”、“离线”、或“失败”的状态。

通过来自图3中示出的CPU201的指令实现的数据质量确定部件33，所述数据质量确定部件33使用目的地终端10B的IP地址作为搜索关键字来搜索改变质量管理DB3001（参见图7），提取要中继的对应的图像数据的图像质量，从而识别要中继的图像数据的图像质量。通过来自CPU201的指令实现改变质量管理部件34，并且所述改变质量管理部件34基于从远程通信管理系统50发送的质量信息（稍后描述）来改变改变质量管理DB3001的内容。例如，将假设这样的情况，其中正在具有终端ID“01aa”的请求源终端（10aa）和具有终端ID“01db”的目的地终端（10db）之间进行其中相互传送高图像质量的图像数据的TV会议，并且例如，因为另一请求源终端（10db）和另一目的地终端（10ca）已使用同一通信网络2开始了另一TV会议，接收图像数据中的延迟发生在目的地终端（10db）中。在这种情况下，中继装置30需要将通过中继装置30本身中继的图像数据的图像质量从高图像质量降低到中等图像质量。在这种情况下，基于指示该中等图像质量的质量信息，改变改变质量管理DB3001的内容使得将中继装置30正在中继的图像数据的图像质量从高图像质量降低到中等图像质量。

通过来自CPU201的指令实现数据质量改变部件35，并且所述数据质量改变部件35基于如上述改变的改变质量管理DB3001的内容改变从传送源终端10发送的图像数据的图像质量。由图3中示出的HDD205实现存储/读取处理部件39，并且所述存储/读取处理部件39进行在存储部件3000中记录各种类型的数据并读取在存储部件3000中存储的各种类型的数据的处理。

<远程通信管理系统的功能配置>

然后，将描述远程通信管理系统的功能或功能部件。远程通信管理系统50包括传送/接收部件51、终端认证部件52、状态管理部件53、终端提取部件54、终端状态获得部件55、缩窄部件56、会话管理部件57、质量确定部件58、存储/读取处理部件59和延迟时间管理部件60。这些部件与作为图3中示出的相应的元件/组件根据由CPU201给出的指令操作的结果而实现的功能或功能部件对应，所述CPU201根据在ROM202中存储的用于远程通信管理的程序操作。此外，远程通信管理系统50具有包括图3中示出的HD204的存储部件5000。

（中继装置管理表）

在存储部件5000中，存储包括例如图8中示出的中继装置管理表的中继装置管理表的中继装置管理DB5001。在中继装置管理表中，对于中继装置30中的每一个的中继装置ID，中继装置30的操作状态、已由远程通信管理系统50接收到指示操作状态的状态信息的接收日期和时间、中继装置30的IP地址以及中继装置30中的最大数据传输速率（Mbps）彼此关联并被管理。例如，在图8中示出的中继装置管理表中，指示具有中继装置ID“111a”的中继装置30a具有“在线”的操作状态，在远程通信管理系统50中接收状态信息的日期和时间是“2009年11月10日13:00”，中继装置30a的IP地址是“1.2.1.2”，以及中继装置30a中的最大数据传输速率是100Mbps。

（终端认证管理表）

此外，在存储部件5000中，存储包括例如图9中示出的终端认证管理表的终端认证管理表的终端认证管理DB5002。在终端认证管理表中，相应的密码与由远程通信管理系统50管理的所有通信终端10的终端ID相关联并被管理。例如，在图9中示出的终端认证管理表中，指示终端10aa的终端ID是“01aa”，并且密码是“aaaa”。

（终端管理表）

此外，在存储部件5000中，存储包括例如图10中示出的终端管理表的终端管理表的终端管理DB5003。在终端管理表中，对于通信终端10中的每一个的终端ID，通信终端10的操作状态、由远程通信管理系统50接收登录请求信息（稍后描述）的接收日期和时间以及通信终端10的IP地址彼此相关联并被管理。例如，在图10中示出的终端管理表中，指示具有终端ID“01aa”的通信终端10aa具有操作状态“在线”、在远程通信管理系统50中接收登录请求信息的接收日期和时间是“2009年11月10日13:40”，以及通信终端10aa的IP地址是“1.2.1.3”。

（目的地列表管理表）

此外，在存储部件5000中，存储包括例如图11中示出的目的地列表管理表的目的地列表管理表的目的地列表管理DB5004。在目的地列表管理表中，对于请求开始TV会议的请求源终端10A的终端ID，关联并管理登记为目的地终端10B的候选者的目的地终端10B的所有终端ID。例如，在图11中示出的目的地列表管理表中，指示请求源终端（10aa）可以请求开始TV会议的目的地终端10B的候选者是三个，即，具有终端ID“01ab”的通信终端10ab、具有终端ID“01ba”的通信终端10ba以及具有终端ID“01db”的通信终端10db。作为根据从任何请求源终端10A向远程通信管理系统50的增加或删除请求的增加或删除的结果，更新目的地终端10B的候选者。

（会话管理表）

此外，在存储部件5000中，存储包括例如图12中示出的会话管理表的会话管理表的会话管理DB5005。在会话管理表中，对于用于进行用于选择中继装置30的会话（选择会话）的选择会话ID中的每一个，中继装置30（用于中继图像数据、语音数据、和显示数据）的中继装置ID、请求源终端10A的终端ID、目的地终端10B的终端ID、（当在目的地终端10B接收图像数据时的接收的）延迟时间（ms）、以及（已从目的地终端10B传送并由远程通信管理系统50接收指示延迟时间的延迟信息的）接收日期和时间彼此关联并被管理。例如，在图12中示出的会话管理表中，指示通过使用选择会话ID“se1”执行的会话选择的中继装置30a（中继装置ID“111a”）正在终端ID“01aa”的请求源终端（10aa）和终端ID“01db”的目的地终端（10db）之间中继图像数据和语音数据，并且在目的地终端（终端10db）在时间“2009年11月10日14:00”的图像数据的延迟时间是200ms。注意，在两个通信终端10之间进行TV会议的情况下，可以基于从请求源终端10A而非上述目的地终端10B发送的延迟信息来管理延迟信息的接收日期和时间。然而，在三个或更多通信终端10之间进行TV会议的情况下，基于从正在接收图像数据、语音数据和显示数据的通信终端发送的延迟信息来管理延迟信息的接收日期和时间。

（地址优先级管理表）

此外，在存储部件5000中，存储包括例如图13中示出的地址优先级管理表的地址优先级管理表的优先级管理DB5006。在地址优先级管理表中，以这种方式关联根据普通IPv4的IP地址的点地址中包括的四个值中的区别与地址优先级的点数，使得随着相同的点地址的数量变大，地址优先级的点数变高。例如，在图13中示出的地址优先级管理表中，在IP地址从最高阶到最低阶具有彼此相同的三个点地址的值的情况下（即，图13中“相同.相同.相同.不同”）(在第一行上)，地址优先级的点数是“5”。在IP地址从最高阶到最低阶具有彼此相同的两个点地址的值的情况下（即，“相同.相同.不同.-”）（在第二行上），地址优先级的点数是“3”。在这种情况下，最低阶处的值是否相同或不同与优先级无关。在IP地址在最高阶的点地址的值相同并且第二阶的值不同的情况下（即，“相同.不同.-.-”）（在第三行上），地址优先级的点数是“1”。在这种情况下，在从最高阶起第三和最后阶的值是否相同或不同与优先级无关。在IP地址在最高阶的点地址的值不同的情况下（即，“不同.-.-.-”）（在最后一行上），地址优先级的点数是“0”。在这种情况下，在从最高阶起第二、第三和最后阶的值是否相同或不同与优先级无关。

（传输速率优先级管理表）

此外，在存储部件5000中存储的优先级管理DB5006中，还包括例如图14中示出的传输速率管理表的传输速率管理表。在传输速率优先级管理表中，中继装置30中的最大数据传输速率（Mbps）以这样的方式与优先级的点数相关联，使得随着最大传输速率更大，传输速率优先级的点数变得更高。例如，在图14中示出的传输速率优先级管理表中，在中继装置30中的最大传输速率等于1000Mbps或更大的情况下（在第一行上），传输速率优先级的点数是“5”。在中继装置30中的最大传输速率等于大于100Mbps并小于1000Mbps的情况下（在第二行上），传输速率优先级的点数是“3”。在中继装置30中的最大传输速率等于大于10Mbps并小于100Mbps的情况下（在第三行上），传输速率优先级的点数是“1”。在中继装置30中的最大传输速率小于10Mbps的情况下（在最后一行上），传输速率优先级的点数是“0”。

（质量管理表）

此外，在存储部件5000中，存储包括例如图15中示出的质量管理表的质量管理表的质量管理DB5007。在质量管理表中，将通过中继装置30中继的图像数据的图像质量（图像的质量）与请求源终端10A或目的地终端10B中的图像数据的延迟时间（ms）相关联并被管理。注意，如图15中所示，在延迟时间大于“500ms”的情况下，由于延迟太多，考虑中断（“INTERRUPTION”）通信。

（远程通信管理系统的详细功能配置）

然后，将详细描述远程通信管理系统50的部件/组件中的每一个的功能配置。注意，下面连同描述远程通信管理系统50的功能配置一起，还将描述用于实现远程通信管理系统50的功能配置的来自图3中示出的元件/组件中的主要元件/组件的关系。

由图3中示出的网络I/F209实现传送/接收部件51，并且所述传送/接收部件51经由通信网络2进行与例如通信终端10、中继装置30等的另一组设备的各种类型的数据（信息）的传送和接收。终端认证部件52使用经由传送/接收部件51接收的登录请求信息中包括的终端ID和密码作为搜索关键字来搜索存储部件5000的终端认证管理DB5002，并且通过确定是否在终端认证管理DB5002中管理同一组终端ID和密码来进行通信终端10的认证。为了管理请求登录的请求源终端10A的操作状态的目的，状态管理部件53以将终端管理表（参见图10）中的请求源终端10A的终端ID、请求源终端10A的操作状态、在远程通信管理系统50中接收到登录请求信息的接收日期和时间以及请求源终端10A的IP地址彼此关联的方式存储它们，并管理它们。

终端提取部件54使用请求登录的请求源终端10A的终端ID作为搜索关键字来搜索目的地列表管理表（参见图11），读取终端ID作为可以与请求源终端10A进行远程通信的目的地终端10B的候选者，并且提取所述终端ID。此外，终端提取部件54使用请求登录的请求源终端10A的终端ID作为搜索关键字来搜索目的地列表管理表，并且还提取其他请求源终端10A的终端ID，所述其他请求源终端10A中的每一个已将请求源终端10A的终端ID登记为目的地终端10B的候选者。

终端状态获得部件55使用由终端提取部件54提取的目的地终端10B的候选者的终端ID作为搜索关键字来搜索终端管理DB5003（参见图10），并且读取由终端提取部件54提取的终端ID中的每一个的操作状态。因此，终端状态获得部件55可以获得可以与已请求登录的请求源终端10A进行远程通信的目的地终端10B的候选者的操作状态。此外，终端状态获得部件55使用已请求登录的请求源终端的终端ID搜索终端管理表（参见图10），并且获得已请求登录的请求源终端10A的操作状态。

为了协助最终缩窄多个中继装置30以选择单个中继装置30的最终缩窄处理的目的，以及为了在最终缩窄处理之前进行初级缩窄处理，缩窄部件56具有选择会话ID生成部件56a、终端ID获得部件56b、初级选择部件56c和优先级确定部件56d。其中，选择会话ID生成部件56a生成用于进行用于选择中继装置30的会话（选择会话）的选择会话ID。终端ID获得部件56b根据从请求源终端10A发送的开始请求信息基于请求源终端10A的终端ID和目的地终端10B的终端ID搜索终端管理表（参见图10），并提取相应的通信终端10的对应的IP地址。初级选择部件56c从在中继装置管理表（参见图8）中管理的中继装置30中选择具有操作状态“在线”的中继装置的中继装置ID，从而选择中继装置30（第一选择）。

此外，基于由终端ID获得部件56b获得的请求源终端10A的终端ID和目的地终端10B的终端ID，初级选择部件56c搜索中继装置管理表（参见图8），从而确定对于这样选择（在上述第一选择中）的中继装置30的IP地址的点地址中的每一个，上述请求源终端10A和目的地终端10B的IP地址的点地址中的每一个的相对应的值是否相同。此外，初级选择部件56c通过分别在根据分别加和地址优先级的点数和传输速率优先级的点数获得的总点数中选择具有最高和次最高优先级点数的前两个中继装置30来进一步选择中继装置30（第二选择）。注意，用于结合的地址优先级的点数中的每一个是相对于对应的通信终端10更高的点数。

注意，根据本实施例，如上面提及（在第二选择中）选择具有最高和次最高点数的前两个中继装置30。然而，这个方式不受限制，并且当将从缩窄中选择（在第二选择中）更多的中继装置30时，还可以选择具有最高、次最高、和第三最高点数或更多的前三个或更多中继装置30。

对于中继装置30中的每一个（对于其初级选择部件56c已确定对于这样选择的中继装置30的IP地址的点地址，上述请求源终端10A和目的地终端10B的IP地址的点地址的相应的值是否相同），优先级确定部件56d读取地址优先级管理表（参见图13）并确定上述地址优先级的点数（要用于上述第二选择）。此外，优先级确定部件56d基于在中继装置管理表（参见图8）中管理的中继装置30中的每一个的最大数据传输速率来搜索传输速率优先级管理表（参见图14），并且对于由初级选择部件56d选择（在上述第一选择中）的中继装置30中的每一个，确定上述传输速率优先级的点数（要用于上述第二选择）。

会话管理部件57以由选择会话ID生成部件56a生成的选择会话ID、请求源终端10A的终端ID和目的地终端10B的终端ID彼此关联的方式在存储部件5000的会话管理表（参见图12）中存储它们，并且管理它们。此外，对于选择会话ID中的每一个，会话管理部件57存储通过会话管理表（参见图12）中的通信终端10的选择处理部件16最终缩窄为一个的中继装置30的中继装置ID，并管理它们。

质量确定部件58使用上述延迟时间作为搜索关键字来搜索质量管理表（参见图15），提取对应的图像数据的图像质量，并且确定要通过中继装置30中继的图像数据的图像质量。由图3中示出的HDD205实现存储/读取处理部件59，所述存储/读取处理部件59在存储部件5000中存储各种类型的数据，并读取存储在存储部件5000中的各种类型的数据。延迟时间管理部件60使用上述目的地终端10B的IP地址来搜索终端管理表（参见图10），提取对应的终端ID，并在会话管理表（参见图12）中进一步存储由在包括这样提取的终端ID的记录中的延迟时间的字段处的上述延迟信息指示的延迟时间，并且管理它。

【显示数据的显示控制】

下面，将详细描述根据本实施例的显示数据的显示控制。

（布置信息管理表）

图16示出布置信息管理表23的一个示例。在布置信息管理表23中，登记用于管理显示数据的布置的信息。“布置信息号”是用于识别记录的标识信息。“布置信息”是指示如何在显示设备100上布置视频数据和显示数据的信息。布置信息包括“VIEW_MULTI（查看_多个）”和“SHARED_MULTI（共享_多个）”。虽然稍后将完整描述，“VIEW_MULTI”指的是仅显示视频数据，并且“SHARED_MULTI”指的是以混合的方式显示视频数据和显示数据。

由布置信息选择部件21基于递送事件通过读取图20的事件标记表24来确定“共享标记”。通过“共享标记”，唯一地确定“布置信息号”。接收显示数据的通信终端10存在两种状态，如下：

—与外部输入装置40连接的通信终端10正在从这个外部输入装置40接收显示数据的状态；以及

—通信终端10正在从与另一通信终端10连接的外部输入装置40接收显示数据的状态。

根据本实施例，这两个状态中的任何一个被称为“共享”。此外，通信终端10完全没有接收到显示数据的状态被称为“未共享”。根据布置信息管理表23，当通信终端10的共享标记是“共享”时，选择布置信息号2的“SHARED_MULTI”的布置信息，当通信终端10的共享标记是“未共享”时，选择布置信息号1的“VIEW_MULTI”的布置信息。

注意，共享标记和多组布置信息之间的对应关系是一个示例，并且在极端情况下，反向对应关系可以是可能的。此外，还可以将上述接收显示数据的通信终端10的两个状态分别称为“共享1”和“共享2”，并将它们分别与不同组的布置信息相关联，而非将这两个接收状态这样称为相同的“共享”。可以由通信终端的相应的参加者进行布置信息表23的设置。

图17是划分显示设备100的屏幕的一个示例以及示出从划分获得的四个区域1、2、3和4的视图的一个示例。在图17中示出的区域1到4中，可以显示不同组的视频数据和显示数据，从而在这个示例中可以显示最多四组视频数据和显示数据。在图17的示例中，向区域1分配比其他区域2到4更宽的面积。“布置信息”被用来从区域1到4中确定在哪个区域显示视频数据以及在哪个区域显示显示数据。

图18是示出布置信息和要分配到相应的区域1到4的视频数据或显示数据之间的关系的一个示例的视图。如图18中所示，

在布置信息=“VIEW_MULTI”的情况下，在区域1显示视频数据1；在区域2显示视频数据2；……，从而，在区域1到4显示相应组的视频数据；以及

在布置信息=“SHARED_MULTI”的情况下，在区域1显示显示数据；在区域2显示视频数据1；在区域3显示视频数据2；……

现在将更详细地描述布置信息。

—在“VIEW_MULTI”的情况下：

布置信息指示顺次从区域1分配相应组的视频数据直到每个通信终端接收的视频数据组的数量为止的布置。例如，在两个通信终端连接到远程通信系统1的情况下，分别在区域1和2显示两组视频数据，并且在区域3和4没有显示任何内容。在区域1，通信终端10显示当前关注的参加者的视频数据，从而，由通信终端10的拍摄部件14a拍摄的视频数据是当前正在说话的参加者的视频数据。为了确定要在区域1显示的视频数据，在每个通信终端10的语音输入部件15a已基于语音电平检测到说话的情况下，显示数据控制部件22向中继装置30传递对应的通信终端10的终端ID。中继装置30以广播的方式向相应的通信终端10递送所述终端ID，从而，相应的通信终端10可以确定要在区域1显示的（参加者的）视频数据。注意，显示数据控制部件22可以向远程通信管理系统50而非中继装置30传递对应的通信终端10的终端ID。此外，在区域2，显示除了当前正在说话的参加者以外的其他参加者的视频数据。

—在“SHARED_MULTI”的情况下

布置信息指示在区域1显示显示数据并且向其他区域2到4分配相应组的视频数据的布置。在两个通信终端1和2连接到远程通信网络1的情况下，在区域2和3显示相应通信终端10（=1和2）的相应组的视频数据，并且在区域4没有显示任何内容。

布置信息选择部件21根据用于确定是否正在从与自己的通信终端10连接的外部输入装置40接收显示数据以及是否正在从另一通信终端10接收显示数据的递送事件将自己的通信终端10的共享标记设置为“共享”或“未共享”。设置为“共享”指的是“1”或“开”来代替共享标记的值。设置为“未共享”指的是“0”或“关”来代替共享标记的值。

当布置信息选择部件21如上所述更新共享标记时，布置信息选择部件21使用更新后的共享标记读取布置信息管理表23，并基于读取结果控制图像显示控制部件14b以改变向区域1到4的视频数据和显示数据的分配。

图19是选择布置信息的布置信息选择部件21的状态转换图的一个示例。初始状态是布置信息号1或布置信息号2取决于是否已向处于紧接在启动后的状态中的自己的通信终端10传送显示数据。如图19中所示，在设置布置信息号1的状态中布置信息选择部件21在共享标记中设置“共享”的情况下，布置信息选择部件21选择布置信息号2。在设置布置信息号2的状态中布置信息选择部件21在共享标记中设置“未共享”的情况下，布置信息选择部件21选择布置信息号1。在设置布置信息号1的状态中布置信息选择部件21在共享标记中设置“未共享”的情况下，布置信息选择部件21照原样地选择布置信息号1。在设置布置信息号2的状态中布置信息选择部件21在共享标记中设置“共享”的情况下，布置信息选择部件21照原样地选择布置信息号2。

（显示控制标记）

由通信终端10使用显示控制标记来控制要由外部输入装置40在外部输入装置40的显示设备400上显示的菜单等的显示。图20示出从中继装置30传送的递送事件、由布置信息选择部件21根据递送事件设置的共享标记和由显示数据控制部件22确定的显示控制标记之间的对应关系的一个示例（事件标记表24）。

递送事件包括“递送开始事件”、“从另一递送开始事件”、“递送停止事件”、和“从另一递送停止事件”。与前两个递送事件对应的共享标记是与接收显示数据的通信终端10的递送事件对应的“共享”。与后两个递送事件对应的共享标记是与未接收显示数据的通信终端10的递送事件对应的“未共享”。

此外，与“递送开始标记”对应的显示控制标记是“共享”；与“从另一递送开始标记”对应的显示控制标记是“共享_另一（shared_another）”；并且与“递送停止标记”和“从另一递送结束标记”对应的显示控制标记是“未共享”。下面将进一步详细描述显示控制标记。当从通信终端10接收显示控制标记时，外部输入装置40的菜单控制部件44改变要在显示设备400上显示的菜单。

图21A是示意性地示出转换条件表431的一个示例的视图的一个示例。处于紧接在启动后的状态中的显示设备400假设通信终端10没有共享显示数据而显示“开始共享”。“开始共享”是用来开始外部输入装置40与除了与所述外部输入装置40连接的通信终端以外的通信终端10的显示数据的共享的菜单，具体地，是用于接收参加者的操作的“开始共享”按钮（在下文中，“开始共享”和“开始共享”按钮将不被严格地用作不同的东西）。

当外部输入装置40在显示“开始共享”的同时接收显示控制标记“共享”时，菜单控制部件44显示用于停止共享显示数据的“停止共享”。“停止共享”是用于停止与不与外部输入装置40直接连接的通信终端10共享由外部输入装置40显示的显示数据的菜单，具体地，是用于接收参加者的操作的“停止共享”按钮（在下文中，“停止共享”和“停止共享”按钮将不被严格地用作不同的东西）。

当外部输入装置40在显示“停止共享”的同时接收除了显示控制标记“共享”以外的显示控制标记（“未共享”或“未共享_另一（unshared_another）”）时，菜单控制部件44显示“开始共享”使得可以开始共享显示数据。

注意，如图21A中所示，在外部输入装置40在显示“开始共享”的同时接收到除了显示控制标记“共享”以外的显示控制标记的情况下，菜单保持不变。在外部输入装置40在显示“停止共享”的同时接收到显示控制标记“共享”的情况下，菜单保持不变。

如上参考图20和图21A所述，作为将共享标记和显示控制标记与递送事件这样关联的结果，可以根据在通信终端10的显示设备100上显示的显示数据和视频数据的显示状态来确定外部输入装置40的显示设备400的显示状态（即，菜单）。

如稍后将参考图28A到图28D描述的，虽然在外部输入装置40的显示设备400上正在显示菜单（401），菜单控制部件44根据显示控制标记显示共享状态（402）。图21B示出显示控制标记和共享状态之间的对应关系的一个示例。在存储部件43中与转换状态表431一起存储该对应关系。

在外部输入装置40的屏幕上的消息域中显示“共享状态”，从而，参加者可以理解通信终端10的“当前共享状态”。“共享状态”包括下列状态：

—（a）通信终端10没有共享显示数据（未共享）；

—（b）通信终端10正在共享由与自己的终端连接的外部输入装置40显示的显示数据（共享）；以及

—（c）通信终端10正在共享由与另一通信终端10连接的外部输入装置40显示的显示数据（共享_另一）。

【操作过程】

图22示出在通信终端之间建立会话的处理的流程图的一个示例。当参加者按下通信终端1（通信终端10）的图2中示出的操作按钮108并选择另一通信终端2（通信终端10）时，图4B中示出的操作输入重复部件12接收开始与其他通信终端2远程通信的请求。

在步骤S1中，通信终端1的传送/接收部件11向远程通信管理系统50传送开始请求信息。开始请求信息包括请求源通信终端1的终端ID“01aa”和目的地通信终端2的终端ID“01db”。远程通信管理系统50的传送/接收部件51接收开始请求信息并了解传送源通信终端1的IP地址“1.2.1.3”。

在步骤S2中，远程通信管理系统50的终端IP地址提取部件56b基于在从请求源通信终端1传送的开始请求信息中包括的请求源通信终端1的终端ID和目的地通信终端2的终端ID来搜索终端管理DB（参见图10），从而提取相应的通信终端1和2的IP地址。

在步骤S3中，远程通信管理系统50的传送/接收部件51经由通信网络2向中继装置30传送指示开始中继的请求的中继开始请求信息。中继开始请求信息包括将对于其进行中继的请求源通信终端1和目的地通信终端2的相应的IP地址（“1.2.1.3”和“1.3.2.4”）。因此，中继装置30可以建立用于低分辨率、中等分辨率和高分辨率的三组图像数据以及语音数据的用于在通信终端1和2之间进行远程通信的会话。因此，通信终端1和2可以开始TV会议。

在步骤S4中，中继装置30建立用于图像数据和语音数据的用于在通信终端1和2之间进行远程通信的会话。具体地，通信终端1获得中继装置30和通信终端2的IP地址，并且通信终端2获得中继装置30和通信终端1的IP地址。

在步骤S5中，通信终端1的传送/接收部件11向外部输入装置40传送会话建立事件。会话建立事件是用于通知已在通信终端之间建立会话的信息。

图23是示出在通信终端10之间传送图像数据和语音数据的处理的序列图的一个示例。参考图23，现在将描述传送图像数据和语音数据以在通信终端10中的两个终端（即，通信终端1和通信终端2）之间进行TV会议的处理。

首先，通信终端1经由通信网络2从传送/接收部件11向中继装置30传送由拍摄部件14a拍摄的对象的图像数据和由语音输入部件15a输入的语音的语音数据（步骤S81）。注意，根据本实施例，传送包括低分辨率、中等分辨率和高分辨率的高图像质量的图像数据以及语音数据。因此，中继装置30从传送/接收部件31接收三个分辨率的图像数据和语音数据。然后，数据质量确定部件33使用通信终端2的IP地址“1.3.2.4”来搜索改变质量管理表（参见图7），提取要中继的图像数据的对应的图像质量，从而，识别要中继的图像数据的图像质量（步骤S82）。在这种情况下，确定的图像数据的图像质量是“高图像质量”，并且其与由传送/接收部件31接收的图像数据的图像质量相同。因此，中继装置30向通信终端2照原样传递所述图像质量的图像数据并照原样传递所述语音质量的语音数据（步骤S83）。因此，通信终端2通过传送/接收部件11接收图像数据和语音数据，图像显示控制部件14b可以基于所接收的图像数据在显示设备100上显示图像，并且语音输出部件15b可以基于所接收的语音数据输出语音。

注意，虽然未示出，当改变了图像数据的图像的质量时或在不考虑是否改变了图像数据的图像的质量的情况下，中继装置30可以将图像数据返回到通信终端1。因此，可以使得由通信终端1在显示设备100上显示的视频的质量与其他通信终端2的质量相同。

然后，通信终端2的延迟检测部件17以特定的时间间隔（例如，每秒一次）检测由传送/接收部件11接收的图像数据的接收的延迟时间（步骤S84）。注意，例如，下面将对这样检测到的延迟时间是200ms的情况进行描述。例如，可以通过附加到图像数据的指示从通信终端1传送图像数据的传送日期和时间的信息，并且通过通信终端2使用附加到所接收的图像数据的指示传送日期和时间的信息以及由通信终端2接收到所接收的图像数据的接收日期和时间，基于所接收的图像数据的传送和接收之间的区别计算延迟时间，来进行图像数据的接收中的延迟时间的检测。

通信终端2的传送/接收部件11经由通信网络2向远程通信管理系统50传送指示延迟时间“200ms”的延迟信息（步骤S85）。

因此，远程通信管理系统50可以确定延迟时间并且还确定作为延迟信息的传送源的通信终端2的IP地址“1.3.2.4”。

然后，远程通信管理系统50的延迟时间管理部件60使用上述通信终端2的IP地址“1.3.2.4”作为搜索关键字来搜索终端管理表（参见图10），提取对应的终端ID“01db”，在会话管理DB5005的会话管理表（参见图12）中上述终端ID“01db”的记录上的延迟时间的字段区域处存储由上述延迟信息指示的延迟时间“200ms”（步骤S86）。

然后，质量确定部件58使用上述延迟时间“200ms”作为搜索关键字搜索质量管理表（参见图15），提取图像数据的对应的图像质量“中等图像质量”，从而确定图像质量是“中等图像质量”（步骤S87）。

然后，传送/接收部件51从会话管理表（参见图12）获得与上述终端ID“01db”相关联的中继装置ID“111a”，使用中继装置ID“111a”作为搜索关键字来搜索中继装置管理表（参见图8），并且提取对应的中继装置30的IP地址“1.2.1.2”（步骤S88）。然后，传送/接收部件51经由通信网络2向中继装置30传送指示在步骤S87中确定的图像质量“中等图像质量”的质量信息（步骤S89）。质量信息包括在步骤S86中用作搜索关键字的通信终端2的IP地址“1.3.2.4”。因此，中继装置30中的改变质量管理部件34在改变质量管理表（参见图7）中以将作为传送目的地的通信终端10（在这里，通信终端2）的IP地址“1.3.2.4”和要中继的图像数据的图像质量“中等图像质量”彼此关联的方式存储它们，并管理它们（步骤S90）。

然后，通信终端1向中继装置30连续传送包括低分辨率、中等分辨率、和高分辨率这三个分辨率的高图像质量的图像数据和语音数据（步骤S91）。因此，与上述步骤S82相同，中继装置30的数据质量确定部件33使用通信终端2的IP地址“1.3.2.4”作为搜索关键字来搜索改变质量管理表（参见图7），提取要中继的对应的图像质量“中等图像质量”，从而确定要中继的图像数据的图像的质量（步骤S92）。在这种情况下，这样识别的要中继的图像数据的图像质量是低于由传送/接收部件31接收的图像数据的图像质量“高图像质量”的“中等图像质量”。因此，图像质量改变部件35将图像数据的图像质量从“高图像质量”降低到“中等图像质量”，从而改变图像数据的图像的质量（步骤S93）。然后，传送/接收部件31经由通信网络2向通信终端2传送对于其图像质量已被这样改变为“中等图像质量”的图像数据和对于其不改变语音质量的语音数据（步骤S94）。因此，在接收中的延迟发生在接收图像数据的通信终端2中的情况下，中继装置30改变（降低）图像的质量以便减少延迟，从而，可以防止参加TV会议的人感觉不对。

<显示数据的传送>

图24A是从外部输入装置40向通信终端10传送显示数据的过程的流程图的一个示例。

当外部输入装置40和通信终端10连接到一起时，外部输入装置40的连接检测部件42检测到已与通信终端10连接（步骤S10）。例如，作为外部装置I/F215检测到电压或信号的结果，连接检测部件42从而检测到与通信终端10的数据传输已变得可能。

连接检测部件42使得显示设备400显示菜单以用于接收用于显示数据的“开始共享”的参加者的操作，并且当参加者按下在显示设备400上显示的对应的菜单时，操作输入接收部件46接收用于显示数据的“开始共享”的参加者的操作（步骤S20）。

当操作输入接收部件46这样接收到用于显示数据的“开始共享”的参加者的操作时，显示数据获得部件451为了传送显示数据的目的获得显示数据（步骤S30）。显示数据是要用于TV会议的图像数据，并且可以改变。因此，显示数据获得部件451周期性地（例如，每秒一次）获得显示数据，或当检测到显示设备400的屏幕上的图像数据改变时获得显示数据。

当显示数据获得部件451这样获得显示数据时，显示数据传送部件452经由通信终端1向通信终端2传送由显示数据获得部件451获得的显示数据（步骤S40）。

存在与参加TV会议（例如，在目的地列表管理表中登记）的相应的通信终端10连接的外部输入装置40中的任何一个传送显示数据的可能性，并且外部输入装置40中的任何一个可以以例如上述过程的过程传送显示数据。

图24B是从外部输入装置40向通信终端10传送显示数据的过程的另一示例。在图24B的示例中，外部输入装置40在确定与目的地通信终端2已建立会话之后向目的地通信终端2传送显示数据。

当外部输入装置40和通信终端10连接到一起时，外部输入装置40的连接检测部件42检测到已与通信终端10连接（步骤S10）。例如，作为外部装置I/F215检测到电压或信号的结果，连接检测部件42从而检测到与通信终端10的数据传送变得可能。

当连接检测部件42从而检测到已与通信终端10连接时，外部输入装置40的菜单控制部件44在显示设备400上显示图28A中示出的屏幕页面（步骤S12）。图28A到图28D示出由外部输入装置40显示的屏幕页面的示例。如图28A中所示，在菜单401处没有显示字符/字母（文本），并且在菜单402处显示消息“没有会议进行”（意味着“没有会议正在进行”）。这个消息指示还没有建立会话。因此，参加者可以确定没有会议正在进行。

菜单控制部件44确定是否已经从通信终端1接收到会话建立事件通知（步骤S14）。会话建立事件与图22中的步骤S5对应，并且当检测到在通信终端1和2之间已建立会话时从通信终端10向外部输入装置40发送所述会话建立事件。

在没有接收到会话建立事件通知的情况下（步骤S14为否），外部输入装置40维持图28A的屏幕页面。

在接收到会话建立事件通知的情况下（步骤S14为是），外部输入装置40的菜单控制部件44显示图28B的屏幕页面。

在图28B的屏幕页面上，“开始共享”按钮显示为菜单401，并且消息“未共享”（意味着“没有共享正在进行”）显示为共享状态402。图28B的屏幕页面在菜单402指示没有共享正在进行，并且还在菜单401指示开始共享的用户的操作输入是可能的。作为参加者按下触摸板的结果可以直接按下“开始共享”按钮，或作为参加者操作键盘211或鼠标212的结果可以按下“开始共享”按钮（参见图3）。

当操作输入接收部件46接收开始共享的用户的操作时，显示数据获得部件45a为了传送显示数据的目的获得显示设备400的显示数据（步骤S30）。显示数据是要用于TV会议的图像数据，并且可以改变。因此，显示数据获得部件451周期性地（例如，每秒一次）获得显示数据，或当检测到在显示设备400的屏幕上显示的图像数据改变时获得显示数据。

当显示数据获得部件451这样获得显示数据时，显示数据传送部件452经由通信终端1向通信终端2传送由显示数据获得部件451获得的显示数据（步骤S40）。

注意，在其中已建立会话的外部输入装置40与通信终端10连接的情况下，紧接在所述连接之后向外部输入装置40发送会话建立事件通知。因此，跳过图28A的屏幕页面，并且显示图28B的屏幕页面。

图25是传送在通信终端1拍摄的视频数据、在通信终端1拍摄的视频数据和分别从与通信终端1和2连接的外部输入装置1和2传送的显示数据的序列图的一个示例。注意，虽然省略了语音数据，但是语音数据与视频数据一起传送。

在步骤S101中，由图像显示控制部件14b首先经由传送/接收部件11向中继装置30传送正在通信终端1拍摄的视频数据。

在步骤S101-1和S101-2中，当中继装置30的传送/接收部件31接收视频数据时，在可以进行改变视频数据的质量的处理之后，传送/接收部件31向相应的通信终端1和2传送视频数据。

在步骤S102中，以同样的方式，首先向中继装置30传送正在通信终端2拍摄的视频数据。

在步骤S102-1和S102-2中，在中继装置30中，在可以进行改变视频数据的质量的处理之后，传送/接收部件31向相应的通信终端1和2传送视频数据。

在步骤S103中，在从外部输入装置1（外部输入装置40）传送显示数据的情况下，从外部输入装置1的显示数据传送部件452经由传送/接收部件41向通信终端1传送显示数据（这个处理与图24中的步骤S40的处理对应）。

在步骤S103-1中，与视频数据相同，首先向中继装置30传送由通信终端1的外部信息传送/接收部件18接收的显示数据。

在步骤S103-1-1和S103-1-2中，中继装置30向相应的通信终端1和2传送显示数据。

在步骤S104中，同样在从外部输入装置2（外部输入装置40）传送显示数据的情况下，从外部输入装置2的显示数据传送部件452经由传送/接收部件41向通信终端2传送显示数据。

在步骤S104-1中，与视频数据相同，首先向中继装置30传送由通信终端2的外部信息传送/接收部件18接收的显示数据。

在步骤S104-1-1和S104-1-2中，中继装置30向相应的通信终端1和2传送显示数据。

注意，中继装置30可以是固定的中继装置或从多个中继装置30中选择的中继装置。此外，在图25中，为了简化描述的目的，通信终端的数量是2。然而，同样在等于或大于三个通信终端的情况下，可以以类似的过程进行传送。此外，外部输入装置1还可以与通信终端2连接，并且外部输入装置1可以经由通信终端2传送显示数据。

因此，在根据本实施例的远程通信系统1中，经由通信终端10传送外部输入装置40的显示数据。因此，可以仅通过使用已用于视频数据的普通网络基本技术向另一通信终端10传送显示数据。

此外，当从外部输入装置40中的任何一个传送显示数据时，由于经由中继装置40传送显示数据，相应的通信终端10的延迟时间可以大致相同。因此，当在TV会议期间正在给出说明的人改变材料的页面时，在相应的位置的相应的通信终端处大约同时相应地改变显示内容，从而，不干扰在多个位置间的通信。

<开始显示数据的共享的处理>

图26是示出当在图25的步骤S103和S104中由外部输入装置1和2开始显示数据的传送时的控制过程的序列图的一个示例。

注意，直到通信终端10如上所述接收到显示数据为止，共享标记是“未共享”。因此，在通信终端10的显示设备100的屏幕上，仅显示视频数据。

图27A是示意性地示出直到通信终端10接收到显示数据为止显示设备100的屏幕的状态的一个示例。在共享标记是“未共享”的状态中，布置信息选择部件21根据布置信息管理表23选择布置信息号1。因此，如图27A中所示，在区域1和2显示从中继装置30接收的相应组的视频数据（参见图17）。在上面的布置信息管理表23的描述中描述了布置信息选择部件21在区域1显示自己的通信终端10的视频数据或者显示其他通信终端10的视频数据。然而，可以根据参加者的操作切换布置信息选择部件21在区域1显示自己的通信终端的视频数据或者显示其他通信终端的视频数据。

此外，直到通知通信终端10递送事件为止，显示数据控制部件22没有向外部输入装置40传送显示控制标记或向外部输入装置40传送显示控制标记“未共享”。外部输入装置40的菜单控制部件44在显示设备400上显示与紧接在启动之后显示的屏幕页面相同的屏幕页面，或显示与显示控制标记“未共享”对应的菜单。

图28A到图28D示出由外部输入装置40显示屏幕页面的示例。上面已描述图28A。图28B示出由外部输入装置40显示的菜单401和共享状态402的一个示例。在图28B的屏幕页面上，“开始共享”按钮被显示为菜单401，并且消息“未共享”被显示为共享状态402。可以作为参加者按下触摸板的结果而直接按下“开始共享”按钮，或作为参加者操作如上所述的键盘211或鼠标212的结果而按下“开始共享”按钮

注意，在图28B的屏幕页面上，显示外部输入装置40具有的材料的显示数据，并且除了这个以外，显示状态指示的窗口和另一组材料。在参加者意图与其他通信终端2共享正在由外部输入装置40显示的显示数据的情况下，参加者按下“开始共享”按钮。因此，外部输入装置40开始传送显示数据。

返回图26，在步骤S201中，操作输入接收部件46接收参加者按下由外部输入装置1显示的“开始共享”按钮。这个处理与图24中的步骤S20对应。

在步骤S202中，显示数据传送部件452通知通信终端1“开始共享”，并且开始传送显示数据。这个处理与图24中的步骤S40和图25中的步骤S103和S104对应。

在步骤S202-1中，通信终端1的显示数据控制部件22请求中继装置30开始递送，并且向中继装置30传送显示数据。这个处理与图25中的步骤S103-1对应。

在步骤S203中，中继装置30中的数据质量改变部件35可以改变显示数据的质量，通知通信终端1“递送开始事件”，并开始递送显示数据。这个处理与图25中的步骤S103-1-1、S104-1-1对应。

在步骤S203-1中，当通信终端1的布置信息选择部件21接收到“递送开始事件”时，根据事件标记表24（参见图20）将共享标记设置为“共享”。

在步骤S203-2中，通信终端1的布置信息选择部件21根据布置信息管理表23（参见图16）选择布置信息号2，并向图像显示控制部件14b给出指令以分别向区域1到4分配视频数据和显示数据。

因此，显示设备100的状态从图27A改变为图27B。在图27B中，在区域1显示显示数据，并且在区域2和3显示相应组的视频数据。

在步骤S203-3中，由于在步骤S203中向通信终端1这样通知“递送开始事件”，显示数据控制部件22根据事件标记表24将显示控制标记设置为“共享”，并通知外部输入装置40这个显示控制标记。

在步骤S203-3-1中，根据传送条件表431（参见图21A），外部输入装置40的菜单控制部件44确定是否根据显示控制标记改变菜单401的显示。

在步骤S203-3-2中，由于外部输入装置在如图28B中所示地显示“开始共享”按钮的状态中接收显示控制标记“共享”（由于已建立会话并且已接收会话建立事件通知（参见图24B，步骤S16）），菜单控制部件44将在显示设备400上的菜单401改变为“停止共享”按钮。图28C示出在显示设备400上显示“停止共享”按钮的屏幕页面的示例。

在步骤S203-3-3中，由于菜单控制部件44这样接收到显示控制标记“共享”，菜单控制部件44在如图28C中示出的共享状态402中显示消息“共享这个显示”（意指“正在共享这个显示”）（图26中的“共享”）（同样参见图21B）。

在步骤S204中，中继装置30中的数据质量改变部件35可以改变显示数据的质量，通知通信终端2“从另一递送开始事件”并开始递送显示数据。这个处理与步骤S103-1-2和S104-1-2对应。

在步骤S204-1中，通信终端2的显示数据控制部件22确定在这样接收“从另一递送开始事件”的情况下是否请求中继装置30停止递送。为了在通信终端2已共享所显示的数据的情况下确定要显示相应组的显示数据中的哪一组的目的，这个确定是必须的。稍后将参考图30描述这个确定的具体方法。在这种情况下，由于通信终端2的共享标记是“未共享”（图30中，步骤S420为否），因此通信终端2不请求中继装置30停止递送。

在步骤S204-2中，当由此接收“从另一递送开始事件”时，通信终端2的布置信息选择部件21根据事件标记表24将共享标记设置为“共享”。

在步骤S204-3中，由于这样设置共享标记“共享”，通信终端2的布置信息选择部件21根据布置信息管理表23选择布置信息号2，并向图像显示控制部件14b给出指令以向区域1到4分配视频数据和显示。因此，显示设备100的状态从图24A改变为图27B。

在步骤S204-4中，由于在步骤S204中已这样通知通信终端2“从另一递送开始事件”，显示数据控制部件22根据事件标记表24将显示控制标记设置为“共享_另一（shared_another）”，并通知外部输入装置2该显示控制标记。

在步骤S204-4-1中，外部输入装置2的菜单控制部件44根据图21A的转换条件表43确定是否根据显示控制标记改变菜单401处的显示。由于外部输入装置40在如图28B中所示地显示“开始共享”按钮的状态中已接收显示控制标记“共享_另一”（不同于“共享”）（由于已建立会话并且已接收会话建立事件通知（参见图24B，步骤S16）），菜单控制部件44不改变显示设备400的菜单401。

在步骤S204-4-2中，菜单控制部件44读取显示控制标记并显示“共享另一显示”（意指“正在共享另一显示”）（图26中的“共享_另一”）的共享状态402。

图28D示出在通信终端2正在共享通信终端1的显示数据的情况下在外部输入装置40的显示设备400上显示的屏幕页面的示例。在图28D的屏幕页面上，菜单401是“开始共享”，并且在共享状态402显示“共享另一显示”。

因此，在外部输入装置1，菜单401从“开始共享”按钮改变为“停止共享”按钮，并且共享状态402从“未共享”改变为“共享这个显示”。此外，在外部输入装置2中，菜单401不改变并且共享状态402从“未共享”改变为“共享另一显示”。因此，参加者可以通过操作菜单401进行共享，并且可以通过可视地检查共享状态402一目了然地确定自己的通信终端10是否正在共享与自己的通信终端10连接的外部输入装置40的显示数据。

<共享显示数据的切换>

现在将描述当在图26的处理之后从外部输入装置2传送显示数据时的过程。在通信终端1和2的显示设备100上，分别显示图27B的屏幕页面。在外部输入装置1的显示设备400上显示图28C；并且在外部输入装置2的显示设备400上显示图28D。

图29是示出当外部输入装置2开始传送显示数据时的控制过程的序列图的一个示例。

仅仅除了外部输入装置1替换为外部输入装置2以外，步骤S301到S304与图26的步骤S201到S204相同，因此，将省略步骤S301到S304的描述。

在步骤S304-1中，通信终端1的显示数据控制部件22确定在已通知“从另一递送开始事件”的情况下是否请求中继装置30停止递送。

在步骤S304-2中，如稍后将参考图30所述，由于通信终端1的共享标记是“共享”（图30中，步骤S420为是），显示数据控制部件22请求中继装置30停止递送（图30中，步骤S430）。中继装置30的数据质量改变部件35进行稍后将参考图31描述的处理，并且停止递送显示数据（即，停止图25中的步骤S103-1-1和S103-1-2中传送的显示数据的传送）（图31中，步骤S510）。注意，这时，由于中继装置30在步骤S302-1中已从通信终端2接收到开始递送的请求，从而存在中继装置30正在递送的其他显示数据（图31中，步骤S520为是），中继装置30既不通知“递送停止事件”也不通知“从另一递送停止事件”。

在步骤S304-3中，通信终端1的显示数据控制部件22为了响应于上述“从另一递送开始事件”的目的请求外部输入装置1停止传送显示数据。因此，如稍后将描述的，对于步骤S304-6，可以将要共享的显示数据控制为单组显示数据。通信终端1可以通过通知显示控制标记“共享_另一”来请求外部输入装置1停止传送显示数据。

在步骤S304-3-1中，外部输入装置1的显示数据传送部件452停止传送显示数据。作为所述停止的结果，停止在图25中的步骤S103和S103-1中传送的显示数据的传送。

在步骤S304-4中，由于已接收到“从另一递送开始事件”，通信终端1的布置信息选择部件21根据事件标记表24将共享标记设置为“共享”。

在步骤S304-5中，通信终端1的布置信息选择部件21根据布置信息管理表23选择布置信息号2，并向图像显示控制部件14b给出区域1到4与显示数据和视频数据之间的对应关系的指令。

在步骤S304-6中，由于在步骤S304中已通知通信终端1“从另一递送开始事件”，通信终端1的显示数据控制部件22根据事件标记表24通知外部输入装置1显示控制标记“共享_另一”。

在步骤S304-6-1中，外部输入装置1的菜单控制部件44基于图21A的转换条件表431确定是否改变菜单401处的显示。

在步骤S304-6-2中，由于在菜单控制部件44正在显示“停止共享”的状态中，接收到显示控制标记“共享_另一”的通知，菜单控制部件44使得显示设备400显示“开始共享”按钮。

在步骤S304-6-3中，菜单控制部件44读取显示控制标记“共享_另一”，并在共享状态402使得显示设备400显示消息“共享另一显示”（图29中的“共享_另一”）（参见图21B）。通过步骤S304-6-2和S304-6-3，外部输入装置1的显示设备400变为图28D的显示设备。

在步骤S303-1中，另一方面，当在步骤S303中通信终端2的布置信息选择部件21接收到“递送开始事件”的通知时，布置信息选择部件21根据事件标记表24将共享标记设置为“共享”。

在步骤S303-2中，通信终端2的布置信息选择部件21根据布置信息管理表23选择布置信息号2，并分别向区域1到4分配视频数据和显示数据。由于布置信息选择部件21在图26的步骤S204-3中已选择布置信息号2，因此再次选择布置信息号2。

在步骤S303-3中，由于在步骤S303中已通知通信终端2“递送开始事件”，显示数据控制部件22根据事件标记表24将显示控制标记设置为“共享”，并通知外部输入装置2该显示控制标记。

在步骤S303-3-1中，外部输入装置2的菜单控制部件44基于转换条件表431确定是否根据显示控制标记改变菜单401处的显示。

在步骤S303-3-2中，由于在图28D中示出的状态中，正在显示“开始共享”按钮，外部输入装置1已接收到显示控制标记“共享”，菜单控制部件44将显示设备400的菜单401改变为“停止共享”按钮。

在步骤S303-3-3中，由于菜单控制部件44已接收到显示控制标记“共享”，菜单控制部件44显示消息“共享这个显示”（图29中的“共享”）（参见图21B）作为如图28C中示出的共享状态402。因此，显示设备400的屏幕变为图28C的屏幕。

当这样完成图29的处理时，外部输入装置1的显示设备400变为图28D的显示设备并且外部输入装置2中的显示设备400变为图28C的显示设备。即，在外部输入装置1，菜单401已从“停止共享”改变为“开始共享”，并且共享状态402已从“共享这个显示”改变为“共享另一显示”。此外，在外部输入装置2，菜单401已从“开始共享”改变为“停止共享”，并且共享状态402已从“共享另一显示”变为“共享这个显示”。

如上所述，对于步骤S304-3，由于外部输入装置1响应于由中继装置30通知的“从另一递送开始事件”而停止传送显示数据，可以将由相应的通信终端10显示的显示数据控制为单组显示数据。

<图26中的步骤S204-1和图29中的步骤S304-1中的递送停止请求的确定>

图30是示出确定在通信终端10已接收到“从另一递送开始事件”的情况下是否停止递送的过程的流程图的一个示例。

当通信终端1已接收到“从另一递送开始事件”时，进行这个处理（步骤S410）。

当已接收到“从另一递送开始事件”时，通信终端1的显示数据控制部件22确定共享标记是否设置为“共享”（步骤420）。在共享标记是“共享”的情况下，共享由连接到自己的通信终端1的外部输入装置1或其他外部输入装置2递送的显示数据，从而，在这种状态中通信终端1不能响应于“从另一递送开始事件”。

因此，在共享标记是“共享”的情况下（步骤S420为是），通信终端1的显示数据控制部件22请求中继装置30停止递送（步骤S430）。然后，中继装置30停止向已请求停止递送的通信终端1递送显示数据（图31中，步骤S510）。

<图29中步骤S304-2中的确定>

为了更新通信终端1和2中的共享标记和显示控制标记的目的，响应于由通信终端1请求停止递送（图30中，步骤S430），中继装置30确定是否通知所有其他通信终端1和2“递送停止事件”或“从另一递送停止事件”。

图31示出中继装置30中的确定过程的流程图的一个示例。首先，中继装置30停止递送对于其已请求停止递送的显示数据（步骤S510）。

然后，中继装置30确定是否存在中继装置30正在递送的其他显示数据（步骤S520）。即，中继装置30确定是否正在从参加TV会议的位置传送显示数据以及中继装置30是否正在递送这样传送的显示数据。

在存在中继装置30正在递送的其他显示数据的情况下（步骤S520为是），为了继续递送显示数据，中继装置30既不向通信终端1和2发送“递送停止事件”通知也不向通信终端1和2发送“从另一递送停止事件”通知。

在没有中继装置正在递送的其他显示数据的情况下（步骤S520为否），为了更新通信终端1和2中的共享标记和显示控制标记的目的，中继装置30通知已请求停止递送“递送停止事件”的通信终端1并通知其他通信终端2“从另一递送停止事件”（步骤S530）。

因此，在仍然存在中继装置30正在递送的显示数据的情况下，通信终端1和2中的共享标记保持“共享”，并且通信终端1和2可以继续接收递送的显示数据。在不存在中继装置30正在递送的显示数据的情况下，通信终端1和2可以通知对应的外部输入装置1和2显示控制标记“未共享”。

【停止传送显示数据】

然后，将使用图32的序列图描述在已完成图29的过程的处理的状态下，外部输入装置2停止传送显示数据的过程。在参加者意图停止从自己的通信终端2的外部输入装置2传送显示数据的情况下，参加者在外部输入装置2处显示的菜单401处按下“停止共享”按钮。

在步骤S401中，外部输入装置2的操作输入接收部件46接收该按下“停止共享”按钮的操作。

在步骤S402中，显示数据传送部件452通知通信终端2停止传送。

在步骤S402-1中，通信终端2的显示数据控制部件22请求中继装置30停止递送。中继装置30中的数据质量改变部件根据图31确定是否通知“递送停止事件”或“从另一递送停止事件”。

在步骤S403、S404中，正在从通信终端2传送的、并且现在将停止其传送的显示数据仅是中继装置30正在递送的显示数据。因此，不存在中继装置30正在递送的其他递送数据（图31中，步骤S520为否）。因此，中继装置30通知通信终端2“递送停止事件”（步骤S403），并且通知通信终端1“从另一递送停止事件”（图31的步骤S404、S530）。因此，停止步骤S104-1-1和S104-1-2的显示数据的递送。注意，由于中继装置30向通信终端2这样传送“递送停止事件”，根据图31的步骤S510中继装置30不需要停止向通信终端2递送显示数据。然而，根据图31的步骤S510中继装置30可以停止向通信终端2递送显示数据，虽然对于上述“递送停止事件”它是多余的。

在步骤S403-1中，当接收到“递送停止事件”时，通信终端2的显示数据控制部件22请求外部输入装置2停止传送显示数据。

在步骤S403-1-1中，外部输入装置2的显示数据传送部件452停止向通信终端2传送显示数据。通过这个停止，停止图25的步骤S104和S104-1中显示数据的传送。注意，在步骤S402中外部输入装置2还可以与停止传送的通知一起停止向通信终端2传送显示数据。

在步骤S403-2中，通信终端2的布置信息选择部件21根据图20的事件标记表将共享标记设置为“未共享”。

在步骤S403-2中，通信终端2的布置信息选择部件21响应于共享标记的设置根据布置信息管理表23来选择布置信息号1。因此，图像显示控制部件14b如图27A中所示向区域1和2分配相应组的视频数据，并且显示屏幕页面。

在步骤S403-4中，由于在步骤S403中已通知通信终端2“显示停止事件”，因此显示数据控制部件22根据事件标记表24向外部输入装置40通知显示控制标记“未共享”。

在步骤S403-4-1中，外部输入装置2的菜单控制部件44确定是否根据图21A的转换条件表431改变菜单401。

在步骤S403-4-2中，由于在外部输入装置2正在显示“停止共享”的状态中，外部输入装置2已接收到显示控制标记“未共享”，因此菜单控制部件44在显示设备400上将“开始共享”按钮显示为菜单401。

在步骤S403-4-3中，菜单控制部件44读取显示控制标记并且在显示设备400上显示共享状态402的消息。在显示控制标记是“未共享”的情况下，这样显示为共享状态402的消息是“不共享”（图32中的“未共享”）（参见图21B）。

步骤S404-1到步骤S404-3-1与步骤S403-2到S403-4大致相同。

在步骤S404-1中，当接收“从另一递送停止事件”时，通信终端1的显示数据控制部件22根据图20的事件标记表24将共享标记设置为“未共享”。由于在图29的步骤S304-3-1中已停止传送显示数据，不必请求外部输入装置1停止传送显示数据。

在步骤S404-2中，通信终端1的布置信息选择部件21响应于共享标记“未共享”的设置根据布置信息管理表23来选择布置信息号1。因此，图像显示控制部件14b如图27A中所示向区域1和2分配相应组的视频数据，并且显示屏幕页面。

在步骤S404-3中，由于在步骤S404中已通知通信终端1“从另一递送停止事件”，显示数据控制部件22根据事件标记表24通知外部输入装置1显示控制标记“未共享”。

在步骤S404-3-1中，外部输入装置1的菜单控制部件44确定是否根据图21A的转换条件表改变菜单401。

在步骤S404-3-2中，由于在外部输入装置1正在显示“开始共享”的状态中，外部输入装置1已接收到显示控制标记“未共享”，菜单控制部件44照原样维持“开始共享”按钮的显示。

在步骤S404-3-2中，此外，菜单控制部件44读取显示控制标记，并显示共享状态402的消息。在显示控制标记是“未共享”的情况下，这样显示的消息是“不共享”（图32中的“未共享”）。

作为完成上述处理的结果，外部输入装置1和2的相应的显示设备400中的每一个如图28B中所示。在外部输入装置1，菜单401作为“开始共享”保持不变，但共享状态402的消息从“共享另一显示”改变为“不共享”。在外部输入装置2中，菜单401从“停止共享”改变为“开始共享”，并且共享状态402的消息从“共享这个显示”改变为“不共享”。

<在断开会话的时间>

图33是示出断开通信终端1和2之间的会话的处理的流程图的一个示例。当参加者通过操作通信终端1的图2中示出的操作按钮108来给出指令来完成TV会议（断开会话）时，图4B中示出的操作输入接收部件12接收完成与通信终端2的会议的请求。然后，操作输入接收部件12通知外部输入装置1会话断开事件。除了这个以外，在参加者移除通信终端1和外部输入装置1之间连接的USB缆线，或断开通信终端1中的电源的情况下，外部输入装置1的连接检测部件42检测到或获得会话断开事件。

然后，外部输入装置1的菜单控制部件44在显示图28B到28D的屏幕页面中的任何一个的同时，确定外部输入装置1是否已获得会话断开事件的通知（步骤S110）。在外部输入装置1未获得会话断开事件的情况下（步骤S110为否），菜单控制部件44维持图28B到图28D的屏幕页面中的任何一个的屏幕页面的显示。

在外部输入装置1已获得会话断开事件的通知的情况下（步骤S110为是），菜单控制部件44显示图28A的屏幕页面（步骤S120）。这个屏幕页面通知参加者没有会议正在进行。此外，在图28A的屏幕页面上，如上所述在菜单401没有显示字符/字母（文本），并且这意味着不可能共享显示数据。参加者可以根据消息“没有会议进行”（意指“没有会议正在进行”）理解不需要操作外部输入装置1。

外部输入装置1的显示数据传送部件452在正在传送显示数据的情况下，停止经由通信终端1向通信终端2传送显示数据（步骤S130）。

此外，外部输入装置1的显示数据获得部件451停止获得（捕获）显示设备400的显示数据（表示S140）。

根据本实施例中的远程通信系统1，可以在外部输入装置40处显示菜单401用于开始显示数据的共享。因此，TV会议的参加者可以仅通过按下“开始共享”按钮的简单操作在另一位置处显示显示数据。因此，在其他位置的参加者可以确定要关注的显示数据，而不需要例如选择要共享的显示数据的任何操作。

此外，由于外部输入装置40显示共享状态402的消息，TV会议的参加者可以积极确定是否正在共享当前正在外部输入装置40的显示设备400上显示的显示数据。例如，在显示相同材料的多个外部输入装置40在多个位置处与相应的通信终端10连接的情况下，参加者可以立即确定正在共享哪个位置的材料，从而，可以改善操作性能。

此外，在通信终端10已接收到“从另一递送开始事件”的通知的情况下，通信终端10请求连接到自己的通信终端10的外部输入装置40停止递送。因此，可以将可以共享的显示数据控制为单组显示数据。因此，参加者不需要进行从多组显示数据中选择要关注的合适组的显示数据这样的操作，从而，可以改善操作性能。

虽然已参考特定实施例详细描述了本发明，变化和修改存在于如上所述的本发明的范围和精神内，并且在下列权利要求中定义所述变化和修改。

本专利申请基于2010年11月30日提交的日本优先权专利申请No.2010-267774和2011年8月10日提交的日本优先权专利申请No.2011-175417，其全部内容通过引用合并于此。

Claims (15)

1.一种外部输入装置，与通信终端连接，该通信终端向经由网络连接的另一组设备递送包括语音或视频的会议数据，该外部输入装置包括：

第一显示部件，其被配置为显示图像；

操作接收部件，其被配置为接收用户的操作；

图像获得部件，其被配置为获得所述图像的图像数据；

图像数据传送部件，其被配置为通过使用所述通信终端向其他组设备传送所述图像数据；

转换信息存储部件，其被配置为根据由所述通信终端报告的显示控制信息登记用于接收对所述图像数据的共享控制操作的共享菜单的转换条件；以及

菜单控制部件，其被配置为通过使用所述第一显示部件显示根据从所述通信终端获得的显示控制信息和所述转换条件确定的共享菜单。

2.如权利要求1所述的外部输入装置，其中

所述显示控制信息包括第一显示控制信息、第二显示控制信息、和第三显示控制信息中的任何一个，所述第一显示控制信息意指所述通信终端正在与其他组设备共享所述外部输入装置的图像数据，所述第二显示控制信息意指所述通信终端正在共享所述其他组设备的图像数据，所述第三显示控制信息意指所述通信终端没有在共享所述图像数据。

3.如权利要求2所述的外部输入装置，其中

在所述外部输入装置已获得所述第一显示控制信息并且所述共享菜单处于接收开始共享所述图像数据的指令的状态中的情况下，所述菜单控制部件被配置为显示处于接收停止共享所述图像数据的指令的状态中的所述共享菜单。

4.如权利要求2所述的外部输入装置，其中

在所述外部输入装置已获得所述第二显示控制信息或所述第三显示控制信息并且所述共享菜单处于接收停止共享所述图像数据的状态中的情况下，所述菜单控制部件被配置为显示处于接收开始共享所述图像数据的指令的状态中的所述共享菜单。

5.如权利要求2所述的外部输入装置，还包括：

共享状态信息存储部件，其被配置为以与所述显示控制信息相关联的方式存储指示所述图像数据的共享状态的共享状态信息，其中

当已获得所述显示控制信息时，所述菜单控制部件被配置为与所述共享菜单一起显示与所获得的显示控制信息相关联的共享状态信息。

6.如权利要求1所述的外部输入装置，其中

在已从所述通信终端接收到指示完成与所述其他组设备通信的通知的情况下，所述菜单控制部件被配置为通过使用所述第一显示部件显示不可能共享所述图像数据。

7.一种连接到权利要求1所述的外部输入装置的通信终端，包括：

显示控制信息存储部件，其被配置为以与将由其他组设备报告的图像数据的递送事件相关联的方式存储所述显示控制信息；以及

图像数据控制部件，其被配置为确定与所述递送事件相关联的显示控制信息，并且通知所述外部输入装置所确定的显示控制信息。

8.如权利要求7所述的通信终端，其中

所述递送事件包括第一递送事件、第二递送事件、第三递送事件和第四递送事件中的任何一个，所述第一递送事件通知开始递送所述外部输入装置的图像数据，所述第二递送事件通知开始递送所述其他组设备的图像数据，所述第三递送事件通知停止递送所述外部输入装置的图像数据，所述第四递送事件通知停止递送所述其他组设备的图像数据。

9.如权利要求8所述的通信终端，其中

当已获得所述第一递送事件的通知时，所述图像数据控制部件被配置为与所述显示控制信息存储部件中的通知相关联地通知所述外部输入装置所述第一显示控制信息，所述第一显示控制信息意指所述通信终端正在与所述其他组设备共享所述外部输入装置的图像数据。

10.如权利要求8所述的通信终端，其中

当已获得所述第二递送事件的通知时，所述图像数据控制部件被配置为请求所述外部输入装置停止传送所述图像数据，并与所述显示控制信息存储部件中的通知相关联地通知所述外部输入装置所述第二显示控制信息，所述第二显示控制信息意指所述通信终端正在共享所述其他组设备的图像数据。

11.如权利要求7所述的通信终端，还包括：

第二显示部件，其被配置为显示视频的视频数据；

共享信息存储部件，其被配置为以与所述递送事件相关联的方式存储用于共享用于所述视频数据和所述图像数据的第二显示部件的共享信息；

布置信息存储部件，其被配置为存储根据所述共享信息将所述第二显示部件的多个区域与所述视频数据和所述图像数据相关联的布置信息；以及

图像显示控制部件，其被配置为根据所述共享信息存储部件确定与由所述其他组设备报告的递送事件相关联的共享信息，并在基于与所述共享信息相关联的布置信息的区域显示所述视频数据或所述图像数据。

12.如权利要求11所述的通信终端，其中

在已接收到所述第一递送事件的通知的情况下或在已接收到所述第二递送事件的通知的情况下，所述图像显示控制部件被配置为在所述区域中的最大区域处显示所述图像数据，并且在所述区域的另一区域处显示所述视频数据。

13.一种显示数据共享系统，包括：

通信终端，其被配置为向经由网络连接的另一组设备递送包括语音或视频的会议数据；以及

外部输入装置，其与所述通信终端连接，其中

所述外部输入装置包括：

第一显示部件，其被配置为显示图像；

操作接收部件，其被配置为接收用户的操作；

图像数据获得部件，其被配置为获得所述图像的图像数据；

图像数据传送部件，其被配置为经由所述通信终端向其他组设备传送所述图像数据；

转换信息存储部件，其被配置为根据由所述通信终端报告的显示控制信息登记用于接收对所述图像数据的共享控制操作的共享菜单的转换条件；以及

菜单控制部件，其被配置为通过使用所述第一显示部件显示根据从所述通信终端获得的显示控制信息和所述转换条件确定的共享菜单。

14.一种计算机可读信息记录介质，其存储由与向经由网络连接的另一组设备递送包括语音或视频的会议数据的通信终端连接的外部输入装置执行的程序，所述程序当由一个或多个处理器执行时执行：

获得在第一显示部件上显示的图像的图像数据；

通过使用所述通信终端向所述其他组设备传送所述图像数据；

从所述通信终端接收显示控制信息的通知；

基于从所述通信终端接收的所述显示控制信息读取转换信息存储部件，所述转换信息存储部件被配置为根据所述显示控制信息登记转换条件，所述转换条件用于确定用于接收对由所述第一显示部件显示的图像数据的共享控制操作的共享菜单，和确定所述共享菜单；以及

通过使用所述第一显示部件显示所述共享菜单。

15.一种计算机可读信息记录介质，其存储由与权利要求14所述的外部输入装置连接的通信终端执行的程序，所述程序当由一个或多个处理器执行时执行：

从所述其他组设备接收所述图像数据的递送事件的通知；

根据显示控制信息存储部件确定与所通知的递送事件相关联的显示控制信息，所述显示控制信息存储部件被配置为以与所述递送事件相关联的方式存储所述显示控制信息；以及

通知所述外部输入装置所述显示控制信息。

Images