CN102845058B

CN102845058B - 传输系统以及传输方法

Info

Publication number: CN102845058B
Application number: CN201180020445.0A
Authority: CN
Inventors: 浅井贵浩
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2010-02-24
Filing date: 2011-02-24
Publication date: 2015-06-10
Anticipated expiration: 2031-02-24
Also published as: CA2790740C; US20120314019A1; JP5999873B2; US9210375B2; SG183317A1; WO2011105621A1; RU2547632C2; EP2540080A4; RU2012140435A; CN102845058A; EP2540080A1; JP2011199845A; CA2790740A1

Abstract

提供一种传输系统（1），用于经由传输终端（10）之间的通信网络（2）发送和接收再现图像和音频所必需的基本数据和用于改进图像和音频的质量扩展数据。所述传输系统（1）包括：基本数据中继系统（40），其包括：用于中继从传输终端（10）中的源传输终端发送到传输终端（10）中的目的地传输终端的基本数据的多个基本数据中继单元（430）；和选择单元，用于从基本数据中继单元（430）中选择一个基本数据中继单元（430）用于传输终端（36）之间的每次通信；和扩展数据中继系统，其包括用于中继从源传输终端发送到目的地传输终端的扩展数据的扩展数据中继单元（36）。

Description

传输系统以及传输方法

技术领域

本发明涉及一种通过中继装置或者中继系统来中继图像数据和音频数据中的至少一个来执行传输终端之间的通信的传输系统。

背景技术

在近年来，随着对减少出差的开支或时间的需求的增加，用于通过诸如互联网之类的通信网络执行远程会议的诸如远程会议系统之类的传输系统已很普遍。在这种传输系统中，可以通过在多个传输终端之间发送和接收图像数据和音频数据来实现远程会议。随着近年来宽带环境的改进，能够发送和接收高图像质量的图像数据和高音频质量的音频数据。因此，容易地识别在远程会议中的其他人的状态以能够增强会话沟通是可能的。

在最近的传输系统中，为通信网络中的每个局域网（LAN，Local Area Network）安装用于在诸如远程会议终端之类的传输终端之间中继图像数据和音频数据的中继装置。这些中继装置可以通过为远程会议分布通信处理来减少每个中继装置上的负载，并可以分布要中继的图像数据和音频数据的数据传输量。

以往，当从多个中继装置中选择一个中继装置来使用时，通常使用连接到与执行远程会议的远程会议终端相同的LAN中的中继装置。更具体地，通过选择具有与传输终端的IP地址接近的IP地址的中继装置，经由所选择的中继装置发送和接收高图像质量的图像数据和高音频质量的音频数据是可能的（参见日本专利申请公开号2008-227577）。

以往，当视频信号发送到目的地终端时，视频信号被编码成基本层（base layer）的数据和增强层（enhance layer）的数据，并且每个数据经由中继服务器由不同的信道发送。在这种情况下，基本层的数据由高可靠的信道发送并且增强层的数据由低可靠的信道发送。因此，即使当不能发送增强层的数据时，目的地终端可以通过使用基本层的数据再现视频（参见日本专利申请公开号2009-508454）。

然而，在远程会议系统中，当使用具有与远程会议终端的IP地址接近的IP地址的中继装置时，负载可能根据通信状态集中在特定的中继装置。更具体地，当网络中的局部区域中的远程会议终端的使用频率增加，安装在相同区域的中继装置的使用频率增加。当向中继装置施加的负载超过容许量时，在中继装置会发生故障，并且不能发送和接收图像数据和音频数据，这是一个问题。

以往，必须使用特定的中继服务器来传输在多个终端之间通信的基本层的数据和增强层的数据。也就是说，由特定的中继服务器处理的数据的量急剧增加。因此，当施加到中继服务器的负载超过容许量时，中继服务器会发生故障，不能发送和接收图像数据和音频数据，这是一个问题。

发明内容

根据本发明的一个方面，提供一种通过传输终端之间的通信网络来发送和接收再现图像和音频所必需的基本数据和用于改进图像和音频的质量的扩展数据的传输系统，所述传输系统包括：基本数据中继系统，其包括：用于中继从传输终端中的源传输终端发送到传输终端中的目的地传输终端的基本数据的多个基本数据中继单元；和选择单元，从基本数据中继单元中选择一个基本数据中继单元用于传输终端之间的每次通信；和扩展数据中继系统，其包括用于中继从源传输终端发送到目的地传输终端的扩展数据的扩展数据中继单元。

附图说明

图1是根据一个实施例的传输系统的示意图;

图2是根据本实施例的传输终端的硬件配置图;

图3是根据本实施例的传输管理系统、中继装置以及程序提供服务器的硬件配置图;

图4是根据本实施例的组成传输系统的终端、装置以及系统的功能框图;

图5是示出了用H.264/SVC编解码器编码的数据和再现的图像之间的关系的示意图;

图6A至6C是用于解释图像数据的图像质量的示意图;

图7是连接数管理表的示意图;

图8是质量改变管理表的示意图;

图9是中继装置管理表的示意图;

图10是终端认证管理表的示意图;

图11是终端管理表的示意图;

图12是的目的地列表管理表的示意图;

图13是会话管理表的示意图;

图14是地址优先级管理表的示意图;

图15是传输速率优先级管理表的示意图;

图16是质量管理表的示意图;

图17是基本数据中继系统管理表的示意图;

图18是用于管理指示每个中继装置的状态的状态信息的处理的顺序图;

图19是用于开始传输终端之间的通信的预备处理的顺序图;

图20是缩减中继装置的处理的顺序图;

图21是缩减中继装置的处理的流程图;

图22是示出用于执行缩减中继装置的处理的优先级的分数的计算的示意图;

图23是传输终端选择中继装置的处理的顺序图;

图24是传输终端选择中继装置的处理的流程图;

图25是在传输终端之间发送和接收图像数据和音频数据的处理的顺序图;

图26是通过由基本数据中继系统中继基本数据来在传输终端之间发送和接收基本数据的处理的顺序图;

图27是根据本实施例的终端的外部视图。

具体实施方式

根据实施例的整体配置

下面将参考图1至27描述本发明的示例性实施例。图1是根据一个实施例的传输系统的示意图。将参考图1描述本实施例的概要。

传输系统包括经由传输管理系统在一个方向上从一个传输终端向另一个传输终端发送内容数据的数据提供系统，以及包括用于通过传输管理系统在多个传输终端之间相互交换信息、情感等的通信系统。通信系统是经由通信管理系统（对应于“传输管理系统”）在多个通信终端（对应于“传输终端”）之间的相互交换信息、情感等的系统。通信系统的示例包括远程会议系统、视频电话系统、音频会议系统、音频电话系统，和PC（Personal Computer，个人计算机）屏幕共享系统。

在本实施例中，假设远程会议系统用作通信系统的示例，远程会议管理系统用作通信管理系统的示例，而且远程会议终端用作通信终端的示例，将给出对传输系统、传输管理系统和通信终端的解释。即，本发明的传输终端和传输管理系统不仅可应用于电话系统，而且还可应用于通信系统和传输系统。

图1所示的传输系统1包括多个传输终端（10aa，10ab，……，10db）、各个传输终端（10aa，10ab，……，10db）的显示器（120aa，120ab，……，120db）、包括多个基本数据中继装置（430a，430b）和选择装置410的基本数据中继系统40、多个扩展数据中继装置（30a，30b，30c，30d）、传输管理系统50、程序提供系统90和维护系统100。

终端10执行发送和接收图像数据和音频数据的传输，所述图像数据和音频数据是内容数据的示例。在下文中，“传输终端”简单地描述为“终端”，“传输管理系统”简单地描述为“管理系统”。在本实施例中，终端（10aa，10ab，……，10db）中的任意的终端描述为“终端10”，显示器（120aa，120ab，……，120db）中的任意的显示器描述为“显示器120”，基本数据中继装置（430a，430b）中的任意的基本数据中继装置描述为“基本数据中继装置430”，扩展数据中继装置（30a，30b，30c，30d）中任意的扩展数据中继装置描述为“扩展数据中继装置30”。

终端10进行与其他终端10的图像数据、音频数据等的通信。在本实施例中，将描述图像数据的图像是运动图像的例子。但是，该图像可以是静止图像，而不是运动图像。此外，图像数据的图像可同时包括运动图像和静止图像。基本数据中继系统40的基本数据中继装置430在终端10之间中继基于图像数据和音频数据中的至少一个生成的、以及再现图像或音频所需的中继数据。基本数据中继系统40的选择装置410为终端之间的每次通信从基本数据中继装置430中选择用于中继基本数据的基本数据中继装置。扩展数据中继装置30在终端10之间中继用于改善图像或音频的质量的扩展数据。管理系统50整体地管理终端10、基本数据中继系统40和扩展数据中继装置30。

图1中所示的多个路由器（70a，70b，……，70g）为图像数据或音频数据选择最优的路径。在本实施例中，路由器（70a，70b，……，70g）中的任意的路由器描述为“路由器70”。

程序提供系统90包括其中存储了用于使终端10实现各种功能或各种装置的终端程序并且可以将终端程序发送到终端10的HD（Hard Disk,硬盘）（未示出）。该程序提供系统90的HD也在其中存储用于使基本数据中继系统40实现各种功能或各种装置的选择装置程序和基本数据中继装置程序，从而可以将这些程序发送到基本数据中继系统40的每个装置。程序提供系统90的HD也在其中存储用于使扩展数据中继装置30实现各种功能或各种装置的扩展数据中继装置程序，从而可以将扩展数据中继装置程序发送到扩展数据中继装置30。程序提供系统90的HD还在其中存储用于使管理系统50实现各种功能或各种装置的传输管理程序，从而可以将传输管理程序发送到管理系统50。

维护系统100是对终端10、扩展数据中继装置30、基本数据中继系统40、管理系统50和程序提供系统90中的至少一个执行保存、管理、或维护的计算机。例如，当维护系统100安装在一个国家，并且终端10、扩展数据中继装置30、基本数据中继系统40、管理系统50以及程序提供系统90安装在外国时，维护系统100经由通信网络2对终端10、扩展数据中继装置30、基本数据中继系统40、管理系统50和程序提供系统90中的至少一个远程执行诸如会话，管理或修理的维护。维护系统100还不通过使用通信网络2而为终端10、扩展数据中继装置30、基本数据中继系统40、管理系统50和程序提供系统90中至少一个执行诸如型号、生产号、销售目的地、维护和检查、或故障历史的管理之类的维护。

终端10aa、终端10ab、扩展数据中继装置30a和路由器70a经由LAN 2a相互通信连接。终端10ba、终端10bb、扩展数据中继装置30b和路由器70b经由LAN 2b相互通信连接。LAN 2a和LAN 2b使用包括路由器70c的专用线路2ab相互通信连接，并且建立在预定区域A内，例如，区域A是日本，LAN 2a建立在位于东京的办公室内，LAN 2b建立在位于大阪的办公室内。

终端10ca、终端10cb，扩展数据中继装置30c和路由器70f经由LAN 2c相互通信连接。终端10da、终端10db、扩展数据中继装置30d和路由器70g经由LAN 2d相互通信连接。LAN 2c和LAN 2d使用包括路由器70e的专用线路2cd相互通信连接，并且建立在预定区域B内。例如，区域B是美国，LAN 2c建立在位于纽约的办公室内，LAN 2d建立在位于华盛顿的办公室内。区域A和区域B通过路由器（70c，70e）经由互联网2i相互通信连接。

在本实施例中，本实施例的通信网络2由LAN2a、LAN2b、专用线路2ab、互联网2i、专用线路2cd、LAN2c和LAN 2d组成。

基本数据中继系统40的选择装置410、基本数据中继装置430a和基本数据中继装置430b经由LAN 2e相互通信连接。基本数据中继系统40经由通信网络2通信连接到终端10。基本数据中继系统40可安装在区域A、区域B，或区域A和B以外的区域。然而，基本数据中继系统40优选安装在区域A和B以外的区域，以便不受到区域A和区域B的局部区域的通信流量影响。

管理系统50以及程序提供系统90经由互联网2i通信连接到终端10、基本数据中继系统40和扩展数据中继装置30。管理系统50以及程序提供系统90可以安装在区域A、区域B、或区域A和区域B以外的区域

在图1中，在终端10、选择装置410、基本数据中继装置430、扩展数据中继装置30、管理系统50、路由器70、程序提供系统90和维护系统100的上方或下方显示的四部分的数字表示普通IPv4的简化IP地址。例如，终端10aa的IP地址是“1.2.1.3”。采用IPv6代替IPv4是可能的。但是，为了解释的简单起见，下面给出的解释将使用IPv4。

在图1中，为选择装置410提供两个IP地址。这意味着选择装置有用于与终端10、管理系统50以及程序提供系统90通信的IP地址（1.4.1.1）;和用于与基本数据中继装置430通信的IP地址（1.4.2.1）。因此，终端10和管理系统50可通过将具有多个基本数据中继装置的基本数据中继系统40看作为一个“基本数据中继装置”来执行通信。图1中，每个路由器70有用于与该网络中的终端、装置和系统通信的IP地址和用于与该网络外的终端、装置和系统进行通信的IP地址。然而，在图中未示出用于与该网络外（广域网（WAN，Wide Area Network）侧）的终端进行通信的IP地址。

本实施例的硬件配置：

将要描述本实施例的硬件配置。在本实施例中，将解释当作为中继目的地的终端10接收图像数据发生延迟时扩展数据中继装置30改变图像数据的图像的分辨率，然后将图像数据发送到作为中继目的地的终端10的情况。

图27是根据本实施例的终端的外部视图。如图27中所示，终端10包括壳体1021、臂1074和摄像头壳体1075。壳体1021的前壁1021a的大致整个区域上形成有多个进气孔1021e，并且壳体1021的后壁1021b的大致整个区域上形成有多个出气孔（未示出）。因此，随着对安装在壳体1021内的冷却风扇的驱动，在终端10的前面的空气经由进气孔1021e引入，并经由出气孔排出到终端10的后面。声音获取孔1021f形成在前壁1021a的中心，从而诸如音频、期望的/不期望的声音或噪声可以由下面将要描述的内置麦克风114获取。相应于硬件I/F的用于连接外部装置（外部摄像头、外部麦克风或外部扬声器）的电缆终端的连接端口1021g形成在壳体1021的下表面上。

操作面板1022形成在外壳1021的左上侧。操作按钮108、电源开关109和用于从内置的扬声器115发送输出声音的音频出口孔1022f形成在操作面板1022上，其中的每一个将在下面详细描述。作为用于容纳臂1074的凹部的外壳部分1021p和摄像机外壳1075形成在壳体1021上的右上侧。

臂1074经由扭矩铰链1073安装在壳体1021上。假设在正面是0°的角度，将臂1074构造成相对于壳体1021在水平方向和垂直方向上在±180°的平角θ₁范围内以及90°的倾角θ₂范围内旋转（当臂倾斜大约45°时，给出咔哒的感觉）。

下面将要描述的内置摄像头112设置在摄像头外壳1075内，使得拍摄用户、房间等是可能的。扭矩铰链1075a形成在摄像头外壳1075内。摄像头外壳1075通过扭矩铰链1075a安装在臂1074上。假设在摄像头外壳1075相对于臂1074共线地排列的状态下的角度是0°，摄像头外壳1075被构造成在从朝向终端10的前侧约100°到朝向终端10的后侧约90°的倾角θ₃的范围内旋转。

扩展数据中继装置30、基本数据中继系统40、管理系统50、程序提供系统90和维护系统100的外观与一般的服务器或计算机的外观是相同的，因而没有给出其说明。

图2是根据本实施例的终端10的硬件配置图。如图2所示，本实施例的终端10包括控制终端10的整体操作的CPU（Central Processing Unit，中央处理单元）101、在其中存储终端程序的ROM（只读存储器）102、用作CPU101的工作区的RAM（Random Access Memory，随机存取存储器）103、用于存储诸如图像数据或音频数据的各种数据的闪速存储器104、根据CPU 101的控制来控制对闪速存储器104的各种数据的读取和写入的SSD（Solid State Drive,固态驱动器）105、用于控制对于诸如闪速存储器的记录介质106的数据的读取和写入的介质驱动器107、用于操作来（例如）从终端10选择目的地的操作按钮108、用于切换终端10的电源的开/关的电源开关109和用于使用下面将要描述的通信网络2发送数据的网络I/F111

终端10还包括根据CPU 101的控制来拾取对象的图像并获得图像数据的内置的摄像头112、控制摄像头112的驱动的成像设备I/F113、输入音频的内置麦克风114、输出音频的内置扬声器115、用于根据CPU 101的控制处理麦克风114和扬声器115之间的音频信号的输入和输出的音频输入输出I/F116、根据由CPU 101的控制发送图像数据到外部显示器120的显示器I/F117、用于连接附连到如图27所示的连接端口1021g的各种外部装置的外部装置连接I/F118、以及用于电连接如图2所示的上述元件的诸如地址总线或数据总线的总线110。

显示器120是由液晶或有机EL形成的用于显示对象或操作图标的图像的显示单元。显示器120经由缆线120c连接到显示器I/F 117。缆线120c可以是模拟RGB（VGA）信号缆线、分量视频缆线、或者HDMI（High-Definition Multimedia Interface，高清晰度多媒体接口）信号或DVI（Digital Video Interactive，数字视频交互）信号的缆线。

摄像头112包括镜头和用于将光转换成电荷以数字化对象的图像（视频）的固态图像传感设备。CMO S（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）或CCD（Charge Coupled Device，电荷耦合器件）可用作固态图像传感设备。

诸如外部摄像头、外部麦克风或外部扬声器之类的外部装置通过USB（Universal Serial bus，通用串行总线）缆线等可连接到外部装置连接I/F 118。当连接了外部摄像头时，根据CPU101的控制，外部摄像头比内置摄像头112先驱动。类似地，当连接了外部麦克风或外部扬声器时，根据由CPU 101的控制，外部麦克风或外部扬声器先于内置麦克风114或内置扬声器115被驱动。

记录介质106相对于终端10是可移除的。任何诸如EEPROM(Electrically Erasable and Programmable，电可擦除可编程ROM）之类的根据CPU 101的控制读取和写入数据的非易失性存储器可以用来代替闪速存储器104。

上述的终端程序可以通过以可安装或可执行文件的格式记录在诸如记录介质106的计算机可读记录介质中来进行分布。

图3是根据本实施例的管理系统的硬件配置图。管理系统50包括：控制管理系统50的整体操作的CPU 201、在其中存储传输管理程序的ROM 202、用作CPU 201的工作区的RAM 203、用于存储各种数据的HD（hard Disk，硬盘）204、用于根据CPU 201的控制，来控制对于HD 204的数据的读取和写入的HDD（Hard Disk Drive，硬盘驱动器）205、对诸如闪存存储器之类的记录介质206的数据的读取和写入（存储）进行控制的介质驱动器207、显示诸如光标、菜单、窗口、字符或图像之类的各种信息的显示器208、通过使用以下将要描述的通信网络2发送数据的网络I/F209、具有用于输入字符、数字、或各种指令的多个键的键盘211、用于选择或执行各种指令、选择处理目标、或者移动光标的鼠标212、控制对于作为移动记录介质的示例的CD-ROM（Compact Disc Read Only Memory，光盘只读存储器）213的数据的读取和写入的CD-ROM驱动器214、以及用于电气连接如图3所示的上述元件的诸如地址总线或数据总线的总线210。

上述的传输管理程序可以通过以可安装或可执行文件格式记录在诸如记录介质206或CD-ROM 213之类的计算机可读记录介质中来进行分布。

选择装置410具有与上述管理系统50相同的硬件配置，因此，相同的解释就不重复了。然而，用于控制选择装置410的选择装置程序记录在ROM 202中。在这种情况下，选择装置程序可以通过以可安装或可执行文件格式被记录在诸如记录介质206或CD-ROM 213之类的计算机可读记录介质中来进行分布。

基本数据中继装置430具有与管理系统50相同的硬件配置，因此，相同的解释就不重复了。然而，用于控制基本数据中继装置430的基本数据中继装置程序记录在ROM 202中。在这种情况下，基本数据中继装置程序可以通过以可安装或可执行文件格式记录在诸如记录介质206或CD-ROM 213之类的计算机可读记录介质中来进行分布。

扩展数据中继装置30具有与管理系统50相同的硬件配置，因此，相同的解释就不重复了。然而，用于控制扩展数据中继装置30的扩展数据中继装置程序记录在ROM 202中。在这种情况下，扩展数据中继装置程序可以通过以可安装或可执行文件格式记录在诸如记录介质206或CD-ROM 213之类的计算机可读记录介质中来进行分布。

程序提供系统90具有与管理系统50相同硬件配置，因此，相同的解释就不重复了。然而，用于控制程序提供系统90的程序提供程序记录在ROM 202中。在这种情况下，程序提供程序可以通过以可安装或可执行文件格式记录在诸如记录介质206或CD-ROM 213之类的计算机可读记录介质中来进行分布。

维护系统100具有与管理系统50相同的硬件配置，因此，相同的解释就不重复了。然而，用于控制维护系统100的维护程序记录在ROM 202中。在这种情况下，在这种情况下，维护程序可以通过以可安装或可执行文件格式记录在诸如记录介质206或CD-ROM 213之类的计算机可读记录介质来进行分布。

作为可移动记录介质的另一个示例，诸如CD-R(Compact Disc Recordable，可记录光盘）、DVD（Digital Versatile Disk，数字多功能盘）或蓝光盘之类的计算机可读记录介质可以用来记录和分布程序。

本实施例的功能配置

将要描述本实施例的功能配置。图4是根据本实施例的组成了传输系统1的终端、装置和系统的功能框图。在图4中，终端10、基本数据中继系统40、扩展数据中继装置30和管理系统50相互连接以使得它们能够通过通信网络2执行数据通信。因为图1所示的程序提供系统90不直接与远程会议通信相关，所以它在图4中未示出。

终端的功能配置

终端10包括：发送-接收单元11、操作-输入接收单元12、登录请求单元13、成像单元14a、图像显示控制单元14b、音频输入单元15a、音频输出单元15b、最终缩减单元16、延迟检测单元17、存储-读取处理单元19、编码单元20和解码单元21。每个单元是响应于CPU 201根据在ROM 202中存储的程序发出的命令通过驱动图2所示的任意元件来实现的功能或装置。终端10包括图2所示的SSD 105组成的存储单元1000。

终端的每个功能单元

将在下面详细描述终端的每个功能单元。终端10的发送-接收单元11由如图2所示的网络I/F111实现，并通过通信网络2与其他终端、装置和系统执行各种数据（信息）的发送和接收。操作-输入接收单元12由如图2所示的操作按钮108和电源开关109来实现，并接收来自用户的各种输入。例如，当用户开启如图2所示的电源开关109时，如图4所示的操作-输入接收单元12接收上电的输入并开启电源。

登录请求单元13由来自如图2所示的CPU 101的命令实现。当接收上电的输入时，登录请求单元13自动从发送-接收单元11经由通信网络2向管理系统50发送指示请求源终端10的登录请求和当前IP地址的登录请求信息。当用户将操作按钮108的状态从开改变到关时，发送-接收单元11发送关闭电源的状态信息或指示与管理系统50断开的状态信息，然后，操作-输入接收单元12完全关闭电源。因此，管理系统50可以识别出终端10的状态从电源开启改变到电源关闭。

成像单元14a由来自如图2所示的CPU 101的命令、以及如图2所示的摄像头112和成像设备I/F 113来实现。成像单元14a拾取对象的图像，并输出图像的图像数据。图像显示控制单元14b通过如图2所示的显示器I/F 117实现，并对发送图像数据到外部显示器120进行控制。

音频输入单元15a由来自如图2所示的CPU 101的命令、以及如图2所示的音频输入-输出I/F116来实现。当用户的声音由麦克风114转换成音频信号时，音频输入单元15a输出音频信号的音频数据。音频输出单元15b由来自如图2所示的CPU 101的命令以及音频输入-输出I/F116实现。音频输出单元15b输出音频数据的音频信号到扬声器，并且扬声器115输出音频。

最终缩减单元16响应于来自如图2所示的CPU 101的命令实现测量单元16a、运算单元16b和最终选择单元16c以便执行将扩展数据中继装置30缩减到一个扩展数据中继装置30的最终缩减过程。

每当发送-接收单元11接收事先传输信息，测量单元16a测量发送-接收单元11接收到事先传输信息（将在后面描述）的接收日期和时间。计算单元16b基于测量到的接收日期和时间以及事先传输信息所包括的发送日期和时间之间的差为每个事先传输信息计算从发送到接收事先传输信息所需的时间，测量单元16a已为所述的每个事先传输信息测量接收日期和时间。最终选择单元16c选择在计算单元16b计算出的任何所需的时间中最短的所需时间内中继事先传输信息的扩展数据中继装置30，从而最终选择一个扩展数据中继装置。

延迟检测单元17由来自如图2所示的CPU 101的命令实现，并检测从另一个终端10通过扩展数据中继装置30发送的扩展数据的扩展数据延迟时间（毫秒（ms））。

存储-读取处理单元19由来自如图2所示的CPU 101的命令以及如图2所示的SSD 105实现。存储-读取处理单元19执行在存储单元1000中存储各种数据以及读出存储在存储单元1000的各种数据的处理。存储单元1000在其中存储用于识别终端10的终端ID（Identification，标识）和密码、图像数据、音频数据等等。在每次收到图像数据或音频数据时，随着有目的地终端的电话呼叫接收的图像数据或音频数据被写入覆盖存储单元1000中的数据。覆写前的图像数据的图像显示在显示器120上，并且覆写前的音频数据的音频从扬声器150输出。

将在下面描述的终端ID和扩展数据中继装置ID指示用于分别识别终端10和扩展数据中继装置30的标识信息，如语言、字符、符号、或各种标记。终端ID和扩展数据中继装置ID可以是语言、文字、符号和各种标记中的至少两个的组合形成的标识信息。

编码单元20由来自如图2所示的CPU 101的命令实现，并通过预定的方法编码从成像单元14a输出的图像数据和从音频输入单元15a输出的音频数据中的至少一个（执行转换，使得数据可以返回到原始（或类似的）的数据）。通过例如使编码单元20响应于来自CPU 101的命令根据存储在终端10的存储单元1000的编解码器（一种程序，通过使用编码系统编码以使数据编码和数据解码能双向执行）执行处理来执行编码。

作为用于从图像数据编码视频数据的编码系统，公知的是由MPEG（Moving Picture Experts Group,运动图像专家组）标准化的编码系统和国际电信联盟电信标准化部门推荐的编码系统。编码系统的示例包括MPEG-4和H.264/annex G（以下描述为H.264/SVC（Scalable Video Coding，可扩展的视频编码））。作为用于压缩音频数据的编码系统，公知的是由MPEG标准化的编码系统和由国际电信联盟电信标准化部门推荐的编码系统。编码系统的示例包括AAC和G.729。GIF（Graphics Interchange Format，图形交换格式），JPEG（Joint Photographic Experts Group，联合图像专家组），PNG（Portable Network Graphics，便携式网络图形）等是公知的用作在图像数据中压缩静态图像数据的编码系统。

编码单元20将图像数据和音频数据中的至少一个编码为再现视频或音频所必需的基本数据和与基本数据一起再现高品质的视频或高品质音频所必需的扩展数据。在这种情况下，编码单元20可以使用能够将数据分别编码成基本数据和扩展数据的任何编码系统。图像数据（视频数据）的编码系统的示例包括国际电信联盟电信标准化部门推荐的H.264/SVC。扩展数据是再现高质量的视频或高质量的音频时所必需的数据，因此，在编码图像数据或音频数据时，扩展数据的量通常大于基本数据的量。

解码单元21由来自如图2所示的CPU 101的命令实现，并由预定方法将编码的数据还原为解码的数据（原始数据或类似的数据）。例如，通过使解码单元21响应于来自CPU 101的命令根据存储在终端10的存储单元1000中的编解码器执行处理来执行解码。相应于编码单元20使用的用于编码的编码系统的编解码器用作编解码器。

下面将参考图5的示意图来描述解码由H.264/SVC编解码器编码的数据的处理的具体示例，其示出了编解码器编码的数据和再现的图像之间的关系。在图5中，图像数据被编码成一份基本数据和两份扩展数据（扩展数据1和扩展数据2）。基本数据由基本数据中继装置430中继，并通过终端10的发送-接收单元11接收。两份扩展数据由扩展数据中继装置30中继，并通过终端10的发送-接收单元11接收。

当终端10在接收到基本数据后的预定时间内，接收到相应于基本数据（通过在特定时间点编码图像数据，扩展数据与基本数据一起生成）的扩展数据1和扩展数据2时，解码单元21解码基本数据、扩展数据1和扩展数据2。在这种情况下，图象显示控制单元14b基于解码的图像数据显示高分辨率的图像（参见图5的在时间T1再现的图像）。当终端10在接收到基本数据后的预定时间内，只接收到相应于基本数据的扩展数据1时，解码单元21解码基本数据和扩展数据1。在这种情况下，图像显示控制单元14b基于解码的图像数据显示中等分辨率的图像（参见图5的在时间T2再现的图像）。当终端10在接收基本数据后的预定时间内，不能接收到相应于基本数据的扩展数据时，解码单元21解码基本数据。在这种情况下，图像显示控制单元14b基于解码的图像数据显示低分辨率的图像（参见图5的在时间T3再现的图像）。

基本数据中继系统的整体配置。

图1示出的基本数据中继系统40包括选择装置410和经由LAN 2e可通信地连接到所述选择装置410的多个基本数据中继装置（430a和430b）。基本数据中继装置430在终端10之间中继基本数据。每当在终端之间执行通信时，选择装置410从连接到选择装置410的基本数据中继装置430中选择用于中继基本数据的基本数据中继装置。在本实施例中，基本数据是再现图像或者音频所必需的数据，从而用于中继基本数据的基本数据中继装置430需要有高的可用性（在这个例子中，这意味着该装置是不太可能出故障（go down））。因此，选择装置410选择用于为在终端10之间进行通信的每个会话中继基本数据的基本数据中继装置430，以便分布施加到基本数据中继装置430的负载，并提高可用性。此外，当基本数据中继装置430由于故障等原因无法中继基本数据时，选择装置410选择新的用于中继基本数据的基本数据中继装置430以提高可用性。选择装置410可以是负载分配装置（也称作负载平衡器），或者可以包括负载分配装置具有的通用功能（会话保持功能、故障监视功能、连续服务功能等）。

选择装置的功能配置

基本数据中继系统40的选择装置410包括发送-接收单元411、选择单元412、和存储-读取处理单元419。每个单元是响应于CPU根据存储在ROM 202中的程序所发出的命令、通过驱动图3所示的任何元件来实现的功能或装置。选择装置410进一步包括由图3所示的HD204所形成的存储单元4100。

连接数管理表

由如图7所示的连接数管理表形成的连接数管理DB 4101在存储单元4100中构建。在连接数管理表中，以相关联的方式管理用于识别连接到选择装置410的基本数据中继装置430的基本数据中继装置标识信息和连接数，所述连接数是发送基本数据到基本数据中继装置的终端的数量。可以无限制地使用识别基本数据中继装置430的任何信息作为基本数据中继装置标识信息。然而，优选使用IP地址。例如，在如图7所示的连接数管理表中，具有IP地址“1.4.2.2”的基本数据中继装置连接到四个终端。

选择装置的每个功能单元

下面将详细描述选择装置410的每个单元。选择装置410的发送-接收单元411通过如图3所示的网络I/F209实现，并经通信网络2、LAN 2e等执行与其他终端、装置或者系统的各种数据（信息）的发送与接收。每当终端之间执行通信时，选择单元412从连接数管理表（见图7）所管理的基本数据中继装置（430a和430b）中具有最小连接数的基本数据中继装置之中选择用于中继基本数据的基本数据中继装置。在本实施例中，选择具有最小连接数的基本数据中继装置430。然而，本发明并不限于这个方法。采用其他的方法来为终端之间的每次通信选择基本数据中继装置是可能的。连接数管理单元413针对用于识别基本数据中继装置的每条基本数据中继装置标识信息，存储和管理作为发送基本数据到连接数管理表（参见图7）中的基本数据中继装置430的终端10的数量的连接数。获取连接数的方法没有特别的限制。方法的示例包括，每当选择单元412选择基本数据中继装置或者每当通信结束时更新连接数的方法，以及测量通过选择装置410发送和接收的基本数据的条数的方法。存储-读取处理单元19由如图3所示的HDD 205实现，并执行在存储单元4100中存储各种数据以及读取存储在存储单元4100的各种数据的处理。

基本数据中继装置的整个配置

基本数据中继装置430包括发送-接收单元431和基本数据中继单元436。每个单元是响应CPU 201根据在ROM 202中存储的程序发出的命令通过驱动如图3所示的任意元件来实现的功能或装置。

基本数据中继装置的功能配置

下面将描述基本数据中继装置430的每个单元。基本数据中继装置430的发送-接收单元431通过如图2所示的网络I/F209实现，并经由LAN 2e执行与其他终端、装置或系统的各种数据（信息）的发送和接收。基本数据中继单元436中继从作为发送源的终端发送到作为目的地的终端的基本数据。

扩展数据中继装置的功能配置

将在下面描述扩展数据中继装置30的功能或装置。扩展数据中继装置30包括：发送-接收单元31、状态检测单元32、数据质量确认单元33、质量改变管理单元34、数据质量改变单元35、扩展数据中继单元36，和存储-读取处理单元39。每个单元是响应CPU 201根据在ROM 202中存储的程序发出的命令通过驱动如图3所示的任意元件来实现的功能或装置。扩展数据中继装置30进一步包括由图3所示的HD204所形成的存储单元3000。

质量改变管理表

如图8所示，由质量改变管理表形成的质量改变管理DB（Database，数据库）3001在存储单元3000中构建。在质量改变管理表中，以相关联的方式管理作为图像数据的中继目的地的终端10的IP地址以及扩展数据中继装置30所中继到中继目的地的图像数据（要中继的扩展数据）的质量。

将描述在本实施例中要处理的图像数据的图像的分辨率。假设存在作为基本图像的由160个水平像素和120个垂直像素形成的低分辨率的图像（如图6A所示）；存在由320个水平像素和240个垂直像素形成的中等分辨率的图像（如图6B所示）；和存在由640个水平像素和480个垂直像素形成的高分辨率的图像（如图6C所示）。当使用窄带信道时，中继作为基本图像的仅由低分辨率图像数据所形成的低图像质量的图像数据。当频带较宽时，中继作为基本图像的具有低分辨率的图像数据和由中等分辨率的图像数据形成的中等图像质量的图像数据。当频带特别宽时，中继作为基本图像的具有低分辨率的图像数据、具有中等分辨率的图像数据和由高分辨率图像数据形成的具有高质量的图像数据。例如，在如图8所示的质量改变管理表中，当扩展数据中继装置30中继图像数据到具有“1.3.2.4”的IP地址的目的地终端（终端10db）时，将要中继的图象数据的图像质量（图像的质量）是“高质量”。

扩展数据中继装置的每个功能单元

将在下面详细描述扩展数据中继装置30的每个功能配置。在下文中，还与扩展数据中继装置30的每个单元的解释一起描述如图2所示的元件中与用于实现扩展数据中继装置30的每个单元的主要元件的关系。

图4所示的扩展数据中继装置30的发送-接收单元31由图3所示的网络I/F209实现，并通过通信网络2执行与其他终端、装置或系统的各种数据（信息）的发送和接收。状态检测单元32由来自如图3所示的CPU 201的命令实现，并检测具有状态检测单元32的扩展数据中继装置30的操作状态。操作状态包括“在线”、“离线”和“故障”。

数据质量确认单元33由来自如图3所示的CPU 201的命令实现。数据质量确认单元33通过使用目的地终端的IP地址作为检索关键词检索质量改变管理DB 3001（参见图4），并提取要中继的图像数据的相应的图像质量，从而确认要中继的图像数据的图像质量。质量改变管理单元34由来自如图3所示的CPU 201的命令实现，并基于将在下面描述的从管理系统50发送的质量信息改变质量改变管理DB 3001的内容。例如，当正在通过在具有终端ID“01aa”的请求源终端（终端10aa）与具有终端ID“01db”的目的地终端（终端10db）之间发送和接收高图像质量的图像数据来执行远程会议时，并且如果由于在请求源终端（终端10bb）和目的地终端（终端10ca）之间开始另一个远程会议而导致目的地终端（终端10db）接收图像数据发生延迟，扩展数据中继装置30需要将正在中继的图像数据的图像质量从高图像质量降低到中等图像质量。在这种情况下，改变质量改变管理DB 3001的内容，以基于指示中等图像质量的质量信息来将扩展数据中继装置30中继的图像数据的图像质量从高图像质量降低到中等图像质量。

数据质量改变单元35由来自如图3所示的CPU 201的命令实现，并且基于质量改变管理DB 3001的改变后的内容来改变作为发送源的终端10发送的图像数据的图像质量。扩展数据中继单元36中继从作为发送源的终端发送到作为目的地的终端的扩展数据。存储-读取处理单元39由如图3所示的HDD205来实现，并且执行在存储单元3000中存储各种数据和读取存储在存储单元3000的各种数据的处理。

管理系统的功能配置

下面将描述管理系统50的功能和装置。管理系统50包括：发送-接收单元51，终端认证单元52，状态管理单元53，终端提取单元54，终端状态获取单元55，初级缩减单元56，会话管理单元57，质量确定单元58，存储-读取处理单元59，扩展数据延迟时间管理单元60，扩展数据中继请求单元61，以及基本数据中继请求单元62。每个单元是响应于CPU 201根据在ROM 202中存储的程序发出的命令通过驱动如图3所示的任意元件来实现的功能或装置。管理系统50还包括如图3所示的HD 204形成的存储单元5000。

扩展数据中继装置管理表

由如图9所示的扩展数据中继装置管理表所形成的扩展数据中继装置管理DB5001在存储单元5000中构建。在扩展数据中继装置管理表中，以相关联的方式为扩展数据中继装置30的每个扩展数据中继装置ID管理每个扩展数据中继装置30的操作状态、管理系统50接收指示操作状态的状态信息时的接收日期和时间、每个扩展数据中继装置30的IP地址和每个扩展数据中继装置30的最大数据传输速率（Mbps）。例如，在如图9所示的扩展数据中继装置管理表中，指示了对于具有扩展数据中继装置ID“111a”的扩展数据中继装置30a，其操作状态是“在线”，管理系统50在“2009.11.10，13:00”接收到状态信息，IP地址为“1.2.1.2”，并且最大数据传输速率为100Mbps。

终端认证管理表

在存储单元5000中，也构建了如图10所示的终端认证管理表所形成的终端认证管理DB5002。在终端认证管理表中，与管理系统50管理的每个终端10的终端ID相关联地管理密码。例如，在如图10所示的终端认证管理表中，指示了终端10aa的终端ID是“01aa”，密码是为“aaaa”。

终端管理表

在存储单元5000中，也构建了如图11所示的终端管理表所形成的终端管理DB5003。在终端管理表中，以相关联的方式为终端10的每个终端ID管理每个终端10的操作状态、管理系统50接收到登录请求信息的接收日期和时间（下面将要描述）以及每个终端10的IP地址。例如，在如图11所示的终端管理表中，指示了对于终端ID是“01aa”的终端10aa，操作状态是“在线”，由管理系统50在“2009.11.10,13:40”接收到登录请求信息，以及地址是“1.2.1.3”。

目的地列表管理表

目的地列表管理表所形成的目的地列表管理DB5004也在存储单元5000中构建。在目的地列表管理表中，与请求远程会议开始的每个请求源终端的终端ID相关联地管理登记为潜在目的地终端（或其中一个可实际用作目的地终端的候选目的地终端）的所有终端的终端ID。例如，在如图12所示的目的地列表管理表中，指示具有终端ID“01aa”（终端10aa）的请求源终端可以请求三个潜在的目的地终端开始远程会议，它们是具有终端ID“01ab”的终端10ab、具有终端ID“01ba”的终端10ba、和具有终端ID“01db”的终端10db。通过添加或删除来更新潜在的目的地终端，所述添加或删除是根据请求源终端发送到管理系统50的添加或删除请求。

会话管理表

如图13所示的会话管理表所形成的会话管理DB5005也在存储单元5000中构建。在会话管理表中，为每个用于执行用来选择扩展数据中继装置30的会话的选择会话ID，以相关联的方式管理用于中继图像数据和音频数据的扩展数据中继装置30的扩展数据中继装置ID、请求源终端的终端ID、目的地终端的终端ID、目的地终端接收图像数据所需的扩展数据接收延迟时间（ms）、以及管理系统50接收到扩展数据延迟信息时的接收日期和时间，所述扩展数据延迟信息指示扩展数据延迟时间并且从目的地终端发送。例如，在如图13所示的会话管理表中，指示了通过使用选择会话ID“se1”执行的会话所选择的扩展数据中继装置30a（具有扩展数据中继装置ID“111a”）在具有终端 ID“01aa”的请求源终端（终端10aa）和具有终端ID“01db”的目的地终端（终端10db）之间中继图像数据和音频数据，以及在时间“2009.11.10，14：00”接收图像数据所需的扩展数据延迟时间是200(ms)。当在两个终端10之间进行远程会议时，基于从请求源终端发送的而非从目的地终端发送的扩展数据延迟信息来管理扩展数据延迟信息的接收日期和时间是可能的。然而，当在三个或更多的终端10之间进行远程会议时，基于从图像数据和音频数据的接收侧的终端10发送的扩展数据延迟信息来管理扩展数据延迟信息的接收日期和时间。

地址优先级管理表

如图14所示的地址优先级管理表所形成的优先级管理DB5006也在存储单元5000中构建。在地址优先级管理表中，以相关联的方式管理地址优先级的分数，从而根据任意的终端10和任意的中继装置30之间的普通IPv4的IP地址的四个点地址部分是否相同来增加地址优先级的分数。例如，在如图14所示的地址优先级管理表中，当在IP地址之间的从顶部至底部的三个部分的点地址的值是相同的，地址优先级的分数为“5”。当从顶部至底部的两个部分的点地址的值在IP地址之间是相同的，地址优先级的分数为“3”。在这种情况下，在IP地址之间最底部部分的点地址的值是否相同不影响优先级。当在IP地址之间最顶部的点地址的值相同，而次顶部的值不同时，地址优先级的分数为“1”。在这种情况下，在IP地址之间无论从顶部的第三部分的值和最底部的值是否相同，不影响优先级。当IP地址之间的最顶部的点地址的值不同时，地址优先级的分数为“0”。在这种情况下，在IP地址之间从最顶部的第二、第三以及最底部部分的点地址的值是否相同，不影响优先级。

传输速率优先级管理表

在存储单元5000构建的优先级管理DB 5006还包括如图15所示的传输速率优先级管理表。在传输速率优先级管理表中，以相关联的方式管理传输速率优先级的分数，从而根据扩展数据中继装置30的最大数据传输速率（Mbps）的值增加分数。例如，在如图15所示的传输速率优先级管理表中，当扩展数据中继装置30的最大数据传输速率大于或者等于1000Mbps时，传输速率优先级的分数为“5”。当扩展数据中继装置30的最大数据传输速率大于或者等于100Mbps并且小于1000Mbps时，传输速率优先级的分数为“3”。当扩展数据中继装置30的最大数据传输速率大于或者等于10Mbps并且小于 100Mbps时，传输速率优先级的分数为“1”。当扩展数据中继装置30的最大数据传输速率小于10Mbps时，传输速率优先级的分数为“0”。

质量管理表

如图16所示的质量管理表所形成的质量管理DB 5007也在存储单元5000中构建。在质量管理表中，以与通过请求源终端或者目的地终端接收图像数据所需的扩展数据延迟时间相关联的方式管理扩展数据中继装置30要中继的图像数据（要中继的扩展数据）的图像质量。

基本数据中继系统管理表

如图17所示的基本数据中继系统管理表所形成的基本数据中继系统管理DB 5008也在存储单元5000中构建。在基本数据中继系统管理表中，以相关联的方式管理基本数据中继系统40的基本数据中继系统ID和基本数据中继系统40的选择装置410的IP地址。例如，在如图17所示的基本数据中继系统管理表中，指示了具有基本数据中继系统ID“222a”的基本数据中继系统的选择装置具有IP地址“1.4.1.1”。

管理系统的每个功能单元

将在下面详细描述管理系统50的每个功能单元。在下文中，与对管理系统50的每个单元的解释一起描述如图3所示的元件中与用于实现管理系统50的每个单元的主要元件的关系。

发送-接收单元51由如图2所示的网络I/F209实现，并通过通信网络2执行与其它终端、装置或者系统的各种数据（或信息）的发送和接收。

终端认证单元52通过使用经由发送-接收单元51接收到的登录请求信息中包括的终端ID和密码作为检索关键词检索存储单元5000的终端认证管理DB 5002；通过确定终端认证管理DB 5002是否管理相同的终端ID和密码来执行认证。状态管理单元53在终端管理DB 5003的终端管理表（参见图11）中以相关联的方式存储和管理请求源终端的终端ID、请求源终端的操作状态、管理系统50已收到登录请求信息的接收日期和时间、以及请求源终端10的IP地址，以便管理发送登录请求的请求源终端的操作状态。

终端提取单元54通过使用发送登录请求的请求源终端的终端ID作为检索关键词来检索目的地列表管理DB 5004的目的地列表管理表（参见图12），并且读取能够与请求源终端通信的潜在目的地终端的终端ID，从而提取终端ID。终端提取单元54还通过使用发送登录请求的请求源终端的终端ID作为检索关键词在目的地列表管理表检索，并提取其它请求源终端的终端ID，所述请求源终端的终端ID注册为所述其它请求源终端的终端ID的潜在目的地终端。

终端状态获取单元55通过使用终端提取单元54提取的潜在目的地终端的终端ID作为检索关键词来检索终端管理DB 5003的终端管理表（参见图11），并读取终端提取单元54提取的每个终端ID的操作状态。因此，终端状态获取单元55能够获取能够与发送登录请求的请求源终端通信的潜在目的地终端的操作状态。终端状态获取单元55还通过使用终端提取单元54提取的终端ID作为检索关键词检索终端管理表，并获取发送登录请求的请求源终端的操作状态。

初级缩减单元56包括选择会话ID生成单元56a、终端IP地址提取单元56b、初级选择单元56c和优先级确定单元56d，以便在支持最终缩减过程的最终缩减过程之前执行初级缩减过程，在所述最终缩减过程中，多个扩展数据中继装置30缩减到一个扩展数据中继装置30。选择会话ID生成单元56a生成用于执行选择扩展数据中继装置30的会话的选择会话ID。终端IP地址提取单元56b基于包括在请求源终端发送的开始请求信息中的请求源终端的终端ID和目的地终端的终端ID来检索终端管理DB 5003的终端管理表（参见图11），从而提取每个相应的终端10的IP地址。初级选择单元56c从扩展数据中继装置管理DB 5001（参见图9）管理的扩展数据中继装置30中选择其操作状态是“在线”的扩展数据中继装置30的扩展数据中继装置ID，从而选择扩展数据中继装置30。

初级选择单元56c基于终端IP地址提取单元56b提取的请求源终端的IP地址和目的地终端的IP地址检索扩展数据中继装置管理DB 5001的扩展数据中继装置管理表（见图9），并检查请求源终端和目的地终端中的每一个的IP地址的每个点地址相对于扩展数据中继装置30的IP地址的每个点地址是相同的还是不同的。初级选择单元56c从最高结合分数按顺序选择最高的两个扩展数据中继装置30，所述最高结合分数中，关于终端10的地址优先级分数中较高的地址优先级分数和传输速率优先级分数结合在一起。因此，扩展数据中继装置30被进一步选择。

在本实施例中，按照从最高分数向下的顺序选择最高的两个扩展数据中继装置30。然而，本发明并不局限于这个示例。只要能够尽可能地缩减扩展数据中继装置30，那么按照从最高分数向下的顺序选择最高的三个或者更多个扩展数据中继装置30是可能的。

优先级确定单元56d参照优先级管理DB 5006的地址优先级管理表（参见图14），并为初级选择单元56c检查的每个扩展数据中继装置30确定地址优先级的分数。优先级确定单元56d基于扩展数据中继装置管理DB 5001（参见图4）管理的每个扩展数据中继装置30的最大数据传输速率检索传输速率优先级管理DB 5006的传输速率优先级管理表（参见图15），并确定初级选择单元56c执行的初级缩减处理所缩减的每个扩展数据中继装置30的传输速率优先级的分数。

会话管理单元57在存储单元5000（参照图4）的会话管理DB 5005中以相关联的方式存储和管理选择会话ID生成单元56a生成的选择会话ID、请求源终端的终端ID，以及目的地终端的终端ID。会话管理单元57在会话管理DB 5005（参照图4）中存储和管理由终端10的最终选择单元16c为每个选择会话ID最终选择的一个扩展数据中继装置30的扩展数据中继装置ID。

质量确定单元58通过使用扩展数据延迟时间作为检索关键词检索质量管理DB 5007的质量管理表（参见图16），并提取图像数据的相应图像质量，因此确定了要中继到扩展数据中继装置30的图像数据的图像质量。存储-读取处理单元59由如图3所示的HDD 205来实现，并执行在存储单元5000存储各种数据以及读取存储在存储单元5000的各种数据的处理。

扩展数据延迟时间管理单元60通过使用目的地终端的IP地址作为检索关键词检索终端管理DB 5003的终端管理表（参见图11），提取相应的终端ID，并在会话管理DB 5005的会话管理表（参见图13）中，在相应于包括所提取的终端ID的记录中的扩展数据延迟时间的字段部分中，存储和管理由扩展数据信息指示的扩展数据延迟时间。

扩展数据中继请求单元61请求从扩展数据中继装置（30a，30b，30c，和30d）中选择的扩展数据中继装置开始中继扩展数据。在这种情况下，扩展数据中继请求单元61通过发送-接收单元511将指示了请求开始中继扩展数据的扩展数据中继请求信息发送到选择的扩展数据中继装置。

基本数据中继请求单元62请求预定的基本数据中继系统40开始中继基本数据。更具体地，当从终端10接收到指示通信的开始的开始请求信息时，基本数据请求单元62从基本数据中继系统管理DB的基本数据中继系统管理表（见图17）获取基本数据中继系统的选择装置的IP地址。然后，基本数据中继请求单元62基于所获取的IP地址通过发送-接收单元511将指示了对基本数据的中继的开始的基本数据中继请求信息发送到选择装置410。

本实施例的处理和操作

以上描述了根据本实施例的传输系统1的配置和功能（或装置）。参见图18到26，将给出本实施例的传输系统1所执行的处理方法的解释。图18是用于管理指示每个扩展数据中继装置30的状态的状态信息的处理的顺序图，所述状态信息从每个扩展数据中继装置30发送到管理系统50。图19是用于开始传输终端10之间的通信的预备处理的顺序图。图20是缩减扩展数据中继装置30的处理的顺序图。图21是缩减扩展数据中继装置30的过程的流程图。图22是示出用于执行缩减扩展数据中继装置30的处理的分数计算的示意图。图23是终端10选择扩展数据中继装置30的处理的顺序图。图24是终端选择扩展数据中继装置30的处理的流程图。图25是在终端之间发送和接收图像数据和音频数据的处理的顺序图。图26是通过由基本数据中继系统中继基本数据来在终端之间发送和接收基本数据的处理的顺序图。

参见图18，将给出管理指示了每个扩展数据中继装置30的状态的状态信息的处理的解释，所述状态信息从每个扩展数据中继装置30发送到管理系统50。在每个扩展数据中继装置30中，如图4所示的状态检测单元32周期性地检测其扩展数据中继装置30的操作状态（Sl-1到Sl-4）。每个扩展数据中继装置30的发送-接收单元31通过通信网络2周期性地发送每条状态信息到管理系统50，以便允许管理系统50来实时管理每个扩展数据中继装置30的操作状态（步骤S2-1至S2-4）。每条状态信息包括每个扩展数据中继装置30的扩展数据中继装置ID，以及由相应于每个扩展数据中继装置ID的扩展数据中继装置30的状态检测单元32检测的操作状态。根据本实施例，在示出的例子中，扩展数据中继装置（30a，30b和30d）正常地操作在“在线”状态，而扩展数据中继装置30c在“离线”状态，这是因为使扩展数据中继装置30c执行中继操作的程序出现了故障。

管理系统50的发送-接收单元51接收从每个扩展数据中继装置30发送的状态信息，并且该状态信息由存储单元5000的扩展数据中继装置管理DB5001（参见图9）通过每个扩展数据中继装置ID的存储-读取处理单元39存储和管理（步骤S3-1至S3-4）。因此，为每个扩展数据中继装置ID，由如图 9所示的扩展数据中继装置管理表存储和管理操作状态“在线”、“离线”和“故障”之一。同时，为每个扩展数据中继装置ID存储和管理管理系统50已经接收到的状态信息的接收日期和时间。当扩展数据中继扩展装置30不发送状态信息时，操作状态的字段和接收日期和时间的字段保持空白，或者用前次接收时的接收日期和时间以及操作状态填充。

参见图19，将给出用于开始终端10aa和终端10db之间的通信的准备处理的解释。当用户开启如图2所示的电源开关109时，图4所示的操作-输入接收单元12接收通电并开启电源（步骤S21）。当接收到通电时，登录请求单元13通过通信网络2自动将指示登录请求的登录请求信息从发送-接收单元11发送到管理系统50（步骤S22）。登录请求信息包括终端ID和用于识别其终端10aa的密码，所述终端10aa是请求源。所述终端ID和密码是通过存储-读取处理单元19从存储单元1000读取并由发送-接收单元11发送的数据。当登录请求信息从终端10aa传输到管理系统50时，接收侧的管理系统50可以识别发送侧的终端10aa的IP地址。

管理系统50的终端认证单元52通过使用发送-接收单元51接收的登录请求信息所包括的终端ID和密码作为检索关键词检索存储单元5000的终端认证管理DB5002的终端认证管理表（见图10），并通过确定相同终端ID和密码是否由终端-认证管理DB5002管理来执行终端认证（步骤S23）。当终端认证单元52确定了管理相同的终端ID和密码，并由此确定从具有有效访问权限的终端10发送的登录请求时，状态管理单元53以相关联的方式在终端管理DB5003（见图11）中存储终端10aa的终端ID、操作状态、接收登录请求信息的接收日期和时间，以及终端10aa的IP地址（步骤S24）。因此，如图11所示的终端管理表以关联的方式管理了终端ID“01aa”、操作状态“在线”、接收日期“2009.11.10,13:40”、和终端IP地址“1.2.1.3”。

管理系统50的发送-接收单元51经由所述通信网络2将指示终端认证单元52获取的认证结果的认证结果信息发送到发送登录请求的请求源终端（终端10aa）（步骤S25）。在本实施例中，对终端认证单元52确定终端具有有效访问权限的示例进行了解释。

管理系统50的终端提取单元54通过使用发送登录请求的请求源终端（终端10aa）的终端ID“01aa”作为检索关键词检索目的地列表管理DB5004的目的地列表管理表（参见图12），并读取和提取能够与请求源终端（终端10aa）通信的潜在目的地终端的终端ID（步骤S26）。在此示例中，提取出与请求源终端（终端10aa）的终端ID“01aa”相关联的各个目的地终端（10ab，10ba，和10db）的终端ID“01ab”、“01ba”和“01db”。

终端-状态获取单元55通过使用终端提取单元54提取的潜在目的地终端的终端ID（“01ab”，“01ba”，和“01db”）作为检索关键词检索终端管理DB5003（参见图11），并读取终端提取单元54提取的各个终端ID的操作状态（“离线”、“在线”、“在线”），从而获取终端（10ab，10ba，10db）的操作状态（步骤S27）。

发送-接收单元51通过通信网络2将含有在步骤S27用作检索关键词的终端ID（“01ab”，“01ba”，和“01db”）以及各个目的地终端（10ab，10ba，和10db）的操作状态（”离线”、“在线”、“在线”）的目的地状态信息发送到请求源终端（终端10aa）（步骤S28）。因此，请求源的终端（终端10aa）可以识别作为可以与请求源终端（终端10aa）进行通信的潜在目的地终端的各个终端（10ab，10ba，和10db）的当前操作状态（“离线”、“在线”、和“在线”）。

管理系统50的终端提取单元54通过使用已发送登录请求的请求源终端（终端10aa）的终端ID“01aa”作为检索关键词来检索目的地列表管理DB5004（参照图12），并提取其他请求源终端的终端ID，请求源终端（终端10aa）的终端ID“01aa”注册为所述其他请求源终端的潜在目的地终端（步骤S29）。在如图12所示的目的地列表管理表中，待提取的其他请求源终端的终端ID是“01ab”、“01ba”、和“01db”。

管理系统50的终端状态获取单元55通过使用已发送登录请求的请求源终端（终端10aa）的终端ID“01aa”作为检索关键词来检索终端管理DB5003（参见图11），并获取已发送登录请求的请求源终端（终端10aa）的操作状态（步骤S30）。

发送-接收单元51将包括请求源终端（终端10aa）的终端ID“01aa”和在步骤S30获取的“在线”的操作状态发送到与在步骤S29提取的终端ID（“01ab”，“01ba”，和“01db”）对应的终端（10ab，10ba，10db）之中的、在终端管理表中（参见图11）的操作状态是“在线”的终端（“10ba”和“10db”）（步骤S31-1和S31-2）。在发送-接收单元51发送目的地状态信息到终端（10ba和10db）时，发送-接收单元51基于终端ID（“01ab”、“01ba”）参照如图11所示的终端管理表管理的终端的IP地址。因此，能够将发送登录请求的请求源终端（终端10aa）的终端ID“01aa”和“在线”的操作状态，通知给能够与作为目的地并且发送登录请求的请求源终端（终端10aa）通信的每个目的地终端（终端10db和10ba）。

在其他终端10中，与上述步骤S21相似，当用户开启如图3所示的电源开关109时，如图4所示的操作-输入接收单元12接收通电，再执行与步骤S22至步骤S31-1，步骤S31-2相同的过程。同样的解释就不重复了。

参见图26，将给出通过基本数据中继装置430中继基本数据和音频数据来在终端之间进行通信的处理的解释。在本实施例中，请求源终端（终端10aa），根据在步骤S28接收的目标状态信息，可以从作为潜在终端的终端10中与操作状态是在线的终端（10ba和10db）中至少一个进行通信。在下文中，将描述一个示例，在其中请求源终端（终端10aa）的用户选择与目的地终端（终端10db）开始通信。

当用户按压如图2所示的操作按钮108以选择终端10db时，如图4所示的操作-输入接收单元12接收开始与目的地终端（终端10db）进行通信的请求（步骤S41）。终端10aa的发送-接收单元11发送包括请求源终端（终端10aa）的终端ID“01aa”和目的地终端（终端10db）的终端ID“01db”并指示了通信的开始的开始请求信息（步骤S42）。因此，管理系统50的发送-接收单元51接收开始请求信息并识别请求源终端（终端10aa）的IP地址“1.2.1.3”为传输源。

基本数据中继请求单元62从基本数据中继系统管理DB的基本数据中继系统管理表（参见图17）获取基本数据中继系统的选择装置的IP地址（步骤S101）。在这个示例中，获取选择装置的IP地址“1.4.1.1”。基本数据中继请求单元62通过使用包括在开始请求信息中的请求源终端ID和目的地终端ID作为关键词从终端管理DB的终端管理表（参见图11）获取请求源终端的IP地址和目的地终端的IP地址（步骤S102）。在这个示例中，获取了请求源终端的IP地址“1.2.1.3”和目的地终端的IP地址“1.3.2.4”。

基本数据中继请求单元62，通过传输-接收单元51向选择装置发送包括了请求源终端（终端10aa）的IP地址“1.2.1.3”和目的地终端（终端10db）的IP地址“1.3.2.4”并指示对基本数据的中继的开始的请求的基本数据中继开始请求信息（步骤S103）。

当选择装置410的发送-接收单元411接收基本数据中继开始请求信息时，选择单元412从连接数管理DB 4101的连接数管理表（参见图7）管理的基本数据中继装置（430a和430b）中获取连接数最小的基本数据中继装置的IP地址（步骤S104）。在这个例子中，获取了基本数据中继装置的IP地址“1.4.2.3”。连接数管理单元413通过存储-读取处理单元419将连接数管理表中与IP地址“1.4.2.3”相关联的连接数从“2”更新到“4”（S105）。

选择装置410的发送-接收单元411基于获取的IP地址，将包括请求源的终端（终端10aa）的IP地址“1.2.1.3”和目的地终端（终端10db）的IP地址“1.3.2.4”并且指示基本数据和音频数据的中继的开始的请求的基本数据中继开始请求信息发送到基本数据中继装置430b（步骤S 106）。因此，基本数据中继装置430b的基本数据中继单元436指定请求源终端（终端10aa）或者目的地终端（终端10db）作为目的地，并将包括选择装置410的IP地址以及指示了基本数据和音频数据的传输的请求的基本数据传输请求信息发送到选择装置410（步骤S107-1和S107-2）。选择装置410发送接收到的基本数据传输请求信息到作为目的地的请求源终端（终端10aa）或者目的地终端（终端10db）（步骤S 108-1和S108-2）。请求源终端（终端10aa）和目的地终端（终端10db）经由选择装置410分别发送基本数据和音频数据到基本数据中继装置430b来作为该请求的响应。基本数据中继装置430b的中继单元436将从一个终端接收的基本数据等中继到另一个终端，从而，建立用于基本数据通信的会话（步骤S 108）。

将要参见图20来解释请求源终端（终端10aa）和目的地终端（终端10db）之间通信扩展数据的过程。当管理系统50的发送-接收单元51从终端10aa接收到指示通信的开始的开始请求信息时（步骤S42，在图20和26），状态管理单元53基于包括在开始请求信息中的请求源终端（终端10aa）的终端ID“01aa”和目的地终端（终端10db）的终端ID“01db”，将与终端管理DB 5003的终端管理表（参见图11）中的包括终端ID“01aa”和终端ID“01db”的记录中的操作状态对应的字段部分的内容改为“忙碌”（步骤S43）。在这个状态下，请求源终端（终端10aa）和目的地终端（终端10db）之间的通信（呼叫）没有开始；然而，指示了忙碌状态。因此，当其他终端10试图与请求源终端（终端10aa）或目的地终端（终端10db）通信时，输出指示忙碌状态的音频或显示。

将在下面描述在步骤S44至S48和步骤S61-1至S66执行选择扩展数据中继装置30的会话的处理。选择会话ID生成单元56a生成用于执行选择扩展数据中继装置30的选择会话ID（步骤S44）。会话管理单元57在存储单元5000的会话管理DB 5005（参见图4）中以相关联的方式存储和管理在步骤S44生成的选择会话ID“se1”、请求源终端（终端10aa）的终端ID“01aa”、目的地终端（终端10db）的终端ID“01db”（步骤S45）。

管理系统50的初级缩减单元56，根据扩展数据中继装置管理DB 5001、终端管理DB 5003、和优先级管理DB5006，来初级缩减扩展数据中继装置30，以在请求源的终端（终端10aa）和目的地终端（终端10db）之间中继通信（步骤S46）。

下面将参见图21详细描述步骤S46的过程。终端IP地址提取单元56b基于请求源终端（终端10aa）的终端ID“01aa”和目的地终端（终端10db）的终端ID“01db”检索终端管理DB 5003（参见图11），并提取相应终端（10aa和10db）的IP地址（“1.2.1.3”和“1.3.2.4”）（步骤S46-1）。初级选择单元56c选择扩展数据中继装置管理DB5001（参见图9）管理的扩展数据中继装置30的操作状态中处于“在线”状态的扩展数据中继装置（30a，30b和30d）的扩展数据中继装置ID（111a，111b和111d）（步骤S46-2）。初级选择单元56c基于在步骤S46-1提取的请求源终端（终端10aa）的IP地址“1.2.1.3”和目的地终端（终端10db）的IP地址“1.3.2.4”，检索扩展数据中继装置管理DB5001（参见图9），并检查请求源终端（终端10aa）和目的地终端（终端10db）的IP地址（“1.2.1.3”和“1.3.2.4”）的每个点地址相对于在步骤S46-2中选择的扩展数据中继装置（30a，30b和30d）的IP地址（“1.2.1.2”，“1.2.2.2”和“1.3.2.2”）的每个点地址是相同的还是不同的（步骤S46-3）。

优先级确定单元57c通过参照优先级管理DB5006（参见图14）确定在步骤S46-3检查的每个扩展数据中继装置（30a，30b和30d）的地址优先级的分数（步骤S46-4）。确定处理的结果表示在图22所示的表中。图22是用于执行缩减扩展数据中继装置30的处理的优先级分数的计算的示意图。在图22中，为每个扩展数据中继装置ID提供地址优先级的分数、传输-速率优先级的分数、和结合分数。为每个扩展数据中继装置30提供请求源终端（终端10aa）的分数和目的地终端（终端10db）的分数作为地址优先级的分数。结合分数是两个地址优先级分数之中的较高的分数和传输-速率优先级分数的总分数。

在本实施例中，扩展数据中继装置30a的IP地址“1.2.1.2”相对于请求源终端（终端10aa）的IP地址“1.2.1.3”是“相同的.相同的.相同的.不同的”,从而，如图22所示，地址优先级的分数是“5”。扩展数据中继装置30a的IP地址“1.2.1.2”相对于目的地终端（终端10db）的IP地址“1.3.2.4”为“相同的.不同的.不同的.不同的”，从而，地址优先级的分数是“1”。扩展数据中继装置30b的IP地址“1.2.2.2”相对于请求源终端（终端10aa）的IP地址“1.2.1.3”为“相同的.相同的.不同的.不同的”，从而地址优先级的分数是“3”。扩展数据中继装置30b的IP地址“1.2.2.2”相对于目的地终端（终端10db）的IP地址“1.3.2.4”为“相同的.不同的.相同的.不同的”，从而，地址优先级的分数是“1”。扩展数据中继装置30d的IP地址“1.3.2.2”相对于请求源终端（终端10aa）的IP地址“1.2.1.3”为“相同的.不同的.不同的.不同的”，从而地址优先级的分数是“1”。扩展数据中继装置30d的IP地址“1.3.2.2”相对于目的地终端（终端10db）的IP地址“1.3.2.4”为“相同的.相同的.相同的.不同的”，从而地址优先级的分数是“5”。

回来再参见图21，优先级确定单元57d基于扩展数据中继装置管理DB5001（参见图9）管理的每个扩展数据中继装置30的最大数据传输速率，检索优先级管理DB 5006的传输速率优先级管理表（参见图15），并确定通过在步骤S46-2中的初级减缩处理减缩的每个扩展数据中继装置（30a，30b和30d）的传输速率优先级的分数（步骤S46-5）。在本实施例中，如图9所示，扩展数据中继装置30a的最大数据传输速率是100（Mbps），从而参照图15所示的传输速率优先级，传输速率优先级为3分。类似地，扩展数据中继装置30b的最大数据传输速率通过计算是1000（Mbps），所以，传输速率的优先级为5分。类似地，扩展数据中继装置30d的最大数据传输速率通过计算是10（Mbps），从而传输速率优先级是1分。

初级选择单元56c为每个扩展数据中继装置（30a，30b和30d）从总分中选择从最高分向下顺序的两个最高的扩展数据中继装置30，所述总分中终端（10aa和10db）的地址优先级的两个分数中较高的分数与传输速率优先级分数相结合（步骤S46-6）。在本实施例中，如图22所示，各个扩展数据中继装置ID（111a，111b和111d）的总分数是“8”、“8”和“5”，从而选择具有扩展数据中继装置ID“111a”的扩展数据中继装置30a和具有扩展数据中继装置ID“111b”的扩展数据中继装置30b。

当在上述步骤S46的缩减过程完成后，如图4所示的发送-接收单元51 将通知经缩减的扩展数据中继装置30的数目的扩展数据中继装置缩减信息发送到目的地终端（终端10db）（步骤S47）。扩展数据中继装置缩减信息包括在步骤S46缩减的扩展数据中继装置30的数目（即，“2”）、请求源终端（终端10aa）的终端ID“01aa”和选择会话ID“se1”。因此，终端10db可以识别扩展数据中继装置30的数量、在具有选择会话ID“se1”的会话中请求远程会议的开始的终端10、和管理系统50的IP地址“1.1.1.2”，所述管理系统50是扩展数据中继装置缩减信息的发送源。

终端10db通过通信网络2将指示扩展数据中继装置缩减信息的接收完成的接收完成信息从发送-接收单元11发送到管理系统50（步骤S48）。接收完成信息包括会话ID“se1”。因此，管理系统50可以识别出具有会话ID“se1”的会话进行的扩展数据中继装置的数量的通知已完成、以及目的地终端（终端10db）的IP地址“1.3.2.4”，所述目的地终端是传输源。

参照图23，将给出用于选择扩展数据中继装置30的由目的地终端（终端10aa）执行的处理的解释。开始远程会议之前，管理系统50将用于请求提前中继的事先中继请求信息发送到在步骤S46缩减的每个扩展数据中继装置（30a和30b）（步骤S61-1和S61-2）。事先中继请求信息包括会话ID“se1”、请求源终端（终端10aa）的IP地址“01aa”、和目的地终端（终端10db）的IP地址“01db”。因此，扩展数据中继装置（30a和30b）可以识别选择会话、请求源终端、目的地终端、和管理系统50的IP地址“1.1.1.2”，所述管理系统50是事先中继请求信息的传输源。

远程会议开始之前，每个扩展数据中继装置（30a和30b）从发送-接收单元31经由通信网络2，向在步骤S61-1和S61-2识别的请求源终端（终端10aa）发送事先传输请求信息，所述事先传输请求信息指示发送含有互联网探索包（ping，Packet Internet Groper）（将在下面描述）的事先传输信息到每个扩展数据中继装置（30a和30b）自身的请求（步骤S62-1和S62-2）。事先传输信息包括会话ID“se1”。因此，请求源终端（终端10aa）能识别出，事先传输信息以及作为事先传输请求信息的发送源的扩展数据中继装置（30a和30b）的IP地址（“1.2.1.2”和“1.2.2.2”）被发送到每个扩展数据中继装置（30a和30b）。

管理系统50不直接将目的地终端（终端10db）的IP地址通知给请求源终端（终端10aa），但将目的地终端（终端10db）的IP地址在上述步骤S61-1 中通知给扩展数据中继装置30a，然后扩展数据中继装置30a请求请求源终端（终端10aa）发送事先传输信息到自身终端（扩展数据中继装置30a）。执行上面的处理是为了通过不通知每个终端10其他终端10的IP地址来确保安全性。

请求源终端（终端10aa）从发送-接收单元11通过通信网络2发送事先传输信息到扩展数据中继装置（30a和30b）（步骤S63-1和S63-2）。在传输图像数据和音频数据之前，发送事先传输信息到每个扩展数据中继装置（30a和30b）作为图像数据和音频数据的替代，并用来测量从请求源终端（终端10aa）传输到目的地终端（终端10db）接收所需的时间。事先传输信息包括用于确定请求源终端（终端10aa）、扩展数据中继装置（30a和30b）和目的地终端（终端10db）互相通信连接的ping、由请求源终端（终端10aa）发送的事先传输信息的传输日期和时间、以及会话ID“se1”。因此，每个扩展数据中继装置（30a和30b）可以识别事先传输信息已由具有选择会话ID“se1”的会话发送，并且也能够识别请求源终端（终端10aa）的IP地址“1.2.1.3”，所述请求源终端（终端10aa）是所述事先传输信息的发送源。

每个扩展数据中继装置（30a和30b）中继事先传输信息到包括在在上述步骤S61-1和S61-2接收到的事先中继请求信息中的目的地终端（终端10db）的IP地址“1.3.2.4”（步骤S64-1和S64-2）。因此，目的地终端（终端10db）可以识别事先传输信息已由具有会话ID“se1”的会话发送，并且也能够识别扩展数据中继装置（30a和30b）的IP地址（“1.2.1.2”和“1.2.2.2”），所述扩展数据中继装置（30a和30b）是事先传输信息的传输源（中继源）。

目的地终端（终端10db）的最终缩减选择单元16基于事先传输信息最终缩减到一个扩展数据中继装置30来为远程会议中继图像数据和音频数据（步骤S65）。

参考图4和图24，将在下面详细描述步骤S65中的处理。如图4所示的最终缩减单元16的测量单元16a为每个扩展数据中继装置（30a和30b）中继的每条事先传输信息测量终端10db的发送-接收单元11接收到事先传输信息的接收日期和时间（步骤S65-1）。计算单元16b基于包括在事前传输信息中的接收日期和时间和发送日期和时间之间的差，为每条事先传输信息计算从发送到接收每条事先传输信息所需的时间，所述每条事先传输信息的接收日期和时间如上计算（步骤S65-2）。最终选择单元16c确定是否多达“2”条的所有事先传输信息已在具有会话ID“se1”的会话中的已收到，“2”是用于中继的扩展数据中继装置30的数量（步骤S65-3）。当没有接收到所有的信息时（否），最终选择单元16c确定终端10db收到事先传输信息后，是否已经经过了预定时间（在本例中，1分钟)(步骤S65-4）。当预定时间还没过去时（否），处理控制返回到步骤S65-1。另一方面，当所有的信息在步骤S65-3中被接收时（是），或者在步骤S65-4中当预定的时间已经过去时（是），最终选择单元16c选择计算单元16b计算出的所需时间中最短的时间内中继事先传输信息的一个扩展数据装置30（步骤S65-5）。在本实施例中，示出的例子中，假设从发送到接收由扩展数据中继装置30a中继的事先传输信息所需的时间比从发送到接收由扩展数据中继装置30b中继的事先传输信息所需的时间短，则选择扩展数据中继装置30a。

在本实施例中，扩展数据中继装置30a在目的地终端（终端10db）侧缩减。然而，本发明并不局限于这个示例。通过使目的地终端（终端10db）将所有的指示了从发送到接收事先传输信息所需时间的所需时间信息发送到请求源终端（终端10aa）或管理系统50，使得请求源终端（终端10aa）侧或管理系统50侧能够最终缩减到一个扩展数据中继装置30a。

目的地终端（终端10db）通过通信网络2中从发送-接收单元11向管理系统50发送指示已选择扩展数据中继装置30a的选择信息（步骤S66）。选择信息包括会话ID“se1”和选择的扩展数据中继装置30a的扩展数据中继装置ID“111a”。因此，管理系统50可以识别出通过执行具有会话ID“se1”的会话已选择了扩展数据中继装置30a，并且还可以识别终端10db的IP地址“1.3.2.4”，所述终端10db是选择信息的发送源。

管理系统50的会话管理单元57在会话管理DB 5005的会话管理表（参见图13）中包括会话ID“se1”的记录中的、相应于扩展数据中继装置ID的字段部分中存储和管理在一端单独选择的扩展数据中继装置30a的扩展数据中继装置ID“111a”（步骤S67）。管理系统50的扩展数据中继请求单元61通过发送-接收单元51将指示中继开始的请求的中继开始请求信息发送到扩展数据中继装置30a（步骤S68）。中继开始请求信息包括用于中继的请求源终端（终端10aa）和目的地终端（终端10db）的IP地址（“1.2.1.3”和“1.3.2.4”）。因此，扩展数据中继装置30a的扩展数据中继单元36将包括扩展数据中继装置30a的IP地址并指示扩展数据的传输请求的扩展数据传输请求信息发送到请求源终端（终端10aa）和目的地终端（终端10db）（步骤S69-1和S69-2）。请求源终端（终端10aa）和目的地终端（终端10db）中的每一个发送扩展数据到扩展数据中继装置30a。扩展数据中继装置30a的扩展数据中继单元36将从一个终端接收的扩展数据中继到另一个终端，从而建立了通信扩展数据的对话（步骤S70）。

在步骤S47中，随同从管理系统50到目的地终端（终端10db）的扩展数据中继装置缩减信息的传输，目的地终端（终端10db）侧在步骤S48至S64-1和S64-2执行用于选择扩展数据中继装置（步骤S65）的处理。然而，本发明并不局限于这个示例。例如，在步骤S47中，管理系统50可以发送扩展数据中继装置缩减信息到请求源终端（终端10aa），从而从随后的步骤到步骤S64-1和S64-2，通信信息的发送侧和接收侧在请求源终端（终端10aa）和目的地终端（终端10db）之间切换。因此，请求源终端（终端10aa）作为替代可以在上述步骤S65中执行用于选择扩展数据中继装置处理，并且也可以作为替代在上述的步骤S66发送选择信息。

参考图4和25，将给出用于发送和接收扩展数据以在请求源终端（终端10aa）和目的地终端（终端10db）之间进行远程会议的处理的解释。在一个方向上从终端10aa到终端10db发送图像数据和音频数据的处理中，以及在向反方向上从终端10db到终端10aa发送图像数据和音频数据的处理中，执行相同的用于发送和接收图像数据和音频数据以及检测延迟时间的处理，因此将给出对一个方向上的通信的解释，并且将不给出相反的方向上的通信的解释。

请求源终端（终端10aa）的编码单元，通过使用存储在存储单元1000中的编解码器，对成像单元14a拍摄的对象的图像数据和音频输入单元15a音频输入的音频数据进行编码。具体而言，编码单元20将图像数据编码为一份基本数据和两份扩展数据（扩展数据1和的扩展数据2）。请求源终端（终端10aa）经由通信网络2将编码数据中的扩展数据从发送-接收单元11发送到扩展数据中继装置30a（步骤S81）。因此，扩展数据中继装置30a的发送-接收单元31接收两份扩展数据（扩展数据1和扩展数据2）。数据质量确认单元33通过使用目的地终端（终端10db）的IP地址“1.3.2.4”作为检索关键词，来检索质量改变管理DB 3001（参照图8），并提取要中继的图像数据的相应的图像质量（要中继的扩展数据），从而确认要中继的图像数据的图像的质量（步骤S82）。在本实施例中，图像数据的图像的经确认的图像质量是“高图像质量”，并且不改变要中继的扩展数据，从而该数据未经改变地（扩展数据1和扩展数据2）发送到目的地终端（终端10db）（步骤S83）。因此，目的地终端（终端10db）的发送-接收单元11接收扩展数据（扩展数据1和扩展数据2）。目的地终端（终端10db）的解码单元21通过使用扩展数据（扩展数据1和扩展数据2）和单独从基本数据中继装置430接收的基本数据，解码高图像质量的图像数据。目的地终端（终端10db）的解码单元21解码单独从基本数据中继装置430接收的音频数据。因此，图象显示控制单元14b在显示器120显示图像数据的图像，并且音频输出单元15b基于音频数据输出音频。

终端10db的延迟检测单元17在每个预定的时间（例如，一秒钟）上检测发送-接收单元11接收扩展数据所需的扩展数据延迟时间（步骤S84）。在本实施例中，将要描述扩展数据的延迟时间是200（毫秒）的例子。

目的地终端（终端10db）的发送-接收单元11经由通信网络2将指示扩展数据延迟时间“200（毫秒）”的扩展数据延迟信息发送到管理系统50（步骤S85）。因此，管理系统50可以识别扩展数据延迟时间和作为扩展数据信息的发送源的终端10db的IP地址“1.3.2.4”。

管理系统50的扩展数据延迟时间管理单元60通过使用目的地终端（终端10db）的IP地址“1.3.2.4”作为检索关键词，来检索终端管理DB 5003（参见图11），并提取相应的终端ID“01db”。此外，扩展数据延迟时间管理单元60在会话管理DB 5005的会话管理表（参见图13）中的终端ID“01db”的记录中的相应于扩展数据延迟时间的字段部分中，存储和管理扩展数据延迟信息所指示的扩展数据延迟时间“200（毫秒）”（步骤S86）。

质量确定单元58通过使用扩展数据延迟时间“200（毫秒）”作为检索关键词检索质量管理DB 5007（参见图16），并提取图像数据的相应的图像质量“中等图像质量”，从而确定图像质量为“中等图像质量”（步骤S87）。

发送-接收单元51通过使用会话管理DB的会话管理表（参见图13）中与终端ID“01db”相关联的扩展数据中继装置ID“111a”作为检索关键词来检索扩展数据中继装置管理DB 5001（参见图9），并提取相应的扩展数据中继装置30a的IP地址“1.2.1.2”（步骤S88）。发送-接收单元51通过通信网络2将指示在步骤S87确定的图像数据的图像质量“中等图像质量”的质量信息发送到扩展数据中继装置30a（步骤S89）。质量信息包括在步骤S86用作检索关键词的目的地终端（终端10db）的IP地址“1.3.2.4”。因此，扩展数据中继装置30a的质量改变管理单元34以相关联的方式在质量改变管理DB 3001（参照图8）中，存储和管理作为发送源（在本示例中，目的地终端（终端10db））的终端10的IP地址“1.3.2.4”以及要中继的图像数据的图像质量“中等图像质量”（步骤S90）。

类似于上述步骤S81，终端10aa发送两份扩展数据（扩展数据1和扩展数据2）形成的扩展数据到扩展数据中继装置30a（步骤S91）。因此，类似于如上所述的步骤S88，扩展数据中继装置30a的数据质量确认单元33通过使用目的地终端（终端10db）的IP地址“1.3.2.4”作为检索关键词来检索质量改变管理DB 3001（参照图8），并提取相应的要中继的图像数据的图像质量“中等图像质量”，从而确认要中继的图像数据的图像的质量（步骤S92）。在本实施例中，图像数据的经确认的图像质量是“中等图像质量”,其低于发送-接收单元31所接收的图像数据的“高图像质量”，从而数据-质量改变单元35将要中继的扩展数据从扩展数据1和扩展数据2二者缩减到仅仅扩展数据1，以改变图像数据的图像质量（步骤S93）。发送-接收单元31经由通信网络2发送扩展数据1到终端10db（步骤S94）。通过这种方式，当目的地终端（终端10db）在接收图像数据时发生延迟时，扩展数据中继装置30a改变图像的质量，从而有可能避免给参与远程会议的人带来不适的感觉。

本实施例的主要优点

根据上面描述的实施例，一种包括多个基本数据中继单元和为终端之间的每次通信选择一个基本数据中继单元的选择单元的基本数据中继系统，能够中继再现视频或音频所必需的基本数据。此外，扩展数据中继装置可以中继用于改善视频或音频的质量的扩展数据。因此，即使当扩展数据中继装置发生的故障导致无法中继扩展数据时，因为基本数据中继装置可以中继基本数据，所以可以维持所述终端之间的通信。

根据本实施例，为每个基本数据中继装置管理作为发送基本数据的终端的数目的连接数，并且从基本数据中继装置中选择具有最小连接数的用于中继基本数据的基本数据中继装置。因为由每个终端发送的基本数据的量是大致相同的，因此可以通过以上述的方法选择基本数据中继装置使得每个基本数据中继装置上的负载大致均匀。

根据本实施例，基本数据中继装置请求终端发送基本数据，并将响应请求而发送的基本数据中继到作为目的地的终端。扩展数据中继装置请求终端发送扩展数据，并将响应请而求发送的扩展数据中继到作为目的地的终端。因此，可以由具有高可用性的基本数据中继装置中继基本数据，并由扩展数据中继装置中继扩展数据。因此，即使在扩展数据中继装置中发生故障并且无法中继扩展数据时，可以由基本数据中继装置中继基本数据。因此，可以保持在终端之间的通信。

根据本实施例，管理系统请求从多个扩展数据中继装置选择的扩展数据中继系统开始中继扩展数据，并请求预定的基本数据中继系统开始中继基本数据。由于基本数据的量通常是小于的扩展数据的量，因此即使使用预定的基本数据中继系统，不会将大的负载施加到基本数据中继系统。此外，具有大数据量并且在传输中可能被延迟的扩展数据是由根据诸如传输速率之类的特性而被选中的扩展数据中继装置中继，从而可以提高通信质量。

根据本实施例，终端10将图像数据和音频数据中的至少一个编码成基本数据和扩展数据，发送编码的基本数据到基本数据中继系统，并发送编码的扩展数据到扩展数据中继装置。因此，基本数据可以由具有高可用性的基本数据中继装置中继，扩展数据可以由扩展数据中继装置中继。因此，即使在扩展数据中继装置发生故障并且不能中继扩展数据时，基本数据可以由基本数据中继装置中继。因此，可以保持在终端之间的通信。

根据本实施例，即使可以获得例如扩展数据中继装置30的IP地址之类的通信网络2的环境，也难以获取互联网2i的环境。因此，基于关于环境的可用信息将多个扩展数据中继装置30缩减至两个或更多的扩展数据中继装置以中继图像数据和音频数据。之后，在终端10之间实际发送或者接收图像数据或音频数据之前，发送并接收作为图像数据或音频数据的替代的事先传输信息。结果，扩展数据中继装置30可以缩减到事实上可以以最快的速度中继事先传输信息的一个扩展数据中继装置。

更具体地，选择具有与终端10的IP地址中任何一个IP地址最接近和第二接近的IP地址的扩展数据中继装置，因此，可以缩减至最终使用两个或更多的潜在可能的扩展数据中继装置30。此后，通过潜在可能的扩展数据中继装置30在请求源终端和目的地终端之间实际上发送和接收事先传输信息。因此，可以从两个或更多的潜在扩展数据中继装置30中选择发送和接收事先传输信息所需的时间最短的一个扩展数据中继装置30。因此，可以以在通信网络2的当前环境下可能的最高质量来进行图像数据和音频数据的发送和接收。

根据本实施例，当缩减扩展数据中继装置30时，不仅会优先选择具有最接近执行远程会议的终端10的IP地址的IP地址的扩展数据中继装置30，而且还通过考虑每个扩展数据中继装置30的最大数据传输速率，选择两个或更多的扩展数据中继装置30。因此，可以根据通信网络2的当前环境，缩减潜在的扩展数据中继装置30。

根据本实施例，当缩减扩展数据中继装置30时，从扩展数据中继装置30选择其操作状态为在线的扩展数据中继装置。因此，可以根据通信网络2的当前环境，缩减扩展数据中继装置30。

本实施例的附加解释

本实施例的管理系统50和程序提供系统90可以由一台计算机组成，或者可以分成各个单元（功能或装置）并由任意地分配给每个单元的多个计算机组成。当程序提供系统90是由一台计算机组成时，程序提供系统90发送的程序可以由多个供传输的模块组成或者不必为了传输而分割。当程序提供系统90是由多个计算机组成时，多个模块可以以分割的状态从每台计算机发送。

本实施例的基本数据中继系统40可以由一台计算机组成，或者可以分割成各个单元（功能或装置）并由任意地分配给每个单元的多个计算机组成。当基本数据中继系统40是由一台计算机组成时，基本数据中继系统40发送的程序可以由多个供传输的模块组成或者不必为了传输而分割。当基本数据中继系统40是由多个计算机组成时，多个模块可以以分割的状态从每台计算机发送。

本实施例的扩展数据中继装置30可以由一台计算机组成，或者可以分割成各个单元（功能或装置）并由任意地分配给每个单元的多个计算机组成。当扩展数据中继装置30是由一台计算机组成时，扩展数据中继装置30发送的程序可以由多个供传输的模块组成或者不必为了传输而分割。当扩展数据中继装置30是由多个计算机组成时，多个模块可以以分割的状态从每台计算机发送。

当终端程序、扩展数据中继装置、和传输管理程序被提供给用户等使用时，在其中存储根据本实施例的终端程序、扩展数据中继装置程序、和传输管理程序的一种记录介质、在其中存储这些程序的HD 204、以及其中包括HD 204的程序提供系统90，可以在一个国家或者在该国家之外用作程序产品。

在上面描述的实施例中，图像数据的图像的分辨率作为将由扩展数据中继装置30中继的图像数据的图像的质量的示例，基于如图8所示的质量改变管理表和如图16所示的质量管理表来管理。然而，本发明并不局限于这个示例。例如，图像数据的图像质量的深度，音频数据的音频采样频率，或音频数据的音频的比特长度可以作为其它质量示例来管理。

在图9、11、和13中，管理接收日期和时间。然而，本发明并不限于本示例，至少管理接收日期和时间中的接收时间就足够了。

在上面描述的实施例中，如图7所示管理基本数据中继装置的IP地址，如图9所示管理扩展数据中继装置的IP地址，以及如图11所示管理终端的IP地址。然而，本发明并不局限于这个示例。例如，可以管理完全限定的域名（FQDN，Full Qualified Domain Name），只要它可以作为用于在通信网络2识别扩展数据中继装置30的扩展数据中继装置标识信息或者用于在通信网络2上识别终端10的终端标识信息。在这种情况下，相应于FQDN的IP地址由公知的域名服务器（DNS，Domain Name Sever）获取。“用于在通信网络2识别扩展数据中继装置30的扩展数据中继装置标识信息”可以描述为“指示在通信网络2上的扩展数据中继装置30的连接目的地的扩展数据中继装置连接目的地信息”或者“指示在通信网络2上的扩展数据中继装置30的目的地的扩展数据中继装置目的地信息”。类似地，“用于在通信网络2识别终端10的终端标识信息”可以称为“指示在通信网络2上的终端10的连接目的地的终端连接目的地信息”或者“指示在通信网络2上的终端10的目的地的终端目的地信息”。

在本实施例中，远程会议系统是作为传输系统1的示例来解释。然而，本发明并不局限于这个示例。例如，本发明可以应用到互联网协议（IP，Internet Protocol）电话或互联网电话的电话系统。传输系统1可以是汽车导航系统。在这种情况下，一个终端30相应于安装在汽车里的汽车导航装置，另一个终端30相应于在管理汽车导航的管理中心里的管理终端或者管理服务器，或安装在另一辆汽车的汽车导航装置。

在本实施例中，解释了基本数据中继装置430请求终端10发送基本数据等的以及终端10响应该请求发送基本数据到基本数据中继装置430的示例。然而，本发明并不局限于这个示例。例如，可以将基本数据中继系统40的选择装置410的IP地址从管理系统50发送到终端10并使终端10基于所述IP地址请求基本数据中继系统40中继基本数据。

在本实施例中，解释了当通信在终端之间开始时，选择单元412选择基本数据中继装置的示例。然而，本发明并不限于这个示例。例如，当由于基本数据中继装置故障或者基本数据中继装置维护而使基本数据中继装置无法中继基本数据时，可以选择新的基本数据中继装置，并且继续保持用于通信基本数据的对话。因此，即使在基本数据中继装置发生故障而无法中继基本数据时，可以由选择装置新选择的基本数据中继装置中继基本数据。因此，可以保持终端之间的通信。

在本实施例中，图像数据和音频数据是作为内容数据的示例来解释。然而，本发明并不限于本实施例，并且可以应用到触摸数据。在这种情况下，用户使用一个终端的触摸感发送到另一个终端。另外，内容数据可以是气味数据。在这种情况下，一个终端上的香味（气味）发送到另一个终端。内容数据是图像数据、音频数据、触摸数据、和气味数据中的至少一个就足够了。

在本实施例中，对传输系统1执行远程会议的示例进行了说明。然而，本发明并不局限于这个示例。例如，本发明可用于会议、家庭成员或朋友之间的普通对话，或在一个方向上的信息输出。

虽然已经围绕特定实施例描述了本发明，以完整和清楚的公开本发明，但所附权利要求并不因此受到限制，而是解释为包括本领域技术人员可能想到的落入本文阐述的基本教导的范围之内的所有修改和替代结构。

Claims

1.一种传输系统(1)，经由传输终端(10)之间的通信网络(2)发送和接收再现图像和音频所必需的基本数据以及用于改进所述图像和所述音频的质量的扩展数据，所述传输系统(1)包括：

第一选择单元，选择基本数据中继装置(430)，所述基本数据中继装置用于中继从作为传输源的第一传输终端发送到作为传输目的地的第二传输终端的所述基本数据；和

第二选择单元，选择扩展数据中继装置(36)，所述扩展数据中继装置用于中继从所述第一传输终端向所述第二传输终端发送的所述扩展数据，所述扩展数据中继装置不同于所述基本数据中继装置；其中

基于从第一选择单元发送的用于开始与第二传输终端的通信的请求信息，分别建立由第一选择单元选择的基本数据中继装置和第一及第二传输终端之间的会话以发送基本数据；和

分别建立由第二选择单元选择的扩展数据中继装置和第一及第二传输终端之间的会话以发送扩展数据。

2.如权利要求1所述的传输系统(1)，进一步包括：

基本数据中继系统(40)，包括多个基本数据中继装置，其中

基本数据中继系统(40)包括：

连接数管理单元(413)，用于管理用于识别每个所述基本数据中继装置(430)的基本数据中继装置标识信息以及连接数，所述连接数指示发送所述基本数据到基于所述基本数据中继装置标识信息所识别的基本数据中继装置的传输终端(10)的数量，其中

所述选择单元从所述基本数据中继装置(430)中选择其连接数是最小的基本数据中继装置(430)。

3.如权利要求1或2所述的传输系统(1)，其中

所述基本数据中继装置(430)将指示基本数据的传输的请求的信息发送到所述第一传输终端，以及将响应于所述请求而发送的基本数据中继到所述第二传输终端；以及

所述扩展数据中继装置(36)将指示扩展数据的传输的请求的信息发送到所述第一传输终端，以及将响应于所述请求而发送的扩展数据中继到所述第二传输终端。

4.如权利要求1至3中任意一项所述的传输系统(1)，进一步包括：

基本数据接收系统，具有多个基本数据中继装置；

扩展数据接收系统，具有多个扩展数据中继装置；和

传输管理系统，包括：

扩展数据中继请求单元(61)，用于请求从所述多个扩展数据中继装置(40)中选择的扩展数据中继装置开始中继所述扩展数据；以及

基本数据中继请求单元(62)，用于请求预定的基本数据中继装置(40)开始中继所述基本数据。

5.如权利要求1至4中任意一项所述的传输系统(1)，进一步包括：

第一传输终端(10)和第二传输终端中的每一个，包括：

编码单元(20)，用于将图像数据和音频数据中的至少一个编码为所述基本数据和所述扩展数据；以及

发送单元(11)，用于发送编码的基本数据到所述基本数据中继装置(40)，并且发送编码的扩展数据到所述扩展数据中继装置(30)。

6.一种用于传输系统(1)的传输方法，所述传输系统(1)经由传输终端(10)之间的通信网络(2)发送再现图像和音频所必需的基本数据以及用于改进所述图像和所述音频的质量的扩展数据，所述传输系统(1)包括：

第一选择单元，选择基本数据中继装置(430)；以及

第二选择单元，选择扩展数据中继单元(36)，以及

所述传输方法包括：

通过所述基本数据中继装置(430)中继从作为传输源的第一传输终端(10)发送到作为传输目的地的第二传输终端(10)的所述基本数据；以及

通过所述扩展数据中继单元(36)中继从所述第一传输终端(10)向所述第二传输终端(10)发送的所述扩展数据，其中

7.如权利要求6所述的传输方法，其中，

基本数据中继系统包括：多个基本数据中继装置，所述基本数据中继系统(40)包括

通过所述第一选择单元(410)从所述基本数据中继装置(430)中选择其连接数是最小的基本数据中继装置。

8.如权利要求6所述的传输方法，其中

通过所述基本数据中继装置将指示基本数据的传输的请求的信息发送到所述第一传输终端(10)，

通过所述基本数据中继装置将响应于所述请求而发送的基本数据中继到所述第二传输终端(10)，

通过所述扩展数据中继装置(36)将指示扩展数据的传输的请求的信息发送到所述第一传输终端(10)，以及

通过所述扩展数据中继装置(36)将响应于所述请求而发送的扩展数据中继到所述第二传输终端(10)。

9.如权利要求6所述的传输方法，其中，所述的传输系统(1)进一步包括：

基本数据中继系统，具有多个基本数据中继装置；

扩展数据中继系统，具有多个扩展数据中继装置；和

传输管理系统，包括

扩展数据中继请求单元(61)；以及

基本数据中继请求单元(62)，

所述传输方法进一步包括：

通过所述扩展数据中继请求装置(61)请求从所述多个扩展数据中继装置(30)中选择的扩展数据中继装置(30)开始中继所述扩展数据；以及

通过所述基本数据中继请求装置(62)请求预定的基本数据中继装置开始中继所述基本数据。

10.如权利要求6所述的传输方法，其中，所述的传输系统(1)进一步包括：

传输终端(10)和第二传输终端中的每一个，包括：

编码单元(20)；以及

发送单元(11)，

所述传输方法进一步包括：

通过所述编码单元(20)将图像数据和音频数据中的至少一个编码为所述基本数据和所述扩展数据；

通过所述发送单元(11)发送编码的基本数据到所述基本数据中继装置；以及

通过所述发送单元(11)发送编码的扩展数据到所述扩展数据中继装置。