CN103731627A

CN103731627A - 传送终端和传送方法

Info

Publication number: CN103731627A
Application number: CN201310466812.0A
Authority: CN
Inventors: 加藤喜永; 浅井贵浩
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2012-10-15
Filing date: 2013-10-09
Publication date: 2014-04-16
Also published as: US9615057B2; US20140104373A1; JP6171303B2; JP2014082573A

Abstract

本发明涉及传送终端和传送方法，其针对在网络拥挤致使传送容量下降的通信环境下，电视会议终端发生图像数据收信延迟，严重时还发生图像数据中断，甚至发生声音数据中断的问题，提供一种传送终端，该传送终端在这样的环境下，不仅能够中断通信对方的传送终端发送的除声音数据以外的内容数据，而且还中断该传送终端自己的除声音数据以外的内容数据的发送，从而有助于缓解网络拥挤，确保声音数据的传送。而且，此时的传送终端不要求通信对方的传送终端中断发送除声音数据以外的内容数据，因此不需要为此特意向对方传送终端提出中断发送除声音数据以外的内容数据的要求。

Description

传送终端和传送方法

技术领域

本发明涉及传送终端之间通过包括声音数据在内的内容数据的收发信来实现通信的传送终端和传送方法。

背景技术

近年来，为了节约出差经费和时间，用于举行远距离电视会议的电视会议系统得到普及。该电视会议系统通过在多个电视会议终端之间直接收发图像数据以及声音数据来进行通信。

此外，目前，一种在多个电视会议终端之间设置用于中继图像数据和声音数据的中继装置的电视会议系统也正在逐渐普及。设有该中继装置的电视会议系统采用视频编码技术，能够在暂时性的通信网络故障发生时或传送终端处理能力不够时，尽可能地将通信故障抑止到最小程度。该视频编码技术中使用一种被称之为H.264／SVC(Scalable Video Coding，可伸缩视频编码)的视频编码技术规格(参见专利文献1：JP特表2010-506461号公报)。

然而，在网络拥挤等造成传送容量下降的通信环境下，电视会议终端中图像数据的收信有可能被推迟，进而，不仅图像数据中断，就连数据量较图像数据少的声音数据也可能中断。

发明内容

针对上述问题，本发明提供一种传送终端，其通过与对方传送终端之间收发包含声音数据在内的内容数据来实现与所述对方传送终端之间的通信，其特征在于具备以下各部：收信部，用于接收所述内容数据之中由所述对方传送终端发送的第一内容数据；送信部，用于发送所述内容数据之中从该传送终端送往所述对方传送终端的第二内容数据；以及，延迟检测部，用于检测所述收信部收到所述第一内容信息时的延迟时间，当所述延迟检测部检测到的延迟时间超过规定值时，所述送信部中断所述第二内容数据中除声音数据以外的数据送信。

根据以上所述，本发明的效果在于，在网络拥挤等原因造成传送容量下降的通信环境下，传送终端不仅中断通信对方的传送终端发送的除声音数据以外的内容数据，而且还中断该传送终端自己的除声音数据以外的内容数据的发送，从而有助于缓解网络拥挤，确保声音数据的传送。

附图说明

图1是作为本发明实施方式前提的传送系统的示意图。

图2是在传送系统中图像数据、声音数据、以及各种管理信息的通信状态示意图。

图3A、图3B、图3C是用于说明图像数据画质概念的示意图。

图4是终端外观图。

图5是硬件结构模块图。

图6是管理系统、中继装置以及程序供给系统的功能模块图。

图7是构成传送系统的各终端、装置以及系统的功能模块图。

图8是画面管理表的示意图。

图9是最终筛选部的功能模块图。

图10是初步筛选部的功能模块图。

图11是改变图像状态管理表的示意图。

图12是中继装置管理表的示意图。

图13是终端认证管理表的示意图。

图14是终端管理表的示意图。

图15是收信名单管理表的示意图。

图16是时域管理表的示意图。

图17是地址优先度管理表的示意图。

图18是传送速度优先度管理表的示意图。

图19是图像状态管理表的示意图。

图20是管理表示各个中继装置运行状态的状态信息的处理时序图。

图21是在传送终端之间准备开始通话的准备阶段中的处理时序图。

图22是筛选中继装置的处理时序图。

图23是筛选中继装置的处理流程图。

图24是实行中继装置筛选时的优先度点数计算状态示意图。

图25A和图25B是本发明实施方式的传送终端选择中继装置的处理时序图。

图26是在传送终端中选择中继装置的处理流程图。

图27是在传送终端之间收发图像数据和声音数据的处理时序图。

图28是一例显示器显示的画面的示意图。

图29是改变显示器上显示的画面的处理流程。

图30是显示内容发生变化后的画面管理表的示意图。

图31是显示器上显示的改变后的画面的示意图。

图32是短信制作、发送以及显示的处理时序图。

图33是短信制作处理流程图。

图34是显示短信的流程图。

图35是显示器上显示的第一显示形态画面得示意图。

图36是显示器上显示的第二显示形态的画面的示意图。

图37是显示器上显示的第三显示形态的画面的示意图。

图38本发明第一实施方式涉及的通信延迟解消处理流程图。

图39本发明第二实施方式涉及的通信延迟解消处理流程图。

标记说明：1传送系统，10传送终端(终端)，11传送终端的收发信部(作为一例收信部，或者作为一例送信部)，14摄像部，18延迟检测部，30中继装置，50传送管理系统，60延迟时间管理部，70路由器，90程序提供系统，100保守系统，120显示器，1000、3000、5000存储部，1001图像管理数据库，3001改变图像状态管理数据库，5001中继装置管理数据库，5002终端认证管理数据库，5003终端管理数据库，5004收信名单管理数据库，5005时域管理数据库，5006优先度管理数据库，5007图像状态管理数据库。

具体实施方式

以下，首先利用图1～图37来说明作为本发明实施方式前提的技术方案。该技术方案虽然是本发明的前提，但并不是公知技术。

【作为本发明实施方式前提的技术方案】

《整体结构》

图1是作为本发明实施方式前提的传送系统的示意图，图2是传送系统中图像数据、声音数据、以及各种管理信息的通信状态示意图。图3A、图3B、图3C是用于说明图像数据画质概念的示意图。

在此针对用户利用电视会议终端等传送终端与对方用户通信举行电视会议的情况进行说明。说明中采用“电视会议”一词，但在一般情况下也称之为“视频会议”，两者意义相同。

首先，图1所示的传送系统1包括多个传送终端(10aa、10ab、…)、各个传送终端(10aa、10ab、…)用的显示器(120aa、120ab、…)、多个中继装置(30a、30b、30c、30d)、传送管理系统50、程序提供系统90、以及保守系统100。

多个终端10之间传送内容数据，如图像数据以及声音数据。

在以下的说明中，将传送终端简称为终端，将传送管理系统简称为管理系统。在表示多个终端(10aa、10ab、…)中的任意一个终端时，称之为终端10，在表示多个显示器(120aa、120ab、…)中任意一个显示器时，称之为显示器120，在表示多个中继装置(30a、30b、30c、30d)中任意一个中继装置时，称之为中继装置30。进而，将要求开始电视会议的终端称为要求终端，而将接受要求及接收中继数据的终端称为收信终端。

如图2所示，在传送系统1中，要求终端10A与收信终端10B之间建立经由管理系统50且用于各种管理信息通信的管理信息用时域sei。同时，要求终端10A与收信终端10B之间还建立经由中继装置30、分别用于高分辨率图像数据、中分辨率图像数据、低分辨率图像数据、以及声音图像数据的4个时域。在此将这4个时域统称为图像·声音数据用时域sed。

在此说明图像数据中的图像分辨率。图3A～图3C是用于说明作为图像数据的画质的概念示意图。图3A显示以横向160像素、纵向120像素构成的基础图像即低分辨率图像，图3B显示以横向320像素、纵向240像素构成的中分辨率图像，图3C显示以横向640像素、纵向480像素构成的高分辨率图像。在通过狭窄带域时，只有用来形成基础图像的低分辨率图像数据构成的低画质图像数据受到中继，而通过较宽的带域时，形成基础图像的低分辨率图像数据以及中分辨率的图像数据构成的中等画质图像数据受到中继，进而在通过宽带域时，形成基础图像的低分辨率图像数据、中分辨率的图像数据、以及高分辨率图像数据构成的高质量图像数据均受到中继。与图像数据相比，声音数据的数据量较小，为此，经过通信网络2中的带域时，无论是狭窄带域、还是较宽带域、或是非常宽的带域，声音数据均受到中继。

图1所示的中继装置30在多个终端10之间中继内容数据。管理系统50统一管理终端10的登录认证、终端10的传送(通信)状态的管理、收信名单的管理、以及中继装置30的通信状况等。图像数据的图像既可是动画也可以是静画，还可以同时包括动画和静画双方图像。

多个路由器(70a、70b、70c、70d、70ab、70cd)用于选择图像数据和声音数据的最佳传送路径。在以下的说明中，用路由器70表示路由器(70a、70b、70c、70d、70ab、70cd)中任意一个路由器。

程序提供系统90中具备下述HD(Hard Disk，硬磁盘)204，其中保存用于让终端10实现各项功能，或者说使终端10起各种作用的终端用程序，并能够向终端10发送该终端用程序。该终端用程序用于实现终端10的各项功能。此外，程序提供系统90的HD204中还保存用于实现中继装置30的各项功能，或者说让中继装置10起到各项作用的中继装置用程序，并向中继装置30发送该中继装置用程序。进而，程序提供系统90的HD204中还保存用于实现管理系统50各种功能，或者说让管理系统50起各项作用的传送管理用程序，并且向管理系统50发送该程序。

保守系统100是用于对管理终端10、中继装置30、管理系统50、以及程序提供系统90中至少一个系统进行维修、管理、保守的计算机。例如，当保守系统100设置在国内，而终端10、中继装置30、管理系统50、或者程序提供系统90设置在国外时，保守系统100经由通信网络2，对终端10、中继装置30、管理系统50、以及程序提供系统90中任意一个系统或装置进行远程维修、管理、保守等保守业务。另外，保守系统100不经由网络，对终端10、中继装置30、管理系统50、以及程序提供系统90中任意一个系统实行机型编号、制造编号、销售站、保修检点、或者故障历史的管理等的保守服务。

终端(10aa、10ab、10ac、…)、中继装置30a、以及路由器70a通过LAN2a连接进行通信。终端(10ba、10bb、10bc、…)、中继装置30b、以及路由器70b通过LAN2b连接进行通信。LAN2a和LAN2b由包含路由器70ab在内的专用线2ab连接进行通信，并被设置在预定区域A内。例如区域A为日本，LAN2a设置在东京事业所内，LAN2b设置在大阪事业所内。

另一方面，终端(10ca、10cb、10cc、…)、中继装置30c、以及路由器70c通过LAN2c连接进行通信。终端(10da、10db、10dc、…)、中继装置30d、以及路由器70d通过LAN2d连接进行通信。LAN2c和LAN2d由包含路由器70f在内的专用线2cd连接，可以通信，并被设置在预定区域B内。例如区域B为美国，LAN2c设置在纽约事业所内，LAN2b设置在华盛顿DC事业所内。区域A和区域B之间通过路由器70ab、70cd经由因特网2i连接进行通信。

管理系统50以及程序提供系统90通过因特网2i与终端10以及中继装置30连接进行通信。管理系统50以及程序提供系统90既可设置在区域A或区域B，也可设置在除此以外的其他区域。

以LAN2a、LAN2b、专用线2ab、因特网2i、专用线2cd、LAN2c、以及LAN2d构成通信网络2。该通信网络2中不但可以有线通信，有些部分还可以实行WiFi(Wireless Fidelity)或蓝牙(Bluetooth，注册商标)等无线通信。

图1中的各个终端10、中继装置30、管理系统50、各路由器70、程序提供系统90、以及保守系统100的下面显示的4个数字简易表示一般的IPv4中的IP地址。例如，终端10aa的IP地址为“1.2.1.3”。除了IPv4以外，还可以使用IPv6，在此为了方便，用IPv4进行说明。

终端10之间的通信不仅可以在多个地点(事业所)之间，或同一地点的不同办公室之间，还可以在室内或室内外或室外之间进行。在室外时，可以用手机通信网络等无线通信。

《硬件结构》

以下说明硬件结构。图4是终端10的外观图。在以下的说明中，设终端10的长度方向平行于X轴，在水平面内Y轴垂直于X轴，Z轴同时垂直于X轴和Y轴(平行于铅直方向)。

如图4所示，终端10具有筐体1100、臂1200、以及照相机框架1300。其中，筐体1100的后壁1110上设有未图示的吸气面，该吸气面上有多个吸气孔，筐体1100的前壁1120的表面上设有排气面1121，该排气面1121上有多个排气孔。随着筐体1100中内藏冷却扇的驱动，外部空气经由终端10后方的未图示吸气面吸入，而后经由排气面1121从终端10的前方排出。筐体1100右侧壁面1130中设有集音孔1131，用于收集下述内藏型麦克风114发出的声音、物音、以及各种杂音。

在筐体1100的右侧壁面1130一方设置操作面板1150。该操作面板1150上设有将在以下叙述的操作键108(108a～108e)、电源开关109、以及报警灯119，同时还设有多个声音输出孔构成的声音输出面1151，用于通过将在以下叙述的内藏型扬声器115输出的输出声音。筐体1100的左侧壁面一方设置收纳部1160，该收纳部1160被形成为凹部，用于收纳臂1200以及照相机框架1300。筐体1100的右侧壁面1130上设置多个接口(1132a～1132c)，该接口用于以导线电连接将在以下叙述的外设I／F118。另外在筐体1100的左侧壁面1140上设置未图示接口，该接口用于以显示器120用的导线120c电连接显示器I／F118。

在以下的叙述中，用操作键108表示操作键108a～108e中的任意操作键，并用接口1132表示接口1132a～1132c中的任意接口。

用铰链1210将臂1200安装在筐体1100上，该臂1200可相对于筐体1100在转动角度θ1的范围135°以内上下转动。图4显示转动角度θ1为90°时的状态。

照相机筐体1300中设有下述内藏型照相机112，可拍摄用户、文件资料或室内等景色。该照相机筐体1300上设有铰链1310，通过该铰链1300照相机筐体1300被安装到臂1200上。照相机框体1300相对于臂1200可在水平转动角度θ2的范围±180°内以及垂直转动角度θ3的范围±45°内作上下左右转动。图4所示状态下θ2为0°。

中继装置30、传送管理系统50、程序提供系统90、以及保守系统100的外观均与普通服务器及电脑的外观相同，在此省略外观说明。

图5是本发明实施方式的终端10的硬件结构。如图5所示，本实施方式的终端10包括：中央处理器(CPU，Central Processing Unit)101，用于控制终端10整体动作；只读存储器(ROM，Read Only Memory)102，其中保存用于CPU101启动的初始程序安装器(IPL，Initia l Program Loader)等程序；随机存取存储器(RAM，Random Access Memory)103，用于作为CPU101的工作区域；闪存104，用于存储终端程序以及图像和声音等各种数据；固态驱动器(SSD，Solid State Driver)105，按照CPU101的指令控制闪存104中各种数据的读取以及写入；介质驱动器107，用于控制闪存等存储介质106的数据读取或写入(存储)；操作键108，用于终端10的收信终端等时的选择操作；电源开关109，用于终端10的电源的接通与切断之间的转换；以及网络接口(I／F，Interface)111，用于利用通信网络2进行数据传送。

此外，终端10还包括：内藏型照相机112，用于根据CPU101的控制来拍摄被摄体并获得图像数据；拍摄元件I／F113，用于控制该照相机112的驱动；内藏型麦克风114，用于输入声音；内藏型扬声器115，用于输出声音；声音输入输出I／F116，用于根据CPU101的控制来处理麦克风114以及扬声器115之间的声音信号的输入输出；显示器I／F117，用于根据CPU101的控制来向外设显示器120传送图像数据；外设I／F118，用于连接各种外设；报警灯119，用于通知终端10发生的各种功能异常；以及，总线110，为如图2所示的电连接上述各个结构元件的地址总线或数据总线等。

显示器120是用液晶或有机电致发光形成的显示部，用于显示被摄体图像或操作用图标等，其通过导线120c连接显示器I／F117。导线120c既可以是模拟RGB(VGA)信号用导线，也可以是分量视频用的导线，还可以用高清晰度多媒体(HDMI，High-Definition Multimedia Interface)接口或数字视频接口(DVI，Digital Video interactive)信号用的导线。

照相机112包括透镜以及固体摄像元件，该固体摄像元件用互补金属氧化半导体(CMOS)或电荷耦合器件(CCD)等元件，将光转换为电荷，使被摄体图像(映像)电子化。

外设I／F118可以分别通过图4所示的插入框体1100上的连接口1132中的USB(Universal Serial Bus)导线等，电连接外设照相机、外设麦克风、以及外设扬声器等外部设备。在连接外设照相机时，按照CPU101的控制，相对于内藏型照相机，优先驱动外设照相机。与此相同，在连接外设麦克风或外设扬声器时，按照CPU101的控制，相对于内藏型麦克风114或内藏型扬声器115，优先驱动外设麦克风或扬声器。

存储介质106可在终端10上装卸。而且，该存储介质106如果是能够根据CPU101的控制来进行数据读取或写入的非易失性存储器，则不仅可以使用闪存104，还可以使用电可擦可编程ROM(EEPROM，Electrically Erasable andProgrammable ROM)等。

终端10设有照相机112、麦克风114以及扬声器115，但是终端10的构成并不受此限制，只要至少设置照相机112、麦克风114以及扬声器115的其中一种外设便可。在这种情况下，通过在外设I／F上设置外设来取代未设置的设备，起到照相机112、麦克风114以及扬声器115的作用。

进而，上述终端用程序为可安装格式或可实行格式的文件，可以存放到上述存储介质106等计算机可读存储介质中出售。该终端用程序既可存放在闪存104中，也可保存在ROM102中。

图6是管理系统50的硬件结构图。管理系统50包括：CPU201，用于控制整个管理系统50的动作；ROM202，用于保存IPL等CPU201驱动用程序；RAM203，为CPU201的工作区域；HD204，用于保存传送管理用程序等各种数据；硬磁盘驱动器(HDD，Hard Disk Drive)205，用于按照CPU201的指令来控制HD204中各种数据的读取或写入；介质驱动器207，按照CPU101的指令来控制闪存等存储介质206中各种数据的读取以及写入；显示器208，用于表示光标、菜单、窗口、文字或图像等各种信息；网络I／F209，用于利用通信网络2的数据传送；键盘211，具有多个键，用于输入文字、数据、各种指示等；鼠标212，用于进行各种指示的选择或实行、处理对象的选择、光标移动等；CD-ROM驱动器214，用于控制可装卸的存储介质如光盘驱动器即CD-ROM213中的各种数据的读取或写入；以及，总线210，为如图3所示的电连接上述各结构元件的地址总线或数据总线等。

上述传送管理用程序为可安装格式或可执行格式的文件，可以存放到上述存储介质206或CD-ROM213等计算机可读存储介质中出售。该传送管理用程序既可存放在HD204中，也可保存在ROM202中。

中继装置30的硬件结构与上述管理系统50的硬件结构相同，为此省略说明。但是，HD204中保存用于控制中继装置30的中继装置用程序。在此，中继装置用程序也是可安装格式或可实行格式的文件，可以存放到上述存储介质206或CD-ROM213等计算机可读存储介质中出售。除了HD204，该中继装置用程序也可保存在ROM202中。

程序提供系统90的硬件结构也与上述管理系统50的硬件结构相同，在此省略说明。但是，HD204中保存用于控制程序提供系统90的程序提供系统用程序。在此，程序提供系统用程序也是可安装格式或可实行格式的文件，还可以存放到上述存储介质206或CD-ROM213等计算机可读存储介质中出售。除了HD204以外，该程序提供系统用程序，也可保存在ROM202中。

关于上述可装卸存储介质，例如还可构成为，如存放到CD-R(CompaceDisk Recor dable，可录光盘)、DVD(Digital Versatile Disk，数字多功能盘)、蓝光盘等计算机可读的存储介质中来提供。

《功能结构》

下面说明本实施方式的功能结构。图7是构成本实施方式的传送系统1的各终端、装置以及系统的功能模块图。在图7中，终端10、中继装置30以及管理系统50之间通过通信网络2连接，进行数据通信。另外，图1所示的程序提供系统90以及保守系统100与电视会议的通信没有直接关系，因此图7中省略表示。

<终端功能结构>

终端10包括收发信部11、操作输入接受部12、登录要求部13、摄像部14、声音输入部15a、声音输出部15b、最终筛选部16、显示控制部17、延迟检测部18、存储及读取处理部19、抽取部20、声音判断部21、以及更改部22。CPU101执行从闪存104上载并展开到RAM103上的终端用程序，上述各功能部是通过图5所示的结构元件中的任意元件执行CPU101的指令动作而得以实现的功能或具有该功能的装置。终端10还具备以图5所示的RAM103以及以图5所示的闪存104构成的存储部1000。

画面管理表

存储部1000中具有图8所示的画面管理表，该画面管理表构成画面管理数据库(DB，DataBase)1001。画面管理表中相关地保存画面编号以及终端ID，该画面编号(为一例画面确认信息，用于确认显示在显示器120上的画面)是用于分别确认显示器120上显示的多个画面，终端ID(为一例终端10的识别信息)用于识别发送该多个画面上显示的图像的图像数据的送信终端即终端10。图8中的编号“1”～“8”是用于确认显示器120上显示的画面的画面编号。

画面管理表中还相关地保存用于确认显示器120上未显示的假想画面的画面编号和用于识别分配给这些未显示画面的图像的图像数据的送信终端即终端10的终端ID。图8中的“补1”～“补3”以及此后的编号是用于确认显示器120上未显示画面的画面编号。

终端的各功能部

以下利用图5和图7详细说明终端10的各功能部。在以下的说明中还包含该终端10与图5所示的结构元件中实现终端10各项功能的主要结构元件之间的关系。

图7所示的终端10的收发信部11通过执行图5所示CPU101的指令并借助于网络I／F111实现其功能，该收发信部11经由通信网络2与其他终端、装置或系统之间进行各种数据或信息的通信。在与收信终端开始通信之前，该收发信部11通过管理系统50接受表示作为收信候补的各终端的状态的状态信息。该状态信息不仅表示各终端10的运行状态(在线状态还是离线状态)，而且还进一步表示详细状态，例如除了表示在线状态以外，还进一步表示是否可以通话、是否正在通话、是否离开座位等。进而该状态信息中不仅表示各终端10的运行状态，而且还表示，如连接线与终端10之间断开、输出声音但不输出图像、或不输出声音(MUTE)等其他各种状态。以下说明一例状态信息所表示的运行状态。

操作输入接受部12通过执行图5所示CPU101的指令并借助于操作键108和电源开关109来实现其功能。该操作输入接受部12接受用户的各种输入。例如，当用户输入图5所示的电源开关109接通时，图7所示的操作输入接受部12便根据收到电源接通要求，接通电源。

登录要求部13通过执行图5所示的CPU101的指令来实现其功能。在收到上述电源接通要求后，收发信部11经由通信网络2，自动向管理系统50发送表示要求登录的登录要求信息、以及要求终端的当前的IP地址。而且，当用户输入电源开关109从接通状态转为断开时，收发信部11向管理系统50发送表示电源切断的状态信息，而后，操作输入接受部12使电源完全断开。这样，管理系统50便能够掌握终端10电源从接通改变为断开的状况。

摄像部14通过执行图5所示CPU101的指令并借助于照相机112和摄像元件I／F113来实现其功能。摄像部14拍摄被摄体后，输出拍摄的图像数据。

声音输入部15a通过执行图5所示CPU的指令并借助于声音输入I／F116实现其功能。在用麦克风114将用户的声音转换为声音信号后，输入有关该声音信号的声音数据。声音输出部15b执行图5所示CPU101发出的指令并通过声音输入输出I／F116实现其功能，向扬声器115输出有关声音数据的声音信号后，用扬声器115输出声音。

最终筛选部16实行最终筛选处理，从多个中继装置30中最终选定一个中继装置30，通过执行图5所示CPU101发送的指令，该最终筛选部16实现图9所示的计测部16a、计算部16b以及最终选择部16c的功能。

其中，计测部16a用于在收发信部11每次收到下述事先送信信息时计测该事先送信信息的收信日期及时刻。每当计测部16a计测收信日期及时刻时，计算部16b根据该收信日期及时刻与该事先送信信息内包含的送信日期及时刻之间的差值，计算事先送信信息从发送到收到所要的时间(T)。由最终选择部16c选定一台能够以计算部16b算出的所要时间中的最短所要时间来中继事先送信信息的中继装置。

显示控制部17通过执行图5所示CPU101发送的指令并借助于显示器I／F117实现其功能，用于控制下述收到的具有不同分辨率的图像数据的结合，并将结合后的图像数据送往显示器120。

而且，显示控制部17能够将从管理系统50收到的收信名单的信息以及各种短信送往显示器120，并在显示器120上显示收信名单以及各种短信。

进而，显示控制部17能够在显示器120上显示多个画面，这些画面分别显示多个对方终端10发送的图像数据所表示的图像。在显示图像或短信时，显示控制部17根据与图像数据或短信一起发送的终端ID，用图像管理表(参见图8)的画面编号确定显示器120中的画面，并将图像或短信显示到画面编号所对应的画面上。但对于画面管理表中表示显示器120上未显示画面的“补1”等画面编号，显示控制部17将短信显示到显示器120中不同于上述多个画面的其他画面上。

延迟检测部18通过执行图5所示的CPU101的指令实现其功能。延迟检测部18检测从其他终端10经由中继装置30送至的图像数据或声音数据的延迟时间(单位：ms)。具体为，延迟检测部18从预定的帧率30fps(frames per second)中减去当前时刻收到的图像数据的帧率来算出延迟时间。

存储及读取处理部19通过执行图5所示CPU101发送的指令或者执行图5所示CPU101发送的指令并借助于SSD105实现其功能，用于将各种数据保存到存储部1000中，或者从存储部1000中读取各种数据。该存储部1000中保存用于识别终端10的终端ID以及密码等数据。在与收信终端通信期间，该存储及读取处理部19还将每次收到的图像数据和声音数据重写到存储部1100上。其中，用重写之前的图像数据在显示器120上显示图像，并用重写之前的声音数据从麦克风115输出声音。

抽取部20通过执行图5所示CPU101发送的指令实现其功能。该抽取部20收到与短信数据一起由收发信部11发送的该短信数据的送信终端即终端10的终端ID时，基于该收到的终端10的终端ID，检索画面管理表(参见图8)，抽取对应的画面编号。

声音判断部21通过执行图5所示CPU101发送的指令实现其功能，用于检测收到的各声音数据对应的声音区间，判断是否存在具有有声区间的声音数据。可以利用公知技术实行该声音区间的检测(参见非专利文献：新美，声音认识，共立出版社，68～72页，1979)。

更改部22通过执行图5所示CPU101发送的指令实现其功能。用于在判断存在具有上述有声区间的声音数据时，更改画面管理表(参见图8)的内容，重新将与上述具有有声区间的声音数据一起送至的终端10的终端ID和终端10的制造商或经销商预先设定的画面编号进行相关处理。根据更改后的画面管理表内容，显示控制部17在显示器120中的多个画面上分别显示对应的画面。

终端ID以及将要在以下叙述的中继装置ID均采用能够毫无疑问地识别的语言、文字、标记、以及各种符号等识别信息表示。终端ID和中继装置ID还可以用上述语言、文字、标记以及各种符号中至少两个以上的组合构成的识别信息。

<中继装置的功能结构>

以下说明中继装置30的功能。中继装置30包括收发信部31、状态检测部32、图像状态确认部33、改变图像质量管理部34、图像质量更改部35、以及存储及读取处理部39。这些功能部通过图6所示的结构元件中的任意元件执行CPU201的指令动作，来实现其功能，在此，CPU201执行被展开到RAM203上的保存在HD204中的中继装置用程序。中继装置30还包括以图6所示的RAM203，以及／或者图6所示的HD204构成的存储部3000。

改变图像状态管理表

存储部3000中保存以图11所示的改变图像状态管理表构成的改变图像状态管理数据库3001。改变图像状态管理表中，接收经过中继装置30中继后的图像数据的收信终端即终端10的IP地址与图像状态相关地保存。该图像状态信息中表示收信终端改变中继装置30中继的图像数据的画质、或者中断图像数据的中继。

中继装置的各项功能部

以下详细说明中继装置30的各功能部。在以下关于中继装置30的各功能部的说明中，还包括各功能部与图6所示的构成元件中用于实现中继装置30各功能的主要元件与中继装置30之间的关系。

图7所示的中继装置30的收发信部31通过执行图6所示CPU201发送的指令并借助于网络I／F209实现其功能。该收发信部31经由通信网络2与其它终端、装置或系统之间进行各种数据或信息的通信。

状态检测部32通过执行图6所示的CPU201的指令实现其功能。状态检测部32检测具备该状态检测部32的中继装置30的运行状态。运行状态包括“在线”、“离线”、“正在通信”、或“暂停通信”。

图像状态确认部33通过执行图6所示CPU201发送的指令实现其功能。图像状态确认部33用收信终端的IP地址作为检索键，检索改变图像状态管理表(参见图11)，并通过抽取对应的图像状态信息，来确认将要中继的图像数据的画质或者将要中断中继的图像数据。

改变图像质量管理部34通过执行图6所示的CPU201的指令实现其功能，用来基于来自管理系统50的下述质量信息，更改改变图像状态管理数据库3001的内容。例如，在终端ID为“01aa”的要求终端即终端10aa、与终端ID为“01db”的收信终端即终端10db之间举行电视会议并收发高画质图像数据。在电视会议的举行期间中，因另一电视会议的要求终端即终端bb与收信终端即终端10ca之间经由通信网络2召开电视会议，造成收信终端即终端10db中发生图像数据收信延迟，此时，需要中继装置30将正在中继的图像数据的画质从高画质降低到中画质。在这种情况下，根据表示中画质的质量信息来改变改变画质管理数据库3001的内容，将中继装置30中继的图像数据的质量从高画质降低到中画质。

图像质量更改部35通过执行图6所示CPU201发送的指令实现其功能，用来基于上述经过更改的改变图像状态管理数据库3001的内容，改变送信终端10发送的图像数据的画质、或者中断图像数据的中继。

存储及读取部39通过执行图6所示CPU201发送的指令并借助于HDD205实现其功能，用实行存储部3000中各种数据的保存处理或读取处理。

<管理系统的功能结构>

管理系统50包括收发信部51、终端认证部52、状态管理部53、终端抽取部54、终端状态取得部55、初步筛选部56、时域管理部57、图像状态决定部58、存储及读取处理部59、延迟时间管理部60以及短信制作部61。CPU201执行被从HD204的保存中展开到ROM202上的管理系统用程序，通过图6所示各结构元件中的任意元件执行CPU的指令动作，来实现这些功能部的功能。管理系统50包括以图6所示的HD204构成的存储部5000。

中继装置管理表

存储部5000中具有图12所示的以中继装置管理表构成的中继装置管理数据库5001。该中继装置管理表中，每个中继装置30的中继装置ID与各自的运行状态、管理系统50收到的表示运行状态的状态信息的收信日期及时间、中继装置30的IP地址、以及中继装置30中的最大数据传送速度(单位：Mbps)相关地保存。例如，在图12所示的中继装置管理表中，中继装置ID为“111a”的中继装置30a的运行状态为“在线”，管理系统50收到状态信息的收信日期及时间为“2009.11.10.13:00”，该中继装置30a的IP地址为“1.2.1.2”，该中继装置30a中的最大数据传送速度为“100Mbps”。

终端认证管理表

存储部5000中还具有如图13所示的以终端认证管理表构成的终端认证管理数据库5002。该终端认证管理表中将所有受管理系统50管理的终端10的终端ID分别与各自的密码相关地保存。例如，图13所示的终端认证管理表中终端10aa的终端ID为“01aa”，密码为“aaaa”。

终端管理表

存储部5000中还具有如图14所示的以终端管理表构成的终端管理数据库5003。该终端管理表中将每个终端10的终端ID与该终端10作为收信终端时的终端名称、各个终端10的运行状态、管理系统50收到的下述登录要求信息的收信日期及时间、以及终端10的IP地址相关地保存。例如，如图14所示的终端管理表中，终端ID为“01aa”的终端10aa的终端名称为“日本东京事业所AA终端”，运行状态为“在线(可以通信)”，管理系统50收到登录要求信息的收信时间为“2009.11.10.13:40”，该终端10aa的IP地址为“1.2.1.3”。

收信名单管理表

存储部5000中还具有如图15所示的以收信名单管理表构成的收信管理数据库5004。在该收信名单管理表中，将提出开始电视会议通信要求的要求终端的终端ID与所有作为收信候补终端登记的收信终端的终端ID相关地保存。例如，图15所示的收信名单管理表中，可以接受终端ID为“01aa”的要求终端即终端10aa要求开始电视会议通信的收信候补终端有以下多个终端：终端ID为“01ab”的终端10ab、终端ID为“01ba”的终端10ba以及终端ID为“01bb”的终端10bb等终端。可以更新收信名单管理表，根据从任意要求终端送往管理系统50的要求，增加或删除收信终端的候补。

时域管理表

存储部5000中还具有如图16所示的以时域管理表构成的时域管理数据库5005。该时域管理表中将每个选择中继装置30时使用的选择用时域ID与中继图像数据以及声音数据的中继装置30的中继装置ID、要求终端的终端ID、收信终端的终端ID、收信终端收到图像数据时的收信延迟时间(单位：ms)、以及管理系统50收到由收信终端发送的表示该延迟时间的延迟信息的收信日期及时间相关地保存。例如图16所示的时域管理表中显示，在以时域ID为“se1”的时域中，选择的中继装置30a的中继装置ID为“111a”，该中继装置30a在终端ID为“01aa”的要求终端10aa、与终端ID为“01db”的收信终端10db之间中继图像数据以及声音数据，收信终端10db在“2009.11.10.14:00”收到图像数据，该图像数据收到时的延迟时间为200(ms)。如果是在两个终端之间举行电视会议，则除了上述收信终端以外还可以根据要求终端发送的延迟信息来管理延迟信息的收信日期及时间。但是，在三个以上的终端之间举行电视会议的情况下，则需要根据接收图像数据以及声音数据的收信终端发送的延迟信息来管理延迟信息的收信日期及时间。

地址优先度管理表

存储部5000中保存以图17所示的地址优先度管理表构成的地址优先度管理数据库5006。该地址优先度管理表中，将任意的终端10以及中继装置30的点地址的异同与地址优先度相关地保存，即普通IPv4中的IP地址中的四组点地址(Dot Address)部分中的“同”越多，地址优先度的点数越高。例如，在图17所示的地址优先度管理表中，对于从点地址上位到下位之间有三个值相同的IP地址，其地址优先度的点数为“5”。而对于点地址从上位到下位之间有两个值相同的IP地址，其地址优先度的点数为“3”。此时，最下位的点地址的值是否相同与优先度无关。进而，对于点地址的最上位的值相同，而自最上位起第二个值不同的IP地址，其地址优先度的点数为“1”。此时，自最上位起第三个点地址以及最下位的点地址的值是否相同与优先度无关。对于点地址最上位的值不同的IP地址，其地址优先度的点数为“0”。此时，自最上位起第二、第三、以及最下位的点地址的值是否相同与优先度无关。

传送速度优选度管理表

存储部5000中的优先度管理数据库5006还具有如图18所示的传送速度优先度管理表。该传送速度优先度管理表中，将最大数据输送速度与输送优先度相关地保存，即中继装置30中最大数据传送速度的值越大，其传送速度优先度的点数越高。例如，在图18所示的传送速度优先度管理表中，当中继装置30中最大数据传送速度为1000Mbps以上时，传送速度的优先度点数为“5”。而当中继装置30中最大数据传送速度为100Mbps以上且小于1000Mbps时，则传送速度的优先度点数为“3”。而当中继装置30中最大数据传送速度为10Mbps以上且小于100Mbps时，传送速度的优先度点数为“1”。中继装置30中最大数据传送速度为小于10Mbps时，传送速度的优先度点数为“0”。

图像状态管理表

存储部5000中还具有以图19所示的图像状态管理表构成的图像状态管理数据库5007。该图像状态管理表中将终端10收到图像数据的延迟时间(单位：ms)与图像状态信息相关地保存。具体为，要求终端或收信终端收到图像数据的延迟时间(单位：ms)越长，中继装置30中继的图像数据的画质(图像质量)就越被降低。如果延迟时间十分长(如500ms以上)，则将图像数据的收信延迟时间与表示中断图像数据中继的信息相关地保存，以使得中继装置30中断图像数据的中继。

<管理系统的各项功能结构>

以下详细说明管理系统50的各个功能部。在以下关于管理系统50的各个功能部的说明中，还包括各个功能部与图6所示的各个构成元件中用于实现管理系统50的各功能部的主要构成元件之间的关系。

收发信部51通过执行图6所示CPU201发送的指令并借助于网络I／F209实现其功能，用于经由通信网络2与其他终端、装置或系统之间进行各种数据或信息的通信。

终端认证部52通过执行图6所示CPU201发送的指令实现其功能，用来以收发信部51收到的登录要求信息中包含的终端ID以及密码作为检索键，来检索存储部5000中的终端认证管理数据库5002，进行终端认证，判断终端认证管理表中是否保存相同的终端ID以及密码。

状态管理部53通过执行图6所示CPU201发送的指令实现其功能，用于将该要求终端的终端ID、运行状态、管理系统50收到登录要求信息的日期及时间、以及该要求终端的IP地址相关后保存，用以管理要求登录的要求终端的运行状态。当终端10的用户将终端10的电源开关109从接通转换到切断时，状态设定部53a根据该终端10发送的表示电源切断的状态信号，将终端管理表(参见图14)中的该终端的运行状态从在线改为离线。

终端抽取部54通过执行图6所示CPU201发送的指令实现其功能。该终端抽取部54以要求登录的要求终端的终端ID为检索键，检索收信名单管理表(参见图15)，读取能够与要求终端通信的收信终端的候补的终端ID，抽取终端ID。终端抽取部54还以要求登录的要求终端的终端ID为检索键，检索收信名单管理表(参见图15)，抽取以上述要求终端作为收信终端候补登录终端ID时的其他要求终端的终端ID。

终端状态取得部55通过执行图6所示CPU201发送的指令实现其功能。该终端状态取得部55以上述终端抽取部54抽取的收信终端候补的终端ID为检索键，检索终端管理表(参见图14)，读取每个上述终端抽取部54抽取的终端ID所对应的终端的运行状态。这样，终端状态取得部55取得能够与要求登录的要求终端进行通信的收信终端候补的运行状态。终端状态取得部55还以上述终端抽取部54抽取的终端ID为检索键，检索终端管理数据库5003，取得要求登录的要求终端的运行状态。

初步筛选部56通过执行图6所示CPU201发送的指令实现其功能。用于在中继装置30的最终选定之前进行初步选择处理，以帮助实行选定处理，从多个中继装置30中最终选定一个中继装置30。为此，初步筛选部56根据图5所示的CPU201发送的指令来实现图10所示的选择用时域ID生成部56a、终端IP地址抽取部56b、初步选择部56c以及优先度决定部56d的功能。

其中，选择用时域ID生成部56a生成用于中继装置30时域选择的时域ID。终端IP地址抽取部56b根据要求终端发送的开始要求信息中包含的要求终端的终端ID以及收信终端的终端ID，来检索终端管理表(参见图14)，抽取分别与各终端10对应的IP地址。初步选择部56c从中继装置管理表(参见图12)中保存的中继装置30内，选择运行状态为“在线”的中继装置30的中继装置ID，从而选定中继装置30。

初步选择部56c根据上述终端IP地址抽取部56b抽取的要求终端以及收信终端的IP地址，检索中继装置管理表(参见图12)，确认上述选择的每个中继装置30的IP地址的点地址对应的上述要求终端的IP地址的点地址是否与收信终端的IP地址的点地址相同。进而，初步选择部56c将每个中继装置30的地址优先度的点数中相比于终端10的地址优先度点数高的点数、与传送速度优选度的点数合计，并选择该合计点数较高的上位2个中继装置30，用以进一步选择中继装置30。在此，选择了点数最高的两个中继装置30，但选择并不受此限制，如果有利于中继装置30筛选，还可以选择三个以上点数最高的中继装置30。

优先度决定部56d对照优先度管理表(参见图17)，决定上述初步选择部56c查找到的每个中继装置30的地址优先度的点数。此外，优先度决定部56d还根据中继装置管理表(参见图12)中保存的各中继装置30的最大数据传送速度，来检索优先度管理表(参见图18)，决定上述初步选择部56c在第一次筛选处理中选中的各中继装置30的传送速度优先度的点数。

时域管理部57通过执行图6所示CPU201发送的指令实现其功能，用于将时域ID生成部56a生成的时域ID、要求终端的终端ID、以及收信终端的终端ID相关地保存到存储部5000的时域管理表(参见图16)中。时域管理部57还在时域管理表中将每个时域ID与最终选定的终端10的一个中继装置30的中继装置ID。

图像状态决定部58以上述延迟时间为检索键，来检索图像状态管理表(参见图19)，并抽取对应的图像数据的图像状态，用以决定由中继装置30中继的图像数据的画质，或者决定中断中继装置的图像数据中继。

存储及读取处理部59通过执行图6所示CPU201发送的指令并借助于HDD205实现其功能，用于实行存储部5000中各种数据的保存处理或读取处理。

延迟时间管理部60通过执行图6所示CPU201发送的指令并借助于HDD205实现其功能。延迟时间管理部60以上述收信终端的IP地址为检索键，来检索终端管理表(参见图14)，抽取对应终端ID。进而，将所述延迟信息表示的延迟日期及时间保存到时域管理数据库5005中的时域管理表(参见图16)中上述抽取的终端ID的记录项中的延迟时间区域部分上。

短信制作部61以收发信部51收到的延迟信息为检索键，检索图像状态管理表(参见图19)，抽取对应的图像状态信息，当该图像状态信息所示的更改内容表示中断图像数据的中继时，制作表示没有收到图像数据或者仅收到声音数据的信息。具体来说，短信制作部61以收发信部51收到延迟信息时得到的收信终端为检索键，检索终端管理表(参见图14)，抽取对应的终端10的终端ID(作为一例第二识别信息)。而后，短信制作部61以该终端ID为检索键，检索时域管理表(参见图16)，抽取相同时域中的对应终端ID(作为一例第一识别信息)。进而，短信制作部61以对应终端ID为检索键，检索终端管理表(参见图14)，抽取对应终端ID的终端名称信息。而后，短信制作部61将用该终端名称信息表示的终端名称包含到上述信息之中。

《处理和动作》

以下参考图20～图27来说明传送系统1的处理方法。图20是管理系统50收到来自中继装置并表示各个中继装置30状态的状态信息的管理处理时序图。图20是在多个终端10之间开始通信准备阶段的处理时序图。图21是中继装置的筛选处理时序图。图22是中继装置30的筛选处理流程图。图23是中继装置30选择处理时优先度点数计算状态的示意图。图24是终端10选择中继装置30的选择处理时序图。图25是终端选择中继装置30的选择处理流程图。图26是在终端之间图像数据以及声音数据的通信处理时序图。

首先利用图20说明管理系统50收到来自中继装置的表示各个中继装置30状态的状态信息的管理处理。首先，图7所示的各个中继装置30中的状态检测部32定期检测各自的中继装置的运行状态(S1-1至S1-4)。而后，为了管理系统50实时管理各中继装置30的运行状态，各中继装置30的收发信部31经由网络2向管理系统50定期发送各自的状态信息(S2-1至S2-4)。这些状态信息包含各中继装置30的中继装置ID、以及该中继装置ID所对应的中继装置30的状态检测部32检测到的运行状态。在此，中继装置30a、30b、30d正常运行处于“在线”，而中继装置30c虽然在运行之中，但是由于实行中继装置30c的中继动作发生程序性故障，处于“离线”。

接着，管理系统50的收发信部51接收各个中继装置30发送的状态信息，并通过存储及读取处理部59将对应于每个中继装置ID的状态信息保存到存储部5000中的中继装置管理表(参见图12)中进行管理(S3-1至S3-4)。这样，在如图12所示的中继装置管理表中，每个中继装置ID都保存“在线”、“离线”、或“故障”中任一运行状态。此外还保存每个中继装置ID对应的管理系统50收到状态信息的收信日期及时间。进而，如果中继装置30没有发送状态信息，则在图12所示的中继装置管理表的各条记录项中用于记录运行状态的区域部分以及记录收信日期及时间的区域部分为空白、或记录上一次收信时的运行状态以及收信日期及时间。

以下利用图21说明在终端10aa和终端10db之间在开始通信之前的准备阶段中收发各管理信息的通信处理。图21中所有管理信息的通信均通过图2所示的管理信息用时域sei。

首先，当用户指示图5所示的电源开关109接通后，图7所示操作输入接受部12收到电源接通指令，接通电源(S21)。而后，登录要求部13在收到上述电源接通指令时，收发信部11经由通信网络2向管理系统50自动发送表示要求登录的登录要求信息(S22)。该登录要求信息包含提出登录要求的终端10aa本身的终端ID以及密码。这些终端ID以及密码是通过存储及读取处理部19从存储部1000中读取并送往收发信部11的数据。在终端10aa向管理系统50发送登录要求信息时，作为收信一方的管理系统50可以掌握送信一方的终端10aa的IP地址。

接着，管理系统50的终端认证部52将经由收发信部51收到的登录要求信息中所包含的终端ID以及密码作为检索键进行终端认证(S23)，检索存储部5000中的终端认证管理表(参见图13)，判断终端认证管理表中是否保存了相同的终端ID以及密码。当该终端认证部52确认到已经保存相同的终端ID以及密码，并判断登录要求出自具有正当利用权限的终端10时，状态管理部53将终端10aa的终端ID、运行状态、上述登录要求信息的收信日期及时刻以及终端10aa的IP地址相关地保存到终端管理表(参见图14)中(S24)。这样，在图14所示的终端管理表中便相关地保存了终端ID“01aa”、运行状态“在线(可以通信)”、收信日期及时间“2009.11.10.13:40”以及终端10aa的IP地址“1.2.1.3”。

而后，管理系统50的收发信部51将表示上述终端认证部52的认证结果的认证结果信息经由通信网络2送往提出上述登录要求的要求终端即终端10aa(S25)。以下继续说明终端认证部52判断终端具有正当利用权限时的情况。

管理系统50的终端抽取部54以发出登录要求的终端10aa的终端ID“01aa”作为检索键，检索收信名单管理表(参见图15)，读取能够与要求终端10aa通信的收信终端候补的终端ID(S26)。在此，与要求终端即终端10aa的终端ID“01aa”相对应的收信终端10ab、10ba、10db各自的终端ID分别为“01ab”、“01ba”、“01db”。

而后，终端状态取得部55以上述终端抽取部54抽取的收信终端后部的终端ID(01ab、01ba、01db)为检索键，检索终端管理表(参见图14)，读取上述终端抽取部54抽取的每个终端ID的运行状态分别为“离线”、“在线(暂停)”、“在线(正在通信)”，从而取得作为收信候补的终端(10ab、10ba、10db)的运行状态(S27)。

接着，收发信部51将包含上述S27中作为检索键使用的终端ID“01ab”、“01ba”以及“01db”和各自与这些终端ID相对应的收信终端(10ab、10ba、10db的运行状态“离线”、“在线(暂停)”以及“在线(正在通信)”，通过通信网络2送往要求终端10aa(S28)。这样，要求终端10aa便掌握了能够与其通信的收信终端候补10ab、10ba以及10db的现时运行状态分别为“离线”、“在线(暂停)”以及“在线(正在通信)”。

而后，管理系统50的终端抽取部54以要求登录的要求终端10aa的终端ID“01aa”为检索键，检索收信名单管理表(参见图15)，抽取以上述要求终端10aa的终端ID“01aa”为收信终端候补来登记的其他要求终端的终端ID(S29)。图15显示的收信终端名单管理表中被抽取的其他要求终端的终端ID为“01ab”、“01ba”以及“01db”。

而后，管理系统50的终端状态取得部55以上述要求登录的要求终端10aa的终端ID“01aa”为检索键，检索终端管理表(见图14)，取得要求终端10aa的运行状态(S30)。

而后，收发信部51向上述S29中抽取的终端ID(01ab、01ba、01db)的终端(10ab、10ba、10db)中运行状态在终端管理表(见图14)中被表示为“在线”的终端10ba、10db发送收信终端状态信息(S31-1、S31-2)，该收信终端状态信息中包含S30中取得要求终端10aa的终端ID“01aa”和运行状态“在线(可以通话)”。在向终端(10ba、10db)发送该终端的状态信息时，收发信部51基于各终端ID(01ba、01db)，参考图14所示的终端管理表中记录的终端的IP地址。这样，便向以要求登录的要求终端10aa为收信终端进行通信的其他收信终端(10ba、10db)传送上述要求终端10aa的终端ID为“01aa”以及运行状态为“在线(可以通信)”。

关于其他终端10，与上述S21相同，用户设定图6显示的电源开关109接通后，图7所示的操作输入接受部12收到电源接通指示，实行与上述S22～S31-1、S31-2相同的处理，在此不再重复说明。

接着，利用图22说明中继装置30的筛选处理。图22中的各种管理信息均以图2所示的管理信息用时域sei来发送或接收。在本实施方式中，根据上述步骤32中收到的收信终端的状态信息获悉，作为收信终端候补的终端10中动作状态为在线的终端有终端10ba以及10db，要求终端10aa至少能够与该终端10ba以及终端10db的其中之一通信。以下说明要求终端10aa的用户选择开始与收信终端10db通信的情况。

首先，用户按动图5所示的操作键108并选择终端10db后，图7所示的操作输入接受部12便收到与收信终端10db开始通话的要求(S41)。而后，要求终端10aa的收发信部11向管理系统50发送开始要求信息(S42)，该开始要求信息中包含要求终端10aa的终端ID“01aa”以及收信终端10db的终端ID“01db”，并且表示希望开始通信。由此，管理系统50的收发信部51在收到上述开始要求信息后，能够掌握发送信息的要求终端10aa的IP地址“1.2.1.3”。

而后，状态管理部53根据开始要求信息中包含的要求终端10aa的终端ID“01aa”以及收信终端10db的终端ID“01db”，改写终端管理数据库5003中的终端管理表(参见图14)，将其中包含上述终端ID“01aa”和“01db”各自的记录中表示动作状态的区域部分均改为“正在通信”(S43)。此时，要求终端10aa与收信终端10db之间虽然还未开始通信，但已处于通信状态，为此，如果出现其他终端10要求与要求终端10aa或者收信终端10db通话，将会输出表示处于正在通信状态的声音或显示。

以下说明实行选择中继装置30的时域的处理。首先，图10所示的选择用时域ID生成部56a生成选择用时域ID(S44)，该选择用时域ID用于识别实行选择中继装置30的时域。而后，时域管理部57将上述S44中生成的时域ID“se1”、要求终端10aa的终端ID“01aa”、以及收信终端10db的终端ID“01db”相关地保存到存储部5000的时域管理表(参见图16)中进行管理(S45)。

而后，管理系统50的初步筛选部56根据中继装置管理数据库5001、终端管理数据库5003、以及优先度管理数据库5006，进行中继装置30的初步选择，选择用于在要求终端10aa与收信终端10db之间进行中继的中继装置30(S46)。

在此利用图10以及图23进一步详细说明S46中的处理。首先，图10所示的终端IP地址抽取部56b根据要求终端10aa发送的开始通信信息中包含的要求终端10aa的终端ID“01aa”、以及收信终端10db的终端ID“01db”，检索终端管理表(参见图14)，抽取分别对应于终端10aa和终端10db的IP地址“1.2.1.3”和“1.3.2.4”(S46-1)。

接着，初步选择部56c从中继装置管理表(参见图12)中选择动作状态为“在线”的中继装置30a、30b、30d的中继装置ID(111a、111b、111d(S46-2)。初步选择部56c根据上述S46-1中抽取的要求终端10aa的IP地址“1.2.1.3”以及收信终端“1.3.2.4”，检索中继装置管理表(参见图12)，确认上述S46-2中选择的每个中继装置30a、30b、30d的IP地址(1.2.1.2、1.2.2.2、1.3.2.2)的点地址是否与上述要求终端10aa以及收信终端10db的IP地址“1.2.1.3”和“1.3.2.4”的点地址相同(S46-3)。

接着，优先度决定部56d参考优先度管理表(参见图17)，决定被在上述步骤46-3中确认的每个中继装置30a、30b、30d的地址优先度点数(S46-4)。图24显示以表格表示的该决定处理的结果。图24是显示在进行中继装置30筛选处理时的优先度的点数的计算状态的图。该图24中显示每个中继装置ID的地址优先度点数、传送速度优先度点数、以及综合点数。地址优先度点数被表示为相对于要求终端10aa的点数和相对于收信终端10db的点数。综合点数为两个地址优先度点数中较大一方点数与传送速度优先度点数的合计。

本实施方式中，对比中继装置30a的IP地址“1.2.1.2”和要求终端10aa的IP地址“1.2.1.3”，其结果为“同.同.同.异”，为此如图24所示，地址优先度点数为“5”。对比中继装置30a的IP地址“1.2.1.2”和收信终端10db的IP地址“1.3.2.4”，其结果为“同.异.异.异”，因此，地址优先度点数为“1”。对比中继装置30b的IP地址“1.2.2.2”和要求终端10aa的IP地址“1.2.1.3”，为“同.同.异.异”，因此，地址优先度点数为“3”。对比中继装置30b的IP地址“1.2.2.2”和收信终端10db的IP地址“1.3.2.4”，为“同.异.同.异”，因此，地址优先度点数为“1”。进而，对比中继装置30d的IP地址“1.3.2.2”和要求终端10aa的1P地址“1.2.1.3”，为“同.异.异.异”，因此，地址优先度点数为“1”。对比中继装置30d的IP地址“1.3.2.2”和收信终端10db的IP地址“1.3.2.4”，为“同.同.同.异”，因此，地址优先度点数为“5”。

下面返回图23。优先度决定部56d以中继装置管理表(参见图12)中保存的中继装置30的最大数据传送速度来检索优先度管理表(参见图16)，决定每个上述S46-2的第一次筛选处理中经过筛选得到的中继装置30a、30b、30d的传送速度优先度点数(S46-5)。本实施方式中的中继装置30a的最大数据传送速度为图12所示的100(Mbps)，因而参考图18所示的传送速度优先度可知，中继装置30a的传送速度优先度点数为3。与此相同，中继装置30b的最大数据传送速度的计算结果为1000(Mbps)，因而其传送速度优先度点数为5。进而，中继装置30d的最大数据传送速度的计算结果为10(Mbps)，其传送速度优先度点数为1。

而后，初步选择部56c选择中继装置30a、30b、30d中综合点数较高的两个上位中继装置30(S46-6)，该综合点数为相对于终端10aa以及10db的地址优先度点数之中较高一方的点数和传送速度优先度点数的合计。在本实施方式中如图24所示，各中继装置ID(111a、111b、111d)对应的综合点数分别为8、8、6，因此，选择中继装置ID分别为“111a”和“111b”的中继装置30a和30b。

上述S46的筛选处理结束后，图7所示的收发信部51经由通信网络2向收信终端10db发送中继装置筛选信息(S47)，该信息用于传达上述被选中的中继装置30的数量，其中包括在上述S46中被选中的中继装置30的数量“2”、要求终端10aa的终端ID“01aa”、以及上述时域ID“se1”。由此，终端10db在选择用时域ID“se1”的时域的实行过程中，管理系统50不但能够掌握中继装置30的数量、以及是哪一个终端10要求开始通话，而且还能够掌握发送中继装置筛选信息的管理系统50的IP地址“1.1.1.2”。

而后，终端10db从收发信部11经由通信网络2向管理系统50发送表示结束上述中继装置筛选信息接收的收信结束信息(S48)。该收信结束信息中包含时域ID“se1”。由此，管理系统50不但能够掌握在时域ID为“se1”的时域中实行的中继装置数量的传达结束，而且还能够掌握发送信息的收信终端10db的IP地址“1.3.2.4”。

以下参考图25以及图26说明收信终端即终端10db选择中继装置30的处理。图25中各种管理信息均通过管理信息用时域sei1来收发。

首先，管理系统50在开始电视会议的通信之前分别向在上述S46中选定的中继装置30a、30b发送事先中继要求信息(S61-1、S61-2)。该事先中继要求信息表示要求中继，其中包括时域ID“se1”、要求终端10aa的IP地址“1.2.1.3”、以及送信终端即终端10db的IP地址“1.3.2.4”。这样，各个中继装置30a、30b便不但能够掌握是哪个时域的事先中继要求信息、以及是哪一个要求终端和哪一个收信终端，而且还能够掌握发送事先中继要求信息的管理系统50的IP地址“1.1.1.2”。

而后，各个中继装置30a、30b分别从收发信部31经由通信网络2向上述S61-1、S61-2中掌握的要求终端即终端10aa发送事先送信要求信息(S62-1、S62-2)，该事先送信要求信息表示需要要求终端即终端10aa在开始通信之前向各个中继装置30a、30b即其自己发送包含下述的ping(Packet InternetGroper)的事先送信信息。该事先送信要求信息中包含时域ID“se1”。这样，在以时域“se1”实行的中继装置30选择处理中，要求终端即终端10aa不但能够掌握向各个中继装置30a、30b发送了事先送信信息，而且还掌握发送事先送信要求的各个中继装置30a、30b的IP地址“1.2.1.2”以及“1.2.2.2”。

至于为什么管理系统50不是直接将收信终端即终端10db的IP地址通知给要求终端，而是如上S61-1中所述，将收信终端10db的IP地址通知给中继装置30a，而后如上S61-2中所述，由中继装置30要求要求终端即终端10aa向其本身即中继装置30发送事先送信要求信息，其目的在于确保安全，避免各个终端10之间获悉其他终端10的IP地址。

接着，要求终端10aa的接收信部11经由通信网络2向各个中继装置30a、30b发送事先送信信息(S63-1、S63-2)。该事先送信信息先于图像数据以及声音数据发送，并取代图像数据以及声音数据经由各个中继装置30a、30b被送往收信终端10db，用于测定从要求终端10aa发送开始、到收信终端10db接收为止的所要时间。该事先送信信息包括以下内容：用于确认要求终端10aa、中继装置30a、30b、以及收信终端10db之间已连接就绪可以进行通信的ping、从要求终端10aa发送的事先送信信息的发送日期及时间、以及时域ID“se1”。这样，各个中继装置30a、30b不但能够掌握在时域ID为“se1”的时域的实行中发送了事先送信信息，而且还掌握发送该事先送信信息的要求终端10aa的IP地址为“1.2.1.3”。

接着，各个中继装置30a、30b对上述S61-1、S61-2收到的事先中继要求信息中所包含的收信终端10db的IP地址“1.3.2.4”进行上述事先送信信息的中继(步骤64-1、S64-2)。这样，收信终端10db在实行时域ID“se1”的时域中不但能够掌握事先送信信息，而且还能够掌握发送即中继该事先送信信息的中继装置30a、30b的IP地址“1.2.1.2”、“1.2.2.2”。

接着，收信终端即终端10db的最终筛选部16根据事先送信信息最终选定一个中继装置30，该中继装置30用于中继电视会议通话中的图像数据以及声音数据(S65)。

在此，利用图9以及图26进一步详细说明S65。首先，图9所示的最终筛选部16的计测部16a对每个经由中继装置30a、30b中继的事先送信信息被收信终端10db的收发信部11收到的收信日期及时间(S65-1)进行计时。而后，计算部16b根据上述计时得到的收信日期及时间与上述事先送信信息中所包含的送信日期及时间之间的差，计算每个已完成收信日期及时间计测的事先送信信息从发出到收到所要时间(S65-2)。接着，最终选择部16c在时域ID“se1”的时域的实行中，判断是否收到与预定进行中继的中继装置30的个数“2”数量相当的所有事先送信信息(S65-3)。如果还未全部收到(否)，则最终选择部16c判断收信终端10db在收到事先收信信息后经过的时间是否超过预定时间(在此为1分钟)(S65-4)。如果没有超过预定时间(否)，则返回上述步骤65-1。而如果在上述S65-3中判断已收到所有事先送信信息(是)，或者，上述S65-4中判断已超过了预定时间(是)，则最终选择部16c选择一个中继装置30，在计算部16b算出的各中继装置中继事先送信信息所要时间中该中继装置30所要时间最短(S65-5)。在本实施方式中，用中继装置30a中继事先送信信息所要的送信与收信之间的时间要短于用中继装置30b中继事先送信信息所要的时间，因此，选择中继装置30a。

而后，收信终端10db的收发信部11经由通信网络2向管理系统50发送选择信息，该选择信息表示已选定中继装置30a(S66)，其中包括时域ID“se1”、以及被选的中继装置30a的中继装置ID“111a”。这样，管理系统50在时域ID“se1”的时域的实行中，不但能够掌握已选定中继装置30a，而且还掌握发送选择信息的收信终端10db的IP地址“1.3.2.4”。

而后，管理系统50的时域管理部57在时域管理表(参见图16)的时域管理表中，将上述最终选定的一个中继装置30a的中继装置ID“111a”保存到含有选择用时域ID“se1”的记录项内的中继装置ID的区域部分上(S67)。而后，管理系统50的收发信部51经由通信网络2向中继装置30a发送中继开始要求信息(S68)，该中继开始要求信息表示要求开始中继，其中包括被中继的要求终端10aa以及收信终端10db各自的IP地址“1.2.1.3”以及“1.3.2.4”。这样，中继装置30a能够掌握了自己本身被选定为进行中继的中继装置，构筑用于在终端10aa和10db之间以低分辨率、中分辨率、高分辨率的三个图像数据以及声音图像数据进行通信的时域(S69)，由此，可以在终端10aa和终端10db之间开始电视会议。

在以上的说明中，S47中管理系统50向收信终端10db发送中继装置筛选信息，同时，通过S48～S64-1、S64-2，在收信终端10db一方进行中继装置的选择处理(S65)。但是，本发明并不受此限制。除此之外，还可以在上述S47中，通过管理系统50向要求终端10aa发送中继装置筛选信息，并在其后的S48到S64-1以及S64-2中，将发送各种信息的要求终端10aa与接收各种信息的收信终端10db互相交换。这样，便可以在上述S65中由要求终端10aa来实行中继装置的选择处理，另外，还可以在S66中由要求终端10aa来发送选择信息。

以下利用图7和图27来说明在要求终端10aa和收信终端10db之间收发内容数据举行电视会议期间的处理。在图像数据和声音数据的通信以及下述延迟时间的检测等处理中，从终端10aa向终端10db方向发送图像数据和声音数据的处理、与反方向即从终端10db向终端10aa方向发送内容数据为相同处理，因此以下仅说明从终端10aa向终端10db方向的处理，而省略关于反方向处理的说明。

首先，要求终端10aa的收发信部11通过图2所示的图像及声音数据用时域sed，将摄像部14a拍摄的被摄体的图像数据以及从声音输入部15a输入的声音数据，经由通信网络2送往中继装置30a(S81)。在本实施方式中输送图3所示的低分辨率、中分辨率、高分辨率三种数据构成的高质量图像数据以及声音数据。由此，中继装置30a的收发信部31便收到上述三个分辨率不同的图像数据以及声音数据。而后，图像状态确认部33用收信终端10db的IP地址“1.3.2.4”作为检索键，检索改变图像状态管理表(参见图11)，并通过抽取对应的图像状态信息，来确认所要中继的图像数据的图像的质量或者中断图像数据的中继(S82)。在本实施方式中，由于受到确认的图像数据的画质为“高画质”，并且与收发信部31收到的图像数据的画质相同，因此中继装置30a通过图像及声音数据用时域sed，将画质未经任何改动的图像数据以及未经任何改动的声音数据送往收信终端10db(S83)。与此同时还还发送了要求终端即终端10aa的终端ID“01aa”。这样，收信终端10db的收发信部11收到低分辨率、中分辨率、高分辨率三种数据构成的高质量图像数据以及声音数据。而后，显示控制部17组合具有三组不同画质的图像数据，并在显示器120上显示基于上述图像数据的图像，同时，声音输出部15b输出基于上述声音数据的声音。

接着，终端10db的延迟检测部18每隔一定时间，如每隔1秒检测收发信部11收到的图像数据的收信延迟时间(S84)。本实施方式在以下说明中设定延迟时间为200ms。

收信终端10db的收发信部11用图2所示的管理信息用时域sei并经由通信网络2将表示延迟时间为“200(ms)”的延迟信息送往管理系统50(S85)。这样，管理系统50便能够在掌握延迟时间的同时，还掌握发送延迟信息的终端10db的IP地址“1.3.2.4”。

接着，管理系统50的延迟时间管理部60以上述收信终端10db的IP地址“1.3.2.4”为检索键，检索终端管理表(参见图14)，抽取对应的终端ID“01db”，进而，将上述延迟信息中的延迟时间“200(ms)”保存到时域管理表(参见图16)中包含上述终端ID“01db”的记录项内用于记录延迟时间的区域部分中(S86)。

接着，图像状态决定部58以上述延迟时间“200(ms)”为检索键，检索图像状态管理表(参见图19)，抽取对应的图像状态信息，决定需要中继装置30a进行更改的图像数据的图像状态(S87)。在此，图像状态决定部58抽取的图像状态信息为“中画质”，并将中继装置30将要中继的画质定为“中画质”。

而后，收发信部51在时域管理表(参见图16)中，以与上述终端ID“01db”相关的中继装置ID“111a”为检索键，检索中继装置管理表(参见图12)，抽取对应的中继装置30a的IP地址“1.2.1.2”(S88)。而后，收发信部51用图2所示的管理信息用时域sei并经由通信网络2，将上述S87决定的表示图像数据的画质为“中画质”的图像状态信息送往中继装置30a(S89)。该图像状态信息中包括在上述S86中被当作检索键使用的收信终端10db的IP地址“1.3.2.4”。这样，中继装置30a的改变图像质量管理部34便将收信终端10db的IP地址“1.3.2.4”与被中继的图像数据的画质“中画质”相关地保存到改变图像状态管理表(参见图11)中进行管理(S90)。

而后，终端10aa继续进行与上述S81相同的处理，即用图像及声音用时域sed向中继装置30a发送以低画质、中画质、高画质构成的高画质图像数据、声音数据以及终端10aa的终端ID“01aa”(S91)。这样，与上述S82相同，中继装置30a的图像状态确认部33以收信终端10db的IP地址“1.3.2.4”作为检索键，检索改变图像状态管理表(参见图11)，并通过抽取对应的中继图像数据的画质“中画质”，来确认受到中继的图像数据的画质(S92)。在本实施方式中，图像数据的画质被确认为“中画质”，该画质低于收发信部31收到的图像数据的画质“高画质”，为此，图像质量更改部35改变图像数据的图像状态，将“高画质”降低为“中画质”，更改图像数据的画质(S93)。

而后，收发信部31用图像及声音数据用时域sed并经由通信网络2，向终端10db发送上述图像数据的画质被改变成“中画质”的图像数据以及音质未经改变的声音数据(S94)。与此同时还发送要求终端即终端10aa的终端ID“01aa”。这样，收发信部11收到中分辨率和低分辨率2组数据构成的中画质图像数据以及声音数据。而后，显示控制部17结合两种分辨率的图像数据，并在显示器120上显示图像，同时基于声音数据从声音输出部15b输出声音。

这样，收信终端即终端10db接收图像数据时如果发生收信延迟，则可以通过中继装置30a改变图像的画质，以避免参加电视会议的人员有不协调感觉。

此外，在图像的质量降低后，如果通信网络2的拥挤得到解消，延迟检测部18检测到的延迟时间小于100(ms)，则经由上述S85～S92，并通过S93，能够再更改为原来的画质即“高画质”。

以下利用图28～图37说明一例收信终端即终端10db的显示器120db所显示得画面。在以下的说明中针对终端10aa、终端10ca以及终端10db三个地点之间举行三者电视会议的情况进行说明。

图28是一例显示器显示的画面的示意图。该画面为终端10db的显示器120db显示的画面。如图28所示，显示器120db显示的电视会议用画面P0上显示以下画面：显示参加会议对方的主要成员图像的主画面P1、显示自身图像的副画面P2、以及显示参加会议对方的辅助性成员图像的副画面P3～P8。在显示器120中显示多个画面中主画面P1所占面积最大。

在电视会议用画面P0的最下方，左侧显示短信显示画面P10，中间显示“画面转换”键P11，在转换主画面和副画面时，可用鼠标等按动该键P11。

电视会议用画面P0的最下方的右侧中显示相机图标P12，用于表示该终端(终端10db)本身的相机112电源接通且从该终端本身进行图像通信，或该终端(终端10db)本身的相机112电源断开且从该终端本身未进行图像通信。相机图标为“×”时，表示终端本身的相机112电源处于接通状态，用户可在此后关闭电源。另一方面，如果相机图标不是“×”时，表示终端本身的相机112电源不是处于接通状态，用户可在此后接通电源。

以下用图29～图31说明在第一种显示形态中在主画面P1上显示正在发言的参加者的图像。图29是改变显示器上显示的画面的处理流程。图30是显示内容发生变化后的画面管理表的示意图。图31是显示器上显示的改变后的画面的示意图。

如图29所示，终端10(在此为收信终端即终端10db)的声音判断部21判断自己的收发信部11收到的多个声音数据中是否包含始终在规定值以上的声音信号值(S101的否)。

其次，S101的判断为包含始终在规定值以上的声音信号水准(S101的是)，则更改部22改变画面管理表的内容(S102)，如图30所示，在画面管理表30中，与包含规定值以上的声音信号水准的声音数据一起收到的终端10ca的终端ID“01ca”被改为与预定的画面编号“1”相关。此时，显示控制器17按照更改后的画面管理表的内容，如图31所示，在显示器120db上的多个画面(P1、P2、P3)中分别显示对应的画面。与图28相比，图31中终端10ca的图像与终端10aa的图像被互相交换。

这样，将开始发言的对方图像显示到主画面P1上，起到方便电视会议举行的效果。

上述S87中针对延迟时间为200ms时的情况进行了说明，以下说明延迟时间为600ms时的情况。

在延迟时间为600ms时，在S86中，延迟时间管理部60将延迟信息所表示的延迟时间600ms保存到时域管理表(参见图16)中终端ID为01db的记录项中的延迟时间区域部分中进行管理。而后，在S87中，图像状态决定部58以延迟时间600ms为检索键，检索图像状态管理表(参见图19)，抽取对应的图像状态信息“中断”，并决定中断中继装置30a的图像数据中继。这样，在S94中，收发信部31停止中继上述图像数据，同时依然利用图像及声音数据用时域sed并经由通信网络2将上述声音数据送往终端10db。

另一方面，当上述S87决定的图像状态为“中断”时，管理系统50同时实行S88和S89，进行短信制作处理，如图32所示，制作表示“图像数据的收信终端10db不接收图像数据”的信息(S121)。图32是短信制作、发送以及显示的处理时序图。

在此用图33详细说明S121中的处理。图33是短信制作处理流程图。

首先，短信制作部61以上述步骤85中收到的终端10db的IP地址作为检索键，检索终端管理数据库5003，抽取对应的终端ID(S121-1)。

其次，短信制作部61以终端10db的终端ID“01db”为检索键，检索时域管理数据库5005，抽取处于相同时域(在此时域ID为se1)中的对应的终端10aa的终端ID“01aa”(S121-2)。

而后，短信制作部61以终端10aa的终端ID“01aa”为检索键，检索终端管理数据库5003，抽取对应的终端名称信息(在此为“AA终端”，S121-3)。在此抽取的终端名称信息除了“AA终端”以外，还可以是终端名称信息的其它部分，如“日本东京事业所AA终端”或“东京事业所AA终端”之类的全部或部分终端名称信息。

在此，例举了终端10db中终端10aa的图像信息时发生了接收延迟。而多个终端之间通信，图像信息收信延迟当然可能发生在其他终端之间，如终端10db与终端10ca之间，或终端aa与终端ca之间。由于对时域进行个别管理，因此当收信终端(如终端10db)中延迟收到图像数据时，便能够通过实行上述S121-1～3，检索终端管理数据库以及时域管理数据库，确认是来自哪一个终端的图像数据发生延迟。

而后，短信制作部61制作表示没有收到图像数据的信息(S121-4)，例如，该信息是将上述S121-3中抽取的终端名称信息“AA终端”放入“没有收到图像”的句子中组成内容为“没有收到AA终端的图像”的信息。

除上述以外，短信的内容还可以是“仅接收声音”。

此外，短信的内容并不局限于文字，也可以是图标等图像。在以图标等图像作为短信时，图像数据可预存在存储部5000中，在短信制作部61制作图像时，从存储部5000中读取图标等图像的数据。另外还可以将图标等图像数据预存在终端10的存储部1000中，根据管理系统发送的指令，从存储部1000中读取图像数据。

接着，如图32所示，管理系统50的收发信部51经由通信网络2向终端10db发送上述S121中制作的短信以及发生延迟的图像数据的送信终端即终端10aa的终端ID“01aa”(S122)。对此，终端10db的收发信部11接受短信以及终端ID。而后，终端10db的显示控制部17在显示器120db上显示短信(S123)。短信的数据为text数据，其数据量相比于图像数据以及声音数据非常小，为此，即便通信网络2的带域十分狭窄，该数据也能够得到中继。

在此用图34和图35进一步详细说明S123中的处理。图34是显示短信的流程图。图35是显示器上显示的一例第一显示形态画面得示意图。

首先，终端10db的收发信部11始终保持接收短信数据以及终端ID的准备(S123-1的否)。如果收发信部11收到短信数据以及终端ID(S123-1的是)，则抽取部20根据收到的终端ID，检索图像管理表(参见图8)，抽取对应的画面编号(S123-2)。

而后，显示控制部17用图35的主画面P1上显示的短信来取代图28的主画面P1上显示的图像。即当终端10db的主画面P1上显示终端10aa的图像时，如果终端10db的图像数据接收延迟约600rns，则中继装置30a的图像质量更改部35终端图像数据的中继。同时，终端10db用上述S122中收到的短信显示到主画面P1上，以此取代无法在上述S83、S94中接收图像数据。

以下用图36和图37说明一例显示器120db上显示第二以及第三显示形态的画面。图36是显示器上显示的第二显示形态的画面的示意图。图37是显示器上显示的第三显示形态的画面的示意图。

图36所示的第二显示形态与第一显示形态相同，仍然显示三个地点之间举行三者电视会议的情况。首先，终端10db处于如图31所示的状态，终端10db的收发信部11始终保持接收短信数据以及终端ID的准备(S123-1的否)。如果收发信部11收到短信数据以及终端ID(S123-1的是)，则抽取部20根据收到的终端ID，检索图像管理表(参见图8)，抽取对应的画面编号(S123-2)。此时，终端10db接收终端10aa发送的图像信息延迟600(ms)，在这种情况下，终端10db因无法收到图像数据，转而如图36所示在画面上显示收到的短信用以代替。

进而说明如图37所示的第三显示形态显示九个以上地点之间举行九方电视会议的情况。这些地点中包含终端10cc，该终端10cc的图像数据表示的图像未被显示在显示器120的画面上。

终端10db起初处于类似图28所示画面的状态，而后发生终端10aa发送的图像数据收信延迟。对此，终端10db改为如图37所示地显示，即在主画面P1上显示虽然收到图像数据却未显示的由终端10cc发送的图像数据表示的图像，以此取代未能收到的终端10db的图像数据。另外，在短信显示画面P10上显示表示未能收到终端10aa的图像的短信。

此时，在图像数据发生收信延迟之前，图像管理表(参见图8)中画面编号“1”与终端10aa的终端ID相关，画面编号“补1”与终端10cc的终端ID相关。在终端10aa的图像数据接收中断后，将图像管理表(参见图8)中分别与画面编号“1”和“补1”相关的终端ID互相交换。在本显示方式中未显示的图像是与主画面的图像交换，但是本发明并不受此限制，该未显示的图像也可以与副画面的图像交换。

《主要效果》

如上所述，在收信一方的终端10中因图像数据接收延迟而造成由中继装置30中继的图像数据的接收被中断的情况下，管理系统50向收信一方的终端10发送未收到图像数据或只能接收声音数据的信息。据此，收信一方的终端10在其显示器120上显示上述信息，使该终端10的用户能够获悉没有收到图像数据的原因在于图像数据因延迟而未被中继，而不是由于送信一方的终端10中止了电视会议。因此，收信一方的终端10的用户能够在整个电视会议期间放心地与送信一方的终端10的用户交流。

管理系统50将送信一方的终端10的名称包含在上述信息中，据此可知举行三方以上的电视会议中的哪个终端10未能收到图像数据。

【第一实施方式】

以下利用图38说明本发明第一实施方式。图38是本发明第一实施方式涉及的延迟解消处理的流程图。

《本实施方式的整体结构》

本实施方式以上述为前提，上述各结构在本实施方式中进一步具有以下功能。

在本实施方式中，图7所示的终端10中的延迟检测部18在延迟时间超过规定值(例如500ms)的情况下，向收发信部11提出中断发送图像数据的要求。

终端10的收发信部11收到延迟检测部18发送的图像数据送信中断要求后，即便是正在用摄像部14拍摄被摄体，也将中断向通信网络2发送图像数据，仅发送声音数据。

《本实施方式的处理或动作》

以下利用图38说明本发明第一实施方式涉及的延迟解消处理。

首先，在本实施方式中终端10db也实行图27所示的步骤S81至S84的处理。S84之后实行终端10db实行图38所示的处理。

即在图27的步骤S84中，延迟检测部18检测图像数据的收信延迟时间。当该检测到的延迟时间超过规定值(如500ms)时(S201的是)，延迟检测部18要求收发信部11中断图像数据的发送(S202)。而后，收发信部11仅向通信网络2发送声音数据，而中断图像数据的发送(S203)。相反，如果在S201中延迟时间没有超过上述规定值(S201的否)，则不需要解消延迟，不实行S202和S203的处理，结束图38的处理。

《本实施方式的效果》

按照上述本实施方式，在通信网络拥挤传送容量下降的环境下，终端10db不是要求通信对方的终端aa终端发送图像数据，而是中断自己的图像数据的发送。据此，发挥了缓解通信网络拥挤以确保声音数据收发的效果。

此时，终端10db不要求通信对方的终端10aa中断图像数据的发送，因此不需要为此特意向对方传送终端提出中断发送图像数据的要求。

【第二实施方式】

以下利用图39说明本发明第二实施方式。图39是本发明第二实施方式涉及的延迟解消处理的流程图。

《本实施方式的整体结构》

在本实施方式中，当图7所示的终端10的延迟检测部18检测到延迟时间超过规定值(如500ms)时，该延迟检测部18要求摄像部14中断被摄体的拍摄。

对此，终端10的摄像部14收到延迟检测部18的要求后，中断摄像处理。

《本实施方式的处理或动作》

以下利用图39说明本发明第二实施方式涉及的延迟解消处理。

首先，在本实施方式中终端10db也实行图27所示的步骤S81至S84的处理。S84之后实行终端10db实行图39所示的处理。

即在图27的步骤S84中，延迟检测部18检测图像数据的收信延迟时间。当该检测到的延迟时间超过规定值(如500ms)时(S211的是)，延迟检测部18要求摄像部14中断被摄体的拍摄(S212)。而后，摄像部14中断摄像处理(S213)。这样，便不再有从摄像部14送往收发信部11的图像像数据，其结果收发信部11便中断向通信网络2发送图像数据。

相反，如果在S211中延迟时间没有超过上述规定值(S211的否)，则不需要解消延迟，不实行S212和S213的处理，结束图39的处理。

《本实施方式的效果》

按照上述本实施方式，除了上述第一实施方式的效果以外，还因中断了摄像部14的摄像处理，因而具有节能效果。

在通信网络拥挤传送容量下降的环境下，终端10db不是要求通信对方的终端aa中断发送图像数据，而是中断自己的图像数据的发送。据此，发挥了缓解通信网络拥挤以确保声音数据收发的效果。

此时，终端10db没有要求通信对方的终端10aa终端图像数据的发送，因此不需要特意为此向对方传送中断图像数据送信的要求。

【实施方式的补充】

上述各实施方式的中继装置30、管理系统50以及程序提供系统90以及保守系统100既可用单独的计算机构建，也可以将功能部拆开，用分别承担被拆开的各功能部的多台计算机来构建。而且，在用单独的计算机构建程序提供系统90时，既可将程序提供系统90发送的程序拆开形成多个模块来发送，也可发送整个程序。进而，在用多个计算机构建程序提供系统90时，多个模块可以拆开由各台计算机分别发送。

可以用CD-ROM等记录介质保存上述各个实施方式的终端用程序、中继装置用程序、以及传送管理用程序，在向国内外各方用户提供终端用程序、中继装置用程序、以及传输管理用程序时，可将该记录介质以及保存这些程序的HD204和具有该HD204的程序提供系统90作为软件产品使用。

在上述实施方式中，着眼于图像数据的图像分辨率，利用图11所示的改变图像状态管理表以及图19所示的图像状态管理表，来对图像状态进行管理，在此，图像分辨率仅仅是表示受到中继装置30中继的图像数据的图像质量的一例而已，本发明并不受此限制，还有其他可以用于表示图像质量的例子，如用图像数据的画质深度、声音数据的声音取样频率、声音数据的声音比特长等来进行管理。声音数据的通信还可以与三种分辨率(高分辨率、中分辨率、低分辨率)的数据的通信分开进行。

对于收信日期及时间的管理也不局限于图12、图14、图16所示，在这些收信日期及时间中至少需要管理收信时间。

上述实施方式用图12中管理中继装置的IP地址，用图14中管理终端的IP地址，但本发明并不受此限制。本发明只要是用于在通信网络2上确认中继装置30的中继装置确认信息、或者用于在通信网络2上确认终端10的终端确认信息，便可作为上述收信信息的其他例子，用来管理各自的全域名(FQDN，fullyqualified domain name)。此时，通过公知的域名系统(DNS，domain namesystem)服务器来取得对应于FQDN的IP地址。另外，不但可以表示为“用于确认通信网络2上的中继装置30的中继装置确定信息”，还可以表示为“表示连接通信网络2上的中继装置30的连接对象的中继装置连接对象信息”，或者“表示通信网络2上的中继装置30的收信对象的中继装置收信对象信息”。同样，不但可以表示为“用于在通信网络2上确定终端10的终端确认信息”，还可以表示为“表示连接通信网络2上的终端10的连接对象的终端连接对象信息”，或者“表示通信网络2上的终端10的收信对象的终端收信对象信息”。

在上述实施方式中以传送系统1为例对电视会议系统进行了说明，但是本发明并不受此限制，除了传送系统以外，本发明还适用于网协(IP，internetprotocol)电话、网络电话等电话系统。另外，传送系统1还可以用于汽车导航系统。在这种情况下，例如，终端10的一方相当于搭载于汽车中的导航装置，而另一方相当于管理导航的管理中心的管理终端或管理服务器、或者相当于搭载于其他汽车中的导航装置。进而，传送系统1还可以是手机的通信系统。在这种情况下，例如终端10相当于手机。

上述实施方式用图像数据以及声音数据作为一例内容数据来进行说明，但本发明并不受此限制。内容数据还可以是触觉数据，在这种情况下，一方终端的用户的触觉被传送到另一方终端。进而，内容数据还可以是嗅觉，此时，一方终端的用户的气味被传送到另一方终端。内容数据只要是图像数据、声音数据、触觉数据、以及嗅觉数据其中之一便可。

上述实施方式对利用传送系统1举行电视会议进行了说明。但是本发明并不受此限制，除此之外，本发明还可以用于讨论协商、亲友之间的交谈、或者单向信息提供。

Claims

1.一种传送终端，其通过与对方传送终端之间收发包含声音数据在内的内容数据来实现与所述对方传送终端之间的通信，其特征在于具备以下各部：

收信部，用于接收所述内容数据之中由所述对方传送终端发送的第一内容数据；

送信部，用于发送所述内容数据之中从该传送终端送往所述对方传送终端的第二内容数据；以及，

延迟检测部，用于检测所述收信部收到所述第一内容信息时的延迟时间，

当所述延迟检测部检测到的延迟时间超过规定值时，所述送信部中断所述第二内容数据中除声音数据以外的数据送信。

2.根据权利要求1所述的传送终端，其特征在于，所述第二内容数据中包含图像数据，所述送信部中断所述第二内容数据之中的所述图像数据的送信。

3.根据权利要求2所述的传送终端，其特征在于，所述传送终端进一步具备用于拍摄处于该传送终端一方的被摄体的摄像部，被所述送信部中断送信的所述图像数据为所述摄像部拍摄的图像数据。

4.根据权利要求3所述的传送终端，其特征在于，当所述延迟检测部检测到的延迟时间超过所述规定值时，所述摄像部中断所述被摄体的拍摄。

5.一种传送方法，用于传送终端通过与对方传送终端之间收发包含声音数据在内的内容数据来实现与所述对方传送终端之间的通信，其特征在于具备以下步骤：

收信步骤，接收所述内容数据之中由所述对方传送终端发送的第一内容数据；

送信步骤，发送所述内容数据之中从该传送终端送往所述对方传送终端的第二内容数据；以及，

延迟检测步骤，检测在所述收信步骤中收到所述第一内容信息时的延迟时间，

当在所述延迟检测步骤中检测到的延迟时间超过规定值时，在所述送信步骤中，中断所述第二内容数据中除声音数据以外的数据送信。