CN103188478B - 通信管理系统、通信系统、通信管理方法、维护系统 - Google Patents

通信管理系统、通信系统、通信管理方法、维护系统 Download PDF

Info

Publication number
CN103188478B
CN103188478B CN201210553258.5A CN201210553258A CN103188478B CN 103188478 B CN103188478 B CN 103188478B CN 201210553258 A CN201210553258 A CN 201210553258A CN 103188478 B CN103188478 B CN 103188478B
Authority
CN
China
Prior art keywords
terminal
collection
communication
letters
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210553258.5A
Other languages
English (en)
Other versions
CN103188478A (zh
Inventor
奥山太郎
浅井贵浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103188478A publication Critical patent/CN103188478A/zh
Application granted granted Critical
Publication of CN103188478B publication Critical patent/CN103188478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1076Screening of IP real time communications, e.g. spam over Internet telephony [SPIT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24Negotiation of communication capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1059End-user terminal functionalities specially adapted for real-time communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/54Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Abstract

本发明涉及通信管理系统、通信系统、通信管理方法以及维护系统。其目的在于解决在由于通信方式不同而无法获悉不能取得对方通信终端运行状态时,用户难以决定是等待还是立刻启动通信起始处理的问题。对此,本发明的通信管理系统在收信终端(10da)的通信方式与要求终端(10aa)采用的通信方式不同时,向要求终端发送运行状态信息或差异通信方式信息,此时,该运行状态信息表示该收信终端的运行状态为未知,该差异通信方式信息表示收信终端所采用的通信方式与要求终端的通信方式不同。由此,要求终端的用户能够获悉因收信终端的通信方式不同故而无法取得该受信终端的运行状态,为此解决了用户难以决定是等待还是启动通信起始处理的问题。

Description

通信管理系统、通信系统、通信管理方法、维护系统
技术领域
本发明涉及管理多个通信终端之间收发通信数据的通信管理系统、受该通信管理系统管理的通信系统、该通信管理系统的通信管理方法、以及用于维护该通信管理系统的维护系统。
背景技术
近年来,为了节约出差经费和时间,利用英特网等通信网络举行电视会议等的通信系统广泛普及。这类通信系统如专利文献1(JP特开2008-227577号公报)中描述的,可在多个通信终端之间收发图像数据以及声音数据,举行电视会议。
此外,专利文献2(JP特开2004-304241号公报)公开了一种能够让用户在启动通信起始处理之前掌握对方通信终端的运行状态的技术方案。该方案可以避免在通信起始处理启动之后发生因对方通信终端正处于其他通信之中或电源断开之类的状态而无法通信的问题,防止启动不需要的通信起始处理。
然而对于采用不同通信方式的通信终端之间通信,现有技术无法让用户在开始通信之前掌握对方通信终端的运行状态。用户无法获悉不能在自己的通信终端掌握对方通信终端运行状态的原因是在于双方的通信方式不同,还是在于通信终端双方的通信方式虽然相同但对方通信终端处于其他通信之中或电源断开等状态。
例如,对于通信终端双方的通信方式虽然相同但对方通信终端正处于其他通信之中或电源断开等状态的情况,用户可能会尝试等待,等到能够取得对方通信终端的运行状态之后再启动通信起始处理。而对于通信终端双方的 通信方式不同的情况,因无论如何也无法获悉对方通信终端的运行状态,因用户此会立刻启动通信起始处理。
这样,用户无法在自己的通信终端获悉不能取得对方通信终端运行状态的原因,在这种情况下,用户将会犹豫是等待对方通信终端的运行状态还是立刻启动通信起始处理。
发明内容
针对上述问题,本发明提供一种用于管理多个通信终端之间收发通信数据的通信管理系统,其特征在于,包括:终端信息管理部,其将所述多个通信终端各自的识别信息与表示该通信终端采用的通信方式的通信方式信息相关管理;收信名单管理部,其将用于识别所述多个通信终端中提出开始通信要求的要求终端的识别信息与能够与该要求终端通信的收信终端的识别信息相关管理;收信部,用于接收所述要求终端发送的该要求终端的识别信息;抽取部,基于收到的所述要求终端的识别信息,检索所述收信名单管理部,抽取对应的收信终端的识别信息,而后基于该被抽取的所述收信终端的识别信息,检索所述终端信息管理部,抽取对应的所述收信终端的通信方式信息;判断部,判断该被抽取的通信方式信息所表示的所述收信终端的通信方式是否与所述要求终端所采用的通信方式相同;以及,送信部,当所述判断部判断该被抽取的所述收信终端的通信方式与所述要求终端采用的通信方式相同时,向所述要求终端发送运行状态信息,该运行状态信息包含被抽取的所述收信终端的识别信息,并表示该收信终端的运行状态,而当所述判断部判断该被抽取的所述收信终端的通信方式与所述要求终端采用的通信方式不同时,该受信部向所述要求终端发送运行状态信息或差异通信方式信息,该运行状态信息包含被抽取的所述收信终端的识别信息,并表示该收信终端的运行状态为未知,该差异通信方式信息表示所述收信终端所采用的通信方式与所述要求终端的通信方式不同。
本发明的效果在于,在收信终端所采用的通信方式与要求终端的通信方是不同的情况下,通信管理系统向要求终端发送表示收信终端的运行状态为未知的运行状态信息或者表示收信终端所采用的通信方式与要求终端的通信 方是不同的差异通信方式信息。由此,要求终端的用户能够掌握由于收信终端采用的通信方式与要求终端的通信方式不同因而无法取得收信终端的运行状态,从而解决了要求终端在未能取得收信终端运行状态情况下,难以在等待该受信终端的运行状态还是立刻启动通信起始处理之间作出决定的问题。
附图说明
图1是涉及一例本发明实施方式的通信系统的示意图。
图2是采用相同通信方式的通信终端之间通信时的通信状况示意图。
图3A~图3C是表示按照图2以及图4所示的SVC规格收发的图像数据的画质的概念性示意图。
图4是采用不同通信方式的通信终端之间通信时的通信状况示意图。
图5是按照图4所示的AVC规格收发的图像数据的画质的概念性示意图。
图6是涉及本实施方式的通信终端外观图。
图7是涉及本发明实施方式的通信终端的硬件结构示意图。
图8是涉及本发明实施方式的通信管理系统、中继装置、转换系统、程序提供系统或者维护系统的硬件结构示意图。
图9是构成本实施方式的通信系统中一部分的通信终端、中继装置、通信管理系统以及转换系统的功能模块图。
图10是视觉信息管理表的概念性示意图。
图11是改变画质管理表的概念性示意图。
图12是中继装置管理表的概念性示意图。
图13是终端信息管理表的概念性示意图。
图14是终端状态管理表的概念性示意图。
图15是收信名单管理表的概念性示意图。
图16是时域管理表的概念性示意图。
图17是转换管理表的概念性示意图。
图18是画质管理表的概念性示意图。
图19是终端之间开始通信准备阶段的处理时序图。
图20是抽取运行状态的流程图。
图21是收信名单的概念性示意图。
图22是判断可否发送运行状态的流程图。
图23是提出开始通话要求的时序图。
图24是判断通信方式的流程图。
图25是专用终端之间开始通信之前设立通信时域的处理时序图。
图26是专用的通信终端之间收发通信数据的处理时序图。
图27是专用终端和非专用终端之间开始通信之前设立通信时域的处理时序图。
图28是专用终端和非专用终端之间收发通信数据的处理时序图。
图29A~图29C是经过转换系统转换的图像数据的画质的概念性示意图。标记的说明:
1通信系统,10通信终端或终端,11通信终端的收发信部,16显示控制部,18收信名单制作部,30中继装置,50通信管理系统或管理系统,51通信管理系统的收发信部,54抽取部,55判断部,80转换系统,81转换系统的收发信部,82通信方式转换部,90程序提供系统,100维护系统,1000存储部,1001视觉信息管理数据库,3000存储部,3001更改质量管理数据库,5000存储部,5001中继装置管理数据库,5002终端信息管理数据库,5003终端状态管理数据库,5004收信名单管理数据库,5005时域管理数据库,5006转换管理数据库,5007画质管理数据库,8000存储部。
具体实施方式
以下利用图1~图29来说明本发明的一个实施方式。
《整体结构》
图1是涉及本发明实施方式的通信系统的示意图。如图1所示,通信系统1包括多个通信终端(10aa、10ab、…)、用于各个通信终端(10aa、10ab、…)的显示器(120aa、120ab、…)、多个中继装置(30a、30b、30c)、通信管理系统50、转换系统80、程序提供系统90、以及维护系统100。该通信系统1可用来收发通信数据,例如收发图像数据和声音数据,在不同地点之间举行电视会议等远程通信。此外,多个路由器(70a、70b、70c、70d、70ab、70cd)用于选择通信数据的最佳传送路径。
终端(10aa、10ab、10ac、···)、中继装置30a、以及路由器70a以LAN2a连接,可以通信。终端(10ba、10bb、10bc、···)、中继装置30b、以及路由器70b以LAN2b连接,可以通信。LAN2a和LAN2b之间由包含路由器70ab的专用线2ab连接,可以通信。LAN2a和LAN2b以及专用线2ab被设置在某一区域X以内。例如,区域X为日本,LAN2a设置在东京的事业所内部,LAN2b设置在大阪的事业所内部。
另一方面,终端(10ca、10cb、10cc、···)、中继装置30c、以及路由器70c以LAN2c连接,可以通信。终端(10da、10db、10dc、···)、转换系统80、以及路由器70d以LAN2d连接,可以通信。LAN2c和LAN2d由包含路由器70f的专用线2cd连接,可以通信。LAN2c和LAN2d以及专用线2cd被设置在预定区域Y以内。例如,区域Y为美国,LAN2c设置在纽约事业所内部,LAN2b设置在华盛顿DC事业所内部。区域X和区域Y之间分别通过路由器70ab、70cd经由英特网2i连接,可以通信。
在以下的说明中,将通信终端简称为终端,将通信管理系统简称为管理系统。用终端10表示多个终端(10aa、10ab、10ac、…)中的任意一个终端,用显示器120表示多个显示器(120aa、120ab、…)中任意一个显示器。用中继装置30表示多个中继装置(30a、30b、30c)中任意一个中继装置。将提出电视会议开始要求的终端称为要求终端,而将接受开始要求或接受经过中继的通信数据的终端称之为收信终端。用路由器70表示路由器(70a、70b、70c、70d、70ab、70cd)中任意一个路由器。
管理系统50、程序提供系统90、以及维护系统100通过英特网2i连接。其中转换系统80在本实施方式中与区域Y的LAN2内的路由器70d相连接。管理系统50、程序提供系统90、以及维护系统100既可设置在区域X或区域Y内,也可设置在这些区域以外。
在本实施方式中,LAN2a、LAN2b、专用线2ab、英特网2i、专用线2cd、LAN2c、LAN2d构成本实施方式的通信网络2。该通信网络2不仅可以采用有线通信,在有些部分也可以采用无线通信,如采用无线保真(WirelessFidelity,WiFi)或蓝牙(Bluetooth)等通信技术。
图1中各个终端10、中继装置30、管理系统50、各路由器70、转换系统80、 程序提供系统90、以及维护系统100的下面显示的4个数字简易表示一般的IPv4中的IP地址。例如,终端10aa的IP地址为“1.2.1.3”。除了IPv4以外,还可以使用IPv6,在此为了方便,用IPv4进行说明。
各终端10不仅可用于在多个事业所之间或者同一事业所内的不同办公室之间通信,还可以在同一办公室内、办公室内外、同时在办公室外通信。如果在办公室外使用各终端10通信,则可以用手机通信网的无线通信。
图1所示的各终端10例如为电视会议用终端,通过这些终端收发通信数据,实现用户之间的通信。进而,终端10利用规定的通信方式,即用于连接对方终端或切断与对方终端连接的呼叫控制方式以及用网络协议(internetprotocol,IP)包传送通信数据的编码方式,来收发通信数据。
呼唤控制方式有以下各种方式,如(1)时域(会话)初始化协议(SessionInitiation Protocol,SIP)、(2)H.323协议、(3)SIP扩展协议、(4)即时通信(instand messenger)的协议、(5)SIP对message方法支持的协议、(6)英特网中继聊天的协议(Internet Relay Chat,IRC)、(7)即时通信协议的扩展协议、等等。其中,(4)即时通信协议是用于例如(4.1)可扩展通信和表示协议(Extensible Messaging and PresenceProtocol,XMPP)或者(4.2)ICQ(登录商标)、AIM(登录商标)、Skype(登录商标)等中的协议。
在多个终端10中,用“专用终端A”表示的终端10是指在使用的通信方式中,呼叫控制方式采用即时通信协议或即时通信协议的扩展协议、且编码方式采用可伸缩视频编码(Scalable Video Coding,SVC)。而用“非专用终端D”表示的终端10则是指,呼叫控制方式和编码方式中至少有一种方式采用不同于专用终端A的通信方式。本实施方式中,用以下例子来说明采用不同通信方式的两个终端之间的通信,即专用终端A为由某特定公司制造、销售或管理的终端,而非专用终端D则为在上述某特定公司以外制造、销售或管理的通信终端。由于如上所述由不同公司制造、销售或管理的通信终端往往采用不同的通信方式,对此,本实施方式针对该情况以上述例子来进行说明。除此之外,采用不同通信方式的终端还有,例如虽然是同一个公司制造或销售的终端,但是制造或销售的时期不同,因而可以用较新时期制造或销售的终端为专用终端A,而以较早期的终端为非专用终端D。
中继装置30是在多各终端10之间中继通信数据的计算机系统。管理系统50为计算机系统,进行终端10的登录认证、终端10的通信状态管理、接收名单管理等、以及中继装置30通信状态等的统一管理。图像数据的图像既可以是动画,也可以是静画,或者同时包括动画和静画双方。
转换系统80起到呼唤控制信号转换的信令网关(signaling gateway)作用以及通信数据编码化的视频/音频网关(video/audio gateway)的作用。换言之,转换系统80是将要求终端发送的通信数据的通信方式和收信终端发送的通信数据的通信方式(呼唤控制方式、编码方式)进行互相转换的网关,其至少转换呼唤控制方式和编码方式中的一种方式。
程序提供系统90是通过通信网络2向终端10、中继装置30、管理系统50、转换系统80以及维护系统100提供各自使用的程序的计算机系统。
维护系统100是对终端10、中继装置30、管理系统50、转换系统80以及程序提供系统90中至少一个系统进行维修、管理、保养的计算机系统。例如,可以将维护系统100设置在国内,而将终端10、中继装置30、管理系统50、转换系统80以及程序提供系统90设置在国外,此时,维护系统100经由通信网络2,对终端10、中继装置30、管理系统50、转换系统80以及程序提供系统90中的某一个系统进行远程维修、管理、保养等维护业务。另外,维护系统100不经由通信网络2,对终端10、中继装置30、管理系统50、转换系统80以及程序提供系统90中的某一个系统中的机种编号、制造编号、销售处、出售店铺、维护检点、或者故障历史进行管理等维护业务。
以下利用图2和图3说明在两个专用终端A之间通信的第一种通信形态。在此,图2显示相同通信方式的通信终端之间进行通信时的通信形态。
如图2所示,在第一通信形态中,通信系统1利用H.264/SVC的映像编码化标准规格来进行通信数据的通信。具体如图2所示,在通信系统1中设立管理用的通信时域sei,该时域sei用于在专用终端A的要求终端和同样是专用终端A的收信终端之间经由管理系统50收发各种管理信息(图2中以M表示)。此外,在要求终端和收信终端之间还经由中继装置30,设立四个通信时域,四个时域分别为用于收发高分辨率图像数据(图2中以HL表示)、中分辨率图像数据(图2中以ML表示)、低分辨率图像数据(图2中以LL表示)以及声音数据(图2中以V表示)。
图2中用通信数据用的第一通信时域se d1来表示要求终端和中继装置30之间设立的四个通信时域,并用通信数据用的第二通信时域sed2来表示中继装置30和收信终端之间设立的四个通信时域。
在此利用图3来说明图2所示的第一通信形态中的图像数据的图像分辨率。图3A~图3C是用于说明图2所示的按照SVC的规格来收发的图像数据的画质的概念性示意图。
图3A显示以横向160像素、纵向120像素构成的基础图像即低分辨率图像,图3B显示以横向320像素、纵向240像素构成的中分辨率图像,图3C显示以横向640像素、纵向480像素构成的高分辨率图像。当带域路径较窄时,只有基础图像即低分辨率图像数据构成低画质图像数据受到中继装置30中继。而当带域路径相对较宽时,基础图像的低分辨率图像数据以及中分辨率的图像数据构成的中等画质图像数据受到中继,而当通过宽带域时,基础图像的低分辨率图像数据、中分辨率的图像数据、以及高分辨率图像数据构成的高质量图像数据受到中继装置30的中继。
以下用图4和图5说明用于在专用终端A和非专用终端D之间进行通信的第二通信形态。在此,图4是显示不同通信方式的通信终端之间进行通信的通信形态。
如图4所示,在第二通信形态中,通信系统1利用H.264/SVC的映像编码化标准规格和H.264/AVC(Advanced Video Coding,高级视频编码)的映像编码化标准规格来进行通信数据的通信。具体如图4所示,在通信系统1中设立管理用的通信时域sei,该时域sei在专用终端A的要求终端和非专用终端D的收信终端之间通过管理系统50、中继装置30、以及转换系统80来收发各种管理信息(图4中以M表示)。
在要求终端和转换系统80之间通过H.264/SVC并经由中继装置30设立四个通信时域,该四个通信时域分别用于收发高分辨率图像数据(图4中以HL表示)、中分辨率图像数据(图4中以ML表示)、低分辨率图像数据(图4中以LL表示)以及声音数据(图4中以V表示)。图4中通信数据用的第一通信时域sed11表示要求终端和中继装置30之间的四个通信时域,通信数据用的第二通信时域sed12表示中继装置30和转换系统80之间的四个通信时域。
进而,在转换系统80和收信终端之间通过H.264/AVC并经由中继装置30 设立两个通信时域,该两个通信时域分别用于收发中分辨率图像数据(ML)以及声音数据(V)。图4中通信数据用的第三通信时域sed13表示转换系统80和收信终端之间的两个通信时域。
在此,用图3和图5来说明图4所示的第二通信形态中的图像数据的图像分辨率。图5显示图4中按照AVC规格收发的图像数据的画质。
在图4所示的第一通信时域sed11以及第二通信时域sed12中,与图2所示的第一通信时域sed1以及第二通信时域sed2相同,收发图3A~图3C所示的三个分辨率的图像数据。而在图4所示的第三通信时域sed13中则收发图5所示的中分辨率的图像数据。
《硬件结构》
下面说明本实施方式的硬件结构。图6是本实施方式的通信终端10的外观图。如图6所示,终端10具有筐体1100、臂1200、以及照相机框架1300。其中,筐体1100的后壁1110上设有未图示的吸气面,该吸气面上有多个吸气孔,筐体1100的前壁1120的表面上设有排气面1121,该排气面1121上有多个未图示排气孔。这样,通过筐体1100中内藏冷却扇的驱动,可经由未图示吸气面吸入终端10后方的外部空气,并经由排气面1121向终端10的后方排气。筐体1100右侧壁面1130上设有集音孔1131,便于下述内藏型麦克风114收集包含话音、物音以及杂音等在内的各种声音。
筐体1100的右侧设有操作面板1150。该操作面板1150上设有将在以下叙述的多个操作键(108a~108e)、电源开关109、以及报警灯119,同时还设有多个声音输出孔构成的声音输出面1151,用于通过将在以下叙述的内藏型扬声器115输出的输出声音。筐体1100的左侧设有收纳部1160,该收纳部1160形成为凹部,用于收纳臂1200以及照相机框架1300。筐体1100的右侧壁面1130上设置多个接口(1132a~1132c),该接口用于以导线电连接将在以下叙述的显示器I/F117。另外在筐体1100的左侧壁面1140上设置未图示接口,该接口用于以显示器120用的导线120c电连接显示器I/F117。
在以下的叙述中,用操作键108表示操作键(108a~108e)中的任意操作键,用接口1132表示接口1132a~1132e中的任意接口。
臂1200用铰链1210装设在筐体1100上,可相对于筐体1100在转动角度θ1的范围135°内作上下转动。图6显示了转动角度θ1为90°时的状态。照相机 筐体1300中设有下述内藏型照相机112,可拍摄用户、文档资料或室内情景等。该照相机筐体1300上设有铰链1310,照相机筐体1300通过该铰链1310被装设到臂1200上,当设图6所示状态下的照相机筐体1300相对于臂1200为0°时,该照相机筐体1300可在水平转动角度θ2的范围180°且垂直转动角度θ3的范围±45°以内作上下左右转动。
中继装置30、管理系统50、转换系统80、程序提供系统90、以及维护系统100分别具有与普通服务器·计算机相同的外观,在此省略外观说明。
图7是本发明实施方式的终端10的硬件结构。如图7所示,本实施方式的终端10包括:中央处理器(CPU)101,用于控制终端10的整体动作;只读存储器(ROM)102,用于保存初始程序安装器(initial program loader,IPL)等驱动CPU的程序;随机存取存储器(RAM)103,用于作为CPU101的工作区域;闪存104,用于存储图像和声音等各种数据;固态驱动器(SSD)105,按照CPU101的控制来对闪存104中各种数据的读取以及写入进行控制;介质驱动器107,用于控制闪存等存储媒体106的数据读取或写入(存储);操作键108,用于在选择终端10的收信终端等时进行操作;电源开关109,用于终端10的电源在接通与切断之间转换;以及网络接口(I/F)111,用于利用通信网络2进行数据传送。
此外,终端10还包括:内藏型照相机112,用于按照CPU101的控制来拍摄被摄体并获得图像数据;拍摄元件接口(I/F)113,用于控制照相机112的驱动;内藏型麦克风114,用于输入声音;内藏型扬声器115,用于输出声音;声音输入输出接口(I/F)116,用于按照CPU101的控制来处理麦克风114以及扬声器115之间的声音信号的输入输出;显示器接口(I/F)117,用于按照CPU101的控制来向外设显示器120传送图像数据;外设连接接口(I/F)118,用于各种外部设备的连接;报警灯119,用于通知终端10发生的各种功能异常;以及总线110,如图2所示地电连接上述各个结构元件的地址总线或数据总线等。
显示器120是用液晶或有机电致发光材料构成的用于显示被摄体的图像或操作用图标等的显示部,其通过导线120c连接到显示器I/F117上。该导线120c既可以是模拟RGB(VGA)信号用的导线,也可以是分量视频用的导线,还可以用高清晰度多媒体接口(high-definition multimedia interface, HDMI)或数字视频接口信号(digital videointeractive,DVI)用的导线。
照相机112包括透镜以及固体摄像元件,该固体摄像元件使用CMOS(互补金属氧化半导体)或CCD(电荷耦合器件)等元件进行光电转换,将光转换为电荷,使被摄体图像(映像)电子化。
外设连接I/F118可以通过图6所示的插入框体1100上的连接口1132中的USB导线等分别与外设照相机、外设麦克风、以及外设扬声器等外设连接。当连接外设照相机时,按照CPU101的控制,优先内藏型照相机,外设照相机驱动。与此相同,当连接外设麦克风或外设扬声器时,按照CPU101的控制,优先内藏型麦克风114或内藏型扬声器115,外设麦克风或扬声器驱动。
存储媒体106可在终端10上装卸。而且,该存储媒体106如果是按照CPU101的控制来读取或写入数据的非易失性存储器,则不仅可以使用闪存104,还可以使用电可擦可编程ROM(EEPROM)等。
图8是本发明实施方式的管理系统50的硬件结构图。管理系统50包括:CPU201,用于控制整个管理系统50的动作;ROM202,用于保存传送管理装置用程序;RAM203,用以作为CPU201的工作区域;HD204,用于保存管理系统50用的程序等各种数据;HDD(harddiskdrive)205,用于按照CPU201的指令来控制HD204中各种数据的读取或写入;介质驱动器207,用于按照CPU101的指令来控制闪存等存储媒体206中各种数据的读取以及写入;显示器208,用于表示光标、菜单、窗口、文字或图像等各种信息;网络接口(I/F)209,用于利用下述通信网络2传送数据;键盘211,具有多个键,用于文字、数据、各种指示等的输入;鼠标212,用于选择或实行各种指示、选择处理对象、移动光标等;CD-ROM驱动器214,用于控制在作为一例可装卸存储媒体的光盘驱动器即CD-ROM(compact disc read only memory)213中的各种数据的读取或写入;以及,总线210,为如图8所示地电连接上述各个结构元件的地址总线或数据总线等。
中继装置30、转换系统80、程序提供系统90以及维护系统100具有与上述管理系统50相同的硬件结构,在此省略说明,但是在HD204中保存用于中继装置30、转换系统80、程序提供系统90以及维护系统100各自的控制程序等各种数据。
在此,用于终端10、中继装置30、转换系统80、程序提供系统90以及维 护系统100的各种程序也可以用可安装格式或可实行格式的文件,保存到计算机可读存储媒体(存储媒体106等)中出售。关于上述存储媒体例如还有CD-R(compact disc recordable)、DVD(digital versatile disk)、蓝光光盘等其他例子。
《功能结构》
下面说明本实施方式的功能结构。图9是构成本实施方式的通信系统1的各个终端10、中继装置30、管理系统50以及转换系统80的功能模块图。在图9中,终端10、中继装置30、管理系统50、以及转换系统80之间经由通信网络2进行数据通信。
<终端功能结构>
终端10包括收发信部11、操作输入接受部12、登录要求部13、摄像部14、声音输入部15a、声音输出部15b、显示控制部16、延迟检测部17、收信名单制作部18以及存储及读取处理部19。在此,这些功能部是由图7所示的结构部件中某一部件按照CPU201的指令动作来实行的功能或功能性装置,在此,CPU201执行保存在ROM202中的终端用程序。终端10还包括以图7所示的RAM103以及以图2所示的闪存104构成的存储部1000。
<视觉信息管理表>
图10是视觉信息管理表的概念性示意图。在存储部1000中构建视觉信息管理数据库1001,该视觉信息管理数据库1001以图10所示的视觉信息管理表构成。在该视觉信息管理表中,各项表示收信终端运行状态的运行状态信息与显示器120显示的表示收信名单的视觉信息相关保存。各视觉信息例如表视为图10所示的各种图标。构成视觉信息管理表的各视觉信息既可以在下述步骤S22中要求终端要求登录时由管理系统50发送,也可以在要求终端出厂交货之前保存到存储部1000中。
本实施方式中的视觉信息可分为两类不同的视觉信息,第一视觉信息视觉性地表示收信终端使用的通信方式和要求终端(专用终端A)使用的通信方式相同,第二视觉信息视觉性地表示收信终端使用的通信方式和要求终端(专用终端A)使用的通信方式不同。第一视觉信息包含表示运行状态为在线(可以通信)、在线(正在通信)、在线(暂时中断)、以及离线的各种视觉信息。第二视觉信息是针对收信终端为非专用终端D故而管理系统50无法取得运 行状态的情况,将运行状态视觉性地表示为未知,或者表示为收信终端的通信方式与专用终端A使用的通信方式不同。
<终端的各项功能部>
下面利用图7和图9详细说明终端10的各项功能部。在以下的终端10的各项功能部的说明中还将描述各项功能部与图7所示各结构部件中用于实现终端10各项功能的主要构成部件的关系。
图9所示的终端10的收发信部11的功能通过图7所示的CPU101的指令并经由图7所示的网络I/F111得以实现,经由通信网络2与其他终端、装置或系统之间进行各种数据或信息的收发。该受发信部11在开始与所希望的收信终端通信之前,通过管理系统50接收状态信息,该状态信息表示作为收信候补的各终端的状态。具体为不仅表示各终端10的运行状态(在线状态还是离线状态),而且还表示进一步详细的状态,例如不仅表示处于在线状态,还进一步表示可以通信、或正在通信、或离开等状态。进而该状态信息中不仅表示各终端10的运行状态,而且还可以表示其他各种状态,如连接终端10的连接线被切断、输出声音但不输出图像、不输出声音(MUTE)等等。以下说明一例状态信息所表示的运行状态。
操作输入接受部12的功能通过图7所示的操作键108以及电源开关109得以实现,其接受用户的各种输入。例如,当用户输入接通图7所示的电源开关109后,图9所示的操作输入接受部12收到电源接通要求,将电源接通。
登录要求部13的功能可通过来自图7所示的CPU101的指令得以实现。在收到上述电源接通要求后,从收发信部11经由通信网络2自动向管理系统50发送表示要求登录的登录要求信息、以及要求终端目前的I P地址。而且,当用户输入电源开关109由接通状态转为断开时,收发信部11向管理系统50发送表示切断电源的状态信息,而后,操作输入接受部12将电源完全断开。这样,管理系统50便能够掌握终端10的电源由接通改变为断开的状况。
摄像部14的功能通过图7所示的CPU101的指令以及图7所示的照相机112和摄像元件I/F113得以实现,在拍摄被摄体后,输出通过拍摄取得的图像数据。
声音输入部15a通过图7所示的CPU101的指令以及图7所示的声音输入I/F116得以实现,在用麦克风114将用户的声音转换为声音信号后,输入有关 该声音信号的声音数据。声音输出部15b通过图7所示的CPU101的指令以及图7所示的声音输入输出I/F116得以实现,将有关声音数据的声音信号输出到扬声器115,从扬声器115输出声音。
显示控制部16的功能通过图7所示的CPU101的指令以及图7所示的显示器I/F117得以实现,进行如以下将要描述的控制,即控制进行将收到的具有不同分辨率的图像数据结合,并将结合后的图像数据送往向显示器120。显示控制部16还将从管理系统50收到的关于收信名单的信息送往显示器120,并在显示器120上显示收信名单。
进而,显示控制部16以收发信部11收到的从管理系统50发送的运行状态信息为检索键,检索视觉信息管理表(参见图10),抽取对应的视觉信息,并将包含收信名单在内的信息显示到自己的终端10的显示器120上。
延迟检测部17的功能通过图7所示的CPU101发送的指令得以实现,用于检测其他终端10经由中继装置30送至的图像数据或声音数据的延迟时间(ms)。
收信名单制作部18的功能通过图7所示的CPU101发送的指令得以实现,基于存储部1000中保存的收信名单信息以及终端的状态信息,制作收信名单,该受信名单反映作为收信候补的终端10的状态。
收信名单制作部18基于收信候补的终端10的状态信息中包含的终端的运行状态信息,来检索视觉信息管理表(参见图10),抽取对应的视觉信息,而后,将该视觉信息分给该收信名单信息的收信名单表格中的每个终端ID以及收信名称。
存储及读取处理部19的功能通过图7所示的CPU101的指令或者CPU101的指令以及图7所示的SSD105得以实现,用于实行将各种数据的保存到存储部1000的保存处理、以及从存储部1000读取各种数据的读取处理。该存储部1000中保存用于识别终端10的终端I D以及密码等数据。进而在与收信终端通信期间,每当收到图像数据和声音数据时,该存储及读取处理部19便将该图像数据和声音数据重写并保存到该存储部1000中。其中,基于重写之前的图像数据在显示器120上显示图像,并基于重写之前的声音数据从麦克风115输出声音。
本实施方式的终端I D以及将要在以下叙述的中继装置ID均采用能够被唯一识别的语言、文字、标记、以及各种符号等识别信息来表示。终端ID和中 继装置ID还可以将上述语言、文字、标记以及各种符号中至少两个以上的结合起来构成识别信息。
<中继装置的功能结构>
下面说明中继装置30的功能。中继装置30包括收发信部31、状态检测部32、画质确认部33、改变画质管理部34、画质更改部35、以及存储及读取处理部39。这些功能部是通过CPU201执行从HD204展开到ROM202上的中继装置用程序、且图8所示的各结构部件中的某一部件按照CPU201指令动作得以实现的功能或功能性装置。中继装置30还包括以图8所示的RAM203以及/或者图8所示的HD204构成的存储部3000。
改变画质管理表
图11是改变画质管理表的概念性示意图。存储部3000中包括如图11所示的改变画质管理表构成的改变画质管理数据库3001。改变画质管理表中相关保存接收经过中继的图像数据的终端10(收信终端)的IP地址、以及该由中继装置30中继并向收信终端10提供的图像数据的质量即画质。
<中继装置的各项功能部>
下面详细说明中继装置30的各项功能部。在以下中继装置30的各项功能部的说明中还将描述各项功能部与图8所示的各构成部件中用于实现中继装置30各项功能部功能的主要部件之间关系。
图9所示的中继装置30的收发信部31的功能通过图8所示的CPU201发送的指令以及图8所示的网络I/F209得以实现,该受发信部31经由通信网络2与其它终端、装置、或系统之间实行各种数据或信息的收发。此外,收发信部31还对自己的中继装置使用的通信时域实行初始化处理。
进而,收发信部31还向收到的IP地址中以要求终端的IP地址表示的送信对象发送用于开始通信时域(第一通信时域)指示的时域开始指示信息。此外,收发信部31还向收到的IP地址中以转换系统80的IP地址表示的送信对象发送用于开始通信时域(第二通信时域)指示的时域开始指示信息以及收信终端的IP地址。
状态检测部32的功能通过图8所示的CPU201的指令得以实现,用于检测具备该状态检测部32的中继装置30的运行状态。关于运行状态,有“在线”、“离线”,其中,“在线”时进一步详细示出“正在通信”、“暂时中断” 以及“允许通信”中任意一种状态。
画质确认部33的功能通过图8所示的CPU201的指令得以实现,其用收信终端的IP作为检索键,来检索改变画质管理表(参见图11),抽取对应的将要中继的图像数据的画质,用以确认该将要中继的图像数据的画质。
改变画质管理部34的功能通过图8所示的CPU201的指令得以实现,其基于管理系统50发送并将在以下描述的画质信息,来更改改变画质管理表(参见图11)的内容。例如,在终端ID为“01aa”的要求终端(终端10aa)与终端ID为“01ba”的收信终端(终端10ba)之间收发高画质图像数据并举行电视会议的期间中,因另一电视会议的要求终端(终端bb)与收信终端(终端10ca)之间经由通信网络2召开电视会议,延迟了收信终端(终端ba)的图像数据接收,对此,需要中继装置30将正在中继的图像数据的质量从高画质降低到中画质。在这种情况下,根据表示为中画质的画质信息,将中继装置30正在中继的图像数据的画质从高画质降低到中画质,改变画质管理表(参见图11)的内容。
数据画质更改部35的功能通过图3所示的CPU201的指令得以实现,其基于上述更改后的改变画质管理表(参见图11)的内容,改变送信终端10发送的的图像数据的画质。
存储及读取部39的功能通过图8所示的CPU201的指令以及图8所示的HDD205得以实现,其实行在存储部3000中保存各种数据的保存处理、或从存储部3000读取各种数据的读取处理。
<管理系统的功能结构>
以下说明管理系统50的功能。管理系统50包括收发信部51、终端认证部52、状态管理部53、抽取部54、判断部55、时域管理部56、画质决定部57、延迟时间管理部58以及存储及读取处理部59。这些功能部是通过CPU201执行保存在HD204中并展开到ROM202上的管理系统50用的程序、且由图8所示的各结构部件中的某一部件按照CPU201指令动作得以实现的功能或功能性装置。管理系统50包括以图8所示的以HD204构成的存储部5000,该存储部5000中保存下述收信名单的表格数据。
中继装置管理表
图12是中继装置管理表的概念性示意图。存储部5000中保存图12所示的 以中继装置管理表构成的中继装置管理数据库5001。图12是表示中继装置管理表概念的示意图。该中继装置管理表针对每个中继装置30的中继装置ID,相关保存该中继装置30的运行状态、管理系统50收到的表示运行状态的状态信息的收信日期及时间、中继装置30的IP地址、以及中继装置30中的最大数据通信速度(Mbps)。例如,图12所示的中继装置管理表中,中继装置ID为“111a”的中继装置30a的运行状态为“在线”,管理系统50收到状态信息的收信日期及时间为“2011年11月10日13点钟00分”,该中继装置30a的IP地址为“1.2.1.2”,该中继装置30a中的最大数据通信速度为“100Mbps”。
终端信息管理表
图13是终端信息管理表的概念性示意图。存储部5000中保存以如图13所示的终端信息管理表构成的终端信息管理数据库5002。该终端信息管理表将管理系统50管理的所有终端10的各个终端ID与该终端10的认证用暗号、终端10的模式编号、终端10的串行编号、终端10的通信方式相关保存。例如,图13所示的终端信息管理表中的终端10aa的终端I D为“01aa”、暗号为“aaaa”、模式编号为“9001”、串行编号为“2001”、通信方式为“专用”。
通信方式“专用”表示采用图2以及图4所示的专用终端A的通信方式。通信方式“非专用1”表示采用如图4所示的非专用终端D的通信方式。通信方式“非专用2”表示采用除了专用终端A以及非专用终端D的通信方式以外的通信方式。
终端状态管理表
图14是终端状态管理表的概念性示意图。存储部5000中保存如图14所示的以终端状态管理表构成的终端状态管理数据库5003。该终端状态管理表中将每个终端10的终端ID与该终端10在作为收信终端时的终端名称、该终端10的运行状态、管理系统50收到下述登录要求信息的收信日期及时间、以及该终端10的I P地址相关保存。例如,如图14所示的终端状态管理表中,终端ID为“01aa”的终端10aa的收信名称为“日本东京事业所AA终端”,运行状态为“在线(允许通信)”,管理系统50收到登录要求信息的收信时间为“2011年11月10日13点40分”,该终端10aa的IP地址为“1.2.1.3”。
在此,专用终端A以外的终端10即非专用终端D等的IP地址不在上述终端状态管理表的管理对象之中。
收信名单管理表
图15是收信名单管理表的概念性示意图。存储部5000中保存图15所示的以收信名单管理表构成的收信名单管理数据库5004。该收信名单管理表中将提出开始通信要求的要求终端的终端ID与所有作为收信终端候补登记的收信终端的终端ID相关保存。例如,在图15所示的收信名单管理表中,终端ID为“01aa”的要求终端10aa要求开始通信,而该要求终端10aa的收信终端候补有:终端ID为“01ab”的终端10ab、终端ID为“01ba”的终端10ba以及终端ID为“01bb”的终端10bb等多个终端。可以根据要求终端向管理系统50发送的增加或删除的要求来更新收信终端候补。在终端状态管理表(参见图14)中,专用终端A以外的终端10的IP地址为管理对象以外,而在收信名单管理表(参见图15)中,专用终端A以外的终端10的终端ID也是管理对象。
时域管理表
图16是时域管理表的概念性示意图。存储部5000中保存如图16所示的、以时域管理表构成的时域管理数据库5005。该时域管理表中将中继图像数据以及声音数据的中继装置30的中继装置ID、要求终端的终端ID、收信终端的终端ID、收信终端收到图像数据时的收信延迟时间(ms)、以及管理系统50收到收信终端发送的表示该延迟时间的延迟信息的收信日期及时间相关保存。例如图16所示的时域管理表中显示,中继装置30a的中继装置ID为“111a”,该中继装置30a在终端ID为“01aa”的要求终端10aa与终端ID为“01ca”的收信终端10ca之间中继图像数据以及声音数据,收信终端10ca在“2011年11月10日14点00分”收到图像数据时的延迟时间为200(ms)。如果是在两个终端之间的通信,则除了上述收信终端以外,还可以根据要求终端发送的延迟信息来管理延迟信息的收信日期及时间。但是,如果是在三个终端之间通信,则需要根据接受图像数据和声音数据的收信终端发送的延迟信息来管理延迟信息的收信日期及时间。
转换管理表
图17是转换管理表的概念性示意图。存储部5000中保存以如图17所示的转换管理表构成的转换管理数据库5006。该转换管理表中相关保存非专用终端(包括非专用1和非专用2的终端)的终端ID、转换系统80的IP地址、以及非专用终端的IP地址。
画质管理表
图18是画质管理表的示意图。存储部5000中保存以如图18所示的画质管理表构成的画质管理数据库5007。该画质管理表中相关保存表示图像数据延迟时间的延迟时间信息和图像数据的画质,要求终端或收信终端的延迟时间越长,中继装置30将要中继的图像数据的画质就越低。
<管理系统的各项功能部>
下面详细说明管理系统50的各项功能部。在以下管理系统50的各个功能部的说明中还将描述各项功能部与图8所示的结构部件中用于实现管理系统50的各项功能部的主要结构部件之间的关系。
收发信部51的功能通过图8所示的CPU201的指令以及图8所示的网络I/F209得以实现,其经由通信网络2与其他终端、装置或系统之间收发各种数据或信息。
终端认证部52的功能通过图8所示的CPU201的指令得以实现,其用经由收发信部51收到的登录要求信息中的终端ID以及密码作为检索键,来检索终端信息管理表(参见图13),判断终端信息管理表中是否保存了相同的终端ID以及密码,以进行终端认证。
状态管理部53的功能通过图8所示的CPU201的指令得以实现,用于管理要求登录的要求终端的运行状态,将该要求终端的终端ID、运行状态、管理系统50收到登录要求信息的日期及时间、以及该要求终端的IP地址相关保存。状态管理部53根据用户将终端10的电源开关109从接通转换到切断状态之际,从终端10发送的表示电源被切断的状态信息,将终端状态管理表(参见图14)中表示在线的运行状态改变为离线。
抽取部54的功能通过图8所示的CPU201的指令得以实现,用各种检索键检索保存部5000中构建的各种管理数据库,抽取与检索键对应的数据或信息。
例如,抽取部54以提出登录要求的要求终端的终端ID为检索键,检索收信名单管理表(参见图15),抽取能够与要求终端通信的收信终端候补的终端ID。而后,抽取部54以收信终端的终端ID为检索键,检索终端状态管理表(参见图14),抽取各终端I D对应的运行状态。由此,抽取部54取得能够与提出登录要求的要求终端通信的收信终端候补的运行状态。
进而,抽取部54还以提出登录要求的要求终端的终端ID为检索键,检索 收信名单管理表(参见图15),抽取将上述要求终端的终端ID作为收信终端候补登记的其他要求终端的终端ID。而后,抽取部54以该其他要求终端的终端ID为检索键,检索终端状态管理表(参见图14),抽取提出登录要求的要求终端的运行状态。
进而,抽取部54以收发信部51收到的终端10的终端ID作为检索键,检索终端状态管理表(参见图14),抽取对应的终端10的IP地址。而后,抽取部54以收发信部51收到的终端10的终端I D为检索键,检索终端信息管理表(参见图13),抽取对应的通信方式信息。进而,抽取部54以收发信部51收到的终端10的终端ID作为检索键,检索转换管理表(参见图17),抽取对应的转换系统80的IP地址以及上述收到的终端ID所对应的终端10的IP地址。
进而,抽取部54以收发信部51收到的延迟时间信息作为检索键,检索画质管理表(参见图18),抽取对应的图像数据的画质信息。
进而,抽取部54以收信终端的IP地址为检索键,检索终端状态管理表(参见图14),抽取对应的终端ID。
判断部55的功能通过图8所示的CPU201的指令得以实现,用于判断终端10的通信方式是否是专用终端A采用的通信方式。而后,判断部55判断运行状态信息中示出的运行状态是否是“在线”。进而,判断部55的判断结果为“在线”时,则判断能够向该终端10发送运行状态信息,而当判断结果不是“在线”时,则判断不能够向该终端10发送运行状态信息。
时域管理部56的功能通过图8所示的CPU201的指令得以实现,存储部5000中的时域管理表(参见图16)中相关保存用于中继通信数据的中继装置30的中继装置ID、要求终端的终端ID、收信终端的终端ID、收信终端接收图像数据时的延迟时间(ms)、以及从收信终端发送并由管理系统50收到的表示延迟时间的延迟时间信息的延迟信息收信日期及时间。时域管理部56制作用于设立通信时域的时域ID。
画质决定部58基于抽取部54抽取的画质信息,决定由中继装置30中继的图像数据的画质。
延迟时间管理部58的功能通过图8所示的CPU201的指令得以实现,将上述以延迟时间信息表示的延迟时间保存在时域管理数据库5005(参见图16)的时域管理表中,具体保存在包含由上述抽取部54抽取的终端ID在内的记录项 中的延迟时间区域部分中。
存储及读取处理部59的功能通过图8所示的CPU201发送的指令以及图8所示的HDD205得以实现,其实行各种数据在存储部5000中的保存处理、或实行读取存储部5000中保存的各种数据的读取处理。
<转换系统的功能结构>
转换系统80具备收发信部81、通信方式转换部82以及存储及读取处理部89。这些功能部是通过CPU201执行保存在HD204中并被展开到RAM203上的转换系统80用的程序、且由图8所示的结构部件中的某一部件按照CPU201的指令动作而得以实现的功能或功能装置。转换系统80具有以图8所示的RAM203以及/或者图8所示的HD204构成的存储部8000。该存储部8000中保存转换通信数据时使用的转换规则数据。
转换系统的各项功能部
以下利用图8以及图9详细说明转换系统80的各项功能部。在以下的说明中还将描述转换系统80的各项功能部与图所示的各构成部件中用于实现转换系统80的各项功能部功能的主要部件之间关系。
图9所示的转换系统80的收发信部81的功能通过图7所示的CPU101的指令以及图7所示的网络I/F111得以实现,经由通信网络2与其他终端、装置或系统之间进行各种数据或信息的收发。而且,收发信部81向中继装置30发送的收信终端信息所表示的终端发送时域开始指示信息,该时域开始指示信息是表示通信时域(第三通信时域)的开始指示。收信信息为IP地址以及(统一源标识符(uniform Resource identifier,URI)等。
通信方式转换部82按照存放在存储部8000中的通信方式的转换规则数据,在要求终端发送的通信数据的通信方式与收信终端发送的通信数据的通信方式作互相转换。
存储及读取处理部89的功能由图8所示的CPU201的指令以及图8所示的HDD205实行,实行将各种数据保存到存储部8000中的存储处理,或者,读取存储部8000中保存的数据的读取处理。
《处理和动作》
以下参考图19~图22来说明在两个专用终端A之间通信。图19是提出开始通信要求的时序图。
如图19所示,首先,当作为专用终端A的要求终端(终端10aa)的用户指示接通图6所示的电源开关109后,图9所示操作输入接受部12收到电源接通指令,接通电源(步骤S21)。而后,登录要求部13在收到上述电源接通指令之际,从收发信部11经由通信网络2向管理系统50自动发送表示要求登录的登录要求信息(步骤S22)。该登录要求信息包含用于识别要求终端的终端10aa的终端ID以及密码。这些终端ID以及密码是通过存储及读取处理部19从存储部1000中读取并送往收发信部11的数据。在要求终端(终端10aa)向管理系统50发送登录要求信息时,收信的管理系统50可以掌握送信的终端10aa的IP地址。
接着,管理系统50的终端认证部52,将经由收发信部51收到的登录要求信息中包含的终端ID以及密码作为检索键,检索终端信息管理表(参见图13),判断终端信息管理表中是否保存了相同的终端ID以及密码,进行认证(步骤S23)。如果终端认证部52判断保存了相同的终端ID以及密码,因而登录要求出自具有正当利用权限的终端10,则状态管理部53将上述登录要求信息的收信日期及时刻与终端10aa的I P地址相关保存到终端状态管理表(参见图14)中以该终端10aa的终端ID以及收信名称表示的各项记录中(步骤S24)。由此,在终端状态管理表中相关的终端ID“01aa”以及收信名称的记录项中,保存了运行状态为“在线”、收信日期及时间为“2011.11.10.13:40”以及终端10aa的IP地址“1.2.1.3”。
管理系统50的收发信部51将表示上述终端认证部52的认证结果的认证结果信息通过通信网络2送往发出上述登录要求的要求终端(终端10aa)(步骤S25)。以下继续说明终端认证部52判断终端具有正当利用权利后的情况。
要求终端(终端10aa)收到表示判断结果为具有正当利用权利的终端的认证结果信息后,收发信部11经由网络2向管理系统50发送表示要求传送收信名单的收信名单要求信息(步骤S26)。为此,管理系统50的收发信部51收到收信名单要求信息。
终端抽取部504以提出登录要求(终端10aa)的终端ID“01aa”为检索键,检索收信名单管理表(参见图15),读取能够与要求终端(终端10aa)通信的收信终端候补的终端ID,同时以该收信终端候补的终端ID为检索键,检索终端状态表(参见图14),抽取对应的收信名称信息(步骤S27)。在此,为 了简化说明,以专用终端A的终端10ca和非专用终端D的终端da为收信终端候补,以下继续说明当抽取了这些终端的终端ID时的情况。
抽取部54从存储部5000读取收信名单表格中的数据(步骤S28)。而后收信部51将收信名单表格以及上述步骤S27中抽取的包含终端ID以及收信终端名称信息的收信名单信息(收信名单表格、终端ID、收信终端名称)送往要求终端(终端10aa)(步骤S29)。由此,要求终端(终端10aa)的收发信部11收到收信名单信息。
而后,要求终端(终端10aa)的存储及读取处理部19将收信名单信息保存到存储部1000(步骤S30)。
这样,本实施方式不用各终端10来管理收信名单信息,而是用管理系统50来统一管理所有终端的收信名单信息。为此,即便是在通信系统1中增加新的终端10,或者用新型终端10来取代既有的终端10,或者改变收信名单表格形态等情况下,也能够用管理系统50来统一应对,省去了在各终端10更改收信名单信息的手续。
在管理系统50中抽取收信终端候补的终端10的运行状态(步骤S31)。在此,用图20说明步骤S31中的具体处理。
图20是抽取运行状态的流程图。首先,抽取部54基于上述步骤S27中检索到的收信终端的终端ID,检索终端信息管理表(参见图13),抽取对应的通信方式信息(步骤S31-1)。
接着,判断部55判断上述抽取的通信方式信息所表示的通信方式是否是作为专用终端A的要求终端(终端10aa)使用的通信方式(步骤S31-2)。具体来说,判断部55判断由抽取部55抽取的通信方式信息所表示的通信方式是否与要求终端(终端10aa)使用的通信方式相同。通信方式相同是指终端双方的呼叫控制方式以及编码方式二者均相同的情况,而通信方式不同则是指在终端双方在呼叫控制方式和编码方式二者中至少有一种方式不同。
而后,如果判断部在上述步骤S31-2中判断通信方式相同(S31-2的是),抽取部54进一步以收信终端候补的终端10的终端ID为检索键,检索终端状态管理表(参见图14),抽取对应的运行状态管理信息(步骤S31-3)。另一方面,如果判断部55在上述步骤S31-2中判断通信方式不同(S31-2的否),则不检索终端状态管理表,结束步骤S31的处理。
而后,存储及读取处理部59将上述步骤S31中抽取的运行状态信息与处于该运行状态信息所表示的运行状态下的终端10的终端ID相关保存到存储部5000(步骤S32)。对于未能在上述步骤31中抽取运行状态信息的情况,则存储及读取处理部59将运行状态信息表示的运行状态设为“未知”,并将该运行状态信息与处于该运行状态信息所表示的运行状态下的终端10的终端ID相关保存到存储部5000。
而后,收发信部51经由通信网络2,将包含上述步骤S27使用的检索键的终端ID“10ca”、以及与该终端ID对应的收信终端(终端10ca)的运行状态“在线(可以通信)”在内的终端的状态信息送往要求终端(终端10aa)(步骤S33)。另外,同样在步骤S33中,收发信部51还经由通信网络2,将终端ID“10da”以及与该终端ID对应的收信终端(终端10da)的运行状态“未知”在内的剩下的终端的状态信息等,分别送往各自的要求终端(终端10aa)。
另外,还可以发送差异通信方式信息来替换表示运行状态为“未知”的运行状态信息,该差异通信方式信息表示收信终端使用的通信方式与要求终端使用的通信方式不同。进而,在因通信网络2的切断或收信终端的候补终端发生故障等致使管理系统50无法取得收信终端候补的运行状态时,向要求终端发送以“离线”表示运行状态的运行状态信息。
进而收发信部51还可以向要求终端(终端10aa)发送该要求终端(终端10aa)本身的终端ID和表示其运行状态的运行状态信息。
而后,要求终端(终端10aa)的存储及读取处理部19依次将管理系统50发送的终端的状态信息保存到存储部1000中(步骤S34)。这样,要求终端收到上述各终端的状态信息,不仅获得能够与要求终端(10aa)通信的属于专用终端A的终端10ca的目前运行状态,而且还获得能够与要求终端(终端10aa)通信的终端10da属于非专用终端D的信息(运行状态为“未知”)。
而后,要求终端(终端10aa)的收信名单制作部18基于存储部1000中保存的收信名单信息以及终端的状态信息,制作收信名单,该收信名单反映作为收信候补的终端10的状态,同时,显示控制部16控制图1所示的显示器120aa显示收信名单(步骤S35)。为了在收信名单中反映终端10的状态,需要实行以下处理。即收信名单制作部18基于终端的状态信息中包含的终端的运行状态信息,来检索视觉信息管理表(参见图10),抽取对应的视觉信息。而后, 收信名单制作部18将上述抽取的视觉信息分给该收信名单信息的收信名单表格中的每个终端ID以及收信名称。
图21是收信名单的示意图。如图21所示,构成收信名单的收信名单表格中从左向右显示了表示作为收信终端候补的各终端10的运行状态的视觉信息、终端ID以及终端名称。收信名单表格的最右侧设有滚动条,通过滚动该滚动条可使得收信名单中的视觉信息上下移动。
返回图19,另一方面,在管理系统50中,步骤S33之后抽取部54基于提出登录要求的要求终端(终端10aa)的终端ID(01aa),检索收信名单管理表(参见图15),抽取将该要求终端(终端10aa)的终端ID(01aa)作为收信终端候补登录的其他要求终端的终端ID(步骤S36)。以下为了方便,针对步骤S36抽取的终端ID为终端10ba、终端10ca以及终端10da的各终端ID(01ba、01ca、01da)的情况进行说明。
而后,管理系统50的抽取部54以要求登录的要求终端(终端10aa)的终端ID“01aa”为检索键,检索收信名单管理表(参见图15),抽取上述要求终端(终端10aa)的运行状态(步骤S37)。
而后,判断能否向上述步骤S36中抽取的终端ID(10ba、10ca、10da)所表示的终端发送终端的状态信息,该状态信息表示要求终端(终端10aa)的最新运行状态(步骤S38)。在此用图22详细说明步骤S38中的具体处理。图22是判断可否发送运行状态的流程图。
首先,抽取部54抽取在上述步骤S32中保存在存储部5000中的运行状态信息以及对应的终端ID(步骤S38-1)。而后,判断部55判断上述步骤S38-1中抽取的运行状态信息所表示的运行状态是否是“在线”。如果该步骤S38-2中判断运行状态为“在线”(是),则判断部55进一步判断可以将在上述步骤S38-1中抽取的要求终端(终端10aa)的运行状态送往收信终端候补(步骤S38-3)。
相反,如果在上述步骤S38-2中判断运行状态不是“在线”(否),则判断部55判断不能够将在上述步骤S38-1中抽取的要求终端(终端10aa)的运行状态送往收信终端候补(步骤S38-4)。不是在线状态包括“离线”状态以及“状态不明”。也就是说,要求终端(终端10aa)的运行状态信息不能被送到虽然是专用终端A但却处于离线状态的终端10ba以及作为非专用终端的终 端da。这样,非专用终端D不能接受管理系统50提供的有关专用终端A的运行状态的通知服务。
接着,收发信部51向在上述步骤S38中判断可以发送运行状态信息的终端10ca发送“终端状态信息”(步骤S39),该终端状态信息中包含要求终端(终端10aa)的终端ID“01aa”以及表示要求终端(终端10aa)的运行状态的运行状态信息。由此,终端10ca的收发信部将受到终端状态信息。
据此,终端10ca中进行与上述步骤S35相同的处理,制作反映终端10aa最新运行状态的收信名单并将该收信名单显示在显示器120ca上(步骤S40)。
以下利用图6和图9以及图23和图26来说明在两个专用终端A之间的通话。在此,图23是提出开始通话要求的时序图。
如图23所示,首先,要求终端(终端10aa)为专用终端A,该终端的用户按动图6所示的操作键108,选择候补终端即为专用终端A的收信终端(终端10ca)后,图9所示的操作输入接受部12收到要求与收信终端(终端10ca)通信的要求(步骤S41)。而后,要求终端(终端10aa)的收发信部11将开始要求信息送往管理系统50(步骤S42),该开始要求信息表示要求开始通信,其中包含终端10aa的终端ID“01aa”以及收信终端(终端ca)的终端ID“01ca”。
图9所示的管理系统50的状态管理部53根据开始要求信息中包含的要求终端(终端10aa)的终端ID“01aa”以及收信终端(终端10ca)的终端ID“01ca”,分别检索终端状态管理表(参见图14),将该表中包含上述终端ID“01aa”和“01ca”的记录项中表示运行状态的区域部分改为“在线(正在通信)”(步骤S43)。虽然要求终端(终端10aa)和收信终端(10ca)此时并未开始通信,但却被指定为处于通信状态,如果其他终端10要求与要求终端(终端10aa)或收信终端(终端10ca)通信,则要求终端(终端10aa)或收信终端(10ca)将输出表示处于正在通信状态的通知音或显示。
而后,管理系统50的时域管理部56制作在构建通信时域时使用的时域ID(步骤S44)。管理系统50判断收信终端(终端10ca)所使用的通信方式(步骤S45)。
在此,利用图24详细说明步骤S45。图24是通信方式的判断流程图。
如图24所示,管理系统50的抽取部54根据收发信部51收到的收信终端(终端10ca)的终端ID“01ca”,来检索终端信息管理表(参见图13),抽取对 应的通信方式信息(步骤S45-1)。
而后,判断部55判断被抽取的通信方式信息所显示通信方式是否是要求终端(终端10aa)使用的通信方式(步骤S45-2)。具体为,判断部55判断由抽取部54抽取的通信方式信息所显示的通信方式是否与要求终端(终端10aa)所利用的通信方式相同。通信方式相同是指呼叫控制方式和编码方式二者均相同,通信方式不同是指呼叫控制方式和编码方式二者中至少一种方式不同。
而后,根据上述步骤S45-2,如果判断部55判断通信方式相同(步骤S45-2的是),则进入下述图25所示的步骤S61的处理。以下,设收信终端(终端10ca)与要求终端(终端10aa)相同,均为专用终端A,说明步骤S61。图25是在专用终端A之间开始通信之前进行通信时域构建处理的时序图。本实施方式中针对利用多个中继装置30之中与要求终端(终端10aa)连接在同一个LAN2上的中继装置30a的情况进行说明。
如图25所示,管理系统50的收发信部51向中继装置30a发送时域初始化要求信息(步骤S61),该时域初始化要求信息表示对中继装置30a设立的通信时域进行初始化,其中包含上述步骤S44中制作的时域ID以及保存在终端状态管理表(参见图14)中的要求终端(终端10aa)和收信终端(终端10ca)各自的IP地址。管理系统50在向中继装置30a发送时域初始化要求信息时,还发送管理系统50的IP地址,由此,中继装置30a的收发信部31收到时域初始化要求信息以及管理系统50的IP地址。
而后,中继装置30a的收发信部31实行通信时域初始化(步骤S62)。而后,收发信部31向要求终端(终端10aa)发送时域开始指示信息(步骤S63),该时域开始指示信息表示开始通信时域的指示,其中包含来自管理系统50的时域ID。中继装置30a向要求终端(终端10aa)发送时域开始指示信息时,还发送中继装置30a的IP地址。这样,要求终端(终端10aa)的收发信部11收到时域开始指示信息以及中继装置30a的IP地址。
同样,收发信部31向收信终端(终端10ca)发送时域开始指示信息(步骤S64),该时域开始指示信息表示了开始通信时域的指示,其中包含从管理系统50发送的时域ID。中继装置30a向要求终端(终端10aa)发送时域开始指示信息时,还发送中继装置30a的IP地址。这样,收信终端(终端10ca)的收发信部11收到时域开始指示信息以及中继装置30a的IP地址。
按照以上所述,基于步骤S63,在要求终端(终端10aa)和中继装置30a之间设立了用于收发通信数据的通信时域(图2所示的第一通信时域sed1)(步骤S65-1),同时基于步骤S64,在收信终端(终端10ca)和中继装置30a之间设立了用于收发通信数据的通信时域(图2所示的第二通信时域sed2)(步骤S65-2)。
接着,利用图26说明为了如举行电视会议等的通信而在要求终端和收信终端之间进行的收发信处理。图26是在专用终端A的终端之间收发通信数据的处理时序图。从终端10aa向终端10ca发送通信数据的处理与从终端10ca向终端10aa发送通信数据的处理之间虽然是逆向处理,但是两者之间在通信数据的收发信以及将在以下叙述的延迟时间检测等处理中处理方法相同,因此在此仅说明从终端10aa向终端10ca发送通信数据的处理,而省略逆向处理说明。
首先,要求终端(终端10aa)利用通信时域sed1,从收发信部11经由通信网络2,向中继装置30a发送摄像部14拍摄的被摄体图像的图像数据、以及通过声音输入部15a输入的声音的声音数据(步骤S81)。本实施方式发送的数据为图3所示的由低分辨率、中分辨率、高分辨率三种分辨率构成的高画质图像数据以及声音数据。由此,中继装置30a的收发信部31收到上述三种分辨率的图像数据以及声音数据。而后,画质确认部33以收信终端(终端10ca)的IP地址“1.3.1.3”为检索键,检索改变画质管理表(参见图11),抽取将要中继的对应的图像数据的画质,据此来确认该图像数据的画质(步骤S82)。本实施方式中,确认到图像数据的画质为高画质,为此,中继装置30a利用通信数据用的第二通信时域sed2,将未经改动的图像数据和声音数据送往收信终端(终端10ca)(步骤S83)。由此,收信终端(终端10ca)的收发信部11收到以低分辨率、中分辨率、高分辨率的三种分辨率构成的高画质图像数据以及声音数据。而后显示控制部16将三种画质的图像数据结合起来显示到显示器120上,同时,声音输出部15b根据声音数据输出声音。
接着,收信终端(终端10ca)的延迟检测部17每隔一定时间,如每隔1秒检测收发信部11收到的图像数据的收信延迟时间(步骤S84)。本实施方式在以下说明中设定延迟时间为200ms。
收信终端(终端10ca)的收发信部11用图2所示的管理信息用的时域sei并经由通信网络2向管理系统50发送延迟时间信息(步骤S85),该延迟时间 信息表示延迟时间为“200(ms)”。这样,管理系统50便能够在掌握延迟时间的同时,还掌握发送延迟时间信息的终端10ca的I P地址“1.3.1.3”。
接着,管理系统50的延迟时间管理部58以上述收信终端(终端10ca)的IP地址“1.3.1.3”为检索键,检索终端状态管理表(参见图14),抽取对应的终端ID“01ca”,进而,将上述延迟时间信息中的延迟时间“200(ms)”保存到时域管理表(参见图16)中包含上述终端ID“01ca”的记录项内用于记录延迟时间的区域部分中(步骤S86)。
接着,画质决定部58以上述延迟时间“200(ms)”为检索键,检索画质管理表(参见图18),抽取对应的图像数据的画质“中画质”,将画质定为“中质量”(步骤S87)。
而后,收发信部51以保存在时域管理表(参见图16)中与上述终端ID“01ca”相关的中继装置ID“111a”为检索键,检索中继装置管理表(参见图12),抽取对应的中继装置30a的IP地址“1.2.1.2”(步骤S88)。而后,收发信部51利用管理用通信时域sei并经由通信网络2,将上述步骤S87决定的表示图像数据的画质为“中画质”的画质信息送往中继装置30a(步骤S89)。该画质信息中包括上述步骤S86中被当作检索键使用的收信终端(终端10ca)的IP地址“1.3.1.3”。这样中继装置30a的改变画质管理部34便将发送信息的终端10(在此为终端10ca)的I P地址“1.3.1.3”与将要中继的图像数据的画质“中画质”相关保存到改变画质管理表(参见图11)中管理(步骤S90)。
而后,要求终端(终端10aa)继续进行与上述步骤S81相同的处理,即利用第一通信时域sed1向中继装置30a发送以低分辨率、中分辨率、高分辨率三种分辨率构成的高质量图像数据以及声音数据(步骤S91)。这样,与上述步骤S82相同,在中继装置30a中,画质确认部33以收信终端(终端10ca)的IP地址“1.3.1.3”作为检索键,检索改变画质管理表(参见图11),并抽取对应的将要中继的图像数据的画质“中画质”,据此来确认将要中继的图像数据的画质(步骤S92)。在本实施方式中,图像数据的画质被确认为“中画质”,其画质低于收发信部31收到的图像数据的画质“高画质”,为此,画质更改部35改变图像数据的画质,将“高画质”降低为“中画质”,更改图像数据的图像质量(步骤S93)。
而后,收发信部31利用第二通信时域sed2并经由通信网络2,向收信终端 (终端10ca)发送上述画质被改变成“中画质”的图像数据以及音质未经改变的声音数据(步骤S94)。这样,收信终端(终端10ca)的收发信部11便收到以低分辨率、中分辨率两种分辨率构成的中画质图像数据以及声音数据。而后,显示控制部便能够将两种分辨率的图像数据结合,并在显示器120ca上显示图像,与此同时,声音输出部15b能够基于声音数据输出声音。
这样,如果在图像数据的收信终端(终端10ca)中发生收信延迟,中继装置30a便可以改变图像的画质,避免参加电视会议等通信的用户有不协调感觉。换言之,可以向两个专用终端A提供处理图像数据收信延迟的服务。
以下利用图24、图27以及图29说明在专用终端A和非专用终端D之间通信的第二种通信形态。本实施方式在专用终端A的终端10aa和非专用终端D的终端10da之间通信。在终端10aa采用的通信方式中,呼叫控制方式为即时通信协议或即时通信协议的扩展协议,编码方式为SVC,而终端10da采用的通信方式中呼叫控制方式为SIP,编码方式为AVC。
从图19至图24的步骤S45-1期间,第一通信形态和第二通信形态之间的不同仅在于步骤S41中选择的收信终端不同,即收信终端由终端10ca变为终端10da,随之用于收发信以及检索的收信终端的终端ID也作相应改变,为此,以下省略该期间的说明,而是从图24的步骤S45-2,即判断部55判断收信终端(终端10da)不是专用终端A,其通信方式与要求终端(10aa)的通行方式不同(步骤S45-2的否)开始说明。
在第二通信形态的情况下,抽取部54基于收发信部51受到的收信终端(终端10da)的终端ID“01da”来检索转换管理表(参见图17),抽取对应的转换系统80的IP地址“1.3.2.2”以及收信终端(终端10da)的IP地址“1.3.2.3”(步骤S45-3)。而后进入下述图27所示的步骤S101的处理。
图27是在专用终端A和非专用终端D之间开始通信之前进行通信时域设立处理的时序图。如图27所示,管理系统50的收发信部51向中继装置30a发送时域初始化要求信息(步骤S101),该时域初始化要求信息表示对中继装置30a设立的通信时域进行初始化,其中包含时域ID以及要求终端(终端10aa)、转换系统80、收信终端(终端10da)各自的IP地址。其中,时域ID为步骤S44中制作的ID。要求终端(终端10aa)的IP地址保存在终端状态管理表中(参见图14)。而转换系统80以及收信终端(终端10da)各自的IP则分别为在上述 步骤S45-3中抽取的IP地址。
管理系统50在向中继装置30a发送时域初始化要求信息时,还发送管理系统50的IP地址,由此,中继装置30a的收发信部31收到时域初始化要求信息以及管理系统50的IP地址。
而后,中继装置30a的收发信部31实行通信时域初始化(步骤S102)。收发信部31向要求终端(终端10aa)发送时域开始指示信息(步骤S103),该时域开始指示信息表示了开始通信时域的指示,其中包含从管理系统50发送的时域ID。中继装置30a向要求终端(终端10aa)发送时域开始指示信息时,还发送中继装置30a的IP地址。这样,要求终端(终端10aa)的收发信部11收到时域开始指示信息以及中继装置30a的IP地址。
同样,收发信部31向转换系统80发送时域开始指示信息(步骤S104),该时域开始指示信息表示了开始通信时域的指示,其中包含从管理系统50发送的时域ID以及收信终端(终端10da)的IP地址。换言之,收发信部31不但发送时域开始指示信息而且还发送收信终端(终端10da)的IP地址。中继装置30a向转换系统80发送时域开始指示信息时,还发送中继装置30a的IP地址。这样,转换系统80的收发信部81收到时域开始指示信息以及中继装置30a的IP地址。
进而在第二通信形态中,转换系统80的收发信部81向收信终端(终端10da)发送时域开始指示信息(步骤S105),该时域开始指示信息表示了开始通信时域的指示,其中包含从管理系统50发送的时域ID。另外,转换系统80向收信终端(终端10da)发送时域开始指示信息时,还发送转换系统80的IP地址。这样,收信终端(终端10da)的收发信部11收到时域开始指示信息以及转换系统80的IP地址。
按照以上所述,基于步骤S103,在要求终端(终端10aa)和中继装置30a之间设立了用于收发通信数据的通信时域(图4所示的第一通信时域sed11)(步骤S106-1)。同时,基于步骤S104,在中继装置30a和转换系统80之间设立了用于收发通信数据的的通信时域(图4所示的第二通信时域sed12)(步骤S106-2)。进而,基于步骤S105,在转换系统80和收信终端(终端10ca)之间设立了用于收发通信数据的通信时域(图4所示的第二通信时域sed13)(步骤S106-3)。
接着,利用图28说明为了进行如举行电视会议等通信而在要求终端和收信终端之间进行的收发信处理。图28是在专用终端A和非专用终端D之间收发通信数据的处理时序图。
首先,要求终端(终端10aa)为专用终端A,其利用第一通信时域sed11,从收发信部11经由通信网络2,向中继装置30a发送摄像部14拍摄的被摄体图像的图像数据、以及通过声音输入部15a输入的声音的声音数据(步骤S121)。本实施方式发送的数据为图3所示的由低分辨率、中分辨率、高分辨率三种分辨率构成的高画质图像数据以及声音数据。由此,中继装置30a的收发信部31收到上述三种分辨率的图像数据以及声音数据。
而后,中继装置30a利用第二通信时域sed12从收发信部31经由通信网络2向转换系统80发送上述以三种分辨率构成的高画质的图像数据以及声音数据(步骤S122)。由此,转换系统80的收发信部81收到上述三种分辨率的图像数据以及声音数据。
而后,转换系统80的通信方式转换部82根据预先保存在存储部8000中的转换规则数据,将上述三种分辨率的图像数据的通信方式从要求终端(终端10aa)所利用的通信方式转换成收信终端(终端10da)所利用的通信方式(步骤S123)。在此,伴随通信方式的转换,图3所示的三种分辨率(高分辨率、中分辨率、低分辨率)的图像数据被转换成图5所示的只用一种分辨率(中分辨率)的图像数据。
接着,转换系统80利用第三通信时域sed13,从收发信部81经由通信网络2向收信终端(终端10da)发送声音数据以及中分辨率的图像数据(步骤S124)。这样,收信终端(终端10da)的收发信部11便收到声音数据以及中分辨率的图像数据。
另一方面。当收信终端(终端10da)向要求终端(终端10aa)发送图像数据以及声音数据时,如图28所示,收信终端(终端10da)利用第三通信时域sed13,从收发信部11经由通信网络2向转换系统80发送声音数据以及中分辨率图像数据(步骤S125)。由此,转换系统80的收发信部81收到声音数据以及中分辨率的图像数据。
而后,转换系统80的通信方式转换部82根据预先保存在存储部8000中的转换规则数据,将声音数据以及中分辨率的图像数据的通信方式从收信终端 (终端10da)所利用的通信方式转换成要求终端(终端10aa)所利用的通信方式(步骤S126)。
图29是经过转换系统80转换后的的图像数据的画质示意图。在步骤S126中,伴随通信方式的转换,图5所示的一种分辨率(中分辨率)的图像数据被转换成如图29A所示的低分辨率图像数据、图29C所示的中分辨率图像数据、以及如图29B所示的分辨率为中分辨率和低分辨率之间的低中分辨率图像数据。换言之,在转换系统80中无法如上述步骤S122转换高分辨率图像数据那样地转换非专用终端D的收信终端(终端10da)发送的中分辨率图像数据,而是以收信终端(终端10da)发送的中分辨率图像数据作为最大分辨率的图像数据,将该中分辨率图像数据转换成以该中分辨率图像数据、分辨率为中分辨率与低分辨率之间的中低分辨率图像数据、以及低分辨率图像数据的三种分辨率构成的图像数据。
而后,转换系统80利用第二通信时域sed12,从收发信部81经由网络2将声音数据以及以三种分辨率构成的图像数据送往中继装置30a(步骤127)。由此,中继装置30a的收发信部31收到声音数据以及三种分辨率的图像数据。而后,中继装置30a利用第一通信时域sed11,从收发信部31经由网络2将声音数据以及以三种分辨率构成的图像数据送往要求终端(终端10aa)(步骤S128)。由此,要求终端(终端10aa)的收发信部11便收到声音数据以及三种分辨率的图像数据。
《实施方式的主要效果》
如上所述,本实施方式针对非专用终端D的收信终端所采用的通信方式与专用终端A的要求终端所采用的通信方式不同的情况,由管理系统50向要求终端发送表示收信终端的运行状态未知的运行状态信息,或者发送表示收信终端所采用的通信方式与要求终端所采用的通信方式不同的通信方式信息。由此,要求终端的用户能够获悉收信终端的通信方式不同,了解到无法取得收信终端的运行状态的原因,解决了对是等待还是启动通信开始处理难以作出决定的问题。
《实施方式的补充》
在以上的说明中,以专用终端A为要求终端,并以非专用终端D为收信终端进行说明,但是本发明并不受此限制,也可以反过来将非专用终端D作为要 求终端,而将专用终端A作为要求终端。
上述通信数据、通信终端10、通信管理系统50各自均仅仅是一例而已。该通信数据还可以包含文字或图像的文件数据,通信终端10除了进行通信的终端以外、例如还有收发上述文件数据的信息处理终端,通信管理系统还可以管理上述文件数据处理。进而,通信系统1也仅仅是一例而以,该通信系统也可以由通信终端和通信管理系统构成。
上述各实施方式的中继装置30、管理系统50、转换系统80、程序提供系统90以及维护系统100既可用单独的计算机构建,也可用任意地分担被分割的各功能部的多台计算机来构建。在用单独的计算机构建程序提供系统90时,既可将程序提供系统90发送的程序分成多个模块单元来发送,也可发送整个程序。而在用多台计算机构建程序提供系统90时,各台计算机可以分别发送被分割形成的多个模块单元。
上述实施方式中可以将用于保存上述各种程序的CD-ROM等记录媒体、保存这些程序的HD204、以及具备该HD204的程序提供系统90作为程序产品向国内外供应。
在上述实施方式中,图11所示的更改画质管理表以及图18所示的画质管理表中保存管理的均为中继装置30中继的图像数据的图像分辨率来,但是,图像的分辨率只不过是表示图像质量的一例而已,而对于质量的保存管理,本发明并不受该实施方式的限制。作为质量的其他例子,例如还可以保存管理如图像数据的画质深度、声音数据的取样频率、声音数据的声音中的比特长等。声音数据还可以按照三种分辨率(高分辨率、中分辨率、低分辨率)的数据分开收发。
对于收信日期及时间的保存管理也不局限于图12、图14、图16中所示,在这些收信日期及时间中至少需要保存管理收信时间。
在上述实施方式中,用图12管理中继装置的IP地址,并用图14管理终端的IP地址,但本发明并不受此限制,在本发明中,只要是用于在通信网络2上确认中继装置30的收信终端信息、或者用于在通信网络2上确认终端10的收信终端信息,便可管理各自的全域名(FQDN,fully qualified domain name)。此时,可以通过公知的域名系统(DNS,domainname system)服务器来取得对应于FQDN的IP地址。
上述实施方式以电视会议系统为例对通信系统1进行了说明,但是本发明并不受此限制,除了电视会议系统以外,本发明还适用于网协(internetprotocol,IP)电话、网络电话等电话系统。另外,通信系统1还可以用于汽车导航系统。在这种情况下,例如,终端10的一方相当于汽车中搭载的导航装置,而另一方相当于管理导航的管理中心的管理终端或管理服务器、或者相当于其他汽车中搭载的导航装置。进而,通信系统1还可以用于手机通信系统,此时,终端10相当于手机。
上述实施方式用图像数据以及声音数据作为一例通信数据,但本发明并不受此限制。还可以用触觉数据作为通信数据。在这种情况下,一方终端的用户的感到的触觉被传送到另一方终端的用户。还可以用嗅觉作为通信数据,此时,一方终端的用户的感到的嗅觉被传送到另一方终端的用户。通信数据是图像数据、声音数据、触觉数据、以及嗅觉数据中任意一种数据。
上述实施方式中对利用通信系统1进行电视会议进行了说明,但是,本发明并不受此限制。除此之外,本发明还可以用于讨论协商、亲朋好友之间的普通交谈、或者单向信息提供。

Claims (11)

1.一种用于管理多个通信终端之间收发通信数据的通信管理系统,其特征在于,包括;
终端信息管理部,其将所述多个通信终端各自的识别信息与表示该多个通信终端各自采用的通信方式的通信方式信息相关管理;
收信名单管理部,其将用于识别所述多个通信终端中提出开始通信要求的要求终端的识别信息与能够与该要求终端通信的收信终端的识别信息相关管理;
收信部,用于接收所述要求终端发送的该要求终端的识别信息;
抽取部,基于收到的所述要求终端的识别信息,检索所述收信名单管理部,抽取对应的收信终端的识别信息,而后基于该被抽取的所述收信终端的识别信息,检索所述终端信息管理部,抽取对应的所述收信终端的通信方式信息;
判断部,判断该被抽取的通信方式信息所表示的所述收信终端的通信方式是否与所述要求终端所采用的通信方式相同并且判断该收信终端是处于在线还是离线的运行状态;以及,
送信部,当所述判断部判断该被抽取的所述收信终端的通信方式与所述要求终端采用的通信方式相同时,向所述要求终端发送所述收信终端的第一状态信息,该第一状态信息包含被抽取的所述收信终端的识别信息,并表示该收信终端是处于在线还是离线的运行状态,而当所述判断部判断该被抽取的所述收信终端的通信方式与所述要求终端采用的通信方式不同时,该送信部向所述要求终端发送所述收信终端的第二状态信息,该第二状态信息包含被抽取的所述收信终端的识别信息,并表示该收信终端所采用的通信方式与所述要求终端的通信方式不同,而且不同于所述在线和所述离线的未知的运行状态,
所述送信部发送的所述第一状态信息和所述第二状态信息用于在所述要求终端的收信选择画面上显示所述收信终端的状态。
2.根据权利要求1所述的通信管理系统,其特征在于,
进一步具备终端状态管理部,其将所述通信终端的识别信息与表示该通信终端的运行状态的终端状态信息相关管理,
当所述判断部判断被所述抽取部抽取的所述收信终端的通信方式与所述要求终端采用的通信方式相同时,所述抽取部基于被其抽取的所述收信终端的识别信息,检索所述终端状态管理部,抽取对应的所述收信终端的运行状态信息,所述送信部向所述要求终端发送该被抽取的收信终端的识别信息以及该识别信息对应的所述收信终端的运行状态信息。
3.根据权利要求1或2所述的通信管理系统,其特征在于,
所述通信方式以呼叫控制方式和编码方式表示,呼叫控制方式是用于与通信对象连接或断开的方式,编码方式是用IP包传送所述通信数据的方式,
如果所述收信终端与所述要求终端之间在所述呼叫控制方式和所述编码方式中至少有一种方式不同,则所述判断部判断被所述抽取部抽取的通信方式信息所表示的所述收信终端的通信方式与所述要求终端采用的通信方式不同。
4.根据权利要求2所述的通信管理系统,其特征在于,
所述终端状态管理部将所述通信终端的识别信息与表示该通信终端的名称的终端名称信息相关管理,
所述送信部向所述要求终端发送所述被抽取的所述收信终端的识别信息以及与该识别信息相对应的终端名称信息。
5.一种通信系统,其特征在于,具备权利要求1~4中任意一项所述的通信管理系统以及要求终端,该要求终端具备;
视觉信息管理部,用于管理第一视觉信息和第二视觉信息,该第一视觉信息视觉性地表示所述收信终端采用的通信方式与所述要求终端采用的通信方式相同,该第二视觉信息以不同于所述第一视觉信息的视觉显示,来视觉性地表示所述收信终端采用的通信方式与所述要求终端采用的通信方式不同;以及,
收信名单制作部,在收到所述通信管理系统发送的所述收信终端的识别信息以及该收信终端的运行状态信息时,从所述视觉信息管理部抽取所述第一视觉信息,但是,如果所述运行状态信息表示该收信终端的运行状态为未知,或者收到所述通信管理系统发送的所述收信终端的识别信息以及不同的通信方式信息,则从所述视觉信息管理部抽取所述第二视觉信息,制作反映所述第一视觉信息以及所述第二视觉信息中至少一种视觉信息的收信名单。
6.根据权利要求5所述的通信系统,其特征在于,
所述第一视觉信息包含与各个所述收信终端的运行状态相对应的、具有视觉性差异的视觉信息,
所述收信名单制作部基于从所述通信管理系统收到的运行状态信息,检索所述视觉信息管理部,抽取对应的视觉信息,用以制作所述收信名单。
7.根据权利要求6所述的通信系统,其特征在于,所述第一视觉信息包含的各种视觉信息以及所述第二视觉信息的视觉信息分别为不同形态的图标。
8.一种在管理多个通信终端之间收发通信数据的通信管理系统中实行的通信管理方法,
该通信管理系统包括;
终端信息管理部,其将所述多个通信终端各自的识别信息与表示所述通信终端各自采用的通信方式的通信方式信息相关管理;以及,
收信名单管理部,其将用于识别所述多个通信终端中提出开始通信要求的要求终端的识别信息与能够与该要求终端通信的收信终端的识别信息相关管理,
所述通信管理方法使得该通信管理系统实行以下步骤;
收信步骤,接收所述要求终端发送的该要求终端的识别信息;
抽取步骤,基于收到的所述要求终端的识别信息,检索所述收信名单管理部,抽取对应的收信终端的识别信息,而后基于该被抽取的所述收信终端的识别信息,检索所述终端信息管理部,抽取对应的所述收信终端的通信方式信息;
判断步骤,判断该被抽取的通信方式信息所表示的所述收信终端的通信方式是否与所述要求终端所采用的通信方式相同并且判断该收信终端是处于在线还是离线的运行状态;以及,
送信步骤,当在所述判断步骤中判断该被抽取的所述收信终端的通信方式与所述要求终端采用的通信方式相同时,向所述要求终端发送所述收信终端的第一状态信息,该第一状态信息包含被抽取的所述收信终端的识别信息,并表示该收信终端是处于在线还是离线的运行状态,而当所述判断步骤中判断该被抽取的所述收信终端的通信方式与所述要求终端采用的通信方式不同时,向所述要求终端发送所述收信终端的第二状态信息,该第二状态信息包含被抽取的所述收信终端的识别信息,并表示该收信终端所采用的通信方式与所述要求终端的通信方式不同,而且不同于所述在线和所述离线的未知的运行状态,
所述送信步骤发送的所述第一状态信息和所述第二状态信息用于在所述要求终端的收信选择画面上显示所述收信终端的状态。
9.根据权利要求8所述的通信管理方法,其特征在于,
所述通信管理系统进一步具备终端状态管理部,其将所述通信终端的识别信息与表示所述通信终端的运行状态的终端状态信息相关管理,
所述通信管理方法还包括以下步骤:
当在所述判断步骤中判断被抽取的所述收信终端的通信方式与所述要求终端采用的通信方式相同时,在所述抽取步骤中,进一步基于在所述抽取步骤中其抽取的所述收信终端的识别信息,检索所述终端状态管理部,抽取对应的所述收信终端的运行状态信息,
在所述送信步骤中,进一步向所述要求终端发送该被抽取的收信终端的识别信息以及该识别信息对应的所述收信终端的运行状态信息。
10.根据权利要求8或9所述的通信管理方法,其特征在于,
所述通信方式以呼叫控制方式和编码方式表示,呼叫控制方式是用于与通信对象连接或断开的方式,编码方式是用IP包传送所述通信数据的方式,
如果所述收信终端与所述要求终端之间在所述呼叫控制方式和所述编码方式中至少有一种方式不同,则在所述判断步骤中将判断被在所述抽取步骤中抽取的通信方式信息所表示的所述收信终端的通信方式与所述要求终端采用的通信方式不同。
11.根据权利要求9所述的通信管理方法,其特征在于,
所述终端状态管理部将所述通信终端的识别信息与表示该通信终端的名称的终端名称信息相关管理,
在所述送信步骤中,进一步向所述要求终端发送所述被抽取的收信终端的识别信息以及与该识别信息相对应的终端名称信息。
CN201210553258.5A 2011-12-27 2012-12-19 通信管理系统、通信系统、通信管理方法、维护系统 Active CN103188478B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011285780 2011-12-27
JP2011-285780 2011-12-27
JP2012262438A JP6136217B2 (ja) 2011-12-27 2012-11-30 通信管理システム、通信システム、プログラム、及びメンテナンスシステム
JP2012-262438 2012-11-30

Publications (2)

Publication Number Publication Date
CN103188478A CN103188478A (zh) 2013-07-03
CN103188478B true CN103188478B (zh) 2017-04-12

Family

ID=47747277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210553258.5A Active CN103188478B (zh) 2011-12-27 2012-12-19 通信管理系统、通信系统、通信管理方法、维护系统

Country Status (4)

Country Link
US (2) US9432416B2 (zh)
EP (1) EP2611103B1 (zh)
JP (1) JP6136217B2 (zh)
CN (1) CN103188478B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120040958A (ko) * 2010-10-20 2012-04-30 삼성전자주식회사 휴대단말기의 통신 방법
JP5370466B2 (ja) 2010-11-30 2013-12-18 株式会社リコー 伝送管理システム、プログラム、プログラム提供システム、及びメンテナンスシステム
JP6079174B2 (ja) 2011-12-27 2017-02-15 株式会社リコー 通信管理システム、通信システム、プログラム、及びメンテナンスシステム
JP6263843B2 (ja) * 2013-02-28 2018-01-24 株式会社リコー 通信管理システム、通信管理方法、及びプログラム
JP6136367B2 (ja) * 2013-02-28 2017-05-31 株式会社リコー 通信管理システム、通信システム、及びプログラム
JP6398258B2 (ja) * 2013-06-27 2018-10-03 株式会社リコー 通信管理システム、通信端末、通信システム、およびプログラム
JP6183072B2 (ja) * 2013-08-30 2017-08-23 株式会社リコー 伝送管理システム、管理方法及びプログラム
JP6287119B2 (ja) 2013-11-28 2018-03-07 株式会社リコー 宛先管理装置、通信システム、プログラム、及び宛先管理方法
JP2015128254A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP6269168B2 (ja) * 2014-02-28 2018-01-31 株式会社リコー 管理装置、通信システム及びプログラム並びに通信管理方法
JP6343178B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 通信システムおよびその制御方法、第一の端末およびその制御方法、並びにプログラム
DE102014221956A1 (de) * 2014-10-28 2016-05-12 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung, Fahrzeug, Verfahren und Computerprogramm für einen Relay-Sendeempfänger und eine Netzwerkkomponente
JP6514100B2 (ja) * 2015-12-28 2019-05-15 株式会社東芝 通信装置、通信システム及びネットワーク管理方法
US10826999B2 (en) * 2016-06-24 2020-11-03 At&T Intellectual Property I, L.P. Facilitation of session state data management
CN107241595A (zh) * 2017-07-14 2017-10-10 北京奇艺世纪科技有限公司 一种视频故障监控方法、装置、系统及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2348089A (en) * 1999-03-17 2000-09-20 Samsung Electronics Co Ltd Protocol for rapidly establishing communication between like terminals
US7164423B1 (en) * 2003-04-30 2007-01-16 Apple Computer, Inc. Method and apparatus for providing an animated representation of a reorder operation
JP2011259169A (ja) * 2010-06-08 2011-12-22 Fujitsu Ltd 通信システム及びプロトコルヘッダ判定装置及びサーバ装置
CN102158871B (zh) * 2010-02-12 2016-04-13 中兴通讯股份有限公司 一种适应终端差异化的通信方法、系统、控制站及终端

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04343546A (ja) 1991-05-21 1992-11-30 Matsushita Electric Ind Co Ltd Isdn通信処理装置
JP3295151B2 (ja) 1992-12-22 2002-06-24 株式会社リコー 通信会議装置
JP3588570B2 (ja) * 1999-08-13 2004-11-10 日本電信電話株式会社 通信フロー制御方法、通信端末、そのプログラム記録媒体
JP3636667B2 (ja) * 2001-01-30 2005-04-06 三菱電機株式会社 通信方法、通信システム
JP2003173271A (ja) * 2001-12-06 2003-06-20 Ip Net Corp 装置メンテナンスシステム
CN100340404C (zh) * 2002-04-09 2007-10-03 精工爱普生株式会社 液体喷头
US7480287B2 (en) 2002-11-19 2009-01-20 Murata Kikai Kabushiki Kaisha Communication terminal device, communication method and electronic mail server
JP4133512B2 (ja) 2003-03-28 2008-08-13 エヌ・ティ・ティ・コムウェア株式会社 プレゼンス表示制御装置、プレゼンス表示制御方法、プレゼンス表示制御プログラム及びプレゼンス表示制御プログラムを格納した記録媒体
US9516483B2 (en) * 2004-02-20 2016-12-06 Broadcom Corporation Wireless communication between stations of differing protocols
US7587482B2 (en) 2004-09-08 2009-09-08 Yahoo! Inc. Multimodal interface for mobile messaging
US8614732B2 (en) * 2005-08-24 2013-12-24 Cisco Technology, Inc. System and method for performing distributed multipoint video conferencing
JP2008104116A (ja) 2006-10-20 2008-05-01 Softbank Mobile Corp 通信端末、通信方法、通信プログラム、および通信システム
US7729344B2 (en) * 2006-12-29 2010-06-01 Genband Inc. Methods and apparatus for controlling signaling associated with a private branch exchange within a session over internet protocol network
FI20070044A (fi) * 2007-01-18 2008-08-25 Software Cellular Network Ltd Viestintää helpottava järjestely tietoliikennejärjestelmässä
CN101257664A (zh) 2007-02-28 2008-09-03 株式会社日立制作所 呼叫控制设备及其呼叫控制方法
JP2008227577A (ja) 2007-03-08 2008-09-25 Konica Minolta Holdings Inc テレビ会議システム
US20090112997A1 (en) * 2007-10-25 2009-04-30 Cisco Technology, Inc. Utilizing Presence Data Associated with Web Item
DE102008049715A1 (de) * 2008-09-30 2010-04-08 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren und Anordnung zum Anbinden zumindest einer Mensch-Maschine-Schnittstelle zur Manipulation von zumindest einer im Rahmen von Videokonferenzen mit einem Videokonferenzsystem verbundenen Datenquelle
JP4737302B2 (ja) 2009-02-03 2011-07-27 ブラザー工業株式会社 管理装置及びコンピュータプログラム
JP5541092B2 (ja) * 2010-03-03 2014-07-09 株式会社リコー 伝送端末、伝送方法、及び伝送端末用プログラム
JP5793869B2 (ja) 2010-03-05 2015-10-14 株式会社リコー 伝送管理システム、伝送管理方法、及び伝送管理プログラム
CA2714710C (en) * 2010-09-03 2016-05-10 Research In Motion Limited System and method for incorporating short message service (sms) and multimedia messaging service (mms) contacts into an instant messaging interface
JP5370466B2 (ja) 2010-11-30 2013-12-18 株式会社リコー 伝送管理システム、プログラム、プログラム提供システム、及びメンテナンスシステム
US8688817B2 (en) * 2011-03-14 2014-04-01 Edgecast Networks, Inc. Network connection hand-off using state transformations
JP6136367B2 (ja) 2013-02-28 2017-05-31 株式会社リコー 通信管理システム、通信システム、及びプログラム
JP6287119B2 (ja) 2013-11-28 2018-03-07 株式会社リコー 宛先管理装置、通信システム、プログラム、及び宛先管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2348089A (en) * 1999-03-17 2000-09-20 Samsung Electronics Co Ltd Protocol for rapidly establishing communication between like terminals
US7164423B1 (en) * 2003-04-30 2007-01-16 Apple Computer, Inc. Method and apparatus for providing an animated representation of a reorder operation
CN102158871B (zh) * 2010-02-12 2016-04-13 中兴通讯股份有限公司 一种适应终端差异化的通信方法、系统、控制站及终端
JP2011259169A (ja) * 2010-06-08 2011-12-22 Fujitsu Ltd 通信システム及びプロトコルヘッダ判定装置及びサーバ装置

Also Published As

Publication number Publication date
US9432416B2 (en) 2016-08-30
CN103188478A (zh) 2013-07-03
JP2013153418A (ja) 2013-08-08
EP2611103B1 (en) 2014-08-20
JP6136217B2 (ja) 2017-05-31
US20150373062A1 (en) 2015-12-24
US9565221B2 (en) 2017-02-07
US20130166718A1 (en) 2013-06-27
EP2611103A1 (en) 2013-07-03

Similar Documents

Publication Publication Date Title
CN103188478B (zh) 通信管理系统、通信系统、通信管理方法、维护系统
JP6079174B2 (ja) 通信管理システム、通信システム、プログラム、及びメンテナンスシステム
JP6136367B2 (ja) 通信管理システム、通信システム、及びプログラム
JP6155819B2 (ja) 端末、通信方法、及びプログラム
JP6330354B2 (ja) 通信管理システム、通信管理方法、及びプログラム
JP2017041831A (ja) 通信システム、通信管理システム、通信管理方法、及びプログラム
CN104023199B (zh) 通信管理系统和通信管理方法
CA2870121C (en) Communication terminal, communication function starting method, and computer-readable recording medium
JP6813078B2 (ja) 通信システム、通信方法、管理システム、及びプログラム
JP6835181B2 (ja) 管理システム、通信制御方法、プログラム及び通信システム
JP2020061763A5 (zh)
JP2018191301A5 (zh)
JP2017126985A5 (zh)
JP5907304B2 (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP7163981B2 (ja) 通話端末、通話機能起動方法、及びプログラム
JP6443532B2 (ja) 通信システム、通信方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant