CN103636197A - 发送终端、图像显示控制方法、图像显示控制程序、记录介质以及发送系统 - Google Patents

发送终端、图像显示控制方法、图像显示控制程序、记录介质以及发送系统 Download PDF

Info

Publication number
CN103636197A
CN103636197A CN201280032289.4A CN201280032289A CN103636197A CN 103636197 A CN103636197 A CN 103636197A CN 201280032289 A CN201280032289 A CN 201280032289A CN 103636197 A CN103636197 A CN 103636197A
Authority
CN
China
Prior art keywords
resolution
unit
obtains
display device
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280032289.4A
Other languages
English (en)
Other versions
CN103636197B (zh
Inventor
加藤喜永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103636197A publication Critical patent/CN103636197A/zh
Application granted granted Critical
Publication of CN103636197B publication Critical patent/CN103636197B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148Interfacing a video terminal to a particular transmission medium, e.g. ISDN
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Abstract

根据连接到发送终端的显示器的能力适当地显示图像数据和辅助信息,以提高会议所必需信息的可视性,以确保信息的显示。公开了一种发送终端,连接到显示设备,用于输出图像数据,以在显示设备上显示,包括:分辨率获得单元;分辨率确定单元;分辨率选择单元;图像处理单元,其在分辨率选择单元选择第一分辨率后执行将分段区域添加到显示设备输出的图像数据的处理;以及分辨率改变单元,将显示设备的分辨率改变为分辨率选择单元选择的分辨率。

Description

发送终端、图像显示控制方法、图像显示控制程序、记录介质以及发送系统
技术领域
本发明涉及一种发送并且接收要与其它发送终端共享的屏幕的数据,并且输出图像数据到显示设备以在其上显示图像的发送终端。
背景技术
在最近几年,用于经由通信网络(如互联网)与远程位置进行远程会议远程会议系统已经盛行。
利用这种类型的远程会议系统,在具有诸如参与远程会议的参与者的多方之一的会议室中,通过使用远程会议系统的发送终端(终端设备),拍摄会议室的图像,收集会议中该方的讲话的语音,然后图像和语音被转换成数字数据,以便被发送到对方的发送终端,图像数据被显示在显示器(显示设备)上,并且利用对方的会议室的扬声器输出语音数据,从而在接近实际的非远程会议的条件下进行远程位置之间的会议。
现在,存在与显示器捆绑的远程会议系统的发送终端的增加的销售以及发送终端作为单个单元的销售。因此,最近已能够将具有不同分辨率的显示器连接到发送终端。
然而,这种类型的发送终端被设计成具有诸如与其它发送终端发送和接收的图像数据的分辨率之类的固定值,如1280像素宽和720像素高的分辨率(16:9宽高比),从而,有可能出现根据连接的显示器的分辨率而产生的不便的显示。
更具体地,存在以图像数据原本的分辨率直接在显示器上显示的问题,当在宽度或者高度方向的分辨率高于设计值时,在(一个或两个)更高分辨率的方向上的图像的一部分被显示为被截去,并且在所述第一位置处显示的区域不能被显示,从而降低了可视性。特别是,通过最近的发送终端显示的内容包括:辅助信息的显示,诸如会议室的图像之外的操作菜单以及错误消息;存在在显示这样的辅助信息的区域被截去的情况下,用户无法操作发送终端或者用户无法确定错误原因的问题。
此外,对于直接以图像数据的原本的分辨率显示在显示器上的情况,存在当宽度方向或者高度方向的分辨率比设计值低时,在较低分辨率方向上的图像的一端或两端(或者一个或两个)出现不显示图像的空白区域,从而不能有效地利用屏幕。
此外,存在当显示整个图像并且做出显示使得图像对称地减小/增大从而宽度方向或者高度方向中至少一个适应到全尺寸,如果宽高比不同于设计值,在宽度方向或者高度方向上在图像的一端或两端出现不显示图像的空白区域,从而与上述类似的方式不能有效地利用屏幕。
此外,如果高宽比不同于设计值时,当图像被非对称地减小,使得的宽度方向和高度方向两者配合到全尺寸时,图像失真,从而降低了可视性。
另一方面,专利文献1公开了从16:9到4:3改变图像的宽高比来准备视频会议的图像的方法。然而,所公开的方法只能处理固定的情况,使得输入图像的宽高比为16:9并且显示的宽高比为4:3,从而上述问题不能得到解决。
此外,专利文献2公开了接收另一个终端的显示能力信息的一种终端,并且该一个终端参照显示能力信息将一个终端的应用数据组改变为另一个终端的显示分辨率,以在数据会议系统实时显示共享的屏幕。然而,它并没有考虑到操作菜单的显示或显示的失真,从而可能无法以此解决上述问题。
专利文献
专利文献1JP2005-341571A
专利文献2JP2002-325239A
发明内容
用于解决问题的方式
鉴于如上所述的问题,本发明的目的是根据连接到发送终端的显示器的能力适当地显示图像数据和辅助信息来提高会议等所必需的信息的可视性,以确保信息的显示。
为了解决上述问题,本发明提供了一种连接到用于输出在显示设备显示的图像数据的显示设备的发送终端,包括分辨率获得单元,用于获得显示设备可显示的一个或多个分辨率;分辨率确定单元,用于确定所获得的可显示的分辨率是否包括与发送图像数据时使用的标准宽高比不同的分辨率;分辨率选择单元,如果分辨率确定单元确定包括与标准宽高比不同的分辨率则从可显示的分辨率中选择与标准宽高比不同的第一分辨率,并且如果分辨率确定单元确定不包括与标准宽高比不同的分辨率,则从可显示的分辨率中选择标准宽高比的第二分辨率;图像处理单元,用于在分辨率选择单元选择第一分辨率后,执行添加分段区域到显示设备输出的图像数据的处理;以及分辨率改变单元,将显示设备的分辨率改变为分辨率选择单元选择的分辨率。
此外,提供连接到输出在显示设备上显示的图像数据的显示设备的发送终端,其包括获得显示设备可以显示的一个或者多个可显示的分辨率的第一分辨率获得单元;从包括一个或者多个数据行的分辨率管理表连续地读取一个数据行的分辨率管理表读取单元,所述数据行至少包括分辨率和作为元素的重叠标识;从读取的数据行获得分辨率的第二分辨率获得单元;确定第一分辨率获得单元获得的可显示的分辨率是否包括由第二分辨率获得单元获得的分辨率的分辨率确定单元;如果分辨率确定单元确定包括第二分辨率获得单元获得的分辨率,则从读取的数据行获得重叠标识的标识获得单元;当从标识获得单元所获得的重叠标识为假时,进行添加分段区域到显示设备上输出的图像数据的图像处理单元;以及将显示设备的分辨率改变为第二获得单元所获得的分辨率的分辨率改变单元。
根据本发明,可以根据连接到发送终端的显示器的能力适当地显示图像数据和辅助信息,以提高会议等所需的信息的可视性,以确保信息的显示。
附图说明
图1是根据本发明一个实施例的发送系统的示意图;
图2是根据本实施例的发送终端的外部视图;
图3是根据本发明的一个实施例的发送终端的硬件框图;
图4是根据本发明的实施例的发送管理系统、中继设备、程序供应服务器或者外部输入设备的硬件框图;
图5A和5B是根据本发明的实施例的构成发送系统的终端、装置和系统的功能框图;
如图6A、6B和6C解释图像数据的图像质量的概念图;
图7是示出了改变质量管理表的概念图;
图8是示出了中继设备管理表的概念图;
图9是示出了终端认证管理表的概念图;
图10是示出了终端管理表的概念图;
图11是示出了目的地列表管理表的概念图;
图12是示出了会话管理表的概念图;
图13是示出了地址优先级管理表的概念图;
图14是示出了发送速率优先级管理表的概念图;
图15是示出了质量管理表的概念图;
图16是示出了管理指示中继设备的操作状态的状态信息的处理的顺序图;
图17是示出了在发送终端之间开始通信的准备阶段处理的顺序图;
图18是示出了缩减中继设备的处理的顺序图;
图19是示出了缩减中继设备的处理的流程图;
图20是示出了为了缩减中继设备计算优先级分数的状态的示意图;
图21是示出了发送终端选择中继设备的处理的顺序图;
图22是示出了在发送终端选择中继设备的处理的流程;
图23是在发送终端之间发送和接收图像数据和语音数据的处理的顺序图;
图24是外部输入设备的功能框图;
图25是示出了使得外部输入设备显示的显示数据在会议对方的发送终端显示的处理的顺序图;
图26是由外部输入设备显示的屏幕的示例;
图27是发送终端显示的图像数据和显示数据被显示在其上的屏幕的示例;
图28示出了外部输入设备安装显示数据获得单元的处理的流程图;
图29是示出了图像显示控制单元的示例性配置的示意图;
图30是示出了用于在显示控制单元示例数据;
图31A和31B是示出了分辨率控制的示例处理的流程图;
图32A和32B是当分段区域被添加以及分段区域未被添加的示例屏幕;
图33是示出了辅助信息显示的示例性处理的流程图;
图34A和34B是当分段区域被添加以及分段区域未被添加时辅助信息显示的示例性屏幕;
图35A和35B是当分段区域被添加到上端以及分段区域被添加到下端时的示例性屏幕;
图36是示出了分辨率管理表的示例的示意图;
图37是示出了分辨率管理表的另一个示例的示意图;
图38A和38B是示出了分辨率控制的另一个示例性处理的流程图;
图39示出的图像显示控制单元的另一个示例性配置的示意图;
图40示出了在分辨率控制的另一个示例性处理中使用的示例性数据的示意图;
图41A和41B是示出了分辨率控制的另一个示例性处理的流程图。
附图标识说明
1发送系统
10发送终端
11发送和接收单元(显示数据发送单元的示例)
12操作输入接受单元
13登录请求单元
14a成像单元
14b图像显示控制单元
14b1分辨率控制单元
14b10分辨率获得单元
14b1l分辨率确定单元
14b12分辨率选择单元
14b13图像处理单元
14b14标识设置单元
14b15分辨率改变单元
14b16分辨率管理表读取单元
14b17标识获得单元
14b18标识确定单元
14b19分段值获得单元
14b101硬件标识信息获得/确定单元
14b102数字输入值获得/确定单元
14b2辅助信息显示单元
14b20辅助信息生成单元
14b21辅助信息图像生成单元
14b22辅助信息图像显示单元
15a语音输入单元
15b语音输出单元
16选择处理单元
16a测量单元
16b计算单元
16c选择单元
17延迟检测单元
18外部信息发送和接收单元(显示数据接收单元的示例)
19存储和读取处理单元
20检测单元
30中继设备
31发送和接收单元
32状态检测单元
33数据质量检查单元
34改变质量管理单元
35数据质量改变单元
40外部输入设备
41发送和接收单元
42连接检测单元
43安装确定单元
44程序获得单元
451显示数据获得单元
452显示数据发送单元
46操作输入接收单元
47显示控制单元
48安装单元
49存储和读取处理单元
50发送管理系统
51发送和接收单元
52终端认证单元
53状态管理单元
54终端提取单元
55终端状态获得单元
56缩减单元
56a选择会话ID生成单元
56b终端IP地址提取单元
56c选择单元
56d优先级确定单元
57会话管理单元
58质量确定单元
60延迟时间管理单元
100维护系统
120显示器
400显示设备
1000存储单元(目的地信息存储单元的示例)
3000存储单元
3001改变质量管理DB
4000存储单元
4001文档管理DB
5000存储单元
5001中继设备管理DB
5002终端认证管理DB
5003终端管理DB
5004目的地列表管理DB
5005会话管理DB
5006优先级管理DB
5007质量管理DB
具体实施方式
实施例的整体结构
下面使用图1到38描述本发明的一个实施例。首先,图1是根据本发明一个实施例的发送系统1的示意图,用于提供本实施例的概况。
此外,发送系统包括数据提供系统,其在从一个发送终端到另一个发送终端的一个方向上经由发送管理系统发送内容数据,以及经由发送管理系统在多个发送终端之间互相通信信息、感情等的通信系统。该通信系统是经由通信管理系统(相应于“发送管理系统”)在多个通信终端(相应于“发送终端”)之间互相发送信息、感情等的系统,其包括,例如,远程会议系统或者视频会议系统、视频电话系统、语音电话系统和共享PC(个人电脑)屏幕系统等。
在本实施例中,描述了发送系统、发送管理系统以及发送终端,设想作为通信系统的一个示例的远程会议或视频会议系统、作为通信管理系统的一个示例的远程会议或者视频会议管理系统以及作为通信终端的一个示例的远程会议和视频会议终端。换句话说,本发明的发送终端和发送管理系统不仅被应用于远程会议或视频会议系统,也能应用在通信系统或发送系统。
在图1中所示的发送系统1配置了多个发送终端(10aa、10ab、...、10db);用于各个发送终端(10aa、10ab、...、10db)的显示器(120aa、120ab、...、120db);多个中继设备(30a、30b、30c、30d);发送管理系统50;程序供应系统90;以及维护系统100。
在本实施例中,当指代发送终端(10aa、10ab、...、10db)中的任意发送终端时使用“发送终端10”;当指代显示器(120aa、120ab、...、120db)中的任意显示器时使用“显示器120”;以及当指代中继设备(30a、30b、30c、30d)中的任意中继设备时使用“中继设备30”。
发送终端10与另一个发送终端10发送和接收图像数据和语音数据等。在本实施例中为运动图像描述的图像数据的图像,不仅可以是运动图像还可以是静止图像。此外,图像数据的图像可以包括运动图像和静止图像。中继设备30与多个发送终端10中继图像数据和语音数据等。发送管理系统50整体地管理发送终端10和中继设备30。
被连接到发送终端10的外部输入设备40向发送终端10发送用于显示文献数据的数据。此处的文献数据指代例如使用文献创建软件、电子表格软件,演示软件等来利用的数据。
此外,图1中示出的多个路由器(70a、70b、...、70f)选择图像数据和语音数据的最佳路由。在本实施例中,当指示路由器(70a、70b、...、70f)中的任意路由器时,使用“路由器70”。程序供应系统90包括其中存储了用于使终端10实现各种功能或单元的发送终端程序的HD(硬盘,未图示),并且可以将该发送终端程序发送到终端10。此外,该程序供应系统90的HD在其中还存储用于使中继设备30实现各种功能或各种单元的中继设备程序,将该中继设备程序发送到中继设备30。再有,程序供应系统90的HD在其中还存储用于使发送管理系统50实现各种功能或各种单元的发送管理程序,将发送管理程序发送到发送管理系统50。
此外,发送终端10aa、发送终端10ab、中继设备30a和路由器70a经由LAN2a通信连接。发送终端10ba、发送终端10bb、中继设备30b和路由器70b经由LAN2b通信连接。此外,经由包括路由器70的专用线路2ab通信连接的LAN2a和LAN2b被配置在预定的区域A内。例如,区域A是日本,LAN2a被配置在东京办公室内,并且LAN2b被配置在大阪办公室内。
另一方面,发送终端10ca、发送终端10cb、中继设备30c和路由器70d经由LAN2c通信连接。发送终端10da、发送终端10db、中继设备30d和路由器70e经由LAN2d通信连接。此外,经由包括路由器70f的专用线路2cb可通信地连接的LAN2c和LAN2d,被配置在预定的区域B内。例如,区域B是美国,LAN2c被配置在纽约办公室内,并且LAN2d被配置在华盛顿办公室内。区域A和B分别通过路由器70C和70f连接到互联网2i。
此外,发送管理系统50以及程序供应系统90经由互联网2i通信连接到发送终端10和中继设备30。发送管理系统50和程序供应系统90可以安装在区域A或区域B、或区域A和区域B以外的区域。
在本实施例中,通信网络2由LAN2a、LAN2b、专用线路2ab、互联网2i、专用线路2cd、LAN2c和LAN2d配置成。
此外,在图1中,在各个发送终端10、各个中继设备30、各个发送管理系统50、各个路由器70以及程序供应系统90的下方显示的一组四个数字表示简化方式的标称IPv4的格式的IP地址。例如,发送终端10A的IP地址是“1.2.1.3”。此外,可以使用IPv6来代替IPv4,但是,为了解释的简单起见,下面给出的解释将使用IPv4。
实施例的硬件配置
接着,对本实施例的硬件配置进行描述。
图2是根据本实施例的发送终端的外部视图。以发送终端10的长度方向作为X轴方向;以水平面内与X轴方向正交的方向作为Y轴方向;并且以与在X轴和Y轴方向(垂直方向)正交的方向作为Z轴方向给出下面的解释。
如图2所示,发送终端10包括壳体1100、臂1200和摄像头壳体1300。其中,在所述壳体1100的前侧壁面1110提供形成有多个进气孔的进气面(未示出),并且在所述壳体1100的后侧壁面1120提供形成有多个出气孔的出气面。以这种方式,可以驱动安装在壳体1021内的冷却风扇来经由进气面(未示出)引入发送终端10的后面外侧的空气(未示出),并且经由出气面1110向发送终端10的后面排出空气。在壳体1100的右侧壁面1130形成声音收集孔1131,使得可以用后述的嵌入式麦克风114收集如语音、声音、噪声等声音。
在壳体1100的右侧壁面1130面上形成操作面板1150。在操作面板1150上形成后述的多个操作按钮(108a-108e)、后述的电源开关109和后述的警报灯119;并且形成带有多个语音输出孔的声音输出面1511,所述多个语音输出孔用于传递来自后述的嵌入式扬声器115的输出声音。此外,在壳体1100的左侧壁面1140上形成有用于容纳臂1200和摄像头壳体1300的作为凹部的壳体单元1160。在壳体1100的右侧壁1130面提供用于将缆线电连接到后述的外部设备连接I/F118的多个连接端口(1132a-1132c)。另一方面,在壳体1100的左侧壁面1140提供将显示器120的缆线120c电连接到后述的外部设备连接I/F118的连接端口(未示出)。
下面,为了以下解释,当指示操作按钮(108a-108e)中的任何操作按钮时,使用“操作按钮108”,当指示连接端口(1132a-1132c)中的任何连接端口时,使用“连接端口1132”。
接着,配置通过扭矩铰链1210装配在壳体1100上的臂1200,使得它可以相对于壳体1100在135度的θ1倾斜角的范围内在向上和向下方向旋转。图2示出了倾斜角θ1为90度。
提供嵌入式摄像头1021的摄像头壳体1300可以拍摄用户、文档、房间等。此外,摄像头壳体1300已经形成了扭矩铰链1310。摄像头壳体1300通过扭矩铰链1310被装配在臂1200上。然后,经由扭矩铰链1310被装配在臂1200的摄像头壳体1300被配置使得它可以在±45度的倾斜角和±180度的平角θ2的范围内在上下左右的方向上旋转,图2中示出的状态为0度。
中继设备30、管理系统50以及程序供应系统90的外观与通用服务器计算机相同,因此省略对外观的重复解释。
图3是根据本发明的一个实施例的发送终端10的硬件框图。如图3所示,本实施例的发送终端10包括控制整个发送终端10的操作的CPU(中央处理单元)101;其上存储有用于发送终端的程序的ROM(只读存储器)102;用作CPU101的工作区域的RAM(随机访问存储器)103;存储诸如图像数据、语音数据等的各种数据组的闪速存储器104;根据CPU101的控制来控制对闪速存储器104的各种数据的读取和写入的SSD(Solid State Drive,固态驱动器)105;控制对于诸如闪速存储器的记录介质106的数据的读取和写入的介质驱动器107;当选择发送终端10的目的地时被操作的操作按钮108;用于切换发送终端10的电源的开/关的电源开关109;用于使用下面描述的通信网络2进行数据发送的网络I/F(接口)111;用于根据CPU101的控制来拍摄对象并获得图像数据的CCD(电荷耦合器件)112;控制驱动所述摄像头112的成像元件I/F113;向其中输入语音的麦克风114;从中输出语音的扬声器115;用于处理从麦克风114和到扬声器115的语音信号的输入和输出的语音输入/输出I/F116;以及根据CPU101发送图像数据到外部附接的显示器120的显示器I/F117;与外部装置发送并接收各种数据组的外部装置I/F118;报告终端10的各种功能的故障的警报灯119;以及将图3中示出的上述的各个元件电连接的诸如地址总线、数据总线等的总线线路110。
显示器120是由有机EL或液晶制成的用于显示操作图标、对象图像等的显示单元。此外,显示器120经由线缆120c连接到显示器I/F117。线缆120c可以是模拟RGB(VGA)信号线缆、分量视频线缆、或者HDMI(High-Definition Multimedia Interface,高清晰度多媒体接口)或DVI(DigitalVideo Interactive,数字视频交互)的线缆。
摄像头112包括镜头和用于将光转换成电荷以数字化对象的图像(视频)的固定图像元件。CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)或CCD(Charge Coupled Device,电荷耦合器件)等可用作固定图像元件。
诸如外部附接的摄像头、外部附接的麦克风或外部附接的扬声器等的外部设备单元可以通过图2中示出的插入到壳体1100的连接端口1132的USB(Universal Serial Bus,通用串行总线)线缆等电连接到外部装置连接I/F118。当连接了外部附接的摄像头时,根据CPU101的控制,以比嵌入式摄像头112更高优先级来驱动外部附接的摄像头。类似地,当连接了外部附接的麦克风或连接了外部附接的扬声器时,以比嵌入式麦克风114或嵌入式扬声器115更高的优先级驱动外部附接的麦克风或连接了外部附接的扬声器。
记录介质106被配置为可拆卸地装配在终端10。而且,根据CPU101的控制读取和写入数据的非易失性存储器并不限于闪速存储器104,可以使用EEPROM(Electrically Erasable and Programmable,电可擦除可编程ROM)等。此外,对于用于将光转换成电荷的来数字化的被摄体的图像(视频)的固定图像元件的摄像头112,不仅可以使用CCD,还可以使用CMOS(互补金属氧化物半导体)等,只要它用于拍摄对象。此外,由显示对象的操作图标和图像的有机EL和液晶来配置显示器120。
此外,发送终端的述程序可以被安排为可安装格式或可执行格式的文件,该文件被记录在计算机可读记录介质,诸如记录介质106等,来被分布。
图4是根据本发明的实施例的发送管理系统的硬件框图。发送管理系统50包括控制整个发送管理系统50的操作的CPU201;存储用于发送管理的程序的ROM202;用作CPU201的工作区域的RAM203;用于存储各种数据组的HD(Hard Disk,硬盘)204;用于根据CPU201的控制,来控制对于HD204的数据的读取和写入的HDD(Hard Disk Drive,硬盘驱动器)205;对诸如闪速存储器等的记录介质206的数据的读取和写入(存储)进行控制的介质驱动207;显示诸如光标、菜单、窗口、字符、图像等的各种信息的显示器208;通过使用后述通信网络2进行数据发送的网络I/F209;用于输入字符、数值、各种指令等的多个键的键盘211;用于选择或执行各种指令、选择处理目标、移动光标等的鼠标212;控制从或者到作为可拆卸安装的记录介质的示例的CD-ROM(Compact Disc Read Only Memory,光盘只读存储器)读取或者写入数据的CD-ROM驱动214;与外部装置发送或者接收信息的外部装置I/F215;以及用于电连接在图4中示出的上述各个元件的诸如地址总线或数据总线等的总线线路210。
用于发送管理的程序可以被安排成可安装格式或可执行格式的文件,所述文件被记录到诸如上述的记录介质206和CD-ROM213等的计算机可读记录介质,以便被分布。
此外,外部输入设备40具有与上述发送管理系统50相同的硬件配置,因此省略重复的解释。在ROM202中记录了用于控制外部输入设备40的外部输入设备的程序。而且,在此情况下,外部输入设备的程序可以安排为可安装的格式或可执行的格式的文件,该文件被记录在诸如上述记录介质206、CD-ROM213等的计算机可读记录介质中,从而被分布。
此外,中继设备30具有与发送管理系统50相同的硬件配置,因此省略对其解释。在ROM202中记录了用于控制中继设备30的中继设备的程序。而且,在此情况下,中继设备的程序可以安排为可安装的格式或可执行的格式的文件,该文件被记录在诸如上述记录介质206、CD-ROM213等的计算机可读记录介质中,以便被分布。
此外,该程序供应系统90具有与上述发送管理系统50相同的硬件配置,因此省略重复的解释。在ROM202中记录了用于控制程序供应系统90的程序供应系统的程序。而且,在此情况下,程序供应系统的程序可以安排为可安装的格式或可执行的格式的文件,该文件被记录在诸如上述记录介质206、CD-ROM213等的计算机可读记录介质中,以便分布。
此外,维护系统100是执行支持、管理或者终端10、中继设备30、管理系统50和程序供应系统90中的至少一个的维护的计算机。例如,当维护系统100被安装在国内,而终端10、中继设备30、管理系统50或者程序供应系统90被安装在国外,维护系统100经由通信网络2远程地执行支持、管理中的至少一个的维护,以及对终端10、中继设备30、管理系统50、认证系统80以及程序供应系统90中的至少一个的维护。
此外,维护系统100对终端10、中继设备30、管理系统50和程序供应系统90中的至少一个执行诸如故障历史的管理、维护和检查、客户、产品号或者型号的维护而不使用通信网络2。
而且,程序供应系统90与维护系统100具有与上述管理系统50相同的硬件配置,因此省略对其解释。在HD204中记录了用于控制程序供应系统90的程序供应系统的记录程序。而且,在此情况下,程序供应系统的程序可以安排为可安装的格式或可执行的格式的文件,该文件被记录在诸如上述记录介质206、CD-ROM213等的计算机可读记录介质中,以便被分布。而且,程序供应系统90的上述程序可以被安排为存储在ROM202中而非HD204。
作为可拆卸装配的记录介质的另一个示例,可以将程序安排为记录到诸如CD-R(Compact Disc Recordable,可记录光盘)、DVD(Digital VersatileDisk,数字多功能盘)或蓝光盘等的计算机可读记录介质中的程序。
实施例的功能配置
接着,解释本实施例的功能配置。图5A和图5B是根据本实施例的构成发送系统1的终端、设备和系统的功能框图。图5A和图5B中,连接发送终端10,中继设备30,以及发送管理系统50从而它们可以经由通信网络2进行数据通信。外部输入设备40被连接到发送终端10,使得它可以与发送终端10发送和接收数据。此外,图24是构成了本实施例的发送系统1的外部输入设备40的功能框图。此外,图1中示出的程序供应系统90不直接与远程会议通信相关,因此在图5A和5B中被省略。
发送终端的功能配置
发送终端10包括发送和接收单元11;操作输入接收单元12;登录请求单元13;成像单元14;图像显示控制单元14b;语音输入单元15a;语音输出单元15B;选择处理单元16;延迟检测单元17;外部信息发送和接收单元18;以及存储和读取处理单元19。每个单元都被图3中示出的根据在ROM202中存储的程序经由来自CPU201的指令而操作的各个元件中的任何一个功能或者单元实现。此外,发送终端10具有图3中示出的SSD105构成的存储单元1000。
(发送终端的功能单元)
接着,详细描述发送终端10的单元。发送终端10的由图3所示的网络I/F111实现的发送和接收单元11通过通信网络2与不同的终端、设备或系统发送和接收各种数据组(信息组)。操作输入接收单元12由操作按钮108和电源开关109来实现,并接收用户的各种输入。例如,当用户开启如图3中示出的电源开关109时,如图5B中示出的操作输入接收单元12接收上电从而开启电源。当上电被接收时,来自图3中示出的CPU101的指令实现的登录请求单元13自动地从发送和接收单元11经由通信网络2发送发送终端10ab的当前IP地址和指示登录到发送管理系统50的请求的登录请求信息。
成像单元14a由图3中示出的摄像头112和成像元件I/F113实现。成像单元14a将对象的图像成像以输出成像的图像数据。
图像显示控制单元14b由如图2所示的显示器I/F117实现,并进行发送图像数据到外部附接的显示器120的控制。
如图29所示,图像显示控制单元14b包括分辨率控制单元14b1,其根据连接的显示器(显示设备)120的分辨率适当地控制图像数据输出的分辨率;以及辅助信息显示单元14b2,其控制显示器的如错误信息,操作菜单等的辅助信息。
分辨率控制单元14b1包括获得单元14b10,获得单元14b10获得可以显示在显示器120上的多种分辨率的分辨率、当前显示的分辨率,或者如果提供分辨率管理表,则从分辨率管理表读取的数据的分辨率;分辨率确定单元14b11,其确定分辨率是否满足特定条件;分辨率选择单元14b12,其从可以在显示器120上显示的多个分辨率中选择预定条件下的分辨率;图像处理单元14b13,其对图像数据进行诸如扩大或者缩小以及增加分段的处理;标识设置单元14b14,其设置重叠标识;以及分辨率改变单元14b15,其改变到所选择的分辨率。另外,分辨率控制单元14b1包括分辨率管理表读取单元14b16,其从分辨率管理表中读取数据线;标识获得单元14b17,其从读取的数据线获得重叠标识;以及标识确定单元14b18,其确定重叠标识的值;以及段值获得单元14b19,其获得从分辨率管理表中读取的数据线的分段值。
辅助信息显示单元14b2包括:辅助信息生成单元14b20,其生成诸如操作菜单、错误信息等的辅助信息;辅助信息图像生成单元14b21,其生成辅助信息图像;以及辅助信息图像显示单元14b22,其在显示器120上显示原始图像数据的合成的生成的辅助信息的图像。
图30示出了用于在图像显示控制单元14b控制的示例数据,所述数据包括诸如“当前显示的分辨率”、“可显示的分辨率”、“重叠标识”、“分段位置”、“辅助信息显示位置”、“显示内容”等项目。对于“当前显示的分辨率”,暂时保持从显示器120所获得的为当前显示设置的分辨率(宽度、高度)。显示器120通常在那里保持为当前显示设置的分辨率。对于“可显示的分辨率”,暂时保持分辨率获得单元14b10获得的可以在显示器120上显示的一个或者多个分辨率(宽度、高度)。显示器120通常被设置为以多种分辨率显示,并且可显示的分辨率的信息是内部保持的,而且可以从外部引用。“当前显示的分辨率”和“可显示的分辨率”与括号内的宽高比一起显示;宽高比可以从分辨率来计算,因此,它可以被省略。“重叠标识”是指示辅助信息是否重叠在原始图像数据的标识,并且,如果不重叠,意味着辅助信息被显示在附加的分段区域,“分段位置”是指示添加分段区域的位置的信息。“辅助信息显示位置”是指示在其上显示辅助信息的位置的信息。“显示内容”是指示辅助信息的内容的信息。此外,诸如显示辅助信息中的使背景半透明的设置值。
语音输入单元15a,由如图3所示的麦克风114和声音输入/输出I/F116来实现,输入用户的语音并将语音被转换为语音信号,从而输出语音信号相关的语音数据。语音输出部件15B由语音输入/输出I/F116实现,并且图3中示出的扬声器115将与语音数据相关的语音信号转变为语音。
为了进行中继设备30最终缩小到一个中继设备30的最终的缩减处理,选择处理单元16根据来自如图3所示的CPU101的指令实现测量单元16a、计算单元16b和选择单元16c。这些中,对于发送和接收单元11接收到的每个下述提前发送信息组,测量单元16a测量当提前发送信息被发送和接收单元11接收时的接收的日期和时间。对于带有测量单元16a测量的接收的日期和时间的每个提前发送信息组,计算单元16b基于测量到的接收日期和时间以及提先发送信息所包括的发送日期和时间之间的差计算从发送到接收事先发送信息所需的时间,选择单元16c选择在计算单元16b计算出的所需的时间中最短的所需时间内中继提先发送信息的中继设备30。
延迟检测单元17由来自如图3所示的CPU101的指令实现,并检测从另一个发送终端10经由据中继设备30发送的图像数据或者语音数据的延迟时间(ms)。而且,外部信息发送和接收单元18经由外部装置I/F215与外部装置发送并接收数据。此外,图3中示出的SSD105执行的存储和读取处理单元19,执行在存储单元1000存储各种数据组和读取存储在存储单元1000的各种数据组的处理。在存储单元1000中存储目的地终端的IP地址;用于标识发送各种数据组的中继设备30的中继设备ID;语音数据;图像数据;密码;用于识别所述发送终端10的终端ID(标识)等。此外,在存储单元1000中存储显示数据发送单元452和显示数据获得单元451,其被发送到外部输入设备40并在外部输入设备40操作。显示数据获得单元451是当显示数据发送单元452发送显示数据获得单元451获得的显示数据到发送终端10时外部输入设备40获得显示数据的场所。显示数据是指在显示器设备的屏幕中显示的、制作成诸如JPEG(联合图像专家组)、位图等的格式的图像的图像数据以及制作成如GDI(图形设备接口)格式的绘图命令。
下述的中继设备ID与本实施例的终端ID分别是指用于唯一地识别中继设备30和发送终端10的标识语言、字符、符号或各种标识的信息。此外,中继设备ID和终端ID可以是语言、字符、符号和各种标识中至少两种的组合的识别信息。此外,下面将提供发送终端10以及发送终端10的解释,始发启动远程会议的请求的所述发送终端10被称为“请求源终端10A”,请求的目的地的所述发送终端10被称为“目的地终端10B”。
外部输入终端的功能配置
如图24所示,外部输入设备40包括发送和接收单元41、连接检测单元42、安装确定单元43、程序获得单元44、操作输入接受单元46、显示控制单元47、装配单元48以及存储和读取处理单元49。每个单元是根据存储在ROM202中的程序经由来自CPU201的指令在由图4所示的各元件中的任何一个实现的功能或者单元。此外,外部输入设备40具有由图4中示出的HDD205构成的存储单元4000。此外,外部输入设备40已经安装Windows(注册商标)等的OS(操作系统),从而具有当连接到另一个设备时执行程序的功能。
外部输入设备的功能单元
接着,详细描述外部输入设备40的各单元。由图4所示的网络I/F209实现的外部输入设备40的发送和接收单元41发送和从发送终端10发送和接收各种数据(信息)。连接检测单元42检测外部设备的输入和输出I/F215能够与外部设备进行数据的发送和接收。安装确定单元43确定是否显示数据获得单元451和显示数据发送单元452被安装在外部输入设备40。程序获得单元44经由发送和接收单元41从发送终端10连接的存储单元1000获得并安装显示数据获得单元451和显示数据发送单元452。操作输入接受单元46接受由用户的操作的输入。显示控制单元47使得下述存储和读取处理单元49读取的图像显示在显示设备400。装配单元48已经装配连接到外部输入设备40的各种装置的存储单元。图4中示出的HDD205执行的存储和读取处理单元49执行在存储单元4000存储各种数据组和读取存储在存储单元4000的各种数据组的处理。
中继设备的功能配置
接下来,解释中继设备30的功能或者单元。中继设备30包括发送和接收单元31、状态检测单元32、数据质量检查单元33、改变质量管理单元34、数据质量改变单元35以及存储和读取处理单元39。每个单元是根据存储在ROM202中的程序经由来自CPU201的指令在由图4所示的各元件中的任何一个实现的功能或者单元。另外,中继设备30具有由图4所示的HD204构成的存储单元3000。
改变质量管理表
在存储单元3000中构造改变质量管理DB3001,它包括如图7所示的改变质量管理表。在改变质量管理表中,相关地管理作为图像数据的中继目的地的发送终端30的IP地址以及由中继设备30中继到中继目的地的图像数据的图像质量。
这里,描述了本实施例中处理的图像和图像数据的的分辨率。如图6A所示,有具有宽度为160像素和长度为120像素的作为基本图像的低分辨率图像;如图6B所示,具有宽度为320像素和长度为240像素的中等分辨率图像;以及如图6C所示,具有宽度为640像素和长度为480像素的高分辨率图像。其中,当经过窄频带路径时,中继只包括作为基本图像的低分辨率图像数据的低质量图像数据。当带宽比较宽时,中继包括作为基本图像的低分辨率图像和中分辨率图像数据的中等图像质量的图像数据。此外,当带宽很宽时,中继作为基本图像质量的低分辨率的图像数据,中分辨率图像数据和包括高分辨率图像数据的高图像质量图像数据。例如,在图7中示出的改变质量管理表中,当中继设备30中继到具有“1.3.2.4”的IP地址的目标终端10db时,中继的图像数据的图像质量(图像的质量)是“高质量”。
中继设备的功能单元
接着,对构成中继设备30的功能元件进行详细描述。下面,在对中继设备30的单元的解释中,还解释与实施图3中所示的各元件的中继设备30的每个单元的主要元件的关系。
由图4所示的网络I/F209实施的图5B中所示的中继设备30的发送和接收单元31经由通信网络2与不同的终端、设备或系统发送和接收各种数据组(信息组)。状态检测单元32由从图中4所示的CPU201的指令实现,检测包括状态检测单元32的中继设备30的操作状态。作为操作状态,有“在线”、“离线”和“故障”状态。
数据质量检查单元33由从图中4所示的CPU201的指令实现,以目的地终端10B的IP地址作为搜索键搜索改变质量管理表(参见图7),并提取中继的相应的图像数据的图像质量以检查中继的图像数据的图像质量。改变质量管理单元34由如图4所示的来自CPU201的指令实现,基于从发送管理系统50发送的下述质量信息改变改变质量管理DB3001的内容。例如,当经由通信网络2由请求源终端10bb和目的地终端10ca发起远程会议时在目的地终端10db接收图像时发生延迟,中继设备30需要从高图像质量到低图像质量减少先前中继的图像数据的图像质量,所述请求源终端10bb和目的地终端10ca正在进行不同的远程会议,此时在具有终端ID“01aa”的请求源终端10aa和具有终端ID“01db”的目的地终端10db之间正在进行发送和接收高质量图像数据的远程会议。在此情况下,改变质量管理DB3001的内容被改变从而中继设备30中继的图像数据的图像质量从高图像质量降低到中等图像质量。
由来自图4中所示的CPU201的指令实现的数据质量改变单元35基于改变质量管理DB3001改变后的内容改变从发送源终端10发送的图像数据的图像质量。由图4所示的HDD205实现的存储和读取处理单元39执行在存储单元3000中存储各种数据组存储和读取存储在存储单元3000的各种数据组的处理。
发送管理系统的功能配置
接着,解释发送管理系统50的功能或单元。发送管理系统50包括发送和接收单元51、终端认证单元52、状态管理单元53、终端提取单元54、终端状态获得单元55、缩减单元56、会话管理单元57、质量确定单元58、存储和读取处理单元59和延迟期间管理单元60。每个单元是根据存储在ROM202中的程序经由来自CPU201的指令操作的图4中示出的各个元件中的任何一个实现的功能或者单元。此外,发送管理系统50具有图4中示出的HD204构成的存储单元5000。
(中继设备管理表)
在存储单元5000,构建中继设备管理DB5001,其包括图8中示出的中继设备管理表。对于每个中继设备30的每个中继设备ID,中继设备管理表管理中继设备30的操作状态;发送管理系统50接收的指示操作状态的状态信息的接收的日期和时间;中继设备30的IP地址;相关联的中继设备30的最大数据发送速率(Mbps)。例如,在图8中所示的中继设备管理表中,指示了对于具有中继设备ID“111a”的中继设备30a,操作状态是“在线”;发送管理系统50接收状态信息的日期/时间是“2009年11月10日13时00分”;中继设备30a的IP地址为“1.2.1.2”;以及中继设备30a的最大数据发送速率为100Mbps。
(终端认证管理表)
此外,在存储单元5000中构建包括如图9所示的终端认证管理表的终端认证管理DB5002。终端认证管理表管理与发送管理系统50管理的全部发送终端10的终端ID相关联的密码。例如,如图9示出的终端认证管理表指示发送终端10aa的终端ID为“01aa”,密码为“aaaa”。
(终端管理表)
此外,在存储单元5000中,也构建了包括图10示出的终端管理表的终端管理DB5003。对于每个发送终端10的终端ID,终端管理表管理发送终端10的操作状态;发送管理系统50接收到下述登录请求信息的接收日期和时间;以及相关联的发送终端10的IP地址。例如,在如图10中所示出的终端管理表,指示了对于终端ID是“01aa”的终端10aa,操作状态是“在线”,由管理系统50在“2009.11.10,13:40”接收到登录请求信息,以及发送终端10aa的IP地址是“1.2.1.3”。
目的地管理表
此外,在存储单元5000也构建包括了如图11所示的目的地列表管理表的目的地列表管理DB5004。目的地列表管理表与请求远程会议开始的每个请求源终端的终端ID相关联地管理登记为目的地终端10B的候选的目的地终端的所有终端ID。例如,图11中示出的目的地列表管理表指示了目的地终端10B的可能从具有终端ID“10aa”的请求源终端10aa请求开始远程会议的三个候选,即,具有“01ab”的终端ID的发送终端10ab、具有“01ba”的终端ID的发送终端10ba、具有“01db”的终端ID的发送终端10db。目的地终端10B的候选可以以请求源终端10A发送到管理系统50的添加或删除请求通过添加或删除来更新。
(会话管理表)
此外,在存储单元5000中构建了包括图12示出的会话管理表的会话管理DB5005。对于选择用于执行选择中继设备30的会话的每个会话ID,该会话管理表以相关联的方式管理用于中继图像数据和语音数据的中继设备30的中继设备ID;请求源终端10A的终端ID;目的地终端10B的终端ID;目的地终端10B接收图像数据时的接收延迟时间(ms);以及接收延迟信息的日期和时间,所述延迟信息指示延迟时间并且从目的地终端10B发送由管理系统50接收。例如,在如图12所示的会话管理表中,指示了通过使用选择“se1”的会话ID执行的会话所选择的中继设备(具有中继设备ID“111a”)在具有终端ID“01aa”的请求源终端10aa和具有终端ID“01db”的目的地终端终端10db之间中继图像数据和语音数据,并且在目的地终端终端10db在“2009.11.10,14:00”的延迟时间是200ms。当在两个发送终端10之间进行远程会议时,基于从请求源终端10A的而非从目的地终端10B发送的延迟信息可以管理延迟信息的接收日期和时间。当在三个或更多的发送终端10之间进行远程会议时,基于从图像数据和语音数据的接收侧的终端10发送的延迟信息来管理延迟信息的接收日期和时间。
(地址优先级管理表)
此外,在存储单元5000构造包括如图13所示的地址优先级管理表的优先级管理DB5006。此地址优先级管理表以相关联的方式管理地址优先级分数与普通IPv4格式的IP地址的四个点地址部分,从而根据点地址部分的四个部分是否相同来增加地址优先级的分数。例如,在如图13所示的地址优先级管理表中,当从点地址高位到低位的三个值是相同IP地址的,则地址优先级的分数为“5”。当从点地址高位到低位的两个值是相同IP地址的,则地址优先级的分数为“3”。在这种情况下,在低位点地址的值是否相同与优先级无关。当最高位的点地址的值相同,而次高位的值不同时,地址优先级的分数为“1”。在这种情况下,在从高位的第三部分的值和最底部的值是否相同,与优先级无关。当点地址的最高位的值不同时,地址优先级的分数为“0”。在这种情况下,次高部分的值,第三高部分的值和最低位的值是否相同,与优先级无关。
发送速率优先级表
此外,在存储单元5000还构建包括如图14所示的发送速率优先级管理表的优先级管理DB5006。在发送速率优先级管理表中,与发送速率优先级相关联地管理中继设备30的最大数据发送速率(Mbps)的值,从而根据最大数据发送速率(Mbps)的值增加发送速率优先级分数。例如,在如图14中示出的发送速率管理表中,当中继设备30的最大数据发送速率不小于1000Mbps时,发送速率优先级的分数为“5”。当中继设备30的最大数据发送速率不小于100Mbps并且小于1000Mbps时,,发送速率优先级的分数为“3”。当中继设备30的最大数据发送速率大于或者等于10Mbps并且小于100Mbps时,发送速率优先级的分数为“1”。当中继设备30的最大数据发送速率小于10Mbps时,发送速率优先级的分数为“0”。
(质量管理表)
此外,在存储单元5000构建包括如图15所示的质量管理表的质量管理DB5007。在质量管理表中,以与在中继设备30中继的图像数据的图像质量(图像的质量)相关联的方式管理请求源终端10A或者目的地终端10B中的图像数据的延迟时间(ms)。
(发送管理系统的功能单元)
接着,将详细描述发送管理系统50的功能单元。下面在对管理系统50的每个单元的解释中,还解释与如图4示出的各个元件中的管理系统50的单元的主要元件的关系。
由如图4中所示出的网络I/F209执行的发送和接收单元51与不同的终端、装置或者系统经由通信网络2发送和接收各种数据组(或信息组)。以包括在经由发送和接收单元51接收到的登录请求信息的终端ID和密码作为检索键,终端认证单元52检索存储单元5000的终端认证管理DB5002,并且确定终端认证管理DB5002中是否管理了相同的终端ID和密码以进行终端认证。为了管理做出登录请求的请求源终端10A的操作状态,状态管理单元53为了管理相关联地存储请求源终端10A的终端ID、请求源终端10A的操作状态、登录请求信息在发送管理系统50被接收时的接收日期/时间;以及请求源终端10A的IP地址。
通过使用做出登录请求的请求源终端的终端10A的终端ID作为检索键,终端提取单元54检索目的地列表管理表(参见图11),并且读取能够与请求源终端10A通信的目的地终端10B的候选终端的ID,从而提取终端ID。此外,以做出登录请求的请求源终端的终端ID作为检索键,终端提取单元54检索目的地列表管理表(参见图11)并提取另一个请求源终端的终端ID,所述另一个请求源终端10A已经将一个请求源终端10A的终端ID注册为目的地终端10B的候选。
以终端提取单元54提取的目的地终端10B的候选的终端ID作为检索键,终端状态获得单元55检索终端管理DB表(参见图10),并读取终端提取单元54提取的每个终端ID的操作状态。以此,终端状态获得单元55能够获得能够与作出登录请求的请求源终端通信的目的地终端10B的候选的操作状态。此外,以终端提取单元54提取的终端ID作为检索键,终端状态获得单元55检索终端管理表(参见图10)并获得作出登录请求的请求源终端的操作状态。
为了在最终缩减处理的最终缩减处理之前执行初级缩减处理以便支持最终缩减处理,所述最终缩减处理中,多个中继设备30缩减到最终的一个中继设备30,缩减单元56包括选择会话ID生成单元56a、终端IP地址提取单元56b、初级选择单元56c和优先级确定单元56d。其中,选择会话ID生成单元56a生成用于执行选择中继设备30的会话的选择的会话ID。终端IP地址提取单元56b基于包括在请求源终端10A发送的开始请求信息中的请求源终端10A的终端ID和目的地终端10B的终端ID来检索终端管理表(参见图10)。初级选择单元56c选择中继设备管理表(参见图8)管理的中继设备30的操作状态是“在线”的中继设备30的中继设备ID。
此外,初级选择单元56c基于终端IP地址提取单元56b提取的请求源终端10A的IP地址和目的地终端10B的IP地址检索中继设备管理表来调查选择的中继设备30的IP地址的每个点地址是否与请求源终端10A和目的地终端10B的IP地址中的相应点地址相同或者不同。此外,对于每个中继设备,初级选择单元56c选择具有最高两个结合点的中继设备30,所述每一个结合分数是关于发送终端10的地址优先级分数中较高的分数和发送速率优先级分数的结合,以进行中继设备30的进一步选择。
在本实施例中,选择最高分数的两个中继设备30,本发明并不局限于此,只要能够缩减甚至更多一个中继设备30,那么可以安排选择最高的三个或者更多个中继设备30。
参照优先级管理(参见图13),优先级确定单元56d为初级选择单元56c检查的每个中继设备30确定地址优先级的分数。此外,优先级确定单元56d基于发送速率优先级管理表(参见图8)中管理的每个中继设备30的最大数据发送速率检索优先级管理表(参见图14),来确定初级选择单元56c所缩减的每个中继设备30的发送速率优先级分数。
会话管理单元57在存储单元5000的会话管理表(参照图12)中关联地存储选择会话ID生成单元56a生成的选择会话ID、请求源终端的终端ID、和目的地终端的终端ID,以进行管理。此外,会话管理单元57在会话管理表中存储在发送终端10的选择单元16c最终选择的一个中继设备的中继设备30的中继设备ID,以进行管理。
质量确定单元58以延迟时间作为检索关键词检索质量管理表(参见图15),并提取相应的图像数据的图像质量,以确定中继设备30中继的图像数据的图像质量。存储和读取处理单元59由如图4所示的HDD205来实现,执行在存储单元5000存储各种数据以及读取存储在存储单元5000的各种数据的处理。以目的地终端10B的IP地址作为检索键,延迟时间管理单元60检索终端管理表(参见图10)以提取相应的终端ID并存储以管理在会话管理表(参见图12)的会话管理表中的在包括所提取的终端ID的记录中的延迟时间的字段部分中的信息指示的延迟时间。
实施例的处理和操作
(基本处理和操作)
以上描述了根据本实施例的发送系统1的特征和功能,并且接下来,使用图16-23和图25-28,描述本实施例的发送系统1中的处理方法。图16是示出了管理指示从中继设备30发送到发送管理系统1的每个中继设备30的状态的状态信息的处理的顺序图。图17是示出了在多个发送终端10之间开始通信的预备阶段处理的顺序图。图18是示出了缩减中继设备30的处理的顺序图。图19是示出了缩减中继设备30的处理的顺序图。图20是示出了用于缩减中继设备30的分数计算的状态示意图。图21是示出了发送终端10选择中继设备30的处理的顺序图。图22是发送终端10选择中继设备30的处理的流程。图23是在发送终端10之间发送和接收图像数据和语音数据的处理的顺序图。图25是示出了使得外部输入设备40显示的显示数据由会议对方发送终端10显示的处理的顺序图。图26是由外部输入设备40显示的屏幕的示例。图27是发送终端10显示的图像数据和显示数据被显示在其上的屏幕的示例。图28示出了外部输入设备安装了显示数据获得单元的处理的流程图。
现在,图16用来描述指示了每个中继设备30的状态的状态信息的管理处理,所述状态信息从每个中继设备30发送到管理系统50。首先,在每个中继设备30中,5B中示出的状态检测单元32周期性地检测中继设备30的操作状态(Sl-1到Sl-4)。然后,为了使得中继设备30的操作状态在发送管理系统50侧实时地被管理,中继设备30的发送和接收单元31经由通信网络2周期性地发送状态信息到发送管理系统50。各个状态信息组包括中继设备30的中继设备ID,以及关于各个装置ID的中继设备30的状态检测单元32检测的操作状态。在本实施例中,示出了以下情况,即中继设备(30a,30b和30d)正常地操作在“在线”,而中继设备30c操作在“离线”状态,这是因为执行中继设备30c的中继操作的程序出现故障。
接着,在发送管理系统50中,从每个中继设备30发送的状态信息组在发送和接收单元51被接收,并且为每个中继设备ID,在存储单元5000的中继设备管理表(参见图8)中存储状态信息组,以进行管理(步骤S3-1至S3-4)。以此,为每个中继设备ID,在中继设备管理表中存储和管理操作状态“在线”、“离线”和“故障”之一。而且,此时,还为每个中继设备ID存储发送管理系统50接收状态信息的接收日期和时间,以进行管理。当中继扩大装置30不发送状态信息时,图8中示出的中继设备管理表的相应记录的接收的日期/时间字段部分以及操作状态字段部分变为空白或者分别示出前次接收时的接收日期和时间以及操作状态。
接着,使用图17,描述在发送终端10aa和发送终端10db之间的通信开始前的准备阶段的处理。首先,当用户开启如图3中示出的电源开关109时,当图5B示出的操作输入接受单元12接受通电,从而开启电源(步骤S21)。然后,当接收到通电时,登录请求单元13经由通信网络2自动将指示登录请求的登录请求信息从发送和接收单元11发送到管理系统50(步骤S22)。登录请求信息包括用于识别其发送终端10aa的终端ID和密码,所述发送终端10aa是作为请求源的自身设备。这些终端ID和密码是经由存储和读取处理单元19从存储单元1000读取并发送到发送和接收单元11的数据。当登录请求信息从终端10aa被发送到管理系统50时,接收侧的管理系统50可以识别发送侧的终端10aa的IP地址。
接着,经由发送和接收单元51接收的登录请求信息所包括的终端ID和密码作为检索键,发送管理系统50的终端认证单元52检索存储单元5000的终端认证管理表(见图9)并确定在终端认证管理DB5002中是否管理了相同的终端ID和密码以进行终端认证(步骤S23)。当终端认证单元52管理了相同的终端ID和密码,并确定从具有有效访问权限的终端装置10发送的登录请求时,状态管理单元53以相关联的方式在终端管理DB5003(见图10)中存储发送终端10aa的终端ID;操作状态;接收登录请求信息的接收日期和时间;以及发送终端10aa的IP地址(步骤S24)。以此,在如图10中示出的终端管理表以关联的方式管理了发送终端ID“01aa”、操作状态“在线”、接收日期“2009.11.10,13:40”、以及终端IP地址“1.2.1.3”。
然后,发送管理系统50的发送和接收单元51经由通信网络2将示出了终端认证单元52获取的认证结果的认证结果信息发送到做出登录请求的请求源终端10aa(步骤S25)。在本实施例中,对终端认证单元52确定终端具有有效访问权限的情况进行了描述。
以作出登录请求的请求源终端10aa的终端ID“01aa”作为检索键,发送管理系统50的终端提取单元54检索目的地列表管理表(参见图11),并读取和提取可以与请求源终端10aa通信的目的地终端10B的候选的终端ID(步骤S26)。在此,提取出对应于请求源终端10aa的终端ID“01aa”的各个目的地终端(10ab、10ba、和10db)的终端ID“01ab”、“01ba”和“01db”。
接着,终端提取单元54提取的目的地终端10B的候选的终端ID(“01ab”,“01ba”,和“01db”)作为检索键,终端状态获得单元55检索终端管理表(参见图10)来读取终端提取单元54提取的各个终端ID的操作状态(“离线”、“在线”、“在线”),获取终端(10ab、10ba、10db)的操作状态(步骤S27)。
接着,发送和接收单元51经由通信网络2将包括在步骤S27用作检索关键词的终端ID(“01ab”、“01ba”和“01db”)以及相应的各个目的地终端(10ab、10ba和10db)的操作状态(”离线”、“在线”、“在线”)的目的地状态信息发送到请求源终端10aa(步骤S28)。以此,请求源的终端10aa可以识别作为可以与请求源终端10aa进行通信的目的地终端10B的候选的各个终端(10ab、10ba和10db)的各个当前操作状态(“离线”、“在线”、和“在线”)。
此外,以做出登录请求的请求源终端(终端10aa)的终端ID“01aa”作为检索键,管理系统50的终端提取单元54检索目的地列表管理表(参见图11)并提取其他请求源终端10A的终端ID,所述其他请求源终端将请求源终端10A的终端ID“01aa”注册为目的地终端10B的候选(步骤S29)。在如图11所示出的目的地列表管理表中,提取的其他请求源终端的终端ID是“01ab”、“01ba”、和“01db”。
接下来,使用已作出登录请求的请求源终端10aa的终端ID“01aa”作为检索键,管理系统50的终端状态获得单元55检索终端表(参见图10),并获得已发送登录请求的请求源终端10aa的操作状态(步骤S30)。
然后,发送和接收单元51将包括请求源终端(终端10aa)的终端ID“01aa”和在步骤S30获取的“在线”的操作状态发送到与在步骤S29提取的终端ID(“01ab”、“01ba”、和“01db”)对应的终端(10ab、10ba、10db)之中的、在终端管理表中(参见图10)的操作状态是“在线”的发送终端(10ba、10db)。在发送和接收单元51发送目的地状态信息到发送终端(10ba、10db)时,发送和接收单元51基于各个终端ID(“01ab”、“01db”)参照如图11所示的终端管理表管理的终端的IP地址。以此,能够将做出登录请求的请求源终端10aa的终端ID“01aa”和“在线”的操作状态,通知给能够与作为目的地并且作出登录请求的请求源终端10aa通信的每个其他目的地终端(10db、10ba)。
另一方面,即使在其他发送终端10中,如在步骤S21,当用户开启如图4所示的电源开关109时,如图5B所示的操作输入接受单元12接受通电,执行与步骤S22-31-1至31-1相同的处理。省略重复的解释。
接着,使用图18,描述缩减中继设备30的处理。在本实施例中,以在步骤S28接收的目的地状态信息,请求源终端10aa可以与操作状态是在线的发送终端(10ba、10db)中至少一个进行通信。此时,下面将描述请求源终端10aa的用户选择与目的地终端10db开始通信的情况。
首先,当用户按压图3中示出的操作按钮108时,如图5B中所示出的操作和输入接收单元12接收开始与目的地终端10db进行通信的请求(步骤S41)。然后,发送终端10aa的发送和接收单元11发送包括请求源终端10aa的终端ID“01aa”和目的地终端10db的终端ID“01db”并指示希望通信开始的开始请求信息(步骤S42)。以此,发送管理系统50的发送和接收单元51接收开始请求信息并掌握作为发送方的请求源终端10aa的IP地址“1.2.1.3”。接着,基于包括在开始请求信息中的目的地终端10db的终端ID“01db”和请求源终端10aa的终端ID“01aa”,状态管理单元53将包括在终端管理表中的各个终端ID“01aa”和“01db”的记录的操作状态字段部分改变为“忙”(步骤S43)。在这种状态下,请求源终端10aa和目的地终端10在忙碌状态,从而,当发送终端10试图与请求源终端10aa或者目的地终端10db通信时,输出指示所谓忙碌状态的语音或显示。
接着,描述在步骤S44至S48以及步骤S61-1至S66执行用于选择中继设备30的会话的处理。首先,选择会话ID生成单元56a生成用于执行选择中继设备30的选择的会话ID(步骤S44)。然后,会话管理单元57在存储单元5000的会话管理表(参见图12)中相关联地存储并管理在步骤S44生成的选择的会话ID“sel”,以及目的地终端10db的终端ID“10db”(步骤S45)。
接着,基于中继设备管理DB5001、终端管理DB5003和优先级管理DB5006,发送管理系统50的缩减单元56初级缩减中继设备30,以在请求源终端10aa和目的地终端10db之间中继通信(步骤S46)。
这里,使用图19进一步详细描述步骤S46的处理。首先,终端IP地址提取单元56b基于包括在从请求源终端10aa发送的开始通信信息,请求源终端10aa的终端ID“01aa”和目的地终端10db的终端ID“01db”检索终端管理表(参见图10),以提取相应发送终端(10aa和10db)的IP地址(“1.2.1.3”和“1.3.2.4”)(步骤S46-1)。接着,在步骤S46-2,初级选择单元56c选择中继设备管理表(参见图8)管理的中继设备的操作状态中处于“在线”状态的中继设备(30a,30b和30d)的各个中继设备ID(111a,111b和111d)。此外,初级选择单元56c基于在步骤S46-1提取的请求源终端10aa的IP地址“1.2.1.3”和目的地终端10db的IP地址“1.3.2.4”,检索中继设备管理表(参见图8),并检查请求源终端10aa和目的地终端10db的各个IP地址(“1.2.1.3”和“1.3.2.4”)的每个点地址与在步骤S46-2中选择的中继设备(30a,30b和30d)的各个IP地址(“1.2.1.2”,“1.2.2.2”和“1.3.2.2”)的每个点地址是否相同(步骤S46-3)。
接着,在步骤S46-4,参照优先级管理表(参见图13),优先级确定单元57c确定在步骤S46-3检查的每个中继设备(30a、30b、30d)的地址优先级分数。在图20所示的表中指示确定处理的结果。图20是示出用于执行缩减中继设备30的优先级分数的计算的状态的示意图。在图20中,为每个中继设备ID提供地址优先级分数、发送速率优先级分数、和结合分数。而且,为地址优先级分数示出每个中继设备30的请求源终端10aa的分数和目的地终端10db的分数。结合分数是两个地址优先级分数之中的较高的分数和发送速率优先级分数的总和。
在本实施例中,中继设备30a的IP地址“1.2.1.2”相对于请求源终端10aa的IP地址“1.2.1.3”是“相同的,相同的,相同的,不同的”,从而,如图20所示的地址优先级的分数是“5”。而且,中继设备30a的IP地址“1.2.1.2”相对于请求源终端10db的IP地址“1.3.2.4”为“相同的,不同的,不同的,不同的”,从而,地址优先级的分数是“1”。而且,中继设备3ba的IP地址“1.2.2.2”相对于请求源终端10aa的IP地址“1.2.1.3”为“相同的,相同的,不同的,不同的”,从而地址优先级的分数是“3”。而且,中继设备30b的IP地址“1.2.2.2”相对于目的地终端10db的IP地址“1.3.2.4”为“相同的,不同的,相同的,不同的”,从而,地址优先级的分数是“1”。而且,中继设备30d的IP地址“1.3.2.2”相对于请求源终端10aa的IP地址“1.2.1.3”为“相同的,不同的,不同的,不同的”,从而地址优先级的分数是“1”。中继设备30d的IP地址“1.3.2.2”相对于目的地终端10db的IP地址“1.3.2.4”为“相同的,相同的,相同的,不同的”,从而地址优先级的分数是“5”。
接着,返回到图19,在步骤S46-5,基于中继设备管理表(参见图8)管理的各个中继设备30的最大数据发送速率,优先级确定单元57d检索优先级管理表(参见图14),以确定通过在步骤S46-2中的初级减缩处理减缩的每个中继设备(30a,30b和30d)的发送速率优先级的分数。在本实施例中,如图8所示,中继设备33a的最大数据发送速率是100Mbps,从而参照图14所示的发送速率优先级,发送速率优先级为3分。类似地,中继设备30b的最大数据发送速率通过计算是1000Mbps,从而发送速率的优先级为5分。类似地,中继设备30d的最大数据发送速率通过计算是10Mbps,从而发送速率优先级是1分。
接着,为每个中继设备(30a,30b和30d),初级选择单元56c从总分中选择具有最高的两个结合分的中继设备,每个所述结合分是发送终端10aa和10db的地址优先级的较高的分数与发送速率优先级分数的结合。在本实施例中,如图20所示,中继设备ID(111a,111b和111d)具有各个结合分数“8”、“8”和“6”,从而选择与中继设备ID“111a”相关的中继设备30a和与中继设备ID“111b”相关的中继设备30b。
当步骤S46的缩减处理完成后,如图5A所示的发送和接收单元51经由通信网络2将用于通信被缩减的中继设备30的数量的中继设备缩减信息发送到目的地终端10db。中继设备缩减信息包括在步骤S46缩减的中继设备30的数目“2”、请求源终端10aa的终端ID“01aa”、以及选择会话ID“se1”。以此,执行选择“se1”的会话ID的会话时,发送终端10db可以识别中继设备30的数量、作出远程会议开始的请求的发送终端10、和管理系统50的IP地址“1.1.1.2”,所述管理系统50是中继设备缩减信息的发送源。
然后,发送终端10db经由通信网络2从发送和接收单元11发送指示中继设备缩减信息的接收完成的接收完成信息到发送管理系统50。接收完成信息包括会话ID“se1”。以此,发送管理系统50可以识别出具有会话ID“se1”的会话进行的中继设备的数量的通信已完成、以及目的地终端10db的IP地址“1.3.2.4”,所述目的地终端10db是发送源。
接着,使用图21,描述用于选择中继设备30的目的地终端10aa的处理。首先,在步骤S61-1和S61-2,发送管理系统50将用于提前请求中继的事先中继请求信息发送到在步骤S46缩减的每个中继设备(30a和30b)。事先中继请求信息包括会话ID“se1”;请求源终端10aa的IP地址“01aa”、和目的地终端10db。以此,中继设备(30、30b)可以识别选择会话、请求源终端10A、目的地终端10B、和发送管理系统50的IP地址“1.1.1.2”,所述管理系统50是事先中继请求信息的发送源。
接着,在步骤S61-1和S61-2,每个中继设备(30a、30b)向在步骤S62-1和S62-2识别的请求源终端10aa发送事先发送请求信息,该事先发送请求信息指示将包括下述互联网探索包(ping,Packet Internet Groper)的事先发送信息发送到作为自身设备的每个中继设备(30a和30b)。事先发送信息包括会话ID“se1”。以此,在使用会话ID“sel”选择中继设备30的处理中,请求源终端10aa可以识别事先发送信息以及作为事先发送请求信息的发送源的中继设备(30a和30b)的IP地址(“1.2.1.2”和“1.2.2.2”)被发送到各个中继设备(30a和30b)。
发送管理系统50不直接将目的地终端10db的IP地址报告给请求源终端10ba,但是如在步骤S61-1,将目的地终端10db的IP地址中报告给中继设备10aa以及如在步骤S61-2的原因是,中继设备30a请求请求源终端10ba发送事先发送信息到自身设备(中继设备10sa)来确保一个发送终端10不知道其他发送终端10的IP地址以维持安全性。
接着,在步骤S63-1和S63-2中,请求源终端10aa经由通信网络2从发送和接收单元11发送事先发送信息到中继设备(30a、30b)。事先发送信息是在发送图像数据和语音数据之前经由每个中继设备(30a、30b)发送到目的地终端10db的信息而非图像数据和语音数据,以用于测量从请求源终端10aa发送到目的地终端10db接收所需的时间。此外,事先发送信息包括用于确定请求源终端10aa、中继设备(30a和30b)和目的地终端10db互相通信连接的互联网探索包、由请求源终端(终端10aa)发送的事先发送信息的发送日期和时间、以及会话ID“se1”。以此,执行选择的会话ID“se1”的会话时,各个中继设备(30a和30b)可以识别事先发送信息已被发送到它们,并且也能够识别请求源终端10aa的IP地址“1.2.1.3”,所述请求源终端10aa是所述事先发送信息的发送源。
接着,在步骤S64-1和S64-2,各个中继设备(30a和30b)中继事先发送信息到包括在在上述步骤S61-1和S61-2接收到的事先中继请求信息中的目的地终端10db的IP地址“1.3.2.4”。以此,执行选择的会话ID“se1”的会话时,目的地终端(终端10db)可以识别事先发送信息已发送,并且也能够识别中继设备(30a和30b)的IP地址(“1.2.1.2”和“1.2.2.2”),所述中继设备(30a和30b)是事先发送信息的发送源(中继源)。
接着,基于事先发送信息,目的地终端10db的选择处理16最终缩减到一个中继设备30来为远程会议中继图像数据和语音数据(步骤S65)。
这里,使用图5和图25,详细描述步骤S65中的处理。首先,对于各个装置(30a、30b)中继的事先发送信息组,图5B所示出的选择处理单元16的测量单元16a测量发送终端10db的发送和接收单元11接收到事先发送信息的接收日期和时间(步骤S65-1)。接着,为了给事先发送信息组测量接收时间/日期,计算单元16b基于包括在事前发送信息中的接收日期和时间和发送日期和时间之间的差以及包括在事先发送信息组的上述发送日期和时间,计算从发送到接收每条事先发送信息所需的时间(步骤S65-2)。接着,在执行选择的会话ID“se1”的会话时,确定是否数量相应于“2”的所有事先发送信息已在具有会话ID“se1”的会话中的已收到,“2”是用于中继的中继设备30的数量(步骤S65-3)。然后,如果没有接收到所有的信息时(否),选择单元16c确定发送终端10db收到事先发送信息后,是否已经经过了特定时间(此处,1分钟)(步骤S65-4)。而且,如果特定时间还没过去时(否),处理返回到步骤S65-1。另一方面,当所有的信息在步骤S65-3中被接收时(是),或者在步骤S65-4中当特定的时间已经过去时(是),选择单元16c选择计算单元16b计算出的所需时间中最短的时间内中继事先发送信息的一个中继设备30(步骤S65-5)。在本实施例中,示出的例子中,由于从发送到接收由中继设备30a中继的事先发送信息所需的时间比从发送到接收由中继设备30b中继的事先发送信息所需的时间短,因此选择中继设备30a。
在上述实施例缩减在目的地终端10db侧的中继设备30a时,它并不局限于此,从而可以安排目的地终端10db将所有的指示了从发送到接收事先发送信息所需时间的所需时间信息发送到请求源终端10aa或发送管理系统50,以在请求源终端10aa侧或管理系统50侧能够最终缩减到一个中继设备30a。
接着,目的地终端10db通过通信网络2中从发送和接收单元11向管理系统50发送指示已选择中继设备30a的选择信息(步骤S66)。选择信息包括会话ID“se1”和选择的中继设备30a的中继设备ID“111a”。以此,在执行会话ID“sel”的会话时,发送管理系统50可以识别出已选择了的中继设备30a,以及目的地终端10db的IP地址“1.3.2.4”,所述终端10db是选择信息的发送源。
接着,发送管理系统50的会话管理单元57在会话管理DB5005的会话管理表(参见图12)中存储以管理包括会话ID“se1”的记录中的中继设备ID的字段部分中最终选择的中继设备30a的中继设备ID“111a”(步骤S67-1);并且发送和接收单元51发送中继设备ID“111a”和目的地终端10db的IP地址到请求源终端10aa(步骤S67-71)。然后,发送管理系统50的发送和接收单元51发送指示中继开始的请求的中继开始请求信息到中继设备30a(步骤S68)。中继开始请求信息包括用于中继的请求源终端10aa和目的地终端10db的IP地址(“1.2.1.3”和“1.3.2.4”)。以此,中继设备30a在发送终端(10aa、10db)之间建立用于通信语音数据和低、中和高分辨率的三组图像数据的会话。以此,发送终端(10aa、10db)可以开始远程会议。
虽然中继设备的选择处理(步骤S65)经由步骤S48至S64-1和S64-2,结合在步骤S47的发送管理系统50发送中继设备缩减信息到目的地终端10db在目的地终端10db侧进行,但本发明不限于此。因此,可以安排发送管理系统50发送中继设备缩减信息到中继源终端10aa,从而,随后,到步骤S64-1和S64-2,每个信息组的发送方和接收方可以在请求源终端10aa和目的地终端10db之间互换。以此,请求源终端10aa可以替代步骤S65执行用于选择中继设备的处理并且也可以替代步骤S66发送选择信息。
接着,使用图5和23,描述了发送和接收图像数据和语音数据的处理以在请求源终端10aa和目的地终端10db之间进行远程会议的处理。首先,请求源终端10aa经由通信网络2从发送和接收单元11向终端10db发送在成像单元14a成像的对象的图像数据和在语音输入单元15a输入的语音的语音数据(步骤S81)。在本实施例中,发送包括在低分辨率、中等分辨率和高分辨率的高图像质量的图像数据和语音数据。以此,在中继设备30a,发送和接收单元31接收上述三个分辨率的图像数据和语音数据。然后,使用目的地终端10db的IP地址“1.3.2.4”作为检索键,数据质量检查单元10db检索改变质量管理表(参照图7)并提取要中继的图像数据的相应的图像质量以检查中继的图像数据的图像的质量(步骤S82)。在本实施例中,图像数据的图像的检查的图像质量是“高图像质量”,与在发送和接收单元31接收的图像数据的图像质量相同,从而具有不变的图像质量的图像数据和不变的声音质量的语音数据被转发到目的地终端10db(步骤S83)。以此,目的地终端可以在发送和接收单元11接收语音数据和图像数据,图像显示控制单元14b可以使得基于图像数据的图像被显示在显示器120上,并且语音输出单元15b可以基于语音数据使得语音被输出。
接着,发送终端10db的延迟检测单元17为每个特定时间段(例如,每秒钟)检测在发送和接收单元11接收的接收图像数据的延迟时间(步骤S84)。在本实施例中,为200ms的延迟时间继续解释。
目的地终端10db的发送和接收单元11经由通信网络2将指示“200毫秒”的延迟时间延迟信息发送到管理系统50(步骤S85)。以此,发送管理系统50可以识别延迟时间和作为延迟信息的发送源的发送终端10db的IP地址“1.3.2.4”。
接着,以目的地终端10db的IP地址“1.3.2.4”作为检索键,发送管理系统50的延迟时间管理单元60检索终端管理表(参见图10),并提取相应的终端ID“01db”,并且存储和管理会话管理DB5005的会话管理表(参见图12)中的终端ID“01db”的记录中的延迟时间的字段部分中示出的延迟时间“200ms”(步骤S86)。
接着,以延迟时间“200ms”作为检索键,质量确定单元58检索质量管理表(参见图15),并提取相应图像数据的图像质量“中等图像质量”,从而确定图像数据的图像质量为“中等图像质量”(步骤S87)。
接着,以与会话管理表(参见图12)中的中继设备ID“111a”相关联的中继设备ID“111a”作为检索键,发送和接收单元51检索中继设备管理表(参见图8),并提取相应的中继设备30a的IP地址“1.2.1.2”(步骤S88)。然后,在步骤S89,发送和接收单元51经由通信网络2将指示在步骤S87确定的图像数据的图像质量“中等图像质量”的质量信息发送到中继设备30a。该质量信息包括在步骤S86用作检索关键词的目的地终端(终端10db)的IP地址“1.3.2.4”。以此,在步骤S90,在中继设备30a,质量改变管理单元34以相关联的方式在质量改变管理表(参见图7)中存储以管理作为发送源发送目的地(这里,目的地终端10db)的发送终端10的IP地址“1.3.2.4”已经中继的图像数据的图像质量“中等图像质量”。
接着,以与步骤S81相似的方式,发送终端10aa发送包括低、中、和高三个图像质量的高图像质量的图像数据和语音数据到中继设备30a(步骤S91)。以此,以类似于步骤S82的方式,以目的地终端10db的IP地址“1.3.2.4”作为检索键,中继设备30a检索改变质量管理表(参见图7),并提取相应的要中继的图像数据的图像质量“中等图像质量”,以检查要中继的图像数据的图像的质量(步骤S92)。在本实施例中,图像数据的经检查的图像质量是“中等图像质量”,其低于发送和接收单元31所接收的图像数据的“高图像质量”,从而数据质量改变单元35图像数据的图像质量从“高图像质量”降低到“低图像质量”以改变图像数据的图像质量(步骤S93)。此时,发送和接收单元31经由通信网络2发送包含改变为“中等图像质量”的图像数据的图像质量的图像数据以及未改变到发送终端10db的语音的声音质量的语音数据。以此,当接收图像数据的目的地终端10db发生接收延迟时,中继设备30a改变图像的质量,并确保远程会议的参与者不会感到不适。
接着,使用图25描述共享整个屏幕的处理,当确定,中继设备30所述整个屏幕上显示存储在外部输入设备40的存储单元4000的文档数据。这里,描述了作为目的地终端的发送终端10db显示由连接到发送终端10aa的外部输入设备40aa显示的信息
如上所述,当中继设备30被确定,发送管理系统50在步骤S67-21发送的中继设备ID“111a”和目的地终端10db的IP地址“1.3.2.4”由发送终端10aa的发送和接收单元11接收,并且存储和读取处理单元19使得接收的IP地址“1.3.2.4”和中继设备ID“111a”存储在存储单元1000(步骤S67-22)。
而且,当外部输入设备40aa和发送终端10aa相互连接时,外部输入设备40aa的连接检测单元42检测(步骤S70)。如图28所示,当连接检测单元42检测到外部输入设备40aa和发送终端10aa相互连接,安装确定单元43确定是否显示数据发送装置452是否已被安装(步骤S71)。在步骤S71中,如果确定了显示数据发送单元452没有被安装时,程序获得单元44获得并安装存储在发送终端10aa的数据发送单元452。(步骤S72)。在步骤S72中,当显示数据发送单元452被安装时,外部输入设备40aa请求发送终端01aa允许用显示数据获得单元451来执行该处理(步骤S73)。当发送终端10aa给出了外部输入设备40aa用于执行该显示数据获得单元451的处理的权限,显示数据获得单元451获得显示数据(步骤S74)。接着,显示数据发送单元452发送由显示数据获得单元451所获得的显示数据到发送终端10aa(步骤S75)。
如果在步骤S71中确定显示数据发送单元452已被安装,则处理移动到步骤S73及以后。
当发送终端10aa的外部信息发送和接收单元18接收显示数据,存储及读取处理单元19获得作为目的地的发送终端10db的IP地址“1.3.2.4”以及存储在存储1000的中继设备ID“111a”(步骤S77)。然后,在步骤S78中,发送和接收单元11发送作为目的地的发送终端10db的IP地址“1.3.2.4”以及显示数据到在步骤S77中获得的与中继设备ID“111a”显示的中继设备30。当从发送终端10aa发送的显示数据在步骤S78中被接收,基于发送终端10db的IP地址“1.3.2.4”,中继设备30改变显示数据的质量(步骤S79)并发送显示数据到发送终端10db(步骤S80)。在步骤S77的处理的细节与上述的改变图像数据和语音数据的质量的处理(步骤S81-S94)相似,以使重复说明被省略。当发送终端10db的发送和接收单元11接收从中继设备30发送的显示数据,显示图像显示控制单元14b。在图27中的该示例中,以外部输入设备40aa显示的图像被显示在屏幕的左侧部分,并且发送终端10aa的成像单元成像的并且由发送和接收单元11发送的图像数据在屏幕的右上方被显示。而且,由发送终端10db的成像单元14a成像的图像数据被显示在屏幕的右下方。
显示控制的处理和操作
图31A和31B是示出了发送终端10的图像显示控制单元14b的分辨率控制的处理的流程图。
在图31A中,当开始发送终端10的电源接通的处理时,图像显示控制单元14b的分辨率获得单元14b10确定访问显示器120以获得可显示的分辨率(步骤S101)。
接着,分辨率确定单元14b11确定用于发送终端10和中继设备30之间发送图像数据的标准宽高比(例如,16:9;为1280×720的分辨率)之外的分辨率是否被包括在可显示的分辨率(步骤S102)。确定是否包括与标准宽高比不同的分辨率的原因是,如果可能的话,允许选择标准宽高比之外的分辨率,并增加了分段区域用于显示辅助信息。
如果包括与标准宽高比不同的分辨率(在步骤S102中,是),分辨率选择单元14b12按照预定的标准从与标准宽高比不同的分辨率选择分辨率(步骤S103)。作为预定的标准,可以使用不同的标准,诸如最高分辨率(一个具有最大宽度x高度值)的优先级选择;具有特定的横纵比(例如,8:5)的分辨率的优先级选择;选择辅助信息的适合的尺寸或字符数的分辨率;要优先的分辨率的用户定义(例如,WXGA(1280×800),XGA(1024×768))等。
接着,图像处理单元14b13扩大或缩小与标准宽高比一起内部生成的图像数据到选择的分辨率,并添加分段区域(步骤S104)。更具体地,图像处理单元14b13进行如下处理:首先,变换前的图像被对称地扩大或减小,使得其宽度匹配转换后的图像。当转换前的宽度与转换后的宽度相同,不进行扩大或减少(换言之,1的放大率或缩小率)。接着,检查图像的扩大或减小后的高度,并且扩大或减小后,分段区域被添加到图像的下端,使得它成为转换后高度。在该分段区域被添加的位置不限制为下端,或者一半高度的分段区域可以被添加到图像的上端和下端。
图32A是情况的示例,相对于标准宽高比16:9的图像数据选择8:5宽高比的分辨率,指示了添加如在图像数据的下端黑色显示的一个分段区域的状态。16:9比例的原始图像数据包括在从中继设备接收到的自身位置的8个位置并结合1280×720的分辨率。此外,图35A,相对于标准宽高比16:9的图像数据选择4:3宽高比的分辨率的情况的示例,指示了两个分段区域被添加在图像数据的相应的上和下端的状态。
接着,返回到图31A,分辨率改变单元14b15将显示器120的分辨率改变为选择的分辨率(步骤S105)。在这个处理中,显示器120以改变的分辨率显示。
接着,标识设置单元14b14设置重叠标识为假(步骤S106)。当图像显示控制单元14b检测到错误等这个标识被参照以进行与当前显示的图像数据不同的辅助信息的显示控制。当使得辅助信息被显示时,重叠的值取真值,当被控制使得其不重叠时,去假值。下面描述控制辅助信息的处理的细节。
另一方面,如果不包括不同于标准宽高比的分辨率(在步骤S102,否),分辨率选择单元14b12使用预定的准则从标准宽高比选择分辨率(步骤S107)。预定标准与步骤S103是相同的。
接着,图像处理单元14b13扩大或者缩小内部产生的标准宽高比的图像数据到选定的分辨率(步骤S108)。这种情况代表扩大或减少宽高比是相同的,从而没有空白区域出现在图像数据的以宽度和高度的任何一个方向,从而使该段区域不会被添加。图32B示出了被扩大和减少而不被添加的部分区域的示例性屏幕。
接着,返回到图31A,分辨率改变单元14b15将显示器120的分辨率改变为选定的分辨率(步骤S109)。
接着,标识设置单元14b14将重叠值设置为真(步骤S110)。
前述示出了发送终端10的接通时间的初始处理。此后示出了当显示器120电源接通后更换时响应的循环处理。
分辨率获得单元14b10访问显示器120以获得当前被显示的分辨率(步骤S111)。
接着,分辨率获得单元14b10访问显示器120以获得可显示的分辨率(步骤S112)。
接着,分辨率确定单元14b1l确定用在发送终端10和中继设备30之间发送图像数据的与标准宽高比(例如16:9)不同的其他的分辨率是否被包括在可显示的分辨率(步骤S113)。
如果包括与标准宽高比不同的其他的分辨率(在步骤S113,是),分辨率选择单元14b12按照预定的标准从与标准宽高比不同的其他的分辨率选择分辨率(步骤S114)。预定标准与步骤S103是一样的。
接着,分辨率确定单元14b1l确定当前显示的分辨率和所选择的分辨率是否是不同的(步骤S115)。
如果当前显示的分辨率和所选择的分辨率是不同的(在步骤S115,是),图像处理单元14b13扩大或者缩小与标准宽高比内部生成的图像数据到所选择的分辨率,并添加该分段区域(步骤S116)。
接着,分辨率改变单元14b15将显示器120的分辨率改变到所选择的分辨率(步骤S117)。
接着,标识设置单元14b14设置重叠标识为假(步骤S118)。
如果当前显示的分辨率和所选择的分辨率是相同的(在步骤S115,否),不执行步骤S116-S118的处理。这是因为没有必要改变分辨率。
另一方面,如果不包括与标准宽高不同的其他的分辨率(步骤S113,否),分辨率选择单元14b12按照预定的准则从标准宽高比选择分辨率(步骤S119)。预定准则与步骤S103是相同的。
接着,分辨率确定单元14b1l确定当前显示的分辨率和所选择的分辨率是否是不同的(步骤S120)。
如果当前显示的分辨率和所选择的分辨率是不同的(在步骤S120中是),图像处理单元14b13扩大或缩小与标准宽高比内部生成的图像数据到所选择的分辨率(步骤S121)。
接着,分辨率改变单元14b15改变显示器120的分辨率到所选择的分辨率(步骤S122)。
接着,标识设置单元14b14设置重叠标识设置为真(步骤S123)。
如果当前显示的分辨率和所选择的分辨率是相同的(在步骤S120,否),则不执行步骤S121至S123中的处理。
在该程序被启动时,重复上述处理。因此,即使当以不同的分辨率重新连接到不同的显示器120时,仍继续图31A和31B中的处理。相应于周期地监测显示器120的分辨率的处理的重复处理也可以通过引入在Windows(注册商标)中的已知事件机制程序来被执行。在这种情况下,它在开始程序的时候被注册,从而当由于对不同显示器120做出的连接而改变分辨率时做出事件通知。此后,每当事件发生时,从图31B的步骤S111的处理可以在图像显示控制单元14b被执行。只是标识着该分辨率已被更改的此事件通知并不意味着该分辨率信息的临时存储完毕。因此,如果从步骤S111的处理是在接收到事件通知时立即被执行尽管事实是尚未完成暂时存储,它可能无法被正确处理。为了避免这个问题,安排成使该处理在步骤S111之前经历一定的时间周期。在启动处理之后可以立即发生同样的问题,在这种情况下的加入处理中,以使处理在步骤S101之前,经历在一定的时间周期。经历时间可以被加入以确保正确的分辨率信息被参考。
图33是示出了示例性的辅助信息显示处理的流程图。
在图33中,当发生诸如操作菜单和出错消息等的显示辅助信息的信息事件从而开始处理时,图像显示控制单元14b的辅助信息图像生成单元14b21确定是否重叠标识为真(步骤S131)。
如果重叠标识为假(在步骤S131中,否),则辅助信息图像生成单元14b21在不同于图像数据的层生成辅助信息图像(步骤S132)。
接着,在步骤S133中,辅助信息图像显示单元14b22在已经添加到分辨率控制处理的分段区域显示所生成的辅助信息图像(在图31A和31B中的步骤S104和S116)。然后,完成该处理。图34A示出了辅助信息(错误消息和操作按钮)被显示添加在屏幕下端的分段区域。当用户按下与错误信息一起显示在右侧区域中的OK按钮,发送终端10的操作输入接收单元12接收按下输入。此后,图像显示控制单元14b停止显示错误消息使得显示器120的显示返回图32A中所示的状态。图35B示出了该辅助信息(错误消息以及操作按钮)显示在屏幕的上下端部添加的分段区域之内的下端侧。
虽然上面的示例性屏幕示出错误信息作为辅助信息,但它并不局限于此,从而它可以被应用于需要显示的信息不同于图像数据的情况。例如,如果用户希望显示请求显示器120完成以使用户来完成会议的操作菜单,当操作输入接受单元12接受发送终端10的切断按钮按下,图像显示控制单元14b使操作菜单被显示。在这种情况下,可以使得在屏幕显示的改变为“完成会议?”、“如果好的被选中则完成会议”、“如果选择取消则继续性会议”等,除了显示好的按钮以外,在右侧区域可以安排添加取消按钮,并从两个按钮接收用户选择(未示出)。此外,会议的参与者信息和发送管理系统管理的发送终端等可以被显示为辅助信息。
接着,返回到图33,如果重叠标识为真(在步骤S131,是),辅助信息图像生成单元14b21在不同于图像数据的层生成辅助信息图像(步骤S134)。
接着,辅助信息图像显示单元14b22显示所生成的辅助信息图像,使得它被重叠到较低的部分,例如,在标准宽高比的图像部分(步骤S135)。这里,显示使得它被重叠意味着辅助信息的像素代替存在于在辅助信息图像的显示范围的首先的图像数据的像素被显示。辅助信息的背景部分是透明的或半透明的,存在于其背部的首位的原始图像数据的像素可以以其本来样子显示,或者与首先的图像数据的像素混合颜色的象素可以被显示。在实践中,可以通过指定以由成为发送终端10的计算机的OS(操作系统)提供辅助信息图像和显示位置,制定辅助信息图像被显示在最前方,以及指定需要的透明度来实现。然后,显示辅助信息图像之后,该处理完成。图34B示出了在屏幕的主图像部分的下部显示辅助信息(错误消息和操作按钮)。
这样的处理能够根据连接到发送终端10的显示器120的能力提高现有首先和辅助信息二者的图像数据的可视性并且有效地利用屏幕区域。换句话说,显示器120显示的分辨率可被选择用于显示以提高可视性。此外,显示辅助信息的方法可以根据宽高比被改变,以确保辅助信息的可视性。如前所述,显示辅助信息的方法,包括在添加到图像数据的分段区域中显示它的方法以及显示它使得它的图像数据重叠的方法。重叠显示通常会导致执行层复杂因此该方法变得缓慢。在本实施例中,优选没有重叠允许显示的分辨率选择,因此有优选使得快速显示却不会对用户的操作施压的优势。
接着,图36-38示出显示控制的其它实施例。虽然前面描述的实施例根据显示器120的高宽比表示处理,本实施例中引入了分辨率管理表,使得能够精细地为每个分辨率设置显示控制。
图36和37示出了在本实施方式中使用的示例性的分辨率管理表。图36和37具有“项目名称”、“分辨率”、“重叠(重叠标识)”和“分段值”。“项目名称”是识别了相应于一个行(行数据)的标识。“分辨率”是行数据中指定的分辨率具有宽度和高度值,分别指示宽度和高度的像素数。“重叠(重叠标识)”是指示辅助信息是否被重叠在现有的在首位的图像数据的标识,从而如果是的则设置为真,而如果否则设置为假。如果否,则该辅助信息被显示在附加的分段区域。示出分段的位置和幅度(大小)的信息的“分段值”控制所述分段区域被添加如果重叠为假,并且具有宽、高和位置的值。宽和高分别指示宽度和高度的像素数,从而这种幅度的分段区域被添加到图像数据。而且,该具有位置分别指示被添加到屏幕的下部、在屏幕的上部和屏幕的两个部分的宽度和高度的值定义的分段区域的下、上和二者的值,当重叠为真时,分段值被设置为NA(不可用,或者没有数据),当这个值被保持,该分段区域不会被添加。
图36是使得更高分辨率被安排在上部(靠近头的行)的例子。图37是使得不重叠的(使得所述重叠是假的分辨率)被安排在上部的示例。在图37中,当显示辅助信息时,优选与图像数据不重叠的分辨率用于显示,从而当诸如由于设计策略试图提高显示速率时或者试图及时暂时地不重叠辅助信息到图像数据时,它是有效的。此外,也可能会导致根据分辨率管理表的配置以不同的准则作出显示。
图38A和38B是示出了本实施例中的控制处理的示例性处理的流程图。
在图38A中,当以发送终端10的电源接通开始处理,图像显示控制单元14b的分辨率获得单元14b10访问显示器120以获得可显示的分辨率(步骤S141)。
接着,分辨率管理表读取单元14b16读取相应于分辨率管理表(步骤S142)的一行的行数据并且确定并判断是否有一行被读取(步骤S143)。
如果有一个行被读取(步骤S143中,否),则分辨率获得单元14b10读取行数据获得分辨率值(宽度和高度的值)(步骤S144)。
接着,分辨率确定单元14b1l确定获得的分辨率是否被包括在可显示的分辨率(步骤S145)。如果获得的分辨率是不包括在所述可显示分辨率(步骤S145,否),则处理返回到从分辨率管理表读取下一行的数据(步骤S142)。
如果所获得的分辨率被包括在可显示的分辨率(在步骤S145,是),则标识获得单元14b17从读取行数据获得重叠标识的值并且标识设置单元14b14将获得的值设置为用于管理的重叠标识(步骤S146)。
接着,标识确定单元14b18确定获得和设置的重叠标识是否为真(步骤S147)。
如果重叠标识为假(在步骤S147中,否),则分段值获得单元14b19从读取行数据获得分段值(步骤S148)。
接着,图像处理单元14b13扩大或缩小与标准宽高比一起内部生成的图像数据到选择的分辨率,并添加分段区域(步骤S149)。换言之,图像以所获得的图像数据的分辨率的宽度对称地扩大或缩小。然后,以获得的分辨率的宽度和高度指定的分段区域被创建并添加在以扩大或缩小的图像数据的位置指定的位置。
接着,分辨率改变单元14b15改变显示器120的分辨率,以获得分辨率(步骤S150)。
此外,如果重叠标识为真(在步骤S147中,是),图像处理单元14b13扩大或缩小以标准宽高比内部生成的图像数据到获得的分辨率(步骤S151)。
接着,分辨率改变单元14b15改变显示器120的分辨率到获得的分辨率(步骤S152)。
此外,如果没有要被读取(在步骤S143中,是),则执行不使用分辨率管理表的分辨率控制的初始处理的部分或与图31A中步骤S102-S110相类似的处理(步骤S153)。
前述示出了在发送终端10的电源接通时的初始处理。此后,示出了当电源接通后显示器120被更换时响应的循环处理。
分辨率获得单元14b10访问显示器120以获得当前显示的分辨率(步骤S154)。
接着,分辨率获得单元14b10访问显示器120,以获得可显示的分辨率(步骤S155)。
接着,分辨率管理表读取单元14b16读取相应于分辨率管理表的一个行的行数据(步骤S156),并确定是否有行被读取(步骤S157)。
如果有行被读取(在步骤S157中,否),分辨率获得单元14b10从读取行数据获得分辨率值(步骤S158)。
接着,分辨率确定单元14b1l确定获得的分辨率是否被包括在可显示的分辨率(步骤S159)。如果所得到的分辨率不包括在可显示的分辨率(在步骤S159中,否),则处理返回到从分辨率管理表读取下一行的数据(步骤S156)。
如果所获得的分辨率被包括在可显示的分辨率内(在步骤S159中,是),则分辨率确定单元14b1l确定当前显示的分辨率和所得到的分辨率是否不同(步骤S160)。
如果当前显示的分辨率和所获得的分辨率不同(在步骤S160中,是),则标识获得单元14b17从读取行数据获得重叠标识的值,并且标识设置单元14b14在用于管理的重叠标识中设置所获得的值(步骤S161)。
接着,该标识确定单元14b18确定获得和设置的重叠标识是否为真(步骤S162)。
如果重叠标识为假(在步骤S162中,否),分段值获得单元14b19从读取行数据获得的分段值(步骤S163)。
接着,图像处理单元14b13基于获得的分段值扩大或缩小与标准宽高比一起内部生成的图像数据到获得的分辨率并添加分段区域(步骤S164)。
接着,分辨率改变单元14b15改变显示器120的分辨率到获得的分辨率(步骤S165)。
此外,如果重叠标识为真(在步骤S162中,是),图像处理单元14b13扩大或缩小以标准宽高比内部生成的图像数据到所获得的分辨率(步骤S166)。
接着,分辨率改变单元14b15改变显示器120的分辨率到获得的分辨率(步骤S167)。
此外,如果当前显示的分辨率和所得到的分辨率是相同的(在步骤S160中,否),则不执行该处理中的步骤S161-S167。
此外,如果没有行要被读取(在步骤S157中,是),则执行不使用分辨率管理表的分辨率控制的循环处理的部分或与图31B中的步骤S113-S123相类似的处理(步骤S168)。
在该程序以类似于先前描述的实施例的方式被启动时,重复上述处理。因此,即使当以不同的分辨率重新连接到不同的显示器120时,图38A和38B中的处理仍将继续。如先前所述,这也可以以事件机制实现。
显示辅助信息的处理与图33示出的是类似的。
本实施例使得可以通过重写分辨率管理表改变显示格式标准,因此相对于改变程序的情况具有较好的可维护性的优点。换句话说,即使将来出现改变显示控制的需要时,只需添加,删除或更改分辨率管理表的项目,从而能够相对于直接改变程序轻松管理显示控制。当将来出现拥有更好可视性和更高分辨率的显示器时,这种方法可以轻松改变显示器的分辨率。
接着,图39-41示出该显示控制的进一步的实施例。在上述实施例中,无需区分连接到发送终端10的显示器120是模拟的还是数字的。然而,数字方式的显示器120被连接时,用户几乎总是使用数字输入,宽高比为数字格式实际上与发送者终端10的标准宽高比相同。由于数字方案将成为未来的主流中,发送终端10被设计成使得其标准宽高比为16:9,这是数字电视的宽高比。因此,如果所连接的显示器120识别到数字输入,分辨率控制将被简化,从而有可能提高处理速度。
图39示出的图像显示控制单元的示例性配置。在本文中,硬件标识信息获得和确定单元14b101和数字输入获得和确定单元14b102被新添加到图29中所示的图像显示控制部14b的分辨率控制部14bl的功能单元。硬件标识信息获得和确定单元14b101获得发送终端10的硬件识别信息并确定该值是否为“电视机”,这表明,它是启用的数字电视。数字输入获得和确定单元14b102获得的信息指示是否为来自所连接的显示器120的数字输入状态,并确定它是否处于数字输入状态。
图40示出了在一个示例性的分辨率控制的处理中使用的示例性数据。如“数字输入(数字)”、“推荐分辨率”、“硬件识别信息”等都是新加入到图中所示的项目。“数字输入(数字)”表示从显示器120获得的本图像输入信号是否为数字输入。“推荐分辨率”是从显示器120获得推荐分辨率。推荐分辨率是可显示无扩大或缩小(根据点)的分辨率,对应于全屏时显示的像素数。对于在出厂时预先设置到发送终端10的“硬件识别信息”,被用于识别硬件,当数字电视启用时,其被设置为“电视”时,而模拟电视启用时则选择“dl”。
图41A和41B是示出发送终端10的图像显示控制部14b进行的示例性分辨率控制的处理的流程图。
在图41A中,当处理开始时与发送终端10的电源接通时,所述图像显示控制部14b的硬件标识信息获得和确定单元14b101获得自己的发送终端10的硬件识别信息(步骤S171),并且确定是否硬件识别信息是“电视”(步骤S172)。
如果硬件标识信息是“TV”(在步骤S172中,是),则数字输入获得和确定单元14b102访问显示器120,以获得数字输入值(数字)(步骤S173),并判断它是否是“真”。
如果数字输入(数字)是“真”(在步骤S174中,是),数字输入获得和确定单元14b10访问显示器120获得推荐分辨率。
接着,图像处理单元14b13扩大或缩小与标准宽高比来获得推荐分辨率内部生成的图像数据(步骤S175)。这种情况代表无论扩大还是缩小,宽高比都是相同的,所以没有空白区域出现在图像数据的宽度和高度的任何一个方向,因此不添加分段区域。
接下来,将显示器120的分辨率改变为推荐的分辨率(步骤S177)。
接下来,标识设置单元14b14将重叠设置为“真”(步骤S178)。
此外,如果硬件识别信息不为“TV”(在步骤S172中,否),或在数字输入(数字)不为“真”(在步骤S174中,否),将进行上述的处理示例的分辨率控制的初始处理或者类似的步骤S101-S110中所示的处理处理31a或图38A所示的步骤S141-S152(步骤S179)。
前述示出了在电源的接通时发送终端10的初始处理。此后显示为当显示器120在通电后被更换的流程。
分辨率获得单元14b10访问显示器120以获得当前显示的分辨率(步骤S180)。
接着,将数字输入获得和确定单元14b102访问显示器120,以获得数字输入值(数字)(步骤S181),并判断它是否是“真”(步骤S182)。
如果数字输入(数字)为“真”(在步骤S184中,是),分辨率确定单元14b10访问显示器120,以获得建议的分辨率(步骤S183),并且,图像处理单元14b11决定当前显示的分辨率与建议分辨率是否相同(步骤S184)。
如果当前显示的分辨率与建议分辨率不同(在步骤S184中,是),图像处理单元14b13将内部生成的具有标准宽高比的图像数据扩大或缩小到获得的推荐分辨率。
接下来,分辨率确定单元14b15将显示器的分辨率改变为建议分辨率(步骤S186)。
接下来,标识设置单元14b14将重叠标识设置为“真”(步骤S187)。
如果当前显示器的分辨率和获得的推荐分辨率是相同的(在步骤S184中,否),则不执行该处理中的步骤S185-S187。
此外,如果在数字输入(数字)不为“真”(在步骤S182中,否),执行在先前描述的示例性处理中的分辨率控制的循环处理的一部分,或类似于图31B中的步骤S112-S123或者图38B中的步骤S155-S167的处理(步骤S188)。
在该程序以类似于先前描述的实施例的方式被运行时,将重复上述处理。因此,即使重新连接具有不同分辨率的不同显示器120,图41A和41B中的处理仍在继续。如前所述,这也可以以事件机制来实现。
显示辅助信息的处理与图33示出的类似。
假设如果所连接的显示器120是在数字输入的状态,显示器120的宽高比与标准宽高比相同,本实施例使得可以立即设置分辨率,从而使得可以提高分辨率控制处理的速率。
本实施例的主要的有利效果
如上所述,根据本实施例,发送终端10aa存储中继图像数据和语音数据的中继设备30的中继设备ID使得能够将存储在未被发送控制系统管理的外部输入设备40的存储单元1000的文件数据的显示数据发送到作为会议对方的发送终端10db。以此,发送管理系统50也不必进行认证外部输入设备40的处理,使得能够减少管理负担。
此外,当在连接到发送终端40时需要在不包括显示表获得单元451和显示数据发送单元452的外部输入设备40共享显示的屏幕时,包括显示表获得单元451和显示数据发送单元452,从而屏幕可以被共享。
即使获得了通信网络2的诸如中继设备30的IP地址的LAN2a-2d的环境,也难以获得互联网2i的环境,因此从可以获得的关于环境的信息缩减中继图像数据和语音数据的多个中继设备30中的至少两个。然后,在多个发送终端10之间实际发送和接收图像数据和语音数据之前,发送并接受代替图像数据和语音数据的事先发送信息,引起有可能缩减到实际上可能最快地中继事先发送信息的中继设备30的有利效果。
换言之,选择被分配了与发送终端10的任何IP地址接近的至少两个最高IP地址的中继设备30,以保留最终将被使用的中继设备30的至少两个候选。此后,以这种方式,事先发送信息可以实际上在请求源终端10A和目的地终端10B之间经由作为候选的各个中继设备30被发送和接收,以缩减到发送和接收所需时间最短的中继事先发送信息的中继设备30。因此,这导致了可以实现在当前通信网络2环境下高品质的图像数据或语音数据的发送和接收的有益效果。
此外,在本实施例中,当缩减中继时装置30时,不仅优先选择具有与进行电话会议的发送终端10的IP地址接近的IP地址的中继设备30,还可能选择至少两个中继设备30,还考虑在各中继设备30的最大数据传送速率。这导致根据实际的通信网络环境2缩减候选中继设备30的有益效果。
此外,在本实施例中,当缩减中继设备30时,它们是从具有在线的操作状态的中继设备被缩减,使得可以根据真实的网络环境2进一步缩减继装置30的候选。
此外,在本实施例中,图像数据和辅助信息可以是根据连接到发送终端10的显示器的能力适当地被显示以提高会议等的必要信息的可视性。此外,这使得它可以有效地利用屏幕区域。
补充实施例
获得显示数据的处理可以使用镜面驱动器。镜面驱动器使得可以直接将生成的显示数据发送到USB驱动器,而不使它们经过程序。在这种情况下,镜面驱动器生成显示数据并且USB驱动器经由所述外部设备I/F118将所生成的显示数据发送到发送终端10。在这种情况下,程序不必获得显示数据,从而有可能减少用于执行该程序的资源。
此外,在上述实施例中,虽然描述了程序由显示器驱动器获得和发送生成的图像数据到发送终端10,程序可以获得发送到发送终端10aa的GDI生成的绘图命令。该绘图命令相对于图像数据具有更小的尺寸,从而可以降低网络负担。此外,显示数据获得单元451可以获得只显示在虚拟显示器上的多个屏幕中的预定屏幕上的数据,以由显示数据发送单元452发送。以此,显示在不同于预定屏幕的其它屏幕上的图像数据不与会议对方共享,从而能够提高安全性(例如,确保高度的机密文件不被披露)。
此外,在上述各实施例的发送管理系统50、程序供应系统90和维护系统100可以由单个计算机来构成,或者可以通过被分割的任意分配的各个单元构成(功能或装置)。此外,当程序供应系统90由一台计算机构成,可以发送由程序供应系统90发送的程序,使得它们被分成多个模块,或者它们可以不被分割被发送。此外,当程序供应系统90由多台计算机构成,它可以从相应的计算机被发送,使得它被划分成多个模块。
此外,当将上述的发送终端的程序、中继设备的程序和发送管理的程序提供给在国内或者国外的用户等时,根据本实施例的具有存储于其上的发送终端的程序、中继设备的程序和发送管理的程序的记录介质;存储这些HD204;和包括HD204程序供应系统90都用作程序产品。
此外,尽管在上述实施例中,以注意将图像数据的图像的分辨率作为使用图7中示出的改变质量管理表和图15中示出质量管理表的示例进行管理,并不限于此,从而以注意图像数据的图像质量的深度;语音数据的语音中的采用频率;语音数据的语音中的比特长度等作为质量的其它实例。
此外,在图8、10和12中管理接收的日期/时间,但不限于此,从而至少接收的日期/时间中的接收的时间可以被管理。
此外,在上述实施例中,在图8中管理中继设备的IP地址,在图10中管理发送终端的IP地址,但是它并不局限于此,从而为了指定在通信网络2的中继设备30的中继设备指定信息或者指定在通信网络2的发送终端10的终端指定信息而管理各个FQDN(完全限定域名)。在这种情况下,相应于FQDN的IP地址由已知的DNS(域名系统)服务器获得。“指定在通信网络2的中继设备30的中继设备指定信息”也可以表示为“指示连接到通信网络2的中继设备30的目的地的中继设备连接目的地信息”或者“指示通信网络2的中继设备30的目的地的中继设备目的地信息”。类似地,指定在通信网络2的发送终端10的终端指定信息”也可以表示为“指示连接到通信网络2的发送终端10的目的地的终端连接目的地信息”或者“指示在通信网络2的发送终端10的目的地的终端目的地信息”。
此外,虽在远程会议系统的情况被描述为在发送系统1的示例,它并不局限于此,从而它可以是诸如IP(互联网协议)电话、互联网电话等的电话系统。此外,发送系统1可以是汽车导航系统。在此情况下,发送终端30之一相应于安装在汽车中的汽车导航设备,并且其他的发送终端30相应于管理服务器或管理车辆导航的管理中心的管理终端,或安装在不同的汽车的汽车导航设备。
此外,在获得显示数据的处理中,只有屏幕内的区域(窗口)显示的部分而非整个屏幕可以如下面所描述的被获得。图26示出了使得由外部输入设备40aa显示的屏幕的示例。在这个示例中,区域(窗口)(a)和区域(b)被显示在屏幕上。其中,通过用鼠标212操作图27中(c)示出的指针指示了希望与发送终端10db共享的区域。这里,相关于指示的区域(a)的显示数据由显示数据获得单元451获得。
此外,外部输入设备可以预先包括显示数据获得单元451和显示数据发送单元452,以供存储在发送终端10的存储单元1000的外部输入设备使用。这使得它能够消除发送和接收显示用数据获得单元451和显示数据发送单元452的处理,并且降低了发送端10和外部输入设备40上的负担。
此外,虽然为外部输入设备40描述了在显示设备400上显示数据的情况,显示设备400可以是与外部输入设备40不同的装置,或者为外部输入设备40提供显示设备400。
此外,它可以被设置为安装确定单元43确定在上述步骤S71已经安装显示数据获得单元451和显示数据发送单元452。在这种情况下,在步骤S71中,如果确定了显示数据发送单元452没有被安装,则程序获得单元44获得并安装显示数据获得单元451和存储在发送终端10aa的数据发送单元452(步骤S73)。
此外,外部输入设备40aa可以预先包括显示数据获得单元451,从而不提供安装确定单元43的处理。它也可以被安排为将由所述显示数据获得单元451获取的显示数据写入安装的发送终端10aa的存储单元1000,从而不提供显示数据发送单元452。
本发明已根据本发明的优选实施例进行上述描述。虽然已经示出具体的例子来描述本发明,各种修改和变化可以对其进行应用而不脱离更宽的精神和权利要求中所限定的本发明的保护范围是显而易见的。换句话说,本发明不应该被解释为被具体的实施例和附图的细节限制。
本申请基于并要求2011年4月28日提交的第2011-100696号日本专利申请和2011年10月31日提交的第2011-238948号的日本专利申请的优先权的利益。

Claims (15)

1.一种发送终端,连接到显示设备,用于输出图像数据,以在所述显示设备上显示,包括:
分辨率获得单元,获得所述显示设备可显示的一个或多个分辨率;
分辨率确定单元,确定所获得的可显示的分辨率是否包括与发送所述图像数据时使用的标准宽高比不同的分辨率;
分辨率选择单元,如果所述分辨率确定单元确定包括与所述标准宽高比不同的分辨率,则所述分辨率选择单元从所述可显示的分辨率中选择与所述标准宽高比不同的第一分辨率,并且如果所述分辨率确定单元确定不包括与所述标准宽高比不同的分辨率,则所述分辨率选择单元从所述可显示的分辨率中选择所述标准宽高比的第二分辨率;
图像处理单元,在所述分辨率选择单元选择所述第一分辨率后,执行将分段区域添加到所述显示设备输出的图像数据的处理;以及
分辨率改变单元,将所述显示设备的分辨率改变为所述分辨率选择单元选择的分辨率。
2.如权利要求1所述的发送终端,其中:
所述图像处理单元生成其宽度与所述第一分辨率匹配的一个或多个矩形数据组;以及
在所述图像数据的高度方向上添加所述矩形数据组,并且其中
所述矩形数据组的高度使得添加到所述图像数据后的高度与所述第一分辨率的高度相匹配。
3.如权利要求1或2所述的发送终端,其中,所述分辨率选择单元从可选择的分辨率选择最高的分辨率。
4.如权利要求1或3所述的发送终端,还包括:
辅助信息显示单元,当在所述显示设备上显示辅助信息时,当选择了所述第一分辨率时,所述辅助信息显示单元在分段区域显示辅助信息,并且在所述图像数据的任意区域显示所述辅助信息,使得所述辅助信息与所述任意区域重叠。
5.一种发送终端,连接到显示设备,用于输出图像数据,以在显示设备上显示,包括:
第一分辨率获得单元,获得所述显示设备可显示的一个或者多个分辨率;
分辨率管理表读取单元,从包括一个或者多个数据行的分辨率管理表连续地读取一个数据行,所述数据行至少包括分辨率和重叠标识作为元素;
第二分辨率获得单元,从所读取的数据行获得分辨率;
分辨率确定单元,确定所述第一分辨率获得单元获得的可显示的分辨率是否包括由所述第二分辨率获得单元获得的分辨率;
标识获得单元,如果所述分辨率确定单元确定包括所述第二分辨率获得单元获得的分辨率,则所述标识获得单元从所读取的数据行获得所述重叠标识;
图像处理单元,当从所述标识获得单元所获得的所述重叠标识为假时,执行向所述显示设备输出的图像数据添加分段区域的处理;以及
分辨率改变单元,将所述显示设备的分辨率改变为所述第二获得单元所获得的分辨率。
6.如权利要求5所述的发送终端还包括:
第二分辨率确定单元,当所述分辨率确定单元对于所述分辨率管理表读取单元读取的全部数据行确定不包括所述第二分辨率获得单元获得的分辨率时所述第二分辨率确定单元操作,确定所述第一分辨率获得单元获得的可显示的分辨率是否包括与在发送所述图像数据时使用的标准宽高比不同的分辨率;
分辨率选择单元,如果所述第二分辨率确定单元确定包括与所述标准宽高比不同的分辨率,则所述分辨率选择单元从可显示的分辨率选择与所述标准宽高比不同的第一分辨率,并且如果所述第二分辨率确定单元确定不包括与所述标准宽高比不同的分辨率,则所述分辨率选择单元从可显示的分辨率选择标准宽高比的第二分辨率;以及
第二图像处理单元,在所述分辨率选择单元选择所述第一分辨率后,执行将分段区域添加到所述显示设备输出的图像数据的处理;以及
第二分辨率改变单元,将所述显示设备的分辨率改变为所述分辨率选择单元选择的分辨率。
7.如权利要求5或6所述的发送终端,其中
所述分辨率管理表包括指定形成所述分段区域的矩形数据的大小以及所述矩形数据被添加到所述图像数据的位置的元素,并且其中
所述图像处理单元获得所述矩形数据的所述大小和所述位置,生成所述大小指定的一个或多个矩形数据组,并将所述矩形数据组添加到所获得的位置指定的所述图像数据的位置。
8.如权利要求5至7中任意一项所述的发送终端,还包括:
辅助信息显示单元,当在所述显示设备上显示辅助信息时,当所述重叠标识为假时在分段区域显示所述辅助信息,并且当所述重叠标识为真时在所述图像数据的任意区域显示所述辅助信息使得其与所述任意区域重叠。
9.如权利要求1至8中任意一项所述的发送终端,还包括:
数字输入确定单元,确定所述显示设备是否在数字输入状态,其中,如果确定了所述显示设备在所述数字输入的状态,则:
所述分辨率获得单元从所述显示设备获得推荐的分辨率,并且
所述分辨率改变单元将所述显示设备的分辨率改变为从所述显示设备获得的推荐的分辨率。
10.一种控制发送终端的方法,所述发送终端连接到显示设备,用于输出图像数据,以在所述显示设备上显示,包括:
分辨率获得步骤,获得所述显示设备可显示的一个或多个分辨率;
分辨率确定步骤,确定所获得的可显示的分辨率是否包括与发送所述图像数据时使用的标准宽高比不同的分辨率;
分辨率选择步骤,如果所述分辨率确定步骤确定包括与所述标准宽高比不同的分辨率,则所述分辨率选择步骤从所述可显示的分辨率中选择与所述标准宽高比不同的第一分辨率,并且如果所述分辨率确定步骤确定不包括与所述标准宽高比不同的分辨率,则所述分辨率选择步骤从所述可显示的分辨率中选择所述标准宽高比的第二分辨率;
图像处理步骤,在所述分辨率选择步骤选择所述第一分辨率后,执行向所述显示设备输出的图像数据添加分段区域的处理;以及
分辨率改变步骤,将所述显示设备的分辨率改变为所述分辨率选择步骤选择的分辨率。
11.一种控制发送终端的方法,所述发送终端连接到显示设备,用于输出图像数据,以在所述显示设备上显示,包括:
第一分辨率获得步骤,获得所述显示设备可显示的一个或者多个分辨率;
分辨率管理表读取步骤,从包括一个或者多个数据行的分辨率管理表连续地读取一个数据行,所述数据行至少包括分辨率和的重叠标识作为元素;
第二分辨率获得步骤,从所读取的数据行获得分辨率;
分辨率确定步骤,确定所述第一分辨率获得步骤获得的可显示的分辨率是否包括由所述第二分辨率获得步骤获得的分辨率;
标识获得步骤,如果所述分辨率确定步骤确定包括所述第二分辨率获得步骤获得的分辨率,则所述标识获得步骤从所述读取的数据行获得所述重叠标识;
图像处理步骤,当从所述标识获得步骤所获得的所述重叠标识为假时,执行将分段区域添加到所述显示设备上输出的图像数据的处理;以及
分辨率改变步骤,将所述显示设备的分辨率改变为所述第二分辨率获得步骤所获得的分辨率。
12.一种图像显示控制程序,使得构成发送终端的计算机发挥以下功能,其中所述发送终端连接到显示设备,用于输出图像数据,以在所述显示设备上显示:
分辨率获得单元,获得所述显示设备可显示的一个或多个分辨率;
分辨率确定单元,确定所获得的可显示的分辨率是否包括与发送所述图像数据时使用的标准宽高比不同的分辨率;
分辨率选择单元,如果所述分辨率确定单元确定包括与所述标准宽高比不同的分辨率,则所述分辨率选择单元从所述可显示的分辨率中选择与所述标准宽高比不同的第一分辨率,并且如果所述分辨率确定单元确定不包括与所述标准宽高比不同的分辨率,则所述分辨率选择单元从所述可显示的分辨率中选择所述标准宽高比的第二分辨率;
图像处理单元,在所述分辨率选择单元选择所述第一分辨率后,执行将分段区域添加到所述显示设备输出的图像数据的处理;以及
分辨率改变单元,将所述显示设备的分辨率改变为所述分辨率选择单元选择的分辨率。
13.一种图像显示控制程序,使得构成发送终端的计算机发挥以下功能,其中所述发送终端连接到显示设备,用于输出图像数据,以在显示设备上显示:
第一分辨率获得单元,获得所述显示设备可显示的一个或者多个分辨率;
分辨率管理表读取单元,从包括一个或者多个数据行的分辨率管理表连续地读取一个数据行,所述数据行至少包括分辨率和重叠标识作为元素;
第二分辨率获得单元,从所读取的数据行获得分辨率;
分辨率确定单元,确定所述第一分辨率获得单元获得的可显示的分辨率是否包括由所述第二分辨率获得单元获得的分辨率;
标识获得单元,如果所述分辨率确定单元确定包括所述第二分辨率获得单元获得的分辨率,则所述标识获得单元从所读取的数据行获得所述重叠标识;
图像处理单元,当从所述标识获得单元所获得的所述重叠标识为假时,执行向所述显示设备上输出的图像数据添加分段区域的处理;以及
分辨率改变单元,将所述显示设备的分辨率改变为所述第二获得单元所获得的分辨率。
14.一种计算机可读的记录介质,在其上记录有如权利要求12或13所述的图像显示控制程序。
15.一种发送系统,包括:
如权利要求1至9中任意一项所述的发送终端,其中所述多个发送终端经由网络互相连接,并且其中
所述发送终端之一将来自另一个所述发送终端中的个别图像数据组结合为所述图像数据。
CN201280032289.4A 2011-04-28 2012-04-06 发送终端、图像显示控制方法以及发送系统 Expired - Fee Related CN103636197B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011100696 2011-04-28
JP2011-100696 2011-04-28
JP2011238948A JP5903835B2 (ja) 2011-04-28 2011-10-31 伝送端末、画像表示制御方法、画像表示制御プログラム、記録媒体、および伝送システム
JP2011-238948 2011-10-31
PCT/JP2012/060086 WO2012147535A1 (en) 2011-04-28 2012-04-06 Transmission terminal, image display control method, image display control program, recording medium, and transmission system

Publications (2)

Publication Number Publication Date
CN103636197A true CN103636197A (zh) 2014-03-12
CN103636197B CN103636197B (zh) 2017-03-01

Family

ID=47072057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280032289.4A Expired - Fee Related CN103636197B (zh) 2011-04-28 2012-04-06 发送终端、图像显示控制方法以及发送系统

Country Status (8)

Country Link
US (1) US9210374B2 (zh)
EP (1) EP2702762A4 (zh)
JP (1) JP5903835B2 (zh)
CN (1) CN103636197B (zh)
AU (1) AU2012248646B2 (zh)
CA (1) CA2834135C (zh)
SG (1) SG194499A1 (zh)
WO (1) WO2012147535A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247855A (zh) * 2014-04-29 2016-01-13 华为技术有限公司 一种实现屏幕共享的方法、装置和系统
CN106483338A (zh) * 2015-08-28 2017-03-08 松下知识产权经营株式会社 图像输出装置、图像发送装置、图像接收装置、图像输出方法
WO2019041863A1 (zh) * 2017-08-31 2019-03-07 京东方科技集团股份有限公司 图像处理系统、图像显示方法及显示装置、存储介质
CN110537139A (zh) * 2017-05-31 2019-12-03 歌尔股份有限公司 一种图像显示装置及其制作方法
CN113129344A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 分辨率自适应方法、超声设备及存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254442A (ja) 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
JP5903835B2 (ja) * 2011-04-28 2016-04-13 株式会社リコー 伝送端末、画像表示制御方法、画像表示制御プログラム、記録媒体、および伝送システム
JP5927900B2 (ja) 2011-12-22 2016-06-01 株式会社リコー 電子機器
JP2014003448A (ja) 2012-06-18 2014-01-09 Ricoh Co Ltd 伝送システム、外部入力装置、および表示解像度変換用プログラム
JP6331253B2 (ja) 2013-03-13 2018-05-30 株式会社リコー 情報処理プログラム、情報処理方法、及び情報処理装置
JP6186794B2 (ja) 2013-03-26 2017-08-30 株式会社リコー 情報処理プログラム、情報処理方法、及び情報処理装置
JP6369101B2 (ja) * 2013-06-28 2018-08-08 株式会社リコー 伝送端末、プログラム、画像表示方法、伝送システム
CN104426870B (zh) * 2013-08-29 2019-03-15 中兴通讯股份有限公司 远程无线屏幕共享方法、装置及系统
WO2015119216A1 (ja) 2014-02-10 2015-08-13 株式会社リコー 情報端末、システム、制御方法及び記憶媒体
JP6398489B2 (ja) 2014-09-04 2018-10-03 株式会社リコー 情報処理プログラム、情報処理方法、及び情報処理装置
CA2959710A1 (en) * 2014-10-06 2016-04-14 Sharp Kabushiki Kaisha System for terminal resolution adaptation for devices
JP2017041831A (ja) 2015-08-21 2017-02-23 株式会社リコー 通信システム、通信管理システム、通信管理方法、及びプログラム
JP6661940B2 (ja) 2015-09-29 2020-03-11 株式会社リコー 通信端末、通信システム、制御方法、及びプログラム
US10511700B2 (en) 2016-02-25 2019-12-17 Ricoh Company, Ltd. Communication terminal with first application displaying status of second application
EP3247112A1 (en) 2016-05-20 2017-11-22 Ricoh Company, Ltd. Information processing apparatus, communication system, and information processing method
US10356361B2 (en) 2016-09-16 2019-07-16 Ricoh Company, Ltd. Communication terminal, communication system, and display method
US10743043B2 (en) * 2016-11-11 2020-08-11 Sony Corporation Management device and management method
US10831513B2 (en) * 2017-11-06 2020-11-10 International Business Machines Corporation Control transparency of a top layer provided by an additional transparent layer on top of the top layer based on relevance
CN112419999A (zh) * 2019-08-21 2021-02-26 京东方科技集团股份有限公司 图像处理方法、装置、内容分享方法和终端设备
JP7439556B2 (ja) * 2020-02-14 2024-02-28 オムロン株式会社 画像処理装置、画像センサ、画像処理装置の制御方法
CN111415635B (zh) * 2020-03-16 2021-08-20 安博思华智能科技有限责任公司 一种大屏显示方法、装置、介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1220546A (zh) * 1997-10-28 1999-06-23 德国汤姆逊-布朗特公司 数字电视图像自动宽高比格式检测方法和装置
WO2001061484A2 (en) * 2000-02-18 2001-08-23 Xsides Corporation Method and system for controlling a complementary user interface on a display surface
US7173666B1 (en) * 2002-08-22 2007-02-06 Smal Camera Technologies System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor
US20090091578A1 (en) * 2007-10-03 2009-04-09 Microsoft Corporation Adding Secondary Content to Underutilized Space on a Display Device
CN101662611A (zh) * 2009-09-08 2010-03-03 上海华平信息技术股份有限公司 视频会议系统中的模板显示方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4670783A (en) * 1984-12-21 1987-06-02 North American Philips Corporation High resolution television system
US20100005396A1 (en) * 2000-02-18 2010-01-07 Nason D David Method and system for controlling a comlementary user interface on a display surface
US6832237B1 (en) * 2000-12-01 2004-12-14 Unisys Corporation Method and apparatus for selecting and/or changing the display resolution of HTML home pages in a web application development environment
JP4738628B2 (ja) 2001-04-25 2011-08-03 株式会社リコー データ会議システム及びデータ会議端末並びにデータ会議プログラムを記録した記録媒体
KR100835593B1 (ko) * 2003-05-31 2008-06-09 삼성전자주식회사 디스플레이장치 및 그 표시상태 제어방법
US7113200B2 (en) 2004-05-21 2006-09-26 Polycom, Inc. Method and system for preparing video communication image for wide screen display
US7528990B2 (en) * 2004-06-16 2009-05-05 Ricoh Company, Ltd. Image-forming system with improved workability by displaying image finish and setting items in course of processing
JP4828338B2 (ja) * 2005-09-14 2011-11-30 株式会社リコー 画像処理装置およびプログラム
JP4790523B2 (ja) * 2005-09-14 2011-10-12 株式会社リコー 画像処理装置およびプログラム
JP4916237B2 (ja) * 2005-09-16 2012-04-11 株式会社リコー 画像表示装置、画像表示方法、その方法をコンピュータに実行させるプログラム、および画像表示システム
JP4807999B2 (ja) * 2005-09-16 2011-11-02 株式会社リコー 画像表示装置、画像表示方法、画像形成装置、画像形成方法、および、それらの方法をコンピュータに実行させるプログラム
JP2007114402A (ja) * 2005-10-19 2007-05-10 Matsushita Electric Ind Co Ltd 表示処理装置
JP2007160922A (ja) * 2005-11-18 2007-06-28 Ricoh Co Ltd 画像処理装置、プログラムおよび画像処理装置における仕上がりデータ移動方法
KR100750141B1 (ko) * 2005-11-30 2007-08-21 삼성전자주식회사 디지털 데이터 방송 수신기의 해상도 제어 방법, 장치 및그 디지털 데이터 방송 수신기
KR100846450B1 (ko) * 2006-08-31 2008-07-16 삼성전자주식회사 해상도 자동 선택방법 및 이를 적용한 영상수신장치
JP2008310443A (ja) 2007-06-12 2008-12-25 Canon Inc 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2009021821A (ja) * 2007-07-11 2009-01-29 Alpine Electronics Inc 画像表示装置
KR20090022297A (ko) * 2007-08-30 2009-03-04 삼성전자주식회사 디스플레이 제어 방법, 이를 이용한 디스플레이 장치 및디스플레이 시스템
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
JP2009260818A (ja) 2008-04-18 2009-11-05 Nec Corp サーバ装置とコンテンツ配信方法とプログラム
JP4543105B2 (ja) * 2008-08-08 2010-09-15 株式会社東芝 情報再生装置及び再生制御方法
JP5347784B2 (ja) * 2008-08-19 2013-11-20 株式会社リコー 画像処理装置、付加情報提供方法、プログラム、記憶媒体
JP2010074434A (ja) * 2008-09-17 2010-04-02 Ricoh Co Ltd 画像形成装置及びプログラム
JP5240170B2 (ja) * 2009-03-18 2013-07-17 株式会社リコー 画像形成装置、プログラムおよび情報処理システム
KR20110032678A (ko) 2009-09-23 2011-03-30 삼성전자주식회사 디스플레이장치, 시스템 및 그 해상도 제어방법
CA2753528C (en) 2009-12-25 2014-06-17 Ricoh Company, Limited Transmission management system, transmission system, computer program product, program providing system, and maintenance system
JP5655499B2 (ja) 2009-12-25 2015-01-21 株式会社リコー 伝送管理システム、伝送システム、伝送管理用プログラム、プログラム提供システム、及びメンテナンスシステム
KR101644086B1 (ko) * 2010-02-05 2016-08-01 삼성전자주식회사 해상도 변경방법, 그리고, 이를 이용한 디스플레이 장치 및 시스템
JP5903835B2 (ja) * 2011-04-28 2016-04-13 株式会社リコー 伝送端末、画像表示制御方法、画像表示制御プログラム、記録媒体、および伝送システム
JP5927900B2 (ja) * 2011-12-22 2016-06-01 株式会社リコー 電子機器
JP5962098B2 (ja) * 2012-03-19 2016-08-03 株式会社リコー 伝送端末、伝送システム、表示制御方法、及びプログラム
JP5994313B2 (ja) * 2012-03-21 2016-09-21 株式会社リコー 情報提供装置、伝送システムおよびプログラム
JP2014003448A (ja) * 2012-06-18 2014-01-09 Ricoh Co Ltd 伝送システム、外部入力装置、および表示解像度変換用プログラム
JP6111753B2 (ja) * 2013-03-11 2017-04-12 株式会社リコー 情報処理装置、伝送システム、プログラム
JP6229283B2 (ja) * 2013-03-26 2017-11-15 株式会社リコー 画像処理装置、表示端末及び画像表示システム、並びに、画像処理方法、表示端末の制御方法、画像表示システムの制御方法及びそれらの方法のプログラム
JP6476631B2 (ja) * 2013-09-19 2019-03-06 株式会社リコー 情報処理装置、データ表示方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1220546A (zh) * 1997-10-28 1999-06-23 德国汤姆逊-布朗特公司 数字电视图像自动宽高比格式检测方法和装置
WO2001061484A2 (en) * 2000-02-18 2001-08-23 Xsides Corporation Method and system for controlling a complementary user interface on a display surface
US7173666B1 (en) * 2002-08-22 2007-02-06 Smal Camera Technologies System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor
US20090091578A1 (en) * 2007-10-03 2009-04-09 Microsoft Corporation Adding Secondary Content to Underutilized Space on a Display Device
CN101662611A (zh) * 2009-09-08 2010-03-03 上海华平信息技术股份有限公司 视频会议系统中的模板显示方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247855A (zh) * 2014-04-29 2016-01-13 华为技术有限公司 一种实现屏幕共享的方法、装置和系统
CN106483338A (zh) * 2015-08-28 2017-03-08 松下知识产权经营株式会社 图像输出装置、图像发送装置、图像接收装置、图像输出方法
CN110537139A (zh) * 2017-05-31 2019-12-03 歌尔股份有限公司 一种图像显示装置及其制作方法
CN110537139B (zh) * 2017-05-31 2022-09-23 歌尔股份有限公司 一种图像显示装置及其制作方法
WO2019041863A1 (zh) * 2017-08-31 2019-03-07 京东方科技集团股份有限公司 图像处理系统、图像显示方法及显示装置、存储介质
US10798334B2 (en) 2017-08-31 2020-10-06 Beijing Boe Display Technology Co., Ltd. Image processing system, image display method, display device and storage medium
CN113129344A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 分辨率自适应方法、超声设备及存储介质

Also Published As

Publication number Publication date
US20140043431A1 (en) 2014-02-13
WO2012147535A1 (en) 2012-11-01
US9210374B2 (en) 2015-12-08
AU2012248646B2 (en) 2015-07-02
CA2834135A1 (en) 2012-11-01
JP5903835B2 (ja) 2016-04-13
CN103636197B (zh) 2017-03-01
EP2702762A1 (en) 2014-03-05
EP2702762A4 (en) 2014-11-05
JP2012237964A (ja) 2012-12-06
CA2834135C (en) 2016-12-13
SG194499A1 (en) 2013-12-30
AU2012248646A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
CN103636197A (zh) 发送终端、图像显示控制方法、图像显示控制程序、记录介质以及发送系统
JP7303499B2 (ja) 第一の伝送端末、伝送方法、伝送用プログラム及び伝送システム
CN102334335B (zh) 传输管理系统、传输系统、计算机程序产品、程序提供系统和维护系统
CN104137172B (zh) 电子装置
AU2013278406B2 (en) Transmission system, external input device, and program for converting display resolution
US9369501B2 (en) Transmission system, method and program
CN103348629A (zh) 传输管理系统、传输系统、用于传输管理系统的程序以及计算机可读信息记录介质
CN105378688B (zh) 程序、信息处理系统和信息处理设备
SG193598A1 (en) Transmission management system, transmission system, program, program supply system, and maintenance system
JP6337910B2 (ja) 情報端末、システム、制御方法及び記憶媒体
EP2689579A1 (en) Transmission management system, transmission system, selection method, program product, program supply system, and maintenance system
CN104137068A (zh) 电子设备和电子设备控制程序
JP2018037806A (ja) 伝送管理システム、伝送管理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170301

Termination date: 20210406

CF01 Termination of patent right due to non-payment of annual fee