CN104052798A - 分布式控制系统和分布式控制方法 - Google Patents

分布式控制系统和分布式控制方法 Download PDF

Info

Publication number
CN104052798A
CN104052798A CN201410177357.7A CN201410177357A CN104052798A CN 104052798 A CN104052798 A CN 104052798A CN 201410177357 A CN201410177357 A CN 201410177357A CN 104052798 A CN104052798 A CN 104052798A
Authority
CN
China
Prior art keywords
data
communication terminal
time
dcs
receiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410177357.7A
Other languages
English (en)
Other versions
CN104052798B (zh
Inventor
笠谷洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN104052798A publication Critical patent/CN104052798A/zh
Application granted granted Critical
Publication of CN104052798B publication Critical patent/CN104052798B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • H04L43/0858One way delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/2625Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for delaying content or additional data distribution, e.g. because of an extended sport event
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种分布式控制系统通过通信网络分布数据到通信终端。所述分布式控制系统包括:配置成从所述通信终端接收表示从当数据由分布式控制系统分布时到当数据由通信终端接收时的传输延迟时间的传输延迟时间信息;以及改变单元,其配置为基于由接收器接收到的传输延迟时间信息,当数据由通信终端再现时改变再现质量的参数。

Description

分布式控制系统和分布式控制方法
技术领域
本发明涉及一种分布式控制系统和分布式控制方法.
背景技术
随着近来因特网的广泛使用,云计算已应用于各个领域。云计算是服务使用模式(service usage pattern),其中用户通过使用连接到因特网的通信终端并付费来使用由因特网上的服务器提供的服务(云服务)。
在因特网上携带的网络内容(web content)趋于丰富,用于响应各种需求。因此,当通过使用通信终端来使用丰富的内容以通过因特网使用服务时,存在这样的问题:不利的是,通信终端上的负载高。
作为一种用于减小通信终端上负载的技术,有这样一种技术被称为瘦客户端(参见日本专利申请,公开号2007-221229)。通过这种瘦客户端技术,通过使用因特网环境可以以基于网络(web-based)的方式在通信终端上执行各种应用。
然而,即使在使用瘦客户端技术时,当内容发展的丰富或诸如因特网之类的通信信道变得拥塞时,对从服务器传输到通信终端的上述内容的数据等到达通信终端而言,消耗太多时间,从而导致以下问题,即不可能流畅地在通信终端上再现数据。
发明概述
本发明的目的就是至少部分地解决传统技术中的问题。
根据实施例,提供了一种分布式控制系统,用于通过通信网络将数据分布到通信终端。该分布式控制系统包括:接收器,经配置来从所述通信终端接收传输延迟时间信息,所述传输延迟时间信息指示从当分布式控制系统分布数据时到当数据被通信终端接收时的传输延迟时间;以及改变单元,经配置来基于由接收器接收的所述传输延迟时间,当通信终端再现数据时,改变再现质量的参数。
根据另一实施例,提供了一种由分布式控制系统执行的分布式控制方法,用于通过通信网络将数据分布到通信终端。所述的分布式控制方法包括:从所述通信终端接收传输延迟时间信息,所述传输延迟时间信息指示从当分布式控制系统分布数据时到当数据被通信终端接收时的传输延迟时间;以及基于在接收时接收的所述传输延迟时间信息,当通信终端再现数据时,改变再现质量的参数。
根据另一实施例,提供了一种分布式控制系统,用于通过通信网络将数据分布到通信终端。该分布式控制系统包括:接收器,经配置来从所述通信终端接收从当数据被分布式控制系统分布时到当数据被通信终端接收时的时间;以及改变单元,经配置来基于接收器接收的时间和数据的大小改变转换器的操作,所述转换器经配置来将数据转换为要分布的数据。
当结合附图考虑时,本发明上述及其他目的、特点、优点以及技术和工业意义,通过阅读本发明的目前优选实施例的以下详细说明可更好地理解。
附图说明
图1是依据实施例的分布式系统的示意图;
图2是当软件狗(dongle)被连接到通信终端时的概念图;
图3是示出基本分布式方法的概念图;
图4是组播的概念图;
图5是多显示器的概念图;
图6是通过分布式控制系统使用多个通信终端的复合分布的概念图;
图7的分布式控制系统、通信终端、终端管理系统和网络服务器的硬件配置图;
图8是软件狗的硬件配置图;
图9是主要示出分布式控制系统的功能的功能框图;
图10是主要示出通信终端的功能的功能框图;
图11是示出了终端管理系统的功能的功能框图;
图12是分布目的地选择菜单屏幕的概念图;
图13是终端管理表的概念图;
图14是可用终端管理表的概念图;
图15是编码器桥接单元的详细图;
图16是示出转换器的功能的功能框图;
图17是示出分布式控制系统的基本分布处理的顺序图;
图18是示出通过分布式控制系统使用多个通信终端进行通信处理的顺序图;
图19是示出时间调整的处理的顺序图;
图20是示出对从分布式控制系统传输到通信终端的数据进行信道适应控制控制的顺序图;
图21是示出对从通信终端传输到分布式控制系统的数据进行信道适应控制控制的顺序图;
图22是示出多显示器处理的顺序图;
图23是示出多显示器处理的顺序图;
图24是示出多显示器处理的顺序图;
图25示出了包括在参数组中的多个参数的例子的示图;
图26是当改变所述参数组的质量时,用于示出准则的示例的示图;
图27是用于示出当图26中的准则被采用时参数组的改变的示图。
具体实施方式
以下参照附图描述依据实施例的分布式系统1。下文中详细描述一种发明,该发明通过使用云计算使网络浏览器(以下表示为“浏览器”)以及编码器在云上互相合作执行,并发送视频数据、声音数据等到通信终端。
下文所称“图像”包括静止图像和运动图像。下文所称“视频”基本上是指运动图像并且也包括被停止为静止图像的运动图像。指示静止图像和声音的至少之一的情况被表示为“静止图像(声音)”。指示图像和声音的至少之一的情况被表示为“图像(声音)”。指示视频和声音的至少之一的情况被表示为“视频(声音)”。
实施例的概述
参照图1描述的是依据本发明的实施例的概述。图1是依据本发明实施例的分布式系统的示意图。
系统配置的概述
首先描述的是分布式系统1的配置概述。
如图1所示,根据本实施例的分布式系统1由分布式控制系统2、多个通信终端(5a至5f)、终端管理系统7和网络服务器(web server)8构成。在下文中,通信终端(5a至5f)中的任何通信终端被表示为“通信终端5”。分布式控制系统2、终端管理系统7和网络服务器8都是由服务器计算机构成。
通信终端5是接收分布式系统1的服务的用户所使用的终端。通信终端5a是笔记本个人计算机(PC)。通信终端5b是移动终端,如智能电话和平板终端。通信终端5c是多功能外围设备/打印机/产品(MFP),其中,复制、扫描、打印和传真的功能结合在一起。通信终端5d是投影仪。通信终端5e是TV(视频)会议终端,其具有照相机、麦克风和扬声器。通信终端5f是能够电子地转换用户画的图等的电子黑板(白板)。
通信终端5不仅是如图1所示的终端,也可以是通过诸如因特网这样的通信网络可通信的设备,包括手表、自动售货机、汽车导航设备、游戏机、空调、照明装置、单独的照相机、单独的麦克风和单独的扬声器。
分布式控制系统2、通信终端5、终端管理系统7与网络服务器8可通过诸如因特网和局域网(LAN)的通信网络9互相通信。通信网络9包括无线通信网络,例如第三代(3G)、微波接入全球互操作性(WiMAX)和长期演进(LTE)。
通信终端5,类似通信终端5d,可以不具有通过通信网络9与其它终端和系统进行通信的功能。然而,如图2所示,用户将软件狗(dongle)99插入到通信终端5d的通用串行总线(USB)的接口或高清晰度多媒体接口(HDMI),从而使其与其它的终端和系统进行通信。图2是当软件狗被连接到通信终端时的示意图。
分布式控制系统2具有在云上的浏览器20,并且在浏览器20中呈现(rendering)的功能获取以某种描述语言描述的单条或多条内容数据并在其上执行呈现,由此产生作为静止图像的诸如由红、绿和蓝(RGB)构成的位图数据的帧数据或诸如脉码调制(PCM)数据(即静止图像(声音)数据)的声音数据。内容数据是从网络服务器8、任何通信终端等获取的数据,并且包括超文本标记语言(HTML)和层叠样式表(CSS)的图像(声音)数据、MP4(MPEG-4)的图像(声音)数据、高级音频编码(AAC)的声音数据等。
分布式控制系统2具有在云上的编码单元19,并且编码单元19起到编码器的作用,由此将作为多条静止图像(声音)数据的多条帧数据转换为压缩编码系统的视频(声音)数据,例如H.264(MPEG-4AVC)、H.265和运动JPEG。
终端管理系统7在通信终端5上执行登录认证并管理通信终端5的合同信息等。终端管理系统7具有用于传输电子邮件的简单邮件传输协议(SMTP)服务器的功能。终端管理系统7可以被实施为,例如,云服务(IaaS:基础设施作为服务)上开发的假想机器。理想的是,终端管理系统7被以复用的方式操作,以便处理意外事件来执行连续的服务供应。
浏览器20使能实时通信/协作(RTC)。分布式控制系统2具有下文所述图16中的编码单元19,并且编码单元19可对由浏览器20输出的帧数据执行实时编码并输出通过基于H.264标准等转换所产生的视频(声音)数据。因此,分布式控制系统2的处理不同于例如其中记录在DVD中的非实时视频(声音)数据由DVD播放器读取和分配的情况。
不仅分布式控制系统2具有浏览器,而且通信终端5也可以具有浏览器。在这种情况下,更新(updating)分布式控制系统2的浏览器20不再需要启动相应的通信终端5的浏览器。
各种类型的分布式方法的概述
下面描述各种类型的分布式方法的概述。
基本分布
图3是示出基本分布式方法的示意图。在分布式系统1中,如图3所示,分布式控制系统2的浏览器20从网络服务器8获取网络内容数据[A]作为图像(声音)数据并呈现它,从而产生多条帧数据[A]作为多条静止图像(声音)数据。包括编码单元19的编码器桥接单元30对多条帧数据[A]执行编码等,从而把它转换成压缩编码系统例如H.264的视频(声音)数据。分布式控制系统2将被转换后的视频(声音)数据[A](传输数据的例子)分布到通信终端5。
由此,当分布式控制系统2在云上将网络内容数据从以HTML格式等的网络内容数据转换为H.264等的压缩的视频(声音)数据时,分布式控制系统2可以分布更丰富的网络内容数据到通信终端5。结果,网络内容可被流畅地再现在通信终端5侧上,而不需要时间、精力和成本来改进中央处理单元(CPU)、操作系统(OS)等的规范(specification)。
即使在将来进行网络内容的丰富时,因为只有在云上的分布式控制系统2中的浏览器20、CPU等的规范须要改进,所以通信终端5的规范不需改进。
应用以上的分布式方法,如图4到图6所示,分布式系统1还可以将网络内容数据作为视频(声音)数据分布到多个的站点。此处描述了图4到图6示出的分布式方法。
组播(multicast)
图4是组播的示意图。如图4所示,分布控制系统2的单个浏览器20从网络服务器8获取网络内容数据[A]作为图像(声音)数据并呈现它,从而产生多条帧数据[A]作为多条静止图像(声音)数据。编码器桥接单元30编码多条帧数据[A],从而将它们转换成视频(声音)数据。然后,分布式控制系统2分布视频(声音)数据[A]到多个通信终端(5f1,5f2,5f3)。
因此,相同的视频(声音)在站点再现。在这种情况下,通信终端(5f1,5f2,5f3)不需要具有相同的显示再现能力(例如,相同的分辨率)。像这样的分布式方法被称为,例如,“组播”。
多显示器(multidisplay)
图5是多显示器的示意图。如图5所示,分布式控制系统2的单个浏览器20从网络服务器8获取网络内容数据[XYZ]作为图像(声音)数据并呈现它,从而产生多条帧数据[XYZ]作为多条静止图像(声音)数据。对于每一帧的数据[XYZ],编码器桥接单元30划分其为多条帧数据([X],[Y],[Z]),然后对它们进行编码,从而转换它为多条视频(声音)数据([X],[Y],[Z])。然后,分布式控制系统2分布视频(声音)数据[X]到通信终端5f1。类似地,分布式控制系统2分布视频(声音)数据[Y]到通信终端5f2并分布视频(声音)数据[Z]到通信终端5f3。
因此,例如,即使对于景观(1andscape)网络内容[XYZ],视频(声音)由通信终端5以划分的方式再现。结果,当通信终端(5f1,5f2,5f3)安装在一条线上,能够获得与一条大视频的再现相同的效果。在这种情况下,通信终端(5f1,5f2,5f3)需要具有相同的显示再现能力(例如,相同的分辨率)。像这样的分布式方法被称为,例如,“多显示器”。
复合分布
图6是通过分布式控制系统使用多个通信终端的复合分布的示意图。如图6所示,在第一站点(图6的右侧),使用作为电子黑板的通信终端5f1和作为电视会议终端的通信终端5e1,类似地,在第二站点(图6的左侧),使用作为电子黑板的通信终端5f2和作为电视会议终端的通信终端5e2。在第一站点,电子笔P1用于通过在通信终端5f1上的笔画(stroke)来绘制字符等。在第二站点,电子笔P2用于通过在通信终端5f2上的笔画来绘制字符等。
在第一站点,由通信端5el获取的视频(声音)数据由编码单元60编码,然后被传输到分布式控制系统2。此后,它由分布式控制系统2的解码单元40解码,然后被输入到浏览器20。指示通过电子笔P1由通信终端5f1所绘制的笔画的操作数据(在这种情况下,通信终端5f1等的显示器上的坐标数据)被发送到分布式控制系统2以被输入到浏览器20。同样,在第二站点,由通信终端5e2获得的视频(声音)数据由编码单元60编码,然后被传输到分布式控制系统2。此后,它由分布式控制系统2的解码单元40解码,然后被输入到浏览器20。指示通过电子笔P1由通信终端5f2所绘制的笔画的操作数据(在这种情况下,通信终端5f2等的显示器上的坐标数据)被发送到分布式控制系统2以被输入到浏览器20。
例如,所述浏览器20从网络服务器8获取例如,作为背景图像的网络内容数据[A],其显示在通信终端(5f1、5f2)的相应显示器。浏览器20组合网络内容数据[A]、操作数据([p1],[p2])、视频(声音)内容数据([E1],[E2])并呈现它们,由此产生作为多条静止图像(声音)数据的多条帧数据,其中所述各条内容数据([A],[p1],[p2],[E1],[E2])被设置为期望的布局。编码器桥接单元30编码多条帧数据,并且分布式控制系统2将指示相同内容([A],[p1],[p2],[E1],[E2])的视频(声音)数据分布到两个站点。从而,在第一站点,视频([A],[p1],[p2],[E1(视频部分)]和[E2(视频部分)])被显示在通信终端5f1的显示器上并且声音[E2(声音部分)]从通信终端5e1的扬声器被输出。同样,在第二站点,视频([A],[p1],[p2],[E1(视频部分)]和[E2(视频部分)])被显示在通信终端5f2的显示器上,并且声音[E1(声音部分)]从通信终端5e2的扬声器被输出。在所述第一站点,由于通信终端5f1的回波消除功能,站点本身的声音[E1(声音部分)]不被输出。在第二站点,由于通信终端5f2的回波消除功能,站点本身的声音[E2(声音部分)]不被输出。
因此,在第一站点和第二站点,可以执行远程共享处理,其在远程站点实时共享相同的信息,从而使得根据本发明实施例的分布式系统1在电话会议等中有效。
实施例的详细的描述
下面参考图7至图24对本实施例进行详细描述。
实施例的硬件配置
首先参考图7和图8描述本实施例的硬件配置。图7是分布式控制系统、通信终端、终端管理系统和网络服务器的硬件配置图。图8是软件狗的硬件配置图。因为与通信终端的通信相关的硬件配置与通信终端的硬件配置的部分是相同的,所以省略对其的描述。
如图7所示,分布式控制系统2包括:(主机)CPU201,其控制分布式控制系统2的整个操作;ROM202,在其中存储诸如IPL的用于驱动CPU201的程序;RAM203,用作CPU201的工作区;HDD204,在其中存储各种类型的数据,例如程序;硬盘控制器(HDC)205,其在CPU201的控制下控制从HDD204中读取和向HDD204写入各种数据;介质驱动器207,其控制从诸如闪存这样的存储介质206中读取和向存储介质206写入数据;显示器208,其显示各种类型的信息;I/F209,其用于使用通信网络9传输数据并连接软件狗99;键盘211;鼠标212;麦克风213,扬声器214,图形处理单元(GPU)215;和诸如用于与图7所示的上述组件电连接的地址总线和数据总线的总线线路220。因为通信终端5d作为投影机,所以可以不提供所述GPU。由于终端管理系统7和网络服务器8的硬件配置与分布式控制系统2的硬件配置相同,所以省略对其的描述。
下面参考图8描述图2中所示软件狗的硬件配置。如图8所示,所述软件狗99包括:CPU91,其控制软件狗99的整体操作;ROM92,在其中存储基本输入/输出程序;RAM93,其被用作CPU91的工作区;电可擦除和可编程ROM(EEPROM)94,在CPU91的控制下执行读取和写入数据;GPU95;接口I/F96,连接到通信终端5的接口I/F209;天线97a;通信单元97,其通过使用天线97a由短距离无线技术执行通信;和总线线路90,诸如用于电连接上述单元的地址总线和数据总线。短距离无线技术的实例包括近场通信(NFC)标准、蓝牙(注册商标)、无线保真(WiFi)和ZigBee。由于软件狗99包括GPU95,甚至在通信终端5d不包括GPU的情况下,所以如图2所示,通信终端5通过连接到软件狗99可执行图形显示所需的计算处理。
实施例的功能配置
下面参考图9至图16描述本实施例的功能配置。
分布式控制系统的功能配置
首先参照图9描述分布式控制系统2的功能配置。图9是主要示出分布式控制系统的功能的功能框图。图9示出了分布式控制系统2分布视频(声音)数据到通信终端5f1时的功能配置,此外当分布目的地不是通信终端5f1时,分布式控制系统2具有相同的功能配置。尽管分布式控制系统2包括多个分布引擎服务器,下面将描述包括单个分布引擎服务器的情况,以简化描述。
如图9所示,分布式控制系统2具有图9中所示的功能组件,其包括由图7所示的诸如CPU201或GPU215这样的处理器的硬件配置和程序。
具体地,分布式控制系统2包括浏览器20、发送器/接收器21、浏览器管理单元22、传输先入先出(FIFO)缓冲器24、时间管理单元25、时间获取单元26、信道适应控制控制器27、编码器桥接单元30、发送器/接收器31、接收FIFO34、识别单元35、延迟信息获取单元37a、信道适应控制控制器37b、解码单元40。分布式控制系统2还包括存储单元2000,其由图7所示的HDD204构建。该存储单元2000在其中存储如下所述从识别单元35输出并通过浏览器管理单元22发送的识别信息。由浏览器20获取的内容数据被临时存储在作为高速缓存的存储单元2000中。
在上述功能化组件中,所述浏览器20是在分布式控制系统2中操作的浏览器。浏览器20相应于网络内容的丰富而时刻被更新。浏览器20具有,例如媒体播放器、Flash播放器、JavaScript(注册商标)、CSS和HTML呈现器(renderer)。JavaScript包括标准化产品和分布式系统1特有的产品。
媒体播放器是用于在浏览器20内再现诸如视频(声音)文件这样的多媒体文件的浏览器插件。Flash播放器是浏览器20中再现flash内容的浏览插件。特有的JavaScript是JavaScript组,其提供分布式系统1特有的服务应用编程接口(API)。CSS是一种用于有效地限定以HTML描述的网络页面(web page)的外观和风格的技术。HTML呈现器是HTML呈现引擎。
呈现器呈现内容数据,诸如网络内容数据作为图像(声音)数据,从而生成作为多条静止图像(声音)数据的多条帧数据。如图6所示,呈现器也是布局引擎,其执行多个种类的内容([A],[p1],[p2],[E1],[E2])的布局。
根据本实施例的本分布式系统1在分布式控制系统2中提供浏览器20,并且从浏览器20中选择用于用户会话的云浏览器。下面顺次描述提供单个浏览器20的情况,以简化描述。
发送器/接收器21向终端管理系统7和网络服务器8发送和从终端管理系统7和网络服务器8接收各种类型的数据、各种类型的请求、各种类型的指令等。例如,发送器/接收器21从网络服务器8的内容站点获取网络内容数据。发送器/接收器21输出从终端管理系统7获取的各种类型的数据到分布式控制系统2中的功能组件并且基于从终端管理系统7获取的各种类型的数据、各种类型的请求、各种类型的指令等控制分布式控制系统2内的功能组件。例如,对于提供的多个浏览器20,发送器/接收器21从终端管理系统7到浏览器管理单元22输出切换分布模式的请求,浏览器管理单元22控制在多个浏览器20中从一个浏览器切换到另一个浏览器。基于来自终端管理系统7的用于切换分布的请求,发送器/接收器/21执行图15和图16所示的编码器桥接单元30中的组件组合的切换。
浏览器管理单元22管理该浏览器20。例如,浏览器管理单元22指示浏览器20启动和退出,并且在启动或退出时编号编码器ID。编码器ID是浏览器管理单元22编号的识别信息,以管理对编码器桥接单元30的处理。每次浏览器20被启动,浏览器管理单元22编号和管理浏览器ID。浏览器ID是浏览器管理单元22编号的识别信息,来管理对浏览器20的处理以识别浏览20。
浏览器管理单元22从通信终端5通过发送器/接收器31获取各种类型操作数据并输出他们到浏览器20。操作数据是经由通信终端5上的操作事件(通过键盘211、鼠标212等的操作,电子笔P的笔画等)而发生的数据。当通信终端5提供采用各种传感器,例如温度传感器、加速度传感器、湿度传感器时,浏览器管理单元22获取传感器信息,其为来自通信终端5的传感器的输出信号,并将其输出到浏览器20。浏览器管理单元22还从识别单元35获取图像(声音)数据并将其输出到浏览器20,并从所述识别单元35获取如下所述识别信息并且将其存储在存储单元2000中。浏览器管理单元22从接收FIFO34获取视频(声音)数据并将其输出到浏览器20。
传输FIFO24是其中存储由浏览器20产生的作为多条静止图像(声音)数据的多条帧数据的缓冲器。
时间管理单元25管理分布式控制系统2特有的时间T。
时间获取单元26结合下文描述的通信终端5中的时间控制器56执行时间调整处理。特别地,时间获取单元26获取来自时间管理单元25的指示分布式控制系统2中的时间T的时间信息(T),经发送器/接收器31和发送器/接收器51从下文所述的时间控制器56接收指示通信终端5中的时间t的时间信息(t),并且发送时间信息(t)和时间信息(T)到时间控制器56。
信道适应控制控制器27,其被称为改变单元,基于传输延迟时间信息(D)来计算再现延迟时间U,并且计算操作条件,如帧速率和编码器桥接单元30中的转换器10的数据分辨率。该再现延迟时间U是通过数据缓冲直到被再现的延迟再现的时间。换句话说,信道适应控制控制器27基于传输延迟时间信息(D)改变编码器桥接单元30的操作以及数据的大小(例如,比特数或者字节数)。如下面所描述的,传输延迟时间信息(D)基于由通信终端5的延迟信息获取单元57从再现控制器53获取的多个传输延迟时间D1来指示频率分布信息。传输延迟时间D1指示从视频(音频)数据从分布控制系统2发送时的时间点到其被通信终端5接收时的时间点的时间。
编码器桥接单元30将浏览器20产生的作为多条静止图像(声音)数据的多条帧数据输出到下文描述的编码器桥接单元30中的转换器10。在这种情况下,转换器10还基于由信道适应控制控制器27计算的操作条件来操作。参照图15和图16对编码器桥接单元30进行更详细地描述。图15是编码器桥接单元的详细图。图16是示出转换器功能的功能框图。
如图15所示,编码器桥接单元30由产生/选择单元310、选择单元320和设置在两者其间的多个转换器(10a、10b、10c)构成。尽管这里示出了三个转换器,但是可以提供任意数量的转换器。在下文中,任何转换器由“转换器10”来表示。
该转换器10将浏览器20产生的作为多条静止图像(声音)数据的多条帧数据的数据格式转换为能够通过通信网络9被分布到通信终端5的H.264等的数据格式等。为此,如图16所示,转换器10包括微调单元(trimming unit)11、尺寸调整单元12、分割单元13和编码单元19。微调单元11、尺寸调整单元12和分割单元13不对声音数据进行任何处理。
微调单元11执行处理以仅切除的静止图像的一部分。尺寸调整单元12改变静止图像的缩小规模。如图5所示,分割单元13分割静止图像。
编码单元19编码由浏览器20产生的作为多条静止图像(声音)数据的多条帧数据,从而将它们转化使得视频(声音)数据可以通过通信网络9分布给通信终端5。当视频不运动时(当没有帧间更新(变化)),此后插入跳帧(有时可以被称为帧跳过)直到视频运动为止,以节省带宽。
当通过呈现,声音数据与静止图像数据一起产生时,这些条数据被编码,当仅产生声音数据时,仅执行编码,而不执行微调、尺寸调整和分割,将导致数据被压缩。
产生/选择单元310产生新的转换器10并选择要被输入到产生的转换器10中的作为多条静止图像(声音)数据的多条帧数据。在产生时,产生/选择单元310产生转换器10,其允许根据通信终端5的视频(声音)数据的再现能力来转换。在选择时,已产生的转换器10被选择。例如,除了分布到通信终端5a以外,还在开始分布到通信终端5b时,与被分布的到通信终端5a的视频(声音)数据相同的视频(声音)数据可以被分布到通信终端5b。在这种情况下,进一步地,当通信终端5b具有和通信终端5a的视频(声音)再现能力相同的再现能力时,产生/选择单元310利用已为通信终端5a产生的转换器10a而不为通信终端5b产生新的转换器10b。
选择单元320从已经产生的多个转换器10中选择所需的一个。由选择单元320和产生/选择单元310的选择可以执行如图6所示的各种模式的分布。
发送器/接收器31从通信终端5接收和向通信终端5发送各种数据、请求等。该发送器/接收器31通过通信网络9从云到通信终端5发送各种数据、请求等,由此允许分布式控制系统2分布各种数据、请求等到通信终端5。例如,在通信终端5的登录处理中,发送器/接收器31发送用于提示用户登录请求的认证屏幕数据到通信终端5的发送器/接收器51。发送器/接收器31还由对于分布式系统1特有的协议通过超文本安全套接字传输协议(HTTPS)服务器执行从通信终端5的用户应用和通信终端5的设备应用接收数据和向通信终端5的用户应用和通信终端5的设备应用发送数据。这种特有的协议是基于HTTPS的应用层协议,用于在分布式系统2和通信终端之间实时地发送和接收数据而不被打断。发送器/接收器31还执行发送响应控制、实时数据生成、命令发送、接收响应控制、接收数据分析和手势转换。
这其中,进行发送响应控制以管理用于通信终端5所请求的下载的HTTPS会话以便从分布式控制系统2发送数据到通信终端5。用于下载的HTTPS会话的响应不立刻结束,而是保持一段时间(一到几分钟)。发送器/接收器31在响应的主体部分中动态地写入要被发送到通信终端5的数据。为了消除重连(reconnection)的损失,在前一会话结束之前允许来自通信终端的另一个请求到达。通过使发送器/接收器31进入待命状态直到完成前一个请求,当进行重连时可消除额外开销(overhead)。
进行实时数据生成以给由图16中编码单元19产生的压缩视频(和压缩的声音)的数据添加特有的头(header)并将其写入HTTPS的主体部分。
命令发送是产生要被发送到通信终端5的命令数据并将其写入指向通信终端5的HTTPS的主体部分的处理。
接收响应控制式管理由通信终端5所请求的HTTPS会话,以便分布式控制系统2从通信终端5接收数据的处理。HTTPS会话响应不立刻结束,而是保持一段时间(一到几分钟)。通信终端5在请求的主体部分动态地写入要被发送到分布式控制系统2的发送器/接收器31的数据。
接收数据分析是根据类型分析来自通信终端5传输的数据并传送该数据到必要的过程的处理。
手势转换将用户使用电子笔或手写输入到作为电子黑板的通信终端5f的手势事件转换为能够由浏览器20接收的格式的数据。
接收FIFO34是缓冲器,在其中存储由解码单元40解码后的视频(声音)数据。
识别单元35对从通信终端5接收的图像(声音)数据执行处理。特别地,例如,识别单元35基于照相机62获取的图像作为标志识别出人或动物的面部、年龄、性别等。对于办公室来说,识别单元35基于由照相机62获取的图像通过面部识别执行名称标注和替换背景图像的处理。识别单元35将指示已识别的细节的识别信息存储到存储单元2000中。识别单元35通过使用识别扩展卡执行处理实现了加速。
与在进行下行信道的自适应控制中所使用的通信终端5的延迟信息获取单元57相应,延迟信息获取单元37a是用于进行上行信道适应控制控制。特别地,延迟信息获取单元37a从解码单元40获取指示传输延迟时间d1的传输延迟时间信息(d1)并将其保持特定的一段时间,并且,当多个传输延迟时间的信息(d1)被获取时,将传输延迟时间信息(d)输出到信道适应控制控制器37b,所述传输延迟时间信息(d)由多个传输延迟时间d1指示频率分布信息。传输延迟时间信息(d1)指示从视频(声音)数据从通信终端5发送时的时间点到其被分布式控制系统2接收时的时间点的时间。
相应于用于处理下行信道的自适应控制的信道适应控制控制器27,信道适应控制控制器37b被用于处理上行信道的自适应控制。特别地,信道适应控制控制器37b基于传输延迟时间信息(d)计算通信终端5的编码单元60的操作条件。信道适应控制控制器37b通过发送器/接收器31和发送器/接收器51将指示诸如的帧速率和数据分辨率这样的操作条件的信道适应控制控制信号发送到通信终端5的编码单元60。
解码单元40解码从通信终端5发送的视频(声音)数据。解码单元40还将指示传输延迟时间d1的传输延迟时间信息(d1)输出到延迟信息获取单元37a。
通信终端的功能配置
下面参考图10描述通信终端5的功能配置。图10是主要示出通信终端的功能的功能框图。通信终端5是用于作为用户执行登录到分布式系统1、开始和停止视频(声音)数据的分布等的界面的终端。
如图10所示,通信终端5具有图10所示功能组件,其硬件配置包括图7中所示的CPU201和程序。当通信终端5通过插入图2所示的软件狗99变得通过通信网络9可与其它终端和系统进行通信时,通信终端5具有如图10所示的功能组件,其硬件配置和程序由图7和图8所示。
具体地说,通信终端5包括解码单元50、发送器/接收器51、操作单元52、再现控制器53、呈现单元55、时间控制器56、延迟信息获取单元57、显示单元58和编码单元60。所述通信终端5还包括存储单元5000,其由图7中示出的RAM203构建。存储单元5000在其中存储指示下文描述的时间差Δ的时间差信息(Δ)和指示通信终端5中时间t的时间信息(t)。
在这些中,解码单元50解码分布式控制系统2分布的视频(声音)数据并从再现控制器53输出。
发送器/接收器51从分布式控制系统2的发送器/接收器31和终端管理系统7的发送器/接收器71a接收和向分布式控制系统2的发送器/接收器31和终端管理系统7的发送器/接收器71a发送各种数据、请求等。例如,在通信终端5的登录处理中,发送器/接收器51通过操作单元52基于通信终端5的启动执行到终端管理系统7的发送器/接收器71a的登录请求。
操作单元52执行处理以接收由用户输入的操作,例如,以电源开关、键盘、鼠标、电子笔P等接收输入、选择等和传输其作为操作数据到分布式控制系统2的浏览器管理单元22。
考虑到再现延迟时间U,再现控制器53缓冲从发送器/接收器51接收的视频(声音)数据(实时数据包)并输出到解码单元50。重现控制器53还计算指示传输延迟时间D1的传输延迟时间信息(D1),并且输出传输延迟时间信息(D1)到延迟信息获取单元57。
呈现单元55呈现由解码单元50解码的数据。
时间控制器56结合分布式控制系统2的时间获取单元26执行时间调整处理。具体地,时间控制器56从存储单元5000获取时间信息(t),其指示通信终端5中时间t。时间控制器56通过发送器/接收器51和发送器/接收器31发出对指示在分布式控制系统2中时间T的时间信息(T)的请求到分布式控制系统2的时间获取单元26。在这种情况下,时间信息(t)与对时间信息(T)的请求同时地被发送。
延迟信息获取单元57从再现控制器53获取指示传输延迟时间D1的传输延迟时间信息(D1),并将其保持特定的一段时间,当多个传输延迟时间信息(D1)被获取时,通过发送器/接收器51与发送器/接收器31输出传输延迟时间信息(D)到信道适应控制控制器27,所述传输延迟时间信息(D)由多个传输延迟时间信息D1指示频率分布信息。该传输延迟时间信息(D)被发送,例如一百帧一次。
显示单元58再现呈现单元55呈现的数据。
编码单元60通过发送器/接收器51和发送器/接收器31将从内置麦克风213或外部附接的相机62以及麦克风63获取的并被编码的视频(声音)数据[E]、从存储单元5000获取的指示在通信终端5中当前时间t0的时间信息(t0)和从存储单元5000获取的指示时间差Δ的时间差信息(Δ)发送到分布式控制系统2的解码单元40。时间差Δ指示由分布式控制系统2独立管理的时间与由通信终端5独立管理的时间之间的差。编码单元60基于从信道适应控制控制器37b接收的由信道适应控制控制信号指示的操作条件来改变编码单元60的操作条件。编码单元60根据新的操作条件通过发送器/接收器51和发送器/接收器31将从照相机62和麦克风63获得的并被编码的视频(声音)数据[E]、从存储单元5000获取的指示在通信终端5中当前时间t0的时间信息(t0)和从存储单元5000获取的指示时间差Δ的时间差信息(Δ)发送到分布式控制系统2的解码单元40。
内置麦克风213,外部附接的相机62和麦克风63等是输入单元的例子和需要解码和编码的设备。输入单元除了视频(声音)数据还可输出触摸数据和嗅觉数据。
输入单元包括各种传感器,例如温度传感器、方向传感器、加速度传感器等。
终端管理系统的功能配置
下面参考图11描述终端管理系统7的功能配置。图11是示出了终端管理系统的功能的功能框图。
如图11所示,终端管理系统7具有图11中所示功能组件11,其包括由图7中所示的CPU201的硬件配置和程序。
具体地,终端管理系统7包括发送器/接收器71a、发送器/接收器71b和认证单元75。终端管理系统7还包括存储单元7000,其通过图7中所示的HDD204构建。存储单元7000中存储有分布目的地选择菜单数据、终端管理表7010和可用终端管理表7020。
在这些中,分布目的地选择菜单是指示如图12所示的这种目的地选择菜单屏幕的数据。
如图13所示,终端管理表7010相关联地管理通信终端5的终端ID、用户证书、当用户使用分布式系统1的服务时的合同信息、通信终端5的终端类型、指示各个通信终端5的本地统一资源定位符(URL)的设置信息、各个通信终端5的执行环境信息、共享ID、安装位置信息以及显示名称信息。其中,执行环境信息包括各个通信终端5的“收藏夹”,“先前Cookie信息”和“缓存文件”,其在每个通信终端5登陆后连同设置信息一起被发送到分布式控制系统2,并且被用于在每个通信终端5上执行的个人服务。
共享ID是当每个用户将与被分布到他/她自己的通信终端5的视频(声音)数据相同的视频(声音)数据分布到其它通信终端5由此执行远程共享处理时所使用的ID,并且是识别其它通信终端和其它通信终端组的识别信息。例如,终端1D“t006”的共享ID是“v006”,终端1D“t007”的共享ID是“v006”,终端1D“t008”的共享ID是“v006”。当与终端ID“v006”的通信终端(5f1,5f2,5f3)的远程共享处理的请求从具有终端ID“t001”的通信终端5a发出时,分布式控制系统2将与分布到通信终端5a的视频(声音)数据相同的视频(声音)数据分布到通信终端(5f1,5f2,5f3)。然而,当通信终端5a和通信终端(5f1,5f2,5f3)显示单元58的分辨率不同时,分布式控制系统2相应地分布视频(声音)数据。
如图5所示,例如,当通信终端(5f1,5f2,5f3)并排设置时,安装位置信息指示安装位置。在图12所示的分布目的地选择菜单中,显示名称信息是指示显示名称的细节的信息。
可用终端管理表格7020与每个终端ID相关联地管理指示通信终端或通信终端组的共享ID,由该终端ID指示的通信终端5与通信终端或通信终端组可以执行远程共享处理。
接下来返回图11描述功能组件.
发送器/接收器71a从通信终端5接收和向通信终端5发送各种数据、请求等。例如,发送器/接收器71a接收来自通信终端5的发送器/接收器51的登录请求并将登录请求的认证结果发送到发送器/接收器51。
发送器/接收器71b从分布式控制系统2接收和向分布式控制系统2发送各种数据、请求等。例如,发送器/接收器71b接收来自分布式控制系统2的发送器/接收器21的分布目的地选择菜单的数据的请求,并将分布目的地选择菜单的数据发送到发送器/接收器21。
认证单元75基于从通信终端5接收的终端ID和用户证书搜索终端管理表7010,从而确定是否有任何相同组合的终端ID和用户证书,由此认证该通信终端5。
实施例的操作或处理
下面参照图17至图24描述本实施例的操作或处理步骤。这些处理步骤由分布式控制系统2的各CPU、通信终端5、终端管理系统7与网络服务器8根据存储在其中的相应程序来执行。
基本的分布处理
首先参考图17描述如图3所示的基本分布式方法中的特定分布处理。图17是示出分布式控制系统的基本分布处理的序列图。尽管这里所述的是一种使用通信终端5a发布登录请求的情况,但是可以使用除了通信终端5a以外的通信终端5执行登录。
如图17所示,当用户打开通信终端5a时,通信终端5a的发送器/接收器51对终端管理系统7的发送器/接收器71a发出登录请求(步骤S21)。这导致发送器/接收器71a接收该登录请求。该登录请求包括通信终端5a终端ID和用户证书。然后,认证单元75获取通信终端5a的终端ID和用户证书。
认证单元75基于终端ID与用户证书搜索终端管理表7010,从而确定操作是否存在任何相同组合的终端ID和用户证书,由此认证该通信终端5a(步骤S22)。以下顺次描述当终端管理表7010中存在相同组合的终端ID和用户证书时,即,当通信终端5a被确定在分布式系统1中作为合适的终端时的情况。
终端管理系统7的发送器/接收器71a发送分布式控制系统2的IP地址到通信终端5a的发送器/接收器51(步骤S23)。分布式控制系统2的IP地址事先由终端管理系统7从分布式控制系统2获得并存储在存储单元7000中。
终端管理系统7的发送器/接收器71b发出浏览器20启动请求给分布式控制系统2的发送器/接收器21(步骤S24)。这使得发送器/接收器21接收浏览器20启动请求。浏览器管理单元22基于发送器/接收器21接收到的启动请求启动浏览器20(步骤S25)。
编码器桥接单元30的产生/选择单元310依照通信终端5a的再现能力(显示器的分辨率等)以及内容的类型产生转换器10(步骤S26)。接着,发送器/接收器21根据浏览器20的指令发出对内容数据[A]的请求至网络服务器8(步骤S27)。响应于此,网络服务器8从其自己的存储单元(未图示)读取所请求的内容数据[A](步骤S28)。然后,网络服务器8发送内容数据[A]到分布式控制系统2的发送器/接收器21(步骤S29)。
浏览器20呈现由发送器/接收器21接收的内容数据[A],由此产生多条帧数据作为多条静止图像(声音)数据并将它们输出到传输FIFO24(步骤S30)。转换器10编码存储在传输F1FO24中的多条帧数据,从而将它们转换成要被输出到通信终端5a的视频(声音)数据[A](步骤S31)。
发送器接收器31发送视频(声音)数据到通信终端5a的发送器/接收器51(步骤S32)。这使得通信终端5a的发送器/接收器51接收视频(声音)数据[A]并将其输出到再现控制器53。
在通信终端5a中,解码单元50从再现控制器53获取视频(声音)数据[A]并将其解码(步骤S33)。之后,扬声器61基于所解码的声音数据[A]再现声音,并且显示单元58基于从解码单元50获取并由呈现单元55呈现的视频数据[A]再现视频(步骤S34)。
使用多个通信终端的复合分布处理
下面参考图18描述通过分布式控制系统使用多个通信终端的通信处理。图18是示出通过分布式控制系统使用多个通信终端的分布处理的顺序图。在此为图6所示模式如通信终端5描述了特定的处理。因为这里也执行类似于步骤S21至S29的登录处理、浏览器启动等,所以首先描述对应于步骤S29的处理。
如图18所示,分布式控制系统2的发送器/接收器21从网络服务器8接收内容数据[A](步骤S41)。浏览器20呈现内容数据[A],从而产生作为多条静止图像(声音)数据的多条帧数据并将它们输出到传输FIFO24(步骤S42)。
当通信终端5f1的编码单元60从相机62以及麦克风63接收作为视频(声音)数据[E]的内容数据的输入(步骤S43)时,编码单元60对内容数据[E]进行编码(步骤S44)。发送器/接收器51发送由编码单元60编码的内容数据[E]到分布式控制系统2的发送器/接收器31(步骤S45)。这导致分布式控制系统2的发送器/接收器31接收内容数据[E]。
分布式控制系统2的解码单元40对由发送器/接收器31接收的内容数据[E]进行解码并将其输出到接收FIFO34(步骤S46)。浏览器20呈现存储在接收FIFO34中的内容数据[E],由此产生多条帧数据[E]作为多条静止图像(声音)数据,并将其输出到传输FIFO24(步骤S47)。在这种情况下,浏览器20以布局输出,所述布局中内容数据[E]与已经获取的内容数据[A]相结合。
此外,当通信终端5f1的操作单元52接收到电子笔P1的笔画操作输入(步骤S48)时,发送器/接收器51发送指示由操作单元52接收的笔画操作的细节的操作数据[p]给分布式控制系统2的发送器/接收器31(步骤S49)。这使得分布式控制系统2的发送器/接收器31接收操作数据[p]。浏览器管理单元22将由发送器/接收器31接收的操作数据[p]输出到浏览器20。
浏览器20呈现操作数据[p],由此产生多条帧数据[p]作为多条静止图像(声音)数据并将它们输出到传输FIFO24(步骤S50)。在这种情况下,浏览器20以布局输出,所述布局中操作数据[p]与已经获得的内容数据([A]、[E])相结合。
转换器10对存储在传输FIFO24中的作为多条静止图像(声音)数据的多条帧数据([A]、[E]、[p])进行编码,从而将其转化成要被分布到通信终端5a的视频(声音)数据([A]、[E]、[p])(步骤S51)。
发送器/接收器31从包括转换器10的编码器桥接单元30获取所编码的视频(声音)数据([A]、[E]、[p]),并且将其发送到通信终端5f1的发送器/接收器51(步骤S52-1)。这使得通信终端5f1的发送器/接收器51接收视频(声音)数据([A]、[E]、[p])并使得通信终端5f1的再现控制器53来从发送器/接收器51获取视频(声音)数据([A]、[E]、[p])。在通信终端5f1,解码单元50从再现控制器53获取视频(声音)数据([A]、[E]、[p])并将其解码(步骤S53-1)。在那之后,扬声器61基于所解码的声音数据([A]、[E])再现声音,且显示单元58基于从解码单元50获得并由呈现单元55呈现的视频数据([A]、[E]、[p])再现视频(步骤S54-1)。
此外,对于通信终端5f2,如步骤S52-1的情况一样,发送器/接收器31从编码器桥接单元30获取所编码的视频(声音)数据([A]、[E]、[p]),并将其发送到通信终端5f2的发送器/接收器51(步骤S52-2)。这使得通信终端5f2的再现控制器53获得视频(声音)数据([A]、[E]、[p])。在通信终端5f1,解码单元50从再现控制器53获取视频(声音)数据([A]、[E]、[p])并将其解码(步骤S53-2)。在那之后,扬声器61基于所解码的声音数据([A]、[E])再现声音,并且显示单元58基于从解码单元50获取并由呈现单元55呈现的视频数据([A]、[E]、[p])再现视频(步骤S54-1)。
因此,与输出到通信终端5f1的视频(声音)相同的视频(声音)也被输出到通信终端5f2。
时间调整的处理
下面参考图19描述时间调整的处理。图19是示出时间调整的处理的顺序图。
为了获得指示当发送器/接收器51发出时间信息(T)的请求到分布式控制系统2时的时间点的时间,通信终端5的时间控制器56从存储单元5000获取在通信终端5中的时间信息(ts)(步骤S81)。发送器/接收器51发出时间信息(T)的请求到发送器/接收器31(步骤S82)。在这种情况下,时间信息(ts)是与时间信息(T)的请求一同发送的。
为了获得指示当发送器/接收器31在步骤S82接收请求时的时间点的时间,分布式控制系统2的时间获取单元26从时间管理单元25获取在分布式控制系统2中的时间信息(Tr)(步骤S83)。为了获得指示当发送器/接收器31在步骤S82响应请求时的时间点的时间,时间获取单元26还从时间管理单元25获取分布式控制系统2中的时间信息(Ts)(步骤S84)。然后,发送器/接收器31发送时间信息(ts,Tr,Ts)至发送器/接收器51(步骤S85)。
为了获得指示当发送器/接收器51在步骤S85接收响应时的时间点的时间,通信终端5的时间控制器56从存储单元5000获取通信终端5中的时间信息(tr)(步骤S86)。
通信终端5的时间控制器56计算分布式控制系统2与通信终端5之间的时间差Δ(步骤S87)。此时间差Δ表示为下面的公式(1)。
Δ=((Tr+Ts)/2)-((ts+tr)/2)  (1)
时间控制器56将指示时间差Δ的时间差信息(Δ)存储在存储单元5000中(步骤S88)。这一系列的时间调整处理被执行,例如,每分钟定期地。
下行信道适应控制控制的处理
下面参考图20描述对从分布式控制系统2发送到通信终端5(下行)的数据的信道适应控制控制的处理。图20是示出对从分布式控制系统传送到通信终端的数据进行信道适应控制控制的顺序图。
首先,分布式控制系统2的信道适应控制控制器27计算再现延迟时间信息(U)并输出其到编码器桥接单元30(步骤S101),再现延迟时间信息(U)指示通过缓冲直到通信终端5的再现控制器53再现视频(声音)数据以延迟再现的再现延迟时间U。
发送器/接收器31从编码器桥接单元30获取再现延迟时间信息(U)并发送其至通信终端5的发送器/接收器51(步骤102)。这导致通信终端5的发送器/接收器51接收再现延迟时间信息(U)。编码器桥接单元30将指示时间T0的时间信息(T0)作为时间戳添加到例如从传输FIFO24获取并被编码的视频(声音)数据中,所述时间T0指示从时间管理单元25获取的时间点(步骤S103)。发送器/接收器31发送分布式控制系统2的视频(声音)数据和时间信息(T0)到通信终端5的发送器/接收器51(步骤S104)。这使得通信终端5的发送器/接收器51接收分布式控制系统2的时间信息(T0)并输出视频(声音)数据和时间信息(T0)到再现控制器53。
在通信终端5,基于在步骤S102获取的再现延迟时间信息(U),在步骤104获取的时间信息(T0)和在步骤S88存储在存储单元5000中的时间差信息(Δ),再现控制器53等待直到通信终端5中的时间(T0+U-Δ),然后输出在步骤S104获取的视频(声音)数据到解码单元50,因此导致扬声器61输出声音并导致显示单元58通过呈现单元55再现视频(步骤S105)。这使得只有通信终端5在下文公式(2)所表示的再现延迟时间U的范围内接收的视频(声音)数据被再现,其通过下面的,而范围之外的视频(声音)数据过分延迟并被删除而不再现。
U≥(t0+Δ)-T0  (2)
再现控制器53从存储单元5000读取在通信终端5中的当前时间t0(步骤S106)。该时间t0指示当通信终端5从分布式控制系统2接收视频(声音)数据时的时间点的通信终端5中的时间。再现控制器53进一步读取时间差信息(Δ),其指示来自存储单元5000的在步骤S88存储的时间差Δ(步骤S107)。然后,再现控制器53计算传输延迟时间D1,其指示从当视频(声音)数据从分布式控制系统2被发送时到当其被通信终端5接收时的时间(步骤S108)。这通过下面公式(3)计算;当通信网络9变得拥塞时,传输延迟时间D1变得更长。
D1=(t0+Δ)-T0  (3)
延迟信息获取单元57从再现控制器53获取指示传输延迟时间D1的传输延迟时间信息(D1),并将其保持特定的一段时间,并且当多个发送延迟时间信息(D1)被获取时,将根据多个传输延迟时间D1指示频率分布信息的传输延迟时间信息(D)输出至传输器/接收器51(步骤S109)。发送器/接收器51发送传输延迟时间信息(D)到分布式控制系统2的发送器/接收器31(步骤S110)。这使得分布式控制系统2的发送器/接收器31接收传输延迟时间信息(D)并输出传输延迟时间信息(D)到信道适应控制控制器27。
分布式控制系统2的信道适应控制控制器27基于传输延迟时间信息(D)重新计算再现延迟信息U'并计算操作条件,例如,帧速率和转换器10的数据分辨率并把它们输出到编码器桥接单元30(步骤S111)。换句话说,信道适应控制控制器27基于传输延迟时间信息(D)和数据的大小(例如,比特数或字节数)来改变编码器桥接单元30的操作。
发送器/接收器31获取来自编码器桥接单元30的再现延迟时间信息(U'),其指示在步骤S111计算的新再现延迟时间U',并传输再现延迟时间信息(U')至通信终端5的发送器/接收器51(步骤S112)。这导致通信终端5的发送器/接收器51接收再现延迟时间信息(U')。
编码器桥接单元30的转换器10基于指示操作条件的信道适应控制控制信号进一步改变转换器10的操作条件(步骤S113)。例如,当传输延迟时间D1过长时,当再现延迟时间U根据传输延迟时间D1变长时,扬声器61和显示单元58的再现时间变得太延迟。如此,有使再现延迟时间U更长的局限。考虑到这种情况,信道适应控制控制器27不仅使编码器桥接单元30将再现延迟时间U变为再现延迟时间U',而且还使转换器10减小视频(声音)数据的帧速率并减小视频(声音)数据的分辨率,从而解决通信网络9的拥塞。这使编码器桥接单元30,如步骤103,根据改变之后的操作条件将所述当前时间信息(T0)作为时间戳加入到视频(声音)数据[A]。视频(声音)数据被添加(步骤S114)。发送器/接收器31发送视频(声音)数据和分布式控制系统2的时间信息(T0)到通信终端5的发送器/接收器51(步骤S115)。这使得通信终端5的发送器/接收器51接收视频(声音)数据和分布式控制系统2的时间信息(T0)并输出视频(声音)数据和时间信息(T0)到再现控制器53。
在通信终端5,基于在步骤112获取的再现延迟时间信息(U')、在S115获取的时间信息(T0)以及在步骤S88存储在存储单元5000的时差信息(Δ),再现控制器53等待直到通信终端5中的时间(T0+U'-Δ),然后输出视频(声音)数据到解码单元50,因此,如步骤105,使扬声器61输出声音并使显示单元58通过呈现单元55再现视频(步骤S116)。在那之后,在步骤S106及以后的处理连续进行。如此,连续执行下行信道适应控制控制的处理。
上行信道适应控制控制的处理
下面参考图21描述对从通信终端5发送到分布式控制系统2(上行)的数据进行信道适应控制控制。图20是示出对从通信终端5发送到分布式控制系统2(上行)的数据的信道适应控制控制的处理的顺序图。首先,通信终端5的编码单元60编码由摄像机62以及麦克风63输入的内容数据作为视频(声音)数据[E](步骤S121)。在这种情况下,编码单元60从存储单元5000获得指示通信终端5中当前时间t0的时间信息(t0)和指示时间差Δ的时间差信息Δ并且不编码他们。发送器/接收器/51发送视频(声音)数据[E]、时间信息(t0)和时间差信息Δ到分布式控制系统2的发送器/接收器/31(步骤S122)。这使得分布式控制系统2的发送器/接收器/31接收视频(声音)数据[E]、时间信息(t0)和时间差信息(Δ)。
在分布式控制系统2中,解码单元40从时间管理单元25读取时间T0,其指示当在步骤S112视频(声音)数据[E]等被接收时的时间点(步骤S123)。然后,解码单元40计算传输延迟时间d1,其指示从当视频(声音)数据从通信终端5被发送时到当其被分布式控制系统2接收时的时间(步骤S124)。通过下面的公式(4)进行此计算;当通信网络9变得拥塞时,所述传输延迟时间d1变得更长。
d1=T0-(t0+Δ)  (4)
如同延迟信息获取单元57,分布式控制系统2的延迟信息获取单元37a从解码单元40获取指示传输延迟时间d1的传输延迟时间信息(d1)并将其保持特定的一段时间,并且当多条传输延迟时间信息(d1)被获取时,将传输延迟时间信息(d)输出到信道适应控制控制器37b,所述传输延迟时间信息(d)指示多个传输延迟时间d1的频率分布信息(步骤S125)。
基于所述传输延迟时间信息(d),信道适应控制控制器37b计算编码单元60的操作条件(步骤S126)。发送器/接收器31传送指示诸如帧速率和数据分辨率这样的操作状态的信道适应控制控制信号至通信终端5的发送器/接收器51(步骤S217)。这使得通信终端5的发送器/接收器51接收信道适应控制控制信号。换句话说,如图20所示的信道适应控制控制的情况下(下行),信道适应控制信号被输出到在相同分布式控制系统2中的编码器桥接单元30,并且与此相反,在如图21所示的信道适应控制控制的情况下(上行),信道适应控制信号通过通信网络9从分布式控制系统2被发送到通信终端5。
基于由发送器/接收器51接收的操作条件,编码单元60改变编码单元60的操作条件(步骤S128)。然后,编码单元60基于新的操作条件执行与步骤S121相同的处理(步骤S129)。发送器/接收器51如同步骤S122将从照相机62和麦克风63获取的并且被编码的视频(声音)数据[E],从存储单元5000获取的指示在通信终端5中的当前时间t0的时间信息(t0),和也从存储单元5000获取的指示时间差Δ的时间差信息(Δ)发送到分布式控制系统2的发送器/接收器31(步骤S130)。这使得分布式控制系统2的发送器/接收器31接收所述视频(声音)数据[E]、时间信息(t0)和时间差信息(Δ)。在那之后,步骤S123和之后的处理被连续执行。如此,连续执行上行信道适应控制控制的处理。
多显示器的处理
下面参考图22至图24描述多显示器的处理。图22至图24是示出图5所示的多显示器的处理的顺序图。
在此描述在通信终端5a上被再现也在通信终端(5f1,5f2,5f3)上以分离的方式再现的再现视频(声音)[XYZ]的例子。
用于显示网络内容的浏览器20被表示为“浏览器20a”,且用于显示用户设置屏幕的浏览器20被表示为“浏览器20b”。首先描述相对应于图17的步骤S30的处理。
首先,分布式控制系统2的浏览器20a呈现从网络服务器8获取的网络内容数据[XYZ],由此产生多条帧数据作为多条静止图像(声音)数据并将它们输出到传输FIFO24(步骤S201)。转换器10编码存储在传输FIFO24中的多条帧数据,从而将它们转换为能够被传输到通信终端5a的数据格式的视频(声音)数据[XYZ](步骤S202)。
发送器/接收器31发送由转换器10转换之后的视频(声音)数据[XYZ]到通信终端5a的发送器/接收器51(步骤S203)。这使得通信终端5a的发送器/接收器51接收视频(声音)数据[XYZ]并将其输出到再现控制器53。
在通信终端5a中,解码单元50从再现控制器53获取视频(声音)数据[XYZ]并将其解码(步骤S204)。此后,扬声器61基于所解码的声音数据[XYZ]再现声音,并且显示单元58基于从解码单元50获取并由呈现单元55呈现的视频数据[XYZ]再现视频(步骤S205)。
在显示单元58上显示的屏幕由通信终端5a的用户切换到菜单请求屏幕(未标出),并且操作单元52接收对菜单请求屏幕上的“分布目的地选择菜单”(未示出)的按压(步骤S206)。这使得发送器/接收器51发送用于切换到分布目的地选择菜单的请求到终端管理系统7的发送器/接收器71a(步骤S207)。这使终端管理系统7的发送器/接收器71a接收用于切换到所述分布目的地选择菜单的请求。该请求包括通信终端5a的终端ID。
发送器/接收器71b发送浏览器20b启动请求到分布式控制系统2的发送器/接收器21(步骤S208)。这使得分布式控制系统2的发送器/接收器21接收浏览器20b启动请求并发出浏览器20b启动请求到浏览器管理单元22。
浏览器管理单元22启动浏览器20b(步骤S209)。编码器桥接单元30的产生/选择单元310将从浏览器20a到转换器10(例如,转换器10a)的输出切换到从浏览器20b到转换器10(例如,转换器10b)的输出(步骤S210)。当通信终端5a和另一通信终端5(例如,通信终端5b)在步骤S203以共享的转换器10(例如,转换器10a)接收视频(声音)数据时,编码器桥接单元30的产生/选择单元310重新产生转换器10(例如,转换器10b),因为其它通信终端5(例如,通信终端5b)使用用于浏览器20a的转换器10(例如,转换器10a)。
发送器/接收器21依照浏览器20b的指令发送分布目的地选择菜单的请求到终端管理系统7的发送器/接收器71b(步骤S211)。在这种情况下,通信终端5a的终端ID也被发送。这使终端管理系统7的发送器/接收器71b接收分布目的地选择菜单的请求并输出通信终端5a的终端ID到存储单元7000。
响应于此,终端管理系统7的存储单元7000基于终端ID搜索可用终端管理表7020,从而提取相应的共享ID(步骤S212)。该共享ID指示可供通信终端5a执行远程共享处理的通信终端5。如图14所示,因为通信终端5a的终端ID为“t001”,所以被提取的共享ID为“v003”和“v006”。
存储单元7000基于所提取的共享ID进一步搜索终端管理表7010,从而提取指示相应的显示名称的显示名称信息(步骤S213)。如图13所示,对应于所提取的共享ID“v003”和“v006”的显示名称分别是“东京总公司10F MFP”和“大阪展览馆1F多显示器”。
发送器/接收器71b发送分布目的地选择菜单数据[M]作为内容数据给分布式控制系统2发送器/接收器21(步骤S214)。这使得分布式控制系统2的发送器/接收器21接收分布目的地选择菜单数据[M]并将其输出给浏览器20b。如图12所示,所述分布目的地选择菜单数据[M]包括复选框、共享ID和显示器名称。
如图23中所示,浏览器20b呈现指示从终端管理系统7获取的分布目的地选择菜单数据[M]的内容数据,从而产生多条帧数据作为多条静止图像(声音)数据并将它们输出到传输F1FO24(步骤S221)。转换器10编码存储在传输FIFO24中的多条图像(声音)数据[M],从而将它们转换成能够被传输到通信终端5a的数据格式的视频(声音)数据[M](步骤S222)。
发送器/接收器31发送由转换器10转换之后的视频(声音)数据[M]到通信终端5a的发送器/接收器51(步骤S223)。这使得通信终端5a的发送器/接收器51接收视频(声音)数据[M],并将其输出到再现控制器53。
在通信终端5a中,解码单元50从再现控制器53获取视频(声音)数据[M]并将其解码(步骤S224)。在那之后,显示单元58,如图12所示,基于从解码单元50获取并由呈现单元55呈现的视频数据[XYZ]再现视频(步骤S225)。
在如图12所示的分布目的地选择菜单中,当共享ID“v006”的复选框被选中并且“确定”按钮被用户按下时,操作单元52接收由用户输入的操作(步骤S226)。
发送器/接收器51发送检查结果作为操作数据给分布式控制系统2的发送器/接收器31(步骤S227)。这使得分布式控制系统2的发送器/接收器31接收检查结果作为操作数据并将其输出到浏览器20b。
浏览器20b从检查结果中选择共享ID(步骤S228)。发送器/接收器21依照浏览器20b的指令发送添加分布目的地的请求到终端管理系统7的发送器/接收器71b(步骤S229)。添加分布目的地的请求包括在步骤S227选择的共享ID。这使得终端管理系统7的发送器/接收器71b接收添加分布目的地的请求,并输出共享ID到存储单元7000。然后,浏览器20b结束其作用(步骤S230)。这使得编码器桥接单元30的产生/选择单元310将从浏览器20b向转换器10的输出返回到从浏览器20a向转换器10的输出(步骤S231)。
如图24中所示,在终端管理系统7的存储单元7000中,基于通过步骤S229被发送的共享ID搜索终端管理表7010,从而提取相应的终端ID和安装位置信息(步骤S241)。发送器/接收器71b发送添加分布目的地的指令到分布式控制系统2的发送器/接收器21(步骤S242)。添加分布目的地的指令包括在步骤S241提取的终端ID和安装位置信息。这使得分布式控制系统2的发送器/接收器21接收添加分布目的地的指令,并输出添加分布目的地的指令到浏览器管理单元22。在此所包括的是三组终端ID和安装位置信息,即,终端ID和安装位置信息分别是“t006”和“左”,终端ID与安装位置信息分别是“t007”和“中间”,以及终端ID和安装位置信息分别为“t008”和“右”。
编码器桥接单元30的产生/选择单元310产生用于多显示器的转换器10(步骤S243)。在这种情况下,编码器桥接单元30的产生/选择单元310从浏览器管理单元22获得终端ID和安装位置信息。
在步骤S243产生的转换器10的分割单元13分割存储在传输FIFO24中的作为多条静止图像(声音)数据的多条帧数据[XYZ],并且编码单元19对所分割的多条帧数据进行编码(步骤S244)。
发送器/接收器31基于终端ID(“t006”)和安装位置信息(“左”)发送由编码器桥接单元30编码的视频(声音)数据[X]到通信终端5f1的发送器/接收器51(步骤S245-1)。这使得通信终端5f1的发送器/接收器51接收视频(声音)数据[X]并将其输出到再现控制器53。
在通信终端5f1,解码单元50从再现控制器53获取视频(声音)数据[X]并将其解码(步骤S246-1)。在那之后,扬声器61基于所解码的声音数据[X]再现声音,并且显示单元58基于从解码单元50获取并由呈现单元55呈现的视频数据[X]再现视频(步骤S247-1)。
类似地,发送器/接收器31基于终端ID(“t007”)和安装位置信息(“中间”)发送由编码器桥接单元30编码的视频(声音)数据[Y]到通信终端5f2的发送器/接收器51(步骤S245-2)。这使得通信终端5f2的发送器/接收器51接收视频(声音)数据[Y],并将其输出到再现控制器53。
在通信终端5f2中,解码单元50从再现控制器53获取视频(声音)数据[Y]并将其解码(步骤S246-2)。在那之后,扬声器61基于所解码的声音数据[Y]再现声音,并且显示单元58基于从解码单元50获取并由呈现单元55呈现的视频数据[Y]再现视频(步骤S247-2)。
进一步类似地,发送器/接收器31基于终端ID(“t008”)和安装位置信息(“右”)发送由编码器桥接单元30编码的视频(声音)数据[Z]到通信终端5f3的发送器/接收器51(步骤S235-3)。这使得通信终端5f3的发送器/接收器51接收视频(声音)数据[Z],并将其输出到再现控制器53。
在通信终端5f3中,解码单元50从再现控制器53获取视频(声音)数据[Z]并将其解码(步骤S246-3)。在那之后,扬声器61基于所解码的声音数据[Z]再现声音,并且显示单元58基于从解码单元50获取并由呈现单元55呈现的视频数据[Z]再现视频(步骤S247-3)。
通过改变参数组的信道适应控制
下面参照图25至图27更详细地描述上行信道适应控制控制的处理。本实施例示出一个例子,其中,当通信终端5根据通信网络的通信信道的质量(例如,传输延迟时间的长度)再现视频(声音)数据时,信道适应控制控制器27改变影响再现质量的一个或多个参数。以下,特别描述一种改变其中组合有多个参数的参数组的情况。图25是示出包含在参数组中的参数的例子的示图。
在图25中,当视频(声音)数据是视频数据时,参数组的例子包括五个参数,用于改变再现延迟时间、目标帧速率、分辨率(或颜色深度)和信道数。当视频(声音)数据是声音数据时,本示例包括五个参数,用于改变再现延迟时间、目标比特率、采样速率、量化比特率和信道数目。信道适应控制控制器27在接收侧的通信终端5的解码能力的范围内调整这些参数。
当视频(声音)数据是视频数据时,信道适应控制控制器27改变参数如下:即,当参数包括视频数据的比特率时,信道适应控制控制器27随着传输延迟时间D变长而降低比特率。当参数包括视频数据的帧速率时,信道适应控制控制器27随着传输延迟时间D变长而降低帧速率。当参数包括视频数据的分辨率时,信道适应控制控制器27随着传输延迟时间D变长而降低分辨率。当参数包括视频数据的颜色深度时,信道适应控制控制器27随着传输延迟时间D变长而降低颜色深度。当参数包括信道数时,信道适应控制控制器27随着传输延迟时间D变长而降低信道数。
当视频(声音)数据是声音数据时,信道适应控制控制器27改变参数如下:即,当参数包括声音数据的比特率时,信道适应控制控制器27随着传输延迟时间变长而降低比特率。当参数包括声音数据的采样速率时,信道适应控制控制器27随着传输延迟时间变长而降低采样速率。当参数包括声音数据的量化比特率时,信道适应控制控制器27随着传输延迟时间变长而降低量化比特率。当参数包括声音数据的颜色深度时,信道适应控制控制器27随着传输延迟时间D变长而降低颜色深度。当参数包括信道数时,信道适应控制控制器27随着传输延迟时间D变长而降低信道数。
当改变参数时,信道适应控制控制器27可根据优先级,例如,哪个参数首先被改变,来改变参数。例如,即使改变一参数降低了再现质量,通常通信终端5的用户难以识别质量的下降,那么首先改变该参数。改变特定参数的例子如下:即使帧速率在30fps到15fps之间变化时用户的感官评价通常不会改变,帧速率在所述范围内变化。另一个例子如下:当视频(声音)数据包括视频数据和声音数据时,与视频有关的参数优先于与声音有关的参数首先被改变,因为视频质量的降低通常容易识别。还有一个例子如下:当该视频(声音)数据包括视频数据和声音数据时,当它不能以适当的质量发送到接收侧的通信终端5时,甚至当视频(声音)数据的质量减小时,参数被改变以便停止视频数据的分布并仅执行声音数据的分布。
根据用户的选择,信道适应控制控制器27可以改变参数。换句话说,信道适应控制控制器27不能为视频(声音)数据的再现质量的下降统一地确定参数。例如,当帧速率在15fps到1fps之间变化时,在接收侧的通信终端5的用户可以识别视频(声音)数据的再现质量的降低。在这种情况下,用户被允许选择参数,其优先调整关于帧速率是否应该降低或另一个参数应该降低。这是因为一些用户认为当视频(声音)数据是具有更少的运动的内容时降低帧速率没问题,而其他用户希望当输出信息是具有快速运动的内容时,即使以目标比特率降低也保持帧速率。
以下描述当信道适应控制控制器27确定去改变参数组时的确定方法的例子。当通信信道的质量是质量确定阈值的近似值时,当使用的参数组根据通信信道质量的轻微波动频繁地切换时,在接收侧的通信终端5无法流畅地再现。鉴于此,当增加和减小参数组的质量时,可通过不同标准避免了频繁切换。
图26是示出参数组的质量时标准的示例的示图。如图26所示的例子包括四个参数组从最大化了视频(声音)数据质量的高质量参数组A到最小化了视频(声音)数据质量的低质量参数组D。在图26所示的例子中,当减小参数组的质量时的阈值被设置为小于当增加所述参数组合的质量时的阈值。这使得信道适应控制控制器27防止参数组发生频繁的切换。
图27是用于示出当图26中的标准被应用时参数组的变化的示图。在目前使用了参数组C时,当在通信信道的质量是1.5Mbps的情况继续特定一段时间时,信道适应控制控制器27改变参数组为参数组B。此后,即使当通信信道的质量变得小于1.5Mbps,信道适应控制控制器27也保持该参数组为参数组B,因为降低时阈值为1.0Mbps或更多。当通信信道的质量的小于1.0Mbps特定一段时间的情况下,信道适应控制控制器27改变参数组为参数组C。因此,当增大和减小参数组的质量的时标准是不同的;结果,在参数组被改变之后,改变之前的状态是不容易通过通信信道质量的波动立即恢复的。合适地确定对这样情况的处理,在该情况中,通信信道的质量的恶化到即使参数的质量最小化时也无法适当的再现的程度。用于这种情况的处理的实例包括断开会话,和保持会话,直到通信信道的质量恢复。
如以上参照特定的例子所描述的,在根据本实施例的分布式系统1中,分布式控制系统2包括在云上执行呈现的浏览器20和执行编码的编码器桥接单元30等。这使得浏览器20基于以某种描述语言描述的内容数据执行多条帧数据作为多条静止图像(声音)数据,并且使得编码器桥接单元30转换多条帧数据为能够通过通信网络9被发送的视频(声音)数据。在这之后,分布式控制系统2分布视频(声音)数据至通信终端5。结果,网络内容可被流畅地再现在通信终端5侧而不用更新其自己的浏览器并不用花费精力和成本来提高CPU、OS、RAM等的规范。这消除了内容的丰富增加通信终端5上的负载的问题。
特别地,浏览器20使能实时通信,并且转换器10对浏览器20所产生的帧数据执行实时编码。因此,不同于其中DVD播放器选择并分布例如按需分布视频(声音)数据所示的非实时(即预编码)视频(声音)数据的情况,分布式控制系统2在分布之前呈现即刻获取的内容,由此产生多条帧数据,然后对其进行编码,从而允许实时视频(声音)数据的分布。
分布式控制系统2基于从通信终端5接收的传输延迟时间信息改变要被分布到通信终端5的视频(声音)数据的再现质量的参数,从而即使在内容的丰富或通信信道例如因特网变得拥塞时,也尽可能流畅地在通信终端5上产生再现数据的效果。
补充说明
根据本实施例的分布式系统1包括作为分离系统的终端管理系统7和分布式控制系统2。例如,终端管理系统7与分布式控制系统2例如通过使分布式控制系统2具有终端管理系统7的功能,可构造为集成系统。
根据上述实施例,分布式控制系统2和终端管理系统7可以由单个计算机构成或由其中各部分(功能、装置或存储单元)被任意划分和指定的多个计算机构成。
诸如CD-ROM和HDD的存储上述实施例的程序的存储介质,可以在国内或国外提供。
根据本实施例,基于从通信终端接收的传输延迟时间,分布式控制系统改变要被分布给通信终端的数据的再现质量的参数,从而即使进行内容的丰富或诸如因特网这样的通信信道变得拥塞时,也尽可能流畅地在通信终端上产生再现数据的效果。
尽管本发明为了完全和清楚的公开参考特定实施进行了描述,但是所附权利要求不限于此,而应被理解为实现本领域技术人员可以想到的清楚落入这里阐述的基本原则里的所有修改和替换结构。

Claims (11)

1.一种通过通信网络分布数据到通信终端的分布式控制系统,所述分布式控制系统包括:
接收器,经配置来从通信终端接收指示从当数据由分布式控制系统分布时到当数据由通信终端接收时的传输延迟时间的传输延迟时间信息;和
改变单元,经配置来基于由接收器接收的传输延迟时间信息,当数据由通信终端再现时,改变再现质量的参数。
2.根据权利要求1所述的分布式控制系统,其中参数包括用于延迟再现在通信终端上的数据的再现延迟时间。
3.根据权利要求2所述的分布式控制系统,还包括发送器,经配置来发送指示再现延迟时间的再现延迟时间信息到通信终端。
4.根据权利要求2或3所述的分布式控制系统,其中所述改变单元被配置为使再现延迟时间随传输延迟时间的变长而变长。
5.根据权利要求1至3中任何一项所述的分布式控制系统,其中
数据包括视频数据,
参数包括视频数据的比特率、帧速率,分辨率、颜色深度和信道数目中至少一个,
当参数包括视频数据的比特率时,改变单元被配置为随传输延迟时间的变长而降低比特率,
当参数包括视频数据的帧速率时,改变单元被配置为随传输延迟时间的变长而降低帧速率,
当参数包括视频数据的分辨率时,改变单元被配置为随传输延迟时间的变长而降低分辨率,
当参数包括视频数据的颜色深度时,改变单元被配置为随传输延迟时间的变长而降低颜色深度,以及
当参数包括视频数据的信道数目时,改变单元被配置为随传输延迟时间的变长而降低信道数目。
6.根据权利要求1至3中任何一项所述的分布式控制系统,其中
数据包括声音数据,
参数包括声音数据的比特率、采样速率,量化比特率和信道数目中至少一个,
当参数包括声音数据的比特率时,改变单元被配置为随传输延迟时间的变长而降低比特率,
当参数包括声音数据的采样速率,改变单元被配置为随传输延迟时间的变长而降低采样速率,
当参数包括声音数据的量化比特率时,改变单元被配置为随传输延迟时间的变长而降低量化比特率,以及
当参数包括声音数据的信道数目时,改变单元被配置为随传输延迟时间的变长而降低信道数目。
7.根据权利要求1至3中任何一项所述的分布式控制系统,其中改变单元被配置为改变参数,从而用于降低再现质量的参数的阈值被设置为小于用于提高再现质量的参数的阈值。
8.根据权利要求1至3中任何一项所述的分布式控制系统,其中所述改变单元被配置为根据传输延迟时间的长度来改变参数组,在所述参数组中组合有多个参数。
9.根据权利要求8所述的分布式控制系统,其中参数组是第一参数和第二参数的组合,
改变单元被配置成改变所述第二参数,从而当改变第一参数以降低再现质量时第一参数不超过阈值。
10.一种由分布式控制系统执行的用于通过通信网络分布数据到通信终端的分布式控制方法,所述分布式控制方法:
从通信终端接收指示从当数据由分布式控制系统分布时到数据由通信终端接收时的传输延迟时间的传输延迟时间信息;和
基于在接收时接收的传输延迟时间信息,当数据由通信终端再现时改变再现质量的参数。
11.一种分布式控制系统,用于通过通信网络分布数据到通信终端,所述分布式控制系统包括:
接收器,经配置来从通信终端接收从当数据由分布式控制系统分布时到当数据由通信终端接收时的时间;和
改变单元,经配置来基于由接收器接收的时间和数据的大小,改变转换器的操作,所述转换器经配置来将数据转换为要分布的数据。
CN201410177357.7A 2013-03-15 2014-03-14 分布式控制系统和分布式控制方法 Expired - Fee Related CN104052798B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2013-054413 2013-03-15
JP2013054413 2013-03-15
JP2013-206406 2013-10-01
JP2013206406 2013-10-01
JP2014004186 2014-01-14
JP2014-004186 2014-01-14
JP2014-031507 2014-02-21
JP2014031507A JP6354197B2 (ja) 2013-03-15 2014-02-21 配信制御システム、配信制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN104052798A true CN104052798A (zh) 2014-09-17
CN104052798B CN104052798B (zh) 2018-06-29

Family

ID=50423960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410177357.7A Expired - Fee Related CN104052798B (zh) 2013-03-15 2014-03-14 分布式控制系统和分布式控制方法

Country Status (4)

Country Link
US (1) US9294533B2 (zh)
EP (1) EP2790375B1 (zh)
JP (1) JP6354197B2 (zh)
CN (1) CN104052798B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554594A (zh) * 2015-10-27 2016-05-04 东莞酷派软件技术有限公司 一种控制处理方法及用户终端
CN107453759A (zh) * 2016-06-01 2017-12-08 卡斯柯信号有限公司 安全编码系统中数据延时发送安全处理方法
CN110174881A (zh) * 2019-06-12 2019-08-27 浩博泰德(北京)科技有限公司 一种分布式控制装置及系统
CN111034153A (zh) * 2017-07-31 2020-04-17 株式会社理光 通信系统,分散处理系统,分布式处理方法和记录介质
CN112214030A (zh) * 2020-09-11 2021-01-12 中国航空工业集团公司成都飞机设计研究所 一种无人机一站控双机显控方法
CN112764672A (zh) * 2019-01-17 2021-05-07 爱思开海力士有限公司 存储器控制器、存储装置及其控制方法以及记录介质
CN114827673A (zh) * 2022-04-24 2022-07-29 北京北航天宇长鹰无人机科技有限公司 无人设备及其远程控制系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247875B (zh) 2013-03-15 2019-03-08 株式会社理光 分发控制系统和分发系统
JP2014200076A (ja) 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
WO2015045788A1 (ja) 2013-09-26 2015-04-02 株式会社リコー 配信管理装置、配信方法、及びプログラム
JPWO2015045787A1 (ja) 2013-09-27 2017-03-09 株式会社リコー 配信管理装置、端末及び配信管理方法
US9832521B2 (en) * 2014-12-23 2017-11-28 Intel Corporation Latency and efficiency for remote display of non-media content
JP2017092646A (ja) * 2015-11-06 2017-05-25 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及びプログラム
WO2019143448A1 (en) 2018-01-16 2019-07-25 Qsc, Llc Cloud based audio/video operating system
CN116700888A (zh) 2018-01-16 2023-09-05 Qsc公司 实现虚拟机的音频,视频和控制系统
CN114846837B (zh) * 2019-12-18 2024-10-18 西门子工业软件有限公司 传输速率适配

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080109865A1 (en) * 2006-11-03 2008-05-08 Apple Computer, Inc. Dynamic adjustments of video streams
CN101401055A (zh) * 2006-02-15 2009-04-01 菲博比特有限公司 分布式同步和定时系统
CN101707954A (zh) * 2007-04-11 2010-05-12 Fts电脑技术有限公司 有效及可靠地传输时间触发以太网信息的通信方法及设备
US20120257671A1 (en) * 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of Latency in Video Distribution Networks Using Adaptive Bit Rates
US20130039177A1 (en) * 2010-05-10 2013-02-14 Nec Corporation Remote mobile communication system, server device and control method of remote mobile communication system

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3824606B2 (ja) 1995-09-04 2006-09-20 株式会社東芝 リアルタイムデータ伝送用情報提供システム
US5991811A (en) 1995-09-04 1999-11-23 Kabushiki Kaisha Toshiba Information transmission system utilizing both real-time data transmitted in a normal-in-time direction and in a retrospective-in-time direction
JPH10210107A (ja) * 1997-01-28 1998-08-07 Nippon Telegr & Teleph Corp <Ntt> 通信制御方法
JP2002208953A (ja) * 2001-01-09 2002-07-26 Brother Ind Ltd 通信システム
JP2004147030A (ja) * 2002-10-23 2004-05-20 Tama Tlo Kk 受信装置、データ通信システム及びその通信方法
EP1754373A4 (en) * 2004-02-04 2007-09-26 Goldpocket Interactive Inc SYNCHRONIZATION AND AUTOMATION IN AN INTERACTIVE TELEVISION ENVIRONMENT
US7984179B1 (en) * 2004-06-29 2011-07-19 Sextant Navigation, Inc. Adaptive media transport management for continuous media stream over LAN/WAN environment
JP4546202B2 (ja) * 2004-09-28 2010-09-15 キヤノン株式会社 映像受信装置とその制御方法とプログラム及び記憶媒体
JP2006237865A (ja) * 2005-02-23 2006-09-07 Yamaha Corp 通信装置
US8918450B2 (en) 2006-02-14 2014-12-23 Casio Computer Co., Ltd Server apparatuses, server control programs, and client apparatuses for a computer system in which created drawing data is transmitted to the client apparatuses
JP5046527B2 (ja) 2006-02-14 2012-10-10 カシオ計算機株式会社 コンピュータシステムのサーバ装置及びサーバ制御プログラム
US8078972B2 (en) * 2006-09-15 2011-12-13 Citrix Systems, Inc. Methods and interfaces for displaying performance data related to a current remote access session
US7978617B2 (en) * 2006-09-15 2011-07-12 Citrix Systems, Inc. Methods for providing performance improvement recommendations
JP4998021B2 (ja) 2007-03-08 2012-08-15 カシオ計算機株式会社 サーバ装置、クライアント装置及びプログラム
US7936790B2 (en) * 2007-08-30 2011-05-03 Silicon Image, Inc. Synchronizing related data streams in interconnection networks
US8127233B2 (en) 2007-09-24 2012-02-28 Microsoft Corporation Remote user interface updates using difference and motion encoding
US7664862B2 (en) 2008-01-14 2010-02-16 International Business Machines Corporation Browser-based proxy server for customization and distribution of existing applications
US9832442B2 (en) * 2008-01-15 2017-11-28 Echostar Technologies Llc System and method of managing multiple video players executing on multiple devices
US8254704B2 (en) 2008-10-30 2012-08-28 Microsoft Corporation Remote computing platforms providing high-fidelity display and interactivity for clients
EP2393294B1 (en) * 2009-01-27 2018-07-11 Nec Corporation Delivery system, delivery method, server device, program and client device
JP5811641B2 (ja) * 2010-09-07 2015-11-11 株式会社リコー Tv会議システム、映像送信方法、及び映像送信装置
ES2903148T3 (es) * 2010-09-13 2022-03-31 Contour Ip Holding Llc Cámara de vídeo digital portátil configurada para el control y visualización de la adquisición de imágenes remotas
US8930979B2 (en) * 2010-11-11 2015-01-06 Time Warner Cable Enterprises Llc Apparatus and methods for identifying and characterizing latency in a content delivery network
US9154826B2 (en) * 2011-04-06 2015-10-06 Headwater Partners Ii Llc Distributing content and service launch objects to mobile devices
US8838787B2 (en) * 2011-11-30 2014-09-16 Harman International Industries, Incorporated System for optimizing latency in an AVB network
US9497492B2 (en) 2013-03-15 2016-11-15 Ricoh Company, Limited Distribution control system, distribution system, distribution control method, and computer-readable storage medium
JP6337499B2 (ja) 2013-03-15 2018-06-06 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2014199648A (ja) 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6326855B2 (ja) 2013-03-15 2018-05-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6369043B2 (ja) 2013-03-15 2018-08-08 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6354195B2 (ja) 2013-03-15 2018-07-11 株式会社リコー 配信システム、配信方法、及びプログラム
JP6323048B2 (ja) 2013-03-15 2018-05-16 株式会社リコー 配信システム、配信方法、及びプログラム
JP6398215B2 (ja) 2013-03-15 2018-10-03 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101401055A (zh) * 2006-02-15 2009-04-01 菲博比特有限公司 分布式同步和定时系统
US20080109865A1 (en) * 2006-11-03 2008-05-08 Apple Computer, Inc. Dynamic adjustments of video streams
CN101707954A (zh) * 2007-04-11 2010-05-12 Fts电脑技术有限公司 有效及可靠地传输时间触发以太网信息的通信方法及设备
US20130039177A1 (en) * 2010-05-10 2013-02-14 Nec Corporation Remote mobile communication system, server device and control method of remote mobile communication system
US20120257671A1 (en) * 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of Latency in Video Distribution Networks Using Adaptive Bit Rates

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
楼佳: "《基于网络QoS的AMR语音编码算法研究》", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *
秦秀磊: "《云计算环境下分布式缓存技术的现状与挑战》", 《软件学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554594B (zh) * 2015-10-27 2018-11-27 东莞酷派软件技术有限公司 一种控制处理方法及用户终端
CN105554594A (zh) * 2015-10-27 2016-05-04 东莞酷派软件技术有限公司 一种控制处理方法及用户终端
CN107453759A (zh) * 2016-06-01 2017-12-08 卡斯柯信号有限公司 安全编码系统中数据延时发送安全处理方法
CN107453759B (zh) * 2016-06-01 2020-08-28 卡斯柯信号有限公司 安全编码系统中数据延时发送安全处理方法
US11538276B2 (en) 2017-07-31 2022-12-27 Ricoh Company, Ltd. Communication system, distributed processing system, distributed processing method, and recording medium
CN111034153A (zh) * 2017-07-31 2020-04-17 株式会社理光 通信系统,分散处理系统,分布式处理方法和记录介质
CN112764672B (zh) * 2019-01-17 2024-05-14 爱思开海力士有限公司 存储器控制器、存储装置及其控制方法以及记录介质
CN112764672A (zh) * 2019-01-17 2021-05-07 爱思开海力士有限公司 存储器控制器、存储装置及其控制方法以及记录介质
CN110174881A (zh) * 2019-06-12 2019-08-27 浩博泰德(北京)科技有限公司 一种分布式控制装置及系统
CN112214030B (zh) * 2020-09-11 2023-03-14 中国航空工业集团公司成都飞机设计研究所 一种无人机一站控双机显控方法
CN112214030A (zh) * 2020-09-11 2021-01-12 中国航空工业集团公司成都飞机设计研究所 一种无人机一站控双机显控方法
CN114827673A (zh) * 2022-04-24 2022-07-29 北京北航天宇长鹰无人机科技有限公司 无人设备及其远程控制系统
CN114827673B (zh) * 2022-04-24 2023-12-01 北京北航天宇长鹰无人机科技有限公司 无人设备及其远程控制系统

Also Published As

Publication number Publication date
CN104052798B (zh) 2018-06-29
JP2015156175A (ja) 2015-08-27
US9294533B2 (en) 2016-03-22
JP6354197B2 (ja) 2018-07-11
EP2790375A3 (en) 2015-01-07
EP2790375B1 (en) 2017-08-16
US20140282793A1 (en) 2014-09-18
EP2790375A2 (en) 2014-10-15

Similar Documents

Publication Publication Date Title
CN104052798A (zh) 分布式控制系统和分布式控制方法
AU2014230438B2 (en) Distribution control system, distribution control method, and computer-readable storage medium
EP2779571B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
CN104053073B (zh) 分发控制系统、分发系统以及分发控制方法
EP2790383B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
CN104052958B (zh) 分发控制系统和分发系统
CN105247875B (zh) 分发控制系统和分发系统
CN104053071B (zh) 分发控制系统、分发系统和分发控制方法
EP2974317B1 (en) Computer system, distribution control system, distribution control method, and computer-readable storage medium
CN104052797B (zh) 分发控制系统、分发系统和分发控制方法
EP2779570A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP2972903A1 (en) Distribution control system, distribution control method, and computer-readable storage medium
CN104053069A (zh) 分发控制系统、分发系统和分发控制方法
JP2016048898A (ja) 配信制御システム、配信制御方法、及びプログラム
CN104469536A (zh) 分布管理装置以及分布系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180629

Termination date: 20200314

CF01 Termination of patent right due to non-payment of annual fee