CN104053069B - 分发控制系统、分发系统和分发控制方法 - Google Patents
分发控制系统、分发系统和分发控制方法 Download PDFInfo
- Publication number
- CN104053069B CN104053069B CN201410196039.5A CN201410196039A CN104053069B CN 104053069 B CN104053069 B CN 104053069B CN 201410196039 A CN201410196039 A CN 201410196039A CN 104053069 B CN104053069 B CN 104053069B
- Authority
- CN
- China
- Prior art keywords
- data
- communication terminal
- image
- sound
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 174
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000006854 communication Effects 0.000 claims abstract description 327
- 238000004891 communication Methods 0.000 claims abstract description 325
- 230000005540 biological transmission Effects 0.000 claims abstract description 53
- 241001269238 Data Species 0.000 claims abstract description 7
- 239000012634 fragment Substances 0.000 claims description 41
- 238000009877 rendering Methods 0.000 claims description 18
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 description 67
- 238000007726 management method Methods 0.000 description 62
- 238000012545 processing Methods 0.000 description 57
- 238000010586 diagram Methods 0.000 description 40
- 230000006978 adaptation Effects 0.000 description 36
- 230000006870 function Effects 0.000 description 20
- 230000004044 response Effects 0.000 description 12
- 238000009434 installation Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/20—Support for services
- H04L49/201—Multicast operation; Broadcast operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
- Editing Of Facsimile Originals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Controls And Circuits For Display Device (AREA)
- Digital Computer Display Output (AREA)
Abstract
分发控制系统、分发系统和分发控制方法。分发控制系统包括生成单元,配置为从内容数据生成图像数据;转换单元,配置为将图像数据划分为多个划分图像数据片段并将划分图像数据片段转换为多个传送数据段;以及传送单元,配置为传送该传送数据片段至不同的通信终端。
Description
技术领域
本发明涉及分发控制系统、分发系统以及分发控制方法,能够传送数据至如个人计算机和电子黑板之类的通信终端。
背景技术
随着近年来因特网的广泛应用,云计算已用于多个领域。云计算是用户使用连接于因特网的通信终端使用由因特网上的服务器提供的服务(云服务)并对该服务进行支付的服务使用模式。
因特网上携带的网络内容为了响应多种需求的目的而被丰富化。因此,使用用于通过因特网来使用服务的通信终端来访问丰富化的内容引起通信终端上的负荷不适当地很高的问题。
作为降低通信终端上负荷的技术,存在称为瘦客户端的技术(例如,参考日本专利申请公开号2007-221229)。该瘦客户端技术使用因特网环境允许多种应用以基于网络的方式在通信终端上执行。
即使利用该瘦客户端技术,仍然存在高负荷施加于通信终端来访问丰富化的内容的问题。
发明内容
本发明的目标在于至少部分地解决传统技术的问题。
根据实施例,提供分发控制系统,其包含,生成单元,配置为从内容数据生成图像数据;转换单元,配置为将所述图像数据划分为多个划分图像数据片段并将所述划分图像数据片段转换为多个传送数据片段;以及传送单元,配置为传送所述传送数据片段至不同的通信终端。
根据另一实施例,提供分发系统,其包含根据以上实施例的分发控制系统;以及通信终端。
根据再一实施例,提供分发控制方法,用于将生成自内容数据的图像数据转换为传送数据,并传送所述传送数据至多个通信终端。所述分发控制方法包含:从内容数据生成图像数据;将所述图像数据划分为多个划分图像数据片段并将所述划分图像数据片段转换为多个传送数据段;以及传送所述传送数据片段至不同的通信终端。
附图标记
图1为根据一个实施例的分发系统的示意图;
图2为当加密狗连接于通信终端时的概念性示图;
图3为说明基本分发方法的概念性示图;
图4为多点传送的概念性示图;
图5为多重显示的概念性示图;
图6为通过分发控制系统使用多个通信终端的组合式分发的概念性示图;
图7为分发控制系统、通信终端、终端管理系统以及网络服务器的硬件配置图;
图8为加密狗的硬件配置图;
图9为主要说明分发控制系统的功能的功能框图;
图10为主要说明通信终端的功能的功能框图;
图11为说明终端管理系统的功能的功能框图;
图12为分发目的地选择菜单屏幕的概念性视图;
图13为终端管理表的概念性视图;
图14为可用终端管理表的概念性视图;
图15为编码器桥单元的详细示图;
图16为说明转换器的功能的功能框图;
图17为说明分发控制系统的基本分发处理的顺序图;
图18为说明通过分发控制系统使用多个通信终端的通信处理的顺序图;
图19为说明时间调整的处理的顺序图;
图20为说明针对从分发控制系统传送至通信终端的数据的通道适配控制的处理的顺序图;
图21为说明针对从通信终端传送至分发控制系统的数据的通道适配控制的处理的顺序图;
图22为说明多重显示处理的顺序图;
图23为说明多重显示处理的顺序图;
图24为说明多重显示处理的顺序图;
图25为举例使用由三个通信终端制作的合成图像重现从浏览器输出的图像的情况的概念图;
图26为图示由通信终端投影的图像以及通过综合这些图像而显示的图像的示图。
具体实施方式
以下参考附图描述的是根据实施例的分发系统1。以下详细描述的是如下发明:这使得网络浏览器(此后称为“浏览器”)和编码器两者在云中通过云计算相互协同地执行并传送视频数据、声音数据等至通信终端。
下文中,“图像”包括静态图像以及运动图像。“视频”主要指代运动图像并还包括静止成为静态图像的运动图像。“静态图像(声音)”表示静态图像和声音中的至少一个。“图像(声音)”表示图像和声音中的至少一个。“视频(声音)”表示视频和声音中的至少一个。
实施例的概要
参考图1所描述的是根据本发明的实施例的概要。图1为根据本实施例的分发系统的示意图。
系统配置的概要
首先描述的是分发系统1的配置的概要。
如图1所示,根据本实施例的分发系统1包括分发控制系统2、多个通信终端(5a至5f)、终端管理系统7以及网络服务器8。下文中,通信终端(5a至5f)中的任意通信终端可称为“通信终端5”。分发控制系统2、终端管理系统7和网络服务器8均由服务器计算机实现。
通信终端5为由接收分发系统1的服务的用户使用的终端。通信终端5a为笔记本型个人计算机(PC)。通信终端5b为移动终端,如智能电话或平板终端。通信终端5c为其中组合了复印、扫描、打印和传真功能的多功能外围设备/打印机/产品(MFP)。通信终端5d为投影仪。通信终端5e为具有照相机、麦克风以及扬声器的TV(视频)会议终端。通信终端5f为能够电子地转换用户绘制的绘图等的电子黑板(白板)。
通信终端5不仅为如图1所示的终端,而且可为通过如因特网之类的通信网络而可通信的装置,包括手表、自动售货机、汽车导航装置、游戏控制台、空调、照明器材、照相机本身、麦克风本身以及扬声器本身。
分发控制系统2、通信终端5、终端管理系统7和网络服务器8可通过包括因特网以及局域网(LAN)的通信网络9相互通信。通信网络9的示例可包括无线通信网络,如第三代移动通信(3G),全球微波互联接入(WiMAX)和长期演进(LTE)。
通信终端5中的例如通信终端5d不具有通过通信网络9与其他终端或系统通信的功能。然而,如图2所示,用户插入加密狗99至通信终端5d的接口(如通用串行总线(USB)或高清多介质接口(HDMI)),由此使得其能够与其他终端和系统相通信。图2为当加密狗附接于通信终端时的概念性示图。
分发控制系统2在云中具有浏览器20,并通过在浏览器20中的渲染功能,获取以特定描述语言描述的单个或多个内容数据片段并在内容数据上执行渲染,由此生成包括如由红、绿、蓝(RGB)组成的位图数据之类的静态图像数据以及如脉冲编码调制(PCM)数据之类的声音数据的帧数据(即,静态图像(声音)数据)。该内容数据为从网络服务器8、任意通信终端等获取的数据,并包括超文本标记语言(HTML)和级联样式表单(CSS)格式的图像(声音)数据、MP4格式的图像(声音)数据(MPEG-4)以及高级音频编码(AAC)格式的声音数据。
分发控制系统2在云中具有编码单元19,而该编码单元19扮演编码器的角色,由此将作为静态图像(声音)数据的帧数据转换为如H.264(MPEG-4AVC)、H.265和运动JPEG之类的压缩编码格式的视频(声音)数据。
终端管理系统7在通信终端5上执行登录认证并管理通信终端5的合约信息等。终端管理系统7具有简单邮件传送协议(SMTP)服务器的功能,用于传送电子邮件。终端管理系统7可例如实现为在云服务(IaaS:基础设施即服务)上开发的虚拟机。希望的是,终端管理系统7运行于复用方式,以在意外事件的情况下提供服务连续性。
浏览器20使能实时通信/协作(RTC)。分发控制系统2包括在以下描述的图16中的编码单元19,而编码单元19可针对由浏览器20输出的帧数据执行实时编码并输出通过兼容于H.264标准等的转换而生成的视频(声音)数据。因此,分发控制系统2的处理例如不同于其中记录于DVD中的非实时视频(声音)数据被DVD播放器读取和分发的情况下的处理。
不仅分发控制系统2,而且通信终端5也可具有浏览器。在这种情况下,更新分发控制系统2的浏览器20不再需要启动相应的通信终端5的浏览器。
多种分发方法的概要
接下来描述都是多种分发方法的概要。
基本分发
图3为说明基本分发方法的概念性示图。在分发系统1中,如图3所示,分发控制系统2的浏览器20获取网络内容数据[A]作为来自网络服务器8的图像(声音)数据并对其进行渲染,由此生成帧数据[A]片段作为静态图像(声音)数据。包括编码单元19的编码器桥单元30针对帧数据[A]片段执行编码等,由此以如H.264之类的压缩编码格式将其转换为视频(声音)数据[A](传送数据的示例)。分发控制系统2将转换的视频(声音)数据[A]分发至通信终端5。
因此,分发控制系统2甚至还可将丰富的网络内容数据分发至通信终端5,同时在云中将其从HTML等的网络内容数据转换为H.264等的压缩视频(声音)数据。因此,通信终端5可平滑地再现该网络内容,而没有用于增加最新浏览器或合并更高配置的中央处理单元(CPU)、操作系统(OS)、随机存取存储器(RAM)等的时间和开销。
网络内容的未来丰富仅需要在云中的分发控制系统2的浏览器20、CPU等的更高配置,而不需要通信终端5的更高配置。
应用上述分发方法,如图4至图6所示,分发系统1还可分发网络内容数据至多个站点作为视频(声音)数据。以下描述为图4至图6中所示的分发方法。
多点传送
图4为多点传送的概念性示图。如图4所示,分发控制系统2的单个浏览器20从网络服务器8获取网络内容数据[A]作为图像(声音)数据并对其进行渲染,由此生成帧数据[A]片段作为静态图像(声音)数据。编码器桥单元30编码帧数据[A]片段,由此将其转换为视频(声音)数据。然后分发控制系统2分发视频(声音)数据[A](传送数据的示例)至多个通信终端(5f1,5f2,5f3)。
因此,同一视频(声音)在站点中再现。在这种情况下,通信终端(5f1,5f2,5f3)不需要具有相同级别的显示再现性能(例如,同一分辨率)。类似于此的分发方法称为,例如,“多点传送”。
多重显示
图5为多重显示的概念性示图。如图5所示,分发控制系统2的单个浏览器20从网络服务器8获取网络内容数据[XYZ]作为图像(声音)数据并对其进行渲染,由此生成帧数据[XYZ]片段作为静态图像(声音)数据。编码器桥单元30将每一个帧数据[XYZ]划分为多个帧数据片段([X],[Y],[Z])并将其编码,由此将其转换为多个视频(声音)数据片段([X],[Y],[Z])。分发控制系统2随后分发视频(声音)数据[X](传送数据的示例)至通信终端5f1。类似地,分发控制系统2分发视频(声音)数据[Y](传送数据的示例)至通信终端5f2并分发视频(声音)数据[Z](传送数据的示例)至通信终端5f3。
因此,例如,即使对于风光(landscape)网络内容[XYZ],视频(声音)也以划分的方式由通信终端5再现。因此,当通信终端(5f1,5f2,5f3)安装于线路时,可获取与一个大视频片段的再现相同的效果。在这种情况下,通信终端(5f1,5f2,5f3)需要具有相同级别的显示再现性能(例如,相同分辨率)。类似于此的分发方法例如称为多重显示。
多重投影
在和多重显示一样的概念下,本实施例还可以使用多个投影仪实现多重投影。其细节将在以下描述。
组合式分发
图6为通过分发控制系统使用多个通信终端的组合式分发的概念性示图。如图6所示,作为电子黑板的通信终端5f1以及作为电话会议终端的通信终端5e1在第一站点处(图6右侧)使用,而在第二站点处(图6左侧),作为电子黑板的通信终端5f2以及作为电话会议终端的通信终端5e2类似地使用。在第一站点处,电子笔P1用于在通信终端5f1上使用笔画来绘制字符等。在该第二站点处,电子笔P2用于在通信终端5f2上使用笔画来绘制字符等。
在第一站点处,通过通信终端5e1获取的视频(声音)数据由编码单元60编码,并传送至分发控制系统2。其后,其由分发控制系统2的解码单元40解码并随后输入到浏览器20。表示使用电子笔P1在通信终端5f1上绘制的笔画的操作数据(在这种情况下,是通信终端5f1的显示器上的坐标数据等)被传送至分发控制系统2以被输入至浏览器20。还是在该第二站点处,通过通信终端5e2获取的视频(声音)数据由编码单元60编码并传送至分发控制系统2。其后,其由分发控制系统2的解码单元40解码并随后输入至浏览器20。表示使用电子笔P2在通信终端5f2上绘制的笔画的操作数据(在这种情况下,通信终端5f2的显示器上的坐标数据等)传送至分发控制系统2以被输入至浏览器20。
浏览器20从网络服务器8例如获取网络内容数据[A]作为在通信终端(5f1,5f2)的显示器上显示的背景图像。浏览器20组合网络内容数据[A]、操作数据([p1],[p2])和视频(声音)内容数据([E1],[E2]),并对其进行渲染,由此生成帧数据片段作为静态图像(声音)数据,其中内容数据片段([A],[p1],[p2],[E1],[E2])以期望的布局来布置。编码器桥单元30编码该帧数据片段,而分发控制系统2将表示相同内容([A],[p1],[p2],[E1],[E2])的视频(声音)数据分发至两个站点。在第一站点处,视频([A],[p1],[p2],[E1(视频部分)]和[E2(视频部分)])在通信终端5f1的显示器上由此显示,而声音[E2(声音部分)]输出自通信终端5e1的扬声器。而且在该第二站点处,视频([A],[p1],[p2],[E1(视频部分)]和E2(视频部分)])在通信终端5f2的显示器上显示,而声音[E1(声音部分)]输出自通信终端5e2的扬声器。在第一站点处,站点自身的声音[E1(声音部分)]由于通信终端5f1的回声消除功能而没有被输出。在该第二站点处,站点自身的声音[E2(声音部分)]由于通信终端5f2的回声消除功能而没有被输出。
因此,在第一站点和第二站点处,可以执行远程共享处理,其在远程站点处实时共享相同信息,因此使得根据本实施例的分发系统1在电话会议等中有效。
实施例的详细描述
以下参考图7至图25详细描述实施例。
实施例的硬件配置
首先参考图7和图8的描述为本实施例的硬件配置。图7为分发控制系统、通信终端、终端管理系统以及网络服务器的硬件配置示图。图8为加密狗的硬件配置示图。因为与通信终端的通信有关的硬件配置与通信终端的硬件配置的部分相同,因此将省略其描述。
如图7所示,分发控制系统2包括:CPU201,其控制分发控制系统2的整体操作;只读存储器(ROM)202,在其中存储如IPL之类的用于驱动CPU201的程序;RAM203,用作CPU201的工作区域;HDD204,在其中存储如程序之类的各种数据;硬盘控制器(HDC)205,其在CPU201的控制下控制从HDD204读取各种类型的数据以及将各种类型的数据写入HDD204;介质驱动207,其控制从如flash存储器之类的存储介质206读取数据以及将数据写入该存储介质206;显示器208,其显示各种信息;接口(I/F)209,其通过通信网络9传送数据并且加密狗99与其连接;键盘211;鼠标212;麦克风213;扬声器214;图形处理单元(GPU)215;以及如地址总线或数据总线之类的总线220,用于电气地连接上述组件,如图7所示。由于通信终端5d作为投影仪,因此可以不提供GPU。因为终端管理系统7和网络服务器8的硬件配置与分发控制系统2的硬件配置相同,所以其描述将被省略。
接下来参考图8描述的是图2中所示的加密狗99的硬件配置。如图8所示,加密狗99包括:CPU91,其控制加密狗99的整体操作;ROM92,其中存储基本输入/输出程序;RAM93,用作CPU91的工作区域;电可擦除可编程ROM(EEPROM)94,其在CPU91的控制下执行数据的读写;GPU95;接口I/F96,用于到通信终端5的I/F209的连接;天线97a;通信单元97,其通过天线97a使用短距离无线技术执行通信;以及如地址总线或数据总线之类的总线90,用于电连接上述单元。短距离无线技术的示例包括近场通信(NFC)标准、蓝牙(注册商标)、无线高保真(WiFi)和ZigBee(注册商标)。因为加密狗99包括GPU95,所以即使当GPU未包括在通信终端5d中时,通信终端5也可利用如图2所示地附接的加密狗99执行图形显示所需的计算处理。
实施例的功能配置
实施例的功能配置接下来参考图9至图16来描述。
分发控制系统的功能配置
首先参考图9描述的是分发控制系统2的功能配置。图9为主要说明分发控制系统的功能的功能框图。图9说明了分发控制系统2将视频(声音)数据分发至通信终端5f1的功能配置,并且分发控制系统2在分发目的地不同于通信终端5f1的情况下也具有相同的功能配置。尽管分发控制系统2包括多个分发引擎服务器,但是以下描述了包括单个分发引擎服务器的情况,以简化描述。
如图9所示,分发控制系统2具有图9由包括图7中所示的CPU201和程序的硬件配置实现的功能组件。
具体地,分发控制系统2包括浏览器20、发送器/接收器21、浏览器管理单元22、传送先进先出(FIFO)缓冲器24、时间管理单元25、时间获取单元26、通道适配控制器27、编码器桥单元30、发送器/接收器31、接收FIFO34、识别单元35、延迟信息获取单元37a、通道适配控制器37b和解码单元40。分发控制系统2进一步包括由图7中所示的HDD204实现的存储单元2000。该存储单元2000在其中存储从识别单元35输出并通过浏览器管理单元22发送的识别信息(以下描述)。通过浏览器20获取的内容数据可暂时存储于存储单元2000作为缓存。
在上述功能组件中,浏览器20为操作于分发控制系统2内的浏览器。浏览器20随着网络内容的丰富始终保持更新。浏览器20包括媒体播放器、Flash播放器、JavaScript(注册商标)、CSS和HTML渲染器。JavaScript包括标准化产品和专用于分发系统1的产品。
媒体播放器为用于在浏览器20内再现如视频(声音)文件之类的多媒体文件的浏览器插件。Flash播放器为用于在浏览器20中再现flash内容的浏览器插件。专用JavaScript为提供专用于分发系统1的服务的应用编程接口(API)的JavaScript组。CSS为用于有效地定义以HTML描述的网页的外观和风格的技术。HTML渲染器为HTML渲染引擎。
渲染器渲染如作为图像(声音)数据的网络内容数据之类的内容数据,由此生成帧数据片段作为静态图像(声音)数据。如图6所示,渲染器也是将多种内容([A],[p1],[p2],[E1],[E2])布局的布局引擎。
根据本实施例的分发系统1在分发控制系统2中提供浏览器20,并且从浏览器20选择用于用户会话的云浏览器。如下描述了提供单个浏览器20的情况,以简化描述。
发送器/接收器21向终端管理系统7和网络服务器8传送各种数据、各种请求、各种指令等,并从终端管理系统7和网络服务器8接收各种数据、各种请求、各种指令等。例如,发送器/接收器21在网络服务器8处从内容站点获取网络内容数据。发送器/接收器21输出获取自终端管理系统7的多种数据至分发控制系统2内的功能组件,并基于获取自终端管理系统7的各种数据、各种请求、各种指令等来控制分发控制系统2内的功能组件。例如,对于浏览器20,发送器/接收器21输出请求用于将分发模式从终端管理系统7切换至浏览器管理单元22。然后浏览器管理单元22控制在浏览器中从一个浏览器至另一浏览器的切换。基于用于从终端管理系统7切换分发的请求,发送器/接收器21执行图15和图16中所示的编码器桥单元30中组件组合的切换。
浏览器管理单元22管理浏览器20。例如,浏览器管理单元22指示浏览器20启动和退出,以及在启动或退出时将编码器ID编号。编码器ID为浏览器管理单元22进行编号的识别信息,以便于管理编码器桥单元30的进程。
浏览器管理单元22在每次浏览器20启动时对浏览器ID进行编号并管理。浏览器ID为浏览器管理单元22进行编号的识别信息,以便于管理浏览器20的进程以标识浏览器20。
浏览器管理单元22通过发送器/接收器31从通信终端5获取各种操作数据并将其输出至浏览器20。该操作数据为在通信终端5上通过操作事件(通过键盘211、鼠标212等的操作,使用电子笔P的笔画等)生成的数据。当通信终端5提供如温度传感器、湿度传感器和加速度传感器之类的各种传感器时,浏览器管理单元22获取包含来自通信终端5的传感器的输出信号的传感器信息并将其输出至浏览器20。浏览器管理单元22进一步从识别单元35获取图像(声音)数据并输出至浏览器20,并从识别单元35获取以下描述的识别信息并将其存储在存储单元2000。浏览器管理单元22从接收FIFO缓冲器34获取视频(声音)数据并输出至浏览器20。
传送FIFO24为缓冲器,其在其中存储了由浏览器20生成的作为静态图像(声音)数据的帧数据片段。
时间管理单元25管理专用于分发控制系统2的时间T。
时间获取单元26结合以下描述的通信终端5中的时间控制器56执行以下描述的时间调整处理。具体地,时间获取单元26从时间管理单元25获取表示分发控制系统2中的时间T的时间信息(T),通过发送器/接收器31以及发送器/接收器51从以下描述的时间控制器56接收表示在通信终端5中的时间t的时间信息(t),并传送时间信息(t)和时间信息(T)至时间控制器56。
通道适配控制器27基于传送延迟时间信息(D)计算再现延迟时间U并计算如编码器桥单元30中转换器10的帧率和数据分辨率之类的操作状况。该再现延迟时间为用于通过数据的缓冲延迟再现直到正在被再现时的时间。换言之,通道适配控制器27基于传送延迟时间信息(D)和数据大小(例如,位数量或字节数量)改变编码器桥单元30的操作。该传送延迟时间信息(D)基于由通信终端5的延迟信息获取单元57获取的多个传送延迟时间D1的片段表示频率分发信息。传送延迟时间D1表示从视频(声音)数据从分发控制系统2传送的点到被通信终端5接收的点的时间,并从再现控制器53获取。
编码器桥单元30将由浏览器20生成的作为静态图像(声音)数据的帧数据片段输出至以下描述的编码器桥单元30中的转换器10。在这种情况下,编码器桥单元30还基于由通道适配控制器27计算的操作状况来操作。编码器桥单元30将参考图15和图16进行更详细的描述。图15为编码器桥单元的详细示图。图16为说明了转换器的功能的功能框图。
如图15所示,编码器桥单元30包括创建/选择单元310、选择单元320,和在其之间提供的多个转换器(10a,10b,10c)。尽管这里说明了三个转换器,但任意数量的转换器可被提供。下文中,任意转换器都被称为“转换器10”。
转换器10将由浏览器20生成的作为静态图像(声音)数据的帧数据片段的数据格式转换为H.264等的数据格式,允许数据通过通信网络9分发至通信终端5。为此,如图16所示,转换器10包括裁剪单元11、尺寸调整单元12、划分单元13和编码单元19。裁剪单元11、尺寸调整单元12和划分单元13不对声音数据执行任何处理。
裁剪单元11执行裁出静态图像的部分的处理。尺寸调整单元12改变静态图像的尺寸。划分单元13划分静态图像,如图5所示。
编码单元19对由浏览器20生成的作为静态图像(声音)数据的帧数据片段进行编码,由此进行转换以通过通信网络9分发视频(声音)数据至通信终端5。当视频未在运动中(当没有帧间变化时)时,跳跃帧被插入在其后直到视频移动以节约带宽。
当声音数据连同静态图像数据一起通过渲染而生成时,两个数据片段被编码,而当只有声音数据被生成时,编码仅被执行以压缩数据而不裁剪、调整尺寸和划分。
创建/选择单元310创建新的转换器10或选择作为静态图像(声音)数据的帧数据片段以输入至已经生成的转换器10。在创建中,创建/选择单元310根据通信终端5的性能创建能够转换的转换器10,以再现视频(声音)数据。在选择中,选择已经生成的转换器10。例如,在开始除了至通信终端5a的分发之外的至通信终端5b的分发时,与分发至通信终端5a的视频(声音)数据相同的视频(声音)数据可分发至通信终端5b。此外,在这种情况下,当通信终端5b具有与通信终端5a的性能相同级别的性能以再现视频(声音)数据时,创建/选择单元310使用已经为通信终端5a创建的转换器10a,而不对通信终端5b创建新的转换器10b。
选择单元320从已经生成的转换器10中选择所需的一个。创建/选择单元310和选择单元320的选择允许以各种模式的分发,如图6所示。
发送器/接收器31向通信终端5传送各种数据、请求等并且从通信终端5接收各种数据、请求等。该发送器/接收器31通过通信网络9从云中将各种数据、请求等传送至通信终端5,由此允许分发控制系统2将各种数据、请求等分发至通信终端5。例如,在通信终端5的登录处理中,发送器/接收器31将用于提示用户登录请求的认证屏幕数据传送至通信终端5的发送器/接收器51。发送器/接收器31还在安全套接字层(HTTPS)服务器上通过超文本传送协议由专用于分发系统1的协议,执行向通信终端5的用户应用和通信终端5的装置应用的数据传送和从通信终端5的用户应用和通信终端5的装置应用的数据接收。该专用协议为基于HTTPS的应用层协议,用于实时传送并接收数据,而不在分发控制系统2和通信终端之间被中断。发送器/接收器31还执行传送响应控制、实时数据创建、命令传送、接收响应控制、接收数据分析以及手势转换。
该传送响应控制为管理从通信终端5请求的用于下载的HTTPS会话的处理,以便于从分发控制系统2传送数据至通信终端5。用于下载的HTTPS会话的响应不会立即结束,而是保持特定时间段(一到数分钟)。发送器/接收器31动态地在响应的主体部分中写入要发送至通信终端5的数据。为消除重新连接的开销,另一请求被允许在先前会话结束之前从通信终端到达。通过使发送器/接收器31就绪直到先前请求完成,开销可被消除,即使当重新连接被执行。
实时数据创建为向由图16中的编码单元19生成的压缩视频(以及压缩声音)的数据给予专用头部并将其写入HTTPS主体部分的处理。
命令传送为生成要传送至通信终端5的命令数据并将其写入引导至通信终端5的HTTPS主体部分的处理。
接收响应控制为管理从通信终端5请求的HTTPS会话以使得分发控制系统2从通信终端5接收数据的处理。该HTTPS会话的响应不会立即结束而是保持特定时间段(一到数分钟)。通信终端5动态地将要发送到分发控制系统2的发送器/接收器31的数据写入到请求的主体部分中。
接收数据分析为通过类型来分析传送自通信终端5的数据并传递该数据至必要进程的处理。
手势转换为将用户使用电子笔或手写输入至作为电子黑板的通信终端5f的手势事件转换为以浏览器20可接收的格式的数据的处理。
接收FIFO34为在其中存储由解码单元40解码的视频(声音)数据的缓冲器。
识别单元35对接收自通信终端5的图像(声音)数据执行处理。具体地,例如,识别单元35基于照相机62采集的图像来识别人或动物的面部、年龄、性别等用于标示。在工作场所,识别单元35基于照相机62采集的图像通过面部识别和替换背景图像的处理来执行姓名标记。识别单元35在存储单元2000中存储表示的识别细节的识别信息。识别单元35通过使用识别扩展卡执行处理实现加速。
延迟信息获取单元37a用于上行通道适配控制的处理,并对应于用于下行通道适配控制的处理的、通信终端5的延迟信息获取单元57。具体地,延迟信息获取单元37a从解码单元40获取表示传送延迟时间d1的传送延迟时间信息(d1)并保持特定时间段,并当多个传送延迟时间信息(d1)片段被获取时,基于多个传送延迟时间d1片段将表示频率分发信息的传送延迟时间信息(d)输出至通道适配控制器37b。传送延迟时间信息(d1)表示传送延迟时间,表示从视频(声音)数据传送自通信终端5的点到其被分发控制系统2接收的点的时间。
通道适配控制器37b用于上行通道适配控制的处理,并对应于用于下行通道适配控制的处理的、通道适配控制器27。具体地,通道适配控制器37b基于传送延迟时间信息(d)计算通信终端5的编码单元60的操作状况。通道适配控制器37b将表示操作状况如帧率和数据分辨率之类的通道适配控制信号通过发送器/接收器31和发送器/接收器51传送至通信终端5的编码单元60。
解码单元40解码传送自通信终端5的视频(声音)数据。解码单元40还输出表示传送延迟时间d1的传送延迟时间信息(d1)至延迟信息获取单元37a。
通信终端的功能配置
通信终端5的功能配置参考图10来描述。图10为主要说明通信终端的功能的功能框图。通信终端5是作为用户执行到分发系统1的登录、开始和停止视频(声音)数据分发等的接口的终端。
如图10所示,通信终端5具有由包括图7中所示的CPU201和程序的硬件配置实现的图10中的功能组件。当通信终端5通过插入如图2所示的加密狗99而与其他终端和系统经通信网络9可通信时,通信终端5具有由图7和图8中所示的程序和硬件配置实现的图10中的功能组件。
具体地,通信终端5包括解码单元50、发送器/接收器51、操作单元52、再现控制器53、渲染单元55、时间控制器56、延迟信息获取单元57、显示单元58和编码单元60。通信终端5进一步包括由图7中所示的RAM203实现的存储单元5000。该存储单元5000在其中存储表示以下描述的时间差Δ的时间差信息(Δ)和表示在通信终端5中的时间t的时间信息(t)。
解码单元50解码分发自分发控制系统2并输出自再现控制器53的视频(声音)数据。
发送器/接收器51向分发控制系统2的发送器/接收器31以及终端管理系统7的发送器/接收器71a传送各种数据、请求等并从分发控制系统2的发送器/接收器31以及终端管理系统7的发送器/接收器71a接收各种数据、请求等。例如,在通信终端5的登录处理中,响应于操作单元52启动通信终端5,发送器/接收器51执行终端管理系统7的发送器/接收器71的登录请求。
操作单元52执行处理以接收用户输入的操作(如使用电源开关、键盘、鼠标、电子笔P等的输入和选择),并将它们作为操作数据传送至分发控制系统2的浏览器管理单元22。
再现控制器53缓冲接收自发送器/接收器51的视频(声音)数据(实时数据的包)并以所考虑的再现延迟时间U输出至解码单元50。再现控制器53还计算表示传送延迟时间D1的传送延迟时间信息(D1),并输出传送延迟时间信息(D1)至延迟信息获取单元57。传送延迟时间信息(D1)表示从视频(声音)数据传送自分发控制系统2的点到其被通信终端5接收的点的时间。
渲染单元55渲染由解码单元50解码的数据。
时间控制器56结合分发控制系统2的时间获取单元26执行时间调整处理。具体地,时间控制器56从存储单元5000获取表示通信终端5中的时间t的时间信息(t)。时间控制器56通过发送器/接收器51和发送器/接收器31发出对于表示分发控制系统2中的时间T的时间信息(T)的请求至分发控制系统2的时间获取单元26。在这种情况下,时间信息(t)与对于时间信息(T)的请求同时被传送。
延迟信息获取单元57从再现控制器53获取表示传送延迟时间D1的传送延迟时间信息(D1)并保持特定时间段,并当多个传送延迟时间信息(D1)段被获取时,基于多个传送延迟时间D1段,通过发送器/接收器51和发送器/接收器31将表示频率分发信息的传送延迟时间信息(D)输出至通道适配控制器27。例如,每次一百帧地传送传送延迟时间信息(D)。
显示单元58再现由渲染单元55渲染的数据。
编码单元60将以下信息:从内设麦克风213或外部连接的照相机62以及麦克风63获取并被编码的视频(声音)数据[E];表示通信终端5的当前时间t0并获取自存储单元5000的时间信息(t0);以及表示在分发控制系统2与通信终端5之间的时间差Δ并从存储单元5000获取的时间差信息(Δ),通过发送器/接收器51和发送器/接收器31传送至分发控制系统2的解码单元40。编码单元60基于从通道适配控制器37b接收的由通道适配控制信号表示的操作状况,改变编码单元60的操作状况。编码单元60依据新的操作状况,将以下信息:从照相机62和麦克风63获取并被编码的视频(声音)数据[E];表示通信终端5的当前时间t0并从存储单元5000获取的时间信息(t0);以及表示时间差Δ并从存储单元5000获取的时间差信息(Δ),通过发送器/接收器51和发送器/接收器31传送至分发控制系统2的解码单元40。
内设麦克风213、外部连接的照相机62和麦克风63等是输入单元的示例,并且是需要编码和解码的设备。除视频(声音)数据外,输入单元可输出触摸数据和气味数据。
输入单元包括各种传感器,如温度传感器、方向传感器、加速度传感器等。
终端管理系统的功能配置
终端管理系统7的功能配置参考图11来描述。图11为说明终端管理系统的功能的功能框图。
如图11所示,终端管理系统7具有由包括图7中所示的CPU201的硬件配置和程序实现的图11中的功能组件。
具体地,终端管理系统7包括发送器/接收器71a、发送器/接收器71b以及认证单元75。终端管理系统7进一步包括由图7中所示的HDD204实现的存储单元7000。存储单元7000在其中存储分发目的地选择菜单数据、终端管理表7010以及可用的终端管理表7020。
分发目的地选择菜单为表示如图12所示的目标选择菜单屏幕的数据。
如图13所示,终端管理表7010管理通信终端5的终端ID、用户证书、当用户使用分发系统1的服务时的合约信息、通信终端5的终端类型、表示相应通信终端5的主页统一资源定位器(URL)的设置信息、通信终端5的执行环境信息、共享ID、安装位置信息以及相互关联的显示名称信息。执行环境信息包括每一个通信终端5的“喜好”、“先前Cookie信息”以及“缓存文件”,其在通信终端5的登录之后连同设置信息发送至分发控制系统2,并用于在通信终端5上执行各自的服务。
共享ID为在每一个用户分发与分发至他/她自己的通信终端5的视频(声音)数据相同的视频(声音)数据至其他通信终端5时使用的、由此执行远程共享处理的ID,并且共享ID是识别其他通信终端和其他通信终端组的识别信息。例如,终端ID“t006”的共享ID为“v006”,终端ID“t007”的共享ID为“v006”,并且终端ID“t008”的共享ID为“v006”。当具有终端ID“t001”的通信终端5a发出请求用于与具有终端ID“v006”的通信终端(5f1,5f2,5f3)进行远程共享处理的请求时,分发控制系统2分发与分发至通信终端5a的视频(声音)数据相同的视频(声音)数据至通信终端(5f1,5f2,5f3)。然而,当通信终端5a和通信终端(5f1,5f2,5f3)在显示单元58的分辨率上不同时,分发控制系统2因此分发视频(声音)数据。
如图5所示,例如,安装位置信息表示当通信终端(5f1,5f2,5f3)并排布置时的安装位置。显示名称信息为表示图12中所示的分发目的地选择菜单中显示名称的细节的信息。
可用终端管理表7020与每一个终端ID关联地管理表示通信终端或通信终端组的共享ID,由此,终端ID表示的通信终端5可执行远程共享处理。
功能组件参考图11来描述。
发送器/接收器71a向通信终端5传送各种数据、请求等并从通信终端5接收各种数据、请求等。例如,发送器/接收器71a接收来自通信终端5的发送器/接收器51的登录请求并传送登录请求的认证结果至发送器/接收器51。
发送器/接收器71b向分发控制系统2传送各种数据、请求等并从分发控制系统2接收各种数据、请求等。例如,发送器/接收器71b从分发控制系统2的发送器/接收器21接收用于分发目的地选择菜单的数据的请求,并传送分发目的地选择菜单的数据至发送器/接收器21。
认证单元75基于接收自通信终端5的终端ID和用户证书搜索终端管理表7010,由此确定是否存在终端ID以及用户证书的相同组合,由此认证通信终端5。
实施例的操作和处理
本实施例操作和处理片段参考图17至图24来描述。这些处理片段由分发控制系统2、通信终端5、终端管理系统7和网络服务器8的CPU根据其中存储的程序来执行。
基本分发处理
图3中所示的基本分发方法中的具体分发处理参考图17来描述。图17为说明分发控制系统的基本分发处理的顺序图。尽管本文描述的是通过通信终端5a发出登录请求的情况,但登录可通过除通信终端5a之外的通信终端5执行。
如所示图17,当用户打开通信终端5a时,通信终端5a的发送器/接收器51发出登录请求至终端管理系统7的发送器/接收器71a(步骤S21)。发送器/接收器71a接收登录请求。该登录请求包括通信终端5a的终端ID和用户证书。认证单元75然后获取通信终端5a的终端ID和用户证书。
认证单元75基于终端ID和用户证书搜索终端管理表7010,由此确定是否存在终端ID和用户证书的相同组合,由此认证通信终端5a(步骤S22)。以下描述了终端ID以及用户证书的相同组合被呈现在终端管理表7010中的情况,即通信终端5a被确定为分发系统1中的有效终端。
终端管理系统7的发送器/接收器71a传送分发控制系统2的IP地址至通信终端5a的发送器/接收器51(步骤S23)。分发控制系统2的IP地址通过终端管理系统7从分发控制系统2获取并提前存储于存储单元7000。
终端管理系统7的发送器/接收器71b发出浏览器20的启动请求至分发控制系统2的发送器/接收器21(步骤S24)。发送器/接收器21接收浏览器20的启动请求。浏览器管理单元22基于由发送器/接收器21接收的启动请求来启动浏览器20(步骤S25)。
编码器桥单元30的创建/选择单元310根据通信终端5a的性能创建转换器10,以再现视频(声音)数据(显示器的分辨率等)和内容的类型(步骤S26)。接下来,发送器/接收器21根据浏览器20的指令发出用于内容数据[A]的请求至网络服务器8(步骤S27)。响应于此,网络服务器8从其自身的存储单元(未示出)读取所请求的内容数据[A](步骤S28)。然后,网络服务器8传送该内容数据[A]至分发控制系统2的发送器/接收器21(步骤S29)。
浏览器20渲染由发送器/接收器21接收的内容数据[A],由此生成帧数据片段作为静态图像(声音)数据并将其输出至传送FIFO24(步骤S30)。转换器10编码存储于传送FIFO24中的该帧数据片段,由此将其转换为要分发至通信终端5a的视频(声音)数据[A](步骤S31)。
发送器/接收器31传送视频(声音)数据[A]至通信终端5a的发送器/接收器51(步骤S32)。通信终端5a的发送器/接收器51接收视频(声音)数据[A]并将其输出至再现控制器53。
在通信终端5a,解码单元50从再现控制器53获取视频(声音)数据[A]并将其解码(步骤S33)。其后,扬声器61基于所解码的声音数据[A]再现声音,而且显示单元58基于从解码单元50获取并由渲染单元55渲染的视频数据[A]再现视频(步骤S34)。
使用多个通信终端的组合式分发的处理
以下参考图18描述了通过分发控制系统使用多个通信终端的通信处理。图18为说明了通过分发控制系统使用多个通信终端的分发处理的顺序图。这里描述的是图6中所示的模式的用于通信终端5的具体处理。因为这里的处理包括类似于步骤S21至S29的登录处理、浏览器启动等,所以描述以对应于步骤S29的处理开始。
如图18所示,分发控制系统2的发送器/接收器21从网络服务器8接收内容数据[A](步骤S41)。浏览器20渲染内容数据[A],由此生成帧数据片段作为静态图像(声音)数据并将其输出至传送FIFO24(步骤S42)。
当通信终端5f1的编码单元60从照相机62和麦克风63接收内容数据的输入作为视频(声音)数据[E]时(步骤S43),编码单元60编码内容数据[E](步骤S44)。发送器/接收器51传送由编码单元60编码的内容数据[E]至分发控制系统2的发送器/接收器31(步骤S45)。分发控制系统2的发送器/接收器31接收内容数据[E]。
分发控制系统2的解码单元40解码由发送器/接收器31接收的内容数据[E],并将其输出至接收FIFO34(步骤S46)。浏览器20渲染存储于接收FIFO34的内容数据[E],由此生成帧数据[E]作为静态图像(声音)数据并将其输出至传送FIFO24(步骤S47)。在这种情况下,浏览器20以其中内容数据[E]与已经获取的内容数据[A]组合的布局来输出数据。
此外,当通信终端5f1的操作单元52接收使用电子笔P1的笔画操作的输入时(步骤S48),发送器/接收器51传送表示由操作单元52接收的笔画操作的细节的操作数据[p]至分发控制系统2的发送器/接收器31(步骤S49)。分发控制系统2的发送器/接收器31接收该操作数据[p]。浏览器管理单元22将发送器/接收器31接收的操作数据[p]输出至浏览器20。
浏览器20渲染操作数据[p],由此生成帧数据[p]作为静态图像(声音)数据并将其输出至传送FIFO24(步骤S50)。在这种情况下,浏览器20以其中操作数据[p]与已经获取的内容数据([A],[E])组合的布局来输出数据。
转换器10编码帧数据片段([A],[E],[p])作为存储于传送FIFO24的静态图像(声音)数据,由此将其转换为要分发至通信终端5f1的视频(声音)数据([A],[E],[p])(步骤S51)。
发送器/接收器31从包括转换器10的编码器桥单元30获取编码的视频(声音)数据([A],[E],[p])并将其传送至通信终端5f1的发送器/接收器51(步骤S52-1)。通信终端5f1的发送器/接收器51接收视频(声音)数据([A],[E],[p]),并且通信终端5f1的再现控制器53从发送器/接收器51获取视频(声音)数据([A],[E],[p])。在通信终端5f1,解码单元50从再现控制器53获取视频(声音)数据([A],[E],[p]),并将其解码(步骤S53-1)。其后,扬声器61基于所解码的声音数据([A],[E])再现声音,并且显示单元58基于从解码单元50获取并由渲染单元55渲染的的视频数据([A],[E],[p])再现视频(步骤S54-1)。
对于通信终端5f2,如步骤S52-1的情况,发送器/接收器31从编码器桥单元30获取编码的视频(声音)数据([A],[E],[p])并将其传送至通信终端5f2的发送器/接收器51(步骤S52-2)。通信终端5f2的再现控制器53获取视频(声音)数据([A],[E],[p])。在通信终端5f1,解码单元50从再现控制器53获取视频(声音)数据([A],[E],[p])并将其解码(步骤S53-2)。其后,扬声器61基于所解码的声音数据([A],[E])再现声音,并且显示单元58基于从解码单元50获取并由渲染单元55渲染的视频数据([A],[E],[P])再现视频(步骤S54-2)。
因此,与输出至通信终端5f1的视频(声音)相同的视频(声音)也输出至通信终端5f2。
时间调整的处理
时间调整的处理参考图19来描述。图19为说明时间调整的处理的顺序图。
为了获取表示当发送器/接收器51发出用于时间信息(T)的请求至分发控制系统2的时间,通信终端5的时间控制器56从存储单元5000获取通信终端5中的时间信息(ts)(步骤S81)。发送器/接收器51发出用于时间信息(T)的请求至发送器/接收器31(步骤S82)。在这种情况下,时间信息(ts)与用于时间信息(T)的请求同时被传送。
为了获取在步骤S82表示发送器/接收器31接收请求的时间,分发控制系统2的时间获取单元26从时间管理单元25获取分发控制系统2中的时间信息(Tr)(步骤S83)。为了获取在步骤S82表示发送器/接收器31响应该请求的时间,时间获取单元26进一步从时间管理单元25获取分发控制系统2中的时间信息(Ts)(步骤S84)。然后发送器/接收器31传送时间信息(ts,Tr,Ts)至发送器/接收器51。
为了获取表示发送器/接收器51在步骤S85接收响应的时间,通信终端5的时间控制器56从存储单元5000获取通信终端5中的时间信息(tr)(步骤S86)。
通信终端5的时间控制器56计算在分发控制系统2和通信终端5之间的时间差Δ(步骤S87)。该时间差Δ由以下公式(1)给出。
Δ=((Tr+Ts)/2)-((tr+ts)/2) (1)
时间控制器56在存储单元5000中存储表示时间差Δ的时间差信息(Δ)(步骤S88)。例如,每分钟定期执行一系列时间调整的处理。
下行通道适配控制的处理
接下来参考图20描述的是针对从分发控制系统2传送至通信终端5(下行)的数据的通道适配控制的处理。图20为说明针对分发控制系统传送至通信终端的数据的通道适配控制的处理的顺序图。
首先,分发控制系统2的通道适配控制器27计算再现延迟时间信息(U)(表示用于通过缓冲延迟再现直到通信终端5的再现控制器53再现视频(声音)数据的再现延迟时间U),并输出再现延迟时间信息(U)至编码器桥单元30(步骤S101)。
然后,发送器/接收器31从编码器桥单元30获取再现延迟时间信息(U)并将其传送至通信终端5的发送器/接收器51(步骤S102)。通信终端5的发送器/接收器51接收再现延迟时间信息(U)。例如,编码器桥单元30将从时间管理单元25获取的表示时间T0的时间信息(T0)作为时间戳增加至从传送FIFO24获取并编码的视频(声音)数据[A](步骤S103)。发送器/接收器31传送分发控制系统2的视频(声音)数据和时间信息(T0)至通信终端5的发送器/接收器51(步骤S104)。通信终端5的发送器/接收器51接收分发控制系统2的时间信息(T0)并输出视频(声音)数据和时间信息(T0)至再现控制器53。
在通信终端5中,基于在步骤S102获取的再现延迟时间信息(U)、在步骤S104获取的时间信息(T0)以及在步骤S88存储于存储单元5000的时间差信息(Δ),再现控制器53等待直到通信终端5的时间(T0+U-Δ)然后输出在步骤S104获取的视频(声音)数据至解码单元50。这使得扬声器61输出声音且使得显示单元58通过渲染单元55再现视频(步骤S105)。这使得仅在如下公式(2)给出的再现延迟时间U范围内由通信终端5接收的视频(声音)数据被再现,而该范围以外的视频(声音)数据被过度延迟并被删除而不被再现。
U≥(t0+Δ)-T0 (2)
再现控制器53从存储单元5000读取通信终端5的当前时间t0(步骤S106)。该时间t0表示当通信终端5从分发控制系统2接收视频(声音)数据时通信终端5中的时间。再现控制器53进一步读取表示在步骤S86存储于存储单元5000的时间差Δ的时间差信息(Δ)(步骤S107)。然后,再现控制器53计算表示从视频(声音)数据从分发控制系统2传送的点到其由通信终端5接收的点的时间的传送延迟时间D1(步骤S108)。该计算使用如下公式(3)执行;当通信网络9变得拥塞时,传送延迟时间D1变长。
D1=(t0+Δ)-T0 (3)
延迟信息获取单元57从再现控制器53获取表示传送延迟时间D1的传送延迟时间信息(D1),并保持特定时间段,并当多个传送延迟时间信息(D1)片段被获取时,将基于多个传送延迟时间D1片段表示频率分发信息的传送延迟时间信息(D)输出至发送器/接收器51(步骤S109)。发送器/接收器51将传送延迟时间信息(D)传送至分发控制系统2的发送器/接收器31(步骤S110)。分发控制系统2的发送器/接收器31接收传送延迟时间信息(D)并输出传送延迟时间信息(D)至通道适配控制器27.
分发控制系统2的通道适配控制器27基于传送延迟时间信息(D)重新计算再现延迟信息U’并计算如转换器10的帧率和数据分辨率之类的操作状况,并将其输出至编码器桥单元30(步骤S111)。换言之,通道适配控制器27基于传送延迟时间信息(D)和数据大小(例如,位数或字节数)改变编码器桥单元30的操作。
发送器/接收器31从编码器桥单元30获取表示在步骤S111计算的新的再现延迟时间U’的再现延迟时间信息(U’),并传送再现延迟时间信息(U’)至通信终端5的发送器/接收器51(步骤S112)。通信终端5的发送器/接收器51接收再现延迟时间信息(U’)。
编码器桥单元30的转换器10基于表示操作状况的通道适配控制信号改变转换器10的操作状况(步骤S113)。例如,当传送延迟时间D1过长且再现延迟时间U根据传送延迟时间D1设置为更长时,在扬声器61和显示单元58处的再现时间被过度延迟。因此,存在使再现延迟时间U更长的限制。有鉴于此,通道适配控制器27不仅使编码器桥单元30将再现延迟时间U改变为再现延迟时间U’,而且使转换器10降低视频(声音)数据的帧率并降低视频(声音)数据的分辨率,由此解决通信网络9的拥塞。这使得编码器桥单元30,如在步骤S103那样,根据改变的操作状况将当前时间信息(T0)增加至视频(声音)数据[A]作为时间戳(步骤S104)。视频(声音)数据因此被增加(步骤S114)。发送器/接收器31传送分发控制系统2的视频(声音)数据和时间信息(T0)至通信终端5的发送器/接收器51(步骤S115)。通信终端5的发送器/接收器51接收分发控制系统2的视频(声音)数据和时间信息(T0)并输出视频(声音)数据和时间信息(T0)至再现控制器53。
在通信终端5,基于在步骤S112获取的再现延迟时间信息(U’)、在步骤S115获取的时间信息(T0)以及在步骤S88存储于存储单元5000的时间差信息(Δ),再现控制器53等待直到通信终端5的时间(T0+U'-Δ),然后输出视频(声音)数据至解码单元50,由此,如步骤S105那样,使得扬声器61输出声音且使得显示单元58通过渲染单元55再现视频(步骤S116)。在其之后是步骤S106中或之后的处理。由此,连续执行下行通道适配控制的处理。
上行通道适配控制的处理
接下来参考图21描述的是针对从通信终端5传送至分发控制系统2的数据的通道适配控制的处理(上行)。图21为说明了针对从通信终端传送至分发控制系统的数据的通道适配控制的处理的顺序图。
首先,通信终端5的编码单元60编码从照相机62和麦克风63输入的作为视频(声音)数据[E]的内容数据(步骤S121)。此时,编码单元60从存储单元5000获取表示通信终端5中的当前时间t0的时间信息(t0)和表示时间差Δ的时间差信息(Δ)并且不进行编码。发送器/接收器51传送视频(声音)数据[E]、时间信息(t0)和时间差信息(Δ)至分发控制系统2的发送器/接收器31(步骤S122)。分发控制系统2的发送器/接收器31接收视频(声音)数据[E]、时间信息(t0)和时间差信息(Δ)。
在分发控制系统2中,解码单元40从时间管理单元25读取表示视频(声音)数据[E]等在步骤S112何时接收的时间T0(步骤S123)。然后解码单元40计算表示从视频(声音)数据从通信终端5传送的点到其由分发控制系统2接收的点的时间的传送延迟时间d1(步骤S124)。该计算由如下公式(4)执行;当通信网络9变得拥塞时,传送延迟时间d1变得更长。
d1=T0-(t0+Δ) (4)
如同延迟信息获取单元57的情况,分发控制系统2的延迟信息获取单元37a从解码单元40获取表示传送延迟时间d1的传送延迟时间信息(d1),并将其保持特定时间段,而当多个传送延迟时间信息(d1)片段被获取时,将基于多个传送延迟时间d1片段表示频率分发信息的传送延迟时间信息(d)输出至通道适配控制器37b(步骤S125)。
基于传送延迟时间信息(d),通道适配控制器37b计算编码单元60的操作状况(步骤S126)。发送器/接收器31将表示如帧率和数据分辨率之类的操作状况的通道适配控制信号传送至通信终端5的发送器/接收器51(步骤S127)。通信终端5的发送器/接收器51接收通道适配控制信号。换言之,在图21中所示的(下行)通道适配控制的情况下,通道适配控制信号输出至同一分发控制系统2内的编码器桥单元30,而相反,在图22中所示的通道适配控制的情况下(上行),通道适配控制信号通过通信网络9从分发控制系统2传送至通信终端5。
基于由发送器/接收器51接收的操作状况,编码单元60改变编码单元60的操作状况(步骤S128)。然后编码单元60基于新的操作状况执行与步骤S121相同的处理(步骤S129)。发送器/接收器51,如在步骤S122那样,将从照相机62和麦克风63获取并编码的视频(声音)数据[E]、从存储单元5000获取的表示通信终端5中的当前时间t0的时间信息(t0)以及同样从存储单元5000获取的表示时间差Δ的时间差信息(Δ)传送至分发控制系统2的发送器/接收器31(步骤S130)。分发控制系统2的发送器/接收器31接收视频(声音)数据[E]、时间信息(t0)以及时间差信息(Δ)。在其之后是步骤S123中或之后的处理。因此,连续执行上行通道适配控制的处理。
多重显示的处理
接下来参考图22至图24描述多重显示的处理。图22至图24为说明图5中所示的多重显示的处理的顺序图。
以下描述了以划分的方式将在通信终端5a上再现的再现视频(声音)[XYZ]也同样再现于通信终端(5f1,5f2,5f3)上的示例。
用于显示网络内容的浏览器20称为“浏览器20a”,而用于对用户显示设置屏幕的浏览器20称为“浏览器20b”。首先描述的是对应于图18的步骤S30的处理。
首先,分发控制系统2的浏览器20a渲染从网络服务器8获取的网络内容数据[XYZ],由此生成作为静态图像(声音)数据的帧数据片段并将其输出至传送FIFO24(步骤S201)。转换器10对存储于传送FIFO24中的该帧数据片段进行编码,由此将其转换为可分发至通信终端5a的数据格式的视频(声音)数据[XYZ](步骤S202)。
发送器/接收器31将由转换器10转换的视频(声音)数据[XYZ]传送至通信终端5a的发送器/接收器51(步骤S203)。通信终端5a的发送器/接收器51接收视频(声音)数据[XYZ]并将其输出至再现控制器53。
在通信终端5a中,解码单元50从再现控制器53获取视频(声音)数据[XYZ]并解码(步骤S204)。其后,扬声器61基于所解码的声音数据[XYZ]再现声音,且显示单元58基于从解码单元50获取并由渲染单元55渲染的视频数据[XYZ]再现视频(步骤S205)。
显示于显示单元58上的屏幕由通信终端5a的用户切换至菜单请求屏幕(未示出),且操作单元52接收在菜单请求屏幕上的“分发目的地选择菜单”(未示出)的按压(步骤S206)。这使得发送器/接收器51将用于切换至分发目的地选择菜单的请求传送至终端管理系统7的发送器/接收器71a(步骤S207)。终端管理系统7的发送器/接收器71a接收用于切换至分发目的地选择菜单的请求。该请求包括通信终端5a的终端ID。
发送器/接收器71b传送浏览器20b的启动请求至分发控制系统2的发送器/接收器21(步骤S208)。分发控制系统2的发送器/接收器21接收浏览器20b的启动请求并将浏览器20b的启动请求发布至浏览器管理单元22。
随后,浏览器管理单元22启动浏览器20b(步骤S209)。编码器桥单元30的创建/选择单元310将从浏览器20a到转换器10(例如转换器10a)的输出切换至从浏览器20b到转换器10(例如,转换器10b)的输出(步骤S210),当通信终端5a和另一通信终端5(例如,通信终端5b)共享转换器10(例如,转换器10a)以在步骤S203接收视频(声音)数据时,编码器桥单元30的创建/选择单元310新创建转换器10(例如,转换器10b),因为其他通信终端5(例如,通信终端5b)正在使用用于浏览器20a的转换器10(例如,转换器10a)。
发送器/接收器21根据指令由浏览器20b将用于分发目的地选择菜单的请求传送至终端管理系统7的发送器/接收器71b(步骤S211)。在这种情况下,通信终端5a的终端ID也被传送。终端管理系统7的发送器/接收器71b接收用于分发目的地选择菜单的请求并将通信终端5a的终端ID输出至存储单元7000。
响应于此,终端管理系统7的存储单元7000基于终端ID搜索可用终端管理表7020,由此提取对应的共享ID(步骤S212)。该共享ID表示可用于通信终端5a执行远程共享处理的通信终端5。如图14所示,因为通信终端5a的终端ID为“t001”,所以要提取的共享ID为“v003”和“v006”。
存储单元7000基于提取的共享ID进一步搜索终端管理表7010,由此提取表示对应的显示名称的显示名称信息(步骤S213)。如图13所示,对应于提取的共享ID“v003”和“v006”的显示名称分别为“Tokyo head office 10F MFP”和“Osaka exhibition hall 1Fmultidisplay”。
发送器/接收器71b传送作为内容数据的分发目的地选择菜单数据[M]至分发控制系统2的发送器/接收器21(步骤S214)。分发控制系统2的发送器/接收器21接收分发目的地选择菜单数据[M]并将其输出至浏览器20b。如图12所示,该分发目的地选择菜单数据[M]包括复选框、共享ID和显示名称。
如图24所示,浏览器20b渲染表示从终端管理系统7获取的分发目的地选择菜单数据[M]的内容数据,由此生成静态图像(声音)数据的帧数据片段并输出至传送FIFO24(步骤S221)。转换器10对存储于传送FIFO24中的图像(声音)数据[M]的片段进行编码,由此以可分发至通信终端5a的数据格式将其转换为视频(声音)数据[M](步骤S222)。
发送器/接收器31将由转换器10转换的视频(声音)数据[M]传送至通信终端5a的发送器/接收器51(步骤S223)。通信终端5a的发送器/接收器5]接收视频(声音)数据[M]并将其输出至再现控制器53。
在通信终端5a,解码单元50从再现控制器53获取视频(声音)数据[M]并将其解码(步骤S224)。其后,基于从解码单元50获取并由渲染单元55渲染的视频数据[XYZ],显示单元58再现视频,如图12所示(步骤S225)。
在图12中所示的分发目的地选择菜单中,当共享ID“v006”的复选框被选择并且“OK”按钮由用户按下时,操作单元52接收由用户输入的操作(步骤S226)。
发送器/接收器51将作为操作数据的检查结果传送至分发控制系统2的发送器/接收器31(步骤S227)。分发控制系统2的发送器/接收器31接收作为操作数据的检查结果并将其输出至浏览器20b。
浏览器20b从检查结果选择共享ID(步骤S228)。发送器/接收器21根据指令由浏览器20b将用于增加分发目的地的请求传送至终端管理系统7的发送器/接收器71b(步骤S229)。该用于增加分发目的地的请求包括在步骤S227选择的共享ID。终端管理系统7的发送器/接收器71b接收用于增加分发目的地的请求并将共享ID输出至存储单元7000。然后浏览器20b结束(步骤S230)。这使得编码器桥单元30的创建/选择单元310将从浏览器20b到转换器10的输出切换回从浏览器20a到转换器10的输出(步骤S231)。
如图24所示,在终端管理系统7的存储单元7000中,基于在步骤S229发送的共享ID搜索终端管理表7010,由此提取对应的终端ID以及安装位置信息(步骤S241)。发送器/接收器71b传送增加分发目的地的指令至分发控制系统2的发送器/接收器21(步骤S242)。该增加分发目的地的指令包括在步骤S241提取的终端ID和安装位置信息。分发控制系统2的发送器/接收器21接收增加分发目的地的指令并输出该增加分发目的地的指令至浏览器管理单元22。此处包括的是三组终端ID和安装位置信息,即,分别为“t006”和“左边”的终端ID和安装位置信息、分别为“t007”和“中间”的终端ID和安装位置信息、以及分别为“t008”和“右边”的终端ID和安装位置信息。
编码器桥单元30的创建/选择单元310创建用于多重显示的转换器10(步骤S243)。在这种情况下,编码器桥单元30的创建/选择单元310从浏览器管理单元22获取终端ID和安装位置信息。
在步骤S243创建的转换器10的划分单元13划分存储于传送FIFO24的作为静态图像(声音)数据的帧数据[XYZ]片段,并且编码单元19编码划分的帧数据片段(步骤S244)。
发送器/接收器31基于终端ID(“t006”)和安装位置信息(“左边”)将由编码器桥单元30编码的视频(声音)数据[X]传送至通信终端5f1的发送器/接收器51(步骤S245-1)。通信终端5f1的发送器/接收器51接收视频(声音)数据[X]并将其输出至再现控制器53。
在通信终端5f1,解码单元50从再现控制器53获取视频(声音)数据[X]并将其解码(步骤S246-1)。其后,扬声器61基于所解码的声音数据[X]再现声音,并且显示单元58基于从解码单元50获取并由渲染单元55渲染的视频数据[X]再现视频(步骤S247-1)。
类似地,发送器/接收器31基于终端ID(“t007”)和安装位置信息(“中间”)将由编码器桥单元30编码的视频(声音)数据[Y]传送至通信终端5f2的发送器/接收器51(步骤S245-2)。通信终端5f2的发送器/接收器51接收视频(声音)数据[Y]并将其输出至再现控制器53。
在通信终端5f2,解码单元50从再现控制器53获取视频(声音)数据[Y]并将其解码(步骤S246-2)。其后,扬声器61基于所解码的声音数据[Y]再现声音,并且显示单元58基于从解码单元50获取并由渲染单元55渲染的视频数据[Y]再现视频(步骤S247-2)。
类似地,发送器/接收器31基于终端ID(“t008”)和安装位置信息(“右边”)将由编码器桥单元30编码的视频(声音)数据[Z]传送至通信终端5f3的发送器/接收器51(步骤S235-3)。通信终端5f3的发送器/接收器51接收视频(声音)数据[Z]并将其输出至再现控制器53。
在通信终端5f3,解码单元50从再现控制器53获取视频(声音)数据[Z]并解码(步骤S246-3)。其后,扬声器61基于所解码的声音数据[Z]再现声音,并且显示单元58基于从解码单元50获取并由渲染单元55渲染的视频数据[Z]再现视频(步骤S247-3)。
多重投影的细节
多重投影响应于在图像处理中使用的投影仪的布置等,要求预校准以及视频畸变的校正。可以例如通过使得具体校准图案在分发之前由投影仪显示、用相机单元拍摄它并且利用分发控制系统2分析该图像而计算用于此校正中使用的校正数据。
为了通过多重投影以组合方式重现视频,视频重现的定时需要在投影仪之间同步。例如,可以采用以下方法作为同步方法。首先,当浏览器图像的采样由分发控制系统2启动时的时间(采样时间)在RTP分组的头部中被设置为时间戳。在投影仪中设置从该时间戳起的相同的重现延迟时间。投影仪基于时间戳、内部时钟以及重现延迟时间确定重现时间。尽管时间戳可以是基于分发系统2的内部时钟,但是可以存在其基准时间从投影仪的内部时钟偏离的情况。在这样的情况中,关于分发控制系统2的时间差可以对每一个投影仪确定并用于重现时间的校正。
图25是举例使用由三个通信终端制作的合成图像重现从浏览器输出的图像的情况的概念图。
如上所述,多重投影是一种分发机制,其将通过由浏览器20渲染从网络服务器8获取的网络内容而生成的图像数据划分为多个区域,传送划分图像到多个投影仪,并且重现它们。作为具体示例,如图25所示,多重投影使用具有相邻区域作为其投影区域的多个投影仪5f1、5f2和5f3作为通信终端5.分发控制系统2将从一个网络内容数据片段生成的输出图像I200划分为多个区域并且将各个区域(以下称为划分图像)的图像I201、I202和I203分发到与各个划分位置对应的投影仪5f1、5f2和5f3。各个转换器10分别分配给划分图像I201、I202和I203。
投影仪5f1、5f2和5f3分别投影以同一时间轴接收的划分图像I201、I202和I203。结果是,所投影的划分图像I201、I202和I203在投影平面上被综合为视频的一个片段,由此在更大的屏幕上重现视频。因为相对低价、低分辨率的投影仪可以用作各个投影仪5f1、5f2和5f3,所以难以由单一终端实现的大屏幕可以实现而不要求通信终端5与丰富的内容对应。
在多重投影中,重要的是在通信终端5之间减少划分图像中的时间偏离(以下称为重现偏离)。鉴于此,本实施例提供了综合重现的机构以减少重现偏离到小于一帧。
在分发控制系统2侧上,需要创建校正表,其包含图像校正处理所需的、关于划分图像的重叠以及图像的畸变等的信息。在此情形下,在通信终端5侧上提供相机等以拍摄静态图像,并由分发控制系统2分析该静态图像,由此创建图像校正处理所需的校正表。
在多重投影中,声音帧可以传送到构成多重投影的通信终端5的至少一个或除了构成多重投影的通信终端5之外的另一通信终端5(例如,扬声器单元)。
将构成多重投影的通信终端5(5f1、5f2、5f3)布置,以使得投影区域的相邻部分彼此重叠(混合)。在此情况下,如果对包括布置位置的预布置要求严格步骤或精度,则施加在用户上的负担增加。鉴于此,例如,本实施例提供用于简化校正布置错误(诸如位置偏离、倾斜和投影区域的重叠程度)的机构。
这样的机构可以例如通过提供分发控制系统2中的软件处理的校正错误等的功能以及向用户以导航的形式提供与此功能关联的设置功能而实现。例如,在分发控制系统2中,除非使用一些工具,否则不清楚以何种顺序布置通信终端5。在此情形下,本实施例通过通信终端5提供允许用户指令来自通信终端5的这种信息到分发控制系统2的用户接口。由分发控制系统2管理通信终端5的布置顺序,由此使得划分图像适于此布置以被分发到合适的通信终端5。
图26是图示由通信终端投影的图像以及通过综合这些图像而显示的图像的示图。如图26所示,由投影仪5f1投影的划分图像I201包含与由投影仪5f2投影的划分图像I202中的区域I202a重叠的区域I201a。类似地,由投影仪5f3投影的划分图像I203包含与由投影仪5f2投影的划分图像I202中的区域I202b重叠的区域I203b。因此,在由投影仪5f1、5f2和5f3形成的合成图像I200中,通过区域I201a和区域I202a的重叠形成重叠区域I200a,而通过区域I201b和区域I202b的重叠形成重叠区域I200b。
作为划分图像i201、i202和i203的边缘的区域I201a、I202a、I202b和I203b可以例如通过使得与区域I200a和I200b对应的图像在转换器10的划分单元13划分图像i200时重叠而实现。
在重叠区域I200a和I200b上,可以进行诸如亮度调整、色彩匹配和畸变校正之类的处理,以便于防止这些区域作为由图像的重叠引起的边界而突出。
实施例的主要效果
如上关于具体示例描述的,在根据本实施例的分发系统1中,分发控制系统2包括执行渲染的浏览器20以及在云中执行编码等的编码器桥单元30。浏览器20基于以特定描述语言描述的内容数据而生成作为静态图像(声音)数据的帧数据片段。编码器桥单元30将该帧数据片段转换为通过通信网络9可分发的视频(声音)数据。其后,分发控制系统2分发视频(声音)数据至通信终端5。结果,通信终端5可平稳地再现网络内容,而无其浏览器的更新或用于升级CPU、OS、RAM等的规格的时间和开销。这消除了丰富化的内容增加了通信终端5上的负荷的问题。
特别是,浏览器20允许实时通信,并且转换器10针对由浏览器20生成的帧数据执行实时编码。因此,不同于如在例如视频(声音)数据的按需分发中所见的DVD播放器选择并分发非实时(即预编码)视频(声音)数据的情况,分发控制系统2渲染紧接在分发之前获取的内容,由此生成帧数据片段并将其编码。这允许视频(声音)数据的实时分发。
补充描述
根据本实施例的分发系统1包括终端管理系统7和分发控制系统2作为独立的系统。例如,终端管理系统7和分发控制系统2可以例如通过使分发控制系统2而具有终端管理系统7的功能构造为完整的系统,。
根据上述实施例的分发控制系统2和终端管理系统7可以由单个计算机实现或可以由多个计算机实现,其中各个部分(功能、部件或存储单元)被划分并分配至任意期望的单元中。
上述实施例的程序被记录在其中的、如CD-ROM和HDD之类的存储介质可在本国或在国外作为程序产品提供。
本发明的一个方面可提供分发控制系统、分发系统、分发控制方法以及计算机程序,其即使当使用瘦客户端技术时也可降低使用丰富化内容的通信终端的负荷。
本发明的一个方面可以提供分发控制系统、分发系统、分发控制方法以及计算机可读存储介质,它们即使当使用瘦客户机(thin client)技术时也可以减少在使用丰富内容的通信终端上的负荷。
尽管本发明为了完整和清晰的公开而已关于具体实施例描述,但所附权利要求并非因此被限制,而应解释为实现了完全处于本文提出的基本教导之中的所有修改以及可选结构,其可使本领域技术人员容易想到。
Claims (8)
1.一种分发控制系统,包含:
包括至少第一和第二通信终端的多个通信终端;以及
分发控制系统,配置来与所述多个通信终端通信;
所述分发系统包括:
生成单元,配置为从内容数据生成图像数据;
转换单元,配置为将所述图像数据分别划分为与图像的至少第一和第二不同空间区域对应的至少第一和第二划分图像数据片段,所述图像与所生成的图像数据对应,将所述第一和第二划分图像数据片段分别转换为第一和第二划分传送数据片段;以及
传送单元,配置为分别传送所述第一和第二划分传送数据片段至所述第一和第二的通信终端,
其中
所述第一通信终端被配置为基于所述第一划分传送数据片段显示与所述第一划分图像数据片段对应的第一图像,并且所述第二通信终端被配置为基于所述第二划分传送数据片段显示与所述第二划分图像数据片段对应的第二图像,以及
多个通信终端被相邻地布置,使得所述第一和第二通信终端被配置为显示所述第一和第二图像,使得所显示的第一和第二图像组合来形成与所生成的图像数据对应的图像或与所生成的图像数据对应的图像的单一部分。
2.根据权利要求1所述的分发系统,其中所述转换单元配置为将所生成的图像数据划分为至少第一和第二划分图像数据片段,以使重叠区域形成于所述第一和第二划分图像数据片段中邻接的区域内的所述第一和第二划分图像数据片段之间。
3.根据权利要求1所述的分发系统,其中
所述生成单元为渲染器,配置为通过渲染所述内容数据生成所述图像数据的帧数据,并且
所述转换单元为编码器,配置为将所述帧数据划分为多个划分图像数据片段的帧数据片段并将所述多个划分图像数据片段的所述帧数据片段单独转换为要通过通信网络传送的划分传送数据片段,所述多个划分图像数据片段包括所述至少第一和第二划分图像数据片段,所述多个划分传送数据片段包括所述至少第一和第二划分传送数据片段。
4.根据权利要求3所述的分发系统,其中所述生成单元配置为获取以特定描述语言表达的内容数据并生成所述帧数据。
5.根据权利要求3所述的分发系统,其中
所述生成单元为网络浏览器,且
所述转换单元包括编码器,配置为将所述帧数据划分为所述多个划分图像数据片段的帧数据片段并针对所述多个划分图像数据片段的所述帧数据执行编码。
6.根据权利要求3所述的分发系统,其中
所述生成单元为使能实时通信的网络浏览器,并且
所述转换单元配置为将由所述网络浏览器生成的帧数据划分为所述多个划分图像数据片段的帧数据片段并针对所述多个划分图像数据片段的所述帧数据片段执行实时编码。
7.根据权利要求1所述的分发控制系统,其中所述转换单元配置为执行裁剪、尺寸调整、划分和编码。
8.一种分发控制方法,用于将生成自内容数据的图像数据转换为传送数据,并传送所述传送数据至多个通信终端,所述分发控制方法包含:
从内容数据生成图像数据;
将所述图像数据分别划分为与图像的至少第一和第二不同空间区域对应的至少第一和第二划分图像数据片段,所述图像与所生成的图像数据对应;
将所述第一和第二划分图像数据片段分别转换为第一和第二划分传送数据片段;以及
分别传送所述第一和第二划分传送数据片段至第一和第二通信终端;
基于第一划分传送数据片段在所述第一通信终端处显示与第一划分图像数据片段对应的第一图像;
基于第二划分传送数据片段在所述第二通信终端处显示与第二划分图像数据片段对应的第二图像,其中
所述第一和第二通信终端被相邻地布置,使得当所述第一和第二通信终端显示所述第一和第二图像时,所显示的第一和第二图像组合来形成与所生成的图像数据对应的图像或与所生成的图像数据对应的图像的单一部分。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-054408 | 2013-03-15 | ||
JP2013054408 | 2013-03-15 | ||
JP2014-028970 | 2014-02-18 | ||
JP2014028970A JP6354195B2 (ja) | 2013-03-15 | 2014-02-18 | 配信システム、配信方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104053069A CN104053069A (zh) | 2014-09-17 |
CN104053069B true CN104053069B (zh) | 2017-09-22 |
Family
ID=50289429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410196039.5A Expired - Fee Related CN104053069B (zh) | 2013-03-15 | 2014-03-14 | 分发控制系统、分发系统和分发控制方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140280458A1 (zh) |
EP (1) | EP2778981B1 (zh) |
JP (1) | JP6354195B2 (zh) |
CN (1) | CN104053069B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014200076A (ja) | 2013-03-15 | 2014-10-23 | 株式会社リコー | 配信制御システム、配信制御方法、及びプログラム |
US9723337B2 (en) | 2013-03-15 | 2017-08-01 | Ricoh Company, Limited | Distribution control system and distribution system |
JP6354197B2 (ja) | 2013-03-15 | 2018-07-11 | 株式会社リコー | 配信制御システム、配信制御方法、及びプログラム |
EP3051826A4 (en) | 2013-09-26 | 2016-10-19 | Ricoh Co Ltd | DISTRIBUTION MANAGEMENT DEVICE, DISTRIBUTION PROCESS AND PROGRAM |
WO2015045787A1 (ja) | 2013-09-27 | 2015-04-02 | 株式会社リコー | 配信管理装置、端末及び配信管理方法 |
JP6045487B2 (ja) * | 2013-12-25 | 2016-12-14 | シャープ株式会社 | 操作入力システム、電子機器、携帯端末、及び操作入力方法 |
EP3316110A4 (en) | 2015-06-23 | 2018-06-20 | Ricoh Company, Ltd. | Communication terminal, management system, communication system, display method and program |
JP2022077175A (ja) | 2020-11-11 | 2022-05-23 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000051310A1 (en) * | 1999-02-22 | 2000-08-31 | Liberate Technologies Llc | System and method for interactive distribution of selectable presentations |
EP2480004A2 (en) * | 2011-01-19 | 2012-07-25 | EMC SatCom Technologies, LLC | System and method for tero latency browsing |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19983292T1 (de) * | 1998-06-18 | 2003-04-03 | Sony Electronics Inc | Verfahren und ein Gerät zum Aufteilen, zum maßstabsgetreuen Ändern und zum Anzeigen von Video- und/oder Graphik über mehrere Anzeigeeinrichtungen |
US20110122063A1 (en) * | 2002-12-10 | 2011-05-26 | Onlive, Inc. | System and method for remote-hosted video effects |
US8964830B2 (en) * | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
JP4977950B2 (ja) * | 2004-02-04 | 2012-07-18 | セイコーエプソン株式会社 | マルチ画面映像再生システム、映像再生方法及び表示装置 |
JP4384607B2 (ja) * | 2005-01-25 | 2009-12-16 | 株式会社日立国際電気 | 画像処理装置 |
JP2006284990A (ja) * | 2005-04-01 | 2006-10-19 | Matsushita Electric Ind Co Ltd | 画像伝送マルチ表示システム |
US8074248B2 (en) * | 2005-07-26 | 2011-12-06 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
JP5046527B2 (ja) | 2006-02-14 | 2012-10-10 | カシオ計算機株式会社 | コンピュータシステムのサーバ装置及びサーバ制御プログラム |
US8824833B2 (en) * | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
US10108738B2 (en) * | 2008-10-30 | 2018-10-23 | Raja Singh Tuli | Image transmission method |
JP2010250612A (ja) * | 2009-04-16 | 2010-11-04 | Canon Inc | 画像処理装置及び画像処理方法 |
US20120200774A1 (en) * | 2011-02-07 | 2012-08-09 | Ehlers Sr Gregory Allen | Audio and video distribution system with latency delay compensator |
JP5971973B2 (ja) * | 2012-02-21 | 2016-08-17 | キヤノン株式会社 | 投影装置 |
-
2014
- 2014-02-18 JP JP2014028970A patent/JP6354195B2/ja active Active
- 2014-03-11 US US14/204,040 patent/US20140280458A1/en not_active Abandoned
- 2014-03-13 EP EP14159521.5A patent/EP2778981B1/en active Active
- 2014-03-14 CN CN201410196039.5A patent/CN104053069B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000051310A1 (en) * | 1999-02-22 | 2000-08-31 | Liberate Technologies Llc | System and method for interactive distribution of selectable presentations |
EP2480004A2 (en) * | 2011-01-19 | 2012-07-25 | EMC SatCom Technologies, LLC | System and method for tero latency browsing |
Also Published As
Publication number | Publication date |
---|---|
JP2014200070A (ja) | 2014-10-23 |
US20140280458A1 (en) | 2014-09-18 |
EP2778981A1 (en) | 2014-09-17 |
EP2778981B1 (en) | 2019-10-02 |
JP6354195B2 (ja) | 2018-07-11 |
CN104053069A (zh) | 2014-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104053069B (zh) | 分发控制系统、分发系统和分发控制方法 | |
CN104053070B (zh) | 分发控制系统、分发系统以及分发控制方法 | |
CN104052958B (zh) | 分发控制系统和分发系统 | |
CN104052797B (zh) | 分发控制系统、分发系统和分发控制方法 | |
CN104053071B (zh) | 分发控制系统、分发系统和分发控制方法 | |
CN104053073B (zh) | 分发控制系统、分发系统以及分发控制方法 | |
AU2014230438B2 (en) | Distribution control system, distribution control method, and computer-readable storage medium | |
CN104053072B (zh) | 分发控制系统、分发系统以及分发控制方法 | |
CN105247875B (zh) | 分发控制系统和分发系统 | |
JP2014200074A (ja) | 配信制御システム、配信制御方法、及びプログラム | |
CN104202292A (zh) | 分发控制系统、分发系统以及分发控制方法 | |
JP2014200075A (ja) | コンピュータシステム、配信制御システム、配信制御方法、及びプログラム | |
JP2015069244A (ja) | 配信システム、配信方法、及びプログラム | |
JP2016063247A (ja) | 配信システム及び配信方法 | |
JP2016015597A (ja) | 配信制御システム、配信制御方法、及びプログラム | |
JP6607298B2 (ja) | 配信制御システム、配信制御方法、及びプログラム | |
JP6387623B2 (ja) | 配信制御システム | |
JP6442832B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP2016058959A (ja) | 配信制御システム、配信システム、配信制御方法及びプログラム | |
JP2015220741A (ja) | 配信制御システム、配信制御方法、及びプログラム | |
JP2016015648A (ja) | 配信制御システム、配信制御方法、及びプログラム | |
JP2015092322A (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170922 Termination date: 20200314 |
|
CF01 | Termination of patent right due to non-payment of annual fee |