CN105122224A - 分发控制系统、分发控制方法和计算机可读存储介质 - Google Patents

分发控制系统、分发控制方法和计算机可读存储介质 Download PDF

Info

Publication number
CN105122224A
CN105122224A CN201480021408.5A CN201480021408A CN105122224A CN 105122224 A CN105122224 A CN 105122224A CN 201480021408 A CN201480021408 A CN 201480021408A CN 105122224 A CN105122224 A CN 105122224A
Authority
CN
China
Prior art keywords
frame data
data
communication terminal
control system
distribution control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480021408.5A
Other languages
English (en)
Inventor
笠谷洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN105122224A publication Critical patent/CN105122224A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26291—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for providing content or additional data updates, e.g. updating software modules, stored at the client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种分发控制系统向通信终端分发能够由通信终端单独再现的第一帧数据或作为与向通信终端分发的先前帧数据的差异的第二帧数据。该分发控制系统包括：生成单元，被配置为从特定帧数据生成第一帧数据或第二帧数据；和发送单元，被配置为当所述特定帧数据的内容与先前生成的帧数据的内容相比在特定范围或更大范围上未被更新时，向通信终端发送其内容未被更新的第三帧数据或指示内容未被更新的未更新信息，取代所述第一帧数据或所述第二帧数据。

Description

分发控制系统、分发控制方法和计算机可读存储介质
技术领域
本发明涉及一种系统，其生成诸如I帧数据的第一帧数据或诸如P帧数据的第二帧数据并分发这些数据到诸如个人计算机和电子黑板的通信终端。
背景技术
随着近来因特网的广泛使用，已经在各种领域使用了云计算。云计算是其中用户使用连接到因特网的通信终端来使用由因特网上的服务器提供的服务(云服务)并为该服务付费的服务使用模式。
当服务器提供分发视频数据的服务时，通过视频压缩技术减少或去除不必要的数据。在视频压缩技术中，使用帧间数据编码的MPEG-4和H.264预测帧间数据的改变以减少视频数据量。该方法包括差分编码技术，其比较帧数据和要被参考的帧数据并仅编码改变的像素。使用该差分编码减少了要编码和发送的像素的数量。当显示如此编码的视频数据时，能够看上去像是通过差分编码生成的每个差分数据被包括在原始视频数据中。在预测帧间数据改变时，在视频数据内的帧数据被分类为诸如I帧数据和P帧数据的帧类型。
但是，因为P帧数据是与先前帧数据(P帧数据或I帧数据)的差分数据，因此如果不存在针对先前一帧的被更新部分，则浪费了编码器执行的差分计算。I帧数据不经历编码器的差分计算，但经历用于编码的压缩计算。通过该编码生成的I帧数据的数据量大于P帧数据的数据量。由于这个原因，对于I帧数据，如果不存在针对先前的一帧的被更新部分，则浪费了压缩计算，此外，因为I帧数据的数据量大，因此在服务器内的总线上花费长发送时间。
因此，传统视频压缩技术导致如下问题：数据不能以更高速度被传输到通信终端，因为帧数据处理在服务器中变得拥塞。
发明内容
本发明的一个目的是至少部分地解决传统技术中的问题。
根据一个实施例，提供了一种分发控制系统，其向通信终端分发能够由通信终端单独再现的第一帧数据或作为与向通信终端分发的先前帧数据的差别的第二帧数据。该分发控制系统包括：生成单元，被配置为从特定帧数据生成第一帧数据或第二帧数据；和发送单元，被配置为当所述特定帧数据的内容与先前生成的帧数据的内容相比在特定范围或更大范围上未被更新时，向通信终端发送内容未被更新的第三帧数据或指示内容未被更新的未更新信息，取代所述第一帧数据或所述第二帧数据。
通过阅读本发明的当前优选实施例的以下详细描述，当结合附图考虑时，将更好地理解本发明的以上和其他目的、特征、优点以及技术和工业显著性。
附图说明
图1是根据一个实施例的分发系统的示意图。
图2是当保护器(dongle)被附连到通信终端时的概念图。
图3是图示基本分发方法的概念图。
图4是多播(multicast)的概念图。
图5是多显示(multidisplay)的概念图。
图6是通过分发控制系统使用多个通信终端的复合分发的概念图。
图7是分发控制系统、通信终端、终端管理系统、以及网页服务器的逻辑硬件配置图。
图8是保护器的逻辑硬件配置图。
图9是主要示出分发控制系统的功能的功能方框图。
图10是主要示出通信终端的功能的功能方框图。
图11是示出终端管理系统的功能的功能方框图。
图12是分发目的地选择菜单屏幕的概念图。
图13是终端管理表的概念图。
图14是可用终端管理表的概念图。
图15是编码器桥单元的详细图。
图16是图示转换器的功能的功能方框图。
图17是图示分发控制系统的基本分发处理的序列图。
图18是图示通过分发控制系统使用多个通信终端的通信处理的序列图。
图19是图示时间调整的处理的序列图。
图20是图示对从分发控制系统发送到通信终端的数据的信道适应控制的处理的序列图。
图21是图示对从通信终端发送到分发控制系统的数据的信道适应控制的处理的序列图。
图22是图示多显示的处理的序列图。
图23是图示多显示的处理的序列图。
图24是图示多显示的处理的序列图。
图25是各种类型的帧数据的概念图。
图26是用于生成各种类型的帧数据的流程图。
具体实施方式
下面参考附图描述根据一个实施例的分发系统1。以下详细描述的是使得网页浏览器(此后称为“浏览器”)和编码器两者通过云计算来在云中彼此协作地执行且向通信终端发送视频数据、声音数据等的发明。
以下，“图像”包括静止图像和运动图像。“视频”基本上意味着运动图像，并且也包括被停止为静止图像的运动图像。“静止图像(声音)”表示静止图像和声音中的至少任一个。“图像(声音)”表示图像和声音中的至少任一个。“视频(声音)”表示视频和声音中的至少任一个。
实施例概况
参考图1描述根据本发明的实施例的概况。图1是根据当前实施例的分发系统的示意图。
系统配置的概况
首先描述了分发系统1的配置的概况。
如图1所示，根据当前实施例的分发系统1包括分发控制系统2、多个通信终端(5a到5f)、终端管理系统7、以及网页服务器8。以下，在通信终端(5a到5f)之中的任何通信终端可以被称为“通信终端5”。分发控制系统2、终端管理系统7、和网页服务器8都由服务器计算机来实现。
通信终端5是由接收分发系统1的服务的用户使用的终端。通信终端5a是笔记本个人计算机(PC)。通信终端5b是诸如智能电话或平板终端的移动终端。通信终端5c是多功能外围/打印机/产品(MFP)，其中，组合了复印、扫描、打印和传真的功能。通信终端5d是投影仪。通信终端5e是具有相机、麦克风和扬声器的TV(视频)会议终端。通信终端5f是能够电子地转换由用户绘出的图画等的电子黑板(白板)。
通信终端5不仅是如图1所示的这种终端，而且可以是可通过诸如因特网、包括手表、售卖机、汽车导航设备、游戏控制台、空调、照明设施、摄像机本身、麦克风本身和扬声器本身的通信网络通信的设备。
分发控制系统2、通信终端5、终端管理系统7、和网页服务器8可以通过包括因特网和局域网(LAN)的通信网络9彼此通信。通信网络9的例子可以包括诸如第三代(3G)、微波访问的全球互操作性(WiMAX)和长期演变(LTE)的无线通信网络。
在通信终端5中的例如通信终端5d不具有通过通信网络9与其他终端或系统通信的功能。但是，如图2所示，用户将保护器(dongle)99插入通信终端5d的诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI)的接口，从而使得其能够与其他终端和系统通信。图2是当保护器被附接于通信终端时的概念图。
分发控制系统2具有在云中的浏览器20，且通过在浏览器20中的渲染(render)的功能，获取以特定描述语言描述的单条或多条内容数据，且对内容数据进行渲染，从而生成帧数据，该帧数据包括诸如由红、绿和蓝(RGB)构成的位图数据的静止图像数据和诸如脉冲码调制(PCM)数据的声音数据(即静止图像(声音)数据)。内容数据是从网页服务器8、任何通信终端等获取的数据，且包括以超文本标记语言(HTML)和层叠样式表(CSS)的图像(声音)数据、以MP4(MPEG-4)的图像(声音)数据、和以高级音频编码(AAC)的声音数据。
分发控制系统2具有在云中的编码单元19，且编码单元19担当编码器的角色，从而将作为静止图像(声音)数据的帧数据转换为以诸如H.264(MPEG-4AVC)、H.265、和运动JPEG的压缩编码格式的视频(声音)数据。
终端管理系统7对通信终端5进行登录验证，并管理通信终端5的联系人信息等。终端管理系统7具有用于发送电子邮件的简单邮件传输协议(SMTP)服务器的功能。终端管理系统7可以被实施为例如在云服务上开发的虚拟机(IaaS：作为服务的架构)。期望以复用方式来操作终端管理系统7以在意外事件的情况下提供服务持续性。
浏览器20使能实时通信/合作(RTC)。分发控制系统2包括以下描述的图16中的编码单元19，且编码单元19可以对由浏览器20输出帧数据进行实时编码，并输出通过符合H.264标准等等的转换而生成的视频(声音)数据。因此，分发控制系统2的处理不同于例如在记录在DVD中的非实时视频(声音)数据被DVD播放器读取和分发的情况下的处理。
不仅分发控制系统2、而且通信终端5可以具有浏览器。在该情况下，更新分发控制系统2的浏览器20消除了启动各个通信终端5的浏览器的需要。
各种分发方法的概况
接下来描述了各种分发方法的概况。
基本分发
图3是图示基本分发方法的概念图。在分发系统1中，如图3所示，分发控制系统2的浏览器20从网页服务器8获取网页内容数据[A]作为图像(声音)数据，并渲染之，从而生成多条帧数据[A]作为静止图像(声音)数据。包括编码单元19的编码器桥单元30对这些帧数据[A]进行编码等，从而将它们转换为以诸如H.264的压缩编码格式的视频(声音)数据[A](发送数据的例子)。分发控制系统2向通信终端5分发转换的视频(声音)数据[A]。
因此，分发控制系统2可以分发更加丰富的网页内容数据到通信终端5，同时在云中将其从以HTML等等的网页内容数据转换为以H.264等等的压缩的视频(声音)数据。因此，通信终端5可以平滑地再现网页内容而无需用于添加最新的浏览器或并入较高规格的中央处理单元(CPU)、操作系统(OS)、随机存取存储器(RAM)等等的时间和成本。
在网页内容的未来富集将仅需要在云中的分发控制系统2中的较高规格的浏览器20、CPU等，而不需要较高规格的通信终端5。
应用以上分发方法，如图4到图6所示，分发系统1还可以向多个站点分发网页内容数据作为视频(声音)数据。以下描述了图4到图6所示的分发方法。
多播(multicast)
图4是多播的概念图。如图4所示，分发控制系统2的单个浏览器20从网页服务器8获取网页内容数据[A]作为图像(声音)数据，并渲染之，从而生成多条帧数据[A]作为静止图像(声音)数据。编码器桥单元30编码这些帧数据[A]，从而将其转换为视频(声音)数据。然后，分发控制系统2向多个通信终端(5f1、5f2、5f3)分发视频(声音)数据[A](发送数据的例子)。
因此，在各站点处再现相同的视频(声音)。在该情况下，通信终端(5f1、5f2、5f3)不需要具有相同级别的显示再现能力(例如，相同的分辨率)。类似于此的分发方法被称为例如“多播”。
多显示(multidiaplay)
图5是多显示的概念图。如图5，分发控制系统2的单个浏览器20从网页服务器8获取网页内容数据[XYZ]作为图像(声音)数据，并渲染之，从而生成多条帧数据[XYZ]作为静止图像(声音)数据。编码器桥单元30将每个帧数据[XYZ]划分为多条帧数据([X]，[Y]，[Z])，然后对它们编码，从而将它们转换为多条视频(声音)数据([X]，[Y]，[Z])。然后，分发控制系统2向通信终端5f1分发视频(声音)数据[X])(发送数据的例子)。类似地，分发控制系统2向通信终端5f2分发视频(声音)数据[Y](发送数据的例子)，且向通信终端5f3分发视频(声音)数据[Z](发送数据的例子)。
因此，例如，甚至对于横向(landscape)网页内容[XYZ]，通信终端5也以划分的方式再现视频(声音)。因此，当排成一行地(inaline)安装通信终端(5f1、5f2、5f3)时，可以获得与一个大视频的再现相同的效果。在该情况下，通信终端(5f1、5f2、5f3)需要具有相同级别的显示再现能力(例如，相同分辨率)。类似于此的分发方法被称为例如“多显示”。
复合分发
图6是通过分发控制系统使用多个通信终端的复合分发的概念图。如图6中所示，在第一站点处(图6中右侧)使用作为电子黑板的通信终端5f1和作为电话会议终端的通信终端5e1，而在第二站点处(图6中左侧)，类似地使用作为电子黑板的通信终端5f2和作为电话会议终端的通信终端5e2。在第一站点处，使用电子笔P1在通信终端5f1上用笔画绘出字符等。在第二站点处，使用电子笔P2在通信终端5f2上用笔画绘出字符等。
在第一站点处，由通信终端5e1获取的视频(声音)数据被编码单元60编码，然后被发送到分发控制系统2。之后，其被分发控制系统2的解码单元40解码且然后被输入到浏览器20。指示在通信终端5f1上用电子笔P1绘出的笔画的操作数据(在该情况下，在通信终端5f1上的显示器上的坐标数据等等)被发送到分发控制系统2以被输入到浏览器20。而且在第二站点处，由通信终端5e2获取的视频(声音)数据被编码单元60编码，且然后被发送到分发控制系统2。之后，其被分发控制系统2的解码单元40解码且然后被输入到浏览器20。指示在通信终端5f2上用电子笔P2绘出的笔画的操作数据(在该情况下，在通信终端5f2上的显示器上的坐标数据等等)被发送到分发控制系统2以被输入到浏览器20。
浏览器20从网页服务器8获取例如网页内容数据[A]作为在通信终端(5f1，5f2)的显示器上显示的背景图像。浏览器20组合网页内容数据[A]、操作数据([p1]，[p2])、和视频(声音)内容数据([E1]，[E2])，并渲染它们，从而生成多条帧数据作为静止图像(声音)数据，其中以期望的布局来布置多条内容数据([A]，[p1]，[p2]，[E1]，[E2])。编码器桥单元30编码这些帧数据，且分发控制系统2向这两个站点分发指示相同内容([A]，[p1]，[p2]，[E1]，[E2])的视频(声音)数据。由此，在第一站点处，在通信终端5f1的显示器上显示视频([A]，[p1]，[p2]，[E1(视频部分)]、和[E2(视频部分)])，且从通信终端5e1的扬声器输出声音[E2(声音部分)]。而且在第二站点处，在通信终端5f2的显示器上显示视频([A]，[p1]，[p2]，[E1(视频部分)]，和[E2(视频部分)])，且从通信终端5e2的扬声器输出声音[E1(声音部分)]。在第一站点处，由于通信终端5f1的回声消除功能，不输出站点本身的声音[E1(声音部分)]。在第二站点处，由于通信终端5f2的回声消除功能，不输出站点本身的声音[E2(声音部分)]。
因此，在第一站点和第二站点处，可以进行在远程站点处实时共享相同信息的远程共享处理，因此使得根据当前实施例的分发系统1在电话会议等等中是有效的。
实施例的详细描述
以下参考图7到图24详细描述实施例。
实施例的硬件配置
首先参考图7和图8描述当前实施例的硬件配置。图7是分发控制系统、通信终端、终端管理系统、以及网页服务器的逻辑硬件配置图。图8是保护器的逻辑硬件配置图。由于关于通信终端的通信的硬件配置与通信终端的硬件配置的部分相同，所以将省略其描述。
如图7所示，分发控制系统2包括：(主机)CPU201，其控制分发控制系统2的整体操作；只读存储器(ROM)202，其在其中存储诸如IPL的用于驱动CPU201的程序；RAM203，用作CPU201的工作区；HDD204，其在其中存储诸如程序的各种数据；硬盘控制器(HDC)205，其在CPU的控制201之下控制各种数据从HDD204的读取和向HDD204的写入；媒体驱动器207，其控制数据从诸如快闪存储器的存储介质206的读取和向其的写入；显示器208，其显示各种信息；接口(I/F)209，其通过通信网络9发送数据，且保护器99连接到该接口(I/F)209；键盘211；鼠标212；麦克风213；扬声器214；图形处理单元(GPU)215；ROM216，其在其中存储用于驱动GPU215的程序；RAM217，用作GPU215的工作区；和扩展总线220，诸如用于电连接如图7所示的上述组件的地址总线或数据总线。如在作为投影仪的通信终端5d中，可以不提供GPU。由于终端管理系统7和网页服务器8的硬件配置与分发控制系统2的硬件配置相同，将省略其描述。
接下来参考图8描述图2所示的保护器99的硬件配置。如图8所示，保护器99包括：CPU91，其控制保护器99的整体操作；ROM92，其在其中存储基本输入/输出程序；RAM93，用作CPU91的工作区；电可擦除和可编程ROM(EEPROM)94，其在CPU91的控制下，进行数据的读取和写入；GPU95；ROM98a，其在其中存储用于驱动GPU95的程序；RAM98b，用作GPU95的工作区；接口I/F96，用于连接到通信终端5的I/F209；天线97a；通信单元97，其通过天线97a通过短距离无线技术进行通信；以及总线90，诸如用于电连接上述单元的地址总线或数据总线。短距离无线技术的例子包括近场通信(NFC)标准、蓝牙(注册商标)、无线保真(WiFi)、和ZigBee(注册商标)。由于保护器99包括GPU95，即使当在通信终端5d中没有包括GPU时，通信终端5也能够进行利用如图2所示的附接的保护器99的图形显示所需的计算处理。
实施例的功能配置
接下来参考图9到图16描述实施例的功能配置。
分发控制系统的功能配置
首先参考图9描述分发控制系统2的功能配置。图9是主要示出分发控制系统的功能的功能方框图。图9图示其中分发控制系统2向通信终端5f1分发视频(声音)数据的功能配置，且分发控制系统2也具有其中分发目的地是除了通信终端5f1以外的目的地的相同功能配置。虽然分发控制系统2包括多个分发引擎服务器，但是以下描述了包括单个分发引擎服务器的情况，以便简化描述。
如图9所示，分发控制系统2具有由包括诸如图7所示的CPU201或GPU215的处理器和程序的硬件配置实现的图9中的功能组件。
具体地，分发控制系统2包括浏览器20、发送器/接收器21、浏览器管理单元22、发送先进先出(FIFO)缓冲器24、时间管理单元25、时间获取单元26、信道适应控制器27、编码器桥单元30、发送器/接收器31、接收FIFO34、识别单元35、延迟信息获取单元37a、信道适应控制器37b、和解码单元40。分发控制系统2还包括由图7所示的HDD204实现的存储单元2000。该存储单元2000在其中存储从识别单元35输出的且通过浏览器管理单元22发送的识别信息(以下描述)。由浏览器20获取的内容数据可以被临时存储在作为高速缓存的存储单元2000中。
在上述功能组件中，浏览器20是在分发控制系统2内操作的浏览器。一直随着网页内容的富集而保持更新浏览器20。浏览器20包括媒体播放器、快闪播放器、JavaScript(注册商标)、CSS、和HTML渲染器。JavaScript包括标准化产品并且对分发系统是唯一的。
媒体播放器是在浏览器20内的用于再现诸如视频(声音)文件的多媒体文件的浏览器插件。快闪播放器是在浏览器20内的用于再现快闪内容的浏览器插件。唯一JavaScript是提供对分发系统1来说唯一的服务的应用编程接口(API)的JavaScript组。CSS是用于高效地定义HTML中描述的网页的外观和风格的技术。HTML渲染器是HTML渲染引擎。
渲染器将诸如网页内容数据的内容数据渲染为图像(声音)数据，从而生成多条帧数据作为静止图像(声音)数据。如图6所示，渲染器也是布局多种内容([A]，[p1]，[p2]，[E1]，[E2])的布局引擎。
根据当前实施例的分发系统1在分发控制系统2中提供浏览器，且从浏览器20中选择用于在用户会话中使用的云浏览器。以下描述了提供单个浏览器20的情况以便简化描述。
发送器/接收器21向和从终端管理系统7和网页服务器8发送和接收各种数据、各种请求、各种指令等。例如，发送器/接收器21从在网页服务器8处的内容站点获取网页内容数据。发送器/接收器21向分发控制系统2中的功能组件输出从终端管理系统7获取的各种数据，并基于从终端管理系统7获取的各种数据、各种请求、各种指令等控制分发控制系统2中的功能组件。例如，对于浏览器20，发送器/接收器21向浏览器管理单元22输出来自终端管理系统7的用于切换分发模式的请求。然后，浏览器管理单元22控制在浏览器中从一个浏览器向另一浏览器的切换。基于来自终端管理系统7的用于切换分发的请求，发送器/接收器21进行在图15和图16所示的编码器桥单元30中的组件的组合的切换。
浏览器管理单元22管理浏览器20。例如，浏览器管理单元22指示浏览器20启动和退出，并在启动或退出时记数(number)编码器ID。编码器ID是浏览器管理单元22记数以便管理编码器桥单元30的处理的标识信息。每次时间浏览器20启动时，浏览器管理单元22记数和管理浏览器ID。浏览器ID是浏览器管理单元22记数以便管理浏览器20的处理以标识浏览器20的标识信息。
浏览器管理单元22通过发送器/接收器31从通信终端5获取各种操作数据并向浏览器20输出它们。操作数据是通过在通信终端5上的操作事件(通过键盘211、鼠标212等等的操作、用电子笔P的笔划等等)生成的数据。当通信终端5提供诸如温度传感器、湿度传感器和加速度传感器的各种传感器时，浏览器管理单元22从通信终端5获取包含传感器的输出信号的传感器信息，并向浏览器20输出它。浏览器管理单元22还从识别单元35获取图像(声音)数据并向浏览器20输出它，并从识别单元35获取以下描述的识别信息并将其存储在存储单元2000中。浏览器管理单元22从接收FIFO缓冲器34获取视频(声音)数据并将其输出到浏览器20。
发送FIFO24是在其中存储作为由浏览器20生成的静止图像(声音)数据的帧数据的缓冲器。
时间管理单元25管理对分发控制系统2唯一的时间T。
时间获取单元26与通信终端5中的以下描述的时间控制器56协作进行时间调整处理。具体地，时间获取单元26从时间管理单元25获取指示分发控制系统2中的时间T的时间信息(T)，通过发送器/接收器31和发送器/接收器51从以下描述的时间控制器56接收指示在通信终端5中的时间t的时间信息(t)，并向时间控制器56发送时间信息(t)和时间信息(T)。
信道适应控制器27基于发送延迟时间信息(D)计算再现延迟时间U，并计算诸如编码器桥单元30中的转换器10的帧速率和数据分辨率的操作条件。该再现延迟时间U是用于通过缓冲数据来延迟再现直到被再现的时间。换句话说，信道适应控制器27基于发送延迟时间信息(D)和数据的大小(例如，位的数量或字节的数量)改变编码器桥单元30的操作。如稍后描述的，发送延迟时间信息(D)基于由通信终端5的延迟信息获取单元57从再现控制器53获取的多个发送延迟时间D1，来指示频率分发信息。每个发送延迟时间D1指示从自分发控制系统2发送视频(声音)数据时的时间点到当其由通信终端5接收到时的时间点的时间。
编码器桥单元30向以下描述的编码器桥单元30中的转换器10输出作为由浏览器20生成的静止图像(声音)数据的帧数据。基于由信道适应控制器27计算的操作条件进行各个处理。将参考图15和图16更详细地描述编码器桥单元30。图15是编码器桥单元的详细图。图16是图示转换器的功能的功能方框图。
如图15所示，编码器桥单元30包括创建/选择/传输单元310、选择单元320、以及在其之间提供的多个转换器(10a，10b，10c)。虽然在此图示了三个转换器，但可以提供任何数量的转换器。在以下，任意转换器被称为“转换器10”。
转换器10将作为由浏览器20生成的静止图像(声音)数据的帧数据的数据格式转换为允许通过通信网络9向通信终端5分发数据的H.264等等的数据格式。为了该目的，如图16所示，转换器10包括修整(triming)单元11、改变大小(resizing)单元12、划分单元13、和编码单元19，从而对帧数据进行各种处理。修整单元11、改变大小单元12和划分单元13不对声音数据进行任何处理。
修整单元11进行截掉静止图像的部分的处理。改变大小单元12改变静止图像的比例(scale)。划分单元13划分静止图像，如图5所示。
编码单元19编码作为由浏览器20生成的静止图像(声音)数据的帧数据，从而将它们转换为通过通信网络9到通信终端5的分发视频(声音)数据。当视频不在运动中时(当不存在帧间更新(改变)时)，在其后插入跳跃(skip)帧(有时也可以被称为帧跳跃)，直到视频运动以节省频带(band)。
当通过渲染与静止图像数据一起生成声音数据时，这两者数据被编码，且当仅生成声音数据时，进行仅编码以在没有修整、改变大小、和划分的情况下压缩数据。
创建/选择/传输单元310创建新的转换器10，选择作为要被输入到已经生成的转换器10的静止图像(声音)数据的帧数据，并传输这些帧数据。在创建时，创建/选择/传输单元310创建能够根据通信终端5的能力而转换以再现视频(声音)数据的转换器10。在选择时，创建/选择/传输单元310选择已经生成的转换器10。例如，在除了向通信终端5a分发以外还向通信终端5b开始分发时，与被分发到通信终端5a的视频(声音)数据相同的视频(声音)数据可以被分发到通信终端5b。在该情况下，另外，当通信终端5b具有与通信终端5a的用于再现视频(声音)数据的能力相同级别的能力时，创建/选择/传输单元310使用已经为通信终端5a创建的转换器10a，而不为通信终端5b创建新的转换器10b。在传输时，创建/选择/传输单元310向转换器10传输在发送FIFO24中存储的帧数据。
选择单元320从已经生成的转换器10中选择期望的一个。由创建/选择/传输单元310和选择单元320进行的选择允许以各种样式来进行分发，如图6所示。
发送器/接收器31向和从通信终端5发送和接收各种数据、请求等等。该发送器/接收器31通过通信网络9从云向通信终端5发送各种数据、请求等等，从而允许分发控制系统2向通信终端5分发各种数据、请求等等。例如，在通信终端5的登录处理中，发送器/接收器31向通信终端5的发送器/接收器51发送验证屏幕数据用于向用户提示登录请求。发送器/接收器31还通过安全套接字层上的超文本传输协议(HTTPS)服务器，通过对分发系统1唯一的协议进行向和从通信终端5的用户应用和通信终端5的设备应用的数据发送和数据接收。该唯一的协议是用于实时发送和接收数据而在分发控制系统2和通信终端之间没有中断的、基于HTTPS的应用层协议。发送器/接收器31还进行发送响应控制、实时数据创建、命令发送、接收响应控制、接收数据分析和手势转换。
发送响应控制是管理用于从通信终端5请求的下载的HTTPS会话以便从分发控制系统2向通信终端5发送数据的处理。用于下载的HTTPS会话的响应不立即结束，且保持达一定时间段(一分钟到几分钟)。发送器/接收器31在响应的主体部分中动态地写入要发送到通信终端5的数据。为了消除用于重连的成本，允许在先前会话结束之前从通信终端到达另一请求。通过使得发送器/接收器31待机直到先前请求完成，即使当进行重连时也能够消除系统开销。
实时数据创建是向由图16中的编码单元19生成的压缩视频(和压缩声音)的数据给予唯一头部并将其写在HTTPS的主体部分中的处理。
命令发送是生成要被发送到通信终端5的命令数据并将其写在导向通信终端5的HTTPS的主体部分中的处理。
接收响应控制是管理从通信终端5请求的HTTPS会话以便分发控制系统2从通信终端5接收数据的处理。此HTTPS会话的响应不立即结束，且被保持达一定时间段(一分钟到几分钟)。通信终端5在请求的主体部分中动态地写入要被发送到分发控制系统2的发送器/接收器31的数据。
接收数据分析是通过类型来分析从通信终端5发送的数据并输送数据用于必要处理的处理。
手势转换是将由用户用电子笔或手写的输入到作为电子黑板的通信终端5f的手势事件转换为以可由浏览器20接收的格式的数据的处理。
接收FIFO34是在其中存储由解码单元40解码的视频(声音)数据的缓冲器。
识别单元35对从通信终端5接收的图像(声音)数据进行处理。具体地，例如，识别单元35基于由摄像机62拍摄的图像来识别人或动物的面部、年龄、性别等用于标记(signage)。在工作地点，识别单元35基于摄像机62拍摄的图像通过面部识别进行姓名标注(nametagging)和替换背景图像的处理。识别单元35在存储单元2000中存储指示识别的细节的识别信息。识别单元35通过用识别扩展板进行处理来实现加速。
延迟信息获取单元37a用于上行信道适应控制的处理，且对应于用于在下行信道适应控制的处理中使用的通信终端5的延迟信息获取单元57。具体地，延迟信息获取单元37a从解码单元40获取指示发送延迟时间d1的发送延迟时间信息(d1)，并保持它达一定时间段，并且当获取多个发送延迟时间信息(d1)时，向信道适应控制器37b输出指示基于多个发送延迟时间d1的频率分发信息的发送延迟时间信息(d)。发送延迟时间信息(d1)指示从自通信终端5发送视频(声音)数据时的时间点到当由分发控制系统2接收到它时的时间点的时间。
信道适应控制器37b用于上行信道适应控制的处理，且对应于用于在下行信道适应控制的处理中使用的信道适应控制器27。具体地，信道适应控制器37b基于发送延迟时间信息(d)计算用于通信终端5的编码单元60的操作条件。信道适应控制器37b通过发送器/接收器31和发送器/接收器51向通信终端5的编码单元60发送指示诸如帧速率和数据分辨率的操作条件的信道适应控制信号。
解码单元40解码从通信终端5发送的视频(声音)数据。解码单元40还向延迟信息获取单元37a输出指示发送延迟时间d1的发送延迟时间信息(d1)。
通信终端的功能配置
参考图10描述通信终端5的功能配置。图10是主要示出通信终端的功能的功能方框图。通信终端5是用作用于用户进行登录到分发系统1、开始和停止视频(声音)数据的分发等等的接口的终端。
如图10所示，通信终端5具有通过图7中所示的包括CPU201的硬件配置和程序来实现的图10中的功能组件。当通过如图2所示插入保护器99、通信终端5变得可通过通信网络9与其他终端和系统通信时，通信终端5具有由图7和图8中所示的硬件配置和程序来实现的图10中的功能组件。
具体地，通信终端5包括解码单元50、发送器/接收器51、操作单元52、再现控制器53、渲染单元55、时间控制器56、延迟信息获取单元57、显示单元58、和编码单元60。通信终端5还包括由图7所示的RAM203实现的存储单元5000。该存储单元5000在其中存储指示以下描述的时间差Δ的时间差信息(Δ)和指示通信终端5中的时间t的时间信息(t)。
解码单元50解码从分发控制系统2分发的和从再现控制器53输出的视频(声音)数据。
发送器/接收器51向和从分发控制系统2的发送器/接收器31和终端管理系统7的发送器/接收器71a发送和接收各种数据、请求等等。例如，在通信终端5的登录处理中，发送器/接收器51响应于通过操作单元52启动通信终端5，进行向终端管理系统7的发送器/接收器71的登录请求。
操作单元52进行接收由用户输入的操作、诸如用电源开关、键盘、鼠标、电子笔P等等进行的输入和选择、并向分发控制系统2的浏览器管理单元22发送它们作为操作数据的处理。
再现控制器53缓冲从发送器/接收器51接收的视频(声音)数据(实时数据的分组)，并将其和考虑的再现延迟时间U一起输出到解码单元50。再现控制器53还计算指示发送延迟时间D1的发送延迟时间信息(D1)，并向延迟信息获取单元57输出该发送延迟时间信息(D1)。
渲染单元55渲染由解码单元50解码的数据。
时间控制器56与分发控制系统2的时间获取单元26协作进行时间调整处理。具体地，时间控制器56从存储单元5000获取指示在通信终端5中的时间t的时间信息(t)。时间控制器56通过发送器/接收器51和发送器/接收器31向分发控制系统2的时间获取单元26发出对于指示在分发控制系统2中的时间T的时间信息(T)的请求。在该情况下，与对于时间信息(T)的请求同时地发送时间信息(t)。
延迟信息获取单元57从再现控制器53获取指示发送延迟时间D1的发送延迟时间信息(D1)，并保持它达一定时间段，且当获取了多个发送延迟时间信息(D1)时，通过发送器/接收器51和发送器/接收器31向信道适应控制器27输出指示基于多个发送延迟时间D1的频率分发信息的发送延迟时间信息(D)。例如，在一百帧中发送一次该发送延迟时间信息(D)。
显示单元58再现由渲染单元55渲染的数据。
编码单元60通过发送器/接收器51和发送器/接收器31向分发控制系统2的解码单元40发送从内置麦克风213或外部附接的摄像机62和麦克风63获取的且被编码的视频(声音)数据[E]；指示在通信终端5中的当前时间t0的且从存储单元5000获取的时间信息(t0)；和指示在分发控制系统2和通信终端5之间的时间差Δ的且从存储单元5000获取的时间差信息(Δ)。时间差Δ指示在由分发控制系统2独立地管理的时间和由通信终端5独立地管理的时间之间的差。编码单元60基于由从信道适应控制器37b接收的信道适应控制信号指示的操作条件，改变编码单元60的操作条件。编码单元60根据新的操作条件，通过发送器/接收器51和发送器/接收器31向分发控制系统2的解码单元40发送从摄像机62和麦克风63获取的且被编码的视频(声音)数据[E]；指示在通信终端5中的当前时间t0的且从存储单元5000获取的时间信息(t0)；和指示时间差Δ且从存储单元5000获取的时间差信息(Δ)。
内置麦克风213、外部附接的摄像机62和麦克风63等等是输入单元的例子，且是需要编码和解码的设备。除了视频(声音)数据以外，输入单元还可以输出触摸数据和嗅觉数据。
输入单元包括各种传感器，诸如温度传感器、方向传感器、加速度传感器等等。
终端管理系统的功能配置
参考图11描述终端管理系统7的功能配置。图11是示出终端管理系统的功能的功能方框图。
如图11所示，终端管理系统7具有由图7中所示的包括CPU201的硬件配置和程序来实现的图11中的功能组件。
具体地，终端管理系统7包括发送器/接收器71a、发送器/接收器71b、和验证单元75。终端管理系统7还包括由图7所示的HDD204实现的存储单元7000。存储单元7000在其中存储分发目的地选择菜单数据、终端管理表7010、和可用终端管理表7020。
分发目的地选择菜单是指示如图12所示的这种目的地选择菜单屏幕的数据。
如图13所示，终端管理表7010彼此关联地管理通信终端5的终端ID、用户证书、当用户使用分发系统1的服务时的联系人信息、通信终端5的终端类型、指示各个通信终端5的家庭统一资源标识符(URL)的设置信息、通信终端5的执行环境信息、共享的ID、安装位置信息和显示名称信息。执行环境信息包括每个通信终端5的“收藏夹(favorites)”，“先前Cookie信息”和“缓存文件”，这些在通信终端5的登录之后与设置信息一起被发送到分发控制系统2，且用于对通信终端5进行单独的服务。
共享的ID是当每个用户向其他通信终端5分发与正被分发到他/她自己的通信终端5的视频(声音)数据相同的视频(声音)数据时使用的ID，从而进行远程共享处理，且是标识其他通信终端和其他通信终端组的标识信息。例如，终端ID“t006”的共享的ID是“v006”，终端ID“t007”的共享的ID是“v006”，且终端ID“t008”的共享的ID是“v006”。当具有终端ID“t001”的通信终端5a发送对于与具有终端ID“v006”的通信终端(5f1、5f2、5f3)的远程共享处理的请求时，分发控制系统2向通信终端(5f1、5f2、5f3)分发与正被分发到通信终端5a的视频(声音)数据相同的视频(声音)数据。但是，当时通信终端5a和通信终端(5f1、5f2、5f3)在显示单元58的分辨率上不同时，分发控制系统2据此分发视频(声音)数据。
如图5所示，例如，安装位置信息指示当通信终端(5f1、5f2、5f3)被并排布置时的安装位置。显示名称信息是信息指示图12所示的分发目的地选择菜单中的显示名称的细节。
如图14所示，可用终端管理表7020与每个终端ID相关联地管理共享ID，该共享ID指示由终端ID指示的通信终端5能够与之进行远程共享处理的通信终端或通信终端组。
参考图11描述功能组件。
发送器/接收器71a向和从通信终端5发送和接收各种数据、请求等等。例如，发送器/接收器71a从通信终端5的发送器/接收器51接收登录请求，并向发送器/接收器51发送登录请求的验证结果。
发送器/接收器71a向和从分发控制系统2发送和接收各种数据、请求等等。例如，发送器/接收器71b从分发控制系统2的发送器/接收器21接收对于分发目的地选择菜单的数据的请求，并向发送器/接收器21发送该分发目的地选择菜单的数据。
验证单元75基于从通信终端5接收的终端ID和用户证书搜索终端管理表7010，从而确定是否存在终端ID和用户证书的相同组合，由此验证通信终端5。
实施例的操作和处理
参考图17到图24描述当前实施例的操作和各处理。这些处理由分发控制系统2、通信终端5、终端管理系统7、和网页服务器8的CPU根据存储在其中的各自的程序来进行。
基本分发处理
参考图17描述图3中所示的基本分发方法中的具体分发处理。图17是图示分发控制系统的基本分发处理的序列图。虽然在此描述了通过通信终端5a发出登录请求的情况，但是可以通过与通信终端5a不同的通信终端5进行登录。
如图17所示，当用户开启通信终端5a时，通信终端5a的发送器/接收器51向终端管理系统7的发送器/接收器71a发出登录请求(步骤S21)。发送器/接收器71a接收该登录请求。该登录请求包括通信终端5a的终端ID和用户证书。然后，验证单元75获取通信终端5a的终端ID和用户证书。
验证单元75基于该终端ID和用户证书搜索终端管理表7010，从而确定是否存在终端ID和用户证书的相同组合，从而验证通信终端5a(步骤S22)。以下描述了在终端管理表7010中存在终端ID和用户证书的相同组合的情况，即，通信终端5a被确定为分发系统1中的有效终端的情况。
终端管理系统7的发送器/接收器71a向通信终端5a的发送器/接收器51发送分发控制系统2的IP地址(步骤S23)。该分发控制系统2的IP地址由终端管理系统7从分发控制系统2获取，并被预先存储在存储单元7000中。
终端管理系统7的发送器/接收器71b向分发控制系统2的发送器/接收器21发出浏览器20的启动请求(步骤S24)。发送器/接收器21接收浏览器20的启动请求。浏览器管理单元22基于由发送器/接收器21接收的启动请求而启动浏览器20(步骤S25)。
编码器桥单元30的创建/选择/传输单元310根据通信终端5a再现视频(声音)数据的能力(显示器的分辨率等等)和内容的类型创建转换器10(步骤S26)。接下来，发送器/接收器21根据通过浏览器20的指令向网页服务器8发出对于内容数据[A]的请求(步骤S27)。响应于此，网页服务器8从其自己的存储单元(未示出)读取所请求的内容数据[A](步骤S28)。然后，网页服务器8向分发控制系统2的发送器/接收器21发送内容数据[A](步骤S29)。
浏览器20渲染由发送器/接收器21接收的内容数据[A]，从而生成作为静止图像(声音)数据的多条帧数据并将它们输出到发送FIFO24(步骤S30)。转换器10编码在发送FIFO24中存储的帧数据，从而将它们转换为要被分发到通信终端5a的视频(声音)数据[A](步骤S31)。
发送器/接收器31向通信终端5a的发送器/接收器51发送该视频(声音)数据[A](步骤S32)。通信终端5a的发送器/接收器51接收该视频(声音)数据[A]并将它输出到再现控制器53。
在通信终端5a中，解码单元50从再现控制器53获取视频(声音)数据[A]并解码它(步骤S33)。之后，扬声器61基于解码的声音数据[A]再现声音，且显示单元58基于从解码单元50获取的并由渲染单元55渲染的视频数据[A]再现视频(步骤S34)。
使用多个通信终端的复合分发的处理
以下参考图18描述使用多个通信终端通过分发控制系统的通信处理。图18是图示使用多个通信终端通过分发控制系统的分发处理的序列图。在此描述了以图6中示出的模式的对于通信终端5的具体处理。由于该处理在此包括类似于步骤S21到S29的登录处理、浏览器启动等等，描述以对应于步骤S29的处理而开始。
如图18所示，分发控制系统2的发送器/接收器21从网页服务器8接收内容数据[A](步骤S41)。浏览器20渲染内容数据[A]，从而生成作为静止图像(声音)数据的多条帧数据，并将它们输出到发送FIFO24(步骤S42)。
当通信终端5f1的编码单元60从摄像机62和麦克风63接收作为视频(声音)数据[E]的内容数据的输入时(步骤S43)，编码单元60编码该内容数据[E](步骤S44)。发送器/接收器51向分发控制系统2的发送器/接收器31发送由编码单元60编码的内容数据[E](步骤S45)。分发控制系统2的发送器/接收器31接收该内容数据[E]。
分发控制系统2的解码单元40解码由发送器/接收器31接收的内容数据[E]，并将它输出到接收FIFO34(步骤S46)。浏览器20渲染在接收FIFO34中存储的内容数据[E]，从而生成作为静止图像(声音)数据的帧数据[E]并将它输出到发送FIFO24(步骤S47)。在该情况下，浏览器20输出按其中内容数据[E]与已经获取的内容数据[A]组合的布局的数据。
另外，当通信终端5f1的操作单元52接收用电子笔P1的笔画操作的输入时(步骤S48)，发送器/接收器51向分发控制系统2的发送器/接收器31发送指示由操作单元52接收的笔画操作的细节的操作数据[p](步骤S49)。分发控制系统2的发送器/接收器31接收操作数据[p]。浏览器管理单元22向浏览器20输出由发送器/接收器31接收的操作数据[p]。
浏览器20渲染操作数据[p]，从而生成作为静止图像(声音)数据的帧数据[p]并将它输出到发送FIFO24(步骤S50)。在该情况下，浏览器20输出按其中操作数据[p]与已经获取的内容数据([A]，[E])组合的布局的数据。
转换器10编码存储在发送FIFO24中的作为静止图像(声音)数据的帧数据([A]，[E]，[p])，从而将它们转换为要被分发到通信终端5f1和5f2的视频(声音)数据([A]，[E]，[p])(步骤S51)。
发送器/接收器31从包括转换器10的编码器桥单元30获取编码的视频(声音)数据([A]，[E]，[p])，并将它发送到通信终端5f1的发送器/接收器51(步骤S52-1)。通信终端5f1的发送器/接收器51接收视频(声音)数据([A]，[E]，[p])，且通信终端5f1的再现控制器53从发送器/接收器51获取视频(声音)数据([A]，[E]，[p])。在通信终端5f1中，解码单元50从再现控制器53获取视频(声音)数据([A]，[E]，[p])并解码它(步骤S53-1)。之后，扬声器61基于解码的声音数据([A]，[E])再现声音，并且显示单元58基于从解码单元50获取的并由渲染单元55渲染的视频数据([A]，[E]，[p])再现视频(步骤S54-1)。
对于通信终端5f2，如利用步骤S52-1的情况一样，发送器/接收器31从编码器桥单元30获取编码的视频(声音)数据([A]，[E]，[p])并将它发送到通信终端5f2的发送器/接收器51(步骤S52-2)。通信终端5f2的再现控制器53获取视频(声音)数据([A]，[E]，[p])。在通信终端5f1中，解码单元50从再现控制器53获取视频(声音)数据([A]，[E]，[p])并解码它(步骤S53-2)。之后，扬声器61基于解码的声音数据([A]，[E])再现声音，并且显示单元58基于从解码单元50获取的并由渲染单元55渲染的视频数据([A]，[E]，[p])再现视频(步骤S54-2)。
因此，与向通信终端5f1输出的视频(声音)相同的视频(声音)也被输出到通信终端5f2。
时间调整的处理
参考图19描述时间调整的处理。图19是图示时间调整的处理的序列图。
为了获取指示发送器/接收器51何时向分发控制系统2发出对于时间信息(T)的请求时的时间，通信终端5的时间控制器56从存储单元5000获取在通信终端5中的时间信息(ts)(步骤S81)。发送器/接收器51向发送器/接收器31发出对于时间信息(T)的请求(步骤S82)。在该情况下，与对于时间信息(T)的请求同时地发送时间信息(ts)。
为了获取指示在步骤S82发送器/接收器31何时接收到该请求的时间，分发控制系统2的时间获取单元26从时间管理单元25获取分发控制系统2中的时间信息(Tr)(步骤S83)。为了获取指示在步骤S82发送器/接收器31何时响应于该请求的时间，时间获取单元26还从时间管理单元25获取分发控制系统2中的时间信息(Ts)(步骤S84)。然后，发送器/接收器31向发送器/接收器51发送时间信息(ts，Tr，Ts)(步骤S85)。
为了获取指示在步骤S85发送器/接收器51何时接收到响应的时间，通信终端5的时间控制器56从存储单元5000获取在通信终端5中的时间信息(tr)(步骤S86)。
通信终端5的时间控制器56计算在分发控制系统2和通信终端5之间的时间差Δ(步骤S87)。该时间差由以下公式(1)给出。
Δ＝((Tr+Ts)/2)-((tr+ts)/2)(1)
时间控制器56在存储单元5000中存储指示时间差Δ的时间差信息(Δ)(步骤S88)。例如，规律地每分钟进行该系列的时间调整处理。
下行信道适应控制的处理
接下来参考图20描述了对从分发控制系统2发送到通信终端5的数据(下行)的信道适应控制的处理。图20是图示对从分发控制系统发送到通信终端的数据的信道适应控制的处理的序列图。
首先，分发控制系统2的信道适应控制器27计算指示再现延迟时间U的再现延迟时间信息(U)，该再现延迟时间U用于通过缓冲来延迟再现直到通信终端5的再现控制器53再现视频(声音)数据，并且该信道适应控制器27向编码器桥单元30输出该再现延迟时间信息(U)(步骤S101)。
然后，发送器/接收器31从编码器桥单元30获取再现延迟时间信息(U)并将其发送到通信终端5的发送器/接收器51(步骤S102)。通信终端5的发送器/接收器51接收再现延迟时间信息(U)。编码器桥单元30向例如从发送FIFO24获取的且被编码的视频(声音)数据[A]添加从时间管理单元25获取的指示时间T0的时间信息(T0)，作为时间戳(步骤S103)。发送器/接收器31向通信终端5的发送器/接收器51发送视频(声音)数据和分发控制系统2的时间信息(T0)(步骤S104)。通信终端5的发送器/接收器51接收分发控制系统2的时间信息(T0)并向再现控制器53输出该视频(声音)数据和时间信息(T0)。
在通信终端5中，基于在步骤S102获取的再现延迟时间信息(U)、在步骤S104获取的时间信息(T0)、和在步骤S88存储在存储单元5000中的时间差信息(Δ)，再现控制器53等待直到通信终端5中的时间(T0+U-Δ)，然后向解码单元50输出在步骤S104获取的视频(声音)数据。这使得扬声器61输出声音且使得显示单元58通过渲染单元55再现视频(步骤S105)。这使得仅再现由通信终端5接收的在由以下公式(2)给出的再现延迟时间U的范围内的视频(声音)数据，而在该范围之外的视频(声音)数据被过度延迟，且被删除而不再现。
U≥(t0+Δ)-T0(2)
再现控制器53从存储单元5000读取在通信终端5中的当前时间t0(步骤S106)。该时间t0指示当通信终端5从分发控制系统2接收到视频(声音)数据时在通信终端5中的时间。再现控制器53还读取在步骤S86存储在存储单元5000中的指示时间差Δ的时间差信息(Δ)(步骤S107)。然后，再现控制器53计算指示从自分发控制系统2发送视频(声音)数据时的时间点到其被通信终端5接收到时的时间点的时间的发送延迟时间D1(步骤S108)。用以下公式(3)来进行该计算；当通信网络9变得拥塞时，发送延迟时间D1变得更长。
D1＝(t0+Δ)-T0(3)
延迟信息获取单元57从再现控制器53获取指示发送延迟时间D1的发送延迟时间信息(D1)，并保持它达一定的时间段，且当获取了多个发送延迟时间信息(D1)时，向发送器/接收器51输出指示基于多个发送延迟时间D1的频率分发信息的发送延迟时间信息(D)(步骤S109)。发送器/接收器51向分发控制系统2的发送器/接收器31发送该发送延迟时间信息(D)(步骤S110)。分发控制系统2的发送器/接收器31接收发送延迟时间信息(D)，并将该发送延迟时间信息(D)输出到信道适应控制器27。
分发控制系统2的信道适应控制器27基于发送延迟时间信息(D)新计算再现延迟信息U’，且计算转换器10的诸如帧速率和数据分辨率的操作条件，且将其输出到编码器桥单元30(步骤S111)。换句话说，信道适应控制器27基于发送延迟时间信息(D)和数据的大小(例如，位的数量或字节的数量)改变编码器桥单元30的操作。
发送器/接收器31从编码器桥单元30获取指示在步骤S111计算的新再现延迟时间U’的再现延迟时间信息(U’)，且向通信终端5的发送器/接收器51发送该再现延迟时间信息(U’)(步骤S112)。通信终端5的发送器/接收器51接收该再现延迟时间信息(U’)。
编码器桥单元30的转换器10基于指示操作条件的信道适应控制信号改变转换器10的操作条件(步骤S113)。例如，当发送延迟时间D1过长且根据发送延迟时间D1使得再现延迟时间U更长时，在扬声器61和显示单元58处的再现时间变得被过度延迟。因此，对使得再现延迟时间U更长存在限制。鉴于此，信道适应控制器27不仅使得编码器桥单元30改变再现延迟时间U作为再现延迟时间U’，还使得转换器10降低视频(声音)数据的帧速率并降低视频(声音)数据的分辨率，从而克服通信网络9的拥塞。这使得如像步骤S103那样，编码器桥单元30根据改变的操作条件向视频(声音)数据[A]添加当前时间信息(T0)作为时间戳(步骤S104)。如此添加了视频(声音)数据(步骤S114)。发送器/接收器31向通信终端5的发送器/接收器51发送视频(声音)数据和分发控制系统2的时间信息(T0)(步骤S115)。通信终端5的发送器/接收器51接收该视频(声音)数据和分发控制系统2的时间信息(T0)并向再现控制器53输出该视频(声音)数据和时间信息(T0)。
在通信终端5中，基于在步骤S112获取的再现延迟时间信息(U’)、在步骤S115获取的时间信息(T0)、和在步骤S88存储在存储单元5000中的时间差信息(Δ)，再现控制器53等待直到通信终端5中的时间(T0+U’-Δ)，然后向解码单元50输出视频(声音)数据，从而，如像步骤S105那样，使得扬声器61输出声音且使得显示单元58通过渲染单元55再现视频(步骤S116)。这之后是在步骤S106的以及在步骤S106之后的处理。因此，继续进行下行信道适应控制的处理。
上行信道适应控制的处理
接下来参考图21描述了对从通信终端5向分发控制系统2发送的数据(上行)的信道适应控制的处理。图20是图示对从通信终端发送到分发控制系统的数据的信道适应控制的处理的序列图。
首先，通信终端5的编码单元60编码从摄像机62和麦克风63输入的作为视频(声音)数据[E]的内容数据(步骤S121)。在该情况下，编码单元60从存储单元5000获取指示在通信终端5中的当前时间t0的时间信息(t0)和指示时间差Δ的时间差信息(Δ)，且不编码它们。发送器/接收器51向分发控制系统2的发送器/接收器31发送该视频(声音)数据[E]、时间信息(t0)和时间差信息(Δ)(步骤S122)。分发控制系统2的发送器/接收器31接收该视频(声音)数据[E]、时间信息(t0)、和时间差信息(Δ)。
在分发控制系统2中，解码单元40从时间管理单元25读取指示在步骤S112视频(声音)数据[E]等何时被接收的时间T0(步骤S123)。然后，解码单元40计算指示从自通信终端5发送视频(声音)数据时的时间点到其被分发控制系统2接收到时的时间点的时间的发送延迟时间d1(步骤S124)。通过以下公式(4)来进行该计算；当通信网络9变得拥塞时，发送延迟时间d1变得更长。
d1＝T0-(t0+Δ)(4)
如像延迟信息获取单元57的情况那样，分发控制系统2的延迟信息获取单元37a从解码单元40获取指示发送延迟时间d1的发送延迟时间信息(d1)，并保持它达一定时间段，并且当获取了多个发送延迟时间信息(d1)时，向信道适应控制器37b输出指示基于多个发送延迟时间d1的频率分发信息的发送延迟时间信息(d)(步骤S125)。
基于发送延迟时间信息(d)，信道适应控制器37b计算编码单元60的操作条件(步骤S126)。发送器/接收器31向通信终端5的发送器/接收器51发送指示诸如帧速率和数据分辨率的操作条件的信道适应控制信号(步骤S127)。通信终端5的发送器/接收器51接收该信道适应控制信号。换句话说，在图20中所示的信道适应控制(下行)的情况下，该信道适应控制信号被输出到在相同分发控制系统2内的编码器桥单元30，相反，在图21中所示的信道适应控制(上行)的情况下，该信道适应控制信号从分发控制系统2通过通信网络9被发送到通信终端5。
基于由发送器/接收器51接收的操作条件，编码单元60改变编码单元60的操作条件(步骤S128)。然后，编码单元60基于新的操作条件进行与步骤S121相同的处理(步骤S129)。发送器/接收器51如像步骤S122那样，向分发控制系统2的发送器/接收器31发送从摄像机62和麦克风63获取的且被编码的视频(声音)数据[E]、指示从存储单元5000获取的在通信终端5中的当前时间t0的时间信息(t0)、和也从存储单元5000获取的指示时间差Δ的时间差信息(Δ)(步骤S130)。分发控制系统2的发送器/接收器31接收该视频(声音)数据[E]、时间信息(t0)、和时间差信息(Δ)。这之后是在步骤S123的和在步骤S123之后的处理。因此，继续进行上行信道适应控制的处理。
多显示的处理
接下来参考图22到图24描述多显示的处理。图22到图24是图示图5所示的多显示的处理的序列图。
以下描述了还在通信终端(5f1、5f2、5f3)上以划分的方式再现正在通信终端5a上再现的视频(声音)[XYZ]的例子。
用于显示网页内容的浏览器20被称为“浏览器20a”，且用于为用户显示设置屏幕的浏览器20被称为“浏览器20b”。首先描述对应于图17中的步骤S30的处理。
首先，分发控制系统2的浏览器20a渲染从网页服务器8获取的网页内容数据[XYZ]，从而生成作为静止图像(声音)数据的多条帧数据并将它们输出到发送FIFO24(步骤S201)。转换器10编码在发送FIFO24中存储的帧数据，从而将它们转换为可分发到通信终端5a的数据格式的视频(声音)数据[XYZ](步骤S202)。
发送器/接收器31向通信终端5a的发送器/接收器51发送由转换器10转换的视频(声音)数据[XYZ](步骤S203)。通信终端5a的发送器/接收器51接收该视频(声音)数据[XYZ]并将它输出到再现控制器53。
在通信终端5a中，解码单元50从再现控制器53获取该视频(声音)数据[XYZ]并解码它(步骤S204)。之后，扬声器61基于解码的声音数据[XYZ]再现声音，且显示单元58基于从解码单元50获取的并由渲染单元55渲染的视频数据[XYZ]再现视频(步骤S205)。
在显示单元58上显示的屏幕被通信终端5a的用户切换为菜单请求屏幕(未示出)，且操作单元52接收对菜单请求屏幕上的“分发目的地选择菜单”(未示出)的按压(步骤S206)。这使得发送器/接收器51向终端管理系统7的发送器/接收器71a发送切换到分发目的地选择菜单的请求(步骤S207)。终端管理系统7的发送器/接收器71a接收该切换向分发目的地选择菜单的请求。该请求包括通信终端5a的终端ID。
发送器/接收器71b向分发控制系统2的发送器/接收器21发送浏览器20b的启动请求(步骤S208)。分发控制系统2的发送器/接收器21接收浏览器20b的启动请求，且向浏览器管理单元22发出浏览器20b的启动请求。
然后浏览器管理单元22启动浏览器20b(步骤S209)。编码器桥单元30的创建/选择/传输单元310将从浏览器20a向转换器10(例如，转换器10a)的输出切换为从浏览器20b向转换器10(例如，转换器10b)的输出(步骤S210)。当在步骤S203，通信终端5a和另一通信终端5(例如，通信终端5b)正共享转换器10(例如，转换器10a)以接收视频(声音)数据时，编码器桥单元30的创建/选择/传输单元310新创建转换器10(例如，转换器10b)，因为该另一通信终端5(例如，通信终端5b)正使用转换器10(例如，转换器10a)用于浏览器20a。
发送器/接收器21根据浏览器20b的指令向终端管理系统7的发送器/接收器71b发送对于分发目的地选择菜单的请求(步骤S211)。在该情况下，还发送通信终端5a的终端ID。终端管理系统7的发送器/接收器71b接收对于分发目的地选择菜单的请求，并向存储单元7000输出通信终端5a的终端ID。
响应于此，终端管理系统7的存储单元7000基于终端ID搜索可用的终端管理表7020，从而提取对应的共享ID(步骤S212)。该共享ID指示可用于通信终端5a进行远程共享处理的通信终端5。如图14所示，由于通信终端5a的终端ID是“t001”，因此要提取的共享ID向是“v003”和“v006”。
存储单元7000还基于提取的共享ID搜索终端管理表7010，从而提取指示对应的显示名称的显示名称信息(步骤S213)。如图13所示，对应于提取的共享ID“v003”和“v006”的显示名称分别是“东京总部10FMFP”和“大阪展示厅1F多显示”。
发送器/接收器71b向分发控制系统2的发送器/接收器21发送分发目的地选择菜单数据[M]作为内容数据(步骤S214)。分发控制系统2的发送器/接收器21接收该分发目的地选择菜单数据[M]，并向浏览器20b输出它。如图12所示，该分发目的地选择菜单数据[M]包括复选框、共享ID和显示名称。
如图23所示，浏览器20b渲染从终端管理系统7获取的指示分发目的地选择菜单数据[M]的内容数据，从而生成作为静止图像(声音)数据的多条帧数据并将它们输出到发送FIFO24(步骤S221)。转换器10编码在发送FIFO24中存储的图像(声音)数据[M]，从而将它们转换为可分发到通信终端5a的数据格式的视频(声音)数据[M](步骤S222)。
发送器/接收器31向通信终端5a的发送器/接收器51发送由转换器10转换的视频(声音)数据[M](步骤S223)。通信终端5a的发送器/接收器51接收该视频(声音)数据[M]并将它输出到再现控制器53。
在通信终端5a中，解码单元50从再现控制器53获取视频(声音)数据[M]并解码它(步骤S224)。之后，显示单元58基于从解码单元50获取的且由渲染单元55渲染的视频数据[XYZ]再现如图12所示的视频(步骤S225)。
在图12所示的分发目的地选择菜单中，当共享ID“v006”的复选框被勾选且由用户按压了“OK”按钮时，操作单元52接收由用户输入的操作(步骤S226)。
发送器/接收器51向分发控制系统2的发送器/接收器31发送勾选结果作为操作数据(步骤S227)。分发控制系统2的发送器/接收器31接收该勾选结果作为操作数据，并将它输出到浏览器20b。
浏览器20b从勾选结果选择共享ID(步骤S228)。发送器/接收器21根据浏览器20b的指令向终端管理系统7的发送器/接收器71b发送用于添加分发目的地的请求(步骤S229)。用于添加分发目的地的该请求包括在步骤S227选择的共享ID。终端管理系统7的发送器/接收器71b接收用于添加分发目的地的请求并向存储单元7000输出共享ID。然后浏览器20b终止(步骤S230)。这使得编码器桥单元30的创建/选择/传输单元310将从浏览器20b向转换器10的输出切换回为从浏览器20a向转换器10的输出(步骤S231)。
如图24中所示，在终端管理系统7的存储单元7000中，基于在步骤S229发送的共享ID搜索终端管理表7010，从而提取对应的终端ID和安装位置信息(步骤S241)。发送器/接收器71b向分发控制系统2的发送器/接收器21发送添加分发目的地的指令(步骤S242)。该添加分发目的地的指令包括在步骤S241提取的终端ID和安装位置信息。分发控制系统2的发送器/接收器21接收添加分发目的地的指令并将该添加分发目的地的指令输出到浏览器管理单元22。在此包括了三组终端ID和安装位置信息，即，终端ID和安装位置信息分别为“t006”和“左”，终端ID和安装位置信息分别为“t007”和“中”，以及终端ID和安装位置信息分别为“t008”和“右”。
编码器桥单元30的创建/选择/传输单元310创建用于多显示的转换器10(步骤S243)。在该情况下，编码器桥单元30的创建/选择/传输单元310从浏览器管理单元22获取终端ID和安装位置信息。
在步骤S243创建的转换器10的划分单元13划分存储在发送FIFO24中的作为静止图像(声音)数据的帧数据[XYZ]，且编码单元19编码所划分的帧数据(步骤S244)。
发送器/接收器31基于终端ID(“t006”)和安装位置信息(“左”)向通信终端5f1的发送器/接收器51发送由编码器桥单元30编码的视频(声音)数据[X](步骤S245-1)。通信终端5f1的发送器/接收器51接收该视频(声音)数据[X]并将它输出到再现控制器53。
在通信终端5f1中，解码单元50从再现控制器53获取视频(声音)数据[X]并解码它(步骤S246-1)。之后，扬声器61基于解码的声音数据[X]再现声音，且显示单元58基于从解码单元50获取的并由渲染单元55渲染的视频数据[X]再现视频(步骤S247-1)。
类似地，发送器/接收器31基于终端ID(“t007”)和安装位置信息(“中”)向通信终端5f2的发送器/接收器51发送由编码器桥单元30编码的视频(声音)数据[Y](步骤S245-2)。通信终端5f2的发送器/接收器51接收视频(声音)数据[Y]并将它输出到再现控制器53。
在通信终端5f2中，解码单元50从再现控制器53获取视频(声音)数据[Y]并解码它(步骤S246-2)。之后，扬声器61基于解码的声音数据[Y]再现声音，且显示单元58基于从解码单元50获取的并由渲染单元55渲染的视频数据[Y]再现视频(步骤S247-2)。
类似地，发送器/接收器31基于终端ID(“t008”)和安装位置信息(“右”)向通信终端5f3的发送器/接收器51发送由编码器桥单元30编码的视频(声音)数据[Z](步骤S235-3)。通信终端5f3的发送器/接收器51接收视频(声音)数据[Z]并将它输出到再现控制器53。
在通信终端5f3中，解码单元50从再现控制器53获取视频(声音)数据[Z]并解码它(步骤S246-3)。之后，扬声器61基于解码的声音数据[Z]再现声音，且显示单元58基于从解码单元50获取的并由渲染单元55渲染的视频数据[Z]再现视频(步骤S247-3)。
生成各种类型的帧数据的处理
接下来参考图25和图26描述生成各种类型的帧数据的处理。图25是各种类型的帧数据的概念图。本实施例生成四种类型的帧数据。这四种类型的帧数据包括“周期性生成的I帧数据”和“P帧数据”、以及“跳跃帧数据”和“强制生成的I帧数据”。“周期性生成的I帧数据”以下将被指示为“周期性的I帧数据”，且“强制生成的I帧数据”以下将被指示为“强制I帧数据”。周期性的I帧数据是第一帧数据的例子，P帧数据是第二帧数据的例子，跳跃帧数据是第三帧数据的例子，且强制I帧数据是第四帧数据的例子。
首先描述作为已知技术的周期性的I帧数据和P帧数据的生成。通常，为了高效地通过通信网络发送视频数据，通过视频压缩技术减少或去除不必要的数据。视频压缩技术使得编码器编码在视频数据中的帧数据并生成周期性的I帧数据或P帧数据。
周期性的I帧(帧内)数据是通信终端能够通过独立地(单独)解码而用不参考其他图像来再现的帧数据。如图25所示，视频数据的第一图像总是周期性的I帧数据。为了易于描述，在此描述其中重复一条周期性的I帧数据和四条P帧数据的分发的情况。具体地，例如，编码单元19重复周期性的I帧数据和P帧数据的生成，即，生成构成视频数据的周期性的I帧数据M1，然后相继生成构成该视频数据的四个P帧数据(M11，M12，M13，M14)，随后生成构成该视频数据的I帧数据M2，然后相继生成构成该视频数据的P帧数据(M21，M22，M23，M24)。
周期性的I帧数据被用于实现观看视频数据的新用户的起始点、当在传输时在位流中发生问题时的再同步点、快进和快退以及随机访问功能。编码单元19以规律的间隔自动生成周期性的I帧数据，并当例如新添加观看视频数据的用户时生成所需的周期性的I帧数据。虽然周期性的I帧数据具有需要更大位数量(在数据量方面大)的缺点，但是因为它不是差分数据，因此周期性的I帧数据具有不导致由于数据丢失而带来的噪声等的优点。
由作为与先前帧数据的差的差分数据构成的P帧(预测的帧间)数据是用由编码单元19所参考的先前的周期性I帧数据或P帧数据的部分而编码的帧数据。虽然具有需要比周期性的I帧数据更少的位数量的优点，但P帧数据具有易受到分发错误影响的缺点，因为其与先前的P帧数据或周期性I帧数据具有复杂的依赖关系。由于以高速但是低质量进行数据传输的用户数据报文协议(UDP)被用于分发视频数据，因此在通信网络上可能丢失帧数据。在该情况下，当前P帧数据易受到分发错误影响，因为分发给用户(通信终端5)的视频数据由于丢失的先前P帧数据的影响而损坏。但是，由于周期性地插入周期性I帧数据，消除了视频数据的损坏。
接下来描述本实施例独特的跳跃帧数据和强制I数据的生成。
如上所述，因为P帧数据是与先前帧数据(P帧数据或强制I帧数据)的差分数据，因此，如果不存在针对先前一帧的更新部分，则浪费了编码单元19执行的差分计算。
周期性的I帧数据不经历编码单元19的差分计算，但经历用于编码的压缩计算。通过该编码生成的周期性I帧数据的数据量大于P帧数据的数据量。由于这个原因，对于周期性I帧数据，如果不存在针对先前一帧的被更新部分，则浪费了压缩计算。另外，因为周期性I帧数据的数据量大，因此，在分发控制系统内的总线220上花费更长发送时间。
例如，在图25中，P帧数据(M22，M23，M24)、周期性I帧数据M3、和P帧数据M31不是持续地被更新(改变)。在该状态下，浪费了编码单元19的差分计算或压缩计算的处理。
鉴于该情况，在本实施例中，当从浏览器20向发送FIFO24发送的帧数据未更新特定次数时，编码单元19生成跳跃帧数据，取代周期性I帧数据或P帧数据。
该跳跃帧数据是其内容相比于先前帧数据的内容未被更新(改变)的帧数据。跳跃帧数据还可以指示不存在针对先前帧数据的更新(改变)。例如，如图25所示，当在帧数据的内容中在作为特定次数的大约五次不存在改变时，生成第六帧数据作为跳跃帧数据m32，取代P帧数据M32。当在那之后未被更新的状态继续时，生成第七帧数据作为跳跃帧数据m33来取代P帧数据M33。以此方式生成跳跃帧数据，直到恢复更新。
这能够避免如下情况：在分发控制系统2中帧数据处理变得拥塞，从而提供如下效果：在分发控制系统2中，以更高速度向通信终端5分发从网页服务器8等等获取的内容数据作为视频数据。
另外，在本实施例中，编码单元19生成强制I帧数据，取代就在生成跳跃帧数据之前的帧数据(即，在一定次数内的最后的帧数据)。
作为静止图像数据的强制I帧数据是比构成视频数据的周期性I帧数据更少地被压缩的(更高图像质量)帧数据。例如，如图25所示，当在帧数据的内容中在作为一定次数的大约五次不存在改变时，由编码单元19生成第五帧数据作为强制I帧数据S3，取代P帧数据M31。当在无改变的状态中的第五帧数据是周期性I帧数据M3时，由编码单元19生成强制I帧S3来取代周期性的I帧数据M31。
这使得向通信终端5分发高图像质量的帧数据，从而在通信终端5上再现高图像质量图像。结果，即使当图像持续未被更新且继续分发跳跃帧数据时，在通信终端5上也继续再现高图像质量图像，从而提供如下效果：使得图像易于由通信终端5的用户观看的状态继续。
接下来参考图26描述其中分发控制系统2生成各种类型的帧数据的处理。图26是用于生成各种类型的帧数据的流程图。首先，浏览器20的渲染器功能在发送FIFO24中存储帧数据，并在其中存储指示帧数据的内容是否被更新的更新标志。更新标志是更新信息的例子，例如，且当存在任何更新时更新标志被指示为“1”，且当不存在更新时被指示为“0”。不仅当帧数据的内容相比于先前生成的帧数据的内容根本未更新时，而且当帧数据的内容相比于先前生成的帧数据的内容在一定范围上未更新时，浏览器20可以将更新标志设置为“0”。例如，当仅更新了由通信终端5再现的视频的一角附近(aroundacorner)、且未更新中央部分时，更新标志被设置为“0”。
图15所示的创建/选择/传输单元310开启计时器(步骤S301)。在创建/选择/传输单元310周期性地从图9所示的发送FIFO24获取帧数据时的时刻使用该计时器。创建/选择/传输单元310确定是否到时间获取下一帧数据(步骤S302)。创建/选择/传输单元310等待达获取下一帧数据时的时间(在步骤S302处的否)。如果到时间获取下一帧数据(在步骤S302处的是)，则创建/选择/传输单元310从发送FIFO24获取帧数据并将该帧数据传输到转换器10(步骤S303)。
例如，在转换器10中，修整单元11、改变大小单元12、或划分单元13分别对帧数据进行诸如修整、改变大小、或划分的图像处理(步骤S304)。
编码单元19基于更新标志确定在帧数据中是否存在任何更新(步骤S305)。如果更新标志是“1”，则编码单元19确定在由创建/选择/传输单元310的传输帧数据中存在任何更新(在步骤S305处的是)，并将用于生成跳跃帧数据的计数器(此后称为“SFC”)设置为零(步骤S306)。该计数器被编码单元19存储在GPU215的RAM21中。
编码单元19确定要生成的帧数据的类型(步骤S307)。例如，在图25所示的情况下，预先规定在生成一条周期性I帧数据之后，生成四条P帧数据。如果在步骤S307确定要生成周期性I帧数据，则编码单元19生成周期性I帧数据(步骤S308)。如果在步骤S307确定要生成P帧数据，则生成单元19生成P帧数据(步骤S309)。
返回到步骤S305，如果更新标志是“0”，则编码单元19确定在由创建/选择/传输单元310传输的帧数据中不存在改变(在步骤S305处的否)，并将SFC增加一以递增(步骤S311)。
编码单元19确定SFC是否超过一定次数(步骤S312)。换句话说，编码单元19确定从浏览器20输出的内容数据的内容的更新是否未持续进行达一定次数。在图25所示的情况下，确定SFC是否超过五次。如果编码单元19在步骤S312确定SFC不超过(少于)该一定次数(是)，则流程继续到步骤S307。如果在步骤S312确定SFC超过该一定次数(否)，则编码单元19还确定SFC是否是该一定次数(步骤S313)。
如果在步骤S313确定SFC是该一定次数(是)，则编码单元19生成强制I帧(步骤S314)。如果在步骤S313确定SFC不是该一定次数(否)，则编码单元19生成跳跃帧数据(步骤S315)。
当创建/选择/传输单元310从发送FIFO获取由于内容数据的内容中的另一个改变而导致的更新标志“1”时，编码单元19再次生成周期性I帧数据或P帧数据。在图25所示的情况下，当帧数据的内容在编码单元19生成跳跃帧数据m33之后被更新时，编码单元19生成P帧数据M34。在该情况下，编码单元19生成P帧数据作为与基于最后更新的内容数据生成的强制I帧数据的差分数据。当帧数据的内容在编码单元19生成跳跃帧数据m34之后被更新时，编码单元19生成周期性I帧数据M4。
实施例的主要效果
如上所述，在本实施例中，当从浏览器20向发送FIFO24发送的帧数据在一定次数未更新时，编码单元19生成跳跃帧数据，取代周期性I帧数据或P帧数据。这能够避免如下情况：帧数据处理在分发控制系统2中变得拥塞，从而提供如下效果：在分发控制系统2中，以更高速度向通信终端5分发从网页服务器8等等获取的内容数据作为视频数据。
在本实施例中，编码单元19生成强制I帧数据(第二I帧数据的例子)，其在图像质量上比周期性I帧数据(第一帧数据的例子)更高，取代就在生成跳跃帧数据之前的帧数据(即，在该一定次数中的最后的帧数据)。这使得向通信终端5分发高图像质量帧数据，这使得通信终端5能够再现高图像质量图像。结果，即使当图像持续未被更新且继续分发跳跃帧数据时，在通信终端5上也继续再现高图像质量图像，从而提供如下效果：使得图像易于由通信终端5的用户观看的状态继续。
在根据当前实施例的分发系统1中，分发控制系统2包括进行渲染的浏览器20和在云中进行编码等等的编码器桥单元30。浏览器20基于以特定描述语言描述的内容数据生成作为静止图像(声音)数据的多条帧数据。编码器桥单元30将多条帧数据转换为可通过通信网络9分发的视频(声音)数据。之后，分发控制系统2向通信终端5分发该视频(声音)数据。因此，通信终端5能够平滑地再现网页内容而无需其浏览器的更新或用于升级CPU、OS、RAM等等的规范的时间和成本。这消除了如下问题：富集的内容增加了对通信终端5的负荷。
特别是，浏览器20使能实时通信，且转换器10对由浏览器20生成的帧数据进行实时编码。由此，不像如在例如视频(声音)数据的按需(on-demand)分发中看到的其中DVD播放器选择和分发非实时(即，预编码的)视频(声音)数据的情况，分发控制系统2渲染就在被分发之前所获取的内容，从而生成帧数据并然后编码它们。这允许视频(声音)数据的实时分发。
补充描述
虽然在上述实施例中编码单元19在步骤S312确定SFC是否超过该特定次数，但实施例不限于此。例如，编码单元19可以确定是否超过特定时间段而非特定次数。
虽然在上述实施例中强制I帧数据是比周期性的I帧数据更少地被压缩(更高图像质量)的帧数据，但实施例不限于此。例如，编码单元19可以生成多个相比于周期性I帧数据的被高度压缩(更低图像质量)的帧数据，且发送器/接收器31可以向通信终端5相继发送它们。在该情况下，通信终端5从相继接收的帧数据再现与一条强制I帧数据类似的高图像质量视频。
虽然在上述实施例中分发控制系统2分发在步骤S315生成的跳跃帧数据，但实施例不限于此。例如，分发控制系统2可以不分发跳跃帧数据而分发指示当前帧数据的内容针对先前帧数据的内容未被更新的未更新信息。在该情况下，通信终端5基于该未更新信息进行与在接收到跳跃帧数据时的情况类似的处理。
根据当前实施例的分发系统1包括作为分离的系统的终端管理系统7和分发控制系统2。例如，通过使得分发控制系统2具有终端管理系统7的功能，终端管理系统7和分发控制系统2可以被构造为集成系统。
根据上述实施例的分发控制系统2和终端管理系统7可以由单个计算机实现，或可以由多个计算机实现，其中单独的部分(功能、装置、或存储单元)被划分并指定在任何期望的单元中。
能够在国内或国外提供其中记录了上述实施例的程序的诸如CD-ROM和HDD的存储介质作为程序产品。
根据一个实施例，当在要被分发到通信终端的数据的内容中不存在改变时，分发没有改变的状态的数据，从而解决如下问题：帧数据处理在分发控制系统中变得拥塞。这提供了以更高速度向通信终端分发数据的效果。
虽然已经为了完整和清楚的公开而针对具体实施例描述了本发明，但是并不因此限制所附权利要求，而是应理解权利要求为包含本领域技术人员可能做出的、公平地落入在此阐述的基本教导中的所有修改和可替换的构造。

Claims (9)

1.一种分发控制系统，其向通信终端分发能够由通信终端单独再现的第一帧数据或作为与向通信终端分发的先前帧数据的差异的第二帧数据，该分发控制系统包括：
生成单元，被配置为从特定帧数据生成所述第一帧数据或所述第二帧数据；以及
发送单元，被配置为当所述特定帧数据的内容与先前生成的帧数据的内容相比在特定范围或更大范围上未被更新时，向通信终端发送内容未被更新的第三帧数据或指示内容未被更新的未更新信息，取代所述第一帧数据或所述第二帧数据。
2.根据权利要求1的分发控制系统，其中，填塞单元被配置为当所述特定帧数据的内容与先前生成的帧数据的内容相比在特定范围或更大范围上未被更新时，生成第三帧数据，取代所述第一帧数据或所述第二帧数据。
3.根据权利要求2的分发控制系统，其中
所述生成单元是第二生成单元，
所述分发控制系统还包括
第一生成单元，被配置为从内容数据生成帧数据，并每特定时间段生成更新信息，所述更新信息指示所述帧数据的内容与先前生成的帧数据的内容相比是否在特定范围或更大范围上被更新，
所述第二生成单元被配置为基于更新信息确定在特定范围或更大范围上未被更新的状态是否持续达特定次数，以及
所述发送单元被配置为当所述第二生成单元确定所述状态持续达特定次数时，分发所述第三帧数据或所述未更新信息，取代所述第一帧数据或所述第二帧数据。
4.根据权利要求3的分发控制系统，其中所述第二生成单元被配置为当所述第二生成单元基于在生成第三帧数据之后的新改变信息确定所述帧数据的内容被更新时，生成所述第一帧数据或所述第二帧数据，取代所述第三帧数据。
5.根据权利要求3或4的分发控制系统，其中所述第一生成单元是浏览器，且所述第二生成单元是编码器。
6.根据权利要求1到5中的任一项的分发控制系统，其中所述第一帧数据是I帧数据，所述第二帧数据是P帧数据，且所述第三帧数据是跳跃帧数据。
7.一种由分发控制系统执行的分发控制方法，所述分发控制系统向通信终端分发能够由通信终端单独再现的第一帧数据或作为与向通信终端分发的先前帧数据的差异的第二帧数据，该分发控制方法包括：
从特定帧数据生成第一帧数据或第二帧数据；以及
当所述特定帧数据的内容与先前生成的帧数据的内容相比在特定范围或更大范围上未被更新时，向通信终端发送内容未被更新的第三帧数据或指示内容未被更新的未更新信息，取代所述第一帧数据或所述第二帧数据。
8.一种计算机可读取的存储介质，可执行程序存储在其上且可由计算机执行，其中所述程序指示所述计算机进行根据权利要求7的分发控制方法。
9.一种分发控制系统，包括：
生成单元，被配置为从内容数据生成静止图像数据；
转换单元，被配置为转换所述静止图像数据以生成视频数据；以及
发送单元，被配置为将所述视频数据发送到通信终端，其中
所述转换单元被配置为当在由所述生成单元生成的静止图像数据中不存在改变时，生成指示在所述视频数据中不存在从先前数据的改变的数据。
CN201480021408.5A 2013-03-15 2014-03-12 分发控制系统、分发控制方法和计算机可读存储介质 Pending CN105122224A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-054394 2013-03-15
JP2013054394 2013-03-15
JP2014-031490 2014-02-21
JP2014031490A JP2014200074A (ja) 2013-03-15 2014-02-21 配信制御システム、配信制御方法、及びプログラム
PCT/JP2014/057428 WO2014142342A1 (en) 2013-03-15 2014-03-12 Distribution control system, distribution control method, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
CN105122224A true CN105122224A (zh) 2015-12-02

Family

ID=51536987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480021408.5A Pending CN105122224A (zh) 2013-03-15 2014-03-12 分发控制系统、分发控制方法和计算机可读存储介质

Country Status (6)

Country Link
US (1) US20160044079A1 (zh)
EP (1) EP2972903A4 (zh)
JP (1) JP2014200074A (zh)
CN (1) CN105122224A (zh)
AU (1) AU2014230422A1 (zh)
WO (1) WO2014142342A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277606A (zh) * 2017-07-06 2017-10-20 浙江华创视讯科技有限公司 一种流式存储中录像数据生成方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6369043B2 (ja) 2013-03-15 2018-08-08 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6398215B2 (ja) 2013-03-15 2018-10-03 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6427937B2 (ja) 2013-09-05 2018-11-28 株式会社リコー 表示装置及び表示システム
JP2015061107A (ja) 2013-09-17 2015-03-30 株式会社リコー 配信管理装置、及び配信システム
EP3051826A4 (en) 2013-09-26 2016-10-19 Ricoh Co Ltd DISTRIBUTION MANAGEMENT DEVICE, DISTRIBUTION PROCESS AND PROGRAM
CN105580398A (zh) 2013-09-27 2016-05-11 株式会社理光 分发管理设备、终端和分发管理方法
JP2016143236A (ja) 2015-02-02 2016-08-08 株式会社リコー 配信制御装置、配信制御方法、及びプログラム
JP6747025B2 (ja) * 2016-04-13 2020-08-26 セイコーエプソン株式会社 表示システム、表示装置、及び、表示システムの制御方法
US11172267B2 (en) * 2016-12-27 2021-11-09 Telecom Italia S.P.A. Method and system for scheduling resources for streaming video services in mobile communication networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030133169A1 (en) * 2002-01-16 2003-07-17 Kyoko Uchibayashi Image coding apparatus, image coding method, and image coding program
US20110310235A1 (en) * 2009-12-28 2011-12-22 Taiji Sasaki Display device and method, recording medium, transmission device and method, and playback device and method
CN102308589A (zh) * 2009-02-17 2012-01-04 松下电器产业株式会社 再现装置、再现方法、程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0385882A (ja) * 1989-08-30 1991-04-11 Hitachi Ltd 画像信号符号化装置
JPH10210480A (ja) * 1997-01-20 1998-08-07 Mitsubishi Electric Corp 動画像符号化方式
JP3905969B2 (ja) * 1998-01-30 2007-04-18 株式会社東芝 動画像符号化装置および動画像符号化方法
JP3846490B2 (ja) * 2004-05-17 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、電子機器及び画像データ圧縮方法
JP2006173962A (ja) * 2004-12-15 2006-06-29 Nec Engineering Ltd 画像符号化装置
US8514933B2 (en) * 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
JP2007036965A (ja) * 2005-07-29 2007-02-08 Nec Viewtechnology Ltd 映像配信システム、映像表示装置、映像配信端末、および映像配信方法
WO2007022011A2 (en) * 2005-08-12 2007-02-22 Core Memory Circuits Llc System and process for capturing processing, compressing, and displaying image information
JP4232113B2 (ja) * 2006-02-17 2009-03-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
US7643422B1 (en) * 2006-03-24 2010-01-05 Hewlett-Packard Development Company, L.P. Dynamic trans-framing and trans-rating for interactive playback control
JP2008252333A (ja) * 2007-03-29 2008-10-16 Pioneer Electronic Corp 映像データ伝送システム
JP4788653B2 (ja) * 2007-05-14 2011-10-05 Ｋｄｄｉ株式会社 画像データトランスコーディング装置及びトランスコーディング方法
US8890874B2 (en) * 2007-12-14 2014-11-18 Microsoft Corporation Changing visual content communication
JP4760902B2 (ja) * 2008-12-17 2011-08-31 ソニー株式会社 情報処理装置および方法
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
US8599934B2 (en) * 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
EP2727356A2 (en) * 2011-06-30 2014-05-07 Huawei Technologies Co., Ltd Fast encoding method for lossless coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030133169A1 (en) * 2002-01-16 2003-07-17 Kyoko Uchibayashi Image coding apparatus, image coding method, and image coding program
CN102308589A (zh) * 2009-02-17 2012-01-04 松下电器产业株式会社 再现装置、再现方法、程序
US20110310235A1 (en) * 2009-12-28 2011-12-22 Taiji Sasaki Display device and method, recording medium, transmission device and method, and playback device and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277606A (zh) * 2017-07-06 2017-10-20 浙江华创视讯科技有限公司 一种流式存储中录像数据生成方法及装置
CN107277606B (zh) * 2017-07-06 2020-02-14 浙江华创视讯科技有限公司 一种流式存储中录像数据生成方法及装置

Also Published As

Publication number Publication date
EP2972903A4 (en) 2016-03-30
JP2014200074A (ja) 2014-10-23
US20160044079A1 (en) 2016-02-11
WO2014142342A1 (en) 2014-09-18
EP2972903A1 (en) 2016-01-20
AU2014230422A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
AU2014230438B2 (en) Distribution control system, distribution control method, and computer-readable storage medium
EP2790375B1 (en) Distribution control system, distribution control method, and computer-readable storage medium
CN105122224A (zh) 分发控制系统、分发控制方法和计算机可读存储介质
CN104052797B (zh) 分发控制系统、分发系统和分发控制方法
CN104053073B (zh) 分发控制系统、分发系统以及分发控制方法
EP2779571B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
CN104053071B (zh) 分发控制系统、分发系统和分发控制方法
EP2974317B1 (en) Computer system, distribution control system, distribution control method, and computer-readable storage medium
EP2790383B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP2779674A1 (en) Distribution control system and distribution system
EP2779570A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
WO2014142343A1 (en) Distribution control system and distribution system
CN104053069A (zh) 分发控制系统、分发系统和分发控制方法
CN105580398A (zh) 分发管理设备、终端和分发管理方法
JP2016015597A (ja) 配信制御システム、配信制御方法、及びプログラム
JP6607298B2 (ja) 配信制御システム、配信制御方法、及びプログラム
JP2015220741A (ja) 配信制御システム、配信制御方法、及びプログラム
JP2016015648A (ja) 配信制御システム、配信制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151202

WD01 Invention patent application deemed withdrawn after publication