CN105191321A - 分发控制系统、分发控制方法和计算机可读存储介质 - Google Patents

分发控制系统、分发控制方法和计算机可读存储介质 Download PDF

Info

Publication number
CN105191321A
CN105191321A CN201480026634.2A CN201480026634A CN105191321A CN 105191321 A CN105191321 A CN 105191321A CN 201480026634 A CN201480026634 A CN 201480026634A CN 105191321 A CN105191321 A CN 105191321A
Authority
CN
China
Prior art keywords
data
frame data
communication terminal
control system
distribution control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480026634.2A
Other languages
English (en)
Inventor
笠谷洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN105191321A publication Critical patent/CN105191321A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet

Abstract

一种系统将终端单独再现的第一帧数据或者作为与分发到该终端的之前帧数据的差别的第二帧数据分发到通信终端。该系统包含：产生单元，配置为从特定帧数据产生第一帧数据或者第二帧数据；以及发送单元，配置为当与之前产生的帧数据的内容相比，特定帧数据的内容在特定范围未更新时，代替第一帧数据或者第二帧数据，将具有未更新的内容的第三帧数据或者指示内容未更新的未更新信息发送到终端。发送单元为在将第三帧数据或者未更新信息发送到终端之前，将图像质量比第一帧数据高的第四帧数据发送到终端。

Description

分发控制系统、分发控制方法和计算机可读存储介质
技术领域
本发明涉及一种产生诸如I帧数据的第一帧数据或者诸如P帧数据的第二帧数据并且将这些数据分发到诸如到个人计算机或者电子黑板的通信终端的系统。
背景技术
随着当前因特网的广泛使用，云计算已经用于各种领域。云计算是用户利用连接到因特网的通信终端通过因特网使用服务器提供的服务(云服务)并且对服务付费的一种服务使用方式。
当服务器提供分发视频数据的服务时，利用视频压缩技术减少或者去除不必要的数据。在视频压缩技术中，MPEG-4和H.264利用帧间数据编码预测帧间数据变化从而减少视频数据量。该方法包括差分编码技术，该差分编码技术将帧数据与要参考的帧数据进行比较并且仅编码变化像素。利用该差分编码减少要编码并且发送的像素的数量。因此，当显示编码视频数据时，其能够如同差分编码产生的每个差分数据都包含在原始视频数据中一样呈现。在预测到帧间数据变化时，将视频数据中的各条帧数据划分为诸如I帧数据或者P帧数据的帧类型。
然而，因为I帧数据和P帧数据是构成图像质量比静态图像数据的图像质量低的视频数据的帧数据，所以当帧数据的内容连续未更新时，状态等同于低图像质量的静态图像数据连续再现的状态。这样导致的问题是，用户或者通信终端难以看到图像的状态连续。
发明内容
本发明的目的是至少部分地解决传统技术中存在的问题。
根据实施例，提供了一种分发控制系统，所述分发控制系统将通信终端能够单独再现的第一帧数据或者作为与分发到所述通信终端的之前帧数据的差别的第二帧数据分发到所述通信终端。所述分发控制系统包括：产生单元，配置为从特定帧数据产生所述第一帧数据或者所述第二帧数据；以及发送单元，配置为当与之前产生的所述帧数据的内容相比，所述特定帧数据的内容在特定范围或者更大范围未更新时，代替所述第一帧数据或者所述第二帧数据，将具有未更新的内容的第三帧数据或者指示所述内容未更新的未更新信息发送到所述通信终端。所述发送单元配置为在将所述第三帧数据或者所述未更新信息发送到所述通信终端之前，将图像质量比所述第一帧数据高的第四帧数据发送到所述通信终端。
当结合附图进行研究时，通过阅读下面对本发明的当前优选实施例的详细描述，将更好地理解本发明的上述以及其他目的、特征、优点以及技术和行业上的重要性。
附图说明
图1是根据实施例的分发式系统的原理图。
图2是当将电子狗安装到通信终端时的原理图。
图3是示出基本分发方法的原理图。
图4是多播的原理图。
图5是多显示的原理图。
图6是通过分发控制系统使用多个通信终端的复合分发的原理图。
图7是分发控制系统、通信终端、终端管理系统和网络服务器的逻辑硬件配置图。
图8是电子狗的逻辑硬件配置。
图9是主要示出分发控制系统的功能的功能方框图。
图10是主要示出通信终端的功能的功能方框图。
图11是示出终端管理系统的功能的功能方框图。
图12是分发目的地选择菜单屏幕的原理图。
图13是终端管理表的原理图。
图14是可用终端管理表的原理图。
图15是编码器桥单元的详图。
图16是示出转换器的功能的功能方框图。
图17是示出分发控制系统的基本分发处理的时序图。
图18是示出通过分发控制系统使用多个通信终端的通信处理的时序图。
图19是示出时间调节处理的时序图。
图20是示出对从分发控制系统发送到通信终端的数据执行通道自适应控制处理的时序图。
图21是示出对从通信终端发送到分发控制系统的数据执行通道自适应控制处理的时序图。
图22是示出多显示处理的时序图。
图23是示出多显示处理的时序图。
图24是示出多显示处理的时序图。
图25是各种类型的帧数据的原理图。
图26是用于产生各种类型的帧数据的流程图。
具体实施方式
下面参考附图详细描述根据实施例的分发式系统1。下面详细描述使网络浏览器(下面称为“浏览器”)和编码器通过云计算在云中互相合作并且将视频数据、声频数据等发送到通信终端的发明。
在下面，“图像”包括静态图像和运动图像。“视频”基本上指运动图像，但是也包含座位静态图像停止的运动图像。“静态图像(声音)”是静态图像和声音中的至少任何一个。“图像(声音)”是图像和声音中的至少任何一个。“视频(声音)”是视频和声音中的至少任何一个。
实施例概况
参考图1描述根据本发明的实施例的概况。图1是根据本实施例的分发式系统的原理图。
系统配置概况
首先描述分发式系统1的配置的概况。
如图1所示，根据本实施例的分发式系统1包含：分发控制系统2、多个通信终端(5a至5f)、终端管理系统7、以及网络服务器8。在下面，能够将通信终端(1a至5f)中的任何通信终端称为“通信终端5”。分发控制系统2、终端管理系统7和网络服务器8均由服务器计算机实现。
通信终端5是接收分发式系统1的服务的用户使用的终端。通信终端5a是笔记本个人计算机(PC)。通信终端5b是诸如智能电话或者平板电脑终端的移动终端。通信终端5c是组合了拷贝、扫描、打印和传真功能的多功能外围设备/打印机/产品(MFP)。通信终端5d是投影仪。通信终端5e是具有摄影机、麦克风和扬声器的电视(视频)会议终端。通信终端5f是能够利用电子方法转换用户等描绘的图画的电子黑板(白板)。
通信终端5不仅是图1所示的这种终端，而且可以是能够通过诸如因特网的通信网络通信的设备，包含：手表、自动售货机、汽车导航设备、游戏控制器、空调器、照明器材、单独摄影机、单独麦克风以及单独扬声器。
分发控制系统2、通信终端5、终端管理系统7和网络服务器8能够通过包含因特网和局域网(LAN)的通信网络9互相通信。通信网络9的例子可以包含无线通信网，诸如第三代(3G)、全球微波互联接入(WiMAX)和长期演进(LTE)。
例如通信终端5中的通信终端5d不具有通过通信网络9与其他终端或者系统通信的功能。然而，如图2所示，用户将电子狗99插入诸如通用串行总线(USB)接口或者通信终端5d的高清晰多媒体接口(HDMI)中，从而使得其能够与其他终端和系统通信。图2是当将电子狗安装到通信终端时的原理图。
分发控制系统2在云中具有浏览器20，并且通过浏览器中的绘制功能，获取以特定描述语言描述的单个或者多个内容数据，并且对内容数据进行绘制，从而产生包含诸如由红、绿和蓝(RGB)构成的位图数据的静态图像数据和诸如脉码调制(PCM)数据的声数据(即，静态图像(声音)数据)的帧数据。内容数据是从网络服务器8、任何通信终端等获得的数据，并且包含：超文本标记语言(HTML)和层叠样式表(CSS)形式的图像(声音)数据、MP4(MPEG-4)形式的图像(声音)数据以及高级音频编码(AAC)形式的声音数据。
分发控制系统2在云中具有编码单元19，并且编码单元19起编码器的作用，从而将诸如静态图像(声音)数据的帧数据转换为诸如H.264(MPEG-4AVC)、H.265和运动JPEG的压缩编码格式的视频(声音)数据。
终端管理系统7对通信终端5执行登录验证，并且管理通信终端5的合同信息等。终端管理系统7具有用于发送电子邮件的简单函件传递协议(SMTP)的功能。能够将终端管理系统7实现为例如对云服务开发的虚拟机(IaaS：基础设施即服务)。希望终端管理系统7以复用方式运行，以在发生出乎意料的事故的情况下，保证服务的连续性。
浏览器20使得能够实时通信/合作(RTC)。分发控制系统2包含下面描述的图19中的编码单元19，并且编码单元19能够对浏览器20输出的帧数据执行实时编码并输出通过根据H.264标准等进行转换产生的视频(声音)数据。因此，分发控制系统2的处理与例如由DVD播放器不读取并且分发记录于DVD中的实时视频(声音)数据的情况下的处理不同。
不仅分发控制系统2，而且通信终端5可以具有浏览器。在这种情况下，更新分发控制系统2的浏览器20消除对起动相应通信终端5的浏览器的需要。
接着将描述各种分发方法。
基本分发
图3是示出基本分发方法的原理图。在分发式系统1中，如图3所示，分发控制系统2的浏览器20从网络服务器8获取内容数据[A]座位图像(声音)数据并且绘制其，从而产生帧数据[A]作为静态图像(声音)数据。包含编码单元19的编码器桥单元30对各条帧数据[A]执行编码等，从而将其转换为诸如H.264(发送数据的例子)的压缩编码格式的视频(声音)数据[A]。分发控制系统2将转换的视频(声音)数据[A]分发到通信单元5。
因此，分发控制系统2能够将甚丰网络内容数据分发到通信终端5，同时在云中将其从HTML等的网络内容数据转换为H.264等的压缩视频(声音)数据。因此，通信终端5能够平滑再现网络内容，而无需增加最新浏览器或者插入过高规格中央处理单元(CPU)、操作系统(OS)、随机存取存储器(RAM)等等的时间和成本。
在云中，在分发控制系统2中，网络内容的进一步丰富仅要求更高规格的浏览器20、CPU等，而无需更高规格的通信终端5。
应用上述分发方法，如图4至图6所示，分发式系统1还能够将网络内容数据分发到多个站点作为视频(声音)数据。下面描述图4至图6所示的分发方法。
多播
图4是多播的原理图。如图4所示，分发控制系统2的单个浏览器20从网络服务器8获取网络内容数据[A]，则图像(声音)数据，并且绘制其，从而产生各条帧数据[A]，作为静态图像(声音)数据。编码器桥单元30对各条帧数据[A]编码，从而将各条帧数据[A]转换为视频(声音)数据。然后，分发控制系统2将视频(声音)数据[A](发送数据的例子)分发到单个通信终端(5f1、5f2、5f3)。
因此，在站点再现同一个视频(声音)。在这种情况下，通信终端(5f1、5f2、5f3)不需要具有相同水平的形式再现能力(例如，相同分辨率)。将与此类似的分发方法称为例如“多播”。
多显示
图5是多显示的原理图。如图5所示，分发控制系统2的单个浏览器20从网络服务器8获取网络内容数据[XYZ]，作为图像(声音)数据，并且绘制其，从而产生各条帧数据[XYZ]，作为静态图像(声音)数据。编码器桥单元30将每个帧数据[XYZ]分割为多条帧数据([X]、[Y]、[Z])，并且编码它们，从而将它们转换为多条视频(声音)数据([X]、[Y]、[Z])。然后，分发控制系统2将视频(声音)数据[X](发送数据的例子)分发到通信终端5f1。同样，分发控制系统2将视频(声音)数据[Y](发送数据的例子)分发到通信终端5f2，并且将视频(声音)数据[Z](发送数据的例子)分发到通信终端5f3。
因此，例如，即使对于宽幅网络内容数据[XYZ]，通信终端5以分割方式再现视频(声音)。因此，当以成排方式安装通信终端(5f1、5f2、5f3)时，能够与再现一个大视频获得相同的效果。在这种情况下，通信终端(5f1、5f2、5f3)需要具有相同水平的显示再现能力(例如，相同分辨率)。例如，将与此类似的分发方法称为“多显示”。
复合分发
图6是通过分发控制系统使用多个通信终端的复合分发的原理图。如图6所示，在第一站点(图6中的右侧)，使用作为电子黑板的通信终端5f1和作为电话会议终端的通信终端5e1，而在第二站点(图6中的左侧)，同样使用作为电子黑板的通信终端5f2和作为电话会议终端的通信终端5e2。在第一站点，利用在通信终端5f1上的敲击，电子笔P1用于描绘字符等。在第二站点，利用在通信终端5f2上的敲击，电子笔P2用于描绘字符等。
在第一站点，通信终端5e1获取的视频(声音)数据由编码单元60编码，并且然后将其发送到分发控制系统2。此后，由分发控制系统2的解码单元40对其解码，并且然后，将其输入到浏览器20。将指示利用电子笔P1在通信终端5f1上的敲击描绘的操作数据(在这种情况下，通信终端5f1的显示器上的坐标数据等)发送到分发控制系统2，从而输入到浏览器20。此外，在第二站点，通信终端5e1获取的视频(声音)数据由编码单元60编码，并且然后，将其发送到分发控制系统2。此后，由分发控制系统2的解码单元40解码，并且然后，将其输入到浏览器20。将指示利用电子笔P2在通信终端5f2上的敲击描绘的操作数据(在这种情况下，通信终端5f2的显示器上的坐标数据等)发送到分发控制系统2，从而输入到浏览器20。
浏览器20从网络服务器8获取例如网络内容数据[A]，作为显示于通信终端[5f1、5f2]的显示器上的背景图像。浏览器20将网络内容数据[A]、操作数据([p1]、[p2])以及视频(声音)内容数据([E1]、[E2])合成并且绘制它们，从而产生各条帧数据，作为以要求的布局布置各条内容数据([A]、[p1]、[p2]、[E1]、[E2])的静态图像(声音)数据。编码器桥单元30编码各条帧数据，并且分发控制系统2将指示相同内容([A]、[p1]、[p2]、[E1]、[E2])的视频(声音)数据分发到两个站点。因此，在第一站点，视频([A]、[p1]、[p2]、[E1(视频部)]和[E2(视频部)])显示于通信终端5f1的显示器上，并且声音[E2(声音部)]从通信终端5e1的扬声器输出。此外，在第二站点，视频([A]、[p1]、[p2]、[E1(视频部)]和[E2(视频部)])显示于通信终端5f2的显示器上，并且声音[E1(声音部)]从通信终端5e2的扬声器输出。在第一站点，因为通信终端5f1的回波消除功能，不输出站点本身[E1(声音部)]的声音。在第二站点，因为通信终端5f2的回波消除功能，不输出站点本身[E2(声音部)]的声音。
因此，在第一站点和第二站点，能够执行在远程站点实时共享相同信息的远程共享处理，因此，使得根据本实施例的分发式系统1在电视会议等中有效。
详细描述实施例
下面将参考图7至图24详细描述实施例。
实施例的硬件配置
首先参考图7和图8描述本实施例的硬件配置。图7是分发控制系统、通信终端、终端管理系统和网络服务器的逻辑硬件配置图。图8是电子狗的逻辑硬件配置。因为与通信终端的通信有关的硬件配置与通信终端的硬件配置的一部分相同，所以省略其描述。
如图7所示，分发控制系统2包含：(主)CPU201，该(主)CPU201控制分发控制系统2的全部操作；只读存储器(ROM)202，该只读存储器(ROM)202内存储用于驱动CPU201的程序，诸如IPL；RAM203，该RAM203用作CPU201的工作区；HDD204，该HDD204内存储诸如程序的各种数据；硬盘控制器(HDC)205，该硬盘控制器(HDC)205用于在CPU201的控制下对HDD204读取和写入各种数据进行控制；介质驱动器207，用于对诸如闪速存储器的存储介质206读取数据和写入数据进行控制；显示器208，显示器208用于显示各种信息；接口(I/F)209，该接口(I/F)209通过通信网络9发送数据，并且电子狗99连接到该接口(I/F)209；键盘211；鼠标212；麦克风213；扬声器214；图形处理单元(GPU)215；ROM216，该ROM216内存储用于驱动GPU215的程序；RAM217该RAM217用作GPU215的工作区；以及扩展总线220，诸如用于电连接上述部件的地址总线或者数据总线，如图7所示。与作为投影仪的通信终端5d中相同，可以不设置GPU。因为终端管理系统7和网络服务器8的硬件配置与分发控制系统2的硬件配置相同，所以省略其描述。
接着将参考图8描述图2所示的电子狗99的硬件配置。如图8所示，电子狗99包含：CPU91，该CPU91控制电子狗99的全部操作；ROM92，该ROM82内存储基本输入/输出程序；RAM93，该RAM93用作CPU91的工作区；电可擦可编程只读存储器(EEPROM)94，该电可擦可编程只读存储器(EEPROM)94在CPU91的控制下对数据进行读取和写入；GPU95；ROM98a，该ROM98a内存储用于驱动GPU95的程序；RAM98b，该RAM98b用作GPU95的工作区；接口I/F96，该接口I/F96连接到通信终端5的I/F209；天线97a；通信单元97，该通信单元97利用短距离无线技术通过天线97a进行通信；以及总线90，诸如地址总线或者数据总线的该总线90用于电连接上述单元。短距离无线技术的例子包含：近场通信(NFC)标准、蓝牙(注册商标)、无线保真(WiFi)以及Zigbee(注册商标)。因为电子狗99包含GPU95，所以即使不象通信终端5d中那样包含GPU，通信终端5仍能够蓝牙如图2所示安装的电子狗99执行图形显示所需的计算处理。
实施例的功能配置
接着参考图9至16描述实施例的功能配置。
分发控制系统的功能配置
首先，参考图9描述分发控制系统2的功能配置。图9是主要示出分发控制系统的功能的功能方框图。图9示出分发控制系统2将视频(声音)数据分发到通信终端5f1，并且分发控制系统2还具有与分发目的地不是通信终端5f1时相同的功能配置。尽管分发控制系统2包含多个分发式引擎服务器，但是为了简化描述，下面描述包含单个分发式引擎服务器的情况。
如图9所示，分发控制系统2具有由图7所示包含诸如CPU201或者GPU215的处理器的硬件配置和程序实现的图9所示功能部件。
具体地说，分发控制系统2包含：浏览器20、发送机/接收机21、浏览器管理单元22、传输先进先出(FIFO)缓冲器24、时间管理单元25、时间获取单元26、通道自适应控制器27、编码器桥单元30、发送机/接收机31、接收FIFO34、识别单元35、延迟信息获取单元37a、通道自适应控制器37b以及解码单元40。分发控制系统2还包括由图7中示出的HDD204实现的存储单元2000。该存储单元2000内存储由识别单元35输出的并且通过浏览器管理单元22发送的识别信息(下面描述)。能够将浏览器20获取的内容数据临时存储于作为高速缓存的存储单元2000中。
在上述功能部件中，浏览器20是在分发控制系统2中运行的浏览器。浏览器20始终与丰富网络内容一起更新。浏览器20包含：媒体播放器、Flash播放器、JavaScript(注册商标)、CSS和HTML绘制器。JavaScript包括标准化产品并且对于分发式系统1是唯一的。
媒体播放器是为了在浏览器20中再现诸如视频(声音)文件的多媒体文件而插入的浏览器。Flash播放器是为了在浏览器20中再现flash内容而插入的浏览器。唯一JavaScript是提供对对分发式系统1唯一的服务的应用编程接口(API)的JavaScript组。CSS是用于有效定义以HTML描写的网页的外观和风格的技术。HTML绘制器是HTML绘制引擎。
绘制器将诸如网络内容数据的内容数据绘制为图像(声音)数据，从而产生各条作为静态图像(声音)数据的帧数据。如图6所示，绘制器还是用于布局多种内容([A]、[p1]、[p2]、[E1]、[E2])的布局引擎。
根据本实施例的分发式系统1在分发控制系统2中提供浏览器20，并且从浏览器20中选择在用户对话中使用的云浏览器。为了简化描述，下面描述提供单个浏览器20的情况。
发送机/接收机21对和从终端管理系统7和网络服务器8发送和接收各种数据、各种请求、各种指令等等。例如，发送机/接收机21从位于网络服务器8的内容站点接收网络内容数据。发送机/接收机21将从终端管理系统7获取的各种数据输出到分发控制系统2中的功能部件，并且根据从终端管理系统7获取的各种数据、各种请求、各种指令等等，控制分发控制系统2中的功能部件。例如，对于浏览器20，发送机/接收机21将来自终端管理系统7的关于切换分发方式的请求输出到浏览器管理单元22。然后，浏览器管理单元22对浏览器中从一个浏览器到另一个浏览器的切换进行控制。根据来自终端管理系统7的切换分发的请求，发送机/接收机21对图15和图16中所示的编码器桥单元30中的部件的组合进行切换。
浏览器管理单元22管理浏览器20。例如，浏览器管理单元22指示浏览器20起动和退出，并且对起动的或者退出的编码器编ID。编码器ID是浏览器管理单元22为了管理编码器桥单元30中的处理而编的识别信息。在浏览器20每次起动时，浏览器管理单元22都编并且管理浏览器ID。浏览器ID是浏览器管理单元22为了管理浏览器20的处理而编的识别信息，从而识别浏览器20。
浏览器管理单元22通过发送机/接收机31从通信终端5获取操作数据，并且将它们输出到浏览器20。操作数据是通过通信终端5上的操作事件(通过键盘211、鼠标等的操作、利用电子笔P等的敲击)产生的数据。当通信终端5提供诸如温度传感器、湿度传感器和加速度传感器的各种传感器时，浏览器管理单元22从通信终端5获取含有传感器的输出信号的传感器信息，并且将其输出到浏览器20。浏览器管理单元22还从识别单元35获取图像(声音)数据并且将其输出到浏览器20，并且从识别单元35获取下面描述的识别信息并将其存储到存储单元2000中。浏览器管理单元22从接收FIFO缓冲器34接收视频(声音)数据并且将其输出到浏览器20。
传输FIFO24是在内部将各条帧数据存储为浏览器20产生的静态图像(声音)数据的缓冲器。
时间管理单元25管理对分发控制系统2唯一的时间T。
时间获取单元26结合下面描述的通信终端5中的时间控制器56执行时间调节处理。具体地说，时间获取单元26从时间管理单元25获取指示分发控制系统2中的时间T的时间信息(T)，通过发送机/接收机31和发送机/接收机51从下面描述的时间控制器56接收指示通信终端5中的时间t的时间信息(t)，并且将时间信息(t)和时间信息(T)发送到时间控制器56。
通道自适应控制器27根据传输延迟时间信息(D)计算再现延迟时间U，并且计算操作条件，诸如编码器桥单元30中的转换器10的帧速率和数据分辨率。该再现延迟时间U是通过缓存数据延迟再现直到被再现的时间。换句话说，通道自适应控制器27根据传输延迟时间信息(D)和该数据的大小(例如，位数或者字节数)改变编码器桥单元30的操作。如下所述，传输延迟时间信息(D)根据通信终端5的延迟信息获取单元57从再现控制器53获取的多条传输延迟时间D1指示频率分发信息。每条传输延迟时间D1都指从由分发控制系统2发送视频(声音)数据的时点到通信终端5收到其的时点的时间。
编码器桥单元30将作为浏览器20产生的静态图像(声音)数据的各条帧数据存储到下面描述的编码器桥单元30的转换器10中。根据通道自适应控制器27计算的操作条件，执行相应处理。将参考图15和图16更详细描述编码器桥单元30。图15是编码器桥单元的详图。图16是示出转换器的功能的功能方框图。
如图15所示，编码器桥单元30包含：创建/选择/传送单元310、选择单元320以及设置于二者之间的单个转换器(10a、10b、10c)。尽管在此示出三个转换器，但是可以提供任何数量的转换器。下面将所有转换器吃完“转换器10”。
转换器10将作为浏览器20产生的静态图像(声音)数据的各条帧数据的数据格式转换为可以通过通信网络9将数据分发到通信终端5的数据格式H.264等。为此，如图16所示，转换器10包含：修剪单元11、尺寸调节单元12、分割单元13以及编码单元19，从而对帧数据执行各种处理。修剪单元11、尺寸调节单元12以分割单元13不对声音数据执行任何处理。
修剪单元11执行处理，以切除部分静态图像。尺寸调节单元12改变静态图像的比例。分割单元13分割静态图像，如图5所示。
编码单元19对作为浏览器20产生的静态图像(声音)数据的各条帧数据进行编码，以转换它们，从而通过通信网络9，将视频(声音)数据分发到通信终端5。当视频不运动(当没有帧间更新(变化)时)时，此后插入跳帧(有时可以称为帧跳跃)，直到视频运动，从而节省频带。
当通过绘制与静态图像一起产生声音数据时，对两条数据进行编码，并且当仅产生声音数据时，仅执行编码，从而压缩数据，而无需修剪、尺寸调节和分割。
创建/选择/传送单元310创建新转换器10，选择作为静态图像(声音)数据的各条帧数据输入到已经产生的转换器10，并且传送各条帧数据。在创建时，创建/选择/传送单元310创建能够根据通信终端5的能力进行转换从而再现视频(声音)数据的转换器10。在选择时，创建/选择/传送单元310选择已经产生的转换器10。例如，在除了对通信终端5a分发还开始对通信终端5b分发时，可以将分发到通信终端5a的作为视频(声音)数据的相同视频(声音)数据分发到通信终端5b。此外，在这种情况下，当通信终端5b与通信终端5a对于再现视频(声音)数据具有相同水平的能力时，创建/选择/传送单元310使用已经对通信终端5a创建的转换器10a，而无需对通信终端5b创建新转换器10b。在传送时，创建/选择/传送单元310将存储于传输FIFO24中的各条帧数据传送到转换器10。
选择单元20从已经产生的转换器10中选择要求的转换器。创建/选择/传送单元310和选择单元320的选择使得以各种方式分发，如图6所示。
发送机/接收机31将各种数据、请求等发送到通信终端5和从通信终端5接收各种数据、请求等。发送机/接收机31在云中通过通信网络9将各种数据、请求等发送到通信终端5，从而使得分发控制系统2将各种数据、请求等分发到通信终端5。例如，在通信终端5的登录处理中，发送机/接收机31将提醒用户登录请求的验证屏幕数据发送到通信终端5的发送机/接收机51。发送机/接收机31还通过安全套接字层的超文本传送协议(HTTPS)服务器利用分发式系统1唯一的协议将数据传输到通信终端5的用户应用和通信终端5的设备应用和从通信终端5的用户应用和通信终端5的设备应用执行数据接收。该唯一协议是基于HTTPS的应用层协议，用于实时地发送和接收数据，而在分发控制系统2与通信终端之间不发生中断。发送机/接收机31还执行：传输响应控制、实时数据创建、命令传输、接收响应控制、接收数据分析以及手势转换。
传输响应控制是为了将来自分发控制系统2的数据发送到通信终端5对通信终端5请求下载的HTTPS对话进行管理的处理。用于下载的HTTPS对话的响应不立即结束而是保持特定时段(一分钟至几分钟)。发送机/接收机31将要发送到通信终端5的数据写入在响应的主体部。为了降低重新连接的成本，在之前对话结束之前，允许来自通信终端的另一个请求到达。通过在完成之前请求之前，使发送机/接收机31处于备用，即使执行重新连接，仍能够减小开销。
实时数据创建是对图16中的编码单元19产生的压缩视频(和压缩声音)的数据给予唯一标题并且将其写入HTTPS的主体部中的处理。
命令传输是产生要发送到通信终端5的命令数据并且将其写入指向通信终端5的HTTPS的主体部中的处理。
接收响应控制是为了使分发控制系统2接收来自通信终端5的数据而管理通信终端5请求的HTTPS对话的处理。该HTTPS对话不立即结束，而是保持特定时段(一分钟或者几分钟)。通信终端5动态地将要发送到分发控制系统2的发送机/接收机31的数据写入该请求的主体部中。
接收数据分析是通过键入和将数据传递到必要处理对通信终端5发送的数据进行分析的处理。
手势转换是将用户利用电子笔或者以手写方式对作为电子黑板的通信终端5f输入的手势事件转换为浏览器20可接收的格式的数据。
接收FIFO34是在内部存储解码单元40解码的视频(声音)数据的缓冲器。
识别单元35对从通信终端5收到的图像(声音)数据进行处理。具体地说，例如，识别单元35根据摄像机对标识拍摄的图像识别人或者动物的脸、年龄、性别等。在工作地，通过根据摄像机62拍摄的图像，进行脸识别和替换背景图像的处理，识别单元35执行名字标记。识别单元35将指示识别的详情的识别信息存储在存储单元2000中。通过利用识别扩展板执行处理，识别单元35实现加速。
延迟信息获取单元37a用于上行通道自适应控制的处理并且对应于在下行通道自适应控制中使用的通信终端5的延迟信息获取单元57。具体地说，延迟信息获取单元37a从解码单元40获取指示传输延迟时间d1的传输延迟时间信息(d1)并将其保持特定时段，并且当获取多条传输延迟时间信息(d1)时，根据多条传输延迟时间d1，将指示频率分发信息的传输延迟时间信息(d)输出到通道自适应控制器37b。传输延迟时间信息(d1)指从由通信终端5发送视频(声音)数据的时点到分发控制系统2收到其的时点的时间。
通道自适应控制器37b用于处理上行通道自适应控制并且对应于在下行通道自适应控制的处理中使用的通道自适应控制器27。具体地说，通道自适应控制器37b根据传输延迟时间信息(d)计算通信终端5的编码单元60的操作条件。通道自适应控制器37b通过发送机/接收机31和发射机/接收机51将指示诸如帧速率和数据分辨率的操作条件的通道自适应控制信号发送到通信终端5的编码单元60。
解码单元40对通信终端5发送的视频(声音)数据解码。解码单元40还将指示传输延迟时间d1的传输延迟时间信息(d1)输出到延迟信息获取单元37a。
通信终端的功能配置
参考图10描述通信终端5的功能配置。图10是主要示出通信终端的功能的功能方框图。通信终端5是用作用户界面的终端，以对分发式系统1执行登录、起动和停止分发视频(声音)数据等等。
如图10所示，通信终端5具有由图7所示的包含CPU201的硬件配置和程序实现的图10所示功能部件。当通过如图2所示插入电子狗99，通信终端5能够通过通信网络9与其他终端和系统通信时，通信终端5具有由图7和图8所示的硬件配置和程序实现的图10所示功能部件。
具体地说，通信终端5包含：解码单元50、发送机/接收机51、操作单元52、再现控制器53、绘制单元55、时间控制器56、延迟信息获取单元57、显示单元58以及编码单元60。通信终端5还包括由图7中所示的RAM203实现的存储单元5000。该存储单元5000内存储指下面描述的时差Δ的时差信息(Δ)和指通信终端5中的时间t的时间信息(t)。
解码单元50对由分发控制系统2分发的视频(声音)数据进行解码，并且从再现控制器53输出。
发送机/接收机51将各种数据、请求等发送到分发控制系统2的发送机/接收机31和终端管理系统7的发送机/接收机71a和从分发控制系统2的发送机/接收机31和终端管理系统7的发送机/接收机71a接收各种数据、请求等。例如，在通信终端5的登录处理中，响应操作单元52起动通信终端5，发送机/接收机51对终端管理系统7的发射机/接收机71执行登录请求。
操作单元52执行处理，以接收用户输入的操作，诸如利用电源开关、键盘、鼠标、电子笔P等的输入和选择，并且将它们作为操作数据发送到分发控制系统2的浏览器管理单元22。
再现控制器53缓存从发送机/接收机51收到的视频(声音)数据(实时数据分组)并且考虑到再现延迟时间U将其输出到解码单元50。再现控制器53还计算指示传输延迟时间D1的传输延迟时间信息(D1)，并且将该传输延迟时间信息(D1)输出到延迟信息获取单元57。
绘制单元55对解码单元50解码的数据进行绘制。
结合分发控制系统2的时间获取单元26，时间控制器56执行时间调节处理。具体地说，时间控制器56从存储单元5000获取指示通信终端5中的时间t的时间信息(t)。通过发送机/接收机51和发送机/接收机31，时间控制器56对分发控制系统2的时间获取单元26发出指示分发控制系统2中的时间T的时间信息(T)的请求。在这种情况下，与时间信息(T)的请求同时发送时间信息(t)。
延迟信息获取单元57从再现控制器53获取指示传输延迟时间D1的传输延迟时间信息(D1)，并且将其保持预定时段，并且当获取多条传输延迟时间信息(D1)时，通过发送机/接收机51和发送机/接收机31，将根据多条传输延迟时间D1指示频率分发信息的传输延迟时间信息(D)输出到通道自适应控制器27。例如，每100帧发送一次传输延迟时间信息(D)。
显示单元58再现绘制单元55绘制的数据。
编码单元60通过发送机/接收机51和发送机/接收机31将从内置麦克风213或者从装接到外部的摄像机62和麦克风63获取的并且被编码的视频(声音)数据(E)；指示通信终端5中的当前时间t0并且从存储单元5000获取的时间信息(t0)；以及指示分发控制系统2与通信终端5之间的时差Δ并且从存储单元5000获取的时差信息(Δ)发送到分发控制系统2的解码单元40。时差Δ指由分发控制系统2独立管理的时间与通信终端5独立管理的时间之间的差。编码单元60根据从通道自适应控制器37b收到的通道自适应控制信号指示的操作条件改变编码单元60的操作条件。根据新操作条件，编码单元60通过发送机/接收机51和发送机/接收机31将从摄像机62和麦克风63获取的并且被编码的视频(声音)数据(E)；指示通信终端5中的当前时间t0并且从存储单元5000获取的时间信息(t0)；以及指示时差Δ并且从存储单元5000获取的时差信息(Δ)发送到分发控制系统2的解码单元40。
内置麦克风213、外部装接的摄像机62和麦克风63等是输入单元的例子并且是需要编码和解码的设备。除了视频(声音)数据，输入单元还可以输出触摸数据和嗅觉数据。
输入单元包含各种传感器，诸如温度传感器、方向传感器、加速度传感器等等。
终端管理系统的功能配置
参考图11描述终端管理系统7的功能配置。图11是示出终端管理系统的功能的功能方框图。
如图11所示，终端管理系统7具有由图7所示的包含CPU201的硬件配置和程序实现的图11所示功能部件。
具体地说，终端管理系统7包含：发送机/接收机71a、发送机/接收机71b以及验证单元75。终端管理系统7还包括由图7所示HDD204实现的存储单元7000。存储单元7000内存储分发目的地选择菜单数据、终端管理表7010以及可用终端管理表7020。
分发目的地选择菜单是指示如图12所示的这种目的地选择菜单屏幕的数据。
如图13所示，终端管理表7010管理互相关联的：通信终端5的终端ID、用户证书、用户使用分发式系统1的服务时的合同信息、通信终端5的终端类型、指示相应通信终端5的归属统一资源定位器(URL)的设定信息、通信终端5的执行环境信息、共享ID、安装位置信息、以及显示名称信息。执行环境信息包含在通信终端5登录之后与设定信息一起发送到分发控制系统2并且在通信终端5上执行单独服务使用的、每个通信终端5的“适应”、“之前小甜饼信息”以及“高速缓存文件”。
共享ID是当将与分发到他/她自己的通信终端5的视频(声音)数据相同的视频(声音)数据分发到其他通信终端5，从而执行远程共享处理时使用的ID，并且该共享ID是识别其他通信终端和其他通信终端组的识别信息。例如，终端ID“t006”的共享ID是“v006”，终端ID“t007”的共享ID是“v006”，并且终端ID“t008”的共享ID是“v006”。当具有终端ID“t001”的通信终端5a发出与具有终端ID“v006”的通信终端(5f1、5f2、5f3)的远程共享处理的请求时，分发控制系统2将与正分发到通信终端5a的视频(声音)数据相同的视频(声音)数据分发到通信终端(5f1、5f2、5f3)。然而，当通信终端5a和通信终端(5f1、5f2、5f3)在显示单元58的分辨率方面不同时，分发控制系统2因此分发该视频(声音)数据。
如图5所示，例如，安装位置信息指示并排布置通信终端(5f1、5f2、5f3)时的安装位置。显示名称信息是指示图12所示分发目的地选择菜单中的显示名称详情的信息。
如图14所示，可用终端管理表7020管理指示通信终端ID指示的终端5能够与其执行远程共享处理的通信终端或者通信终端组的、与每个终端ID关联的共享ID。
参考图11描述功能部件。
发送机/接收机71a将各种数据、请求等等发送到通信终端5和从通信终端5接收各种数据、请求等等。例如，发送机/接收机71a从通信终端5的发送机/接收机51接收登录请求并且将登录请求的验证结果发送到发送机/接收机51。
发送机/接收机71b将各种数据、请求等等发送到分发控制系统2和从分发控制系统2接收各种数据、请求等等。例如，发送机/接收机71b从分发控制系统2的发送机/接收机21接收分发目的地选择菜单数据的请求并且将分发目的地选择菜单数据的请求发送到发射机/接收机21。
验证单元75根据从通信终端5收到的终端ID和用户证书搜索终端管理表7010，从而确定是否存在终端ID和用户证书的相同组合，从而验证通信终端5。
实施例的操作和处理
参考图17至24描述本实施例的操作和各项处理。这些处理项由分发控制系统2的、通信终端5的、终端管理系统7的以及网络服务器8的CPU根据存储在内的相应程序执行。
基本分发处理
参考图17描述图3所示基本分发方法中的特定分发处理。图17是示出分发控制系统的基本分发处理的时序图。尽管在此示出通过通信单元5a发出登录请求的情况，但是在通信终端5a之外，通过通信终端5也可用执行登录。
如图17所示，当用户开启通信终端5a时，通信终端5a的发送机/接收机51对终端管理系统7的发送机/接收机71a发出登录请求(步骤S21)。发送机/接收机71a接收该登录请求。该登录请求包含通信终端5a的终端ID和用户证书。然后，验证单元75获取通信终端5a的终端ID和用户证书。
验证单元75根据终端ID和用户证书搜索终端管理表7010，从而确定是否存在终端ID和用户终端的相同组合，从而验证通信终端5a(步骤S22)。下面描述终端管理表7010中存在相同组合的终端ID和用户证书的情况，即，在分发式系统1中，确定通信终端5a为有效终端。
终端管理系统7的发送机/接收机71a将分发控制系统2的IP地址发送到通信终端5a的发送机/接收机51(步骤S23)。终端管理系统7从分发控制系统2获取分发控制系统2的IP地址，并且事先将其存储于存储单元7000中。
终端管理系统7的发送机/接收机71b将浏览器20的起动请求发送到分发控制系统2的终端管理系统7的发送机/接收机21(步骤S24)。发送机/接收机21接收浏览器20的起动请求。浏览器管理单元22根据发送机/接收机21收到的起动请求起动浏览器20(步骤S25)。
编码器桥单元30的创建/选择/传送单元310根据通信终端5a的能力创建转换器10，从而再现视频(声音)数据(显示器的分辨率等)和内容类型(步骤S26)。接着，发送机/接收机21根据浏览器20的指令对网络服务器8发出内容数据[A]的请求(步骤S27)。作为对此的响应，网络服务器8从其自己的存储单元(未示出)读取请求的内容数据[A](步骤S28)。然后，网络服务器8将内容数据[A]发送到分发控制系统2的发送机/接收机21(步骤S29)。
浏览器20对发送机/接收机21收到的内容数据[A]进行绘制，从而产生各条帧数据，作为静态图像(声音)数据，并且将它们输出到传输FIFO24(步骤S30)。转换器10对存储于传输FIFO24中的各条帧数据进行编码，以将它们转换为视频(声音)数据，从而分发到通信终端5a(步骤S31)。
发送机/接收机31将视频(声音)数据[A]发送到通信终端5a的发送机/接收机51(步骤S32)。通信终端5a的发送机/接收机51接收视频(声音)数据[A]，并且将其输出到再现控制器53。
在通信终端5a中，解码单元50从再现控制器53获取视频(声音)数据[A]，并且对其解码(步骤S33)。此后，扬声器61根据解码的声音数据[A]再现声音，并且显示单元58根据从解码单元50获取的并且由绘制单元55绘制的视频数据[A]再现视频(步骤S34)。
使用多个通信终端的复合分发的处理
下面参考图18描述通过分发控制系统使用多个通信终端的通信处理。图18是示出通过分发控制系统使用多个通信终端的分发处理的时序图。在此描述通信终端5以图6所示方式的特定处理。因为在此的处理与步骤S21至S29相同包含登录处理、浏览器起动等等，所以描述以对应于步骤S29的处理开始。
如图18所示，分发控制系统2的发送机/接收机21从网络服务器8接收内容数据[A](步骤S41)。浏览器20绘制该内容数据[A]，从而产生各条帧数据，作为静态图像(声音)数据，并且将它们输出到传输FIFO24(步骤S42)。
当通信终端5f1的编码单元60从摄像机62和麦克风63收到作为视频(声音)数据的内容数据的输入时(步骤S43)，编码单元60对该内容数据[E]编码(步骤S44)。发送机/接收机51将编码单元60编码的内容数据[E]发送到分发控制系统2的发送机/接收机31(步骤S45)。分发控制系统2的发送机/接收机31接收该内容数据[E]。
分发控制系统2的解码单元40对发送机/接收机31收到的内容数据[E]进行编码，并且将其输出到接收FIFO34(步骤S46)。浏览器20对存储于接收FIFO34内的内容数据[E]进行绘制，从而产生帧数据[E]，则接收静态图像(声音)数据，并且将其输出到传输FIFO24(步骤S47)。在这种情况下，浏览器20输出内容数据[E]与已经获取的内容数据[A]组合的布局形式的数据。
此外，当通信终端5f1的操作单元52收到利用电子笔P1的敲击操作的输入时(步骤S48)，发送机/接收机51将指示操作单元52收到的敲击操作的详情的操作数据[p]发送到分发控制系统2的发送机/接收机31(步骤S49)。分发控制系统2的发送机/接收机31接收该操作数据[p]。浏览器管理单元22将发送机/接收机31收到的操作数据[p]输出到浏览器20。
浏览器20绘制操作数据[p]，从而产生作为静态图像(声音)数据的帧数据[p]，并且将其输出到传输FIFO24(步骤S50)。在这种情况下，浏览器20输出操作数据[p]与已经获取的内容数据([A]、[E])组合的布局形式的数据。
转换器10对作为存储于传输FIFO24内的静态图像(声音)数据的各条帧数据([A]、[E]、[p])进行编码，从而它们转换为视频(声音)数据([A]、[E]、[p])，以分发到通信终端5f1和5f2(步骤S51)。
发送机/接收机31从包含转换器10的编码器桥单元30获取编码视频(声音)数据([A]、[E]、[p])，并且将其发送到通信终端5f1的发送机/接收机51(步骤S52－1)。通信终端5f1的发送机/接收机51接收视频(声音)数据([A]、[E]、[p])，并且通信终端5f1的再现控制器53从发送机/接收机51获取视频(声音)数据([A]、[E]、[p])。在通信终端5f1中，解码单元50从再现控制器53获取视频(声音)数据([A]、[E]、[p])，并且对其编码(步骤S53－1)。此后，扬声器61根据解码的声音数据([A]、[E])再现声音，并且显示单元58根据从解码单元50获取的并且由绘制单元55绘制的视频数据([A]、[E]、[p])再现视频(步骤S54－1)。
对于通信终端5f2，与步骤S52－1的情况相同，发送机/接收机31从编码器桥单元30获取编码视频(声音)数据([A]、[E]、[p])，并且将其发送到通信终端5f2的发送机/接收机51(步骤S52－2)。通信终端5f2的再现控制器53获取该视频(声音)数据([A]、[E]、[p])。在通信终端5f1中，解码单元50从再现控制器53获取视频(声音)数据([A]、[E]、[p])，并且对其解码(步骤S53－2)。此后，扬声器61根据解码声音数据([A]、[E])再现声音，并且显示单元58根据从解码单元50获取的并且由绘制单元55绘制的视频数据([A]、[E]、[p])再现视频(步骤S54－2)。
因此，将与输出到通信终端5f1的视频(声音)相同的视频(声音)输出到通信终端5f2。
时间调节处理
将参考图19描述时间调节处理。图19是示出时间调节处理的时序图。
为了获取指示发送机/接收机51何时对分发控制系统2发出关于时间信息(T)的请求的时间，通信终端5的时间控制器56从存储单元5000获取通信终端5中的时间信息(ts)(步骤S81)。发送机/接收机51对发送机/接收机31发出关于时间信息(T)的请求(步骤S82)。在这种情况下，与时间信息(T)的请求同时发送时间信息(ts)。
为了获取指示发送机/接收机31何时收到步骤S82的请求的时间，分发控制系统2的时间获取单元26从时间管理单元25获取分发控制系统2中的时间信息(tr)(步骤S83)。为了获取指示发送机/接收机31何时对步骤S82的请求做出响应的时间，时间获取单元26还从时间管理单元25获取分发控制系统2中的时间信息(ts)(步骤S84)。然后，发送机/接收机31将时间信息(ts、tr、ts)发送到发送机/接收机51(步骤S85)。
为了获取指示发送机/接收机51何时收到步骤S85的响应的时间，通信终端5的时间控制器56从存储单元5000获取通信终端5中的时间信息(tr)(步骤S86)。
通信终端5的时间控制器56计算分发控制系统2与通信终端5之间的时差Δ(步骤S87)。该时差Δ由下面的等式(1)给出。
Δ＝((Tr+Ts)/2)-((tr+ts)/2)(1)
时间控制器56将指示时差Δ的时差信息(Δ)存储于存储单元5000中(步骤S88)。例如每隔几分钟定期执行一系列时间调节处理。
下行通道自适应控制的处理
接着将参考图20描述对从分发控制系统2发送到通信终端5(下行)的数据执行的通道自适应控制处理。图20是示出对从分发控制系统发送到通信终端的数据执行通道自适应控制处理的时序图。
首先，分发控制系统2的通道自适应控制器27计算再现延迟时间信息(U)并且将该再现延迟时间信息(U)输出到编码器桥单元30，该再现延迟时间信息(U)指示通过缓存延迟再现直到通信终端5的再现控制器53再现视频(声音)数据的再现延迟时间U(步骤S101)。
然后，发送机/接收机31从编码器桥单元30获取再现延迟时间信息(U)，并且将其发送到通信终端5的发送机/接收机51(步骤S102)。通信终端5的发送机/接收机51接收该再现延迟时间信息(U)。例如，编码器桥单元30将从时间管理单元25获取的指示时间T0的时间信息(T0)作为时间戳添加到从传输FIFO24获取并且编码的视频(声音)数据[A](步骤S103)。发送机/接收机31将视频(声音)数据和分发控制系统2的时间信息(T0)发送到通信终端5的发送机/接收机51(步骤S104)。通信终端5的发送机/接收机51接收分发控制系统2的时间信息(T0)，并且将视频(声音)数据和时间信息(T0)输出到再现控制器53。
在通信终端5中，根据在步骤S102获取的再现延迟时间信息(U)、在步骤S104获取的时间信息(T0)以及在步骤S88存储于存储单元5000中的时差信息(Δ)，再现控制器53等待直到通信终端5中的时间(T0+U-Δ)，并且然后，将在步骤S104获取的视频(声音)数据输出到解码单元50。这样使得扬声器61输出声音，并且使得显示单元58通过绘制单元55再现视频(步骤S105)。这样使得仅再现通信终端5在等式(2)给出的再现延迟时间U的范围内收到的视频(声音)数据，而使该范围外的视频(声音)数据过度延迟并且删除其，而不再现。
U≥(t0+Δ)-T0(2)
再现控制器53从存储单元5000读取通信终端5中的当前时间t0(步骤S106)。该时间t0指示通信终端5中当通信终端5从分发控制系统2收到视频(声音)数据时的时间。再现控制器53还读取在步骤S86存储于存储单元5000中指示时差Δ的时差信息(Δ)(步骤S107)。然后，再现控制器53计算指示从由分发控制系统2发送视频(声音)数据的时点到通信终端5收到其的时点的时间的传输延迟时间D1(步骤S108)。利用下面的等式(3)执行该计算；当通信网络9拥塞时，该传输延迟时间D1变长。
D1＝(t0+Δ)–T0(3)
延迟信息获取单元57从再现控制器53获取指示传输延迟时间D1的传输延迟时间信息(D1)，并且将其保持特定时段，并且当获取多条传输延迟时间信息(D1)时，将根据多条传输延迟时间D1指示频率分发信息的传输延迟时间信息(D)输出到发送机/接收机51(步骤S109)。发送机/接收机51将传输延迟时间信息(D)发送到分发控制系统2的发送机/接收机31(步骤S110)。分发控制系统2的发送机/接收机31接收该传输延迟时间信息(D)，并且将该传输延迟时间信息(D)输出到通道自适应控制器27。
分发控制系统2的通道自适应控制器27根据传输延迟时间信息(D)新近计算再现延迟时间U’，并且计算诸如帧速率和转换器的数据分辨率的操作条件，并且将它们输出到编码器桥单元30(步骤S111)。换句话说，通道自适应控制器27根据传输延迟时间信息(D)和数据的大小(例如，位数或者字节数)改变编码器桥单元30的操作。
发送机/接收机31从编码器桥单元30获取指示在步骤S111计算的新再现延迟时间U’的再现延迟时间信息(U’)，并且将该再现延迟时间信息(U’)发送到通信终端5的发送机/接收机51(步骤S112)。通信终端5的发送机/接收机51接收再现延迟时间信息(U’)。
编码器桥单元30的转换器10根据指示操作条件的通道自适应控制信号改变转换器10的操作条件(步骤S113)。例如，当传输延迟时间E1过长并且根据传输延迟时间D1，使得再现延迟时间U更长时，扬声器61和显示单元58处的再现时间被过度延迟。因此，对使再现延迟时间更长存在限制。鉴于此，通道自适应控制器27不仅使编码器桥单元30将再现延迟时间U变更为再现延迟时间U’，而且使转换器10降低视频(声音)数据的帧速率并且降低视频(声音)数据的分辨率，从而解决通信网络9的拥塞。这样使得与步骤S103相同，编码器桥单元30根据改变的操作条件对视频(声音)数据[A]添加当前时间信息(T0)，作为时间戳(步骤S104)。因此，添加视频(声音)数据(步骤S114)。发送机/接收机31将视频(声音)数据和分发控制系统2的时间信息(T0)发送到通信终端5的发送机/接收机51(步骤S115)。通信终端5的发送机/接收机51接收视频(声音)数据和分发控制系统2的时间信息(T0)并且将该视频(声音)数据和时间信息(T0)输出到再现控制器53。
在通信终端5中，根据在步骤S112获取的再现延迟时间信息(U’)、在步骤S115获取的时间信息(T0)以及在步骤S88存储于存储单元5000中的时差信息(Δ)，再现控制器53等待直到通信终端5中的时间(T0+U’-Δ)，并且然后，将视频(声音)数据输出到解码单元50，从而与步骤S105相同，使扬声器61输出声音，并且使显示单元58通过绘制单元55再现视频(步骤S116)。这之后是步骤S106或者步骤S106之后的处理。因此，连续执行了下行通道自适应控制的处理。
上行通道自适应控制处理
接着参考图21描述对从通信终端5发送到分发控制系统2(上行)的数据执行的通道自适应控制处理。图20是示出对从通信终端发送到分发控制系统的数据执行通道自适应控制处理的时序图。
首先，通信终端5的编码单元60对作为从摄像机63和麦克风63的输入的视频(声音)数据的内容数据进行编码(步骤S121)。在这种情况下，编码单元60从存储单元5000获取指示通信终端5中的当前时间t0的时间信息(t0)以及指示时差Δ的时差信息(Δ)，而不对它们进行编码。发送机/接收机51将视频(声音)数据[E]、时间信息(t0)以及时差信息(Δ)发送到分发控制系统2的发送机/接收机31(步骤S122)。分发控制系统2的发送机/接收机31接收视频(声音)数据[E]、时间信息(t0)以及时差信息(Δ)。
在分发控制系统2中，解码单元40从时间管理单元25读取指示何时在步骤S112收到视频(声音)数据[E]等的时间T0(步骤S123)。然后，解码单元计算指示从由通信终端5发送视频(声音)数据的时点到分发控制系统2接收其的时点的时间的传输延迟时间d1(步骤S124)。利用下面的等式(4)执行该计算；当通信网络9拥塞时，传输延迟时间d1变长。
d1＝T0–(t0+Δ)(4)
与延迟信息获取单元27的情况相同，分发控制系统2的延迟信息获取单元37a从解码单元40获取指示传输延迟时间d1的传输延迟时间信息(d1)，并且使其保持特定时段，并且当获取多条传输延迟时间信息(d1)时，根据多条传输延迟时间d1，将指示频率分发信息的传输延迟时间信息(d)输出到通道自适应控制器37b(步骤S125)。
根据传输延迟时间信息(d)，通道自适应控制器37b计算编码单元60的操作条件(步骤S126)。发送机/接收机31将指示诸如帧速率和数据分辨率的操作条件的通道自适应控制信号发送到通信终端5的发送机/接收机51(步骤S127)。通信终端5的发送机/接收机51接收通道自适应控制信号。换句话说，在图20所示的通道自适应控制情况下(下行)，将通道自适应控制信号输出到相同分发控制系统2中的编码器桥单元30，并且与此相反，在图21所示的通道自适应控制情况下(上行)，通道自适应控制信号由分发控制系统2通过通信网络9发送到通信终端5。
根据发送机/接收机51收到的操作条件，编码单元60改变编码单元60的操作条件(步骤S128)。然后，编码单元60根据新操作条件执行与步骤S121相同的处理(步骤S129)。发送机/接收机51与在步骤S122相同将从摄像机62和麦克风63获取并且编码的视频(声音)数据[E]、从存储单元5000获取的指示通信终端5中的当前时间t0的时间信息(t0)以及也是从存储单元5000获取的指示时差Δ的时差信息(Δ)发送到分发控制系统2的发送机/接收机31(步骤S130)。分发控制系统2的发送机/接收机31接收视频(声音)数据[E]、时间信息(t0)以及时差信息(Δ)。这之后是步骤S123或者步骤S123之后的处理。因此，连续执行上行通道自适应控制的处理。
多显示处理
接着，将参考图22至24描述多显示处理。图22至图24是示出图5所示多显示处理的时序图。
下面描述还以分割方式在通信终端(5f1、5f2、5f3)上再现正在通信终端5a上再现的视频(声音)[XYZ]。
用于显示网络内容的浏览器20被称为“浏览器20a”，而用于显示用户的设定屏幕的浏览器20被称为“浏览器20b”。首先描述对应于图17中的步骤S30的处理。
首先，分发控制系统2的浏览器20a对从网络服务器8获取的网络内容数据[XYZ]进行绘制，从而产生各条帧数据，作为静态图像(声音)数据，并且将它们输出到传输FIFO24(步骤S201)。转换器10对存储于传输FIFO24中的各条帧数据进行编码，从而将它们转换为可分发到通信终端5a的数据格式的视频(声音)数据[XYZ](步骤S202)。
发送机/接收机31将转换器10转换的视频(声音)数据[XYZ]发送到通信终端5a的发送机/接收机51(步骤S203)。通信终端5a的发送机/接收机51接收该视频(声音)数据[XYZ]，并且将其输出到再现控制器53。
在通信终端5a中，解码单元50从再现控制器53获取视频(声音)数据[XYZ]并且对其解码(步骤S204)。此后，扬声器61根据解码的声音数据[XYZ]再现声音，并且显示单元58根据从解码单元50获取的并且由绘制单元55绘制的视频数据[XYZ]再现视频(步骤S205)。
通信终端5a的用户将显示于显示单元58上的屏幕切换到菜单请求屏幕(未示出)，并且操作单元52收到在菜单请求屏幕上按下“分发目的地选择菜单”(未示出)(步骤S206)。这样使得发送机/接收机51将切换到分发目的地选择菜单的请求发送到终端管理系统7的发送机/接收机71a(步骤S207)。终端管理系统7的发送机/接收机71a接收切换到分发目的地选择菜单的请求。该请求包含通信终端5a的终端ID。
发送机/接收机71b将浏览器20b的起动请求发送到分发控制系统2的发送机/接收机21(步骤S208)。分发控制系统2的发送机/接收机21接收浏览器20b的起动请求，并且对浏览器管理单元22发出浏览器20b的起动请求。
然后，浏览器管理单元22起动浏览器20b(步骤S209)。编码器桥单元30的创建/选择/传送单元310将从浏览器20a到转换器10(例如，转换器10a)的输出切换到从浏览器20b到转换器10(例如，转换器10b)(步骤S210)。当通信终端5a和另一个通信终端5(例如，通信终端5b)正在共享转换器10(例如，转换器10a)来接收步骤S203的视频(声音)数据时，编码器桥单元30的创建/选择/传送单元310新创建转换器10(例如，转换器10b)，因为其他通信终端5(例如，通信终端5b)正在将转换器10(例如，转换器10a)用于浏览器20a。
发送机/接收机21根据浏览器20b的指令将分发目的地选择菜单的请求发送到终端管理系统7的发送机/接收机71b(步骤S211)。在这种情况下，还发送通信终端5a的终端ID。终端管理系统7的发送机/接收机71b接收分发目的地选择菜单的请求，并且将通信终端5a的终端ID输出到存储单元7000。
作为对此的响应，终端管理系统7的存储单元7000根据终端ID搜索可用终端管理表7020，从而提取相应共享ID(步骤S212)。该共享ID指示可用于通信终端5a的通信终端5执行远程共享处理。如图14所示，因为通信终端5a的终端ID是“t001”，所以要提取的共享ID是“v003”和“v006”。
存储单元7000还根据提取的共享ID搜索终端管理表7010，从而提取指示相应显示名称的显示名称信息(步骤S213)。如图13所示，对应于提取的共享ID“v003”和“v006”的显示名称分别是“东京总部10FMFP”和“大阪展览馆1F多显示”。
发送机/接收机71b将分发目的地选择菜单[M]作为内容数据发送到分发控制系统2的发送机/接收机21(步骤S214)。分发控制系统2的发送机/接收机21接收分发目的地选择菜单数据[M]，并且将其输出到浏览器20b。如图12所示，该分发目的地选择菜单数据[M]包含检查框、共享ID和显示名称。
如图23所示，浏览器20b对指示从终端管理系统7获取的分发目的地选择菜单数据[M]内容数据进行绘制，从而产生作为静态图像(声音)数据的各条帧数据，并且将它们输出到传输FIFO24(步骤S221)。转换器10对存储于传输FIFO24中的各条图像(声音)数据[M]进行编码，从而将它们转换为可分发到通信终端的数据格式的视频(声音)数据[M](步骤S222)。
发送机/接收机31将转换器10转换的视频(声音)数据[M]发送到通信终端5a的发送机/接收机51(步骤S223)。通信终端5a的发送机/接收机51接收该视频(声音)数据[M]，并且将其输出到再现控制器53。
在通信终端5a中，解码单元50从再现控制器53获取视频(声音)数据[M]，并且对其解码(步骤S224)。此后，显示单元58根据从解码单元50获取的并且由绘制单元55绘制的视频数据[XYZ]再现视频，如图12所示(步骤S225)。
在图12所示的分发目的地选择菜单中，当检查到共享ID“v006”的检查框并且用户按下“OK”按钮时，操作单元52接收用户输入的操作(步骤S226)。
发送机/接收机51将检查结果作为操作数据发送到分发控制系统2的发送机/接收机31(步骤S227)。分发控制系统2的发送机/接收机31接收该检查结果，作为操作数据，并且将其输出到浏览器20b。
浏览器20b从检查结果中选择共享ID(步骤S228)。根据浏览器20b的指令，发射机/接收机21将添加分发目的地的请求发送到终端管理系统7的发送机/接收机71b(步骤S229)。添加分发目的地的该请求转换在步骤S227选择的共享ID。终端管理系统7的发送机/接收机71b接收添加分发目的地的请求，并且将共享ID输出到存储单元7000。然后，浏览器20b结束(步骤S230)。这样使得编码器桥单元30的创建/选择/传送单元310将从浏览器20b到转换器10的输出切回从浏览器20a到转换器10的输出(步骤S231)。
如图24所示，在终端管理系统7的存储单元7000中，根据在步骤S229发送的共享ID，搜索终端管理表7010，从而提取相应终端ID和安装位置信息(步骤S241)。发送机/接收机71b对分发控制系统2的发送机/接收机21发送指令以添加分发目的地(步骤S242)。添加分发目的地的指令包含在步骤S241提取的终端ID和安装位置信息。分发控制系统2的发送机/接收机21接收添加分发目的地的指令，并且将添加分发目的地的指令输出到浏览器管理单元22。在此包含三组终端ID和安装位置信息，即，分别是“t006”和“左侧”的终端ID和安装位置信息、分别是“t007”和“中间”的终端ID和安装位置信息以及分别是“t008”和“右侧”的终端ID和安装位置信息。
编码器桥单元30的创建/选择/传送单元310创建用于多显示的转换器10(步骤S243)。在这种情况下，编码器桥单元30的创建/选择/传送单元310从浏览器管理单元22获取终端ID和安装位置信息。
在步骤S243创建的转换器10的分割单元13将作为存储于传输FIFO24中的静态图像(声音)数据的各条帧数据[XYZ]分割，并且编码单元19对分割的各条帧数据进行编码(步骤S244)。
发送机/接收机31根据终端ID(“t006”)和安装位置信息(“左侧”)将编码器桥单元30编码的视频(声音)数据[X]发送到通信终端5f1的发送机/接收机51(步骤S245-1)。通信终端5f1的发送机/接收机51接收视频(声音)数据[X]，并且将其输出到再现控制器53。
在通信终端5f1中，解码单元50从再现控制器53获取视频(声音)数据[X]，并且对其解码(步骤S246－1)。此后，扬声器61根据解码的声音数据[X]再现声音，并且显示单元58根据从解码单元50获取的并且由绘制单元55绘制的视频数据[X]再现视频(步骤S247－1)。
类似地，发送机/接收机31根据终端ID(“t007”)和安装位置信息(“中间”)将编码器桥单元30编码的视频(声音)数据[Y]发送到通信终端5f2的发送机/接收机51(步骤S245－2)。通信终端5f2的发送机/接收机51接收视频(声音)数据[Y]，并且将其输出到再现控制器53。
在通信终端5f2中，解码单元50从再现控制器53获取视频(声音)数据[Y]，并且对其解码(步骤S246－2)。此后，扬声器61根据解码的声音数据[Y]再现声音，并且显示单元58根据从解码单元50获取的并且由绘制单元55绘制的视频数据[Y]再现视频(步骤S247－2)。
类似地，发送机/接收机31根据终端ID(“t008”)和安装位置信息(“右侧”)将编码器桥单元30编码的视频(声音)数据[Z]发送到通信终端5f3的发送机/接收机51(步骤S235－3)。通信终端5f3的发送机/接收机51接收视频(声音)数据[Z]，并且将其输出到再现控制器53。
在通信终端5f3中，解码单元50从再现控制器53获取视频(声音)数据[Z]，并且对其解码(步骤S246－3)。此后，扬声器61根据解码的声音数据[Z]再现声音，并且显示单元58根据从解码单元50获取的并且由绘制单元55绘制的视频数据[Z]再现视频(步骤S247－3)。
产生各种帧数据的处理
接着参考图25和图26描述产生各种帧数据的处理。图25是各种类型的帧数据的原理图。本实施例产生四种帧数据。这四种帧数据包含：“周期性地产生的I帧数据”和“P帧数据”以及“跳帧数据”和“强有力产生的I帧数据”。下面将“周期性地产生的I帧数据”称为“周期I帧数据”，并且下面将“强有力产生的I帧数据”称为“强有力I帧数据”。周期I帧数据是第一帧数据的例子，P帧数据是第二帧数据的例子，跳帧数据是第三帧数据的例子，并且强有力I帧数据是第四帧数据的例子。
首先，作为公知技术，描述产生周期I帧数据和P帧数据。通常，为了通过通信网络有效发送视频数据，利用视频压缩技术减少或者移除不必要的数据。视频压缩技术使编码器对视频数据中的各条帧数据编码，并且产生周期性I帧数据或者P帧数据。
周期性I帧(帧内)数据是通信终端通过在不参考其他图像的情况下独立(单独)解码能够产生的帧数据。如图25所示，视频数据的第一图像始终是周期性I帧数据。为了便于描述，在此示出重复分发一条周期性I帧数据和四条P帧数据的情况。具体地说，编码单元19重复产生周期性I帧数据和P帧数据，即，例如，产生构成视频数据的周期性I帧数据M1，然后，连续产生构成视频数据的四条P帧数据(M11、M12、M13、M14)，并且接着产生构成视频数据的周期性I帧数据，并且然后，连续产生构成视频数据的P帧数据(M11、M12、M13、M14)。
周期性I帧数据用于实现观看视频数据的新用户的起点、当在传输时在位流中发生问题时的再同步点、快进和快退以及随机存取功能。编码单元19以等间隔自动传输周期性I帧数据，并且当例如新加观看视频数据的用户时，根据需要产生周期性I帧数据。尽管因为周期性I帧数据不是差别数据，所以周期性I帧数据具有要求较多位数(数据量大)的缺陷，但是周期性I帧数据具有的优点是不因为数据丢失而产生噪声等。
由作为与之前帧数据的差别的差别数据构成的P帧(预测帧内)数据是编码单元19利用参考的之前周期性I帧数据或者P帧数据编码的帧数据。尽管与周期性I帧数据相比，具有要求较少位数的优点，但是P帧数据具有的缺陷是容易发生分发错误，因为与前P帧数据或者周期性I帧数据具有复杂的依赖关系。因为使数据以高速但是低质量传送的用户数据报协议(UDP)用于分发视频数据，所以在通信网络上，帧数据可能丢失。在这种情况下，本P帧数据容易发生分发错误，因为由于丢失的前P帧数据的影响，分发到用户(通信终端5)的视频数据损坏。然而，因为周期性地插入的前I帧数据，减少视频数据的损坏。
接着将描述产生跳帧数据和本实施例特有的强有力I数据。
如上所述，因为P帧数据是与之前帧数据的差别数据(P帧数据或者强有力I帧数据)，所以如果对于之前帧数据不存在更新部，则编码单元19执行的差分计算就是浪费。
编码单元19不对周期性I帧数据执行差分计算，但是为了编码而执行压缩计算。这样编码产生的周期性I帧数据的数据量大于P帧数据的数据量。因为该原因，对于周期性I帧数据，如果对于之前帧数据，不存在更新部，则压缩计算就是浪费。此外，因为周期性I帧数据的数据量大，所以在分发控制系统中的总线220上花费的传输时间较长。
例如，在图25中，不连续更新(改变)P帧数据(M22、M23、M24)、周期性I帧数据M3以及P帧数据M31。在这种状态下，编码单元19执行的差分计算何时压缩计算的处理就是浪费。
假定在这种状况下，在本实施例中，当从浏览器20发送到传输FIFO24的帧数据有特定次数未更新时，编码单元19产生跳帧数据，代替周期性I帧数据或者P帧数据。
该跳帧数据是与之前帧数据的内容相比，内容未被更新(改变)的帧数据。跳帧数据还能够指示相当于之前帧数据未更新(改变)。例如，如图25所示，当帧数据的内容约5次未发生变化时，5次作为特定次数，产生第六帧数据，作为跳帧数据m32，代替P帧数据M32。当未正更新的状态此后继续时，产生第七帧数据，作为跳帧数据m33，代替P帧数据M33。以这种方式产生跳帧数据，直到重新开始更新。
这样能够避免帧数据的处理在分发控制系统2上发生拥塞的状况，从而在分发控制系统2上实现将从网络服务器8等获取的内容数据作为视频数据以较高速度分发到通信终端5的效果。
此外，在本实施例中，在产生跳帧数据之前(即，特定次数内的最后帧数据)，编码单元19立即产生强有力I帧数据，代替帧数据。
与构成视频数据的周期性I帧数据相比，作为静态图像数据的强有力I帧数据被较小压缩。例如，如图25所示，当帧数据的内容约5次未发生变化时，5次作为特定次数，编码单元19产生第五帧数据，作为强有力I帧数据S3，代替P帧数据M31。当状态未发生变化的第五帧数据是周期性I帧数据M3时，编码单元19产生强有力I帧S3，代替周期性I帧数据M31。
这样使高图像质量的帧数据分发到通信终端5，从而在通信终端5上再现高图像质量的图像。因此，即使图像连续未更新，在通信终端5上仍连续再现高图像质量图像，并且跳帧数据连续分发，从而实现使状态连续的效果，在该状态下，通信终端5的用户容易观看图像。
接着参考图26描述分发控制系统2产生各种类型的帧数据的处理。图26是用于产生各种类型的帧数据的流程图。首先，浏览器20的绘制器功能使帧数据存储于传输FIFO24中，并且内部存储指示帧数据的内容是否被更新的更新标志。更新标志是更新信息的例子，并且例如，当存在任何更新时，该更新标志示为“1”，而当不存在更新时，该更新标志示为“0”。不仅当与之前产生的帧数据的内容相比，该帧数据的内容根本未更新时，而且当与之前产生的帧数据的内容相比，在特定范围内未更新时，浏览器20都可用将更新标志设定为“0”。例如，仅当通信终端5再现的视频的角部周围更新，而中心部未更新时，将更新标志设定为“0”。
图15中所示的创建/选择/传送单元310起动定时器(步骤S301)。在创建/选择/传送单元310周期性地从图9所示的传输FIFO24获取帧数据时的时间，使用该定时器。创建/选择/传送单元310确定是否到获取下一个帧数据的时间(步骤S302)。创建/选择/传送单元310等待获取下一个帧数据的时间(在步骤S302为“否”)。如果到获取下一个帧数据的时间(在步骤S302为“是”)，则创建/选择/传送单元310从传输FIFO24获取帧数据，并且将该帧数据传送到转换器10(步骤S303)。
在转换器10中，修剪单元11、尺寸调节单元12或者分割单元13例如对帧数据分别执行诸如修剪、尺寸调节或者分割的图像处理(步骤S304)。
编码单元19根据更新标志确定帧数据中是否存在更新(步骤S305)。如果更新标志为“1”，则编码单元19确定创建/选择/传送单元310传送的帧数据中存在更新(在步骤S305为“是”)，并且将传输跳帧数据使用的计数器(下面称为“SFC”)设定为0(步骤S306)。编码单元19将该计数器存储于GPU215的RAM21中。
编码单元19确定要传输该类型的帧数据(步骤S307)。例如，在图25所示的情况下，事先规定在传输一条周期性I帧数据之后，传输四条P帧数据。如果在步骤S307确定产生周期性I帧数据，则编码单元19产生周期性I帧数据(步骤S308)。如果在步骤S307确定产生P帧数据，则产生单元19产生P帧数据(步骤S309)。
回到步骤S305，如果更新标志是“0”，则编码单元19确定创建/选择/传送单元310传送的帧数据中未发生变化(在步骤S305为“否”)，则使SFC增加1从而递增(步骤S311)。
编码单元19确定SFC是否超过特定次数(步骤S312)。换句话说，编码单元19确定对浏览器20输出的内容数据的内容的更新是否被连续执行预定次数。在图25所示的情况下，确定SFC是否超过5次。如果在步骤S312，编码单元19确定SFC未超过(小于)特定次数(“是”)，则该流程进入步骤S307。如果在步骤S312确定SFC超过处理次数(“否”)，则编码单元19还确定SFC是否是特定次数(步骤S313)。
如果在步骤313确定SFC是特定次数(“是”)，则编码单元19产生强有力I帧(步骤S314)。如果在步骤S313确定SFC不是特定次数(“否”)，则编码单元19产生跳帧数据(步骤S315)。
当创建/选择/传送单元310因为内容数据中的内容的另一个变化而从传输FIFO获取更新标志“1”时，编码单元19再次产生周期性I帧数据或者P帧数据。在图25所示情况下，当在编码单元19产生跳帧数据m33之后更新帧数据的内容时，编码单元19产生P帧数据M34。在这种情况下，编码单元19产生P帧数据，作为根据最新更新的内容数据产生的强有力I帧数据的差别数据。当帧数据的内容在编码单元19产生跳帧数据m34之后发生变化时，编码单元19产生周期性I帧数据M4。
实施例的主要效果
如上所述，在本实施例中，当从浏览器20发送到传输FIFO24的帧数据有特定次数未更新时，编码单元19传输跳帧数据，代替周期性I帧数据或者P帧数据。这样能够避免在分发控制系统2中发生帧数据处理发生拥塞的情况，从而在分发控制系统2中实现以较高速度将从网络服务器8等获取的内容数据作为视频数据分发到通信终端5的效果。
在本实施例中，编码单元19产生图像质量高于周期性I帧数据(第一帧数据的例子)的强有力I帧数据(第二I帧数据的例子)，以代替紧接在产生跳帧数据(即，特定次数内的最后帧数据)之前的帧数据。这样使高图像质量的帧数据分发到通信终端5，这样使得通信终端5能再现高图像质量图像。因此，即使图像连续未更新，在通信终端5上仍连续再现高图像质量图像，并且连续分发跳帧数据，从而实现使得通信终端5的用户容易观看图像的状态连续的效果。
在根据本实施例的分发式系统1中，分发控制系统2包含：浏览器20，该浏览器20执行绘制；以及编码器桥单元30，在云中，该编码器桥单元30执行编码等。浏览器20根据以特定语音描述的内容数据产生各条帧数据，作为静态图像(声音)数据。编码器桥单元30将各条帧数据转换为通过通信网络9可分发的视频(声音)数据。此后，分发控制系统2将视频(声音)数据分发到通信终端5。因此，通信终端5能够平滑地再现网络内容，而无需更新其浏览器，也无需更新CPU、OS、RAM等的技术规范的时间和成本。这样减小了丰富内容增大通信终端5上的负荷的问题。
特别是，浏览器20使得能够实时通信，并且转换器10对浏览器20产生的帧数据执行实时编码。因此，与DVD播放器选择并且分发非实时(即，预编码)视频(声音)数据的情况不同，正如在请求分发视频(声音)数据中看到的，分发控制系统2对紧接在分发之前获取的内容进行绘制，从而产生各条帧数据，并且然后，对它们编码。这样可以实时分发视频(声音)数据。
补充描述
尽管在上述实施例中，在步骤S312，编码单元19确定SFC是否超过特定次数，但是该实施例并不局限于此。例如，编码单元19可以确定是否超过特定时段，而非特定次数。
尽管在该实施例中，与周期性I帧数据相比，强有力I帧数据是较低压缩的(较高图像质量)帧数据，但是该实施例并不局限于此。例如，与周期性I帧数据相比，编码单元19可以产生多条高度压缩(较低图像质量)的帧数据，并且发送机/接收机31可以将它们连续发送到通信终端5。在这种情况下，通信终端5由连续收到的各条帧数据再现与一条强有力I帧数据相同的高图像质量视频。
尽管在上述实施例中，分发控制系统2分发在步骤S315产生的跳帧数据，但是该实施例并不局限于此。例如，分发控制系统2可以分发指示当前帧数据的内容未相对于前帧数据更新的未更新信息，而不分发跳帧数据。在这种情况下，通信终端5根据未更新信息对收到跳帧数据时的情况执行相同处理。
根据本实施例的分发式系统1包含作为分立系统的终端管理系统7和分发控制系统2。例如，通过例如使分发控制系统2具有终端管理系统7的功能，可以将终端管理系统7和分发控制系统2构造为集成系统。
根据上述实施例的分发控制系统2和终端管理系统7可以由单个计算机实现，也可以由多个将独立部(功能、装置、或者存储单元)划分到或者分配到任何希望的单元内的计算机实现。
作为程序产品，能够在国内或者向国外提供内部记录上述实施例的程序的诸如D-ROM和HDD的存储介质。
根据实施例，在发送第三帧数据或者未更新信息之前，发送图像质量比第一帧数据高的第四帧数据，代替第一帧数据或者第二帧数据。这样使得高图像质量的帧数据分发到通信终端，从而在通信终端5上再现高图像质量图像。因此，即使图像连续未更新，在通信终端5上仍连续再现高图像质量图像，并且连续分发跳帧数据，从而实现使通信终端的用户容易观看图像的状态连续的效果。
尽管为了全面并且清楚地公开，针对特定实施例描述了本发明，但是所附权利要求书并不因此受限，并且应当理解为涵盖本技术领域内的技术人员可以想象的一定落入在此陈述的基本教导内的所有修改构造和替换构造。

Claims (9)

1.一种分发控制系统，所述分发控制系统将通信终端能够单独再现的第一帧数据或者作为与分发到所述通信终端的之前帧数据的差别的第二帧数据分发到所述通信终端，所述分发控制系统包括：
产生单元，配置为从特定帧数据产生所述第一帧数据或者所述第二帧数据；以及
发送单元，配置为当与之前产生的所述帧数据的内容相比，所述特定帧数据的内容在特定范围或者更大范围未更新时，代替所述第一帧数据或者所述第二帧数据，将具有未更新的内容的第三帧数据或者指示所述内容未更新的未更新信息发送到所述通信终端，其中
所述发送单元配置为在将所述第三帧数据或者所述未更新信息发送到所述通信终端之前，将图像质量比所述第一帧数据高的第四帧数据发送到所述通信终端。
2.根据权利要求1所述的分发控制系统，其中所述产生单元为当与之前产生的所述帧数据的内容相比，所述特定帧数据的内容在特定范围或者更大范围未更新时，产生所述第三帧数据，代替所述第一帧数据或者所述第二帧数据。
3.根据权利要求2所述的分发控制系统，其中
所述产生单元是第二产生单元，
所述分发控制系统还包括：
第一产生单元，配置为从内容数据产生帧数据，并且每隔特定时段产生更新信息，所述更新信息指示与之前产生的所述帧数据的内容相比，所述帧数据的内容是否在特定范围或者更大范围被更新，
所述第二产生单元配置为根据所述更新信息，确定在所述特定范围或者更大范围未更新的状态是否已经持续特定次数，并且
所述发送单元配置为当所述第二产生单元确定所述状态已经持续特定次数时，分发所述第三帧数据或者所述未更新信息，代替所述第一帧数据或者所述第二帧数据。
4.根据权利要求3所述的分发控制系统，其中所述第二产生单元配置为在产生所述第三帧数据后，当所述第二产生单元根据新变化信息确定所述帧数据的内容更新时，产生所述第一帧数据或者所述第二帧数据，代替所述第三帧数据。
5.根据权利要求3或者4所述的分发控制系统，其中所述第一产生单元是浏览器，并且所述第二产生单元是编码器。
6.根据权利要求1至5中的任何一项所述的分发控制系统，其中所述第一帧数据是I帧数据，所述第二帧数据是P帧数据，并且所述第三帧数据是跳帧数据。
7.一种由分发控制系统执行的分发控制方法，所述分发控制系统将通信终端能够单独再现的第一帧数据或者作为与分发到所述通信终端的所述之前帧数据的差别的第二帧数据分发到所述通信终端，所述分发控制方法包括：
从特定帧数据产生所述第一帧数据或者所述第二帧数据；以及
当与之前产生的所述帧数据的内容相比，所述特定帧数据的内容在特定范围或者更大范围未更新时，代替所述第一帧数据或者所述第二帧数据，将具有未更新的内容的第三帧数据或者指示所述内容未更新的未更新信息发送到所述通信终端。
8.一种上面存储有由计算机执行的可执行程序的计算机可读存储介质，其中所述程序指令所述计算机执行根据权利要求7所述的分发控制方法。
9.一种分发控制系统，包括：
产生单元，配置为从内容数据产生静态图像数据；
转换单元，配置为转换所述静态图像数据，从而产生压缩视频数据；以及
发送单元，配置为将所述视频数据发送到通信终端，其中
所述转换单元配置为当在所述产生单元产生的所述静态图像数据中不存在变化时，从之前数据产生数据作为具有不同压缩比的视频数据。
CN201480026634.2A 2013-03-15 2014-03-14 分发控制系统、分发控制方法和计算机可读存储介质 Pending CN105191321A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-054396 2013-03-15
JP2013054396 2013-03-15
JP2014-031499 2014-02-21
JP2014031499A JP2014200076A (ja) 2013-03-15 2014-02-21 配信制御システム、配信制御方法、及びプログラム
PCT/JP2014/057938 WO2014142358A1 (en) 2013-03-15 2014-03-14 Distribution control system, distribution control method, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
CN105191321A true CN105191321A (zh) 2015-12-23

Family

ID=51537001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480026634.2A Pending CN105191321A (zh) 2013-03-15 2014-03-14 分发控制系统、分发控制方法和计算机可读存储介质

Country Status (6)

Country Link
US (1) US9693080B2 (zh)
EP (1) EP2974319A4 (zh)
JP (1) JP2014200076A (zh)
CN (1) CN105191321A (zh)
AU (1) AU2014230438B2 (zh)
WO (1) WO2014142358A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338128A (zh) * 2016-09-20 2017-01-18 珠海格力电器股份有限公司 空调器的通讯方法和装置
CN116033216A (zh) * 2021-10-26 2023-04-28 Oppo广东移动通信有限公司 显示设备的数据处理方法、装置、存储介质与显示设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6369043B2 (ja) 2013-03-15 2018-08-08 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6398215B2 (ja) 2013-03-15 2018-10-03 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6427937B2 (ja) 2013-09-05 2018-11-28 株式会社リコー 表示装置及び表示システム
JP2015061107A (ja) 2013-09-17 2015-03-30 株式会社リコー 配信管理装置、及び配信システム
US9894391B2 (en) 2013-09-26 2018-02-13 Ricoh Company, Limited Distribution management apparatus, distribution method, and program
EP3051422B1 (en) 2013-09-27 2019-11-06 Ricoh Company, Ltd. Distribution management device, terminal, and distribution management method
WO2016114270A1 (ja) 2015-01-15 2016-07-21 株式会社リコー 制御システム、通信端末、通信システム、制御方法、及びプログラム
JP2016143236A (ja) * 2015-02-02 2016-08-08 株式会社リコー 配信制御装置、配信制御方法、及びプログラム
JP6536068B2 (ja) * 2015-02-19 2019-07-03 株式会社リコー 制御システム、通信システム、制御方法、及びプログラム
RU2662648C1 (ru) * 2015-03-27 2018-07-26 Хуавей Текнолоджиз Ко., Лтд. Способ и устройство для обработки данных
JP2016192658A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 通信システム、通信装置、通信方法および通信制御方法
JP2017028375A (ja) 2015-07-16 2017-02-02 株式会社リコー 映像処理装置、及びプログラム
US20170031645A1 (en) 2015-07-29 2017-02-02 Akihiro Mihara Image processing apparatus, image processing system and image processing method
CN106557522B (zh) * 2015-09-30 2020-06-12 阿尔卡特朗讯 一种用于提供定时功能的方法与设备
WO2017179593A1 (ja) * 2016-04-13 2017-10-19 ソニー株式会社 Ａｖサーバおよびａｖサーバシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0444660A2 (en) * 1990-03-02 1991-09-04 CSELT Centro Studi e Laboratori Telecomunicazioni S.p.A. Improvements to video signal hybrid-coding systems
US20070296814A1 (en) * 2005-08-12 2007-12-27 Cooper Benjamin J System and process for capturing, processing, compressing, and displaying image information
US20090010556A1 (en) * 2002-01-16 2009-01-08 Kyoko Uchibayashi Image coding apparatus, image coding method, and image coding program for coding at least one still frame with still frame coding having a higher quality than normal frame coding of other frames
CN101395671A (zh) * 2005-08-15 2009-03-25 摩托罗拉公司 用于提供内容自适应码率控制的视频编码系统和方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5565921A (en) * 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system
JP2003284077A (ja) * 2002-01-16 2003-10-03 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP5046527B2 (ja) 2006-02-14 2012-10-10 カシオ計算機株式会社 コンピュータシステムのサーバ装置及びサーバ制御プログラム
EP1985104A2 (en) 2006-02-14 2008-10-29 Casio Computer Co., Ltd. Server apparatuses, server control programs, and client apparatuses in a computer system
JP4998021B2 (ja) 2007-03-08 2012-08-15 カシオ計算機株式会社 サーバ装置、クライアント装置及びプログラム
JP2008283561A (ja) * 2007-05-11 2008-11-20 Sony Corp 通信システム、映像信号伝送方法、送信装置、送信方法、受信装置および受信方法
US8127233B2 (en) 2007-09-24 2012-02-28 Microsoft Corporation Remote user interface updates using difference and motion encoding
US7664862B2 (en) 2008-01-14 2010-02-16 International Business Machines Corporation Browser-based proxy server for customization and distribution of existing applications
US8254704B2 (en) 2008-10-30 2012-08-28 Microsoft Corporation Remote computing platforms providing high-fidelity display and interactivity for clients
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
JP2012138851A (ja) * 2010-12-27 2012-07-19 Toshiba Corp 画像送信装置および方法、画像受信装置および方法
JP5509262B2 (ja) 2012-06-06 2014-06-04 株式会社東芝 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法
JP6337499B2 (ja) 2013-03-15 2018-06-06 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6323048B2 (ja) 2013-03-15 2018-05-16 株式会社リコー 配信システム、配信方法、及びプログラム
JP2014199648A (ja) 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6369043B2 (ja) 2013-03-15 2018-08-08 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6354195B2 (ja) 2013-03-15 2018-07-11 株式会社リコー 配信システム、配信方法、及びプログラム
EP2793475A1 (en) 2013-03-15 2014-10-22 Ricoh Company, Ltd. Distribution control system, distribution control method, and computer-readable storage medium
JP6354197B2 (ja) 2013-03-15 2018-07-11 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
JP6398215B2 (ja) 2013-03-15 2018-10-03 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6326855B2 (ja) 2013-03-15 2018-05-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0444660A2 (en) * 1990-03-02 1991-09-04 CSELT Centro Studi e Laboratori Telecomunicazioni S.p.A. Improvements to video signal hybrid-coding systems
US20090010556A1 (en) * 2002-01-16 2009-01-08 Kyoko Uchibayashi Image coding apparatus, image coding method, and image coding program for coding at least one still frame with still frame coding having a higher quality than normal frame coding of other frames
US20070296814A1 (en) * 2005-08-12 2007-12-27 Cooper Benjamin J System and process for capturing, processing, compressing, and displaying image information
CN101395671A (zh) * 2005-08-15 2009-03-25 摩托罗拉公司 用于提供内容自适应码率控制的视频编码系统和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338128A (zh) * 2016-09-20 2017-01-18 珠海格力电器股份有限公司 空调器的通讯方法和装置
CN106338128B (zh) * 2016-09-20 2018-04-17 珠海格力电器股份有限公司 空调器的通讯方法和装置
CN116033216A (zh) * 2021-10-26 2023-04-28 Oppo广东移动通信有限公司 显示设备的数据处理方法、装置、存储介质与显示设备
WO2023071589A1 (zh) * 2021-10-26 2023-05-04 Oppo广东移动通信有限公司 显示设备的数据处理方法、装置、存储介质与显示设备

Also Published As

Publication number Publication date
EP2974319A4 (en) 2016-03-02
AU2014230438B2 (en) 2016-09-29
AU2014230438A1 (en) 2015-09-24
WO2014142358A1 (en) 2014-09-18
EP2974319A1 (en) 2016-01-20
US20160021405A1 (en) 2016-01-21
JP2014200076A (ja) 2014-10-23
US9693080B2 (en) 2017-06-27

Similar Documents

Publication Publication Date Title
CN105191321A (zh) 分发控制系统、分发控制方法和计算机可读存储介质
EP2790375B1 (en) Distribution control system, distribution control method, and computer-readable storage medium
CN105122224A (zh) 分发控制系统、分发控制方法和计算机可读存储介质
CN104052797B (zh) 分发控制系统、分发系统和分发控制方法
CN104053073B (zh) 分发控制系统、分发系统以及分发控制方法
CN104052958B (zh) 分发控制系统和分发系统
CN104053070B (zh) 分发控制系统、分发系统以及分发控制方法
EP2974317B1 (en) Computer system, distribution control system, distribution control method, and computer-readable storage medium
CN105247875B (zh) 分发控制系统和分发系统
CN104053071A (zh) 分发控制系统、分发系统和分发控制方法
EP2790383B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
CN104202292A (zh) 分发控制系统、分发系统以及分发控制方法
CN104053069A (zh) 分发控制系统、分发系统和分发控制方法
CN105580398A (zh) 分发管理设备、终端和分发管理方法
JP2016015597A (ja) 配信制御システム、配信制御方法、及びプログラム
JP6607298B2 (ja) 配信制御システム、配信制御方法、及びプログラム
JP2015220741A (ja) 配信制御システム、配信制御方法、及びプログラム
JP2016015648A (ja) 配信制御システム、配信制御方法、及びプログラム
JP2016058959A (ja) 配信制御システム、配信システム、配信制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151223