CN1636400A - 运动图像分配系统、运动图像分配设备及方法、记录介质及程序 - Google Patents

运动图像分配系统、运动图像分配设备及方法、记录介质及程序 Download PDF

Info

Publication number
CN1636400A
CN1636400A CNA038042487A CN03804248A CN1636400A CN 1636400 A CN1636400 A CN 1636400A CN A038042487 A CNA038042487 A CN A038042487A CN 03804248 A CN03804248 A CN 03804248A CN 1636400 A CN1636400 A CN 1636400A
Authority
CN
China
Prior art keywords
bag
moving image
quality
receiver terminal
package
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038042487A
Other languages
English (en)
Other versions
CN100359945C (zh
Inventor
板仓英三郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1636400A publication Critical patent/CN1636400A/zh
Application granted granted Critical
Publication of CN100359945C publication Critical patent/CN100359945C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

本发明关于一种运动图像分配系统、一种运动图像分配设备及方法、一种记录介质及一种程序。该程序能够在同一时间，将具有不同质量的图像分配至多个特别指定不同质量的用户。数据编码单元(42)基于第一质量对运动图像的每一帧执行分层编码，将被编码的帧存储于第一缓冲器(43a)，并且基于第二质量对运动图像的每一帧执行分层编码，将被编码的帧存储于第二缓冲器(43b)。包生成单元(44)对存储于第一缓冲器(43a)的相应于第一质量的帧进行打包，以生成第一包组，并且对存储于第二缓冲器(43b)的相应于第二质量的帧进行打包，以生成第二包组。通信单元(45)将由包生成单元(44)生成的第一和第二包组的一任选的包发送至网络(13a)。本发明能够适用于运动图像分配系统，以分配运动图像。

Description

运动图像分配系统、运动图像分配设备 及方法、记录介质及程序
技术领域
本发明涉及一种运动图像分配系统、一种运动图像分配设备及方法、一种记录介质及其程序。更具体的说，本发明涉及用于将彼此具有不同质量的图像同时分配给多个特别指定不同质量的用户的运动图像分配系统、运动图像分配设备及方法、记录介质及程序。
背景技术
在某些领域中，需要这样一种运动图像分配系统，即其中的服务器能够把如运动图像这样的相同原始资料同时分配给多个彼此具有不同能力的终端。这些领域包括：信息流分配领域，如视频点播或实况转播的图像；及实时通信领域，用于视频会议、电视电话或类似场合。终端的例子是，具有低分辨率显示装置的便携式电话和具有小处理能力的CPU(中央处理单元)，以及具有高分辨率显示装置的个人计算机和具有大处理能力的CPU。
像这样的运动图像分配系统，即利用分层编码技术对通常在帧单元中的运动图像数据执行分层编码处理的运动图像分配系统，目前变成研究和开发的对象。能够利用此分层编码技术的压缩/解压缩系统包括，已经为人所知的MPEG(运动图像专家组)-4系统和不仅可处理静止图像、也可以处理运动图像的活动(Motion)JPEG(相片编码联合专家组)-2000系统。
在MPEG 4系统中，分层编码技术作为所知的精细颗粒度可扩缩性技术，被包括在其标准中，按计划将被概略地说明。这种分层编码技术据说是一种能够以可扩缩的方式、在从高位速率至低位速率的范围以不同的位速率分配运动图像的技术。
在另一方面，活动JPEG 2000系统采用了小波变换技术。在此系统中，通过采用包生成技术和利用了小波变换技术特性的分层编码技术来处理帧数据。更详细的说，采用这些技术来对数据编码以提供预定的质量并在把这些数据放(put)入分层的包之前，来将被编码的数据块(piece)按预定的顺序安排。所述质量包括，空间分辨率和SNR(信号噪声比)图像质量，后者在后面被简称为图像质量。
另外，根据活动JPEG 2000的第3部分，分层数据保存为文件格式。
这样，在常规的运动图像分配系统，服务器需要准备发送器数据作为对于具有不同能力的终端以不同格式分配的多个运动图像数据块，或作为具有不同传输速率的多个不同的数据块。然而，在采用如前面所描述的分层编码技术的运动图像分配系统中，通过仅仅准备放在分层结构中的文件数据块，服务器能够同时向具有不同能力的终端分配数据。
然而，当在运动图像分配系统中采用活动JPEG 2000方法时，该活动JPEG2000被作为基准，并且一台服务器将运动图像数据分配到多个终端。在这种情况下，该运动图像分配系统提出了这样的问题：前述的放在分层结构中的文件数据块必须根据终端所特别指定的质量以彼此不同的方式执行处理。
设想一个例子，第一终端要求服务器发送运动图像数据，并特别指定空间分辨率的逐次进程(progressive)。另一方面，第二终端要求该服务器发送运动图像数据，并特别指定图像质量的逐次进程。
在这种情况下，该服务器通常对帧单元中的运动图像数据执行分层编码处理，并对编码的数据打包以生成一个文件数据块。文件数据块包括多个包。这样，该运动图像分配系统提出了这样的问题：在后处理时，该服务器需要同时对不同的逐次进程执行接下来的不同处理。
更确切地说，该服务器必须执行以下的复杂处理。首先，该服务器检查组成文件数据的包，以将特别针对逐次进程中某一个逐次进程的包与针对其它逐次进程的包相区分。然后，针对某特别逐次进程的包将根据该特别逐次进程的顺序被重新排列，针对其它逐次进程的包将根据其它逐次进程的顺序被重新排列，来针对由终端特别指定的逐次进程中的每一个生成一组包。最后，该服务器针对终端中的每一个选择一组包，并将所选择的每个包发送至相应的终端。其结果是，该运动图像分配系统提出了这样一个问题：难以以实时方式执行这一处理。
要指出的是，数据根据预定的编码方法编码，按预定的顺序排列的编码数据块将被解码并显示于显示器，在显示器中，首先显示低质量的图像，经过一段时间，所显示的图像改善为较高质量的图像。特别指出，像这样的显示是指逐次(progressive)显示，产生逐次显示的编码方法被认为是逐次编码方法，排列码以实施逐次显示的顺序称为逐次顺序。
这就是说，基于活动JPEG 2000系统的编码方法，即利用小波变换的编码方法，是逐次编码方法的一种实施。换句话说，活动JPEG 2000编码器以这样的方式对帧单元中的运动图像数据进行编码：由编码器执行的编码处理所获得的结果的图像作为以逐次显示的方式被显示的编码器的对应物。
另外，显示在逐次显示器中的图像质量后面称为逐次(progressive)。具体地说，逐次(质量)可以按照空间分辨率、图像质量和彩色部件(color-component)等等来表述。
顺带提及，作为本专利的申请人，索尼公司已经开发了采用前面描述的活动JPEG方法的运动图像分配系统，以将帧单元中不同质量的图像指派到多个终端，并将帧分配到这些终端，参见日本专利申请公开号第2000-341668。
具体地说，用在运动图像分配系统的服务器中的编码器能够基于事先设定的帧间隔和帧之间不同的质量对帧进行编码。这样，该服务器能够分配这样的运动图像，即该运动图像具有相应于接收该图像的多个终端中的一台终端的质量。帧到帧的质量变化取决于接收器终端的显示能力、由该终端所指定的帧速率或将该服务器连接到该终端的网络的可使用波段。
然而，在这种运动图像分配系统中，只有一种类型的质量被指派到每个帧。这样，例如，给定一台能够以每秒30帧的速率进行运动图像数据编码的服务器，该服务器分派30帧中的15帧给特别指定具有每秒15帧分辨率的运动图像的终端，分派余下15帧中的5帧给特别指定具有每秒5帧分辨率的运动图像的另一个终端。
这就是说，能够接收所分配运动图像的终端的数目，由该服务器如何将这30帧分派给这些终端来决定。这样，此运动图像分配系统具有这样的问题：能够接收具有不同质量的所分配运动图像的终端的数目是有限的。
另外，此运动图像分配系统提出了这样的另一个问题：通过把15帧分派给特别指定具有每秒15帧的低分辨率运动图像的终端，此运动图像分配系统不能把余下的15帧分派给特别指定具有每秒30帧的高分辨率运动图像的终端，这是由于其编码能力只能是每秒30帧的事实。这是因为被指派了质量的帧只能用于所指派的质量。
发明内容
针对这样的情况，本发明使将具有不同质量的图像同时分配到每个均特别指定具有其中一种质量的图像的多个用户成为可能。
本发明所提供一种运动图像分配系统，其特征在于，此运动图像分配系统包括：
运动图像分配设备，包括：
编码装置，用于基于预定的质量，对接入(access)单元中的运动图像执行分层编码处理；
包生成装置，用于对接入单元中的每一个进行打包，这些接入单元是作为所述编码装置执行分层编码处理的结果而得到的，以及用于生成包括多个所述包的包组，所述包中的每一个对应于一层；以及
第一通信装置，用于发送包括在由所述包生成装置所生成的包组中的包之一，该所发送的包作为相应于预定层的包；以及
接收器终端，包括：
第二通信装置，用于接收来自所述运动图像分配设备的第一通信装置的包；以及
解码装置，用于将第二通信装置所接收的包解码；
其中，所述接收器终端特别指定了预定的质量和预定的层，并将该特别指定的质量和该特别指定的层通告给所述运动图像分配设备。
所述编码装置可以采用逐次编码方法。
作为所述编码装置的逐次编码方法，可以采用基于小波变换的编码方法。
作为基于小波变换的编码方法，可以采用遵循活动JPEG 2000系统的编码方法。
所述接收器终端可以特别指定空间分辨率质量、图像质量和彩色部件质量中至少之一作为预定质量。
所述接收器终端也可以特别指定每个预定单元时间中能够被所述解码装置解码的接入单元的数目作为预定质量。
可以有超过一个接收器终端。第一接收器终端可以特别指定第一质量和第一层。第二接收器终端可以特别指定第二质量和第二层。对于相同的接入单元，所述编码可以基于所述第一质量和基于所述第二质量执行分层编码。所述包生成装置可以把这样的接入单元中的每一个放入第一包群(first packets)，即这些接入单元是作为编码装置基于所述第一质量执行分层编码处理的结果而得到的，并生成包括多个所述第一包群的第一包组；并且可以把这样的接入单元中的每一个放入第二包群，即这些接入单元是作为编码装置基于所述第二质量执行分层编码处理的结果而得到的，并生成包括多个所述第二包群的第二包组。所述第一通信装置可以把包括在所述第一包组中的第一包作为相应于所述第一层的包，并将其发送到所述第一接收器终端；并且可以把包括在所述第二包组中的第二包作为相应于所述第二层的包，并将其发送到所述第二接收器终端。
所述运动图像分配设备还可以包括：第一存储装置，用于存储作为所述编码装置基于所述第一质量执行分层编码处理的结果而得到的每个接入单元；第二存储装置，用于存储作为所述编码装置基于所述第二质量执行分层编码处理的结果而得到的每个接入单元。所述包生成装置能够将每个被编码后存储在所述第一存储装置中的接入单元放入第一包群，以生成所述第一包组；将每个被编码后存储在所述第二存储装置中的接入单元放入第二包群，以生成所述第二包组。
所述接收器终端中的每一个还可以包括：信息生成装置，用于生成包括特别指定的质量和特别指定的层的预定信息，作为通知给所述运动图像分配设备的信息。所述第二通信装置把由所述信息生成装置所生成的预定信息发送给所述运动图像分配设备。所述第一通信装置接收由所述第二通信装置所发送的预定信息。所述编码装置基于包括在由所述第一通信装置所接收的预定信息中的质量，在接入单元中对运动图像执行分层编码处理。所述第一通信装置把对应于包括在由该第一通信装置所接收的预定信息中的层的包发送给所述接收器终端。
包括在由所述包生成装置所生成的包组中的每个包可以被构成为RTP(实时输送协议)包。
所述运动图像分配设备和所述接收器终端通过网络互相连接。所述运动图像分配设备还可以包括网络监测装置，用于监测该网络的状态。基于由所述网络监测装置所监测的网络状态，所述编码装置可以在接入单元中对运动图像执行分层编码处理。
所述第一和第二通信装置可以使用IPv4或IPv6层作为网络层。
在本发明所提供的运动图像分配系统中，当所述接收器终端中任何特定的一个特别指定了预定的质量和预定的层，并将所特别指定的预定的质量和所特别指定的预定的层通告给所述的运动图像分配设备时，应用在所述运动图像分配设备中的编码设备将基于所特别指定的预定的质量和所特别指定的预定的层，在接入单元中对运动图像执行分层编码处理，并对完成分层编码处理的接入单元中的每一个进行打包，以生成包括多个包的包组，该包组中的每个包均对应于某一层。对应于所特别指定的预定的层的包，将从所述运动图像分配设备发送到特别指定了该预定的层的特定的接收器终端。该特定的接收器终端从所述运动图像分配设备接收包，并将所接收的包解码。
本发明所提供一种运动图像分配设备，其特征在于，此运动图像分配设备包括：
编码装置，用于基于接收器终端所特别指定的质量，在接入单元中对运动图像执行分层编码处理；
包生成装置，用于对接入单元中的每一个进行打包，这些接入单元是作为由所述编码装置执行分层编码处理的结果而得到的，并且用于生成包括多个所述包的包组，所述包中的每一个均对应一层；以及
通信装置，用于把包括在由所述包生成装置生成的包组中的包的一个，作为相应于由接收器终端所特别指定的层的包，发送至该接收器终端。
本发明提供一种运动图像分配方法，其特征在于，此运动图像分配方法包括：
编码步骤，基于接收器终端所特别指定的质量，在接入单元中对运动图像执行分层编码处理；
包生成步骤，对作为在所述编码步骤执行分层编码处理的结果而得到的接入单元中的每一个进行打包，并生成包括多个所述包的包组，所述包中的每一个相应于一层；以及
通信步骤，把包括在这样的包组中的包的一个，即该包组是在所述包生成步骤执行处理中所生成的，作为相应于接收器终端所特别指定的层的包，发送至该接收器终端。
本发明提供一种记录介质，其特征在于，此记录介质用于存储程序，包括：
编码步骤，基于接收器终端所特别指定的质量，在接入单元中对运动图像执行分层编码处理；
包生成步骤，对作为在所述编码步骤执行分层编码处理的结果而得到的接入单元中的每一个进行打包，并生成包括多个所述包的包组，所述包中的每一个相应于一层；以及
通信步骤，把包括在这样的包组中的包的一个，即该包组是在所述包生成步骤执行处理中所生成的，作为相应于接收器终端所特别指定的层的包，发送至该接收器终端。
本发明提供一种用于计算机的程序，其特征在于，此程序执行：
编码步骤，基于接收器终端所特别指定的质量，在接入单元中对运动图像执行分层编码处理；
包生成步骤，对作为在所述编码步骤执行分层编码处理的结果而得到的接入单元中的每一个进行打包，并生成包括多个所述包的包组，所述包中的每一个相应于一层；以及
通信步骤，把包括在这样的包组中的包的一个，即该包组是在所述包生成步骤执行处理中所生成的，作为相应于接收器终端所特别指定的层的包，发送至该接收器终端。
在如上所述的由本发明所提供的运动图像分配设备和方法、记录介质和程序中，基于由接收器终端特别指定的质量，在接入单元中，对运动图像执行分层编码处理；对每个完成所述分层编码处理的接入单元均进行打包，以生成包括多个所述包的包组，所述包中的每一个相应于一层；包括在所述包组中的包的一个，作为相应于由所述接收器终端特别指定的层的包，被发送至该接收器终端。
附图说明
通过结合附图对本发明的优选实施例进行详细描述，本发明的上述和其它目的、特性、优点将变得更加清楚，附图中：
图1示出了本发明所提供的运动图像分配系统的典型构成；
图2示出了在如图1所示的运动图像分配系统中，运动图像的典型分配；
图3示出了用于如图1所示的运动图像分配系统中的运动图像分配设备的典型构成；
图4示出了每个这样的包的典型结构，即该包是作为如图3所示的运动图像分配设备基于空间分辨率执行包生成处理的结果而得到的；
图5示出了每个这样的包的典型结构，即该包是作为如图3所示的运动图像分配设备基于图像质量执行包生成处理的结果而得到的；
图6示出了这样的帧的典型构成，即该帧是作为如图3所示的运动图像分配设备通过采用利用了小波变换的编码方法对该帧的数据执行分层编码处理的结果而得到的；
图7示出了在这种情况下层的典型构成，即如图3所示的运动图像分配设备基于空间分辨率执行包生成处理；
图8示出了在这种情况下层的典型构成，即如图3所示的运动图像分配设备基于图像质量执行包生成处理；
图9示出了在这种情况下层的典型构成，即所述的常规运动图像分配设备基于空间分辨率与图像质量的结合执行包生成处理；
图10示出了用于如图1所示的运动图像分配系统中的用户终端的典型构成；
图11是流程图，用来说明如图10所示的用户终端执行的处理；
图12是流程图，用来说明如图3所示的运动图像分配设备执行的处理；
图13是流程图，续上图用来说明如图3所示的运动图像分配设备执行的处理；
图14是指示图，表示如图10所示的用户终端与图3所示的运动图像分配设备之间的联系；
图15示出了如图3所示的运动图像分配设备为了控制相对于接收器终端的图像质量等级，所使用的典型曲线；
图16示出了本发明所提供的运动图像分配设备的另一种典型构成；
具体实施方式
图1示出了本发明所提供的运动图像分配系统的典型构成。
值得注意的是，例如，如果如上所述的，帧能够被作为在如图1所示的运动图像分配系统中的处理单元，那么场(field)也能够被用作该处理单元。在本发明的描述中，该处理单元也称之为接入单元。
运动图像输入设备11通常由视频照相机实现，运动图像输入设备11输入视频和音频信号，将这些信号转换为运动图像数据，并将该运动图像数据提供给运动图像分配设备12。
值得注意的是，如上所述，在本实施例中，运动图像数据不仅包括视频数据，也包括音频数据。
该运动图像分配设备12，采用基于小波变换的编码方法，在帧单元中对提供给它的运动图像数据执行分层编码处理。该基于小波变换的编码方法的一个例子是所述活动JPEG 2000编码方法。随后，该运动图像分配设备12对每个被编码的帧进行打包，并生成包括多个所述包的包组，其中每个所述的包均对应于一层。
然后，该运动图像分配设备12，将包括在所生成的包组中的包的一个作为对应于由分配目标所特别指定的层的包，提供给网络13a。该分配目标是下面将要描述的用户终端15a至15c中的任意一个。
值得注意的是，在本实施例中，通常由因特网作为该网络13a。在这种情况下，该运动图像分配设备12将所述包作为IP(因特网协议)包，提供给该网络13a。
然后，该网络13a将该IP包传递给由包括在该IP包的地址所指示的分配目标。
这就是说，在用户终端15a作为所述分配目标的情况，通过提供拨号服务的服务提供者的网络13b，提供给网络13a的所述IP包被传递给用户终端15a。在用户终端15b作为所述分配目标的情况，通过通常使用ADSL(非对称数字用户环线)的服务提供者的网络13c，提供给网络13a的所述IP包被传递给用户终端15b。在用户终端15c作为所述分配目标的情况，提供给网络13a的所述IP包通过基站14并经由无线电通信网络被传递给用户终端15c，该用户终端15c是诸如便携式电话之类的移动终端。
所述用户终端15a至15c中每一个均包括：CPU，具有允许连接至网络13a的处理速度；解码器，能够在所述处理速度的速度范围内，对被编码数据进行解码；以及显示单元，用于显示作为按预定分辨率进行解码的结果而得到的数据。
另外，根据前面所提到的显示单元的分辨率和前面所述的CPU的处理能力，所述用户终端15a至15c中每一个均生成所谓的QOS(服务质量)信息，即后面将描述的安装请求及类似信息。终端的QOS信息是质量信息，代表了在该终端的其它特性中，该终端的所述的能力和位速率。然后，所述用户终端15a至15c中每一个均通过中继装置和网络13a将QOS信息发送至运动图像分配设备12。所述中继装置在用户终端是15a的情况下是网络13b，在用户终端是15b的情况下是网络13c，或者在用户终端是15c的情况下是所述无线电通信网络和基站14。
运动图像分配设备12确定将被发送至用户终端15a至15c中每一个的包，是作为相应于所述终端的逐次顺序的包，还是相应于所述终端的层的包。根据网络13a的可用波段(band)和由用户终端15a至15c中每一个所提供的QOS信息，从前面所述的包组中选出该包。
参照图2，接下来的描述说明了由如图1所示的运动图像分配系统所执行操作的概要。
图2示出了根据两种类型质量的运动图像数据的典型分配。
值得注意的是，为了使说明变得简单，图2示出了典型分配，没有示意像网络13a这样的中继装置，该装置应存在于运动图像分配设备12和终端15d至15g之间。
作为例子，终端现在分为用户组21和22，对应于要求质量的不同方法。
用户组21包括用户终端15d和15e，它们具有彼此不同的空间分辨率。这样，用户终端15d和15e中每一个均需要特别指定空间分辨率的逐次进程，并向运动图像分配设备12通告所特别指定的空间分辨率的逐次进程。
在另一方面，用户组22包括用户终端15f和15g，通过具有彼此不同的波段的网络连接于运动图像分配设备12。这样，用户终端15f和15g每一个均需要特别指定图像质量的逐次进程，并向运动图像分配设备12通告所特别指定的图像质量的逐次进程。因为所特别指定的图像质量的逐次进程指示终端与终端之间不同的位速率，而不论事实上这些终端具有相同的空间分辨率，因而图像质量的逐次进程需要被特别指定。
运动图像分配设备12能够准备具有不同逐次进程顺序的帧，这些帧中的每一个均相应于所特别指定的逐次进程，或者相应于所特别指定的空间分辨率和所特别指定的图像质量，并且能够以可扩缩的方式，将运动图像分配至属于不同组的终端。在如图2所示的典型分配中，所述组是用户组21和22，而所述终端是用户终端15d、15e、15f和15g。
具体地说，运动图像分配设备12准备了以用户组21中的空间分辨率逐次进程顺序排列被编码的包31-1至31-3。然后运动图像分配设备12将对应于用户终端15d的空间分辨率的包31-1发送至用户终端15d，并将对应于用户终端15e的空间分辨率的包31-1至31-3发送至用户终端15e。
值得注意的是，包31-1至31-3按空间分辨率增加的顺序被分组，分别被识别为分辨率1、2和3。
识别方法不限于上述一种。例如，在本实施例中，相应于分辨率1、2和3的识别符可以被分别插入包31-1至31-3的标题，空间分辨率可以通过参照这些标题来识别。
例如，用户终端15d有小的显示单元。在这种情况下，用户终端15d生成包括分辨率1的详细说明的信息，作为上述的QOS信息，并将该信息发送至运动图像分配设备12。根据从用户终端15d所接收的信息，运动图像分配设备12在包31-1至31-3中选择分辨率1的包31-1，作为按空间分辨率逐次进程顺序执行编码处理所得到的结果，并将包31-1发送至用户终端15d。这样，用户终端15d能够显示具有分辨率1的空间分辨率等级的运动图像，或者具有相应于它的显示单元的小屏幕的空间分辨率的运动图像。
在另一方面，例如用户终端15e具有大的显示单元。在这种情况下，用户终端15e生成包括分辨率3的识别的信息，作为上述的QOS信息，并将该信息发送至运动图像分配设备12。根据从用户终端15e所接收的信息，运动图像分配设备12将分辨率1的包31-1至分辨率3的包31-3发送至用户终端15e，这些包作为按空间分辨率逐次进程顺序执行编码处理所得到的结果。这样，用户终端15e能够显示具有分辨率3的空间分辨率等级的运动图像，或者具有相应于它的显示单元的大屏幕的空间分辨率的运动图像。
如上所述，运动图像分配设备12能够将对于包括在用户组21中的用户终端15d或15e的空间分辨率可扩缩的运动图像，分别发送至用户终端15d或15e。这样，如图1所示的包括运动图像分配设备12的运动图像分配系统可以被用于例如下面的应用。
如图1所示的运动图像分配系统适合于这样的情况，即例如监测照相机的显示终端或用于检测运动的显示终端要求具有像用户终端15d这样的小屏幕的终端，和要求确保连续帧速率的运动图像显示，来代替由于网络中的拥塞或具有帧跳跃的运动图像而造成的图像质量劣化的运动图像。
另外，如图1所示的运动图像分配系统也适合于这样的情况，即运动图像数据被要求具有像通常的HDTV(高清晰度电视)系统那样的高位速率，通过像因特网这样的具有大的、变化的业务量的通信路径，将该运动图像数据分配给用户；该运动图像数据的分辨率不得不被降低至大约NTSC(全国电视系统委员会)等级的等级，以将该运动图像数据转换为没有引入可视的不兼容性的运动图像数据。
顺带提及，属于用户组22的用户终端15f和15g具有与上述相同尺寸的显示单元，但是具有不同的网络环境，通过该网络环境用户终端15f和15g连接至用户组22。这就是说，用户终端15f的带宽不同于用户终端15g的带宽，图像质量由带宽决定。
由于这个原因，运动图像分配设备12在用户组22中准备了按图像质量逐次进程顺序排列的被编码的包32-1至32-3。然后，运动图像分配设备12将对应于用户终端15f的图像质量的包32-1和32-2发送至用户终端15f，并且将对应于用户终端15g的图像质量的包32-1至32-3发送至用户终端15g。
值得注意的是，包32-1至32-3按图像质量增加的顺序被分组，分别被识别为图像质量1、2和3。
识别方法不限于上述一种。例如，在本实施例中，很类似于包31-1至31-3，相应于图像质量1、2和3的识别符可以被分别插入包32-1至32-3的标题，图像质量可以通过参照这些标题来识别。
具体地说，用户终端15f生成包括图像质量2的识别的信息，作为上述的QOS信息，并将该信息发送至运动图像分配设备12。根据从用户终端15f所接收的信息，运动图像分配设备12在包32-1至32-3中选择图像质量1的包32-1及图像质量2的包32-2，作为按图像质量逐次进程顺序执行编码处理所得到的结果，并将包32-1和32-2发送至用户终端15f。这样，用户终端15f能够显示具有图像质量2的图像质量等级的运动图像。
在另一方面，用户终端15g生成包括图像质量3的识别的信息，作为上述的QOS信息，并将该信息发送至运动图像分配设备12。根据从用户终端15g所接收的信息，运动图像分配设备12将图像质量1的包32-1至图像质量3的包32-3发送至用户终端15g，这些包作为按图像质量逐次进程顺序执行编码处理所得到的结果。这样，用户终端15g能够显示具有图像质量3的图像质量等级的运动图像。
如前面所描述的，运动图像分配设备12能够将对于包括在用户组22中的用户终端15f或15g的图像质量可扩缩的运动图像，分别发送(或分配)至用户终端15f或15g。这样，用户终端15f和15g能够根据连接至用户终端15f和15g的传输线的速度接收具有一图像质量的运动图像。
接下来，参照图3说明运动图像分配设备12的构成。
主控制单元41从整体上控制运动图像分配设备12的操作。数据编码单元42基于从主控制单元41所接收的控制参数，在帧单元中对从运动图像输入设备11所接收的运动图像数据执行分层编码处理。所述控制参数包括一个用来指示在对任何帧执行分层编码处理时哪个逐次进程被用来作为基础的参数。然后，数据编码单元42由控制参数特别指定向第一缓冲器43a或者第二缓冲器43b提供分层编码处理的结果。
假设例如从主控制单元41所接收的控制参数包括这样的信息，即指示每个帧将经受分层编码处理，该处理基于两种逐次进程，即第一种逐次进程和第二种逐次进程。在这种情况，数据编码单元42基于第一种逐次进程，对每个帧执行分层编码处理，并将编码处理的结果存储在第一缓冲器43a；也基于第二种逐次进程，对每个帧执行分层编码处理，并将编码处理的结果存储在第二缓冲器43b。
这就是说，在这种情况下，第一缓冲器43a是专门用于存储完成基于第一种逐次进程的分层编码处理的帧的缓冲器而第二缓冲器43b是专门用于存储完成基于第二种逐次进程的分层编码处理的帧的缓冲器。
如图3所示的典型构成，第一缓冲器43a和第二缓冲器43b是仅有的缓冲器。这样，缓冲器的数目是2。然而，实际上，包括在由主控制单元41所提供的控制参数中的逐次进程的种类有多少，缓冲器的数目就有多少。
换句话说，数据编码单元42通过改变逐次进程的顺序，对相同的帧(相同的图像)执行分层编码处理，并在专门用于该逐次进程的缓冲器中存储分层编码处理的结果。专门用于该逐次进程的缓冲器可以是第一缓冲器43a、第二缓冲器43b或其它的缓冲器。
值得注意的是，数据编码单元42所采用的编码方法可以是任何编码方法，只要该方法能够用于执行分层编码处理。例如，在本实施例中，如上所述的，采用基于活动JPEG 2000系统的编码方法。该基于活动JPEG 2000系统的编码方法是使用小波变换的编码方法，是逐次进程编码方法之一。
包生成单元44基于由主控制单元41实行的控制，对存储在第一缓冲器43a或第二缓冲器43b中的数据进行分析，以检测每个逐次进程层的数据分隔符。根据上文的描述，很明显，存储在第一缓冲器43a或第二缓冲器43b中的数据是通过数据编码单元42完成了分层编码处理的帧的数据。然后，包生成单元44对每一层的数据进行打包，生成包括多个包的包组，其中每个包均对应于一层。在帧单元中对存储在第一缓冲器43a和第二缓冲器43b中的数据执行处理。
另外，包生成单元44向每个包附加标志，来代表相应于该包的层的识别符。
当运动图像分配设备12采用广播技术将包分配至终端时，要求该附加于包的识别符特别指定适合于该终端能力的包。如图1所示的典型构成，所述终端是用户终端15a至15c。这就是说，在另一方面，当运动图像分配设备12以一对一模式将包发送至终端时，附加于该包的识别符不是强制的。
如上所述，在如图3所示的典型构成中，包生成单元44对存储在第一缓冲器43a和第二缓冲器43b中的帧的每一个的数据进行打包以生成包组，这些数据是作为以相应逐次进程顺序进行分层编码处理所得的结果，这些包组中的每一个均包括多个包，其中的每一个均相应于一层。这些包中的每一个均具有相应于该包的层的识别符。然后，包生成单元44将这些包组提供给通信单元45。
基于主控制单元41所实行的控制，通信单元45向网络13a输出包括在所接收的包组中的包，作为由主控制单元41所特别指定的包。
值得注意的是，如果需要，包生成单元44还能够将每个包转换为IP包。在这种情况下，包生成单元44可以在该IP包的标题中包括向附加于包的识别符指示优先等级的标志。
例如，根据IPv4，即IP详细说明的第4版，向TOS(服务类型)指示优先等级，以允许对经由相应于差别服务(Diffserve)的网络被传输的优先的包实行优先控制。在另一方面，根据IPv6，即IP详细说明的第6版，可以向流标签(flowlabel)指示优先等级。
如上所述，当协议根据网络的层变化时，所指示优先等级的项的数目也在改变。这样，可以期望特别指定优先等级，将所特别指定的优先等级作为包的优先等级与该包关联起来，该包可以被层识别，用于数据编码单元42执行的分层编码处理，或者被应用(application)识别，或者作为网络的层的优先等级，与该网络的层关联起来。由主控制单元41实行特别指定优先等级的处理的控制。
此特别指定优先等级的处理的控制，可以是事先以被关联的状态设定优先等级的控制，或者是通过考虑经由所述网络的业务量的状态，并考虑接收器终端所承担的负荷，从而动态地改变优先等级的设置的控制，所述接收器终端是如图1所示的典型构成中的用户终端15a至15c。
作为监测经由所述网络的业务量的状态的典型方法，应用RTCP(RTP(实时输送协议)控制协议)的方法为人所知。所述RTCP是IETF(因特网工程任务组)的RFC(请求注解)1889中的协议。
根据这种方法，发送器一侧向接收器一侧发送作为包的所谓发送器报告。该发送器报告是包括所发送的RTP包的数目和时间印记(timestamp)的信息。基于该发送器报告，该接收器一侧向该发送器一侧返回所谓的接收器报告。该接收器报告是包括RTP包损失率、损失包数目、所接收的最大次序数和到达时间抖动(jitter)的信息。
如上所述的，所述RTCP是发送器和接收器两侧之间的协议。所述RTCP的协议功能与存在于该发送器和该接收器两侧之间的网络的类型无关，即，协议功能不管该网络是LAN(局域网)、WAN(广域网)或者其它类型的网络。
这样，在本实施例中，通常主控制单元41监测基于此RTCP经由所述网络的业务量的信息，并实行前述的特别指定优先等级的处理的控制。
这就是说，通信单元45接收由接收器终端中的每一个通过网络13a所发送的接收器报告，并向网络监测/分析单元46提供该报告。所述接收器终端是如图1所示的典型构成中的用户终端15a至15c。
基于从所述接收器终端所接收的接收器报告，网络监测/分析单元46确定该网络拥塞的状态，并且基于所确定的结果，网络监测/分析单元46还向主控制单元41提供相应接收器终端的信息块。这些信息块中的每一块均是数据编码单元42用来降低编码率以及减少将被发送的帧的数目所需要的信息。
基于预定的接收器终端的信息，主控制单元41生成控制参数并将该参数提供给数据编码单元42。该预定的接收器终端的信息从接收器终端的信息块中选出。
另外，基于所接收的接收器终端的信息块，主控制单元41对相应的逐次进程实行前述的设置控制。更确切地说，对于所述的逐次进程的每一个，主控制单元41设置了相应于上述的识别符的IP优先等级，并将该IP优先等级提供给包生成单元44。然后，包生成单元44重新在用于逐次进程的IP包的标题中设置标志，该逐次进程相应于该IP优先等级，该标志代表从主控制单元41所接收的该IP优先等级。
如上所述，主控制单元41控制包生成单元44，设置优先等级，使得使用运动图像分配系统12的服务提供者能够实行控制，以确保最小的质量，这是所述的提供者希望保证的。
参照图4和5，接下来的描述说明了下面的详细的操作，即对每个用于每种逐次进程顺序建立的帧进行打包，将识别符附加于这些包中的每一个。
为了简化说明，该说明假定了只有两种类型逐次进程的例子，即所述空间分辨率逐次进程和所述图像质量逐次进程。
另外，还假定数据编码单元42能够以每秒N帧执行分层编码处理，其中符号N是任意整数。此N帧是从运动图像输入设备11所接收的帧。
另外，还假定数字0至(N-1)按照与这些帧所接收的相同的顺序，分别被附加于从运动图像输入设备11所接收的N个帧。在这种情况下，对于满足关系式n％2＝0的所附加的数字n，其中符号n是0至(N-1)范围内的整数，符号n％2表示作为n除以2所得到的结果的余数，即对于所附加的偶数n，数据编码单元42基于空间分辨率，以所附加的数字n对帧执行分层编码处理。另一方面，对于满足关系式n％2＝1的所附加的数字n，即对于所附加的奇数n，数据编码单元42基于图像质量，以所附加的数字n对帧执行分层编码处理。
具体地说，对于n％2＝0代表偶整数n，数据编码单元42基于空间分辨率，对从运动图像输入设备11所接收的帧n的数据执行分层编码处理，将分层编码处理的结果作为图4所示的帧n的被编码的数据51，存储于第一缓冲器43a。如上所述，所附加的数字n是在0至(N-1)范围内的整数。
在图4所示的例子中，帧n的被编码的数据51被拆分入被编码数据的块，每一个块对应于空间分辨率的通常的5个层之一。
详细地说，帧n的被编码的数据51可以被认为是包括被编码数据61-1至61-5的块的被编码数据的组。所述被编码数据61-1是对应于空间分辨率1的被编码数据，该分辨率是最低的空间分辨率。所述被编码数据61-2是对应于空间分辨率2的被编码数据，该分辨率是高于空间分辨率1一层等级的空间分辨率。所述被编码数据61-3是对应于空间分辨率3的被编码数据，该分辨率是高于空间分辨率2一层等级的空间分辨率。所述被编码数据61-4是对应于空间分辨率4的被编码数据，该分辨率是高于空间分辨率3一层等级的空间分辨率。所述被编码数据61-5是对应于空间分辨率5的被编码数据，该分辨率是最高的空间分辨率，高于空间分辨率4一层等级。
包生成单元44将被编码数据61-1至61-5的块的每一个放入包中，以生成包62-1至62-5。这就是说，包生成单元44生成由包62-1至62-5组成的包组，并将该包组提供给通信单元45。
值得注意的是，在图4所示的例子中，包62-1至62-5中每一个均为RTP包。在包62-p的扩展标题中，相应于被编码数据61-p的空间分辨率层等级的识别符p被设置作为优先等级，其中符号p是范围在1至5的整数，并且识别符p是相应于空间分辨率p的数字p。这就是说，RTPHp被加到所述扩展标题中，所述扩展标题是跟随所述RTP标题的取决于应用的标题。
另外，如果每个都是RTP包的包62-1至62-5通过采用所述IP协议被传送，那么这些包的每个均作为IP包被处理。在这种情况下，在该IP标题，设置根据下面所示的表1所确定的优先等级。这就是说，在该IP标题，设置IPq，其中符号q代表范围1至3内的整数。
            [表1]
    层     RTP标题     IP标题
    层1     1     1
    层2     2     2
    层3     3     2
    层4     4     3
    层5     5     3
值得注意的是，关于将分层编码处理的层等级与RTP等级的优先等级相关联的技术，参见日本专利申请公开号第2001-197499，该文献披露了该发明，该项发明专利由本专利的申请人申请。
通信单元45从向其提供的包组中选择相应于空间分辨率r的包，用于接收器终端，并将所选择的包发送(或分配)至该接收器终端。在这种情况下，符号r是范围在1至5的整数。例如，通信单元45选择相应于空间分辨率r的包62-1至62-r，用于图1所示的用户终端15a，并将所选择的包62-1至62-r发送至用户终端15a。
用户终端15a接收包62-1至62-r，并将其解码，以空间分辨率r显示运动图像。
这样，用户终端15a通过接收并解码所述包组的所有包，即包62-1至62-5，能够以空间分辨率5显示该运动图像，空间分辨率5是最高的空间分辨率。
很类似于上述的n％2＝0的情况，对于n％2＝1代表奇整数n，数据编码单元42基于图像质量，对从运动图像输入设备11所接收的帧n的数据执行分层编码处理，将分层编码处理的结果存储于第二缓冲器43b，作为图5所示的帧n的被编码的数据71，该第二缓冲器43b是不同于图4所示的第一缓冲器43a的缓冲器。所述的帧n的数据是与帧(n-1)相同的图像数据。如上所述，所附加的数字n是在0至(N-1)范围内的整数。
在图5所示的例子中，帧n的被编码的数据71被拆分入被编码数据的块，每一个块对应于图像质量的通常的5个层之一。
详细地说，帧n的被编码的数据71可以被认为是包括被编码数据81-1至81-5的块的被编码数据的组。所述被编码数据81-1是对应于图像质量1的被编码数据，该图像质量是最低的图像质量。所述被编码数据81-2是对应于图像质量2的被编码数据，该图像质量是高于图像质量1一层等级的图像质量。所述被编码数据81-3是对应于图像质量3的被编码数据，该图像质量是高于图像质量2一层等级的图像质量。所述被编码数据81-4是对应于图像质量4的被编码数据，该图像质量是高于图像质量3一层等级的图像质量。所述被编码数据81-5是对应于图像质量5的被编码数据，该图像质量是最高的图像质量，高于图像质量4一层等级。
包生成单元44将被编码数据81-1至81-5的块的每一个放入包中，以生成包82-1至82-5。这就是说，包生成单元44生成由包82-1至82-5组成的包组，并将该包组提供给通信单元45。
值得注意的是，很类似于图4所示包62-1至62-5，在图5所示的例子中，包82-1至82-5中每一个均为RTP包。在包82-p的扩展标题中，相应于被编码数据81-p的图像质量层等级的识别符p被设置作为优先等级，其中符号p是范围在1至5的整数，并且识别符p是相应于图像质量p的数字p。这就是说，RTPHp被加到所述扩展标题中。
另外，很类似于图4所示的包62-1至62-5，如果包82-1至82-5通过采用所述IP协议被传送，那么这些包的每个均作为IP包被处理。在这种情况下，在该IP标题，设置根据上面所示的表1所确定的优先等级。这就是说，在该IP标题，设置IPq，其中符号q的值在范围1至3内。
通信单元45从向其提供的包组中选择相应于图像质量r的包，用于接收器终端，并将所选择的包发送(或分配)至该接收器终端。在这种情况下，符号r是范围在1至5的整数。例如，通信单元45选择相应于图像质量r的包82-1至82-r，用于图1所示的用户终端15a，并将所选择的包82-1至82-r发送至用户终端15a。
用户终端15a接收包82-1至82-r，并将其解码，以图像质量r显示运动图像。
这样，用户终端15a通过接收并解码所述包组的所有包，即包82-1至82-5，能够以图像质量5显示该运动图像，图像质量5是最高的图像质量。
如上所述的，运动图像分配设备12对每个帧执行分层编码处理和对分层编码处理的结果进行打包，以生成相应于多个不同逐次进程顺序的每一个的包组。然后，对这些不同逐次进程顺序中每个特定的一个，从包组中选出为了该特定的逐次进程顺序而生成的包，并将这些包分配至采用该特定的逐次进程顺序的终端。
这样，图1所示的运动图像分配系统能够在同一时间将运动图像数据从像图2所示的运动图像分配设备12这样的一台服务器分配至多个特别指定质量彼此不同的用户组。在图2所示的典型分配中，所述用户组是用户组21和用户组22。
详细地说，图1所示的运动图像分配系统能够将特定的运动图像数据分配至特定的接收器终端。图2中，所述特定的终端的例子是包括在用户组21的用户终端15d和15e之一，或者是包括在用户组22的用户终端15f和15g之一。运动图像的所述特定的数据是这样的包，即由所述特定终端采用的空间分辨率或图像质量逐次进程顺序的层等级而生成的包组中所选择的包，作为用于由所述特定终端特别指定的空间分辨率或图像质量显示该运动图像的包。这就是说，图1所示的运动图像分配系统能够将特定的包作为适合于接收器终端能力并且适合于将该接收器终端连接至运动图像分配设备12的网络环境的运动图像数据分配至任意特定的接收器终端。
接下来的描述说明了由图1所示的运动图像分配系统所分配的包的具体例子。
图6示出了这样的帧的典型构成，即该帧是作为图3所示的数据编码单元42通过采用利用了小波变换的编码方法，并基于空间分辨率对帧的数据执行分层编码处理的结果而得到的。该帧根据所相应的每一个等级而被划分。
具体地说，图6示出了通过采用小波变换技术对帧执行3次划分处理的结果。这样的划分处理的结果存储在第一缓冲器43a。
详细地说，数据编码单元42将图6所示的帧划分为重要的最高等级的低波段3LL、更低的波段2LL和最低的波段LL，然后将这些存储在第一缓冲器43a。假设包括波段91-1至91-10的这个帧所具有的侧尺寸为1，像波段91-1这样的低波段3LL所具有的侧尺寸为1/8，像由波段91-1至91-4组成的波段这样的更低的波段2LL所具有的侧尺寸为1/4，像由波段91-1至91-7组成的波段这样的最低的波段LL所具有的侧尺寸为1/2。
图7示出了在这种情况下层的典型构成，即包生成单元44相应于空间分辨率逐次进程顺序，对图6所示的帧执行包生成处理。
详细地说，包生成单元44生成由按图7所示顺序排列的包所组成的包组。该包组以包101-1开始，该包作为在波段91-1执行包生成处理的结果而得到。包101-2接着包101-1，包101-2作为在波段91-2至91-4执行包生成处理的结果而得到。包101-3接着包101-2，包101-3作为在波段91-5至91-7执行包生成处理的结果而得到。包101-4接着包101-3，包101-4作为在波段91-8至91-10执行包生成处理的结果而得到。
这样，所述的一个帧的图像由这样的包组组成，该包组由包101-1至101-4组成。
将包101-1从运动图像分配设备12发送至像图1所示用户终端15a这样的接收器终端，作为层102-1，然后由用户终端15a对层102-1进行解码，以产生具有空间分辨率1/8的图像103-1。
通过相同的方式，将包101-1和101-2从运动图像分配设备12发送至用户终端15a，作为层102-2，然后由用户终端15a对层102-2进行解码，以产生具有空间分辨率1/4的图像103-2。
通过相同的方式，将包101-1至101-3从运动图像分配设备12发送至用户终端15a，作为层102-3，然后由用户终端15a对层102-3进行解码，以产生具有空间分辨率1/2的图像103-3。
类似地，将包101-1至101-4从运动图像分配设备12发送至用户终端15a，作为层102-4，然后由用户终端15a对层102-4进行解码，以产生具有空间分辨率1的图像103-4。
图8示出了在这种情况下层的典型构成，即包生成单元44相对于图像质量逐次进程顺序按照基于由数据编码单元42按照存储在第二缓冲器43b中的一帧执行的分层编码处理的图像质量的结果执行包生成处理。
在包生成处理中，包生成单元44生成由包111-1至111-4组成的包组。这样，所述的一个帧的图像由这样的包组组成，该包组由包111-1至111-4组成。
将包111-1从运动图像分配设备12发送至用户终端15a，作为层112-1，然后由用户终端15a对层112-1进行解码，以产生具有最低图像质量的图像113-1。
通过相同的方式，将包111-1和111-2从运动图像分配设备12发送至用户终端15a，作为层112-2，然后由用户终端15a对层112-2进行解码，以产生具有中低图像质量，即高于最低图像质量等级的图像113-2。
通过相同的方式，将包111-1至111-3从运动图像分配设备12发送至用户终端15a，作为层112-3，然后由用户终端15a对层112-3进行解码，以产生具有中高图像质量，即高于中低图像质量等级的图像113-3。
类似地，将包111-1至111-4从运动图像分配设备12发送至用户终端15a，作为层112-4，然后由用户终端15a对层112-4进行解码，以产生具有最高图像质量的图像113-4。
为了与图7和图8所示的层构成进行比较，图9示出了在这种情况下层的典型构成，即基于空间分辨率与图像质量的结合由发挥所述的常规运动图像分配设备的功能的所述的常规服务器执行包生成处理。
在图9所示的典型的层构成中，一个帧的图像包括包组121-1至121-4。包组121-1至121-4中的每一个包括3个包，分别相应于3层等级的图像质量。例如，让我们把3层等级的图像质量分别参考为图像质量1至3。
将包组121-1从运动图像分配设备12发送至像图1所示的用户终端15a这样的接收器终端，作为层122-1，然后由用户终端15a对层122-1进行解码，以产生具有空间分辨率1/8的图像组123-1。图像组123-1是由分别具有图像质量1、2和3的3个图像组成的图像组。
通过相同的方式，将包组121-1和121-2从运动图像分配设备12发送至用户终端15a，作为层122-2，然后由用户终端15a对层122-2进行解码，以产生具有空间分辨率1/4的图像组123-2。图像组123-2是由分别具有图像质量1、2和3的3个图像组成的图像组。
通过相同的方式，将包组121-1至121-3从运动图像分配设备12发送至用户终端15a，作为层122-3，然后由用户终端15a对层122-3进行解码，以产生具有空间分辨率1/2的图像组123-3。图像组123-3是由分别具有图像质量1、2和3的3个图像组成的图像组。
类似地，将包组121-1至121-4从运动图像分配设备12发送至用户终端15a，作为层122-4，然后由用户终端15a对层122-4进行解码，以产生具有空间分辨率1的图像组123-4。图像组123-4是由分别具有图像质量1、2和3的3个图像组成的图像组。
然而，例如，如果用户终端15a是不能以最高图像质量复制图像的类型的终端，那么用户终端15a将不论所接收的层是层122-1、122-2、122-3或122-4，均不显示具有最高图像质量的图像。
另外，如果用户终端15a特别指定由层102-1至102-4组成的包组，这些层以像图7所示的空间分辨率逐次进程顺序生成，那么层122-1至122-4中任何的层均不能满足所特别指定的包组。
为了解决这个问题，为了使所述的发挥运动图像分配设备功能的常规服务器能够发送包以满足用户对用户终端的要求，该服务器必须执行复杂的处理，包括从组成图9所示的包组121-1至121-4的多个包中仅仅选择所要求的包的操作，以及从缓冲器中读出所选择的包的操作。这种复杂的处理是该服务器所承担的沉重负担，并且要求长的处理时间。
结果，所述的常规运动图像分配系统不能在同一时间(即，以实时的方式)从一台服务器向特别指定质量彼此不同的用户分配运动图像。
在另一方面，参照图7或图8，如上所述的，图1所示的运动图像分配设备12将包排列在简单的包组中，并执行处理，以将适合于每个用户的包发送至该用户。例如，在将包发送至每个用户的处理中，运动图像分配设备12为每个帧确定根据所特别指定的逐次进程顺序而生成的包组，并且仅仅把从所确定的包组中选择的包发送至为了所特别指定的逐次进程顺序而特别指定质量的用户组。这样，图1所示的运动图像分配系统能够在同一时间，从一台发挥运动图像分配设备12的功能的服务器向多个像图2所示的用户组21和22一样的用户组提供运动图像。
下面，说明接收器终端的典型构成。
如上所述，接收器终端基本上包括：通信单元，用于从图1所示的运动图像分配设备12经过网络13a接收包和发送器报告，并通过网络13a向运动图像分配设备12发送接收器报告；解码单元，用于对通信单元所接收的包进行解码；和显示控制单元，用于显示解码单元在显示单元为每个帧所解码的包。只要构成中包括上面列出的所述通信单元、所述解码单元和所述显示控制单元，所述接收器终端可以具有任何构成。
通常，在具有用户终端15a和用户终端15b的情况，所述接收器终端具有个人计算机的构成。或者，在具有用户终端15c的情况，所述接收器终端也可以具有便携式电话的构成。
参照图10，接下来的描述说明了在用户终端15a的情况下，具有个人计算机的典型构成的接收器终端。
在图10所示的典型构成中，CPU 131通过执行事先存储在ROM(只读存储器)132的程序、或从存储单元138装载入RAM(随机存储器)133的程序，来执行各种处理。在执行程序来执行各种处理的过程中，RAM 133也用于适当地存储CPU 131所要求的数据。
例如，如上所述，CPU 131通过输入/输出接口135和总线134获取通信单元139所接收的包，并将该包解码。然后，CPU 131控制输出单元137，来接收通过总线134和输入/输出接口135传送到该CPU 131的每个帧的经解码的包，并且在连接至输出单元137的显示单元显示这些包。
另外，如上所述，CPU 131通过通信单元139、输入/输出接口135和总线134从运动图像分配设备12接收发送器报告，并对该报告进行分析。然后，CPU131针对所接收的发送器报告生成接收器报告，并且通过总线134、输入/输出接口135和通信单元139将该接收器报告发送至运动图像分配设备12。
另外，如下面将要描述的，CPU 131生成安装请求和运行请求，并将它们通过总线134、输入/输出接口135和通信单元139发送至运动图像分配设备12。另一方面，CPU 131也通过通信单元139、输入/输出接口135和总线134从运动图像分配设备12接收安装请求的响应和运行请求的响应，并对这些响应执行处理。
CPU 131、ROM 132和RAM 133通过总线134互相连接。总线134也连接至输入/输出接口135。
输入/输出接口135还连接至输入单元136、输出单元137、存储单元138和通信单元139。输入单元136包括键盘和鼠标。输出单元137连接至上面提及的显示单元。存储单元138通常是硬盘。通信单元139通常是调制解调器或终端适配器。通信单元139和运动图像分配设备12通过网络13b和网络13a互相通信。
如果需要，输入/输出接口135也连接至驱动器140，驱动器140上安装了磁盘141、光盘142、磁光盘(magneto-optical disk)143或半导体存储器144。如果需要，从磁盘141、光盘142、磁光盘143或半导体存储器144读出计算机程序，并将该计算机程序安装于存储单元138。
通过参照图11、图12和图13所示的流程图，接下来的描述单独说明用户终端15a和运动图像分配设备12所执行的处理。通过参照图14所示的步骤，用户终端15a所执行的处理和运动图像分配设备12所执行的处理之间的联系可以被简单地理解。
首先，通过参照图11所示的流程图，说明了图10所示的、并作为图1的运动图像分配系统的一部件所示的用户终端15a所执行的处理。值得注意的是，用户终端15a所执行的处理，作为运动图像分配设备12所执行的处理的对应，将在后面通过参照图14所示的指示图来说明。即使该描述仅仅说明了用户终端15a所执行的处理，可以假定其它的接收器终端，如用户终端15b和用户终端15c，基本上执行了与用户终端15a相同的处理。
在步骤S11，CPU 131使用RTSP(实时流协议)生成安装请求的数据，并通过总线134、输入/输出接口135和通信单元139发送该数据至运动图像分配设备12。
所述安装请求的数据是用户终端15a所特别指定的数据。该安装请求的数据包括质量，如逐次进程；层中相应于该逐次进程和CPU 131的处理能力的特定的一层。所述逐次进程的例子是所述空间分辨率逐次进程，所述图像质量逐次进程和所述彩色部件逐次进程。CPU 131的处理能力包括该CPU 131能够每秒编码的帧的数目。
这就是说，所述安装请求相应于前面所提到的QOS信息。
通信单元139所输出的所述安装请求的数据，通过网络13b和网络13a，被发送至运动图像分配设备12。
下面将要描述，运动图像分配设备12针对所接收的所述安装请求的数据生成响应数据，并在图12所示的流程图及图14所示的指示图的步骤S31至S35，通过网络13a和网络13b，将所述响应数据发送至用户终端15a。所述响应数据在后面指安装请求的响应数据。
然后，在下一步骤S12，CPU 131通过通信单元139、输入/输出接口135和总线134，接收提供给其的安装请求的响应数据，确定所接收的安装请求的响应数据是否是OK数据。
如果在步骤S12执行处理产生的所确定的结果指示所接收的安装请求的响应数据不是OK数据，即所接收的安装请求的响应数据是NO数据，则用户终端15a确定该运动图像分配设备12不能够为安装请求提供运动图像服务。在这种情况，所述处理的流程回到步骤S11，在该步骤另一个安装请求被发送至该运动图像分配设备12。
另一方面，如果在步骤S12执行处理产生的所确定的结果指示所接收的安装请求的响应数据是OK数据，则该运动图像分配设备12被认为能够提供运动图像服务。在这种情况，所述处理的流程进入到步骤S13，在该步骤CPU 131使用RTSP生成运行请求的数据，并通过总线134、输入/输出接口135和通信单元139发送该数据至运动图像分配设备12。
通信单元139所输出的所述运行请求的数据，通过网络13b和网络13a，被发送至运动图像分配设备12。
下面将要描述，运动图像分配设备12针对所接收的所述运行请求的数据生成响应数据，并在图12所示流程图及图14所示指示图的步骤S36，通过网络13a和网络13b，将所述响应数据发送至用户终端15a。所述响应数据在后面指运行请求的响应数据。
然后，在下一步骤S14，CPU 131通过通信单元139、输入/输出接口135和总线134，接收提供给其的运行请求的响应数据，并进入等待状态，直到收到像下面将描述的包一样的下一个数据。
同时，如下面将描述的，运动图像分配设备12基于用户终端15a所特别指定的质量，在帧单元中对运动图像的数据执行分层编码处理，并对分层编码处理的结果进行打包，即，基于安装请求数据，来生成包组。然后，在图12和图13所示的流程图中和图14所示的指示图中的步骤S37至S45，通过网络13a和网络13b，运动图像分配设备12把包括在这样的包组中的包发送至用户终端15a，该包组作为对于用户终端15a所生成的包的包组。
然后，在下一步骤S15，CPU 131通过通信单元139、输入/输出接口135和总线134，接收并解码提供给其的包。随后，CPU 131通过总线134和输入/输出接口135，向输出单元137提供每个帧的经解码的包，以使这些包在所述显示单元被显示。
同时，基于RTCP，在图13所示流程图及和图14所示指示图中的步骤S46，运动图像分配设备12生成发送器报告的数据，和通过网络13a和网络13b，并按固定的间隔，将该数据发送至用户终端15a。该发送器报告包括时间印记和所发送的包数。
然后，在下一步骤S16，CPU 131通过通信单元139、输入/输出接口135和总线134，接收提供给其的发送器报告的数据。随后，在步骤S17，基于RTCP，CPU 131针对所接收的发送器报告，生成接收器报告的数据，并通过总线134、输入/输出接口135和通信单元139发送该数据至运动图像分配设备12。所述接收器报告通常包括关于包损失率的信息和关于损失的包的数目的信息。
从通信单元139输出的接收器报告的数据，通过网络13b和网络13a，被发送至运动图像分配设备12。
下面将要描述，基于所接收的发送器报告的数据，运动图像分配设备12分析网络13a的状态，动态地实行质量控制，以改变数据编码单元42的设置数据以及数据编码单元42所发送的帧的数目，来对每个随后的帧打包，并在图13所示的流程图及图14所示的指示图的步骤S41至S45，通过网络13a和网络13b，将适当的包发送至用户终端15a。
然后，在下一步骤S18，该CPU 131确定是否接收到最后的帧的包。如果没有接收到最后的帧的包，则处理的流程返回至步骤S15，重复该步骤及随后步骤的处理。
这就是说，当CPU 131接收到运动图像分配设备12通过通信单元139、输入/输出接口135和总线134提供给其的包时，该CPU 131对该包进行解码，并通过总线134、输入/输出接口135，向输出单元137输出每个帧的被解码的包，这些包将在所述显示单元被显示。
在另一方面，如果在步骤S18所执行的处理生成的确定结果指示已经接收到最后的帧的包，则CPU 131结束该处理。
下面，通过参照图12和图13所示的流程图，说明了图3所示的、并作为图1的运动图像分配系统的一部件所示的运动图像分配设备12所执行的处理。值得注意的是，运动图像分配设备12所执行的一些处理，作为用户终端15a所执行的处理的对应，将通过参照图14所示的指示图来说明。
如上所述，在图11所示的流程图和图14所示的指示图的步骤S11所执行的处理中，用户终端15a生成安装请求的数据，并通过网络13b和网络13a，将该数据发送至运动图像分配设备12。
在图12所示的流程图的步骤S31，主控制单元41接收通过通信单元45和网络监测/分析单元46提供给其的安装请求的数据。
这时，主控制单元41能够接收具有所要求的质量的安装请求的数据，这些所要求的质量来自多个像用户终端15b和15c一样的其它接收器终端并且彼此不同。值得注意的是，接收器终端的数目或用户的数目是无限制的。
假设例如从用户终端15a接收的安装请求的数据包括特别指定空间分辨率作为逐次进程并且每秒30帧的帧处理速率的信息。
再假设数据编码单元42能够以每秒60帧的最大编码速度进行编码。
然后，在下一步骤S32，基于从包括用户终端15a在内的多个接收器终端所接收的安装请求的数据块，主控制单元41确定将要执行的数据处理的总量是否不大于数据编码单元42的处理能力。如果确定将要执行的数据处理的总量既不小于也不等于编码单元42的处理能力，即，如果确定将要执行的数据处理的总量大于编码单元42的处理能力，则该处理的流程进入步骤S33，在步骤S33，主控制单元41使用RTSP生成NO数据，作为安装请求的响应数据，并且通过通信单元45将该数据输出至网络13a。该NO数据是指示运动图像分配设备12不能够提供安装请求服务的数据。
另一方面，如果在步骤S32，主控制单元41确定将要执行的数据处理的总量不大于数据编码单元42的处理能力，则该处理的流程进入步骤S34，在步骤S34，确定将在一秒之内被处理的帧的数目。
假设例如在本实施例中，有两个用户组，每个均特别指定每秒30帧的帧处理速率，其中一个用户组特别指定空间分辨率逐次进程，而另一个用户组特别指定图像质量逐次进程。再假设主控制单元41确定将在一秒之内被处理的帧的数目是60。
值得注意的是，假设特别指定空间分辨率的用户组包括用户终端15a。
再假设照相机或类似设备的运动图像输入设备11每秒向数据编码单元42提供30帧。在这种情况下，对于每个帧，数据编码单元42能够以两种不同的逐次进程顺序执行分层编码处理，即空间分辨率逐次进程顺序和图像质量逐次进程顺序。这样，作为对一个帧执行分层编码处理的结果，数据编码单元42能够输出完成分层编码处理的两个帧的总体。
然后，在下一步骤S35，主控制单元41使用RTSP生成OK数据，作为安装请求的响应数据，并且通过通信单元45将该数据输出至网络13a。该OK数据是指示运动图像分配设备12能够提供安装请求服务的数据。
值得注意的是，如果运动图像分配设备12向用户终端15a发送图像的包，则该用户终端15a认为运动图像分配设备12能够提供所要求的服务。这样，实际上，在步骤S35执行的处理不是强制性的处理。
从通信单元45输出的安装请求的响应的OK数据或NO数据，通过网络13a和网络13b，被发送至用户终端15a。
如上所述的，在图11所示的流程图或图14所示的指示图的步骤S12执行的处理中，用户终端15a确定所接收的安装请求的响应的数据是否是OK或NO。如果用户终端15a确定所接收的安装请求的响应的数据是OK，则用户终端15a在步骤S13生成运行请求，并通过网络13b和网络13a，将该请求发送至运动图像分配设备12。
然后，在下一步骤S36，主控制单元41通过通信单元45和网络监测/分析单元46，接收提供给其的该运行请求的数据。随后，主控制单元41使用RTSP生成运行请求的响应数据，并且通过通信单元45将该数据输出至网络13a。
如上所述的，在图11所示的流程图或图14所示的指示图的步骤S14执行的处理中，从通信单元45输出运行请求的响应数据通过网络13a和网络13b被发送至用户终端15a。
然后，在下一步骤S37，主控制单元41向被编码的帧的每块数据附加帧号码。
在本实施例中，由于每秒处理60帧，则每秒该帧号码也增加到60。
然后，在下一步骤S38，主控制单元41执行帧指派调度。在此调度中，主控制单元41确定每个帧将被指派到哪个接收器终端或哪个用户组以及哪种逐次进程顺序。如上所述的，每个帧具有在步骤S37执行的处理中被指派给其的帧号码。
例如，在本实施例中，用户终端15a特别指定每秒30帧的帧处理速率以及空间分辨率。这样，通过参照图4所示的实施例在前文所做的说明，主控制单元41将每个具有偶数帧号码的帧指派至用户终端15a或包括用户终端15a的用户组。
值得注意的是，如果该包括用户终端15a的用户组也包括其它接收器终端，例如，在每个均具有偶数号码的帧中，每四个帧中的一个可以被指派至特别指定更低帧处理速率的其它接收器终端之一。
另外，通过参照图5所示的实施例在前文所做的说明，假设在本实施例中，主控制单元41将每个具有奇数帧号码的帧指派至特别指定图像质量的用户组。
另外假设，在本实施例中，除前面提到的将帧指派至用户组外，包也被指派至每个代表质量等级的层。
例如假设，如图4所示，空间分辨率的层等级被表述为空间分辨率1至5。在这种情况下，如果用户终端15a特别指定空间分辨率3，则主控制单元41向用户终端15a指派包62-1至62-3。包62-1至62-3是作为分别对空间分辨率1的被编码数据61-1至空间分辨率3的被编码数据61-3执行包生成处理的结果而得到的包。
在图13所示的流程图的步骤S39，主控制单元41确定运动图像分配设备12是否处于初始状态。
例如假设，运动图像分配设备12还没有向接收器终端发送(或分配)任何包。在这种情况下，在步骤S39，主控制单元41确定运动图像分配设备12处于初始状态，使得处理的流程进入步骤S40，在步骤S40，基于在步骤S38执行处理中所处理的数据，数据编码单元42的控制参数被初始化。
值得注意的是，在本实施例中，例如，每个帧经受这样的编码处理：替换地将两种逐次进程，即空间分辨率和图像质量中的一种逐次进程改变为另一种，或反向改变。
然后，在下一步骤S44，数据编码单元42对每个帧的数据进行编码，包生成单元44将作为该分层编码处理的结果而得到的每块数据放入包中。
例如，数据编码单元42采用活动JPEG 2000编码方法，基于空间分辨率，对具有偶数帧号码的帧的数据执行分层编码处理，并将该分层编码处理的结果存入第一缓冲器43a。如上所描述的，具有偶数帧号码的帧是由运动图像输入设备11所提供的帧作为分派至用户终端15a的帧，活动JPEG 2000编码方法是利用小波变换的编码方法。
这就是说，数据编码单元42把图4所示的由被编码数据61-1至被编码数据61-5组成的被编码帧数据51存入第一缓冲器43a。
包生成单元44把被编码数据61-1至被编码数据61-5的每一个放入RTP包以及IP包，以生成由包62-1至62-5组成的包组。
值得注意的是，在包62-p的扩展标题中，主控制单元41设置相应于被编码数据61-p的空间分辨率层等级的识别符p，作为优先等级，其中符号p是范围在1至5的整数，并且识别符p是相应于空间分辨率p的整数p。这就是说，RTPHp被加入该扩展标题。另外，在该IP标题中，设置根据表1确定的优先等级。这就是说，在包62-p的IP标题中，设置IPq，其中q是范围1至3内的整数。
然后，在下一步骤S45，主控制单元41把在步骤S44执行处理中，为每个用户生成的包组的包，通过通信单元45，发送(分配)至该用户的接收器终端。
例如，主控制单元41把图4所示的包62-1至62-3通过通信单元45发送至用户终端15a。图4所示的包62-1至62-3是在步骤S38执行处理中设置的包。
如前所述，包62-1至62-3通过网络13a和网络13b被发送至用户终端15a，并在图11所示的流程图和图14所示的指示图的步骤S15所执行的处理中，被用户终端15a解码。
然后，在下一步骤S46，如前面所描述的，主控制单元41利用RTCP来生成发送器报告的数据，该发送器报告的数据包括时间印记和针对每个接收器终端的所发送的包的数目，并将该报告以固定的间隔，通过通信单元45，发送至该终端。
例如，如前面所描述的，针对用户终端15a的发送器报告的数据通过网络13a和网络13b被发送至用户终端15a，并在图11所示的流程图和图14所示的指示图的步骤S16所执行的处理中，被用户终端15a接收，而在图11所示的流程图和图14所示的指示图的步骤S17所执行的处理中，针对该发送器报告的接收器报告的数据从用户终端15a发送。
然后，在接下来的步骤S47，主控制单元41确定是否所有的包已经被发送。如果主控制单元41确定不是所有的包已经被发送，则该处理的流程返回至步骤S39，在步骤S39确定运动图像分配设备12不处于初始状态。在这种情况，该处理的流程进入步骤S41，在步骤S41网络监测/分析单元46接收通过网络13b、网络13a和通信单元45提供给其的接收器报告。
值得注意的是，在步骤S41，网络监测/分析单元46也接收来自其它接收器终端的接收器报告。
然后，在接下来的步骤S42，网络监测/分析单元46基于在步骤S41所接收的该接收器报告分析网络13a的状态，并将分析结果提供至主控制单元41。
主控制单元41基于该分析结果，针对作为接收器终端的每个用户终端确定质量等级。
这就是说，由于每个接收器报告包括对于RTCP的RTP包的损失率和损失的包数目，因而网络监测/分析单元46能够基于包括在每个接收器报告的信息而监测网络13a的拥塞状态。这样，网络监测/分析单元46能够找到用于发送至作为接收器终端的每个用户终端的带宽，并将该带宽提供至主控制单元41。
另外，网络监测/分析单元46监测并分析RTCP包，将分析结果提供至主控制单元41。
主控制单元41基于所接收的用于发送至作为接收器终端的每个用户终端的带宽，以及所接收的该RTCP包的分析结果，来确定对于作为接收器终端的每个用户终端的质量等级。
例如，该分析结果指示，用户终端15a现在需要降低它的位速率。在这种情况下，主控制单元41将用户终端15a的质量等级降低一个级别，即主控制单元41将质量等级降低至空间分辨率2，由此确定减少将被发送至用户终端15a的包的数目。
具体地说，根据下面给出的公式(1)或后面将要描述的公式(2)控制质量等级。
(下一个)质量＝(需求的质量波段)×(1-ρ)               (1)
其中符号ρ是包损失率。
图15示出了在图像质量设置为3层等级的情况下，图像质量等级的典型控制。该典型控制是基于公式(1)或后面将要描述的公式(2)的典型控制。该垂直轴代表失真程度或图像质量劣化的程度，而该水平轴代表位速率。
从曲线151来看，很明显，对于低的包损失率ρ，即使位速率变化，失真的变化也不大。例如，在低的包损失率，主控制单元41确定靠近代表具有代表性的图像质量的任何点的一点，并使用该确定的点作为该图像质量的具有代表性的值。确定(1-ρ)R的点151-4为靠近代表了具有代表性的图像质量的点中的任意一个的点，其中符号R是该点位速率的值。在图15所示的曲线151的情况，代表了具有代表性的图像质量的点是点151-1至151-3，确定点151-4是靠近点151-3的点。因此，相应于点151-3的值被用于代表了具有代表性的图像质量的点。
值得注意的是，在本实施例中，设置3级图像质量。这样，在图15所示的曲线中，将3点151-1至151-3作为该图像质量的具有代表性的值的点。然而，值得注意的是，能够被作为该图像质量的具有代表性的值的点的数目不限于3个。
另外，对于包损失率超过50％，失真程度突然下降。这样，为了增加所述质量被用户高度赞赏的可能的次数，倾向于减少帧的数目以降低该图像质量。在这种情况，该质量等级根据下面公式(2)来控制：
(下一个)帧计数＝(帧计数)×(1-ρ)                      (2)
返回来，参照图13所示的流程图。在步骤S43，基于在步骤S42执行的处理中所设置的质量等级，主控制单元41重新设置数据编码单元42的控制参数。
值得注意的是，该控制参数是根据公式(1)作为数据编码单元42的位速率而设置的位速率，或者是根据公式(2)作为每秒将被处理的帧的数目而设置的帧计数。
然后，在步骤S44至S46，基于新设置的控制参数，数据编码单元42对每个帧的数据进行编码，包生成单元44对作为分层编码处理的结果而得到的数据进行打包，主控制单元41将用于每个用户的包发送(分配)至该用户的接收器终端。
例如，假设在上述的步骤S42，确定用户终端15a的质量等级是质量2。在这种情况下，主控制单元41将图4所示的包62-1和62-2发送至该用户终端15a。如前面所描述的，包62-1是将空间分辨率1的被编码数据61-1放入包的包生成处理的结果，包62-2是将空间分辨率2的被编码数据61-2放入包的包生成处理的结果。
随着主控制单元41在步骤S47确定所有的包已经被发送，所述处理结束。
如上所述的，图1所示的本发明提供的运动图像分配系统，能够在同一时间，从一台发挥运动图像分配设备12的功能的服务器，向如用户终端15a至15c这样特别指定质量彼此不同的多个接收器终端发送运动图像。
另外，应用于发挥运动图像分配设备12的功能的服务器的数据编码单元42，通过改变相应于每个帧的逐次进程顺序，能够在帧单元中对运动图像的数据执行分层编码处理。这样，该发挥运动图像分配设备12的功能的服务器，仅仅通过执行少量的处理，如仅仅选择每个接收器终端所要求的包的处理，以及将所选择的包发送至这些接收器终端的每一个的处理，便能够向用户的多个特别指定质量彼此不同的接收器终端发送运动图像。
进一步，数据编码单元42能够基于小波变换执行分层编码处理。这样，发挥运动图像分配设备12的功能的服务器能够被用作建构可扩缩地以实时方式向接收器终端分配运动图像的系统的基础。
再进一步，发挥运动图像分配设备12的功能的服务器能够监测网络13a，并且能够根据网络13a的拥塞状态，控制数据编码单元42的控制参数。这样，该发挥运动图像分配设备12的功能的服务器能够将具有最佳质量的运动图像分配至接收器终端。
上面描述的运动图像分配设备12的处理可以通过使用硬件，或通过仅仅使用软件执行。
在这种情况，运动图像分配设备161通常由个人计算机实现，其典型构成如图16所示。
在图16所示的典型构成中，通过执行事先存储在ROM 172中的程序，或者执行从存储单元178装载入RAM 173的程序，CPU 171执行各种处理。RAM173也用于适当地存储CPU 171执行程序所要求的数据，以执行各种处理。
CPU 171、ROM 172和RAM 173互相通过总线174连接。总线174也连接至输入/输出接口175。
输入/输出接口175还连接至输入单元176、输出单元177、存储单元178和通信单元179。输入单元176包括键盘和鼠标。输出单元177连接至显示单元。存储单元178通常是硬盘。通信单元179通常是调制解调器或终端适配器。通信单元179和接收器终端通过网络互相通信。在图1所示的运动图像分配系统的情况，网络是网络13a，即因特网。
这就是说，CPU 171在接入单元中对运动图像的数据执行分层编码处理，并对分层编码处理的结果进行打包，以生成包组，然后通常将该包组存储在RAM173。
然后，CPU 171确定作为包分配目标的接收器终端所需要的包，从RAM 173读出所确定的包，并通过总线174、输入/输出接口175和通信单元179将这些包输出至网络13a。
如果需要，输入/输出接口175也连接至驱动器180，驱动器180上安装了磁盘191、光盘192、磁光盘(magneto-optical disk)193或半导体存储器194。如果需要，从磁盘191、光盘192、磁光盘193或半导体存储器194读出计算机程序，并将该计算机程序安装于存储单元178。
如果通过执行构成所述软件的多种程序，从而执行上面描述的一系列处理，那么通常将这些程序从网络或记录介质安装到包括了嵌入的特殊用途硬件的计算机。像这样的程序也可以被安装到能够通过执行所安装的程序来执行多种功能的一般用途的个人计算机。
如图16所示，该可移动的记录介质，即从该记录介质所述程序被安装到所述计算机或所述个人计算机，可以是包括软盘的磁盘191、包括CD-ROM(光盘只读存储器)和DVD(数字化视频光盘)的光盘192、包括MD(小光盘)的MO(磁光)盘193或半导体存储器194等等。作为替代从网络或记录介质向计算机或个人计算机安装所述程序的方式，所述程序也可以通过这种方式被分配至用户：即通常通过将所述程序事先存储于包含在所述计算机或所述个人计算机中的如ROM 172的嵌入的记录介质、和/或如存储单元178的硬盘。
值得注意的是，在这个的详细说明中，描述存储于记录介质中的程序的步骤，当然可以按预定的顺序，沿着时间轴，按次序被执行。然而，另外值得注意的是，所述步骤并不必须按预定的顺序，沿着时间轴，按次序被执行。相反，所述步骤可以包括被同时或单独执行的处理条目。
另外，在本说明中，系统意味着所述的整个系统，包括处理装置和多个设备。
工业适用性，
如上面所描述的，根据本发明，具有这样的可能性，即，将具有多种图像质量，其中每种适合于某一用户的运动图像，在同一时间分配至多个用户中的每一个，这些用户特别指定的图像质量彼此不同。

Claims (16)

1.一种运动图像分配系统，包括：
一运动图像分配设备，包括：
编码装置，用于基于预定的质量，在接入单元对运动图像执行分层编码处理；
包生成装置，用于对作为由所述编码装置执行所述分层编码处理的结果而得到的所述接入单元的每一个进行打包，并生成包括多个所述的包的包组，其中的每个所述的包相应于一层；以及
第一通信装置，用于发送作为相应于某一预定的层的包，该包是包括于由所述包生成装置生成的所述包组中的所述的包的一个；以及
一接收器终端，包括：
第二通信装置，用于从运动图像分配设备的所述第一通信装置接收所述的包；以及
解码装置，用于对所述第二通信装置所接收的所述的包进行解码；
其中，所述接收器终端特别指定所述的预定的质量和所述的预定的层，并向所述的运动图像分配设备通告所述的特别指定的质量和所述的特别指定的层。
2.根据权利要求1所述的运动图像分配系统，其中，所述编码装置采用逐次进程编码方法。
3.根据权利要求2所述的运动图像分配系统，其中，采用基于小波变换的编码方法，作为所述编码装置的逐次进程编码方法。
4.根据权利要求3所述的运动图像分配系统，其中，采用遵循活动JPEG2000系统的编码方法，作为基于小波变换的编码方法。
5.根据权利要求3所述的运动图像分配系统，其中，所述接收器终端至少特别指定空间分辨率质量、图像质量和彩色部件质量中之一，作为预定的质量。
6.根据权利要求5所述的运动图像分配系统，其中，所述接收器终端特别指定每个预定的单位时间由所述解码装置能够解码的接入单元的数目，作为所述的预定的质量。
7.根据权利要求1所述的运动图像分配系统，其中：
具有超过一个的所述接收器终端；
第一接收器终端特别指定第一质量和第一层；
第二接收器终端特别指定第二质量和第二层；
所述编码装置基于所述第一质量并且基于所述第二质量对相同的接入单元执行分层编码处理；
所述包生成装置把作为所述编码装置基于所述第一质量执行所述分层编码处理的结果而得到的所述接入单元的每一个放入第一包群，生成由多个所述第一包群组成的第一包组，把作为所述编码装置基于所述第二质量执行所述分层编码处理的结果而得到的所述接入单元的每一个放入第二包群，生成由多个所述第二包群组成的第二包组；以及
所述第一通信装置把包括于所述第一包组的第一包作为相应于所述第一层的包，发送至所述第一接收器终端，把包括于所述第二包组的第二包作为相应于所述第二层的包，发送至所述第二接收器终端。
8.根据权利要求7所述的运动图像分配系统，其中，所述运动图像分配设备还包括：
第一存储装置，用于存储作为所述编码装置基于所述第一质量执行所述分层编码处理的结果而得到的接入单元的每一个；
第二存储装置，用于存储作为所述编码装置基于所述第二质量执行所述分层编码处理的结果而得到的接入单元的每一个，
其中，所述包生成装置能够把存储于所述第一存储装置的所述被编码的接入单元的每一个放入第一包群，以生成所述的第一包组，把存储于所述第二存储装置的所述被编码的接入单元的每一个放入第二包群，以生成所述的第二包组。
9.根据权利要求1所述的运动图像分配系统，其中：
所述接收器终端还包括信息生成装置，用于生成包括所述特别指定的质量和所述特别指定的层的预定的信息，作为通知给所述运动图像分配设备的信息；
所述第二通信装置把由所述信息生成装置生成的所述的预定的信息发送至所述的运动图像分配设备；
所述第一通信装置接收由所述第二通信装置所发送的所述的预定的信息；
所述编码装置基于所述的质量在接入单元对运动图像执行分层编码处理，所述的质量包括于由所述第一通信装置所接收的所述的预定的信息中；以及
所述第一通信装置把对应于所述的层的包发送至所述接收器终端，该所述的层包括于由所述第一通信装置所接收的所述的预定的信息中。
10.根据权利要求1所述的运动图像分配系统，其中，包括于由所述包生成装置所生成的所述包组中的每个包被构成为RTP包。
11.根据权利要求1所述的运动图像分配系统，其中：
所述运动图像分配设备和所述接收器终端通过网络互相连接；
所述运动图像分配设备还包括网络监测装置，用于监测所述网络的状态；以及
所述编码装置基于所述网络监测装置所监测的网络状态在接入单元对运动图像执行分层编码处理。
12.根据权利要求11所述的运动图像分配系统，其中，所述第一和第二通信装置使用IPv4或IPv6层作为网络层。
13.一种运动图像分配设备，用于向接收器终端分配运动图像，所述设备包括：
编码装置，用于基于所述接收器终端所特别指定的质量在接入单元对运动图像执行分层编码处理；
包生成装置，用于对作为由所述编码装置执行所述分层编码处理的结果而得到的所述接入单元的每一个进行打包，并生成包括多个所述的包的包组，其中的每个所述包相应于一层；以及
通信装置，用于把包括于由所述包生成装置生成的所述包组的所述的包的一个作为相应于由所述接收器终端特别指定的所述的层的包，发送至所述接收器终端。
14.一种运动图像分配方法，用于把运动图像分配至接收器终端的运动图像分配设备，所述方法包括：
编码步骤，基于由所述接收器终端特别指定的质量在接入单元对运动图像执行分层编码处理；
包生成步骤，对作为在所述编码步骤执行所述分层编码处理的结果而得到的所述接入单元的每一个进行打包，并生成包括多个所述的包的包组，其中每个所述的包相应于某一层；以及
通信步骤，把包括于在所述包生成步骤执行处理中生成的所述包组的所述的包的一个作为相应于由所述接收器终端特别指定的所述的层的包，发送至所述接收器终端。
15.一种记录介质，用于存储计算机可读的程序，该程序控制用于向接收器终端分配运动图像的运动图像分配设备，所述程序包括：
编码步骤，基于由接收器终端特别指定的质量在接入单元对运动图像执行分层编码处理；
包生成步骤，对作为在所述编码步骤执行所述分层编码处理的结果而得到的所述接入单元的每一个进行打包，并生成包括多个所述的包的包组，其中每个所述的包相应于一层；以及
通信步骤，在该步骤，把包括于在所述包生成步骤执行处理中生成的所述包组的所述的包的一个作为相应于由所述接收器终端特别指定的所述的层的包，发送至所述接收器终端。
16.一种程序，用于计算机，该计算机控制用于向接收器终端分配运动图像的运动图像分配设备，所述程序执行：
编码步骤，基于由接收器终端特别指定的质量在接入单元对运动图像执行分层编码处理；
包生成步骤，对作为在所述编码步骤执行所述分层编码处理的结果而得到的所述接入单元的每一个进行打包，并生成包括多个所述的包的包组，其中每个所述的包相应于一层；以及
通信步骤，把包括于在所述包生成步骤执行处理中生成的所述包组的所述的包的一个作为相应于由所述接收器终端特别指定的所述的层的包，发送至所述接收器终端。
CNB038042487A 2002-02-19 2003-02-12 运动图像分配系统、运动图像分配设备及方法 Expired - Fee Related CN100359945C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002041395A JP4150951B2 (ja) 2002-02-19 2002-02-19 動画配信システム、動画配信装置および方法、並びにプログラム
JP41395/2002 2002-02-19

Publications (2)

Publication Number Publication Date
CN1636400A true CN1636400A (zh) 2005-07-06
CN100359945C CN100359945C (zh) 2008-01-02

Family

ID=27750464

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038042487A Expired - Fee Related CN100359945C (zh) 2002-02-19 2003-02-12 运动图像分配系统、运动图像分配设备及方法

Country Status (6)

Country Link
US (1) US7639882B2 (zh)
EP (1) EP1478181A4 (zh)
JP (1) JP4150951B2 (zh)
KR (1) KR100994871B1 (zh)
CN (1) CN100359945C (zh)
WO (1) WO2003071801A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690218B (zh) * 2007-06-28 2014-02-19 汤姆逊许可公司 通过网络结构提供显示装置专用的内容的方法、设备及系统
CN103716649A (zh) * 2007-06-28 2014-04-09 汤姆逊许可公司 通过网络结构提供显示装置专用的内容的方法、设备及系统
CN104053073A (zh) * 2013-03-15 2014-09-17 株式会社理光 分发控制系统、分发系统以及分发控制方法

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150951B2 (ja) * 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
US7116716B2 (en) 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
JP4406816B2 (ja) * 2002-12-11 2010-02-03 ソニー株式会社 受信装置および受信方法、記録媒体、並びにプログラム
JP2005130428A (ja) * 2003-09-29 2005-05-19 Ntt Communications Kk 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム
KR20080079313A (ko) 2003-11-21 2008-08-29 닛본 덴끼 가부시끼가이샤 콘텐츠 배신 및 수신 장치, 콘텐츠 송수신 시스템, 콘텐츠배신 및 수신 방법, 콘텐츠 배신 및 수신용 프로그램을수록한 컴퓨터 판독가능 기록매체
KR20050077874A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치
WO2005079016A1 (ja) * 2004-02-18 2005-08-25 Mitsubishi Denki Kabushiki Kaisha スイッチ装置
JP4766888B2 (ja) 2004-03-30 2011-09-07 三洋電機株式会社 画像処理装置
JP2005303927A (ja) * 2004-04-15 2005-10-27 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2005333358A (ja) * 2004-05-19 2005-12-02 Ntt Communications Kk 画像通信装置、その処理方法及びクライアント装置並びにプログラム
US20060026181A1 (en) * 2004-05-28 2006-02-02 Jeff Glickman Image processing systems and methods with tag-based communications protocol
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
CN101076952B (zh) * 2004-10-12 2011-03-23 液滴技术有限公司 移动成像应用、装置结构、和服务平台结构
JP2006174045A (ja) * 2004-12-15 2006-06-29 Ntt Communications Kk 画像配信装置、プログラム及び方法
EP1847071A4 (en) * 2005-01-26 2010-10-20 Internet Broadcasting Corp B V MULTI-DIFFUSION IN LAYERS AND EXACT ATTRIBUTION OF BANDWIDTH AND PRIORIZATION OF PACKETS
US7925097B2 (en) 2005-02-18 2011-04-12 Sanyo Electric Co., Ltd. Image display method, image coding apparatus, and image decoding apparatus
JP4201780B2 (ja) * 2005-03-29 2008-12-24 三洋電機株式会社 画像処理装置、画像表示装置および方法
JP2006295886A (ja) 2005-03-16 2006-10-26 Ricoh Co Ltd 画像処理システム、プログラムおよび記録媒体
WO2006116198A2 (en) * 2005-04-21 2006-11-02 Asthmatx, Inc. Control methods and devices for energy delivery
US7822278B1 (en) 2005-09-20 2010-10-26 Teradici Corporation Methods and apparatus for encoding a digital video signal
WO2007066880A1 (en) * 2005-09-14 2007-06-14 Lg Electronics Inc. Method and apparatus for encoding/decoding
US20080247460A1 (en) 2005-10-07 2008-10-09 Jung Won Kang Method and Apparatus For Scalable Video Adaption Using Adaption Operators For Scalable Video
EP1932354A4 (en) * 2005-10-07 2011-01-05 Korea Electronics Telecomm METHOD AND DEVICE FOR SCALABLE VIDEO ADJUSTMENT USING ADJUSTABLE OPERATORS FOR SCALABLE VIDEO
US8180826B2 (en) 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US7773813B2 (en) * 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
JP4343913B2 (ja) * 2006-03-06 2009-10-14 日本電信電話株式会社 画像通信システム，画像配信システム，画像通信方法，画像配信システム制御プログラムおよびそのプログラム記録媒体
US9654751B2 (en) 2006-12-21 2017-05-16 Thomson Licensing Method, apparatus and system for providing color grading for displays
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
JP5076587B2 (ja) * 2007-03-27 2012-11-21 富士通株式会社 センサ情報管理システム、センサ情報管理方法、センサ情報管理プログラム
US10778930B2 (en) 2007-05-30 2020-09-15 Comcast Cable Communications, Llc Selection of electronic content and services
JP2009200765A (ja) * 2008-02-21 2009-09-03 Yamaha Corp 中継装置
US8225362B2 (en) * 2008-05-08 2012-07-17 Sony Corporation Distributed diagnostics for internet video link
US20110085551A1 (en) * 2008-06-17 2011-04-14 Avinash Sridhar Staggercasting method and apparatus using type of service (tos) information
CA2735728A1 (en) * 2008-08-28 2010-03-04 Sumitomo Electric Industries, Ltd. Moving-picture image data-distribution method
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
US20100309975A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and transcoding system
WO2011068355A2 (ko) * 2009-12-01 2011-06-09 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US8525933B2 (en) 2010-08-02 2013-09-03 Dolby Laboratories Licensing Corporation System and method of creating or approving multiple video streams
US20120140645A1 (en) * 2010-12-03 2012-06-07 General Instrument Corporation Method and apparatus for distributing video
KR101744355B1 (ko) * 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
KR101136564B1 (ko) 2011-10-24 2012-04-19 이기택 Ｓｓｄ를 사용한 ｖｏｄ 서비스 방법
WO2013086472A1 (en) * 2011-12-09 2013-06-13 Micropower Technologies, Inc. Wireless camera data management
US8793389B2 (en) * 2011-12-20 2014-07-29 Qualcomm Incorporated Exchanging a compressed version of previously communicated session information in a communications system
US8863208B2 (en) 2012-06-18 2014-10-14 Micropower Technologies, Inc. Synchronizing the storing of streaming video
US8661491B1 (en) * 2012-08-02 2014-02-25 Ericsson Television Inc. Methods using base content and additive content and related client devices and network server devices
JP2014017003A (ja) * 2013-08-27 2014-01-30 Thomson Licensing ネットワーク・アーキテクチャを介してディスプレイ装置特有のコンテンツを供給する方法、装置及びシステム
US11195317B2 (en) * 2014-11-05 2021-12-07 Jean Claude Colin Method for producing animated images
JP6811613B2 (ja) * 2014-11-21 2021-01-13 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11039181B1 (en) 2016-05-09 2021-06-15 Google Llc Method and apparatus for secure video manifest/playlist generation and playback
US10771824B1 (en) 2016-05-10 2020-09-08 Google Llc System for managing video playback using a server generated manifest/playlist
US10785508B2 (en) 2016-05-10 2020-09-22 Google Llc System for measuring video playback events using a server generated manifest/playlist
US10595054B2 (en) 2016-05-10 2020-03-17 Google Llc Method and apparatus for a virtual online video channel
US11069378B1 (en) * 2016-05-10 2021-07-20 Google Llc Method and apparatus for frame accurate high resolution video editing in cloud using live video streams
JP6545205B2 (ja) * 2017-02-06 2019-07-17 セコム株式会社 データ配信システム及びデータ配信方法
JP6470355B2 (ja) * 2017-07-19 2019-02-13 株式会社東芝 電子機器および方法
KR20210067788A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
JP7434942B2 (ja) * 2020-01-30 2024-02-21 三菱電機株式会社 映像記録装置

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6294775A (ja) * 1985-10-21 1987-05-01 宇宙開発事業団 サ−マルポンプ
JPS62194775A (ja) 1986-02-20 1987-08-27 Nec Corp 画像伝送方式およびその端末装置と通信網管理装置
JPH0564006A (ja) * 1991-08-29 1993-03-12 Fujitsu Ltd 画像データ供給制御方式
JPH05216800A (ja) * 1992-02-04 1993-08-27 Mitsubishi Electric Corp ネットワーク通信方式
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
WO1997001934A1 (en) * 1995-06-29 1997-01-16 Thomson Multimedia S.A. System for encoding and decoding layered compressed video data
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
JPH11155144A (ja) 1997-08-20 1999-06-08 Canon Inc 画像処理システム及びその制御方法、画像処理装置及びその制御方法、コンピュータ可読メモリ
JP4332246B2 (ja) 1998-01-14 2009-09-16 キヤノン株式会社 画像処理装置、方法、及び記録媒体
US6650783B2 (en) 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
JPH11313301A (ja) * 1998-02-27 1999-11-09 Hitachi Ltd 番組配信システム、番組配信装置、番組品質変換装置、及び番組受信装置
JP3613983B2 (ja) * 1998-06-25 2005-01-26 ソニー株式会社 画像生成装置及び方法、並びに電子スチルカメラ
JP2000078573A (ja) * 1998-09-03 2000-03-14 Hitachi Ltd 階層符号化データ配信装置
US6317462B1 (en) * 1998-10-22 2001-11-13 Lucent Technologies Inc. Method and apparatus for transmitting MPEG video over the internet
US6510553B1 (en) * 1998-10-26 2003-01-21 Intel Corporation Method of streaming video from multiple sources over a network
US6470142B1 (en) * 1998-11-09 2002-10-22 Sony Corporation Data recording apparatus, data recording method, data recording and reproducing apparatus, data recording and reproducing method, data reproducing apparatus, data reproducing method, data record medium, digital data reproducing apparatus, digital data reproducing method, synchronization detecting apparatus, and synchronization detecting method
US6496980B1 (en) * 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
JP4270623B2 (ja) 1999-01-13 2009-06-03 三菱電機株式会社 時系列データ蓄積配信システム
US6996097B1 (en) * 1999-05-21 2006-02-07 Microsoft Corporation Receiver-driven layered error correction multicast over heterogeneous packet networks
JP2001045098A (ja) * 1999-05-26 2001-02-16 Canon Inc データ通信システム、データ通信装置、データ通信方法及び記憶媒体
JP4277365B2 (ja) * 1999-05-31 2009-06-10 ソニー株式会社 動画配信システム
US7028096B1 (en) * 1999-09-14 2006-04-11 Streaming21, Inc. Method and apparatus for caching for streaming data
US7114174B1 (en) * 1999-10-01 2006-09-26 Vidiator Enterprises Inc. Computer program product for transforming streaming video data
JP2001111433A (ja) * 1999-10-12 2001-04-20 Seiko Epson Corp 圧縮データ処理装置および圧縮データ処理方法ならびに情報記録媒体
JP2001111983A (ja) * 1999-10-12 2001-04-20 Seiko Epson Corp データ処理装置およびデータ処理方法ならびに情報記録媒体
US7159235B2 (en) * 2000-01-28 2007-01-02 Sedna Patent Services, Llc Method and apparatus for content distribution via non-homogeneous access networks
JP3999432B2 (ja) 2000-02-08 2007-10-31 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP2001258031A (ja) * 2000-03-08 2001-09-21 Sony Corp 信号処理方法、画像符号化装置及び画像復号装置
GB2362532B (en) * 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
JP3931531B2 (ja) * 2000-06-07 2007-06-20 Ｋｄｄｉ株式会社 階層符号化ビデオ配信システム
WO2002001881A2 (en) 2000-06-30 2002-01-03 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
FI109393B (fi) * 2000-07-14 2002-07-15 Nokia Corp Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
US6836512B2 (en) * 2000-10-11 2004-12-28 Koninklijke Philips Electronics N.V. Spatial scalability for fine granular video encoding
JP3699910B2 (ja) * 2000-10-31 2005-09-28 株式会社東芝 データ伝送装置、データ伝送方法及びプログラム
US7237032B2 (en) * 2001-02-16 2007-06-26 Microsoft Corporation Progressive streaming media rendering
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
GB2382940A (en) * 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
JP3757857B2 (ja) * 2001-12-12 2006-03-22 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US20030135863A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Targeted scalable multicast based on client bandwidth or capability
JP4150951B2 (ja) * 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
US7062096B2 (en) * 2002-07-29 2006-06-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system
AU2003272032A1 (en) * 2002-11-21 2004-06-15 Koninklijke Philips Electronics N.V. Scalable video compression based on remaining battery capacity
US20060023748A1 (en) * 2004-07-09 2006-02-02 Chandhok Ravinder P System for layering content for scheduled delivery in a data network
KR100662350B1 (ko) * 2004-08-23 2007-01-02 엘지전자 주식회사 영상 전송 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690218B (zh) * 2007-06-28 2014-02-19 汤姆逊许可公司 通过网络结构提供显示装置专用的内容的方法、设备及系统
CN103716649A (zh) * 2007-06-28 2014-04-09 汤姆逊许可公司 通过网络结构提供显示装置专用的内容的方法、设备及系统
CN104053073A (zh) * 2013-03-15 2014-09-17 株式会社理光 分发控制系统、分发系统以及分发控制方法
CN104053073B (zh) * 2013-03-15 2017-07-21 株式会社理光 分发控制系统、分发系统以及分发控制方法

Also Published As

Publication number Publication date
JP4150951B2 (ja) 2008-09-17
CN100359945C (zh) 2008-01-02
JP2003244676A (ja) 2003-08-29
EP1478181A4 (en) 2009-01-07
US20050244070A1 (en) 2005-11-03
EP1478181A1 (en) 2004-11-17
US7639882B2 (en) 2009-12-29
KR20040083528A (ko) 2004-10-02
KR100994871B1 (ko) 2010-11-18
WO2003071801A1 (en) 2003-08-28

Similar Documents

Publication Publication Date Title
CN1636400A (zh) 运动图像分配系统、运动图像分配设备及方法、记录介质及程序
CN1163072C (zh) 图象传输系统
CN1190081C (zh) 发送和接收动态图像数据的方法及其设备
CN1141842C (zh) 图象数据发送方法和装置及图象数据再生装置
CN100352270C (zh) 一种支持多源流媒体的同步播放控制方法
CN1441559A (zh) 通信终端、服务器、中继装置、广播通信系统、方法及程序
CN1852431A (zh) 实现实时视频信息共享的系统及方法
CN1839597A (zh) 对无线通信网络的质量体验(qoe)度量
CN1714577A (zh) 视频传输
CN1387338A (zh) 数据再现装置和数据再现方法
CN1299502C (zh) 解码设备和解码方法
CN1929422A (zh) 通信处理设备、通信控制方法及计算机程序
CN101076122A (zh) 通信装置和方法、通信发送接收装置和方法
CN1692640A (zh) 广播记录系统、记录设备、广播设备及用于节省用来记录内容的记录介质的存储空间的记录程序
CN1787422A (zh) 用于控制流媒体数据的编码比特率的系统和过程
CN1759384A (zh) 接收设备和信息浏览方法
CN1750543A (zh) 服务器负载平衡系统、装置以及内容管理装置
CN1299504C (zh) 数据流发送装置及其方法以及分发系统
CN1846420A (zh) 嵌入的服务质量相关信息的传送
CN1784003A (zh) 内容递送系统、通信装置、通信方法和程序
CN1199990A (zh) 对多个运动图象编码的运动图象编码装置和方法
CN1202072A (zh) 数字广播发送方法、发送装置和重放装置
CN101077007A (zh) 内容呈现系统
CN1501703A (zh) 数据流重放设备和方法、数字广播接收器和相关的计算机程序
CN1767650A (zh) 用于在数字广播接收机中处理图像信号的设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080102

Termination date: 20160212