CN100504757C - 用于缓冲流式化数据的方法和系统 - Google Patents

用于缓冲流式化数据的方法和系统 Download PDF

Info

Publication number
CN100504757C
CN100504757C CNB028047648A CN02804764A CN100504757C CN 100504757 C CN100504757 C CN 100504757C CN B028047648 A CNB028047648 A CN B028047648A CN 02804764 A CN02804764 A CN 02804764A CN 100504757 C CN100504757 C CN 100504757C
Authority
CN
China
Prior art keywords
pre decoder
server
customer equipment
buffer
buffer size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB028047648A
Other languages
English (en)
Other versions
CN1491381A (zh
Inventor
M·汉努克塞拉
E·B·阿克苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1491381A publication Critical patent/CN1491381A/zh
Application granted granted Critical
Publication of CN100504757C publication Critical patent/CN100504757C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9005—Buffering arrangements using dynamic buffer space allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9023—Buffering arrangements for implementing a jitter-buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
  • Finish Polishing, Edge Sharpening, And Grinding By Specific Grinding Devices (AREA)

Abstract

本发明公开了一种方法，所述方法通过克服由于网络和传送协议操作导致的分组传输时延的变化以及编码/服务器特定的时延的变化所引起的问题，而改进了在一个客户设备处流式媒体的回放。在本发明的一个实施方案中，一个客户设备有一个解码器(120)和一个预解码器缓冲器(110)，所述预解码器缓冲器经一个分组网络接收来自源服务器的流式分组。预解码器缓冲器的尺寸是可变的并且具有一个可变的初始缓冲时间用于在解码器中对发送自源服务器的分组解码之前接收它们。初始缓冲时间和预解码器缓冲器尺寸可以被源服务器动态适配以便改进回放性能。在本发明的另一个方面，一个后解码器缓冲器和预解码器缓冲器一起操作以便减少与解码相关的时延变化。

Description

用于缓冲流式化数据的方法和系统
技术领域
本发明总地涉及在基于分组的网络上的媒体的流动。更特别是，本发明涉及一个缓冲机制用于从由于编码和分组化引起的分组时延变化方面来改进流式化媒体的回放。
背景技术
在传统的分组交换多媒体系统中，例如，在基于IP的视频会议系统中，不同类型的媒体通常被携带在分离的分组中。此外，分组典型地在一个尽力而为的网络协议之上被携带，所述尽力而为的网络协议不能保证一个恒定的传输时延，而是时延可能在分组间变化。结果是，具有相同呈现(回放)时间戳的分组可能不被同时接收到，而两个分组的接收间隔可能不与它们的呈现间隔相同(从时间上来说)。因此，为了维持不同媒体类型之间的回放同步并且维持正确的回放速率，一个多媒体终端典型地使接收到的数据缓冲一个短的周期(例如小于半秒)以便平滑时延的变化。在此，这种类型的缓冲器被称为时延抖动缓冲器。在传统的分组交换多媒体系统中，缓冲可以发生在媒体数据解码之前和/或之后。
时延抖动缓冲还适用于流式系统。鉴于流式是一种非传统应用的事实，所以需要的时延抖动缓冲器可能比在传统应用中的时延抖动缓冲器大的多。当一个流式播放器已经建立起一条到服务器的连接并且请求下载一个多媒体流时，所述服务器开始发送所希望的流。播放器典型地不马上开始回放所述流，而是它使输入的数据缓冲一段时间，典型地为几秒钟。在此，这种类型的缓冲被称为初始缓冲。初始缓冲以一种与在传统应用中的时延抖动缓冲所提供的类似方式来提供平滑传输时延变化的能力。除此之外，它可使能链路层、传送层、以及/或者应用层的丢失协议数据单元(PDU)的重传。缓冲允许播放器解码并播放来自缓冲器的数据，而同时允许重传丢失的PDU成为可能。如果缓冲周期足够长，那么重传的PDU就被及时接收到以便被解码并在预定的时刻播放。
在流式客户中的初始缓冲提供另一个在传统系统中不能获得的优点：它允许从服务器发送的媒体的数据速率改变。换句话说，只要接收器缓冲器不会上溢或下溢，媒体分组就可以暂时地以比它们的回放速率或快或慢的速率被发送。在数据速率中的波动可能有两个来源。波动的第一个源是由于在一些媒体类型例如视频中可获得的压缩效率依赖于源数据的内容的事实。结果是，如果希望一个稳定的质量，那么由此产生的压缩比特流的比特率就会变化。典型地，一个稳定的声像质量比一个变化的质量在主观上使人更舒服。这样，与一个没有初始缓冲的系统，例如一个视频会议系统相比，初始缓冲使得能够获得一个使人更舒服的声像质量。
更详细地考虑视频数据的例子，一个视频序列的不同帧可能通过非常不同数量的数据来呈现。这是由于预测编码技术的使用而造成的.典型地，视频编码标准定义了至少两种类型的帧。主要的帧类型是INTRA或者I-帧以及INTER或者P-帧。一个INTRA帧基于包含在图像本身内的信息来被编码，而一个P-帧通过参考至少一个其它帧，通常是一个在视频序列中较早出现的帧，来被编码。由于在一个数字视频序列中的连续帧之间存在明显的时间冗余，所以有可能用比呈现一个INTRA帧所需要的小得多的数量的数据来编码一个INTER帧。这样，INTRA帧在一个编码的视频序列中相对较少地使用。
典型地一个编码序列起始于一个INTRA帧(因为没有前面的帧可用来作为在一个INTER帧的构造中的参考)。INTRA帧可以被周期性地插入到序列中，例如以固定的间隔插入，以便补偿可能通过一连串被预测的(INTER)帧而积累并传播的差错。INTRA帧通常还在场景切换中使用，其中连续帧的图像内容改变很大以致预测编码不能提供有效的数据缩减。这样，一个典型的编码视频流通常起始于一个INTRA编码的帧并包括一个间插有偶尔的INTRA帧的INTER帧序列，呈现一个INTRA帧所需要的数据量比呈现一个INTER编码的帧所需要的数据量大几倍(例如5-10倍)。呈现每一个INTER帧所需要的数据量还按照与它的参考帧的相似性/差别的水平以及图像中的细节数量来变化。
这意味着重构一个预测编码视频序列所需要的信息并不相等地分布在被发送的数据分组中。换句话说，携带与一个INTRA帧有关的数据所需要的数据分组数量比携带用于一个INTER帧的数据所需要的数据分组数量更多。此外，因为呈现连续INTER帧所需要的数据量还依赖于图像内容而变化，所以携带INTER帧数据所需要的数据分组的数量也会变化。
当在固定IP网中分组丢失突发出现时波动的第二个源发生了。为了避免突发的差错以及高的峰值比特率和分组速率，设计良好的流式服务器小心地调度分组的发送并且分组可能并不是正好以它们在接收终端处被回放的速率来发送。典型地，网络服务器以这样一种方式被实现，即它们尽力实现一个恒定的分组传输速率。一台服务器还可能依照主流的网络条件来调整分组传输速率，例如，在网络变得拥塞时减少分组传输速率，而在网络条件允许的情况下增加该速率。这典型地通过调整在TCP(传输控制协议)中发送的确认消息的被通告窗口来发生。
考虑到网络服务器的这个嵌入的属性，以及结合先前描述的视频编码系统，则不只是重构一个预测编码视频序列所需要的信息在被发送的数据分组之间不等分布，而且数据分组本身也可能以一个变化的速率从服务器被发送。这意味着即使通过网络的传输时延是恒定的，但是在例如一个接收客户终端处的一个解码器在接收信息时也经历了一个可变的时延，所述信息是该解码器构造一个视频序列中的连续帧所需要的。应注意术语客户终端指的是任何终端用户电子设备，例如手持设备(PDA)、无线终端、还有桌上型和膝上型电脑以及机顶盒。这种由于编码、分组化以及来自一台服务器的分组传输所引起的时延的变化，可以被称为“编码的”或“服务器特定的”变化时延。它独立于或者附加于由于网络内传输时间的变化而引起的时延抖动。
因此，初始缓冲使得能够适应由于前面提到的缺点，例如编码的或服务器特定的时延变化以及与网络传输相关的时延变化而引起的被发送数据速率的波动。初始缓冲帮助提供一个更稳定的声像质量和避免网络拥塞和分组丢失。
初始缓冲还可能在解码接收到的媒体数据之后被实现。这样的缺点是：因为缓冲基于被解码的数据来实现，所以缓冲器的尺寸必须相对较大。编码的、服务器特定的以及网络传输的时延变化的组合影响还趋向于增加对初始缓冲的要求。
另外，媒体数据的编码以及编码的数据被封装成分组并从一台服务器被发送出去的方式导致以下情况，即：即使通过网络的传输时延是恒定的，在一个接收客户终端中的解码器在接收信息时也经历了一个可变的时延，所述信息是该解码器重构该媒体数据所需要的。这样，一个后解码器缓冲器在解码之前就不提供一种吸收这种形式的时延变化的手段。
发明内容
按照本发明的一个第一方面，有一种通过从一个源服务器经一个网络向一个客户设备发送多个数据分组来使媒体数据流动的方法，其中所述客户设备包括一个解码器用于解码被编码的分组。该方法的特征在于所述客户设备还包括一个具有可变的初始缓冲时间以及可变的缓冲器尺寸的预解码器缓冲器，用于在解码器中对发送自源服务器的数据解码之前接收该数据，并且其中预解码器缓冲器的可变初始缓冲时间和可变缓冲器尺寸被动态适配以便使客户设备改进回放性能。
按照本发明的一个第二方面，提供了一个系统用于通过发送多个数据分组来使媒体数据流动，该系统包括一个宿有媒体数据的源服务器、一个作为传输媒介服务于数据分组的网络；以及一个能够回放该媒体数据的客户设备，其中所述客户设备包括：一个预解码器缓冲器，用于接收从源服务器经网络传输的分组，所述预解码器缓冲器具有一个可变的初始缓冲时间以及一个可变的缓冲器尺寸；一个解码器用于解码来自预解码器缓冲器的分组；以及用于动态适配预解码器缓冲器的可变初始缓冲时间和可变缓冲器尺寸以便使客户设备改进回放性能的装置。
按照本发明的一个第三方面，提供了一个客户设备用于接收从一个源服务器经一个网络传输的多个数据分组，所述客户设备包括：一个预解码器缓冲器用于接收从源服务器经网络传输的数据分组，所述预解码器缓冲器具有一个可变的初始缓冲时间以及一个可变的缓冲器尺寸；一个解码器用于解码来自预解码器缓冲器的数据分组；以及用于动态适配预解码器缓冲器的可变初始缓冲时间和可变缓冲器尺寸以便使客户设备改进回放性能的装置。
附图说明
本发明连同其中进一步的目的和优点，可以通过结合附图参考下面的描述被更好地加以理解，其中：
图-1示出依照本发明的一个实施方案、在设备终端体系结构中的一个预解码器缓冲器块的简化方框图；以及
图-2示出在一个典型的流式系统中的一个数据流的例子，举例说明了预解码器缓冲的效果。
具体实施方式
体系结构概述
按照本发明，在终端体系结构中提供了一个新的缓冲功能块，以便提供改进的接收器侧的缓冲。这个缓冲功能块在此被称为预解码器缓冲器。
图-1示出依照本发明的一个实施方案、在设备终端体系结构中的一个预解码器缓冲器块的简化方框图。“传送解码器”100解封装(decapsulate)来自接收到的数据分组(例如，RTP数据分组)的码流。“源解码器”120将码流解码成一个未压缩的、可以被回放的数据格式。“预解码器缓冲器”110作为传送解码和源解码之间的一个临时存储来运行。在多媒体数据流包括一个以上数据类型的情况下，一个公共的预解码器缓冲器有利地在被发送的全部实时媒体类型之间共享。然而，在本发明可替换的实施方案中，一个单独的预解码器缓冲器被提供给每一种媒体类型，用于每一种媒体类型的预解码器缓冲器位于正在讨论的媒体类型的传送解码器和对应的源解码器之间。解码操作被优选地实现为存储在客户设备的存储器中的软件并且由一个MCU(主控制单元)运行并在它的控制之下，所述MCU控制客户设备的操作，图-1示出了其中一部分。MCU接收到来自一个源服务器的控制信号并且按照接收到的来自源服务器的信号而控制对初始缓冲时间和缓冲器尺寸的调整。MCU对不同功能块的控制在图-1中通过从MCU到每一个块的控制箭头来举例说明。
在本发明一个优选的实施方案中，在一个流式客户中除了位于一个解码器之后的一个后解码器缓冲器之外，还提供了预解码器缓冲器。有利地，后解码器缓冲器被提供以便吸收网络传输时延的变化。另外，所述后解码器缓冲器还可以吸收与解码相关的时延变化。这在一个以上的媒体类型同时被流式化的情况下是特别有利的。在这种情况下后解码器缓冲器的使用使得能够使由不同媒体解码器引入的解码时延变化变平滑。在本发明一个可替换的实施方案中，一个分离的解码器缓冲器还在接收客户中被提供。所述解码器缓冲器位于解码器和后解码器缓冲器之间并被提供作为媒体数据被解码时用于该媒体数据的一个临时存储。有利地，在一个以上的媒体数据类型同时被流式化的情况下，一个分离的解码器缓冲器被提供用于每一个媒体类型对应的源解码器。
缓冲算法
依照实施方案操作的一个缓冲算法被提供来缓冲在一个流式客户中接收到的数据并且控制来自一个基于网络的流式服务器的流的编码和服务。所述算法假定按照本发明的一个预解码器缓冲器在流式客户中被提供。
有两个主要因素影响缓冲算法的行为，即初始缓冲时间和最小预解码器缓冲器尺寸。初始缓冲时间典型地指的是第一个媒体数据分组被接收到的时刻和这第一个媒体样本被回放的时刻之间经过的时间.最小预解码器缓冲器尺寸典型地对应于除了应付传输时延变化而发生的缓冲之外，流式客户能够存储的数据量(例如，数据的字节数)。换句话说，一个最小预解码器缓冲器尺寸被定义用于零时延可靠传输的网络。
缓冲算法类似于在H.263附录B(假设的参考解码器)和MPEG-4视觉附录D(视频缓冲验证器)中描述的算法。这些算法定义了用于视频编解码器的缓冲行为。应注意这些算法不能用于代替所提出的预解码器缓冲器的缓冲算法，因为它们只可应用于视频。而且，H.263假设的参考解码器不支持初始缓冲或者将多个(非B)帧存储进缓冲器中。还应注意：所提出的预解码器缓冲算法与前面提到的视频缓冲算法完全兼容。在一个实际的实现中，预解码器缓冲器和视频解码器缓冲器可以合并。
依照本发明优选的实施方案，缓冲算法限制一个被发送的数据分组流以遵从预解码器缓冲器的要求，所述要求定义如下：
1.预解码器缓冲器初始为空。
2.每一个接收到的数据分组基本上一被接收到就立即被加到预解码器缓冲器中.在传输协议等级(例如RTP层)或任何较低层处的所有协议头部都被移除。
3.在一个被叫做初始缓冲时间的周期内数据不从预解码器缓冲器中移除，所述初始缓冲时间在第一个数据分组被加到缓冲器中时开始。
4.当初始缓冲时间到期时，一个回放计时器被启动。
5.在回放计时器到达给一个数据块安排的回放时间时该正在讨论的数据块基本上立即从预解码器缓冲器中被移除。
6.当数据在一个零时延可靠传输网络中被携带时，预解码器缓冲器的占用水平就不允许超过某个叫做预解码器缓冲器尺寸的水平。
应注意到上面的要求描述了中间没有暂停请求的操作。每一个新的播放请求(例如，在一个暂停之后)都将遵循相同的要求。
另外，上面的要求是基于假定有一个零时延可靠传输网络。这样，在一个实际的实现中，客户侧的预解码器缓冲有可能与网络时延抖动缓冲合并起来。结果是，在一个流式客户中实际的预解码器缓冲器尺寸有可能比上面讨论的最小预解码器缓冲器尺寸要大，并且实际的初始缓冲时间也可能比上面讨论的初始缓冲时间要长。
预解码器缓冲
图-2示出在一个典型的流式系统中的一个数据流的例子，举例说明了预解码器缓冲的效果。长条代表媒体帧或分组，例如，暗长条是视频数据分组(例如按照ITU-T建议H.263被编码)，而亮长条是音频数据分组(例如通过使用自适应多速率(AMR)语音编解码器来被编码)。长条的高度代表一个帧(或一个分组)的以字节计的大小。处理流程从顶部进行到底部，而时间从左进行到右。
现在更详细地参考图-2，首先，输入数据被编码。结果是，视频流有一个变化的帧速率和帧尺寸，而音频流有一个恒定帧速率但有一个变化的帧尺寸。接下来被压缩的媒体流被封装进分组并被发送给网络。当封装时，服务器将大的视频帧分割成多个分组，并且将多个小的音频帧合并成一个分组。服务器以一定的间隔发送分组。假定不管分组尺寸或任何其它因素如何，都有一个恒定的网络传输时延。这样，接收到的分组的相对定时与它们被发送时的相同。接收到的分组被存储在一个预解码器缓冲器中。在某个初始缓冲时间之后，帧从缓冲器中被获取，而帧的移除速率与帧的回放速率相同。最大缓冲器占用水平确定了最小的预解码器缓冲器尺寸。
预解码器缓冲器的特征信令
为了确保在流式客户中的某些最小缓冲能力，某些默认的缓冲器特征被定义。正如较早描述的，缓冲器的特征可以主要通过两个因素来定义，即初始缓冲时间和最小预解码器缓冲器尺寸。初始缓冲时间的默认值的一个例子大约为1秒钟而默认的最小预解码器缓冲器尺寸大约为30720个字节。应注意这些值只是示例的，它们可能被改变来获得合适的性能，用于此时在网络中所经历的特定类型的时延。被建议的默认值是基于在一个普遍环境中的实际的实验，所述普遍环境是决不考虑特殊的情况而只是考虑到最经常发生的分组传输场景。还应注意在一个给定的流式系统中该默认的预解码器初始缓冲时间和默认的预解码器缓冲器尺寸可以被隐含地定义。换句话说，源服务器和流式客户在网络中是以这样一种方式来操作，即某些默认的预解码器缓冲器参数(例如预解码器初始缓冲时间以及/或预解码器缓冲器尺寸)被假定。在可替换的实施方案中，预解码器缓冲器参数的明显的信令被使用。
为了允许一个流式客户用信号向一个源服务器通知它的默认预解码器缓冲能力并使它能够接收到一个媒体流，该媒体流要求比默认的能力还要高的过分要求的缓冲能力，在本发明中使用了基于实时流协议(RTSP)的SET_PARAMETER方法的信令。
通过例子，客户终端设备可以请求服务器设置一个或者两个下面的参数：
1.initialBufferingTimeInMSec(以毫秒计的初始缓冲时间)
2.preDecoderBufferSizeInBytes(以字节计的最小预解码器缓冲器尺寸)
客户终端设备不被允许用信号通知比在流式系统中定义或隐含假定的默认值小的参数值。一个服务器接收到一个请求，指示一个小于默认值之一的值，该服务器可能用信号通知是一个“坏的请求”.如果被发送的值大于或等于被定义或隐含的默认值时，那么一旦请求被接收到则被通知的值就基本上立即被使用，并且源服务器通过使用被通知的值按照前面描述的缓冲算法来验证被发送的分组流。换句话说，并且如下面更要详细描述的，服务器以这样一种方式来发送分组流，即在接收客户处该分组流可以以一种基本正确的方式被回放。更特别地是，源服务器发送分组流，以便确保在接收客户中的预解码器缓冲器的上溢不会发生并且媒体数据的所有数据块(例如，帧)都可用于在接收客户处以它们被安排的回放时间进行回放。
按照本发明一个有利的实施方案，当一个客户终端设备首先建立与一台网络服务器之间的通信并且通过请求某些要被流式化的媒体内容来开始建立与该服务器的一个流式会话时，它将它的默认预解码器缓冲参数用信号通知给服务器。正如上面解释的，按照本发明，客户终端设备可能或者指示它的默认预解码器缓冲时间，或者指示它的最小预解码器缓冲器尺寸，或者指示上面提到的这两个参数。在一个可替换的实施方案中，其中客户终端设备还被提供给一个后解码器缓冲器，所述后解码器缓冲器尺寸可能被指示给源服务器。在本发明的实施方案中，其中预解码器缓冲器参数在流式系统中被隐含定义，客户设备的预解码器缓冲器参数的初始信令严格来说是没必要的。然而，如果一个特定的客户设备具有优于在流式系统中假定的、隐含定义的默认值的预解码器缓冲能力，它就可以将那些能力用信号通知给服务器。在另一个可替换的安排中，源服务器从与该流式系统有关的一个能力服务器取回用于一个给定客户设备的预解码器缓冲器参数。
接下来服务器向客户终端设备指示它能够提供的媒体流的特征。正如对本领域的那些普通技术人员来说是众所周知的那样，在许多实际的流式系统中，一个流式服务器被提供给呈现相同媒体内容的多个预编码媒体流。每一个预编码流用不同的编码参数来编码。这种安排使得媒体内容能够被流式化到多个具有不同属性和/或能力、以及/或经过具有不同特征(例如最大可用传输比特率)的网络的不同的客户终端设备。
按照本发明所述有利的实施方案，一旦服务器已经接收到客户终端默认的预解码器初始缓冲时间以及/或者它的最小预解码器缓冲器尺寸的一个指示，它就通过经网络的信令，将它能提供的不同的预编码媒体流通知给客户终端。例如，如果服务器有与被请求的媒体内容相关的4个不同编码的媒体流并且客户已经指示了它默认的预解码器初始缓冲时间和它默认的预解码器缓冲器尺寸，那么服务器就用信号通知为了确保正确地(例如，没有暂停的)回放这4个不同的媒体流所需要的预解码器初始缓冲时间和预解码器缓冲器尺寸。之后客户终端选择4个预编码媒体流中的一个来回放并且按照被选定的媒体流相应的要求来调整它的预解码器初始缓冲时间和预解码器缓冲器尺寸。在客户终端内的调整优选地被客户终端的MCU控制。如果服务器只指示不同的编码媒体流所需要的被要求的预解码器初始缓冲时间或者被要求的预解码器缓冲器尺寸，那么客户终端就在那个基础上选择媒体流并相应地或者调整预解码器初始缓冲时间或者调整预解码器缓冲器尺寸。在这种情况下，无论哪一个参数没有被指示，该参数都被指配一个默认值。
之后客户终端将它的媒体流的选择用信号通知给服务器以便媒体内容的流式下载可以开始。这个步骤还隐含地通知服务器当前在客户终端有效的预解码器初始缓冲时间和/或者预解码器缓冲器尺寸，并且使得服务器能够按照前面描述的缓冲算法正确地验证被发送的媒体流，这样预解码器缓冲器的上溢就不会发生而媒体数据的所有数据块都可用于在接收客户处以它们被安排的回放时间进行回放。
通过使得客户终端能够调整它的预解码器初始缓冲时间和/或者预解码器缓冲器尺寸，按照本发明的该方法使得该终端能够接收并且正确地再生媒体流，而所述媒体流是以这样一种方式被编码即它们用默认的预解码器缓冲器参数不能正确地再生。
按照本发明所述优选的实施方案，无论何时一个新的媒体流的流式被初始化，在客户中的预解码器初始缓冲时间和/或者预解码器缓冲器尺寸都按照前面描述的过程被适配。如果在所述过程期间确定了新的媒体流可以在客户端处通过使用当前有效的预解码器缓冲参数来被正确地回放，那么就不需要调整。另外，客户可能在一种情况下调整它的预解码器初始缓冲时间和/或者预解码器缓冲器尺寸，所述情况是在一个现存的流式会话期间，服务器用信号通知所需要的预解码器缓冲器参数中的一个改变。这种情况可能发生，例如，如果要被流式化的媒体内容不同的连续部分被不同编码，就引起对客户端处不同预解码器缓冲的需求以便确保流的正确回放。
总之，本发明设想一个预解码器缓冲器作为一个流式客户一部分。该流式客户通过遵循一个缓冲算法来操作，其中一个流式服务器验证该被发送的数据流遵照被定义的缓冲算法。另外，本发明提出用于定义并且向一个流式服务器用信号通知一个流式客户的缓冲器能力的机制。这种方式下，一个流式服务器可以获得与一个给定流式客户有关的缓冲能力，并且被编码的数据/媒体传输速率可以被允许在接收器侧预解码器缓冲器的限制内变化。应注意在一个服务器中的一个缓冲验证器可以用于确保被发送的分组流遵从接收端的缓冲能力。这可以例如通过调整来自服务器的分组的传输时间来实现，以便不超过客户的预解码器缓冲器的缓冲能力。可替换地，服务器可以调整媒体数据被编码和被分组化的方式。实际上，缓冲验证器可以是一个运行于服务器之内、在传送编码器之后的缓冲器。
尽管本发明已经通过参考其指定的实施方案在某些方面被描述，但是变化和修改对本领域的那些技术人员来说是显然的。所以其意图是：下面的权利要求不被给定一个限制性的解释，而是应被认为包括从所公开的本发明的主题中派生出来的变体和修改。

Claims (51)

1.一种通过从一个服务器经一个网络向一个客户设备发送多个数据分组作为数据分组流来使媒体数据流动的方法，其中所述客户设备包括一个传输解码器(100)，一个源解码器(120)和一个预解码器缓冲器(110)，该方法包括：
-在客户设备处接收数据分组；
-操作该传输解码器(100)来从接收到的数据分组中提取媒体数据；
-在预解码器缓冲器(110)中临时缓冲该媒体数据；以及
-操作该源解码器(120)以将该媒体数据解码为一个未压缩的数据格式；
该方法的特征在于：
-根据缓冲算法在预解码器缓冲器(110)中缓冲该媒体数据，以及操作该服务器以验证从服务器通过该网络传送到客户设备的数据分组流遵照该缓冲算法，该缓冲算法的行为受到一预解码器初始缓冲时间和一最小预解码器缓冲器尺寸的影响，在通过恒定时延的可靠传输网络传送该数据分组流时，需要该最小预解码器缓冲器尺寸来在该客户设备处提供该媒体数据的正确回放。
2.按照权利要求1中的方法，还包括：
-从客户设备发送信令到该服务器，以指示预解码器初始缓冲时间和最小的预解码器缓冲器尺寸之一或者两者；
-操作该服务器以使用该用信号传送的预解码器初始缓冲时间和/或最小预解码器缓冲器尺寸、按照缓冲算法验证所传送的数据分组流。
3.按照权利要求1中的方法，还包括：
-定义一个默认的预解码器初始缓冲时间和一个默认的最小预解码器缓冲器尺寸；以及
-操作该服务器以使用所述默认的值、按照该缓冲算法来验证所传送的数据分组流。
4.按照权利要求3中的方法，其特征在于所述客户设备结合建立与该服务器的流式会话，用信号将默认的预解码器初始缓冲时间和默认的最小预解码器缓冲器尺寸中的一个或者两个通知给服务器。
5.按照权利要求3中的方法，其特征在于该默认的预解码器初始缓冲时间和默认的最小预解码器缓冲器尺寸被隐含地定义。
6.按照权利要求5中的方法，其特征在于如果该客户设备的预解码器缓冲能力优于由所述默认值定义的那些，则它用信号向服务器通知这些能力。
7.按照权利要求1中的方法，其特征在于该服务器从一个能力服务器检索该客户设备的预解码器缓冲能力。
8.按照权利要求1中的方法，其特征在于客户设备响应于从服务器接收到的一个被要求的预解码器初始缓冲时间的指示而调整它的预解码器初始缓冲时间。
9.按照权利要求1中的方法，其特征在于客户设备响应于从服务器接收到的一个被要求的预解码器缓冲器尺寸的指示而调整它的预解码器缓冲器尺寸。
10.按照权利要求1中的方法，包括向服务器提供代表相同媒体内容的多个不同的预编码的媒体流，并且用信号向客户设备通知以指示该客户设备中所要求的预解码器初始缓冲时间和预解码器缓冲器尺寸中的至少一个，从而确保每个可用的预编码的媒体流的正确回放。
11.按照权利要求1中的方法，其特征在于该客户设备响应于在流式会话期间由服务器用信号通知的所要求的预解码器缓冲器参数的改变而调整其预解码器初始缓冲时间以及其预解码器缓冲器尺寸之一或者两者。
12.按照权利要求1中的方法，其特征在于该服务器调整从服务器到客户设备的数据分组的传输时间，以便确保所传送的数据分组流不超过客户设备中该预解码器缓冲器的缓冲能力。
13.按照权利要求1中的方法，其特征在于该服务器调整编码和分组化该媒体数据的方式，以便确保所传送的数据分组流不超过该客户设备中的预解码器缓冲器的缓冲能力。
14.按照权利要求1中的方法，其特征在于该客户设备还包括一个后解码器缓冲器以便吸收与解码相关的时延变化。
15.按照权利要求1中的系统，其特征在于该客户设备是以下之一：一个无线终端、一个桌上型计算机、一个膝上型计算机或者一个机顶盒。
16.一种通过发送多个数据分组作为数据分组流来使媒体数据流动的系统，该系统包括：
-一个服务器；
-一个作为传输媒介服务于该数据分组流的网络；以及
-一个客户设备，包括：
-一个传输解码器(100)，用于从接收的数据分组中提取媒体数据；
-一个预解码器缓冲器(110)，用于临时缓冲该媒体数据；以及
-一个源解码器，用于将媒体数据解码为未压缩的数据格式；
该系统的特征在于：
该客户设备被安排为按照缓冲算法将该媒体数据缓冲于该预解码器缓冲器中，以及该服务器被安排为验证从服务器通过该网络传送到客户设备的数据分组流遵照该缓冲算法，该缓冲算法的行为受到一预解码器初始缓冲时间和一最小预解码器缓冲器尺寸的影响，在通过恒定时延的可靠传输网络传送该数据分组流时，需要该最小预解码器缓冲器尺寸来在该客户设备处提供该媒体数据的正确回放。
17.按照权利要求16中的系统，其特征在于，该客户设备还被安排为发送信令到该服务器，以指示预解码器初始缓冲时间和最小的预解码器缓冲器尺寸之一或者两者；以及该服务器还被安排为使用该用信号传送的预解码器初始缓冲时间和/或最小预解码器缓冲器尺寸、按照缓冲算法验证所传送的数据分组流。
18.按照权利要求16中的系统，其特征在于，为客户设备的预解码器缓冲器定义一个默认的预解码器初始缓冲时间和一个默认的最小预解码器缓冲器尺寸；以及该服务器被安排为使用所述默认的值、按照该缓冲算法来验证所传送的数据分组流。
19.按照权利要求18中的系统，其特征在于所述客户设备被安排成结合建立与该服务器的流式会话，用信号将默认的预解码器初始缓冲时间和默认的最小预解码器缓冲器尺寸中的一个或者两个通知给服务器。
20.按照权利要求18中的系统，其特征在于该默认的预解码器初始缓冲时间和默认的最小预解码器缓冲器尺寸被隐含地定义。
21.按照权利要求20中的系统，其特征在于该客户设备被安排为如果它的预解码器缓冲能力优于由所述默认值定义的那些，则用信号向服务器通知这些能力。
22.按照权利要求16中的系统，其特征在于该服务器被安排为从一个能力服务器检索该客户设备的预解码器缓冲能力。
23.按照权利要求16中的系统，其特征在于客户设备被安排为响应于从服务器接收到的一个被要求的预解码器初始缓冲时间的指示而调整它的预解码器初始缓冲时间。
24.按照权利要求16中的系统，其特征在于客户设备被安排为响应于从服务器接收到的一个被要求的预解码器缓冲器尺寸的指示而调整它的预解码器缓冲器尺寸。
25.按照权利要求16中的系统，包括服务器被提供以代表相同媒体内容的多个不同的预编码的媒体流，并且被安排为用信号通知该客户设备中所要求的预解码器初始缓冲时间和预解码器缓冲器尺寸中的至少一个，从而确保每个可用的预编码的媒体流的正确回放。
26.按照权利要求16中的系统，其特征在于该客户设备被安排为响应于在流式会话期间由服务器用信号通知的所要求的预解码器缓冲器参数的改变而调整其预解码器初始缓冲时间以及其预解码器缓冲器尺寸之一或者两者。
27.按照权利要求16中的系统，其特征在于该服务器被安排为调整从服务器到客户设备的数据分组的传输时间，以便确保所传送的数据分组流不超过客户设备中该预解码器缓冲器的缓冲能力。
28.按照权利要求16中的系统，其特征在于该服务器被安排为调整编码和分组化该媒体数据的方式，以便确保所传送的数据分组流不超过该客户设备中的预解码器缓冲器的缓冲能力。
29.按照权利要求16中的系统，其特征在于该客户设备是以下之一：一个无线终端、一个桌上型计算机、一个膝上型计算机或者一个机顶盒。
30.一种接收从一个服务器经一个网络发送的多个数据分组作为数据分组流的客户设备，该客户设备包括：
-一个传输解码器(100)，用于从所接收的数据分组提取媒体数据；
-一个预解码器缓冲器(110)，用于临时缓冲该媒体数据；以及
-一个源解码器(120)，用于将媒体数据解码为未压缩的数据格式；
其特征在于，
该客户设备被安排为按照缓冲算法将该媒体数据缓冲于该预解码器缓冲器中，该缓冲算法的行为受到一预解码器初始缓冲时间和一最小预解码器缓冲器尺寸的影响，在通过恒定时延的可靠传输网络传送该数据分组流时，需要该最小预解码器缓冲器尺寸来在该客户设备处提供该媒体数据的正确回放。
31.按照权利要求30中的客户设备，其特征在于，该客户设备还被安排为发送信令到该服务器，以指示预解码器初始缓冲时间和最小的预解码器缓冲器尺寸之一或者两者，以便由该服务器用来按照缓冲算法验证所传送的数据分组流。
32.按照权利要求30中的客户设备，其特征在于，为客户设备的预解码器缓冲器定义一个默认的预解码器初始缓冲时间和一个默认的最小预解码器缓冲器尺寸。
33.按照权利要求32中的客户设备，其特征在于所述客户设备被安排成结合建立与该服务器的流式会话，用信号将默认的预解码器初始缓冲时间和默认的最小预解码器缓冲器尺寸中的一个或者两个通知给该服务器。
34.按照权利要求33中的客户设备，其特征在于该客户设备被安排为如果它的预解码器缓冲能力优于由所述默认值定义的那些，则用信号向服务器通知这些能力。
35.按照权利要求30中的客户设备，其特征在于客户设备被安排为响应于从服务器接收到的一个被要求的预解码器初始缓冲时间的指示而调整它的预解码器初始缓冲时间。
36.按照权利要求30中的客户设备，其特征在于客户设备被安排为响应于从服务器接收到的一个被要求的预解码器缓冲器尺寸的指示而调整它的预解码器缓冲器尺寸。
37.按照权利要求30中的客户设备，其特征在于，该客户设备被安排为：
-从服务器接收信令，指示提供代表相同媒体内容的多个不同预编码媒体流中每个的正确回放所要求的预解码器初始缓冲时间和预解码器缓冲器尺寸中的至少一个；
-选择不同的预编码的媒体流之一用于在客户处回放；以及
-按照所选定的媒体流的要求来调整其预编码器初始缓冲时间和预编码器缓冲器尺寸。
38.按照权利要求30中的客户设备，其特征在于该客户设备被安排为响应于在流式会话期间由服务器用信号通知的所要求的预解码器缓冲器参数的改变而调整其预解码器初始缓冲时间以及其预解码器缓冲器尺寸之一或者两者。
39.按照权利要求30中的客户设备，其特征在于它是以下之一：一个无线终端、一个桌上型电脑、一个膝上型电脑或者一个机顶盒。
40.一种通过网络发送多个数据分组作为数据分组流到一个客户设备的服务器，该客户设备包括：
-一个传输解码器(100)，用于从接收的数据分组中提取媒体数据；
-一个预解码器缓冲器(110)，用于临时缓冲该媒体数据；以及
-一个源解码器(120)，用于将媒体数据解码为未压缩的数据格式；
其特征在于：
该服务器被安排为验证从服务器通过该网络传送到客户设备的数据分组流遵照缓冲算法，该缓冲算法的行为受到一预解码器初始缓冲时间和一最小预解码器缓冲器尺寸的影响，在通过恒定时延的可靠传输网络传送该数据分组流时，需要该最小预解码器缓冲器尺寸来在该客户设备处提供该媒体数据的正确回放。
41.按照权利要求40中的服务器，其特征在于，该服务器还被安排为从客户设备接收一信令，指示预解码器初始缓冲时间和最小的预解码器缓冲器尺寸之一或者两者，并且使用该用信号传送的预解码器初始缓冲时间和/或最小预解码器缓冲器尺寸、按照缓冲算法验证所传送的数据分组流。
42.按照权利要求40中的服务器，其特征在于，为客户设备的预解码器缓冲器定义一个默认的预解码器初始缓冲时间和一个默认的最小预解码器缓冲器尺寸；以及该服务器被安排为使用所述默认的值、按照该缓冲算法来验证所传送的数据分组流。
43.按照权利要求40中的服务器，其特征在于，该服务器被安排为结合建立一个流式会话，接收所述指示默认的预解码器初始缓冲时间和默认的最小预解码器缓冲器尺寸中的一个或者两个的信令。
44.按照权利要求42中的服务器，其特征在于该默认的预解码器初始缓冲时间和默认的最小预解码器缓冲器尺寸被隐含地定义。
45.按照权利要求40中的服务器，其特征在于该服务器被安排为从一个能力服务器检索该客户设备的预解码器缓冲能力。
46.按照权利要求40中的服务器，其特征在于服务器被安排为提供一个被要求的预解码器初始缓冲时间的指示给客户设备。
47.按照权利要求40中的服务器，其特征在于服务器被安排为提供一个被要求的预解码器缓冲器尺寸的指示给客户设备。
48.按照权利要求40中的服务器，其特征在于服务器被提供以代表相同媒体内容的多个不同的预编码的媒体流，并且被安排为用信号通知该客户设备中所要求的预解码器初始缓冲时间和预解码器缓冲器尺寸中的至少一个，从而确保每个可用的预编码的媒体流的正确回放。
49.按照权利要求40中的服务器，其特征在于该服务器被安排为在流式会话期间用信号将所要求的预解码器缓冲器参数的改变通知给客户设备。
50.按照权利要求40中的服务器，其特征在于该服务器被安排为调整从服务器到客户设备的数据分组的传输时间，以便确保所传送的数据分组流不超过客户设备中该预解码器缓冲器的缓冲能力。
51.按照权利要求40中的服务器，其特征在于该服务器被安排为调整编码和分组化该媒体数据的方式，以便确保所传送的数据分组流不超过该客户设备中的预解码器缓冲器的缓冲能力。
CNB028047648A 2001-02-08 2002-02-08 用于缓冲流式化数据的方法和系统 Expired - Lifetime CN100504757C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20010239A FI118830B (fi) 2001-02-08 2001-02-08 Tietovirran toisto
FI20010239 2001-02-08

Publications (2)

Publication Number Publication Date
CN1491381A CN1491381A (zh) 2004-04-21
CN100504757C true CN100504757C (zh) 2009-06-24

Family

ID=8560281

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028047648A Expired - Lifetime CN100504757C (zh) 2001-02-08 2002-02-08 用于缓冲流式化数据的方法和系统

Country Status (18)

Country Link
US (1) US7421508B2 (zh)
EP (3) EP2159684B1 (zh)
JP (2) JP2004525556A (zh)
KR (1) KR100629158B1 (zh)
CN (1) CN100504757C (zh)
AT (2) ATE310275T1 (zh)
AU (1) AU2002231829B2 (zh)
BR (1) BRPI0206630B1 (zh)
CA (1) CA2435936C (zh)
DE (2) DE60207381T2 (zh)
EE (1) EE04862B1 (zh)
FI (1) FI118830B (zh)
HU (1) HUP0302621A3 (zh)
MX (1) MXPA03007096A (zh)
RU (1) RU2302032C2 (zh)
SG (1) SG148844A1 (zh)
WO (1) WO2002063461A1 (zh)
ZA (1) ZA200306100B (zh)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
AU2002353301A1 (en) * 2001-11-21 2003-06-10 Canon Kabushiki Kaisha Method and device for determining at least one multimedia data encoding parameter
JP2004015114A (ja) * 2002-06-03 2004-01-15 Funai Electric Co Ltd デジタル放送記録装置及びそれを備えたデジタル放送システム
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP1532540A4 (en) * 2002-07-16 2010-06-02 Nokia Corp METHOD FOR ENHANCING PACKET TRANSFER DELAY COMPENSATION IN MULTIMEDIA STR MEN
JPWO2004019521A1 (ja) * 2002-07-31 2005-12-15 シャープ株式会社 データ通信装置、その間欠通信方法、その方法を記載するプログラム、及びそのプログラムを記録する記録媒体
WO2004034589A2 (en) 2002-10-05 2004-04-22 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
KR100926711B1 (ko) 2003-02-07 2009-11-17 엘지전자 주식회사 멀티미디어 데이터 송수신 방법
EP1593107A4 (en) * 2003-02-13 2010-08-18 Nokia Corp METHOD OF SIGNALING CLIENT RATING CAPACITY IN MULTIMEDIA STREAMING
JP2006518127A (ja) * 2003-02-18 2006-08-03 ノキア コーポレイション ピクチャ復号化方法
AU2004214313B2 (en) * 2003-02-18 2010-05-20 Nokia Technologies Oy Picture coding method
US7353284B2 (en) * 2003-06-13 2008-04-01 Apple Inc. Synchronized transmission of audio and video data from a computer to a client via an interface
KR100651566B1 (ko) * 2003-08-26 2006-11-28 삼성전자주식회사 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법
CN100412832C (zh) * 2003-09-02 2008-08-20 竺红卫 一种基于优先级调度的非均匀多媒体流传输调度方法
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
CN101834610B (zh) 2003-10-06 2013-01-30 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法和装置
KR101014233B1 (ko) * 2003-10-22 2011-02-14 엘지전자 주식회사 대화형 광디스크의 부가 오디오 파일 관리 및 재생방법
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7296205B2 (en) * 2004-02-18 2007-11-13 Nokia Corporation Data repair
KR101145261B1 (ko) * 2004-02-27 2012-05-24 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
KR101161193B1 (ko) 2004-05-07 2012-07-02 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
US9219729B2 (en) * 2004-05-19 2015-12-22 Philip Drope Multimedia network system with content importation, content exportation, and integrated content management
US9124907B2 (en) * 2004-10-04 2015-09-01 Nokia Technologies Oy Picture buffering method
US7447978B2 (en) * 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
US8218439B2 (en) * 2004-11-24 2012-07-10 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
US7536469B2 (en) * 2004-12-10 2009-05-19 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a limited number of supported coding bit rates
US20060143678A1 (en) * 2004-12-10 2006-06-29 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a linear quadratic control technique and leaky bucket model
US7543073B2 (en) * 2004-12-10 2009-06-02 Microsoft Corporation System and process for performing an exponentially weighted moving average on streaming data to establish a moving average bit rate
TWI401918B (zh) * 2005-02-03 2013-07-11 Nokia Corp 傳送指示接收器緩衝架構之緩衝參數信號的通訊方法
EP1867079A4 (en) * 2005-04-07 2009-12-09 Nokia Corp BUFFER STORAGE DURING CONTINUOUS DISTRIBUTION
US7613112B2 (en) * 2005-06-28 2009-11-03 Nokia Corporation Optimizing playback startup time of bursty real-time streams
US7864814B2 (en) * 2005-11-07 2011-01-04 Telefonaktiebolaget Lm Ericsson (Publ) Control mechanism for adaptive play-out with state recovery
US8788933B2 (en) * 2005-12-01 2014-07-22 Nokia Corporation Time-shifted presentation of media streams
JP5550834B2 (ja) * 2006-02-13 2014-07-16 デジタル ファウンテン， インコーポレイテッド 可変ｆｅｃオーバヘッド及び保護期間を利用したストリーミング及びバッファリング
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
WO2007133697A2 (en) * 2006-05-11 2007-11-22 Cfph, Llc Methods and apparatus for electronic file use and management
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
FR2907990B1 (fr) 2006-10-27 2009-04-17 Envivio France Entpr Uniperson Encodeur temps-reel contraint en debit et en delai,procede, produit programme d'ordinateur et moyen de stockage correspondants.
US7962637B2 (en) * 2006-11-03 2011-06-14 Apple Computer, Inc. Dynamic adjustments of video streams
US8069260B2 (en) * 2007-01-12 2011-11-29 Microsoft Corporation Dynamic buffer settings for media playback
US8914529B2 (en) * 2007-01-22 2014-12-16 Microsoft Corporation Dynamically adapting media content streaming and playback parameters for existing streaming and playback conditions
GB0705329D0 (en) 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
US20100135194A1 (en) * 2007-03-27 2010-06-03 Mitsuhiro Kubota Mobile communication system, network apparatus, and packet sequence control method
US9148628B2 (en) * 2007-08-16 2015-09-29 Yahoo! Inc. Intelligent media buffering based on input focus proximity
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
WO2009047713A2 (en) * 2007-10-11 2009-04-16 Nxp B.V. Method and system for controlling the admission of a storage means to a perpheral bus of a data reproduction system
RU2447489C1 (ru) * 2008-02-20 2012-04-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Устройство и способ конструирования единицы данных, которая включает в себя информацию состояния буфера
US8126048B2 (en) * 2008-03-18 2012-02-28 Seiko Epson Corporation Recording streaming delta-encoded data
US8139923B2 (en) * 2008-03-19 2012-03-20 Seiko Epson Corporation Playback of recorded streaming delta-encoded data
EP2129130A1 (fr) * 2008-05-26 2009-12-02 THOMSON Licensing Procédé de transmission simplifié d'un flux de signaux entre un émetteur et un appareil électronique
US8379083B1 (en) * 2008-07-17 2013-02-19 Sprint Communications Company L.P. Simultaneous viewing and reliable recording of multimedia content over a network
JP5135147B2 (ja) * 2008-09-29 2013-01-30 富士フイルム株式会社 動画ファイル送信サーバおよびその動作制御方法
JP5077181B2 (ja) * 2008-10-14 2012-11-21 ソニー株式会社 情報受信装置、情報送信装置および情報通信システム
KR101019594B1 (ko) 2008-11-10 2011-03-07 주식회사 케이티 스트리밍 서비스의 버퍼링 시간을 조정하기 위한 시스템 및그 방법
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
JP5278059B2 (ja) * 2009-03-13 2013-09-04 ソニー株式会社 情報処理装置及び方法、プログラム、並びに情報処理システム
US9357568B2 (en) 2009-06-16 2016-05-31 Futurewei Technologies, Inc. System and method for adapting an application source rate to a load condition
US20100329355A1 (en) * 2009-06-30 2010-12-30 Nxp B.V System and method for configurable packet streaming
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
JP5482178B2 (ja) * 2009-12-16 2014-04-23 ソニー株式会社 送信装置および方法、並びに、受信装置および方法
CN102111808B (zh) 2009-12-25 2012-04-25 华为技术有限公司 一种报告缓存数据量的方法及装置
TWI400949B (zh) * 2010-04-06 2013-07-01 Hon Hai Prec Ind Co Ltd 媒體資料播放裝置及其重播方法
US8301794B2 (en) * 2010-04-16 2012-10-30 Microsoft Corporation Media content improved playback quality
US8532804B2 (en) * 2010-06-18 2013-09-10 Microsoft Corporation Predictive resampler scheduler algorithm
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
KR20120034550A (ko) * 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US9467493B2 (en) 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
KR101739272B1 (ko) 2011-01-18 2017-05-24 삼성전자주식회사 멀티미디어 스트리밍 시스템에서 컨텐트의 저장 및 재생을 위한 장치 및 방법
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
KR20120108564A (ko) * 2011-03-24 2012-10-05 삼성전자주식회사 데이터 처리 시스템 및 그 동작 방법
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
GB2520866B (en) * 2011-10-25 2016-05-18 Skype Ltd Jitter buffer
GB2495929B (en) 2011-10-25 2014-09-03 Skype Jitter buffer
GB2495928B (en) 2011-10-25 2016-06-15 Skype Jitter buffer
MX356063B (es) 2011-11-18 2018-05-14 Sirius Xm Radio Inc Sistemas y metodos que implementan la transicion gradual, los intersticiales y otros efectos corriente abajo.
WO2013158787A1 (en) 2012-04-17 2013-10-24 Sirius Xm Radio Inc. Server side crossfade for progressive download media
EP2608558A1 (en) * 2011-12-22 2013-06-26 Thomson Licensing System and method for adaptive streaming in a multipath environment
US20150309844A1 (en) 2012-03-06 2015-10-29 Sirius Xm Radio Inc. Systems and Methods for Audio Attribute Mapping
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
CN103476062B (zh) * 2012-06-06 2015-05-27 华为技术有限公司 一种数据流调度的方法、设备和系统
US9246970B2 (en) * 2014-02-14 2016-01-26 GM Global Technology Operations LLC System and method for compensating for delay and jitter
US10283091B2 (en) 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
KR102350504B1 (ko) * 2015-04-27 2022-01-14 삼성전자주식회사 통신 시스템에서 하향링크 전송률 제어를 위한 장치 및 방법
WO2020048617A1 (en) 2018-09-07 2020-03-12 Telefonaktiebolaget Lm Ericsson (Publ) Latency efficient streaming of video frames for machine vision over an ip network
EP4373105A3 (en) * 2019-10-14 2024-05-29 Google Llc Methods, systems, and media for streaming video content using adaptive buffers

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5014265A (en) 1989-11-30 1991-05-07 At&T Bell Laboratories Method and apparatus for congestion control in a data network
DE69222754T2 (de) * 1992-03-27 1998-02-26 Alsthom Cge Alcatel Videodekoder
JPH0652666A (ja) * 1992-07-31 1994-02-25 Matsushita Electric Ind Co Ltd マルチメディア再生装置
US5363097A (en) * 1992-09-14 1994-11-08 Industrial Technology Research Institute Direct sequential-bit variable length decoder
EP0708567B1 (en) 1994-10-21 2009-12-23 AT&T Corp. Method of video buffer synchronization
US5913031A (en) * 1994-12-02 1999-06-15 U.S. Philips Corporation Encoder system level buffer management
US5606369A (en) * 1994-12-28 1997-02-25 U.S. Philips Corporation Buffering for digital video signal encoders using joint bit-rate control
JP3060877B2 (ja) * 1995-02-20 2000-07-10 日本ビクター株式会社 マルチメディアシナリオ再生装置
US5808607A (en) * 1995-04-07 1998-09-15 International Business Machines Corporation Multi-node media server that provides video to a plurality of terminals from a single buffer when video requests are close in time
JPH09186966A (ja) 1995-12-25 1997-07-15 Texas Instr Inc <Ti> ビデオ再生方法及び再生システム
US5790792A (en) * 1996-09-04 1998-08-04 Radiant Systems, Inc. Method and apparatus for transmitting multimedia data from and application logic server to interactive multimedia workstations
US6011590A (en) * 1997-01-03 2000-01-04 Ncr Corporation Method of transmitting compressed information to minimize buffer space
US5892980A (en) 1997-02-28 1999-04-06 Comsys Communication And Signal Processing Ltd. System for dynamically changing the length of transmit and receive sample buffers utilizing previous responding to an interrupt in a communications system
JPH10285591A (ja) 1997-04-02 1998-10-23 Hitachi Denshi Ltd 映像信号伝送方法およびその装置
US6175871B1 (en) * 1997-10-01 2001-01-16 3Com Corporation Method and apparatus for real time communication over packet networks
US6301258B1 (en) 1997-12-04 2001-10-09 At&T Corp. Low-latency buffering for packet telephony
JP2000228669A (ja) * 1999-02-08 2000-08-15 Hitachi Ltd ストリーム配送システムにおけるストリームデータ配送方法
US6792615B1 (en) * 1999-05-19 2004-09-14 New Horizons Telecasting, Inc. Encapsulated, streaming media automation and distribution system
ATE349113T1 (de) 2000-04-14 2007-01-15 Cit Alcatel Selbstanpassender zitterspufferspeicher
CA2312333A1 (en) * 2000-06-21 2001-12-21 Kimihiko E. Sato Multimedia compression, coding and transmission method and apparatus
JP4596693B2 (ja) * 2000-07-06 2010-12-08 パナソニック株式会社 ストリーミング方法およびそれを実行するシステム
US7310678B2 (en) * 2000-07-28 2007-12-18 Kasenna, Inc. System, server, and method for variable bit rate multimedia streaming
US6768499B2 (en) * 2000-12-06 2004-07-27 Microsoft Corporation Methods and systems for processing media content
US6823394B2 (en) * 2000-12-12 2004-11-23 Washington University Method of resource-efficient and scalable streaming media distribution for asynchronous receivers
US6842433B2 (en) * 2001-04-24 2005-01-11 Wideray Corporation System and method for communicating information from a computerized distributor to portable computing devices

Also Published As

Publication number Publication date
DE60207381T2 (de) 2006-08-24
MXPA03007096A (es) 2003-11-18
HUP0302621A3 (en) 2005-08-29
JP2004525556A (ja) 2004-08-19
FI20010239A0 (fi) 2001-02-08
JP4690280B2 (ja) 2011-06-01
KR100629158B1 (ko) 2006-09-27
EP2159684B1 (en) 2013-05-22
ZA200306100B (en) 2004-09-06
EE200300316A (et) 2003-10-15
FI118830B (fi) 2008-03-31
CN1491381A (zh) 2004-04-21
DE60207381D1 (de) 2005-12-22
RU2302032C2 (ru) 2007-06-27
ATE310275T1 (de) 2005-12-15
EP1605347B1 (en) 2009-07-29
US7421508B2 (en) 2008-09-02
AU2002231829B2 (en) 2008-06-26
DE60233177D1 (de) 2009-09-10
BRPI0206630B1 (pt) 2016-11-29
EP2159684A3 (en) 2010-03-10
US20020105951A1 (en) 2002-08-08
EP1358542B1 (en) 2005-11-16
EP2159684A2 (en) 2010-03-03
WO2002063461A1 (en) 2002-08-15
HUP0302621A2 (hu) 2003-11-28
KR20030071815A (ko) 2003-09-06
BR0206630A (pt) 2004-02-17
EP1358542A1 (en) 2003-11-05
JP2006345582A (ja) 2006-12-21
FI20010239A (fi) 2002-08-09
EP1605347A1 (en) 2005-12-14
EE04862B1 (et) 2007-06-15
ATE438136T1 (de) 2009-08-15
CA2435936C (en) 2013-04-16
RU2003127066A (ru) 2005-01-10
SG148844A1 (en) 2009-01-29
CA2435936A1 (en) 2002-08-15

Similar Documents

Publication Publication Date Title
CN100504757C (zh) 用于缓冲流式化数据的方法和系统
AU2002231829A1 (en) Method and system for buffering streamed data
US5867230A (en) System, device, and method for streaming a multimedia file encoded at a variable bitrate
CN100420250C (zh) 通信设备操作方法、数据呈现方法和设备
JP4965059B2 (ja) ビデオストリームの切り替え
US7652994B2 (en) Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels
CN101690078B (zh) 多视频流传输中的带宽分配控制
EP1514378B1 (en) Multimedia server with simple adaptation to dynamic network loss conditions
US7111058B1 (en) Server and method for transmitting streaming media to client through a congested network
US20070195878A1 (en) Device and method for receiving video data
MXPA05000594A (es) Metodo para permitir la compensacion del retardo de transferencia del paquete en emision en continua para multimedia.
CN101562615A (zh) 基于mpeg-4编码的多媒体数据流自适应网络带宽的传输方法
CN102217272A (zh) 产生数据流的编码器和方法
CN102130886A (zh) 网络视频流媒体系统及传输处理方法、发送端和接收端
CN106162257B (zh) 一种实时视频的自适应网络传输优化方法
WO1999000978A1 (en) System and device for, and method of, encoding video information for improved streaming thereof
KR100437168B1 (ko) 엠펙-4 시스템 기반의 통신방법
Masala et al. Variable time-scale streaming for multimedia transmission over IP networks
KR20050019880A (ko) 멀티미디어 스트리밍에서 패킷 전달 지연 보상을 가능하게하기 위한 방법
Nilsson et al. Adaptive multimedia streaming over IP

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160114

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20090624