CN101048768A - 用于自适应媒体服务的多种描述提示和交换 - Google Patents

用于自适应媒体服务的多种描述提示和交换 Download PDF

Info

Publication number
CN101048768A
CN101048768A CNA2004800020279A CN200480002027A CN101048768A CN 101048768 A CN101048768 A CN 101048768A CN A2004800020279 A CNA2004800020279 A CN A2004800020279A CN 200480002027 A CN200480002027 A CN 200480002027A CN 101048768 A CN101048768 A CN 101048768A
Authority
CN
China
Prior art keywords
data
stream
encapsulation
stream condition
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800020279A
Other languages
English (en)
Other versions
CN100485653C (zh
Inventor
莉萨·阿米尼
帕斯卡尔·弗罗萨
奥利维尔·弗斯切尔
彼得·韦斯特林克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hulu LLC
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN101048768A publication Critical patent/CN101048768A/zh
Application granted granted Critical
Publication of CN100485653C publication Critical patent/CN100485653C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

一种用于通过具有变化的流条件的通信网络(400)来对数据进行流式传输的系统(101)和方法(101、201、301)，包括：调节单元(100)，用于通过创建多个表示来调节数据；封装单元(200)，响应于该调节单元，用于封装(201)多个调节后的数据表示；媒体服务器(300)，响应于该封装装置，用于监视至少一个当前的流条件，并且根据所监视的至少一个当前的流条件来选择最合适的封装调节后的数据表示；以及通信网络(400)，响应于该媒体服务器，用于对所选择的封装调节后的数据表示进行流式传输(301)。

Description

用于自适应媒体服务的多种描述提示和交换
背景技术
媒体压缩和传送为多媒体通信提供了不可缺少的形式。存在多种应用，包括数字TV、视频点播、视频电子邮件、视频电话、视频会议以及富媒体(rich media)电子教学。这些应用最显著的例证就是基于IP的万维网和无线通信服务。由于通过电缆和数字用户环路调制解调器可以获得更高的接入带宽，通过大规模地部署IP多点传送降低了服务器和网络的负荷，并且增加了骨干带宽，因此可以预见，在不久的将来，富媒体通信将发展更快并且分布更广。
遗憾的是，与可以为连接提供有保证的服务质量(“QoS”)的诸如ISDN之类的更传统的网络不同，基于IP的因特网和无线网络都是相对不可靠的。目前，因特网和无线网络不提供QoS保证。由于技术和经济的限制，对所有富媒体流全部进行QoS保证传输是不可能的，并且可能这样持续相当长的时间。不可避免的分组丢失、比特错误、突发错误、延迟以及抖动使通过该有损网络(lossy network)进行富媒体的有效传输成为一个挑战性的任务。这些网络特性影响压缩比特流的传输，改变端到端质量的性质，并且基本上都要求更新富媒体传送系统的设计。
因此，希望媒体服务器能够使内容适应当前的条件。自适应的媒体服务是本发明的焦点。例如，如果客户要求通过有损无线信道逐步地传送视频序列，则媒体服务器应当使流式传输的内容同时适应变化的分组丢失率和可用的信道速率。这种自适应将产生较好的用户经验。尤其希望该自适应不再要求媒体服务器具有巨大的处理能力，这就是典型的在线代码交换技术的情况。
发明内容
用于自适应媒体服务的多种描述提示和交换的系统和方法解决了现有技术的这些和其他缺点以及不利方面。
该系统包括用于通过创建多个表示来调节数据的调节单元，响应于该调节单元的用于封装多个调节后的数据表示的封装单元，响应于该封装装置的用于监视至少一个当前的流条件并根据所监视的至少一个当前的流条件选择最合适的封装调节后的数据表示的媒体服务器，以及响应于该媒体服务器的用于对所选择的封装调节后的数据表示进行流式传输(streaming)的通信网络。
相应的方法包括通过创建多个表示来调节数据，封装多个调节后的数据表示，监视至少一个当前的流条件，根据所监视的至少一个当前的流条件选择最合适的封装调节后的数据表示，以及对所选择的封装调节后的数据表示进行流式传输。
根据以下可结合附图对示例性实施例的描述，本发明的这些和其他方面、特征和优点将变得显而易见。
附图说明
根据下面的示例性附图，本发明讲述了一种用于自适应媒体服务的多种描述提示和交换的系统和方法，其中：
图1示出了用于根据本发明优选实施例的系统的示意框图；
图2示出了用于根据图1的封装的流程图；
图3示出了用于根据图1的对封装的给定元数据进行流式传输的流程图；
图4示出了一组示意性的连续描述，其中每个描述都是即将由服务器传送的压缩存取单元，例如，从i-2到i+4的描述可以代表视频剪辑的视频帧；
图5示出了每个存取单元具有一个描述的一组示意性的连续描述，其中无论所监视和/或计算的运行条件xc如何，媒体服务器都连续地发送这些描述，这可能使得对与|x-xc|成正比的幅度的感知能力发生退化；
图6示出了一组示意性的离散目标运行条件xci，诸如用于来自真实网络的真实流(Sure-Streaming)；
图7示出了一组示意性的连续描述，其中描述i由其特性p描述，并且其中所列的特性(例如类型、大小、失真、健壮性)仅仅是示例性的；
图8示出了具有附加在每个描述上的元数据的一组示意性的连续描述，该元数据描述了该描述的特性；
图9示出了一组示意性的连续描述，其中媒体服务器分析与所考虑的存取单元有关的所有描述的元数据，并且根据所监视和/或计算的运行条件判断传送哪个描述；以及
图10示出了一组示意性的连续描述，其中Dk i(.)表示MSE(Di k)(：)，并且考虑存取单元i+1，在描述2处计算由αi+1 2(k)表示的值Ni＝3，其中k在[0，Ni中，并且存储这些Ni值并使描述j保持为 j = arg max k D i + 1 2 ( k ) , 在时间i+1上具有最大失真并且由Di+1 2表示描述2。
具体实施方式
本发明提供了一种用于自适应媒体服务的多种描述提示和交换的系统和方法。在下面的描述中，预先定义了以下术语：
存取单元：存取单元是应用了本发明实施例的媒体单元，诸如视频序列中的视频图像或音轨中的音频帧。
描述：描述是即将由服务器传送的压缩的存取单元。
描述特性：与特定的描述相关的特性向量，该向量由“p”表示。该向量以依照本发明的特定实现或实施例的方式描述特定的描述。
运行条件：服务器必须适应的实际条件向量，该向量由“xc”表示。
本发明的实施例将一条信息或“元数据”附加到每个单独的描述中。该元数据以依照描述选择算法的实现的方式体现了一个描述在描述特性方面的特征。媒体服务器分析与所考虑的存取单元有关的所有描述的元数据，并且根据所监视和/或计算的运行条件xc判断传送哪个描述。也就是说，不同的描述中不存在预先定义的轨道。作为替代，媒体服务器在每个时刻或存取单元的持续时间上拾取具有特性p的最合适的描述，使得|x(p)-xc|在预先设置的约束条件下最小。
如图1所示，参考标号101一般地表示本发明的系统的实施例。系统101包括用于接收数据的调节工具100、与调节工具100进行信号通信的封装工具200以及与封装工具200和因特网400进行信号通信的媒体服务器300。该调节工具100接收源数据并且将该源数据分成一系列数据单元(例如，将视频流分成一系列视频帧)。然后，给定一组期望的运行条件，该调节工具创建每个数据单元的多种版本，每个数据单元可能具有可变数量的版本，。
转向图2，参考标号201一般地表示用于根据图1的封装的流程图。初始化方框210将控制传递给计数器方框212，其接下来将控制传递给判决方框214。判决方框214检查计数器是否已经达到存取单元的数量，如果已经达到，则将控制传递给结束方框216。如果计数器还没有达到存取单元的数量，则判决方框214将控制传递给循环初始化方框218，其接下来将控制传递给功能方框220。在对应于由计数器方框212跟踪的时间的时间上，根据局部循环计数器，功能方框220检索描述的元数据，并且计算最大失真。内部循环计数器方框222从方框220接收控制，递增局部循环计数器，并且将控制传递给判决方框224。判决方框224检查局部循环计数器是否小于极限值，并且如果小于，则判决方框224将控制传递回控制功能方框220。
如果方框224确定局部循环计数器已经达到极限值，则将控制传递给循环初始化方框226。接下来，循环初始化方框226将控制传递给检索两个描述的功能方框228，检查先前计算的失真是否小于检索到的两个描述之间的失真，并且计算值α。功能方框228将控制传递给计数器方框230，其递增内部循环计数器，并且接下来将控制传递给判决方框232。判决方框232检查内部循环计数器是否小于极限值，并且如果小于，则判决方框232将控制传递回功能方框228。如果判决方框232发现内部循环计数器已经达到了极限值，则将控制传递给外部计数器方框234，其接下来将控制传递给判决方框236。方框236检查外部循环计数器是否小于极限值，并且如果小于，则方框236将控制传递给功能方框228。如果判决方框236确定外部循环计数器已经达到了极限值，则判决方框236将控制传递给写方框238。接下来，写方框238写入元数据α并且将控制传递回计数器方框212。
因此，封装工具200将不同的版本封装到诸如磁盘上的文件中，并且附加元数据，使得流服务器可以轻松地确定这些版本中最合适的轨道，以达到当前所监视的运行条件(即图1中的xc)。
现在转向图3，参考标号301一般地表示用于具有来自根据图1的封装的给定元数据的流式传输的流程图。这里，初始化方框310将控制传递给计数器方框312，其接下来将控制传递给判决方框314。判决方框314检查计数器是否小于存取单元的数量，如果不小于，则将控制传递给结束方框316。如果计数器仍然小于存取单元的数量，则将控制传递给功能方框318，以计算运行约束R。功能方框318将控制传递给检索方框320，以检索当前的极限值Ni，并且接下来将控制传递给功能方框322。功能方框322检索当前的α并且计算描述的Ni失真值。功能方框324从功能方框322接收控制，选择对应于当前的计数器时间值的描述用于流式传输，并且将控制传递回计数器方框312。
因此，流服务器300周期性地从系统400测量当前的运行条件xc，通过系统400，可以对所封装的数据进行传输。用户进入并且请求先前调节和封装的数据。因此，流服务器从所封装的数据中读取数据，在时间t上检索不同的版本和所附加的元数据，并且对于时间0和时间T之间的所有时间t，计算版本的最合适的子集，以在时间t上发送给定的xc(即所封装数据的结尾)。
如图4所示，参考标号401一般地表示一组示意性的连续描述。这里，例如，从i-2到i+4的描述可以表示视频剪辑的压缩视频帧。每个存取单元有且仅有一个描述，以创建媒体流的典型单独编码。例如，如果未压缩的视频剪辑包括100个帧或存取单元，则压缩该视频剪辑会使每个视频帧被压缩一次，从而使100个描述用于一个一一映射。然后，将包含这100个描述的文件加载到媒体服务器上。
转向图5，参考标号501一般地表示每个存取单元具有一个描述的一组示意性的连续描述。无论所监视和/或计算的运行条件xc如何，媒体服务器都连续地发送这些描述，这可能使得对与|x-xc|成正比的幅度的感知能力发生退化。
当请求重放(playback)时，媒体服务器发送描述。由于通过数字地压缩存取单元而产生描述，因此压缩参数(例如CODEC、比特率)直接影响描述的特性(例如大小、失真)。因此，一组连续的描述最佳地达到且仅达到一组运行条件xc。我们用x表示一组连续的描述所达到的运行条件。
不按顺序先转向图7，参考标号701一般地表示一组示意性的连续描述，其中用其特性p来对描述i进行描述。这里，所列出的特性(例如类型、大小、失真、健壮性)仅仅是示例性的。x相当依赖于编码特性p。只要x不同于xc，那么当媒体服务器在实际的运行条件xc下发送达到条件x的描述时，表现质量就会降低。由于IP网络“尽力而为”(best effort)的性质，因此一般情况下，x不同于xc。其他人已经认识到了这个问题，并且已经提出了不同的解决方案。
第一种解决方案是在通过网络实际发送每个唯一的描述前获取该描述，并且在其上执行一些处理(例如代码交换算法)。尽管这种解决方案提供了一种精细的可测量的特性(一种可以使|x-xc|尽可能小的特性)，但它也引起大量的处理请求，并从而明显地降低了媒体服务器能够处理的并发流的数量。另一种解决方案为每个存取单元创建多个描述。本发明基于该范例。
现在转向图6，参考标号601一般地表示一组示意性的离散目标运行条件xci，诸如用于来自真实网络的真实流。存在依靠一组离散目标运行条件xi(例如来自真实网络的真实流)的实现。图6图解地描述了该思想。为每个存取单元创建多个(图中的四个)描述，使得描述的四个相异集合正好达到运行条件x1、x2、x3和x4。媒体服务器监视和/或计算运行条件xc，并且可以决定切换到描述xi的不同相异集合(图中i＝{0，1，2，3})。这种解决方案需要数量可忽略的额外的处理能力，但是自适应的精细程度直接影响到存储空间。
本发明的实施例结合了两方面的优点。也就是说，该实施例提供通用的结构，通过该结构，可以在可忽略对所需的处理能力的影响时获得精细的可测量度。
如将要一起描述的图8到图10所示，描述了优选实施例的操作，其中为特定的视频资源给出了一组描述D。δ表示恒定的帧间间隔。例如，每秒25帧的视频序列具有1/25秒的间隔δ。
如图8所示，参考标号801一般地表示一组示意性的连续描述。附加到每个描述的元数据用于对描述的特性进行描述。
如图9所示，参考标号901一般地表示一组示意性的连续描述，其中媒体服务器分析与所考虑的存取单元有关的所有描述的元数据，并且根据所监视和/或计算的运行条件决定传送哪个描述。
如图10所示，参考标号1001一般地表示一组示意性的连续描述，其中Di k(.)表示MSE(Di k)(：)，并且考虑存取单元i+1，在描述2处计算由αi+1 2(k)表示的值Ni＝3，其中k在[0，Ni中，并且存储这些Ni值并使描述j保持为 j = arg max k D i + 1 2 ( k ) , 其中在时间i+1上具有最大失真并且由Di+1 2表示描述2。
使Di j表示存取单元i的第j个描述，其中0＜＝j＜Ni并且0＜＝i＜A。例如，考虑图9。除了只有2个描述的存取单元i+2之外，所有存取单元都具有3个描述(即对于所有的i，Ni＝3不同于(i+2)并且Ni+2＝2)。在这个示例性实施例中，将运行约束向量定义为xc＝[R(i)]，其中R(i)是在时间i上可获得的信道速率。在本发明的替代的实施例中，运行约束向量可以包含更多元素。
该优选实施例的方法包括两部分：首先，我们确定了描述特性，并且建议了一种方法以计算它们的值；接着，给定当前的运行约束条件，我们建议了一种用于媒体服务器的方法以有效地使用这些特性。
作为描述特性，将描述特性向量定义为p＝[S，α]，其中S是以字节表示的描述的大小，而α是可能取间隔[-1，1]内的离散值的加权因子，其中以源失真表示偏差。在该例子中，我们假设时间i上的描述的源失真可以清零，但不能超过时间i-1上的描述的失真的两倍。在替代的实施例中，描述特性向量可以包含更多元素。另外，这里以及下面的α的计算也仅仅是示例性的。
大小S的计算是直接的。α的计算(参见图10)如下：用MSE(Di j)表示描述Di j的均方误差(MSE)。对于每个存取单元i，给定存取单元i-1的任何先前的描述0＜＝j＜Ni-1，我们计算存取单元i的每个描述0＜＝j＜Ni的MSE失真。对于所有0＜＝j＜N0并且N-1＝1，我们定义MSE(D-1 j)＝100。对于所有0＜＝j＜N-1并且N-1＝1，我们初始化MSE(D-1 j)＝100。然后，对于每个存取单元i，我们计算Ni×Ni-1的值。我们用MSE(Di j)(k)表示这些失真，其中k的范围从0到Ni-1。接下来，我们通过下面的公式计算参数αi j(k)：
αi j(k)＝MSE(Di j)(k)/MSE(Di-1 j)-1                      (1)
其中的k使得0＜＝k＜Ni-1并且MSE(Di-1 j)＝maxk(MSE(Di-1 j)(k))。
因此，用1+Ni×Ni-1的值完全地对描述进行描述，将该值存储为辅助信息(例如元数据)。
对于媒体服务器，考虑基于标准协议RTP/RTCP的流媒体。媒体服务器周期性地接收RTCP接收机报告信息，该信息包含连接所具有的分组丢失率和往返时间的评估。我们用rho和RTT分别表示分组丢失率和往返时间。我们用下面的公式计算R(i)：
R(i)＝(1.3×MTU)/(RTT×sqrt(rho))                (2)
其中MTU是在连接上使用的分组的大小。在时间点i上的每个存取单元，媒体服务器知道在时间i-1上已经选择了该描述。我们用k表示该描述的索引。然后，媒体服务器用Di j＝Di-1 k(1+αi k)计算Ni失真值Di j。最后媒体服务器在时间i上选择具有最小失真的描述k*，并使得大小Si k*小于或等于R(i)×δ。
因此，本发明覆盖了通过存取单元跳转的速率自适应，本发明的实施例为所有可跳转的存取单元创建额外的空描述(nulldescription)。本发明优选实施例的实现完全符合MPEG-4系列标准，从而可以直接应用于MP4客户播放器，诸如Quicktime 6.0、IBM JAVA播放器以及Real One。
根据这里的讲述，本领域的普通技术人员可以容易地确定本发明的这些和其他的特征和优点。应当理解，可以用硬件、软件、固件、专用处理器及其组合等不同形式来实现本发明讲述的内容。
可以用硬件和软件的结合来实现本发明讲述的内容。此外，在明确包含固件的程序存储单元中优选地实现软件。软件可以上载到包含任意合适结构的机器上并且由其实现。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输出(“I/O”)接口之类的硬件的计算机平台上实现该机器。该计算机平台也可以包括操作系统和微指令代码。这里所描述的各种处理和功能可以是微指令代码的一部分或软件的一部分，或者它们的任意组合，其可以由硬件来执行。另外，诸如附加数据存储单元之类的各种其他外设单元可以连接到该计算机平台。
应当进一步理解，因为附图所示的一些系统构成组件和方法优选地用软件来实现，所以根据对本发明进行编程实现的方式，系统组件或处理功能模块之间的实际连接可以不同。根据这里给出的讲述，本领域的普通技术人员能够想到本发明的这些和类似的实现或结构。
虽然已经在这里参照附图描述了说明性的实施例，但应当理解，本发明并不局限于那些具体的实施例，本领域的普通技术人员可以进行各种改变和修改，而不脱离本发明的范围或本质。所有这些改变和修改都将包括在所附权利要求所阐明的本发明的范围中。

Claims (20)

1.一种通过具有变化的流条件的通信网络来对数据进行流式传输的方法(101)，所述方法包括：
通过创建多个表示来调节(100)数据；
封装(200、201)所述多个调节后的数据表示；
监视至少一个当前的流条件；
根据所监视的至少一个当前的流条件来选择最合适的封装调节后的数据表示；以及
对所选择的封装调节后的数据表示进行流式传输(301)。
2.根据权利要求1所述的方法，其中数据包括多个数据单元。
3.根据权利要求2所述的方法，其中多个数据单元是连续的。
4.根据权利要求2所述的方法，其中通过创建每个数据单元的多个表示来调节数据。
5.根据权利要求4所述的方法，其中对于给定的流条件的有限集合，通过预先计算不同数据单元中的轨道来封装调节后的数据表示。
6.根据权利要求5所述的方法，其中给定所监视的当前的流条件，所选择的最合适的封装调节后的数据表示对应于数据单元中最合适的轨道。
7.根据权利要求4所述的方法，其中给定当前的流条件，通过将元数据附加到每个数据单元来封装调节后的数据表示，使得流服务器能够以最小的代价来确定最合适的轨道。
8.根据权利要求7所述的方法，其中给定所监视的当前的流条件，所选择的最合适的封装调节后的数据表示对应于数据单元中最合适的轨道。
9.根据权利要求1所述的方法，其中所述数据包括视频流。
10.根据权利要求1所述的方法，其中所述通信网络包括数据网络。
11.根据权利要求1所述的方法，其中所述数据网络包括因特网。
12.根据权利要求1所述的方法，其中所述至少一个当前的流条件包括可用的数据信道带宽。
13.根据权利要求1所述的方法，其中所述至少一个当前的流条件包括所监视的数据分组丢失率。
14.根据权利要求1所述的方法，其中所述至少一个当前的流条件包括可用的流服务器输出带宽。
15.一种用于通过具有变化的流条件的通信网络来对数据进行流式传输的系统(101)，该系统包括：
调节装置(100)，用于通过创建多个表示来调节数据；
封装装置(200)，响应于调节装置，用于封装多个调节后的数据表示；
监视装置(300)，响应于封装装置，用于监视至少一个当前的流条件；
选择装置(300)，响应于监视装置，用于根据所监视的至少一个当前的流条件来选择最合适的被封装调节后的数据表示；
流装置(400)，响应于选择装置，用于对所选择的封装调节后的数据表示进行流式传输。
16.根据权利要求15所述的系统，其中：
所述调节装置包括调节单元；
所述封装装置包括与调节单元进行信号通信的封装单元；
所述监视装置包括与封装单元和通信网络进行信号通信的媒体服务器；
所述选择装置包括与封装单元和通信网络进行信号通信的媒体服务器；以及
所述的流装置至少包括媒体服务器和通信网络之一。
17.根据权利要求16所述的系统，其中对于给定的流条件的有限集合，封装单元预先计算不同数据单元中的轨道。
18.根据权利要求16所述的系统，其中给定当前的流条件，封装单元将元数据附加到多个数据单元中的每一个数据单元，使得流服务器能够以最小的代价来确定最合适的轨道。
19.一种机器(300)可读程序存储设备，实际包含机器可执行的程序指令，以执行程序步骤，用于通过具有变化的流条件的通信网络(400)来对数据进行流式传输，所述程序步骤包括：
通过创建多个表示来调节数据；
封装(201)所述多个调节后的数据表示；
监视至少一个当前的流条件；
根据所监视的至少一个当前的流条件来选择最合适的封装调节后的数据表示；以及
对所选择的封装调节后的数据表示进行流式传输(301)。
20.根据权利要求19所述的程序存储设备，其中所述至少一个当前的流条件包括至少一个可用的数据信道带宽、所监视的数据分组丢失率以及可用的流服务器输出带宽。
CNB2004800020279A 2003-04-03 2004-03-08 用于自适应媒体服务的多种描述提示和交换 Expired - Lifetime CN100485653C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/406,715 US7526565B2 (en) 2003-04-03 2003-04-03 Multiple description hinting and switching for adaptive media services
US10/406,715 2003-04-03

Publications (2)

Publication Number Publication Date
CN101048768A true CN101048768A (zh) 2007-10-03
CN100485653C CN100485653C (zh) 2009-05-06

Family

ID=33097375

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800020279A Expired - Lifetime CN100485653C (zh) 2003-04-03 2004-03-08 用于自适应媒体服务的多种描述提示和交换

Country Status (8)

Country Link
US (1) US7526565B2 (zh)
EP (1) EP1611522A4 (zh)
JP (1) JP5015589B2 (zh)
KR (1) KR100714956B1 (zh)
CN (1) CN100485653C (zh)
CA (1) CA2516336C (zh)
TW (1) TWI342496B (zh)
WO (1) WO2004095761A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103858440A (zh) * 2011-08-31 2014-06-11 高通股份有限公司 在针对自适应http流的表示之间提供改进切换的切换信令方法
CN105743924A (zh) * 2007-11-01 2016-07-06 爱立信电话股份有限公司 无线分组网络中进行有效多媒体传递的方法和设备
CN104137505B (zh) * 2011-12-29 2017-12-05 皇家Kpn公司 实现对分段内容流式传输的网络发起的控制的方法和装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313236B2 (en) 2003-04-09 2007-12-25 International Business Machines Corporation Methods and apparatus for secure and adaptive delivery of multimedia content
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
US8868772B2 (en) * 2004-04-30 2014-10-21 Echostar Technologies L.L.C. Apparatus, system, and method for adaptive-rate shifting of streaming content
JP2007065928A (ja) * 2005-08-30 2007-03-15 Toshiba Corp 情報記憶媒体、情報処理方法、情報転送方法、情報再生方法、情報再生装置、情報記録方法、情報記録装置、及びプログラム
KR100631743B1 (ko) 2004-11-26 2006-10-11 삼성전자주식회사 스케일러블 비트스트림의 효율적 전송 방법 및 장치
US7477598B2 (en) * 2005-03-25 2009-01-13 International Business Machines Corporation Adaptive stream switching with minimized switching delay
WO2007025560A1 (en) * 2005-08-31 2007-03-08 Telefonaktiebolaget Lm Ericsson (Publ) Multimedia transport optimisation
US20070160127A1 (en) 2006-01-10 2007-07-12 International Business Machines Corporation Bandwidth adaptive stream selection
US7546377B2 (en) * 2006-08-10 2009-06-09 International Business Machines Corporation Alternate stream signaling for adaptive stream selection
US8467457B2 (en) * 2007-01-16 2013-06-18 Mobixell Networks (Israel) Ltd System and a method for controlling one or more signal sequences characteristics
US8407565B2 (en) * 2007-11-15 2013-03-26 Sk Planet Co., Ltd. System and method for producing importance rate-based rich media, and server applied to the same
US20110035442A1 (en) * 2008-04-10 2011-02-10 Telefonaktiebolaget Lm Ericsson (Publ) Adaption of Metadata Based on Network Conditions
US8971307B2 (en) 2012-12-20 2015-03-03 Cisco Technology, Inc. Noise ingress cancelation
EP2819013B1 (en) * 2013-06-24 2019-11-27 Alcatel Lucent Automated adaption of a Codec
US9756102B2 (en) * 2013-10-07 2017-09-05 Qualcomm Incorporated Request cancellation method for media streaming
US9606245B1 (en) 2015-03-24 2017-03-28 The Research Foundation For The State University Of New York Autonomous gamma, X-ray, and particle detector

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58193149U (ja) * 1982-06-21 1983-12-22 本田技研工業株式会社 トルクコンバ−タ用クラツチのダンパ装置
US5841432A (en) * 1996-02-09 1998-11-24 Carmel; Sharon Method and system of building and transmitting a data file for real time play of multimedia, particularly animation, and a data file for real time play of multimedia applications
EP0802037B1 (de) * 1996-04-20 2001-10-10 Georg Fischer Mössner GmbH Verbundbauteil
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
US5847760A (en) 1997-05-22 1998-12-08 Optibase Ltd. Method for managing video broadcast
US6128649A (en) * 1997-06-02 2000-10-03 Nortel Networks Limited Dynamic selection of media streams for display
US6014694A (en) 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6151636A (en) * 1997-12-12 2000-11-21 3Com Corporation Data and media communication through a lossy channel using signal conversion
JPH11187367A (ja) * 1997-12-19 1999-07-09 Nec Corp 映像送信装置，映像受信装置及びこれらを用いた映像伝送システム
US6807632B1 (en) * 1999-01-21 2004-10-19 Emc Corporation Content addressable information encapsulation, representation, and transfer
US6775652B1 (en) * 1998-06-30 2004-08-10 At&T Corp. Speech recognition over lossy transmission systems
US6226618B1 (en) * 1998-08-13 2001-05-01 International Business Machines Corporation Electronic content delivery system
JP3132482B2 (ja) * 1998-09-04 2001-02-05 日本電気株式会社 画像データ転送における転送レート制御方式及び方法
US6754266B2 (en) * 1998-10-09 2004-06-22 Microsoft Corporation Method and apparatus for use in transmitting video information over a communication network
US6529955B1 (en) * 1999-05-06 2003-03-04 Cisco Technology, Inc. Proxy session count limitation
US6879634B1 (en) 1999-05-26 2005-04-12 Bigband Networks Inc. Method and system for transmitting media streams over a variable bandwidth network
JP3628914B2 (ja) * 1999-06-29 2005-03-16 松下電器産業株式会社 資源予約管理装置
US6973475B2 (en) * 1999-09-18 2005-12-06 Wildtangent Dynamic scalable multi-media content streaming
JP3580192B2 (ja) * 1999-09-24 2004-10-20 株式会社日立情報システムズ 画像データ配信システムおよびそれに用いる記録媒体
US6587834B1 (en) * 2000-02-01 2003-07-01 Dixon, Iii James W. Method for promoting interest in a website
US7039189B1 (en) * 2000-03-17 2006-05-02 International Business Machines Corporation Stream continuity enforcement
US7031259B1 (en) * 2000-05-26 2006-04-18 Bigband Networks, Inc. Method and system for scheduling a transmission of compressible and non-compressible packets
US6813270B1 (en) * 2000-05-26 2004-11-02 Bigband Networks, Inc. Method and system for generating and providing delayed media unit sequences to end-users
US7260826B2 (en) * 2000-05-31 2007-08-21 Microsoft Corporation Resource allocation in multi-stream IP network for optimized quality of service
US7305486B2 (en) * 2000-06-30 2007-12-04 Kanad Ghose System and method for fast, reliable byte stream transport
US7624337B2 (en) * 2000-07-24 2009-11-24 Vmark, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US7277956B2 (en) * 2000-07-28 2007-10-02 Kasenna, Inc. System and method for improved utilization of bandwidth in a computer system serving multiple users
JP2002058007A (ja) * 2000-08-09 2002-02-22 Mitsubishi Electric Corp データ送信装置及びデータ伝送システム
US7280658B2 (en) * 2001-06-01 2007-10-09 International Business Machines Corporation Systems, methods, and computer program products for accelerated dynamic protection of data
US7216288B2 (en) * 2001-06-27 2007-05-08 International Business Machines Corporation Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system
WO2003041055A1 (en) * 2001-11-02 2003-05-15 The Regents Of The University Of California End-to-end distortion estimation for streaming of pre-compressed video
JP2003148590A (ja) * 2001-11-12 2003-05-21 Yutaka Giken Co Ltd ロックアップクラッチ付き流体伝動装置
US6628300B2 (en) * 2001-11-30 2003-09-30 International Business Machines Corporation Transcoding proxy and method for transcoding encoded streams
US6793052B2 (en) * 2002-01-24 2004-09-21 Yutaka Giken Co., Ltd. Torque converter
US7283966B2 (en) * 2002-03-07 2007-10-16 Microsoft Corporation Scalable audio communications utilizing rate-distortion based end-to-end bit allocation
US7249264B2 (en) * 2002-04-02 2007-07-24 International Business Machines Corporation Secure IP based streaming in a format independent manner
US7395355B2 (en) * 2002-07-11 2008-07-01 Akamai Technologies, Inc. Method for caching and delivery of compressed content in a content delivery network
US7802002B2 (en) * 2002-08-23 2010-09-21 Hewlett-Packard Development Company, L.P. Media data streaming considering performance characteristics of the streaming path
US8893174B2 (en) * 2002-12-16 2014-11-18 Centurylink Intellectual Property Llc Method and system for providing customized media content
US6938047B2 (en) * 2003-02-19 2005-08-30 Maui X-Stream, Inc. Methods, data structures, and systems for processing media data streams
US7313236B2 (en) * 2003-04-09 2007-12-25 International Business Machines Corporation Methods and apparatus for secure and adaptive delivery of multimedia content
US7228535B2 (en) * 2003-05-05 2007-06-05 International Business Machines Corporation Methods and apparatus for multimedia stream scheduling in resource-constrained environment

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105743924A (zh) * 2007-11-01 2016-07-06 爱立信电话股份有限公司 无线分组网络中进行有效多媒体传递的方法和设备
CN105743924B (zh) * 2007-11-01 2020-04-03 爱立信电话股份有限公司 无线ip网络中进行有效多媒体传递的方法和基站
CN103858440A (zh) * 2011-08-31 2014-06-11 高通股份有限公司 在针对自适应http流的表示之间提供改进切换的切换信令方法
CN103858440B (zh) * 2011-08-31 2017-10-31 高通股份有限公司 在针对自适应http流的表示之间提供改进切换的切换信令方法
CN104137505B (zh) * 2011-12-29 2017-12-05 皇家Kpn公司 实现对分段内容流式传输的网络发起的控制的方法和装置

Also Published As

Publication number Publication date
EP1611522A2 (en) 2006-01-04
JP2007525053A (ja) 2007-08-30
CA2516336C (en) 2010-07-13
JP5015589B2 (ja) 2012-08-29
CN100485653C (zh) 2009-05-06
US7526565B2 (en) 2009-04-28
CA2516336A1 (en) 2004-11-04
KR100714956B1 (ko) 2007-05-07
WO2004095761A2 (en) 2004-11-04
TW200502779A (en) 2005-01-16
WO2004095761A3 (en) 2004-12-16
EP1611522A4 (en) 2008-07-16
US20040199653A1 (en) 2004-10-07
TWI342496B (en) 2011-05-21
KR20060002811A (ko) 2006-01-09

Similar Documents

Publication Publication Date Title
CN101048768A (zh) 用于自适应媒体服务的多种描述提示和交换
US8606966B2 (en) Network adaptation of digital content
JP4965059B2 (ja) ビデオストリームの切り替え
US7594025B2 (en) Startup methods and apparatuses for use in streaming content
EP1438673B1 (en) System and method for communicating media signals
US8176199B2 (en) Content delivery system, communicating apparatus, communicating method, and program
JP3757857B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP5120943B2 (ja) コンテント提供装置、およびコンテント提供方法、クライアント、およびクライアントの情報処理方法、並びに、プログラム
US20100312828A1 (en) Server-controlled download of streaming media files
US20050123042A1 (en) Moving picture streaming file, method and system for moving picture streaming service of mobile communication terminal
US20130070839A1 (en) Statistical multiplexing of streaming media
CN1478349A (zh) 发送及接收实时数据
KR20010020498A (ko) 네트웍을 통한 적합한 비디오/오디오의 전송을 위한 시스템
RU2598805C2 (ru) Способ для динамической адаптации частоты следования битов при приеме и соответствующий приемник
US20050187960A1 (en) Stream server
US9665646B1 (en) Method and system for providing bit rate adaptaion to video files having metadata
US20020080873A1 (en) Method and apparatus for streaming video data
US20020167956A1 (en) Dynamic multimedia streaming using time-stamped remote instructions
CN114339445B (zh) 实时视频流自适应协调系统及方法
CN110881018B (zh) 媒体流的实时接收方法及客户端
Liu et al. Digital Twin-Assisted Adaptive Preloading for Short Video Streaming
Kamiss et al. Mpeg-Dash System via HTTP2 Protocol with HEVC Encoder for Video Streaming Services
Bolot et al. Sound and Video on the Web

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20161207

Address after: American California

Patentee after: HULU, LLC

Address before: New York grams of Armand

Patentee before: International Business Machines Corp.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: HULU LLC

Address before: California, USA

Patentee before: HULU, LLC

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20090506