CN101356828B - 媒体内容管理 - Google Patents

媒体内容管理 Download PDF

Info

Publication number
CN101356828B
CN101356828B CN2006800504632A CN200680050463A CN101356828B CN 101356828 B CN101356828 B CN 101356828B CN 2006800504632 A CN2006800504632 A CN 2006800504632A CN 200680050463 A CN200680050463 A CN 200680050463A CN 101356828 B CN101356828 B CN 101356828B
Authority
CN
China
Prior art keywords
media
media content
bandwidth
version
versions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800504632A
Other languages
English (en)
Other versions
CN101356828A (zh
Inventor
A·塔尔布
P·弗罗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN101356828A publication Critical patent/CN101356828A/zh
Application granted granted Critical
Publication of CN101356828B publication Critical patent/CN101356828B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385Channel allocation; Bandwidth allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及对内容供应器(100)中的视频(30)和音频(40)内容的共同管理。视频(30)和音频(40)内容能够以多个可能版本(32、34、36;42、44、46)来获得,例如以可伸缩媒体(36、46)或者预编码到固定带宽水平的媒体(32、34;42、44)的形式来获得。视频(30)和音频(40)数据与带宽份额信息(62、64、66)相关联,该带宽份额信息(62、64、66)使得对分配给所述视频(30)和音频(40)内容的总的可用带宽的相应分摊量的估计得以实现。所述供应器(100)使用该份额信息(62、64、66)以及所述总的可分配带宽水平的信息来提供来自所述多个可能版本(32、34、36、42、44、46)的相应视频版本(32、34、36)和音频版本(42、44、46)。这考虑到在再现所述视频(30)和音频(40)数据时提高用户质量,原因在于在媒体会话期间能够动态地提供最佳的视频(32、34、36)和音频(42、44、46)版本。

Description

媒体内容管理
技术领域
本发明总体上涉及媒体内容管理,尤其涉及在媒体会话期间的媒体内容创建以及媒体内容的动态供应。
背景技术
在过去几年里,通过不同的网络向客户提供媒体和多媒体获得了巨大的增长。如今,大量用户利用因特网来访问和下载来自媒体服务器的、例如视频和音频流或者文件形式的媒体。这种媒体供应也已经出现在基于无线电的移动通信网络中。当前在将移动网络用于多媒体或电视内容方面存在很大的兴趣。这在本领域中通常被称为移动电视(Mobile-TV)。移动网络中的这种媒体供应如今主要能通过单播传输来获得。然而,目前用于移动电视的广播/组播递送方法正处于开发之中。这样的标准化成果的例子有3GPP多媒体广播/组播服务(MBMS)和欧洲电信标准协会(ETSI)数字视频广播-手持设备(DVB-H)。
为了满足在不同的有线和无线通信网络中对媒体供应的这种增长的需求,已经开发了可伸缩媒体(scalable media)。可伸缩媒体一般指的是其中能够组合、截断(truncate)或者修剪(crop)预编码比特流以形成满足例如在媒体质量、帧速率、屏幕分辨率、传输信道数和比特率方面的不同目标的新比特流的编码方案。一个范例是以高质量进行一次编码并且进行多次提取以形成适合于在各种情况下进行传输的简化(reduced)的比特流。另一个范例是以低质量进行第一次编码并且然后添加提供质量增强的附加层。
国际电信联盟(ITU)电信标准化部门(ITU-T)联合视频组(JVT)以及国际标准化组织/国际电工委员会(ISO/IEC)目前正在定义可伸缩视频编码(SVC),以作为对视频编解码(video codec)H.264|MPEG-4(运动图像专家组)高级视频编码(AVC)的扩展。SVC提供了完全的三维(时间、空间和信噪比(SNR))可伸缩性,并且预计将很快成为国际标准。MPEG当前也在研究可伸缩音频和语音编码。
然而,流式或者下载服务器中可伸缩媒体流的当前管理主要涉及存储一个或多个可伸缩媒体流以及从该流提取数据。没有对优化同时提取数据流的带宽利用率给予特殊的考虑。
简述
当媒体内容的多个可能版本(potential version)(例如可伸缩媒体)在媒体服务器端可用时,管理媒体会话的现有技术在高效选择媒体内容版本和带宽利用率方面存在问题。
本发明克服了现有技术方案的这些和其他缺陷。
本发明的总的目的是在媒体会话中提供或者实现高效媒体管理。
该目的和其他目的是通过随附的专利权利要求所限定的本发明来满足的。
简而言之,本发明涉及媒体管理,尤其涉及媒体会话中的媒体创建和媒体管理。依照本发明,包括诸如视频之类的至少第一媒体内容以及诸如相关联的音频之类的第二媒体内容的媒体组(media group)能够在媒体服务器获得。所述第一和第二媒体内容在媒体会话期间将被共同地(collectively)管理并且优选地之后在发出请求的预定(destined)客户端被共同地再现(render)。第一和第二媒体内容这二者能够以多个可能版本的形式获得,其中每个内容版本适于相应的带宽利用水平(level)。这意味着有可能从所述第一和第二内容中提供多个不同的内容版本并且在媒体会话中使用它们。例如,媒体内容能够采用可伸缩媒体的形式,可以从该可伸缩媒体中提取媒体数据以形成特定的媒体内容版本。另一个例子是使用多个预编码内容版本,所述预编码内容版本被编码成供在特定的带宽水平或者区间(interval)使用。
所述媒体内容组还与所谓的带宽或者速率份额(share)信息关联。该信息使得在所述会话中对分配给相应的第一和第二媒体内容的总的可用带宽水平的相应分摊量(apportionment)的估计得以实现。在会话建立时和/或之后在会话期间,媒体服务器根据该带宽份额信息和可用于将媒体组的数据传输到预定客户端的总带宽水平信息来提供第一媒体内容的版本和第二媒体内容的版本。然后,使用所分配的总的可用带宽将两个所提供的内容版本的媒体数据同时传送到客户端。
优选地,带宽份额信息是依赖于时间和/或依赖于带宽的。在这种情况下,内容版本的供应可以在媒体会话期间随着时间推移而被更新和/或以便应对总的可用带宽的变化。
当在客户端再现媒体时,本发明实现根据用户质量对内容版本的有利的选择和供应。因此,在整个媒体会话期间能够选择,优选地动态地选择并且使用具有非常适合当前条件的特性的媒体内容。
本发明还涉及产生包括至少第一和第二媒体内容以及带宽份额信息的媒体内容组,所述至少第一和第二媒体内容中的每个都具有多个可能内容版本。用于管理媒体会话的媒体管理器、安放了这种媒体管理器的网络节点或者用户终端以及媒体引擎也处于本发明的范围之内。
附图简述
可以通过参照以下结合附图所给出的描述来最佳地理解本发明及其另外的目的和优点,在附图中:
图1是图示了依照本发明的一个方面的管理媒体会话的方法的流程图;
图2是更详细地图示出图1的供应步骤的一个实施例的流程图;
图3是更详细地图示出图1的供应步骤的另一个实施例的流程图;
图4是图示出图1的媒体会话管理方法的附加步骤的流程图;
图5是图示出图1的媒体会话管理方法的附加步骤的流程图;
图6是图示出图1的媒体会话管理方法的附加步骤的流程图;
图7A是示意性地图示出依照本发明的使用依赖于时间的带宽份额信息的示图;
图7B是示意性地图示出依照本发明的使用依赖于带宽的带宽份额信息的示图;
图8是示意性地图示出依照本发明第一实施例的供应媒体内容版本的示图;
图9是示意性地图示出依照本发明第二实施例的供应媒体内容版本的示图;
图10是示意性地图示出依照本发明第三实施例的供应媒体内容版本的示图;
图11是示意性地图示出依照本发明第四实施例的供应媒体内容版本的示图;
图12是示意性地图示出依照本发明第五实施例的供应媒体内容版本的示图;
图13是示意性地图示出依照本发明的供应包含在容器文件(container file)中的媒体内容版本的示图;
图14是图示出依照本发明另一方面产生媒体内容的流程图;
图15是依照本发明另外的方面的媒体管理器的示意性框图;
图16是更详细地图示出图15的内容供应器(provider)的一个实施例的示意性框图;
图17A是能够应用本发明教导的一种基于无线电的通信系统的示意性概观;
图17B是能够应用本发明教导的另一种基于无线电的通信系统的示意性概观;以及
图18是依照本发明另一方面的媒体引擎的示意性概观。
详细描述
在所有的附图中,相同的附图标记将被用于相应或者相似的元素。
在第一方面,本发明总体上涉及媒体会话管理,尤其涉及在这种会话期间高效选择或供应媒体内容。在该方面的一个优选实施例中,本发明涉及在进行中的媒体会话期间动态地供应媒体内容。本发明的第二方面涉及产生能够在媒体会话期间被高效利用的媒体内容。
依照本发明,媒体或者多媒体数据或内容指的是能够由内容供应器或者服务器提供给客户端用于数据再现的任意数据。典型的优选实例包括视频数据和音频数据。
本发明的媒体数据能够以多个(即至少两个)可能版本来获得。此外,这些多个可能媒体内容版本中的每个都适于相应的带宽水平。因此在典型的实施方式中,优选地对媒体数据进行编码或者以其他方式使其适于特定的带宽水平。
在第一实施方式中,能够以多个预编码版本来提供媒体内容,每个预编码版本被编码到特定的带宽水平或者区间。例如,对未编码媒体内容进行编码以便用于第一带宽水平。同样地对相同的媒体内容或者其拷贝进行编码以便形成适合用于第二带宽水平的第二媒体内容版本,依此类推。依照本发明,能够通过这种方式产生并且使用单个媒体内容源的多个硬编码/固定编码版本。
在第二实施方式中,媒体内容采用可伸缩媒体的形式,通过提取可伸缩媒体内容的不同部分以形成适于不同带宽水平的多个内容版本,能够将其视为多个可能内容版本的源。与多个固定编码内容版本的使用相比,可伸缩媒体通常允许供应多得多的内容版本。此外,固定编码内容版本能够例如用来适应大约三到四个不同的带宽水平,而适应整个范围的带宽水平的内容版本能够根据可伸缩媒体来产生。
在本发明通篇中,使用带宽来表示能用于将媒体内容从媒体操作者或服务器(例如流式或下载服务器)或者用户终端传输到再现该内容的客户端的参量(quantity)或资源。在本发明的一个优选实施例中,带宽参量是比特率。然而,同样可以使用本领域中已知的并且描述了数据传输速率、数量或质量的其他资源和参量,因而它们也处于本发明的范围之内。
在依照本发明的媒体会话中,对媒体内容组的媒体内容进行共同管理。该媒体内容组包括至少第一媒体内容和第二媒体内容。在本发明的一个典型实施例中,第一和第二媒体内容中的一个是视频内容,而第一和第二媒体内容中的另一个是关联的音频内容。然而,本发明还预先考虑了将不同于音频和视频的媒体内容组合作为媒体内容组。此外,媒体内容组能够包括两个以上不同的媒体内容。
如上所述,内容组的第一和第二媒体内容中的每一个能够以多个可能版本来获得,其中所述可能版本中的每一个都针对相应的带宽水平来适配(adapt)(例如编码)。换言之,第一媒体内容能够作为可伸缩媒体和/或多个固定带宽预编码内容版本来获得,而第二媒体内容同样地能够作为可伸缩媒体和/或多个固定带宽编码版本来获得。
本发明产生并且利用与媒体内容组有关的带宽份额信息。该带宽份额信息使得对分配给第一和第二媒体内容的可用带宽的相应分摊量的估计得以实现,以便用于在至少一个传输载体上传输媒体数据。该份额信息还用于决定使用第一和第二媒体内容的什么内容版本以及如何对相关的媒体进行缩放(scale)以便满足所期望的总带宽要求。该带宽份额信息由媒体服务器用于在具有不同固定带宽容量的可伸缩媒体和/或媒体版本可用时限定如何组合媒体内容。例如,该份额信息能够限定在将所述媒体组的不同媒体内容从媒体服务器传输到预期客户端期间能被用于这些内容的可用带宽的份额。
在整个媒体会话过程中都将相同的预定义带宽份额应用于媒体内容组,而不管当前的可用带宽水平如何,在这个方面来讲,本发明的带宽份额信息能够是静态的。然而,在本发明的一个优选实施例中,带宽份额信息依赖于时间和/或依赖于当前可用带宽水平。在本发明的该优选实施例中,利用带宽份额信息来不仅连同媒体会话的建立,而且在整个实际的媒体会话过程中动态地提供所述媒体内容组的媒体内容。因此,这考虑到在实际的媒体会话期间根据例如当前带宽水平和/或媒体内容流中的当前时间位置来切换第一和/或第二媒体内容的媒体内容版本。通过这种方式,带宽份额信息能够被视为与应当共享公共带宽资源的可伸缩或可替换媒体流之间的目标比(target ratio)有关的依赖于时间/带宽的信息,并且它实现了对由若干(可伸缩或不可伸缩)媒体流共享的公共带宽资源的使用的优化。
图1为依照本发明的媒体会话方法的流程图。在该方法中,采用诸如流式服务器、媒体下载服务器或者有权访问媒体内容组的至少两个媒体内容的、包括用户终端的任何其他单元之类的形式的媒体服务器或操作者向例如用户终端的发出请求的客户端提供并且传送媒体内容。在该媒体会话期间,媒体内容组的至少第一媒体内容和第二媒体内容的媒体数据被共同地管理(即提供和传送)。
该方法开始于可选步骤S1,其中确定可用的并且被分配来传输媒体数据的当前带宽水平。该带宽水平能够取决于许多因素,包括接收客户端的容量、(无线电)传输载体的容量、媒体服务器可用的(无线电)传输资源的数量、当前无线电条件等等。在该步骤S1中能够采用本领域中公知的、确定或者至少估计该带宽可用性的不同方法和技术。应当注意,带宽确定不一定必须由媒体服务器或者仅仅由媒体服务器来执行。形成鲜明对照的是,通信网络中存在的其他网络节点或终端能够执行或者参与这种带宽确定。
在下一个步骤S2中,根据所确定的可用带宽水平和带宽速率份额信息来提供第一媒体内容的媒体内容版本。这意味着能够提供如根据份额信息和所确定的总的可用带宽水平而确定的、所述第一内容的多个可用的可能版本中最适合于(“优化”)对于第一内容而言可用的当前带宽份额的媒体内容版本。
下一个步骤S3相应地根据可用带宽水平和份额信息来提供媒体组中的第二媒体内容的媒体内容版本。优选地,所提供的第二内容的内容版本也是最适合于当前带宽状况的。
在下一个步骤S4中,将所提供的第一和第二媒体内容的版本传送到预期的一个或多个客户端。在一个优选实施例中,使用至少一个传输载体来将所述至少两个媒体版本共同地传送到一个或多个客户端。传输可以采用对媒体流的有线发送(wired forwarding)的形式,但是优选地通过无线、基于无线电的数据传输来进行。
如上所述,媒体内容版本的供应可以是静态的并且应用于整个媒体会话。在这种情况下,图1的步骤S1-S3优选地结合会话建立过程来执行,或者在会话建立过程之后进行。然而在优选的实施方式中,针对不同的可用带宽水平或者针对媒体内容的不同部分来限定多个不同的带宽份额,就这个方面而言,与所述媒体组相关联的带宽份额信息是动态的。在这些情况下,可能有必要或者优选地在媒体会话期间更新对媒体内容版本的供应,这由线L1示意性地说明。
例如,对于超过例如200kbps(每秒千比特)的带宽水平而言,带宽份额信息可以规定应当将可用带宽水平的60%分配给第一媒体内容,将剩余40%分配给第二内容。然而,如果可用带宽不足200kbps,那么应当将带宽(比特率)的50%分配给媒体组的各媒体内容。假设媒体会话开始时的可用比特率为230kbps,那么应当使用第一速率份额版本(60%对40%)。这意味着对于第一媒体内容而言可获得0.60×230=138kbps,而0.40×230=92kbps可分配给第二媒体内容。于是,提供所述多个可能的第一媒体内容版本中适于在138kbps比特率下使用的内容版本,并且相应地提供适于92kbps的第二媒体内容的内容版本。这两个所提供的内容版本在媒体会话的开始期间被采用。然而,不久可用的带宽水平可能会突然下降到例如184kbps。在该带宽水平下,所述第二速率份额版本是有效的,从而使得对于每个媒体内容版本可获得0.50×184=92kbps。在该个特定的例子中,仍然可以采用在媒体会话的开始时用于第二媒体内容的相同内容版本。然而,对于第一媒体内容而言,在媒体会话中现在应当使用适于92kbps比特率而不是138kbps比特率的内容版本。
在这种情况下,所述带宽份额信息包括至少两个带宽份额值,其中每个这样的值与已定义带宽水平集合相关联。该集合能够包括单个带宽值(例如200kbps)、开或闭区间(例如<200kbps,≥130kbps或者100-150kbps)。这意味着待使用的带宽份额值是根据已确定的总的可用带宽水平与已定义的不同带宽水平集合的比较来识别的。然后,根据可用带宽和所识别的带宽份额值来提供待使用的第一和第二媒体内容的媒体内容版本。
图7B是示意性地图示出这种情况的示图。在该图中,曲线2可以表示视频带宽份额值(N%),同时能够从中计算相应的音频带宽份额值100-N%。于是,所述带宽份额信息包括在该图中所示的两个视频带宽份额值N0和N1。第一值N0将被应用于低于已定义的第一操作点(OP0)的可用带宽水平处,所述第一操作点的信息优选地被包含在带宽份额信息中或者与带宽份额信息相关联。相应地,第二值N1将被应用于超过已定义的第二操作点(OP1)的可用带宽水平处。对于这两个操作点之间的区间而言,规定视频带宽份额处于N0和N1之间的范围内。第一实施方式是采用如图所示的线性插值。可替换地,可以在整个该区间中使用两个视频份额值N0和N1的平均值。
当采用依赖于时间的带宽份额信息时,对媒体内容版本的类似更新也是可能的。例如,第一媒体数据能够是新闻报道的视频,第二媒体数据作为对应该新闻报道的相关联的音频。该新闻报道能够包括两个主要片断(part):新闻广播员朗读简短新闻报道的第一片断以及接下来的汽车事故视频序列的第二片断。在第一片断中,可以将所述带宽的较高部分分配给音频以便对语音进行编码,而分配给视频的较低部分足以处理新闻广播员的相对较小的运动。然而,在该报道的第二片断中,应当将相对较多的带宽分配给视频以便处理汽车事故视频序列的快速移动的物体,而牺牲可分配给该汽车事故序列期间的音频部分的带宽。因而在这种情况下,能够在所述新闻报道的第一和第二片断期间根据可用带宽水平和依赖于时间的速率份额信息来提供适于不同比特率水平的不同视频和音频版本。
图7A是示意性图示出具有依赖于时间的带宽份额这一概念的示图。在该图中,曲线2表示视频(第一媒体内容)的依赖于时间的份额值,而曲线4表示针对音频(第二媒体内容)的依赖于时间的份额值。在该图中,向视频和音频的可用带宽的相应分配在三个时间实例t0、t1和t2发生改变。因此,在媒体会话的第一部分(t<t0)期间,采用第一组视频(N0)和音频(100-N0)份额值。然而,在接下来的第二时段(t0<t<t1)期间,音频的份额值(100-N1)增大,而牺牲了视频份额值(N1)。在该时段期间,与第一时段相比,更多的可用带宽被分配给音频内容。在接下来的第三时段(t1<t<t2)中,视频份额值(N2)略微增大,而音频份额值(100-N2)相应减小。对于媒体会话的剩余部分(t>t2)而言,依照该图将使用在所述会话的第一部分期间采用的相同份额值(N0、100-N0)。
然后,该方法结束。
优选地,如上所述的本发明的带宽份额信息的使用由媒体服务器在媒体会话期间结合媒体数据供应来使用。然而,该份额信息在客户端中的实际再现时也是有用的。因此,当对诸如音频和视频之类的两个媒体内容共同进行缩放时,该份额信息于是可以由本地媒体播放器或者客户端中的某个其他的媒体管理器使用。
图2是更详细地图示出图1中的供应步骤S2和/或供应步骤S3的实施例的流程图。该方法从图1的步骤S1或S2继续。在该实施例中,媒体内容能够以多个预定义内容版本的形式获得。例如,媒体内容能够采用多个固定速率编码媒体版本的形式。在这种情况下,在步骤S10中根据可用带宽水平和带宽份额信息来选择要采用的预定义内容版本。然后,该方法继续到图1的步骤S3或S4。
图3是更详细地图示出图1的供应步骤S2和/或供应步骤S3的另一实施例的流程图。该方法从图1的步骤S1或S2继续。在该实施例中,媒体内容是可伸缩的媒体内容,从中能够通过从可伸缩媒体内容文件或者流中提取媒体数据来提供多个内容版本。因此,步骤S20根据可用带宽水平和带宽份额信息从可伸缩媒体内容中提取媒体数据。所述数据提取允许提供适于可分配给所述媒体内容的带宽水平的并且根据可用带宽水平和份额信息定义的媒体内容版本。然后,该方法继续到图1的步骤S3或S4。
本发明预先考虑到第一和第二媒体内容能够以多个不同的预定义(预编码)内容版本来获得。在这种情况下,供应步骤S2和S3中的每一个优选地如结合图2所描述的那样来执行。相应地,第一和第二媒体内容能够采用可伸缩媒体的形式。在这种情况下,供应步骤S2和S3中的每一个优选地如结合图3所描述的那样来执行。然而,同样可能的是,第一和第二媒体内容中的至少一个能够作为可伸缩媒体内容并且以多个预定义内容版本的形式来获得。在这种情况下,根据媒体服务器选择采用可伸缩媒体形式还是预定义媒体形式,可以如结合图2或3所描述的那样来执行供应步骤S2或S3(取决于第一或第二媒体是否能够以可伸缩和预定义形式来获得),在此对其进行了进一步的论述。
图4是图示出图1的媒体会话方法的附加步骤的流程图。该方法从图1的步骤S1继续。在下一个步骤S30中,根据总的可用带宽水平和带宽份额信息来确定可分配给第一媒体内容的带宽水平。相应地,在步骤S31中根据总的可用带宽水平和所述份额信息来确定可分配给第二媒体内容的带宽水平。
在典型的情况下,所述份额信息包括要分配给第一媒体内容、第二媒体内容或者第一和第二媒体内容这二者以供使用所述至少一个传输载体进行传输的(总的)可用带宽水平的目标百分比。在前面的情况下,所述份额信息能够规定带宽的N%可分配给第一或第二媒体内容。没有任何已定义的目标百分比的媒体内容将被分配剩余的带宽,以使得所述带宽的分配总计达100%。这意味着在每个媒体组只有两个媒体内容的情况下,将100-N%分配给另一个媒体内容。如果用M表示所述媒体会话的总的可用带宽水平,那么对于第一媒体内容可用的带宽将为
Figure S2006800504632D00101
对于第二媒体内容可用的带宽将为
Figure S2006800504632D00102
代替为所述媒体组的一个或所有媒体内容规定目标百分比,所述份额信息能够包括带宽商(bandwidth quotient)或者使得对分配给所述媒体内容组的不同媒体内容的可用带宽水平的相应分摊量的估计得以实现的某个其他参量。
在上述任何一种情况下,该方法继续到图1的步骤S2,其中根据所确定的可分配给第一媒体内容的带宽水平来提供该第一内容的媒体内容版本。相应地,根据所确定的可分配给第二媒体内容的带宽水平来提供该第二内容的内容版本。
图5是图示出图1的媒体会话方法的附加步骤的流程图。该方法从图1的步骤S1继续。在该实施例中,带宽份额信息包括至少两个带宽份额值,其中每个这样的值都与如上所述的已定义的带宽水平集合或者操作点相关联。在下一个步骤S40中,根据所述至少两个值来识别带宽份额值。这种识别是根据已确定的可用带宽水平和与份额值相关联的已定义的不同带宽水平集合之间的比较来执行的。因此,这种比较一般涉及识别包含或者等于已确定的带宽水平的水平集合。然后,在图1的供应步骤S2和S3中采用与包含或者等于可用带宽水平的水平集合相关联的份额值。因此,在这些步骤中,根据可用带宽水平和已识别的带宽份额值来提供所述内容组的所述至少两个媒体内容的媒体内容版本。
在步骤S40的可替换的实施方式中,带宽份额信息包括至少两个带宽份额值,其中每个这样的值都与所述媒体会话的已定义的时段相关联。因此,带宽份额信息是依赖于时间的。然后,通常根据在第一和/或第二媒体内容中提供的时戳来确定对要采用的份额值的选择。当认为媒体内容被划分成多个连续的、要传送给客户端并且在客户端一个接一个地再现的媒体样本时,这尤其有用。在这种情况下,份额值能够与不同的这样的连续样本相关联以便提供时间依赖性。
除了与本发明的带宽份额信息相关联之外,所述媒体内容组还能够包括用于其包含的媒体内容中的一个或多个的最大预定义带宽阈值和/或最小预定义带宽阈值。
最大带宽阈值指示应当被分配给媒体内容的带宽的上阈值。优选地,只有在会话中的所有其他媒体内容都已满足其对于目标带宽份额和最大带宽阈值的限额(quotas)的情况下,才应当分配如根据总的可用带宽水平和所述份额信息所确定的、比最大阈值更高的带宽份额。如果包括零值,那么这优选地指示没有提供有关最大带宽阈值的信息。
最小带宽阈值指示应当将带宽分配给媒体内容的下阈值。如果如根据总的可用带宽水平和所述份额信息所确定的分配带宽低于最小阈值,那么优选地不向所讨论的媒体内容分配带宽。相反,优选地优先考虑会话中的其他媒体内容。优选地,最小带宽阈值为零指示没有提供有关最小带宽水平的信息。
为了与针对媒体内容采用能够是依赖于带宽和/或依赖于时间的或者静态的目标带宽份额一致,最大和/或最小带宽阈值也可以是依赖于带宽和/或依赖于时间的或者静态的。
图6是图示出图1的媒体会话方法的、使用了最大和最小预定义带宽阈值的附加步骤的流程图。在图6的描述中,假设最大和最小带宽阈值与第一媒体内容相关联。然而,这应当仅仅被视为说明性示例。这些最大和最小阈值可替换地可以应用到第二媒体内容,或者不同的阈值被分配给所述第一和第二内容。在另外的实施例中,只有最大或最小阈值被用于第一和/或第二媒体内容。所述方法从图1的步骤S1继续。在下一个步骤S50中,确定可分配给第一媒体内容的带宽是否超过了与该内容相关联的最大带宽阈值。如果这为真,则该方法继续到步骤S51,其中将剩余带宽(即可分配给所述第一内容的带宽水平减去最大阈值)分配给第二媒体内容并且将其加到可分配给该第二内容的带宽水平。然而,如果可分配的带宽水平低于最大阈值,则该方法继续到步骤S52,该步骤S52确定可分配给第一内容的带宽水平是否低于最小阈值。在这种情况下,该方法继续到步骤S53,其中把对于所述媒体组而言可用的所有带宽都分配给第二媒体内容。在步骤S51和S53之后,或者如果可分配的带宽水平处于由最大和最小阈值所限定的区间之内,该方法继续到图6的步骤S2。
本发明考虑到在该图中可以交换的比较次序,即首先把当前可分配的带宽水平与最小阈值进行比较,如果超过了最小阈值,则将其与最大阈值进行比较。此外,如果媒体内容仅仅与最大或最小阈值相关联,那么只执行图6的步骤S50、S51或者S52、S53。
如图6所示的最大和最小阈值以及带宽份额信息的使用是一个示例性实施方式。另一个可能的实施方式是首先依照所述第一和第二媒体的最小阈值来分配带宽。然后,依照带宽份额信息和最大阈值来分配任何剩余的带宽。
图8-12示意性地图示出依照本发明的不同媒体内容的可能情形以及媒体内容版本的供应。在这些图中,非限制性地假设媒体组的第一媒体内容30是视频内容并且第二媒体内容40是音频内容。此外,将每个音频或视频内容版本视为音频或视频轨道(video track)或者流。这些媒体轨道能够例如被存储在诸如ISO基础媒体文件格式之类的容器文件中。还假设带宽份额信息包括媒体的比特率水平的速率份额信息。结合这些图,引入了两种表述“交替组(alternate group)”和“切换组(switch group)”。对于媒体内容组的每个媒体内容而言,存在着交替组。例如,交替组1表示音频数据,而交替组2表示视频数据。切换组表示交替组的可替换媒体轨道的组。应当注意,单个交替组能够具有一个或多个切换组。在进行中的媒体会话期间,可以在相同切换组内的媒体轨道之间进行切换,而不能在不同切换组的媒体轨道之间进行切换。结合图8-12所提供的音频和视频的预编码速率水平和份额信息的所有值都应当仅被视为非限制性示例值。
图8图示出其中所述媒体内容组包括多个(图中示出了两个)固定速率编码视频轨道32、34以及多个(图中示出了两个)固定速率编码音频轨道42、44的情况。下表1示意性地示出这些媒体轨道32、34;42、44到交替和切换组的可能划分。
表1  固定速率音频和视频轨道
与该媒体组相关联的速率份额信息可以是:视频=70%。如果总的可用比特率为230kbps,那么这相当于0.70×230=161kbps。因此,预编码到160kbps的视频轨道4(对应于图中附图标记34)是作为针对当前会话的视频内容版本的适当选择。可分配给音频内容的相应比特率为69kbps。因此,好的选择是预编码到72kbps的轨道2(对应于附图标记44)。如果在媒体会话期间可用比特率下降到180kbps,那么这将相当于可分配给视频的比特率为126kbps而可分配给视频的比特率为54kbps。在这种情况下,最好在进行中的会话期间从轨道4切换成预编码到128kbps的轨道3并且从轨道2切换成预编码到58kbps的轨道1。
图9图示出其中媒体内容组包括可伸缩视频30和可伸缩音频40的情形。下表2示意性地示出这些媒体轨道30;40到交替和切换组的可能划分。
表2  可伸缩音频和视频轨道
与该媒体内容组关联的速率份额信息可以如下表3中所定义。
表3  速率份额信息
表3中的值意味着应当提取音频,以使得其分配可用比特率的40%,并且应当提取视频,以使得其分配剩余比特率(60%)。得到的被提取视频和音频版本在图中分别被记为36和46。如果可用比特率等于320kbps,那么音频将得到128kbps,而视频将得到192kbps。在这种情况下,可分配给音频的比特率等于其最大比特率。因此,可用比特率的任何增加都应当只分配给视频。如果可用比特率低于50kbps,那么视频将对应于不足30kbps。然而,由于在本例中将视频的最小比特率设成30kbps,因此在这种情况下只供应音频(以全部可用比特率)。
图10图示出具有多个固定速率编码视频轨道和可伸缩音频的情形。下表4示意性地示出这些媒体轨道32、34;40到交替和切换组的可能划分。
表4  固定速率视频和可伸缩音频轨道
Figure S2006800504632D00142
在本例中,可以只为音频轨道提供速率份额信息。在一定时间间隔(interval)下(在这种情况下使用依赖于时间的速率份额信息),可以规定下列值:目标速率份额30%、最大比特率128kbps和最小比特率0。30%的音频目标速率份额意味着视频目标速率份额为70%。如果总的可用比特率为230kbps,那么就视频而言这对应于161kbps。因此,优选地为视频选择轨道3(图中的附图标记34),而通过从可伸缩音频轨道40中提取音频数据来形成与131kbps的比特率对应的音频版本46。
图11图示出具有多个固定速率编码视频轨道、可伸缩视频轨道和可伸缩音频的情形。下表5示意性地示出这些媒体轨道32、34、38;40到交替和切换组的可能划分。
表5  固定速率视频、可伸缩视频和音频轨道
Figure S2006800504632D00143
Figure S2006800504632D00151
在本例中,所有视频轨道处于相同的交替组中,因此它们代表了相同的内容。然而,在任何时间点上应当只连同音频轨道提供一个视频轨道。在开始传输媒体数据之前,媒体服务器需要决定在整个会话过程中应当使用来自可伸缩视频轨道(切换组2)的视频数据还是来自固定速率视频轨道(切换组3)的视频数据。一旦做出了该决定,那么就只能在选定的切换组中进行视频内容版本之间的切换。能够根据变化的因素来做出该决定。例如,一些客户端可能缺少管理可伸缩视频(或音频)的能力。在这种情况下,只有切换组3的视频轨道是所关心的。此外,某些轨道可能不适合当前的情况。例如,如果可分配给视频的当前比特率与用于预编码具有最低(最高)比特率的视频轨道的固定速率相比要高(低)得多,那么对于当前比特率情况而言固定速率编码视频轨道中没有一个是好的选择。在这种情况下,提供来自可伸缩视频轨道38的视频内容版本36可能更好。
图12通过提供固定速率编码的和可伸缩的音频及视频这二者进一步稍微扩展了这个概念。下表6示意性地示出这些媒体轨道32、34、38;42、44、48到交替和切换组的可能划分。
表6  固定速率和可伸缩视频和音频轨道
Figure S2006800504632D00152
如上面给定实例中所说明的,在固定速率编码的音频或视频内容版本的情况下,优选地选择如根据速率份额信息和总的可用比特率水平所确定的、以与该内容的当前可用比特率最接近的比特率水平预编码的内容版本。在媒体的当前可用比特率正好处于两个固定速率水平之间的中间(例如对于58kbps的音频以及72kbps的音频而言为65kbps)的情况下,可以选择任一种内容版本。
有利的是,ISO基础媒体文件格式[1,2]能够与本发明的媒体数据和带宽份额信息结合使用。可替换的容器文件格式包括MP4文件格式、3GP文件格式和QuickTime格式。ISO基础媒体文件可以包含诸如音频和视频轨道的多个媒体轨道。因此,能够将媒体内容的多个可能版本作为多个预编码媒体轨道和/或以可伸缩媒体轨道的形式来提供。本发明的带宽份额信息能够被包含在单独的轨道中,例如被包含在媒体文件格式的所谓的提示轨道(hint track)中。然而,在媒体轨道本身中存储份额信息而不是将单独轨道专用于存储带宽份额信息可能更加容易和更加灵活。通过这种方式,能够以简单的方式在所述媒体的时间标度(time scale)上提供带宽份额信息。本发明预先考虑到所述容器文件能够包括诸如元数据轨道之类的信息,所述信息能够由流式服务器在会话期间编辑媒体流时使用。
本发明的带宽份额信息的用途是在提供媒体内容(提取媒体数据或者选定的预编码内容版本)时辅助媒体服务器。通过这种方式,媒体服务器能够使用所述带宽份额信息来指示如何能够最佳地组合可伸缩媒体流或者多个预编码媒体流。该信息旨在仅供媒体服务器使用,并且通常不是所存储或传送的流的一部分。如果属于不同的交替组(视频和音频),那么优选地同时供应ISO文件的若干轨道。缺省情况下,如果没有限定交替组,那么可以同时供应所有轨道。
在一个优选实施方式中,带宽速率份额值的缺省规则如下。如果针对会话中的至少一个轨道定义了(对于某一时间的操作点)目标带宽份额,那么优选地不具有被明确地规定(对于该操作点和该时间)的任何目标带宽份额的轨道隐含地均等地分享剩余的带宽份额,以使得带宽份额的全部分配总计达100%。由于交替组内的所有轨道都是相同媒体内容的替换物或版本,所以它们应当具有相同的目标带宽份额值。
在所有轨道具有明确的目标份额值并且它们总计不到100%的情况下,份额值能够被视为权重(在归一化之后)。在使用带宽份额信息进行的典型带宽分配中,对于每个轨道的初始带宽分配是独立进行的。如果轨道使用了不足其目标速率份额的份额,那么将存在着剩余的带宽。这种情况可能例如在没有合适的带宽水平可用时发生或者作为应用最小和最大带宽阈值的结果而发生。之后,重新访问那些没有达到其最大阈值的轨道并且向其提供全部剩余带宽。在这种对剩余带宽的分配中,优选地向优先考虑那些因为其最小阈值而被切断的轨道。一种可替换的方法是按照轨道ID的优选次序来提供剩余带宽。
图13是容器文件70的示意性概观,该容器文件70包含多个(可伸缩)媒体轨道30、40、50和具有本发明的带宽份额信息62、64、66的提示轨道60。所述文件70优选地能够是ISO基础媒体文件。在图13中,提示轨道60的不同带宽份额62、64、66能够适于在不同的时间间隔内和/或以不同的带宽区间使用。该图还示意性地图示出如何将当前选定的带宽份额值与当前可用带宽水平的信息一起用于从可伸缩媒体轨道30、40、50中提取媒体数据,以便形成轨道30、40、50的“最佳”版本或者样本36、46、56。如上所述,能够如图13中所示将带宽份额信息62、64、66包含在单独的提示轨道60中。然而,在一种可替换的方法中,信息62、64、66被单独地存储或者与媒体轨道30、40、50一起存储。
在本发明的一个典型实施实例中,媒体容器文件70中的轨道30、40、50包括若干如图13中所示的媒体样本或块。每个这样的样本具有给定的开始时间和持续时间。本发明的一个优选实施方式将所述速率份额信息62、64、66应用到媒体样本的持续时间。然而,由于信息62、64、66可以应用到轨道30、40、50的许多连续样本,所以能够通过使用样本组来高效地将速率份额信息62、64、66存储在轨道中。可以将轨道30、40、50的每个样本与多个样本组描述中的(零个或)一个相关联,所述样本组描述中的每一个定义了速率份额信息的记录。除了本发明的速率份额信息之外,该速率份额记录优选地还包括最大和最小比特率阈值。
在这种情况下,可以将分组类型‘rash’(爆发)定义为用于速率份额信息的分组标准。用于分组类型‘rash’的零个或一个样本对组(sample-to-group)的盒(‘sbgp’)能够被包含在轨道的样本表盒(‘stbl’)中。这可以驻留在提示轨道(如果使用的话)中,否则它可以被包含在媒体轨道中。
所述速率份额样本组条目(entry)能够如下定义:
class RateShareEntry()extends SampleGroupDescriptionEntry(‘rash’)
{
unsigned int(16)target_rate_share;
unsigned int(32)maximum_bitrate;
unsigned in(32)minimum_bitrate;
}
一个可替换实施方式如下给出:
class RateShareEntry()extends SampleGroupDescriptionEntry(′rash′)
{
unsigned int(16)operation_point_count;
for(i=1;i<=operation_point_count;i+++)
{
unsigned int(16)target_rate_share;
}
unsigned int(32)maximum_bitrate;
unsigned int(32)minimum_bitrate;
}
其语义由以下定义给出:
operation_point_count:这是给出在以下列表中规定的操作点数的整数。应当注意,如果所述文件不包含速率份额操作点盒(“rsop”),那么只有一个操作点被定义。如果所述文件包含速率份额操作点盒,那么operation_point_count应当不超过那里所规定的操作点数。以下列表中的第N个条目对应于速率份额操作点盒中的第N个操作点。
target_rate_share:非零值指示应当分配给媒体的可用带宽的百分比。零值指示没有提供有关优选速率份额百分比的信息。在具有操作点的实施方式中,第一(最后)操作点的值应用到比该操作点本身更低(更高)的可用比特率。操作点之间的目标份额速率受限于相应的操作点的目标份额。
maximum_bitrate:非零值指示(以每秒千比特为单位)应当被分配给媒体的带宽的上阈值。只有在会话中的所有其他媒体都分别满足其对于目标速率份额和最大比特率的限额的情况下,才应当分配比最大比特率更高的比特率。零值指示没有提供有关最大比特率的信息。
minimum_bitrate:非零值指示(以每秒千比特为单位)应当被分配给媒体的带宽的下阈值。如果所分配的带宽对应于较低的值,那么不应当分配比特率。相反,优先考虑会话中的其他媒体或者相同媒体的交替编码。零最小比特率指示没有提供有关最大比特率的信息。
如果使用不止一个操作点来规定目标速率份额,那么电影盒(‘moov’)应当包含一个如下定义的速率份额操作点盒(“rsop”):
aligned(8)class RateShareOperationBox extends FullBox(′rsop′,version=0,0)
{
unsigned int(16)operation_point_count;
for(i=1;i<=operation_point_count;i++)
{
unsigned int(32)available bitrate;
}
}
语义:
operation_point_count是给出操作点数的整数。
available_bitrate是定义操作点(以每秒千比特为单位)的正整数。每个条目应当大于前一条目。
图14是依照本发明产生媒体内容组的方法的流程图。该方法开始于步骤S60,其中产生或者提供第一媒体内容。所产生的该第一媒体内容具有多个可能内容版本,其中每个适于相应的带宽水平。该第一媒体内容可以是视频或音频内容。在接下来的步骤S61中,产生或者提供第二媒体内容。优选地,这是与第一内容相关联的内容,并且其与该第一内容被共同地管理并且随后在客户端中与该第一媒体内容被共同地再现。与所述第一内容一致,所产生的第二媒体内容具有多个适于相应的不同带宽水平的可能版本。产生步骤S60和S61能够通过处理输入媒体数据以形成所述媒体数据的可伸缩版本来实现。在这些过程中,将采用用于产生可伸缩音频和视频(或者其他媒体类型)的已知现有技术。可替换地或者另外,能够产生第一和/或第二媒体内容的多个离散内容版本。在这种情况下,对每个这样的内容版本进行编码以便适于或者优化结合特定带宽水平或者带宽水平区间的使用。
在这些产生步骤中采用的输入媒体数据能够例如通过记录足球比赛、新闻采访或者任何其他记录来获取。相应地,所述媒体数据可以在内容创建器(creator)处被“人工地(artificially)”生成,例如采用动画片的形式。实际上,依照本发明的该实施例,能够采用任何形式的媒体数据。
如果媒体内容组要包括除第一和第二媒体内容之外的更多媒体内容,那么自然也存在附加的媒体内容产生步骤。
在下一个步骤S62中,为媒体组确定带宽份额信息。该份额信息使得对分配给所述第一和第二内容的可用带宽水平的相应分摊量的估计得以实现。此外,该信息使得对第一内容的多个可能版本中的版本以及第二内容的多个可能版本中的版本的选择得以实现。在该选择中,如本文之前所述,将所述份额信息与可用带宽水平的信息一起使用。
在本发明的一个特定实施例中,所述带宽份额信息是依赖于时间的,这意味着所述媒体内容的不同部分与不同的带宽份额值相关联。可替换地或者另外,所述带宽份额信息能够是依赖于带宽的。在这种情况下,该信息优选地包括旨在用在不同带宽水平集合或者区间中的至少两个带宽份额值。
在下一个步骤S63中,所产生的带宽份额信息与所述媒体内容组相关联。只要媒体服务器可以在媒体会话期间获取并且使用所述带宽份额信息来编辑第一和第二媒体内容的媒体数据,那么就能够使用该信息与所述媒体内容之间的任何关联或者联系。
如果所述ISO基础媒体文件被用作用于媒体内容和带宽份额信息的容器文件,那么在该文件中能够提供第一媒体内容作为至少一个媒体轨道(如果仅作为可伸缩媒体而提供,则为一个轨道,否则每个内容版本一个轨道),对于第二媒体内容而言,作为一个或多个媒体轨道。然后,能够采用将所述份额信息包含在该文件中的单独的提示轨道中的形式来实现该份额信息与所述媒体内容的关联。该提示轨道被视为待关联的并且用于处理不同的媒体轨道的元数据。在一种可替换的方法中,该带宽份额信息被包含在用于第一和/或第二媒体内容的媒体轨道中的至少一个中。
然后,该方法结束。
本发明的带宽份额信息能够通过数字内容创建工具来产生。例如,可以采用自动过程来进行信息产生,其中对缩放方向(对于可伸缩媒体内容)或者最优内容版本的确定能够通过使用(智能)软件模块来自动进行。在这种情况下,这些软件模块优选地根据实际内容、特定(可伸缩)媒体编解码以及联合媒体(例如视听)客观质量测量来确定所述份额信息。份额信息的产生能够在手动过程中执行而不是采用自动过程,在手动过程中有经验且知识渊博的内容创建器通过使用例如图形用户界面来调节缩放方向,以便找出产生在再现所述媒体时的良好终端用户体验质量的“最优”缩放方向。
图15是依照本发明的媒体管理器100的框图。媒体管理器100一般包括共同表示用于执行与外部单元的通信所需的设备和模块(例如天线、调制器/解调器、编码器/解码器等等)的输入和输出(I/O)单元110。I/O单元110特别地被安排成用于从客户端接收对媒体内容的请求并且用于将所请求的内容传送给这样的客户端。媒体传输能够通过有线连接来进行,但是优选地以无线、基于无线电的数据传输的形式来进行。
媒体管理器100还包括媒体内容供应器120,该媒体内容供应器120被安排成用于提供共同形成媒体组的媒体内容的媒体内容版本。该媒体组的媒体数据能够通过I/O单元110从诸如内容创建器之类的外部单元接收,从媒体管理器100中的内容或数据存储区/存储器130提供,或者实际上由媒体管理器100自身产生。在任一种情况下,供应器120提供所述组的第一媒体内容的内容版本并且提供所述组的第二媒体内容的内容版本。如果该内容组包括不止两个不同的媒体内容,那么优选地对于每个这样的内容而言由内容供应器120提供内容版本。在这种版本供应中,内容供应器120使用了与所述媒体组相关联的带宽份额信息。此外,被分配用于使用至少一个传输载体来传输所述至少两个媒体内容的媒体数据的可用带宽水平还与所述份额信息一起由内容供应器120在提供内容版本时使用。
媒体管理器100优选地包括或者可以访问带宽估计器140。该估计器因而被安排成用于估计可分配给第一媒体内容的带宽水平以及可分配给第二媒体内容的带宽水平。在该估计过程中,带宽估计器140采用与所述媒体相关联的带宽份额信息以及对于所述媒体而言可用的总的带宽水平的信息。然后,所估计的相应可分配水平的信息被发送给内容供应器120,以便在提供内容版本时使用。内容供应器120根据所估计的可分配给第一媒体内容的带宽水平来提供该内容的内容版本。相应地,供应器120使用可分配给所述第二内容的带宽水平的信息来提供该第二内容的多个可能版本的版本。
可选地,带宽估计器140或者某一其他单元也可选地被用于估计或者确定当前对于媒体数据传输而言可用的总的带宽水平。
在一个可选的但是优选的实施例中,媒体管理器100包括带宽分配器150。该带宽分配器150使用包含在所述带宽份额信息中或者与其相关联的预定义最大和/或最小带宽阈值。带宽分配器150优选地针对具有预定义阈值的每个媒体内容比较由估计器140确定的、可分配给该媒体的带宽水平是超过所述最大阈值还是低于所述最小阈值。在前一种情况下,带宽分配器150将剩余带宽(可分配带宽减去最大阈值)分配给所述媒体组的其他媒体内容(一个或多个)。然而,在后一种情况下,带宽分配器150把由估计器140确定的、起初可分配给给定媒体的所有带宽分配给所述组的其他媒体内容(一个或多个)。
由内容供应器120提供的媒体内容版本被发送给I/O单元110,以便传输到发出请求的客户端(一个或多个)。在该传输中,由估计器140并且可能还有分配器150为不同媒体所确定的带宽水平(比特率)将被I/O单元110使用以利用至少一个传输载体进行该传输。本发明的媒体传输可以例如以媒体流或者媒体下载的形式来进行。
如果所述带宽份额信息包括依赖于时间的带宽份额,那么内容供应器120优选地在进行中的媒体会话期间随着时间推移而更新所述媒体版本供应以便应对所述份额信息的时间依赖性。此外或者可替换地,所述份额信息能够是依赖于带宽的。在这种情况下,当对于所述媒体内容组/会话而言可用的总的带宽水平变化时,内容供应器120优选地在进行中的媒体会话期间更新所述媒体版本供应。
媒体管理器100的单元110、120、140和150可以作为软件、硬件或其组合来实现或者提供。单元110-150全部可以在通信系统的单个网络节点中的媒体管理器100中实现。例如,媒体管理器100能够构成设置在网络节点中的流式服务器、下载服务器或者其他媒体服务器或者是其一部分。可替换地,分布式实现也是可能的,并且落入本发明的范围之内。在这种情况下,媒体管理器100的不同单元110-150可以被设置在不同的网络节点中,但是尽管如此仍然如上所述的那样执行其预期的操作。
图16是图15中媒体管理器的内容供应器120的一个实施例的示意性框图。该内容供应器120包括内容版本选择器122。该选择器122使用所述带宽份额信息以及总的可用带宽水平(或者从其中可导出的某个参量,例如可分配给不同内容的总的可用带宽中的带宽),以便选择第一和/或第二媒体内容的多个预定义版本中的版本。每个这样的内容版本适于相应的预定义带宽水平或者带宽区间。在一个典型的实施方式中,将这些内容版本数字编码到不同的固定带宽水平。在这种情况下,内容选择器122选择在当前情况下由客户端再现时的用户质量方面最合适的内容版本,即与可分配给该特定媒体的带宽水平最匹配的内容版本。
内容供应器120能够替换地或者另外包括媒体数据提取器124。该提取器124被提供用于管理作为可伸缩媒体而提供的媒体内容。提取器124从可伸缩内容中提取媒体数据以形成合适的内容版本。这种媒体提取还根据媒体组的总的可用带宽水平的信息以及带宽份额信息而被执行。使用带宽份额以及总的可用带宽(或者从其中导出的参量)的信息,提取器124能够提供可伸缩媒体的“最优”内容版本。
如果带宽份额信息是依赖于时间的和/或依赖于带宽的,那么所述信息优选地包括旨在在所述媒体传输的不同时间间隔和/或不同的可用带宽水平/区间使用的至少两个份额值。因此,内容供应器120优选地包括或者可以访问被安排成用于从所述份额信息中选择带宽份额值的份额值选择器126。在依赖于带宽的份额信息的情况下,这种值选择优选地根据所述总的带宽水平与和份额值相关联的不同带宽区间之间的比较来执行。相应地,对于依赖于时间的信息而言,例如如根据包含在媒体内容中的时间戳所确定的当前媒体时间能够被所述值选择器126使用来选择要在当前实例下使用的份额值。然后,优选地将所选择的带宽份额值发送给内容选择器122和/或媒体数据提取器124以供在提供媒体内容版本时使用。
内容供应器120的单元122-126可以作为软件、硬件或其组合来实现或者提供。单元122-126可以全部在内容供应器120中实现。可替换地,其中单元122-126中的至少一个被提供于所述媒体管理器中的其他位置处的分布式实现是可能的。
图17A是无线、基于无线电的通信系统1的一部分的示意性概观,该通信系统1包括安放了依照本发明的媒体管理器100的流式服务器300。在这种情况下,流式服务器300能够使用本发明的份额信息来提供媒体内容版本,所述媒体内容版本通过使用至少一个传输载体25的已连接的网络节点或者基站20的使用而被共同发送给如移动电话所示的客户端10。
客户端10实际上能够是具有媒体内容再现能力的任何通信单元或者终端(媒体播放器)。典型而非限制性的例子包括计算机、膝上型电脑、具有通信能力的游戏机(game console)、移动电话、个人数字助理(PDA)等等。
图17B图示出得益于本发明的另一种可能的情形。在这种情况下,媒体管理器100被安放在用户终端15中,媒体数据通过使用至少一个传输载体25而从该用户终端15被下载或者流送到另一个用户终端或客户端10。这种媒体传输通常是通过如图中所示的至少一个中间网络节点或者基站20来进行的。
图18是依照本发明的媒体引擎或者创建器200的示意性框图。该媒体引擎200包括用于与外部单元进行通信的通用I/O单元210。该I/O单元210特别地被配置成用于向不同媒体服务器或者媒体管理器传送包含媒体组的媒体内容和本发明的带宽份额信息的文件。引擎200还包括内容发生器220,该内容发生器220用于至少产生具有多个可能的媒体版本的第一媒体内容以及相应地具有多个可能的媒体版本的第二媒体内容。所述至少两个内容的可能版本中的每一个都适于相应的带宽水平,并且所述至少两个媒体内容旨在在媒体会话中被共同地管理并且优选地在客户端中被共同地再现。
媒体引擎200的信息发生器230被安排成用于产生用于包括至少第一和第二内容的媒体内容组的带宽份额信息。该份额信息使得在所述媒体会话期间估计对于所述媒体组而言可用的总的带宽水平的相应分摊量以便使用至少一个载体进行传输得以实现。此外,该份额信息使得根据所述总的可用带宽水平来选择第一和第二内容的多个可能版本中的相应内容版本得以实现。
被连接到内容发生器220和信息发生器230的媒体引擎200的信息分配器240分配来自信息发生器230的带宽份额信息或者将其与由内容发生器220提供的媒体内容组相关联。在一个典型的实施方式中,内容发生器220将第一和第二媒体内容的可能版本作为不同的媒体轨道插入到诸如ISO基础媒体文件之类的容器文件中。在这种情况下,该分配器240能够把来自发生器230的带宽份额信息作为专用提示轨道(元数据)插入到所述文件中,或者将所述信息包含在媒体轨道中的至少一个之中。
媒体引擎200的单元210-240可以作为软件、硬件或者其组合来实现或者提供。
本领域技术人员应当理解的是,在不脱离由随附权利要求所限定的本发明的范围的情况下,可以对本发明做出各种修改和改变。
参考文献
ISO/IEC 14496-12:2005:“ISO base media file format”
ISO/IEC 15444-12:2005:“ISO base media file format”

Claims (29)

1.一种对媒体内容组的媒体数据进行共同管理的媒体会话方法,所述媒体内容组包括至少第一媒体内容和第二媒体内容,所述方法包括步骤:
-提供媒体容器文件,所述媒体容器文件包括i)能够以多个可能版本的形式来获得的所述第一媒体内容,所述第一媒体内容的所述多个可能版本中的每一个都适于相应的带宽水平;ii)能够以多个可能版本的形式来获得的所述第二媒体内容,所述第二媒体内容的所述多个可能版本中的每一个都适于相应的带宽水平;以及iii)带宽份额信息;
-根据被分配用于使用至少一个传输载体来传输所述第一和第二媒体内容的媒体数据的可用带宽水平和所述带宽份额信息来确定对于所述第一媒体内容而言可用的带宽水平;
-根据所述可用带宽水平和所述带宽份额信息来确定对于所述第二媒体内容而言可用的带宽水平;
-根据对于所述第一媒体内容而言可用的所述确定的带宽水平来提供所述第一媒体内容的所述多个可能版本中的版本;以及
-根据对于所述第二媒体内容而言可用的所述确定的带宽水平来提供所述第二媒体内容的所述多个可能版本中的版本。
2.依照权利要求1所述的方法,进一步包括步骤:
-使用所述至少一个传输载体来共同地传送所述提供的版本。
3.依照权利要求1或2所述的方法,其中提供所述第一媒体内容的第一版本的所述步骤包括步骤:
-根据所述可用带宽水平和所述带宽份额信息来选择所述第一媒体内容的多个预定义版本中的版本,所述第一媒体内容的所述多个预定义版本中的每一个适于相应的预定义带宽水平。
4.依照权利要求1或2所述的方法,其中所述第二媒体内容是可伸缩媒体内容,并且提供所述第二媒体内容的所述版本的所述步骤包括步骤:
-根据所述可用带宽水平和所述带宽份额信息来从所述第二媒体内容中提取媒体数据以便提供适于已定义带宽水平的所述第二媒体内容的版本。
5.依照权利要求1或2所述的方法,其中所述带宽份额信息包括待分配给所述第一媒体内容以便使用所述至少一个传输载体来进行传输的所述可用带宽水平的目标百分比。
6.依照权利要求1或2所述的方法,其中所述带宽份额信息包括至少两个带宽份额值,每个值与已定义带宽水平集合相关联,并且所述方法包括步骤:
-根据所述可用带宽水平和与所述至少两个带宽份额值相关联的所述已定义带宽水平集合之间的比较来识别带宽份额值,并且所述提供所述第一和第二媒体内容的所述多个可能版本中的版本的步骤包括步骤:
-根据所述可用带宽水平和所述识别的带宽份额值来提供所述第一媒体内容的所述多个可能版本中的版本;以及
-根据所述可用带宽水平和所述识别的带宽份额值来提供所述第二媒体内容的所述多个可能版本中的版本。
7.依照权利要求1或2所述的方法,其中所述第一媒体内容与最大预定义带宽阈值相关联,并且所述方法包括另外的步骤:
-如果对于所述第一媒体内容而言可用的所述确定的带宽水平超过所述最大预定义带宽阈值,那么就将剩余可用带宽分配给所述第二媒体内容。
8.依照权利要求1或2所述的方法,其中所述第一媒体内容与最小预定义带宽阈值相关联,并且所述方法包括另外的步骤:
-如果对于所述第一媒体内容而言可用的所述确定的带宽水平低于所述最小预定义带宽阈值,那么就将所有可用带宽分配给所述第二媒体内容。
9.依照权利要求1或2所述的方法,其中所述带宽份额信息包括与所述媒体内容组相关联的、依赖于时间的带宽份额信息,并且所述方法包括另外的步骤:
-根据所述可用带宽水平和所述依赖于时间的带宽份额信息来提供所述第一媒体内容的所述多个可能版本中的版本。
10.依照权利要求1或2所述的方法,其中所述可用带宽水平是被分配用于使用所述至少一个传输载体来传输所述第一和第二媒体内容的媒体数据的可用比特率水平,并且所述带宽份额信息包括速率份额信息。
11.依照权利要求1或2所述的方法,其中所述第一和第二媒体内容中的一个是视频内容并且所述第一和第二媒体内容中的另一个是关联的音频内容。
12.依照权利要求1或2所述的方法,其中所述第一媒体内容是可伸缩媒体内容并且所述第一媒体内容的所述多个可能版本中的每一个与已定义带宽水平相关联。
13.依照权利要求1或2所述的方法,进一步包括步骤:
-根据更新的可用带宽水平和所述带宽份额信息来重新提供所述第一媒体内容的所述多个可能版本中的版本。
14.一种产生媒体内容组的方法,所述媒体内容组包括在媒体会话中被共同管理的至少第一媒体内容和第二媒体内容,所述方法包括步骤:
-产生具有多个可能内容版本的第一媒体内容,所述第一媒体内容的所述多个可能内容版本中的每一个都适于相应的带宽水平;
-产生具有多个可能内容版本的第二媒体内容,所述第二媒体内容的所述多个可能内容版本中的每一个都适于相应的带宽水平;
-确定带宽份额信息,所述带宽份额信息使得i)对分配给所述第一媒体内容和第二媒体内容的可用带宽水平的相应分摊量的估计以及ii)根据所述可用带宽水平对所述第一媒体内容的所述多个可能版本中的版本和所述第二媒体内容的所述多个可能版本中的版本的选择得以实现;
-将所述带宽份额信息分配给所述媒体内容组;以及
-产生包含所述第一媒体内容、所述第二媒体内容和所述带宽份额信息的媒体容器文件。
15.依照权利要求14所述的方法,其中所述确定步骤包括确定作为所述带宽份额信息的至少两个带宽份额值,每个份额值与已定义带宽水平集合相关联。
16.依照权利要求14或15所述的方法,其中所述媒体容器文件包括作为至少一个第一媒体轨道的所述第一媒体内容和作为至少一个第二媒体轨道的所述第二媒体内容以及作为与所述至少一个第一或第二媒体轨道中的至少一个媒体轨道相关联的提示轨道的所述带宽份额信息。
17.依照权利要求14或15所述的方法,其中所述媒体容器文件包括作为至少一个第一媒体轨道的所述第一媒体内容和作为至少一个第二媒体轨道的所述第二媒体内容,所述带宽份额信息被包含在所述至少一个第一或第二媒体轨道中的至少一个媒体轨道中。
18.一种用于对媒体内容组的媒体数据进行共同管理的媒体管理器,所述媒体内容组包括至少第一媒体内容和第二媒体内容,所述媒体管理器包括:
-被安排成用于提供媒体容器文件的媒体内容供应器,所述媒体容器文件包括i)能够以多个可能版本的形式来获得的所述第一媒体内容,所述第一媒体内容的所述多个可能版本中的每一个都适于相应的带宽水平;ii)能够以多个可能版本的形式来获得的所述第二媒体内容,所述第二媒体内容的所述多个可能版本中的每一个都适于相应的带宽水平;以及iii)带宽份额信息;
-带宽估计器,被安排成用于根据被分配用于使用至少一个传输载体来传输所述第一和第二媒体内容的媒体数据的可用带宽水平以及所述带宽份额信息来估计i)对于所述第一媒体内容而言可用的带宽水平以及ii)对于所述第二媒体内容而言可用的带宽水平,并且其中所述媒体内容供应器被安排成用于i)根据对于所述第一媒体内容而言可用的所述确定的带宽水平来提供所述第一媒体内容的所述多个可能版本中的版本以及ii)根据对于所述第二媒体内容而言可用的所述确定的带宽水平来提供所述第二媒体内容的所述多个可能版本中的版本。
19.依照权利要求18所述的媒体管理器,还包括:
-传送器,被连接到所述媒体内容供应器并且被安排成用于使用所述至少一个传输载体来共同地传送由所述媒体内容供应器提供的所述版本。
20.依照权利要求18或19所述的媒体管理器,其中所述媒体内容供应器包括内容版本选择器,所述内容版本选择器被安排成用于根据所述可用带宽水平和所述带宽份额信息来选择所述第一媒体内容的多个预定义版本中的版本,所述第一媒体内容的所述多个预定义版本中的每一个适于相应的预定义带宽水平。
21.依照权利要求18或19所述的媒体管理器,其中所述第二媒体内容是可伸缩媒体内容并且所述媒体内容供应器包括媒体数据提取器,所述媒体数据提取器被安排成用于根据所述可用带宽水平和所述带宽份额信息来从所述第二媒体内容中提取媒体数据以便提供适于已定义带宽水平的所述第二媒体内容的版本。
22.依照权利要求18或19所述的媒体管理器,其中所述带宽份额信息包括至少两个带宽份额值,每个值与已定义带宽水平集合相关联,并且所述媒体内容供应器包括:
-值选择器,被安排成用于根据所述可用带宽水平和与所述至少两个带宽份额值相关联的所述已定义带宽水平集合之间的比较来识别带宽份额值,并且所述媒体内容供应器被安排成用于根据所述可用带宽水平和所述识别的带宽份额值来提供i)所述第一媒体内容的所述多个可能版本中的版本以及ii)所述第二媒体内容的所述多个可能版本中的版本。
23.依照权利要求18或19所述的媒体管理器,其中所述第一媒体内容与最大预定义带宽阈值相关联,并且所述媒体管理器还包括:
-带宽分配器,被安排成用于在对于所述第一媒体内容而言可用的所述确定的带宽水平超过所述最大预定义带宽阈值的情况下将剩余可用带宽分配给所述第二媒体内容。
24.依照权利要求18或19所述的媒体管理器,其中所述第一媒体内容与最小预定义带宽阈值相关联,并且所述媒体管理器还包括:
-带宽分配器,被安排成用于在对于所述第一媒体内容而言可用的所述确定的带宽水平低于所述最小预定义带宽阈值的情况下将所有可用带宽分配给所述第二媒体内容。
25.依照权利要求18或19所述的媒体管理器,其中所述带宽份额信息包括与所述媒体内容组相关联的、依赖于时间的带宽份额信息,并且所述媒体内容供应器被安排成用于根据所述可用带宽水平和所述依赖于时间的带宽份额信息来提供所述第一媒体内容的所述多个可能版本中的版本。
26.依照权利要求18或19所述的媒体管理器,其中所述媒体内容供应器被安排成用于根据更新的可用带宽水平来重新提供所述第一媒体内容的所述多个可能版本中的版本。
27.一种网络节点设备,包括依照权利要求18-26中任何一项所述的媒体管理器。
28.一种包括依照权利要求18-26中任何一项所述的媒体管理器的用户终端。
29.一种媒体引擎装置,包括:
-媒体内容发生器,被安排成用于产生i)具有多个可能版本的第一媒体内容以及ii)具有多个可能版本的第二媒体内容,所述第一和第二媒体内容的所述多个可能版本中的每一个都适于相应的带宽水平,并且所述第一和第二媒体内容属于媒体内容组,所述媒体内容组被设计成在媒体会话中被共同地管理;
-信息发生器,被安排成用于产生带宽份额信息,所述带宽份额信息使得i)对分配给所述第一媒体内容和第二媒体内容的可用带宽水平的相应分摊量的估计以及ii)根据所述可用带宽水平对所述第一媒体内容的所述多个可能版本中的版本和所述第二媒体内容的所述多个可能版本中的版本的选择得以实现;
-信息分配器,被连接到所述媒体内容发生器和所述信息发生器,并且被安排成用于将所述带宽份额信息分配给所述媒体内容组;
-用于产生媒体容器文件的装置,所述媒体容器文件包括所述第一媒体内容、所述第二媒体内容和所述带宽份额信息。
CN2006800504632A 2006-01-05 2006-11-29 媒体内容管理 Expired - Fee Related CN101356828B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US74309406P 2006-01-05 2006-01-05
US60/743,094 2006-01-05
PCT/SE2006/001366 WO2007078227A1 (en) 2006-01-05 2006-11-29 Media content management

Publications (2)

Publication Number Publication Date
CN101356828A CN101356828A (zh) 2009-01-28
CN101356828B true CN101356828B (zh) 2011-06-08

Family

ID=38228493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800504632A Expired - Fee Related CN101356828B (zh) 2006-01-05 2006-11-29 媒体内容管理

Country Status (9)

Country Link
US (1) US8571215B2 (zh)
EP (2) EP1977611B1 (zh)
JP (1) JP5431733B2 (zh)
KR (1) KR101396675B1 (zh)
CN (1) CN101356828B (zh)
BR (1) BRPI0620947A2 (zh)
CA (1) CA2633778C (zh)
DK (1) DK1977611T3 (zh)
WO (1) WO2007078227A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL134092A0 (en) * 1997-07-31 2001-04-30 Procter & Gamble Wet-like cleaning articles
US8365060B2 (en) * 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files
CN101601305B (zh) * 2006-10-20 2013-01-23 诺基亚公司 用于可伸缩多媒体的自适应路径的通用指示
WO2009054907A2 (en) * 2007-10-19 2009-04-30 Swarmcast, Inc. Media playback point seeking using data range requests
US8543720B2 (en) 2007-12-05 2013-09-24 Google Inc. Dynamic bit rate scaling
US8781528B2 (en) * 2007-12-31 2014-07-15 The Invention Science Fund I, Llc Automatic mobile device backup
US7979570B2 (en) 2008-05-12 2011-07-12 Swarmcast, Inc. Live media delivery over a packet-based computer network
WO2009155356A1 (en) * 2008-06-18 2009-12-23 Onion Networks, KK Traffic and cost containment for internet access by adapting the coding rate when distributing- media content
US9277173B2 (en) * 2008-08-28 2016-03-01 Kyocera Corporation Communication device
KR101516968B1 (ko) 2008-11-06 2015-05-04 삼성전자주식회사 오디오 신호 처리 방법 및 이를 이용한 방송 출력 장치
WO2010065757A1 (en) * 2008-12-04 2010-06-10 Swarmcast, Inc. Adaptive playback rate with look-ahead
US20100250764A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Signaling Layer Information of Scalable Media Data
US20100250763A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Transmitting Information on Operation Points
CN103957448B (zh) * 2009-04-09 2017-05-17 瑞典爱立信有限公司 生成媒体容器文件的方法、媒体内容服务器、以及媒体处理方法和媒体处理服务器
JP5542913B2 (ja) * 2009-04-09 2014-07-09 テレフオンアクチーボラゲット エル エム エリクソン(パブル) メディアファイルを生成し処理するための方法および構成
AU2010238757A1 (en) * 2009-04-24 2011-11-03 Vidyo, Inc. Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
WO2010141460A1 (en) 2009-06-01 2010-12-09 Swarmcast, Inc. Data retrieval based on bandwidth cost and delay
US8351768B2 (en) * 2009-07-23 2013-01-08 Microsoft Corporation Media processing comparison system and techniques
EP2466888A1 (en) * 2009-08-10 2012-06-20 Nec Corporation Content delivery system
EP2993858B1 (en) * 2009-12-21 2017-07-26 Koninklijke KPN N.V. Content distribution system
SG172507A1 (en) * 2010-01-04 2011-07-28 Creative Tech Ltd A method and system for distributing media content over a wireless network
EP2362651A1 (en) 2010-02-19 2011-08-31 Thomson Licensing Multipath delivery for adaptive streaming
US8527649B2 (en) 2010-03-09 2013-09-03 Mobixell Networks Ltd. Multi-stream bit rate adaptation
US9693110B2 (en) * 2010-06-03 2017-06-27 Cox Communications, Inc Dynamic content stream management
US8954597B2 (en) 2010-06-28 2015-02-10 Hulu, LLC Method and apparatus for synchronizing paused playback across platforms
US9721254B2 (en) 2010-06-28 2017-08-01 Hulu, LLC Method and apparatus for providing streaming media programs and targeted advertisements using multiple advertisement version segments
CN103081461B (zh) * 2010-06-28 2016-07-06 葫芦有限责任公司 用于提供流媒体节目和目标广告的方法和装置
US9448723B2 (en) 2010-06-28 2016-09-20 Hulu, LLC Method and apparatus for intuitive navigation of a media program
US8904027B2 (en) * 2010-06-30 2014-12-02 Cable Television Laboratories, Inc. Adaptive bit rate for data transmission
US8832709B2 (en) 2010-07-19 2014-09-09 Flash Networks Ltd. Network optimization
JPWO2012066748A1 (ja) * 2010-11-17 2014-05-12 日本電気株式会社 コンテンツ提供装置
US8688074B2 (en) 2011-02-28 2014-04-01 Moisixell Networks Ltd. Service classification of web traffic
US9866877B2 (en) 2011-03-08 2018-01-09 Cox Communications, Inc. Transparent scalable video coding
CN102932935A (zh) * 2011-08-12 2013-02-13 中国移动通信集团公司 一种数据传输方法及移动终端
CN110062422A (zh) 2011-10-21 2019-07-26 弗劳恩霍夫应用研究促进协会 无线资源管理设备及方法
US9185709B2 (en) * 2012-01-18 2015-11-10 Harris Corporation Long term evolution wireless communication system and related methods
US20150026749A1 (en) * 2012-02-16 2015-01-22 Anevia Method and system for multimedia content distribution
EP2954685A4 (en) * 2013-02-07 2016-09-14 Opanga Networks Inc TRANSPARENT MULTIMEDIA ELEMENT DISTRIBUTION AND REPRESENTATIVE
US20140297882A1 (en) * 2013-04-01 2014-10-02 Microsoft Corporation Dynamic track switching in media streaming
US10291503B2 (en) * 2013-09-26 2019-05-14 Taiwan Semiconductor Manufacturing Co., Ltd. File block placement in a distributed network
US10127536B2 (en) * 2013-11-11 2018-11-13 Microsoft Technology Licensing, Llc Unified content representation
JP6294062B2 (ja) * 2013-12-02 2018-03-14 三星電子株式会社Samsung Electronics Co.,Ltd. コンテンツ受信装置およびコンテンツ配信システム
FR3021489A1 (fr) * 2014-05-22 2015-11-27 Orange Procede de telechargement adaptatif de contenus numeriques pour plusieurs ecrans
US11205193B2 (en) 2014-12-08 2021-12-21 Vungle, Inc. Systems and methods for communicating with devices with a customized adaptive user experience
US11127037B2 (en) * 2014-12-08 2021-09-21 Vungle, Inc. Systems and methods for providing advertising services to devices with a customized adaptive user experience
US11100536B2 (en) 2014-12-08 2021-08-24 Vungle, Inc. Systems and methods for providing advertising services to devices with a customized adaptive user experience based on adaptive algorithms
CN108419103B (zh) * 2017-02-09 2020-01-17 杭州海康威视数字技术股份有限公司 一种视频传输方法及装置
US11094346B2 (en) * 2018-11-12 2021-08-17 Netflix, Inc. Systems and methods for adaptive streaming of multimedia content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0665693A2 (en) * 1993-12-28 1995-08-02 Matsushita Electric Industrial Co., Ltd. Dynamic bit rate control method for very low bit rate video and associated audio coding
CN1557073A (zh) * 2001-09-21 2004-12-22 ���˹���Ѷ��� 计算每个流的可用带宽和比特流协调的发送多数据流的数据通信方法和系统
CN1679268A (zh) * 2002-08-28 2005-10-05 皇家飞利浦电子股份有限公司 用于细长传输信道的速率控制协议

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05111017A (ja) 1991-10-18 1993-04-30 Murata Mach Ltd テレビ電話機
EP0784409A3 (en) * 1996-01-11 2001-11-14 Sony Corporation Video coding and multiplexing
US5751712A (en) * 1996-10-28 1998-05-12 Lucent Technologies Technique for efficiently allocating bandwidth to multimedia calls in a communications system
US6052384A (en) * 1997-03-21 2000-04-18 Scientific-Atlanta, Inc. Using a receiver model to multiplex variable-rate bit streams having timing constraints
US6408005B1 (en) * 1997-09-05 2002-06-18 Nec Usa, Inc. Dynamic rate control scheduler for ATM networks
US6134243A (en) * 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
US6438141B1 (en) * 1998-04-20 2002-08-20 Sun Microsystems, Inc. Method and management of communications over media of finite bandwidth
EP1045555A3 (en) * 1999-04-09 2003-04-23 Sun Microsystems, Inc. Method and apparatus for management of communications over media of finite bandwidth
US6795506B1 (en) * 1999-10-05 2004-09-21 Cisco Technology, Inc. Methods and apparatus for efficient scheduling and multiplexing
US7389356B2 (en) * 1999-12-15 2008-06-17 Microsoft Corporation Generalized differentiation methods and arrangements for adaptive multimedia communications
WO2002025878A1 (fr) * 2000-09-22 2002-03-28 Matsushita Electric Industrial Co., Ltd. Procede de transmission/reception de donnees, dispositif de transmission, dispositif de reception, systeme de transmission/reception et programme
US6847656B1 (en) 2000-09-25 2005-01-25 General Instrument Corporation Statistical remultiplexing with bandwidth allocation among different transcoding channels
US8204079B2 (en) * 2002-10-28 2012-06-19 Qualcomm Incorporated Joint transmission of multiple multimedia streams
JP4100182B2 (ja) 2003-01-30 2008-06-11 松下電器産業株式会社 通信端末装置及びその制御方法
KR100524770B1 (ko) * 2003-09-17 2005-10-31 엘지전자 주식회사 주문형 비디오 서비스 장치 및 방법
CN100553330C (zh) * 2004-05-31 2009-10-21 松下电器产业株式会社 数字广播系统和数字广播发射与接收方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0665693A2 (en) * 1993-12-28 1995-08-02 Matsushita Electric Industrial Co., Ltd. Dynamic bit rate control method for very low bit rate video and associated audio coding
CN1557073A (zh) * 2001-09-21 2004-12-22 ���˹���Ѷ��� 计算每个流的可用带宽和比特流协调的发送多数据流的数据通信方法和系统
CN1679268A (zh) * 2002-08-28 2005-10-05 皇家飞利浦电子股份有限公司 用于细长传输信道的速率控制协议

Also Published As

Publication number Publication date
EP1977611A1 (en) 2008-10-08
EP1977611A4 (en) 2009-12-02
EP1977611B1 (en) 2013-01-16
US8571215B2 (en) 2013-10-29
KR101396675B1 (ko) 2014-05-16
BRPI0620947A2 (pt) 2011-11-29
US20090185619A1 (en) 2009-07-23
EP2574057B1 (en) 2014-01-29
WO2007078227A1 (en) 2007-07-12
JP2009522920A (ja) 2009-06-11
CA2633778A1 (en) 2007-07-12
CA2633778C (en) 2016-03-15
KR20080099257A (ko) 2008-11-12
EP2574057A1 (en) 2013-03-27
DK1977611T3 (da) 2013-04-15
CN101356828A (zh) 2009-01-28
JP5431733B2 (ja) 2014-03-05

Similar Documents

Publication Publication Date Title
CN101356828B (zh) 媒体内容管理
EP2417772B1 (en) Media container file management
CN101518087B (zh) 用于指示媒体文件中轨道关系的系统和方法
US9485526B2 (en) Multi-stream shared communication channels
US8745246B2 (en) Method and device for selecting an SVC operation point, and method and device for providing information of SVC operation points
CN101309393B (zh) 一种在交互式网络电视中插播视频监控的方法及系统
CN103248962A (zh) 获取流媒体数据的方法、设备及系统
US20030135605A1 (en) User rating feedback loop to modify virtual channel content and/or schedules
JP5872030B2 (ja) マルチキャストシステムおよびブロードキャストシステムにおけるストリームを多重化するためのグループIDおよびQoSグループの識別
CN102067551A (zh) 媒体流处理
CN105659623A (zh) 发送装置、发送方法、接收装置以及接收方法
CN101583020B (zh) 节目播放系统及方法
US11343590B2 (en) Event notification in a network environment
CN101505298B (zh) 一种媒体时移码流的存储和获取方法及多媒体业务系统
CN105430510A (zh) 一种视频点播方法、网关、智能终端及视频点播系统
KR101244551B1 (ko) Dmb에서 http 스트리밍 비디오 서비스를 제공하기 위한 방송 시스템
Carstens et al. Extensions of a TV Playout System to Support Dynamic Broadcast

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110608

Termination date: 20191129

CF01 Termination of patent right due to non-payment of annual fee