CN108476333A - 媒体流的邻接流送 - Google Patents

媒体流的邻接流送 Download PDF

Info

Publication number
CN108476333A
CN108476333A CN201680078143.1A CN201680078143A CN108476333A CN 108476333 A CN108476333 A CN 108476333A CN 201680078143 A CN201680078143 A CN 201680078143A CN 108476333 A CN108476333 A CN 108476333A
Authority
CN
China
Prior art keywords
receiver
section
media stream
stream
streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680078143.1A
Other languages
English (en)
Inventor
H.M.斯托克金
M.普林斯
O.A.尼亚穆特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Koninklijke KPN NV
Original Assignee
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Koninklijke KPN NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO, Koninklijke KPN NV filed Critical Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Publication of CN108476333A publication Critical patent/CN108476333A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401Monitoring of the client buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了用于执行媒体流的非邻接流送的方法和控制器。这种非邻接流送包括将媒体流的选定部段传输到接收器而同时省略传输媒体流的至少紧邻部段,从而使得接收器在预定播出延迟之后能够进行选定部段的不中断播出。当内容比特率超过可用网络带宽时,可以有利地使用这种非邻接流送。即,不是流送全部媒体流,而是仅流送媒体流的一个或多个选定的且非相邻的部段,同时省略传输一个或多个中间部段。实际上,可用网络带宽可以被分配用于仅传输媒体流的选定部段,以使得所述部段中的每一个能够由接收器在预定播出延迟之后且以原始内容比特率不中断地播出。由此可以防止接收器处的缓冲器欠载运行。

Description

媒体流的邻接流送
技术领域
本发明涉及用于经由网络向接收器流送媒体流的方法和控制器。本发明还涉及流源和接收器。本发明还涉及包括用于使处理器系统执行所述方法的指令的计算机程序产品。
背景技术
诸如视频内容和音频内容之类的媒体内容普遍以数字形式递送给用户。如果媒体内容具有时间方面,并且特别是媒体内容与指示媒体内容应如何随时间播出的时间线相关联,则这样的数字形式通常被称为媒体流。媒体流可以经由(媒体分发)网络被递送给用户的接收器。特别地,媒体流可以被流送到接收器,这允许接收器在接收到完整的媒体流之前就开始播出媒体流。
媒体流的示例包括诸如相机记录的流或计算机渲染的流之类的视频流、诸如麦克风记录的流之类的音频流、诸如字幕流或社交媒体流之类的定时文本流、在接收器处显示广告图像或执行动作的定时事件流以及包括不同类型的媒体流的多媒体流。
诸如流送服务器和设备之类的流源在它们向接收器传输媒体内容时可能是带宽受限的,因为表示媒体内容的媒体流的内容比特率可能超过到接收器的可用网络带宽。这里可出现多种情况,包括结构性的情况(例如,内容比特率(几乎)连续不断地超过可用网络带宽)以及更加暂时性的情况(例如,即使从长期来看可存在足够的带宽来以一定的内容比特率进行流送,但带宽波动导致带宽的暂时缺乏)。此第二种情况可被描述为引起“抖动”,并且常常通过在接收器处使用(足够大的)抖动缓冲器和/或通过跳过某些帧的传输来解决。后者所依靠的概念是观看者几乎不会注意到单个丢失帧,和/或一个或几个丢失帧可以在接收器处通过相邻帧的时间内插而重建。
然而,在带宽的更加结构性短缺的情况下,对于网络带宽的(非常)暂时性的缺乏的上述解决方案并不适用。尽管如此,为了使得能够将媒体内容流送到接收器,例如通过以较低比特率进行转码或编码来降低内容比特率并因此降低媒体流的质量(例如,分辨率、帧速率或采样率等)以适合可用网络带宽是已知的。此外,诸如MPEG-DASH之类的HTTP自适应流送可用于使比特率适配至网络环境。不利的是,内容比特率可能会被降低太多以至于它给观看者带来较差的体验。如今,许多观看者正在使用具有高分辨率屏幕的高端设备,并且这些观看者可能习惯于并期望高质量的视频。如果人们由于视频质量的缺乏而停止观看内容,则简单地降低内容比特率以使其适合可用的网络带宽可能会适得其反。还存在不期望降低内容比特率以适合可用网络带宽的其它原因。例如,将媒体流转码为较低的比特率可能是计算复杂的,或者较低的比特率可能恰恰不被流源所支持。此外,当对内容应用某些计算(诸如指纹或水印算法)时,这些计算可能要求一定的最低质量。
发明内容
使得能够在可用网络带宽在结构上低于内容比特率时将媒体内容流送到接收器将是有利的。
根据本发明的第一方面,可以提供一种用于经由网络向接收器流送媒体流的方法,媒体流表示以内容比特率编码的媒体内容,并且网络具有可用网络带宽。该方法可以包括:当可用网络带宽低于内容比特率时,执行媒体流的非邻接流送,所述非邻接流送包括向接收器传输媒体流的选定部段同时省略传输媒体流的至少紧邻部段,从而使得接收器在预定播出延迟之后能够进行选定部段的不中断播出。
根据本发明的另一方面,可以提供一种用于使得处理器系统执行该方法的计算机程序。
根据本发明的另一方面,可以提供一种用于控制媒体流从流源经由网络到接收器的流送的控制器,媒体流表示以内容比特率编码的媒体内容,并且网络具有可用网络带宽。该控制器可以被配置用于:当可用网络带宽低于内容比特率时,控制媒体流的流送以便实现媒体流的非邻接流送,所述非邻接流送包括流源向接收器传输媒体流的选定部段同时省略传输媒体流的至少紧邻部段,从而使得接收器在预定播出延迟之后能够进行选定部段的不中断播出。
根据本发明的其它方面,可以提供可以各自包括所述控制器的流源和/或接收器。
根据本发明的另一方面,可以提供一种用于经由网络从流源接收媒体流的接收器,其中,该接收器可以被配置用于:当流源执行其中媒体流的选定部段被传输到接收器同时媒体流的至少紧邻部段未被传输的、媒体流的非邻接流送时,对接收器的播出应用预定延迟从而获得选定部段的不中断播出。
上述措施涉及到经由网络将媒体流(例如,从流源)实时流送到接收器。朝向接收器的网络带宽可能受到约束,因为可用网络带宽低于内容比特率。具体地,约束可以是结构性的而不是表示网络中的带宽波动。例如,移动电话的上传速度可以是受限的。在这种情况下,媒体流的部段的流送花费的时间比该部段的持续时间更长,并因此比该部段的播出的持续时间更长。即,当流送媒体流时,由接收器接收的媒体流的数据通常存储在缓冲器中,并在播出所述数据期间或之后从缓冲器中移除。在流送发生在比内容比特率更低的带宽下的情况下,缓冲器被填充的速度比它通过播出而被清空的速度更慢。如果在一段时间内网络带宽低于内容比特率(例如,情况在几秒钟或几分钟内是结构性的),则通常将发生缓冲器欠载运行,并且媒体流的播出由于要播出的媒体流的数据不可用而被中断。
发明人认识到,在这种情况下,以非邻接的方式流送媒体流可能是优选的,因为并不流送所有的媒体流,而是流送一个或多个选定部段和其非相邻部段而同时省略传输一个或多个中间部段。实际上,可用网络带宽可被分配用于仅传输媒体流的选定部段,可以由接收器在预定播出延迟之后且以原始内容比特率不中断地播放每个选定部段。换言之,可以防止缓冲器欠载运行。因此,有意不尝试以该内容比特率流送整个媒体流,因为这会由于可用网络带宽不足而导致由于缓冲器欠载运行的播出中断。这种非邻接流送还可以避免需要选择这样的内容比特率:过低以至于不满足观看者的质量期望和/或媒体流的转码,和/或使其不适合进一步的内容处理(诸如应用指纹和/或水印算法)。
在具体但非限制性的示例中,内容比特率可以是可用网络带宽的两倍。然后,可以通过交替地传输以及省略传输具有一定持续时间(例如,具有几秒到几十秒的长度)的部段来以非邻接的方式流送媒体流。
要指出的是,在上文和下文中,术语“部段”指代一定长度的媒体内容,即,时间部段。例如,在HTTP自适应流送(HAS)的上下文内,这样的部段可以由一个或多个时间上相邻的区块组成,其中区块例如是媒体流的碎片(其可以包括媒体数据和相关联的元数据以使得能够进行所述数据的解码和回放)或片段(其可以包括多个碎片)。然而,这不是限制,因为部段也可以具有任何其它合适的长度。
在实施例中,选定部段可以具有部段持续时间,并且该方法还可以包括至少根据内容比特率和可用网络带宽来确定部段持续时间,从而使得接收器在预定播出延迟之后能够进行选定部段的所述不中断播出。发明人认识到,在给定可用网络带宽的情况下,选择更长的部段持续时间需要更长的播出延迟和/或更低的内容比特率。这样,取决于期望的播出延迟和/或期望的(或可用的)内容比特率,可以选择合适的部段持续时间。例如,在1 Mb/s的可用网络带宽、2 Mb/s的内容比特率以及10秒的期望(例如,最大)播出延迟的情况下,可以选择10秒的部段持续时间。即,如果所述10秒部段被传输到接收器(这需要20秒来完成),则接收器可以在10秒的播出延迟之后开始不中断地播出该部段。将认识到,为了易于解释,诸如解码延迟、显示缓冲器延迟、解包延迟等的细节被忽略,但是在确定部段持续时间时或者在计算其它参数时可以将它们纳入考虑。
在实施例中,该方法还可以包括至少根据内容比特率、可用网络带宽和部段持续时间来确定播出延迟。为了确保选定部段的不中断播出,接收器可能需要对播出应用播出延迟。即,如果没有应用这样的播出延迟,则该播出将由于内容比特率超过可用网络带宽且选定部段的流送因此花费比选定部段的实际播出更长的时间而被中断。在这种情况下,可能出现缓冲器欠载运行。因此可以在流送选定部段之前预先确定播出延迟,例如根据内容比特率、可用网络带宽和部段持续时间。与由于接收器为了补偿抖动和带宽波动而进行缓冲所导致的“通常的”播出延迟相比,预定播出延迟通常较长并且确保选定部段的不中断播出。换言之,预定播出延迟是有目的地预先确定的,并且然后由接收器应用以确保选定部段的不中断播出。
在实施例中,该方法还可以包括将预定播出延迟以播出延迟参数的形式传送给接收器。播出延迟可以在接收器之外例如由流源或控制非邻接流送的控制器预先确定,并以播出延迟参数的形式传送给接收器。例如,这种传送可以在流送选定部段之前、或作为所述流送的一部分(例如,在选定部段的头部或元数据中或者通过使用例如网络套接字(websocket)来使用带外信令)发生。一非限制性示例是播出延迟可以在自适应流送的上下文中作为清单(例如,媒体呈现描述)的一部分被传送给接收器。
在实施例中,该方法还可以包括将播出延迟确定为要由接收器在开始播出之前的选定部段的缓冲时应用的最小缓冲时间或最小缓冲水平。播出延迟因此可以被指定为最小缓冲时间(例如,10秒)或者最小缓冲水平(例如,10兆字节)。要指出的是,最小缓冲时间在量值上通过内容比特率与最小缓冲水平相关。
在实施例中,该方法还可以包括根据下式确定部段持续时间和/或播出延迟:
发明人认识到,为了获得使得所传输的部段能够不中断地播出的非邻接流送,可能需要在可用网络带宽、部段持续时间、播出延迟和内容比特率之间做出折衷。在可用网络带宽和内容比特率被看做给定的情况下,可以根据上述公式在部段持续时间和播出延迟之间做出折衷。要指出的是,由于所有四个因素都是相互关联的,因此也可以做出其它折衷,这可以涉及到调整内容比特率和/或可用网络带宽。前者的示例是转码或从不同质量的流中进行选择,并且后者的示例是分配更多的网络带宽。
在实施例中,该方法还可以包括从表示以不同内容比特率编码的媒体内容的多个媒体流中选择媒体流,其中,媒体流的所述选择可以是基于媒体流的内容比特率匹配比特率选择准则,该比特率选择准则是可用网络带宽、部段持续时间和预定播出延迟中的至少一项的函数。在自适应流送的情况下,以不同比特率表示相同内容的不同质量的流可以是可用的。替换地,媒体流可以被转码为不同的比特率。这样,内容比特率可以被视为是可以被调整以获得与确定非邻接流送的其它因素(诸如可用网络带宽、部段持续时间和预定播出延迟)的适当折衷的参数。一非限制性示例可以是:可用网络带宽可以是给定的,内容比特率的离散集合可用,并且从内容比特率中选择一个内容比特率以获得质量(内容比特率)、开始播出之前的等待时间(预定播出延迟)和不中断播出的长度(选定部段的持续时间)之间的折衷。
在实施例中,该方法还可以包括向接收器发信号通知媒体流是以非邻接方式流送的。例如,可以使用这种信令来使得接收器将预定播出延迟应用于其播出。要指出的是,这种信令可以替换地或附加地包括将选定部段的部段持续时间和/或内容比特率发信号通知给接收器。
在实施例中,该方法还可以包括以邻接的方式向接收器流送与所述媒体流相关联的第二媒体流。首先提到的媒体流可以与第二媒体流相关联,二者都可以被传输到接收器。将非邻接流送应用于第一媒体流而不应用于第二媒体流可能是合期望的。这样做的原因是第二媒体流可能被认为更重要。例如,在传输视频流和相关联的音频流的情况下,可以认为音频流对于通信目的更重要。另一原因可以是第二媒体流可能具有比第一媒体流(显著)更低的内容比特率,因此没必要进行第二媒体流的非邻接流送。
在实施例中,该方法还可以包括:以非邻接的方式向接收器流送多个媒体流,这多个媒体流表示对一事件的不同记录,并且选择要以非邻接的方式流送的部段以向接收器提供该事件的、比由一个媒体流的非邻接流送会提供的更加邻接的流送呈现。在网络带宽中的约束可能在流源处或在流源附近时可以这样。例如,在诸如音乐会之类的事件的情况下,基站带宽可能不足以支持数百或甚至数千个智能电话流送音乐会的实时视频馈送。在这样的和类似的情况下,可以将非邻接流送应用于若干个流源,并且然后由不同流源传输的选定部段可以稍后例如在网络中或在接收器处被组合以获得该事件的、比由一个流源对一个媒体流的非邻接流送会提供的更加邻接的流送呈现。实际上,流源可以执行其中所选择的部段来自不同时刻并且因此互补的非邻接流送。
在实施例中,该方法还可以包括选择其它内容的部段以在播出媒体流时替换媒体流的紧邻部段。例如,接收器可以选择本地可用内容的部段或来自一不同源的可用内容的部段(例如,来自从不同流源流送的不同媒体流),其可以然后在所传输的选定部段之后或之前由接收器播出。其它内容的非限制性示例可以是广告。
本领域技术人员将认识到,本发明的上述实施例、实现方式和/或各方面中的两个或更多个可以以认为有用的任何方式进行组合。
本领域技术人员可以基于本说明书来执行与所描述的对于方法的修改和变更相对应的对于控制器、流源、接收器和/或计算机程序产品的修改和变更。
附图说明
参考下文描述的实施例,本发明的这些和其它方面将变得显而易见并且将得到阐明。在附图中,
图1示出了流源经由包括入口网络、核心网络和出口网络的网络将媒体流流送到接收器;
图2与图1类似并同时显示流源是视频记录设备而接收器是诸如电视之类的显示设备;
图3例示了媒体流的非邻接流送,其中媒体流的选定部段被传输到接收器同时省略了向接收器传输媒体流的中间部段;
图4A示出了用于建立媒体流从流源到接收器的非邻接流送的消息交换的第一部分;
图4B示出了图4A的消息交换的第二部分;
图5示出了视频流的非邻接流送和与视频流相关联的音频流的邻接流送;
图6示出了接收器和流源之间的消息交换,其中接收器实现媒体流的非邻接流送;
图7示出了接收器和流源或控制器之间的消息交换,其中流源或控制器实现媒体流的非邻接流送;
图8示出了两个流源向接收器流送媒体流的交替部段以向接收器提供更加邻接的流送;以及
图9示出了示例性数据处理系统。
应当指出的是,在不同附图中具有相同附图标记的项目具有相同的结构特征和相同的功能、或者是相同的信号。在已经解释了这样的项目的功能和/或结构的情况下,在详细描述中没有必要对其进行重复解释。
附图标记列表
以下附图标记列表是被提供用于促进附图的解释,而不应被解读为限制权利要求。
1-6 媒体流的部段
10 媒体流
STR_<X> 媒体流的部段<X>的流送
TL 时间线
20 内容比特率
40 可用网络带宽
60 预定播出延迟
80 部段持续时间
100、102 接收器
120、122 流源
200 核心网络
202 入口网络
204 出口网络
1000 示例性数据处理系统
1002 处理器
1004 存储器元件
1006 系统总线
1008 本地存储器
1010 大容量存储设备
1012 输入设备
1014 输出设备
1016 网络适配器
1018 应用。
具体实施方式
以下实施例涉及用于实现媒体流从流源到接收器的非邻接流送的方法和控制器。参照图1至图3提供了一般性解释,而图4A至图8示出具体实施例并且图9示出供实现所述实施例中的任何时使用的示例性数据处理系统。将认识到的是,没有任何实施例应被理解为表示对本发明的限制。
图1例示了流源120经由网络将媒体流流送到接收器100。在图1的示例中,网络被示出为包括核心网络200(象征性地示出为云)、入口网络202(流源120利用入口网络202连接到核心网络200)和出口网络204(接收器100利用出口网络204连接到核心网络200)(它们被象征性地示出为连接云与流源和接收器的线条)。
网络中的可用带宽对于媒体流的实时流送来说可能过于有限。即,媒体流的内容比特率可能超过流源120与接收器100之间的可用带宽。可用网络带宽中的这种限制(例如,“瓶颈”)可发生在流源120和接收器100之间的网络内的各个点处,例如,在入口网络202中、在核心网络200中或在出口网络204中或者在其组合中。例如,可能发生入口网络202缺少足够的带宽,如可能发生在如图2中描绘的情形中那样,其中用户使用视频记录设备122与他人共享相机视图(例如,通过将记录的媒体流流送到另一用户的显示设备102)。视频记录设备122的示例是智能电话,其可以经由蜂窝网络、Wi-Fi或其它类型的接入网络连接到核心网络200。入口网络可能不可为视频记录设备122对记录的媒体流的这种流送提供足够的带宽,例如,因为由于许多用户试图流送事件的媒体流而导致网络暂时“过载”,或者出于各种其它原因,包括例如:有限的覆盖范围、其它无线信号的频谱干扰或其它电磁噪声。这些原因可能是结构性的,因为它们适用于较长的时间段(例如,数十秒、数分钟、数小时),而不是属于通常持续数毫秒至数秒的抖动或带宽波动。
图3例示了媒体流的非邻接流送,其可以在可用网络带宽低于内容比特率时执行。这种非邻接流送可以包括将媒体流的选定部段传输到接收器,同时省略传输媒体流的至少紧邻部段,从而使得接收器在预定播出延迟之后能够进行选定部段的不中断播出。本发明的此方面至少部分地基于以下认知:当不可能实时流送媒体流时,与其尽管如此仍然尝试以邻接的方式流送媒体流(其通常导致频繁的缓冲器欠载运行并因此导致用户的较差体验),不如仅传输媒体流的非邻接部段。由于非邻接部段表示较少的数据,因此这可以适应于可用网络带宽。此外,接收器可以在预定播出延迟之后不中断地播出所传输的非邻接部段中的每一部段,即不中断地播出每个部段(即使在不同部段的播出之间可能存在时间间隔)。
此概念在图3中得以例示,其中示出了媒体流10的多个连贯部段1-6,每个部段具有沿着水平轴(时间线TL)的宽度,该宽度表示其持续时间(例如,其实时播出时间),并且每个部段具有沿着垂直轴的高度,该高度表示其内容比特率20。可用网络带宽40也沿着垂直轴示意性地指示,其大约是内容比特率的一半。根据非邻接流送,可用网络带宽40可被用于仅流送媒体流10的每隔一个部段,例如如STR_1、STR_3和STR_5示意性地指示的部段1、3和5。部段2、4和6因此有目的地不被传输,以便宁愿能够不中断地播出部段1、3和5。
示例用例
以下是可以与媒体流的非邻接流送相关并且有利地应用媒体流的非邻接流送的用例的示例。
- 在通信中,音频特别重要。非邻接流送因此可以被应用于视频流或媒体流的视频分量,而相关联的音频流或媒体流的音频分量可以被邻接地传输。例如,在其中一人介绍幻灯片的网络研讨会的流送呈现中,可以传输正在进行介绍的人的部分视频,而其它可以被“跳过”,即不传输。要指出的是,在接收器侧,所介绍的幻灯片可以例如作为分离的媒体流或媒体流的分量而是可用的,并且可以用于在媒体流的呈现中代替视频的未传输部段。要指出的是,将参照图5进一步解释类似的用例。
- 可以有表示对于同一事件的不同记录的多个可用的媒体流。例如,多个用户可以流送来自足球场的同一足球比赛的捕获或记录。尽管不可能以邻接的方式流送每个媒体流,但是多个媒体流可以以非邻接的方式进行流送并且可以例如由接收器或另一实体进行整理以形成该事件的、比由一个媒体流的非邻接流送会提供的更加邻接的流送呈现。
- 在某些情况下,仅针对一部分时间对媒体流的内容感兴趣。例如,对于安防摄像头,可能对只有在存在移动时的内容感兴趣。在这里可以应用非邻接流送,因为可以仅在存在移动时流送高质量视频,而在没有移动时可以不流送任何视频或者流送视频的低质量版本。
- 在视频会议中,具有带宽受限的连接的参与者的视频可以仅被示出部分的时间(例如,当他们正在讲话时),在这种情况下,如本公开所述的预定播出延迟的应用可以使得所传输的视频部段能够不中断地播出。
为了实现使得能够进行不中断播出的非邻接流送,可以将许多因素纳入考虑:可用网络带宽、部段持续时间(要流送的媒体流的部段的持续时间)、播出延迟(要由接收器在开始播出所接收的部段之前应用的延迟)和内容比特率(媒体流的比特率)。可以例如根据下式来做出上述因素之间的折衷:
如从上述公式可以看出的那样,如果内容比特率大于网络带宽,则预定播出延迟将大于0。
例如,在上行链路带宽为1 Mb/s、部段持续时间为10秒、并且内容比特率为2 Mb/s的情况下,部段将大约花费(2 Mb/s * 10 s)/1 Mb/s = 20秒来进行流送。由于该部段将播出10秒(即,部段持续时间为10秒),因此播出延迟可以被确定为10秒以使得能够从播出开始进行连续的回放。在这种情况下,内容的最后部分的播出将与正在流送的该最后部分一致。要指出的是,此示例省略了像抖动缓冲、网络延迟、捕获延迟、解码延迟等的小因素,而在实现时要将这些因素纳入考虑。
要指出的是,可用网络带宽通常是给定的,并且可以在开始非邻接流送之前以本领域中自身已知的任何方式来确定(例如,从网络中测量或查询)。替换地,可用网络带宽可以被看做可确定的因素,例如在可以以一定成本分配附加带宽的情况下。其余的三个因素也是相互关联的,例如以如下方式:
- 更长的部段持续时间通常导致不得不确定更长的播出延迟和/或更低的内容比特率。
- 更短的播出延迟通常导致不得不确定更短的部段持续时间和/或更低的内容比特率。
- 更高的内容比特率通常导致不得不确定更短的部段持续时间和/或更长的预定播出延迟。
例如,当选择特定内容比特率(例如,质量水平)并且知道可用网络带宽时,可以选择部段持续时间并确定所需的预定播出延迟,或者确定播出延迟并确定(最大)部段持续时间。在确定了全部四个因素之后,内容比特率、部段持续时间和预定播出延迟可以被控制并且在需要时传输给接收器,并且可以开始流送。这里,术语“控制”可以指代向流源和/或接收器发信号通知所确定的因素,从而使得流源和/或接收器能够坚持对所确定的播出延迟、内容比特率和部段持续时间的选择。
要指出的是,可以在流源处控制内容比特率,因为流源可能正在配置要以其进行流送的比特率。要指出的是,质量可以用内容比特率表示,因为更高的比特率通常等于更高的质量。更高的质量可以通过各种方式获得:更高的分辨率、更高的帧速率、更高的图像(编码)质量。这样,如果需要某一最低质量,则这可以转译成某一(最小)内容比特率。
也可以在流源处控制部段持续时间,因为在非邻接流送的情况下,流源可能需要仅流送整个内容的选定部段。可以在接收器处控制预定播出延迟,因为接收器需要等待并且缓冲媒体流的所传输的(一个或多个)部段的各部分达一段时间才可以实际开始所述(一个或多个)部段的播出。
这样,可以通过下述内容来实现非邻接流送:确定所有四个上述因素,控制播出延迟、质量(内容比特率)和部段持续时间,开始流送选定部段,在接收器处等待达预定播出延迟,并然后没有中断地播出所述部段。要指出的是,一旦完成了选定部段的流送(例如,当在接收器处接收到选定部段时),可以再次执行相同的步骤以传输媒体流的下一部段。替换地,可以与选定部段同时流送下一部段,例如,如果下一部段是从具有足够带宽的另一流源流送到该接收器的话。
图4A示出了用于建立媒体流从流源到接收器的非邻接流送的消息交换的第一部分。在此示例中,提供了可以用于实现媒体流从流源120到接收器100的非邻接流送的控制器110。控制器110可以实现先前描述的方法的功能性。要指出的是,这里的控制器被描绘为与流源和接收器分离。在实践中,控制器确实可以是单独的实体或被实现于诸如代理之类的单独实体中。然而,控制器同样可以被实现在流源或接收器中,或者以例如在功能性上分布的方式实现在两者中。
要指出的是,媒体流的被选择用于流送的部段可以(但不要求)与片段化媒体流的片段(例如,MPEG- DASH的片段)相匹配。例如,当基于内容持续时间计算预定播出延迟时,内容持续时间可以是1个MPEG-DASH片段,但也可以是2个或3个或更多个MPEG-DASH片段。部段甚至可以小于1个MPEG-DASH片段,例如半个MPEG-DASH片段(可以使用字节范围来请求)。
在图4A的步骤1-3中,流源120和接收器100彼此连接。在媒体流送的领域中存在如何实现这一点的许多已知方式,导致流源120和/或内容平台公告内容可用性并且接收器100选择并请求内容。例如,用户可以以与现在在例如YouTube上所做的类似方式来选择网站上的视频,或者用户可以在EPG(电子节目指南)或类EPG应用中选择视频,例如,类似于Netflix。实质上,这些步骤的结果可以是接收器指示(意译的)“我想从此源接收此内容”。接下来,控制器110可以确定并选择前面提到的四个因素,即可用网络带宽、部段持续时间、播出延迟和内容比特率。在步骤4A和4B中,控制器110可以收集内容特性和源能力。诸如流源120之类的内容源可以能够提供各种长度的内容部段,并且它可以能够提供各种内容比特率(具有各种分辨率、帧速率、质量等)。流源120也可以发信号通知关于内容的其它方面,例如内容实际是什么(例如,海滩的视图、进行中的足球比赛的流、舞会),因为这可以帮助控制器110选择适当的部段持续时间。在步骤5A和5B中,控制器110还可以收集接收器100的可用特性。关于此点的最基础的可以是屏幕尺寸或视频窗口尺寸以及可用播放器缓冲器尺寸。屏幕尺寸(包括屏幕分辨率)可以指示什么“质量”(即,内容比特率和内容分辨率、帧速率和编码质量)对于接收器100的终端用户来说可以是可接受的。另外,有限的播放器缓冲器尺寸可以是能够选择的最大预定播出延迟中的限制因素。
要指出的是,步骤5A/5B比步骤4A和4B具有(更多的)可选性质。为了实际流送内容部段,流源120可以配置要以其流送的比特率并选择部段的持续时间。为了确定可接受的质量,这也可以是服务水平的选择,例如,“以20fps进行480p流送是被认为对我们的用户足够的最低质量水平”。由于现代接收器通常具有足够的板上存储器,因此可以假定接收器100可以针对媒体流的非邻接流送缓冲足够的时间量以正确运行。接下来,在步骤6和7中,可以确定用于流送内容部段的可用网络带宽。如本领域自身已知的那样,存在用来实际确定网络带宽的各种方式,例如通过读出网络参数(例如,读出(所管理的)网络中的协商好的链路带宽),或者通过主动地或者被动地探测网络。
图4B示出了图4A的消息交换的第二部分。在步骤8中,已经确定并决定了所有因素:部段持续时间、预定播出延迟和内容比特率。在步骤9中,将内容部段持续时间和内容比特率发信号通知给流源120,以使得流源能够配置这些内容。在步骤10中,将所需的预定播出延迟发信号通知给接收器100,以使得接收器100能够对此进行配置。接下来,在步骤11中,发信号通知接收器100以请求实际的流送,这在步骤12和13中完成,此后在步骤14和15中执行实际的流送。最后,在步骤16中,接收器100应用预定播出延迟并从而将播出延迟相同的量,并此后没有中断地播出内容部段。
要指出的是,可以合并某些步骤。例如,可以合并步骤1和4A/4B,直接用内容公告指示特性和能力。另外,当流源预先测量网络带宽时,步骤1中的内容公告还可以包含步骤6和7。以相同的方式,可以合并步骤3和5A/5B。可以合并步骤10和11,并且这里也可以合并步骤9:可以向接收器指示所请求的部段持续时间和内容比特率,接收器可以将这些包括在步骤12中的它到流源的请求中。另外,步骤12和13可以分离,由此该请求通过平台。然而,也可以直接在接收器和流源之间执行这些步骤。对于在步骤14和15中实际流送内容也是如此。另外,在图4A、图4B的示例中,首先收集所有输入,并然后在步骤8中做出决定。这也可以迭代地进行,例如以多步协商过程的形式。例如,可以首先决定内容比特率,然后可以从流源请求可能的部段持续时间,可以选择一部段持续时间,并且仅在此之后可以测量可用带宽并且确定播出延迟。
图5示出了视频流的非邻接流送以及与视频流相关联的音频流的邻接流送的示例。在此示例中,视频比特率大约是可用网络带宽的两倍高。这意味着可以播出大约一半的视频流。在(例如,使用MPEG-DASH的)片段化视频流中,这意味着可以播出一半的片段。
图5示出了这种片段化视频流的非邻接流送,沿着时间线TL示出了片段的流送和播出。要指出的是,在此示例中,所选内容持续时间与(DASH)片段持续时间相匹配。示出了视频片段的流送花费大约它们单独的播出持续时间80的两倍长。这样,仅可以播出大约一半的视频片段。对于音频,流送可以花费与播出时间相似的时间量,并且因此可以播出所有的音频片段。在此示例中,可以观察到两件事情。首先,只播出每隔一个的视频片段。这可以在预定播出延迟60(在图5中称为“初始播出延迟”)之后完成,以使得能够进行每个视频片段的连续播出。视频片段的传输始于内容片段的开始(未在图5中明确示出,例如,内容从时间线上的内容片段号左侧的垂直虚线开始可用)。其次,此示例中的音频被连续播出,这可以是服务设计选择:音频对带宽的要求较低,而连续的音频会有助于更加连续并因此更好的体验。要指出的是,对于音频与视频的同步播出,音频的播出也要被延迟。还要指出的是,因为音频回放是连续的,因此后续视频片段(即,在此示例中为片段3和5)的预定播出延迟是固定的:它应当在视频片段的起点与它所属的音频片段对齐时开始。替换地,也可以在一定程度上调整音频播出时间以适应媒体间同步,例如通过使用已知的原理,诸如在安静期间跳过、使用临时(稍微)增加或降低的播出速率等。
图6示出了接收器和流源之间的消息交换,其中接收器实现媒体流的非邻接流送。即,接收器可以自主地实现媒体流的非邻接流送,而不需要例如通过包括控制器或者被配置用于执行其功能来修改流源或分离的控制器(如在图4A、图4B的示例中的情况那样)。在此示例中,接收器100知道使用MPEG-DASH可用的片段化内容的可用性。为了检索此内容,接收器100在步骤1中从流源120中检索描述内容的媒体呈现描述(MPD)。在步骤2中接收到MPD之后,接收器100在步骤3中使用正常的HTTP-GET机制检索第一片段。然后,在步骤4中,此片段由流源120递送给接收器100。在接收到片段之后,接收器100现在可以在步骤5中分析情况。即,第一片段的递送可能已经花费了一定的时间量,这指示网络中可用的带宽。要指出的是,在实践中,可以首先递送多个片段,以使得能够更好地估计可用带宽。MPD描述内容可用的所有可用比特率,因此接收器100可以决定在此情况下可接受的最小比特率是什么。MPD还描述了DASH片段的长度。这样,所有信息都可用于确定可以检索多少片段以及在对于各片段期间的不中断播出需要什么播出延迟量。例如,接收器100可以在步骤6中请求片段4,并因此省略请求中间片段2和3。然后片段4可以在步骤7中由流源120递送,并且可以由接收器100在如步骤5中确定的播出延迟之后以不中断的方式播出。要指出的是,请求非相邻部段的上述方式导致不连续的回放,因为所请求的部段本身可以被连续地播放,即没有中断地播放,但是在部段之间可能存在其中不回放任何内容的间隙。可以通过从另一源(例如,从包含同一事件的视频镜头的另一服务器)检索其它部段来创建(更加)连续的体验。就此而言,要指出的是,MPEG-DASH片段正常地都是可单独使用的,例如可以独自地请求和播出每个片段。
图7示出了接收器与流源或控制器之间的消息交换,其中流源或控制器实现媒体流的非邻接流送。具体地,该示例描述了可以如何使用RTSP作为流送控制协议来实现非邻接流送。在此示例中,流源120也是控制器110,或者控制器110充当朝向接收器100的代理。以下仅涉及流源120,但是可以同样适用于充当代理的控制器。接收器100可以通过在步骤1中请求某一内容而开始,并且流源120可以通过递送描述媒体的SDP在步骤2中进行响应。此SDP可以包含只关于单个部段的信息,例如它可以描述能够由接收器100播放的第一部段。接下来,在步骤3和4中,接收器100建立针对第一部段的连接。在步骤5中,流源120设置接收器处的预定播出延迟。要指出的是,这是作为会话描述的一部分(例如,作为会话描述协议的一部分)可能尚未存在但是相反可以被新引入的参数。在步骤6中,接收器100发出开始内容的实际传输的PLAY(播放)请求,并且可以接下来(未示出)在等待了如所指示的预定播出延迟之后回放该内容。当流源120想要指示要播放的另一部段时,它可以发送ANNOUNCE(公告),如步骤9所示。此ANNOUNCE可以包含在SDP中描述的新的媒体对象。在此ANNOUNCE之后,接收器100可以继续以等同于步骤3-8的步骤来回放下一部段。要指出的是,此示例可能涉及到对接收器的修改,因为接收器100应当被配置成理解新的“init_playout_delay(初始播出延迟)”参数,并且当流源公告新的部段时,接收器100应当发出SETUP请求,随后是PLAY请求。
作为对使用RTSP的ANNOUNCE特征的替换方案,在RTSP设置期间,客户端和服务器可以协商非邻接流送,因此客户端可以在已接收到并播出第一部段之后保持在某一端口上监听新的(非邻接的)媒体数据。
还要指出的是,RTSP还将使得能够实现客户端控制的场景,因为接收器可以在使用正常播放时间(NPT)范围发出PLAY请求时指示播出范围,从而使得接收器能够仅回放较大内容的某些部段。还要指出的是,可以指示各种服务器上的各个部段,从而即使至少一个流源经历朝向接收器的有限带宽,也可以创建(更加)连续的媒体体验。
要指出的是,媒体流的非邻接流送也可以实现在MPEG-DASH的上下文内,如参考图6已经指示的并且在下面进一步详述的。要指出的是,接收器在这里被称为“客户端”。在MPEG-DASH中,客户端通常检索描述媒体流以及(HTTP)客户端能够如何检索相关联的媒体的MPD(媒体呈现描述)。媒体流由一个或多个片段组成,这些片段要根据媒体呈现时间线播出。在MPD中,片段可用性可以由片段可用性开始时间(@availabilityStartTime)指示。片段的播出应当在呈现时间处开始。通过使用@suggestedPresentationDelay(建议呈现延迟),此呈现时间可以被给与一附加延迟。如果接收器被配置成在片段可用性开始时间处立即开始下载片段并在将建议呈现延迟纳入考虑的呈现开始时间处开始呈现所述片段,则这允许控制器在何时应当开始下载(即,流送)以及何时应当开始呈现方面控制接收器行为。
要指出的是,通常MPEG-DASH片段将仅在它被完全下载的情况下被播出。为了尽管如此而仍然使得能够使用@availabilityStartTime和@suggestedPresentationDelay来进行作为非邻接流送的一部分传输的选定部段的不中断播出,可以选择由多个MPEG-DASH片段组成的部段。这允许在下载继续的同时开始播出该部段(例如通过播出一系列MPEG-DASH片段中的第一MPEG-DASH片段),而同时继续下载选定内容部段的后续/剩余MPEG-DASH片段。
用以控制MPEG-DASH中的预定播出延迟的另一方式是通过例如使用@minBufferTime(最小缓冲时间)来向客户端指示最小缓冲时间。这允许为整个MPD设置最小缓冲时间。然而,如果MPD对于单个(遭遇瓶颈的)流源来说是连续的,则此方法可能没用,因为内容比特率高于网络带宽。然而,如果多个源正在提供部段,或者如果媒体流是不连续的,则这将允许执行非邻接流送。不连续的流的示例可以是用户用智能电话记录和流送事件,但是仅断断续续地记录:如果似乎正在发生有趣的事情,则按下记录按钮,并且一旦发生完了就停止记录。MPEG-DASH确实允许媒体呈现中的不连续性,例如通过使用SegmentTimeline(片段时间线)来代替常规片段持续时间属性。这样,可以使用来自多个流源的MPEG-DASH片段,其中这些流源中的至少一个具有瓶颈并且预定播出延迟被应用于从该流源检索的(一个或多个)部段。
此情况的一个示例在图8中示出。这里,源1和源2都是遭遇瓶颈的源。通过交替地流送来自两个源的片段(例如,从源1取得片段1,从源2取得片段2,从源1取得片段3等),这允许规避瓶颈。如果两个源的瓶颈不是相同的,那么可以使用此途径,因为接收器需要能够并行地从两个源取得片段,如图8所示。
可以通过MPEG-DASH来使得能够实现这种交替流送。在MPEG-DASH中,它例如可以在MPD中定义基本URL。在实时简档中,可以时常更新此MPD。这可以例如通过为MPD给予minimumUpdatePeriod(最小更新周期)来完成,此后接收器可以检索MPD更新。也可以通过在片段中指示过期来使得MPD“过期”,这将迫使客户端检索新的MPD。新的MPD可以包含指向不同源的不同的基本URL,并因此将迫使接收器切换到另一源。
在DASH中执行此操作的另一方式是通过具有包含硬编码的URL的片段列表。这些URL也可以在各种源之间交替。作为示例,示出了在服务器1和服务器2之间交替可用的片段:
这将允许接收器处的(更加)连续的回放。非邻接流送也可以与不连续回放一起使用,例如,通过从遭遇瓶颈的源只检索如带宽将会允许的这多个部段。要指出的是,@minBufferTime将会使播出延迟一个MPEG-DASH片段之内,因此这提供了开始下载但在一个MPEG-DASH片段内延迟播出的能力。
要指出的是,由于@availabilityStartTime和@minBufferTime二者是在MPD水平处定义的,因此它们对于MPD中的所有MPEG-DASH片段通常都将是相同的。然而,MPEG-DASH标准可以被适配成允许更细粒度地控制片段下载时间和片段播出时间,例如通过允许在片段水平而不是在MPD水平处定义@minBufferTime或@availabilityStartTime。另外,可以有利地组合@minBufferTime和@availabilityStartTime二者。
图9是例示可以在如本公开中描述的实施例中使用的示例性数据处理系统的框图。这样的数据处理系统包括在本公开中描述的数据处理实体,包括服务器、客户端计算机、编码器和解码器等。数据处理系统1000可以包括通过系统总线1006耦合到存储器元件1004的至少一个处理器1002。照此,数据处理系统可以将程序代码存储在存储器元件1004内。此外,处理器1002可以执行经由系统总线1006从存储器元件1004访问的程序代码。在一个方面,数据处理系统1000可以被实现为适合于存储和/或执行程序代码的计算机。然而,应当认识到,数据处理系统1000可以以能够执行本说明书内描述的功能的、包括处理器和存储器的任何系统的形式来实现。
存储器元件1004可以包括一个或多个物理存储器设备,诸如例如本地存储器1008以及一个或多个大容量存储设备1010。本地存储器可以指代一般在程序代码的实际执行期间使用的随机存取存储器或(一个或多个)其它非持久存储器设备。大容量存储设备可以被实现为硬驱动或其它持久数据存储设备。处理系统1000也可以包括一个或多个缓存存储器(未示出),所述一个或多个缓存存储器提供至少一些程序代码的临时存储,以便减少在执行期间必须从大容量存储设备1010检索程序代码的次数。
被描绘为输入设备1012和输出设备1014的输入/输出(I/O)设备可以可选地耦合到数据处理系统。输入设备的示例可以包括但不限于例如:键盘、诸如鼠标之类的指向设备等。输出设备的示例可以包括但不限于例如:监视器或显示器、扬声器等。输入设备1012和/或输出设备1014可以直接或通过介于中间的I/O控制器耦合至数据处理系统1000。网络适配器1016也可以耦合到数据处理系统,以使它能够通过介于中间的私有或公共网络而变得耦合到其它系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括用于接收由所述系统、设备和/或网络发送到所述数据处理系统的数据的数据接收器和用于向所述系统、设备和/或网络发送数据的数据发送器。调制解调器、有线调制解调器和以太网卡是可以与数据处理系统1000一起使用的不同类型的网络适配器的示例。
如图9中描绘的,存储器元件1004可以存储应用1018。应当认识到,数据处理系统1000还可以执行可以促进应用的执行的操作系统(未示出)。以可执行程序代码的形式实现的应用可以由数据处理系统1000(例如由处理器1002)执行。响应于执行应用,数据处理系统可以被配置为实行要在本文中更详细地描述的一个或多个操作。
在一个方面中,例如,数据处理系统1000可以表示接收器数据处理系统。在该情况下,应用1018可以表示当被执行时将数据处理系统1000配置成执行本文中参考“接收器”或“客户端”所描述的各种功能的接收器应用。接收器的示例可以包括但不限于:电视、监视器、投影仪、媒体播放器和记录器、机顶盒、智能电话、相机、PC、膝上型电脑、平板设备、智能手表或眼镜、专业视频装备等。
在另一方面中,数据处理系统可以表示流源。在该情况下,应用1018可以表示在被执行时将数据处理系统1000配置成执行本文中参照“流源”描述的各种功能的流源应用。流源的示例可以包括但不限于:(HTTP)流送服务器、在媒体分发网络内缓冲(一个或多个)媒体流的流缓冲器、以及包括视听传感器的记录设备。这种记录设备的示例包括智能电话、紧凑型相机、专业相机、智能手表、智能眼镜等。例如,数据处理系统可以表示(HTTP)服务器,在这种情况下,应用1018在被执行时可以将数据处理系统配置成执行(HTTP)服务器操作。在另一方面中,数据处理系统可以表示控制器。在该情况下,应用1018可以表示在被执行时将数据处理系统1000配置成执行本文中参考“控制器”描述的各种功能的控制器应用。
一般方面和替换方案
以下描述各种一般方面和替换方案。
预定播出延迟可以以时间参数的形式(例如将延迟指定为秒数)给出,例如发信号通知给接收器。替换地,预定播出延迟也可以作为缓冲器参数给出,该缓冲器参数例如定义一旦缓冲器包含X MB的数据就开始播出。由于内容比特率是已知的,因此以秒计或以缓冲器尺寸计的延迟是等同的。
诸如捕获设备之类的流源可能已经非邻接地传输媒体流,例如通过仅能够偶发地传输媒体流的部段。在这种情况下,通过在接收器处应用预定播出延迟而不中断地播出媒体流的选定部段是可能的。
可以以内容感知的方式来执行关于要传输媒体流的哪个部段以及要省略传输哪个部段的决定。例如,可以(例如,使用图像和音频分析领域中本身已知的技术)检测到媒体流中何时有人在讲话,并且仅传输那些部段。
媒体流的非邻接流送可以应用于实时捕获和流送的上下文中,在此情况下,流源有可能是记录设备。然而,所述非邻接流送也可以应用于已记录的内容的实时流送,在此情况下,流源可以是网络中的服务器或节点。要指出的是,在媒体缓冲器或缓存与接收器之间的可用网络带宽中存在瓶颈的情况下,网络中的媒体缓冲器或缓存也可被视为流源。
由于可用网络带宽可以随时间波动,因此可以基于(例如,随时间测量到的)实际网络带宽来动态地确定部段持续时间。要指出的是,实际网络带宽可以随时间波动,并且任何测量结果可以只是实际带宽的近似值。这样,如果网络临时提供比最初预期的带宽更多的带宽,则可以允许更长的部段持续时间,或者可以增加内容比特率。
在前面提到的四个因素中的多个因素可以自由确定的情况下,可以通过对所述因素应用约束来限制求解空间。例如,因素的最终选择可受到以下限制:部段持续时间在10和20秒之间,播出延迟至多为5秒并且内容比特率至少为500 kbps。可以在这些约束内做出选择。
部段持续时间和质量的控制可以由接收器间接完成。例如,如果流源提供多个质量水平和多个持续时间,例如,如当使用MPEG-DASH时可能是这种情况,接收器可以通过从源请求部段持续时间和质量来确定它们。
此外,虽然媒体流的非邻接流送通常可以应用于视频流送,但是它也可以应用于不同类型的媒体流送(例如,音频),在这种情况下,非邻接流送在非常低带宽网络(例如,在自组织军事网络中)可以是有利的。
媒体流的非邻接流送可以与现有的其它方法组合以解决有限的带宽,例如与率失真优化技术组合。附加地或替换地,流源可以尝试以适度降级的方式来递送每个选定部段。例如,代替连续地流送媒体流的部段1至6(以该次序),源可以将所述部段分别放置在高优先级队列(1、3、5)和低优先级队列(2、4、6)中,同时应用循环问询机制,其中高优先级队列预占低优先级队列。这样,当足够的网络带宽可用并且没有高优先级部段可用时,流源将也尝试传输低优先级部段,而不是一直省略传输。
控制器的功能性可以由服务器、以分布式方式由若干实体、由流源或由接收器来实现。将认识到,控制器可以向流源发信号通知预定播出延迟和所需内容比特率,其中流源然后仅指示其是否能够递送内容部段,并且如果是的话,则以什么持续时间进行递送。
媒体流的非邻接流送可以在媒体编排的上下文内实现。在流源、控制器和接收器中的至少两个之间的部段持续时间、内容比特率、预定播出延迟的信令可以以(标准化)媒体编排格式发生。
要指出的是,非邻接流送可以在网络中而不是在媒体流所源自的(原始)流源中实现。例如,流源可以向网络中的代理邻接地流送,而网络中的代理可以执行到接收器的非邻接流送。
本文所使用的术语仅是出于描述特定实施例的目的而并非意在对本发明进行限制。如本文所使用的,除非上下文明确另外指出,否则单数形式“一个”、“一”、“该”意在也包括复数形式。将要进一步理解的是,当在本说明书中使用时,术语“包括”和/或“包含”指定存在所提到的特征、整数、步骤、操作、元素和/或组件,但是并不排除存在或增加一个或多个其它特征、整数、步骤、操作、元素、组件和/或其群组。
以下权利要求中的所有部件或步骤加功能元素的对应结构、材料、动作和等同物旨在包括与特别请求保护的其它请求保护要素相结合地执行所述功能的任何结构、材料或动作。已出于例示和描述的目的呈现了本发明的描述,但是其并非旨在是穷举的或者在形式上被局限于所公开的发明。许多修改和变更对于本领域技术人员将是显而易见的而并不背离本发明的范围和精神。实施例被选择并描述以便对本发明的原理和实践应用进行最佳解释并且使得本领域的其他普通技术人员能够将针对各种实施例具有各种修改的本发明理解为适用于所构想的特定用途。

Claims (15)

1.一种用于经由网络向接收器流送媒体流的方法,媒体流表示以内容比特率编码的媒体内容,网络具有可用网络带宽,该方法包括:
当可用网络带宽低于内容比特率时,执行媒体流的非邻接流送,所述非邻接流送包括向接收器传输媒体流的选定部段同时省略传输媒体流的至少紧邻部段,从而使得接收器在预定播出延迟之后能够进行选定部段的不中断播出。
2.根据权利要求1所述的方法,其中,选定部段具有部段持续时间,并且该方法还包括:
至少根据内容比特率和可用网络带宽来确定部段持续时间,从而使得接收器在预定播出延迟之后能够进行选定部段的所述不中断播出。
3.根据权利要求1或2所述的方法,还包括至少根据内容比特率、可用网络带宽和部段持续时间来确定播出延迟。
4.根据权利要求3所述的方法,还包括将预定播出延迟以播出延迟参数的形式传送给接收器。
5.根据权利要求3或4所述的方法,还包括将播出延迟确定为要由接收器在开始播出之前的选定部段的缓冲时应用的最小缓冲时间或最小缓冲水平。
6.根据上述权利要求中的任一项所述的方法,还包括根据下式确定部段持续时间和/或播出延迟:
7.根据上述权利要求中的任一项所述的方法,还包括从表示以不同内容比特率编码的媒体内容的多个媒体流中选择媒体流,其中,媒体流的所述选择是基于媒体流的内容比特率匹配比特率选择准则,该比特率选择准则是可用网络带宽、部段持续时间和预定播出延迟中的至少一项的函数。
8.根据上述权利要求中的任一项所述的方法,还包括向接收器发信号通知媒体流是以非邻接方式流送的。
9.根据上述权利要求中的任一项所述的方法,还包括以邻接的方式向接收器流送与所述媒体流相关联的第二媒体流。
10.根据上述权利要求中的任一项所述的方法,还包括:以非邻接的方式向接收器流送多个媒体流,所述多个媒体流表示对一事件的不同记录,并且选择要以非邻接的方式流送的部段以向接收器提供所述事件的、比由一个媒体流的非邻接流送会提供的更加邻接的流送呈现。
11.一种计算机程序产品,其包括用于使得处理器系统执行根据权利要求1至10中的任一项所述的方法的指令。
12.一种用于控制媒体流从流源经由网络到接收器的流送的控制器,媒体流表示以内容比特率编码的媒体内容,网络具有可用网络带宽,该控制器被配置用于:
- 当可用网络带宽低于内容比特率时,控制媒体流的流送以便实现媒体流的非邻接流送,所述非邻接流送包括流源向接收器传输媒体流的选定部段同时省略传输媒体流的至少紧邻部段,从而使得接收器在预定播出延迟之后能够进行选定部段的不中断播出。
13.根据权利要求12所述的控制器,其中,所述控制器被配置用于通过从流源请求选定部段的所述传输而同时省略请求媒体流的至少紧邻部段的传输来实现媒体流的非邻接流送。
14.一种流源,其包括根据权利要求12所述的控制器,或者一种接收器,其包括根据权利要求12或13所述的控制器。
15.一种用于经由网络从流源接收媒体流的接收器,其中,该接收器被配置用于:当流源执行其中媒体流的选定部段被传输到接收器同时媒体流的至少紧邻部段未被传输的、媒体流的非邻接流送时,对接收器的播出应用预定延迟从而获得选定部段的不中断播出。
CN201680078143.1A 2015-11-06 2016-11-04 媒体流的邻接流送 Pending CN108476333A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15193441 2015-11-06
EP15193441.1 2015-11-06
PCT/EP2016/076637 WO2017077020A1 (en) 2015-11-06 2016-11-04 Contiguous streaming of media stream

Publications (1)

Publication Number Publication Date
CN108476333A true CN108476333A (zh) 2018-08-31

Family

ID=54540881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680078143.1A Pending CN108476333A (zh) 2015-11-06 2016-11-04 媒体流的邻接流送

Country Status (4)

Country Link
US (1) US20180338170A1 (zh)
EP (2) EP3371978B1 (zh)
CN (1) CN108476333A (zh)
WO (1) WO2017077020A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115336283A (zh) * 2020-03-30 2022-11-11 英国电讯有限公司 低延迟内容传送

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10629223B2 (en) * 2017-05-31 2020-04-21 International Business Machines Corporation Fast playback in media files with reduced impact to speech quality
TWI826387B (zh) 2017-09-08 2023-12-21 美商開放電視股份有限公司 用於內容呈現之位元率及管線保留技術
US11330317B2 (en) 2018-12-28 2022-05-10 Dish Network L.L.C. Methods and systems for discovery of a processing offloader

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010043800A1 (en) * 1999-09-30 2001-11-22 Matsushita Electric Industrial Co., Ltd. Information recording medium and system controller
US8892686B1 (en) * 2013-12-19 2014-11-18 Limelight Networks, Inc. Dynamic content transformation for multiple devices
CN104207750A (zh) * 2013-05-28 2014-12-17 艾克松有限责任公司 视频内窥镜装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1593272B1 (en) * 2003-02-14 2017-08-30 Thomson Licensing DTV Automatic synchronization of audio and video based media services of media content
US7571246B2 (en) * 2004-07-29 2009-08-04 Microsoft Corporation Media transrating over a bandwidth-limited network
US8214868B2 (en) * 2006-04-21 2012-07-03 Agere Systems Inc. Flexible traffic management and shaping processing for multimedia distribution
US9392307B2 (en) * 2013-07-01 2016-07-12 Ericsson Ab Smart pre-load for video-on-demand in an HTTP adaptive streaming environment
US9871839B2 (en) * 2015-07-14 2018-01-16 Verizon Patent And Licensing Inc. Seamless multicast and unicast switching for content playback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010043800A1 (en) * 1999-09-30 2001-11-22 Matsushita Electric Industrial Co., Ltd. Information recording medium and system controller
CN104207750A (zh) * 2013-05-28 2014-12-17 艾克松有限责任公司 视频内窥镜装置
US8892686B1 (en) * 2013-12-19 2014-11-18 Limelight Networks, Inc. Dynamic content transformation for multiple devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115336283A (zh) * 2020-03-30 2022-11-11 英国电讯有限公司 低延迟内容传送
CN115336283B (zh) * 2020-03-30 2023-09-05 英国电讯有限公司 客户机装置和向客户机装置流传送媒体内容的方法
US12041300B2 (en) 2020-03-30 2024-07-16 British Telecommunications Public Limited Company Low latency content delivery

Also Published As

Publication number Publication date
EP3371978B1 (en) 2021-06-30
EP3371978A1 (en) 2018-09-12
EP3833034A1 (en) 2021-06-09
WO2017077020A1 (en) 2017-05-11
US20180338170A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
US10547659B2 (en) Signaling and processing content with variable bitrates for adaptive streaming
US10070156B2 (en) Video quality of experience based on video quality estimation
US8683071B2 (en) Method and apparatus for supporting time shift playback in adaptive HTTP streaming transmission solution
US9813740B2 (en) Method and apparatus for streaming multimedia data with access point positioning information
US20190045242A1 (en) Live consecutive ad insertion
CN117581552A (zh) 在传输预创作视频帧和合成视频帧之间切换
US20160072637A1 (en) Calculating and signaling segment availability times for segments of media data
JP7256881B2 (ja) メディア・ストリーム送信方法、装置、デバイス
US20140181266A1 (en) System, streaming media optimizer and methods for use therewith
US20120266198A1 (en) Fast Binding of a Cloud Based Streaming Server Structure
JP4510005B2 (ja) メディア配信装置及びメディア受信装置
CN109792546B (zh) 从服务器向客户端设备传送视频内容的方法
TW201026064A (en) Method for audio and video control response and bandwidth adaptation based on network streaming application and server using the same
KR20130005873A (ko) 방송 시스템에서 컨텐츠 수신 방법 및 장치
CN108476333A (zh) 媒体流的邻接流送
KR20120114016A (ko) 사용자 컨텐츠를 외부 단말기에서 네트워크 적응적으로 스트리밍하는 방법 및 장치
CN101771865B (zh) 影音控制响应及频宽调适方法、服务器
US10687106B2 (en) System and method for distributed control of segmented media
CN111835697A (zh) 一种媒体流发送方法、装置、设备和系统
US11622135B2 (en) Bandwidth allocation for low latency content and buffered content
CN115914756A (zh) 基于网络分级的视频码率控制方法和设备
JP4773505B2 (ja) マルチメディアチャネルの切り替え
US20230199267A1 (en) Method and apparatus for processing adaptive multi-view streaming
KR101823377B1 (ko) 시점 예측에 따라 동영상을 제공하는 미디어 서버
KR101118090B1 (ko) 선택적 압축률에 의한 영상 전송 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180831