CN105144728B - 通过http的动态自适应流式传输中面对丢失的媒体分段的恢复力 - Google Patents

通过http的动态自适应流式传输中面对丢失的媒体分段的恢复力 Download PDF

Info

Publication number
CN105144728B
CN105144728B CN201480013976.0A CN201480013976A CN105144728B CN 105144728 B CN105144728 B CN 105144728B CN 201480013976 A CN201480013976 A CN 201480013976A CN 105144728 B CN105144728 B CN 105144728B
Authority
CN
China
Prior art keywords
partitioning
time
expandable segmented
overlapped
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480013976.0A
Other languages
English (en)
Other versions
CN105144728A (zh
Inventor
T·戈戈伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105144728A publication Critical patent/CN105144728A/zh
Application granted granted Critical
Publication of CN105144728B publication Critical patent/CN105144728B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

使用诸如通过HTTP的动态自适应流式传输(“DASH”)的动态自适应流式传输以使得可扩展性能够被并入到媒体呈现中的系统、方法(400，500)和设备，其中所述媒体呈现被分成多个时间间隔。以可扩展的方式编码每个间隔，以使得面对丢失的分段文件时，客户端处的媒体呈现可以是连续的或者至少大体上连续的。在实施例中，间隔被分成一系列独立的分段文件。一个或多个分段文件的丢失可能不需要在客户端处跳过与丢失的分段文件相关联的媒体呈现间隔，这是因为所接收的分段文件被组合以在规定的质量阈值或者在规定的质量阈值之上渲染所述媒体。系统、方法和设备实现了直播流式传输和按需呈现的可扩展性。

Description

通过HTTP的动态自适应流式传输中面对丢失的媒体分段的恢 复力
背景技术
通过HTTP的动态自适应流式传输(“DASH”)是一种流式传输标准，旨在支持用于递送媒体内容的媒体流式传输模型，其中对会话的控制排他地归于客户端。客户端可以使用超文本传输协议(“HTTP”)从DASH服务器请求数据，DASH服务器是可以包括一个或多个DASH特定能力的HTTP服务器。
在DASH中，每个媒体分段表示连续的媒体数据的集合。每个媒体分段存在于由DASH服务器主管(host)的分段文件中。分段文件是一个或多个连续的媒体分段的级联(concatenation)。
DASH支持按需流式传输和直播流式传输二者。在按需流式传输中，当媒体呈现(media presentation)的任意部分是可取得的时，整个媒体呈现能够从DASH服务器取得。在直播流式传输中，当媒体呈现的一部分能够从DASH服务器取得时，整个媒体呈现不一定是可取得的。当媒体呈现的一部分是可取得的时，其典型地受到该部分呈现的可用性窗口的约束。典型地，直播流(接近)实时地被捕捉、编码并被发送到DASH服务器。因此，直播流可以是无边界的，媒体呈现的部分可以在将来从DASH服务器取得，而早先可取得的媒体呈现的部分可能不再是可取得的。可用性窗口按照媒体呈现的部分何时能够从DASH服务器取得来设置边界。
在直播流式传输中，媒体呈现典型地被捕捉、编码到分段文件中，并且由内容源联机(on the fly)发送到DASH服务器。DASH服务器被请求以主管在播放列表文件中的那些部分的分段可用性窗口所定义的时间处的媒体呈现的部分。典型地，DASH服务器不会在它接收的分段文件上执行后期处理，而它的主要目的典型地是主管分段文件(包括包含与媒体呈现相对应的元数据的文件，如果在分段文件中不存在该元数据的话)并且经由播放列表文件将描述以及每个分段文件的可用性窗口用信号通知给客户端。
在直播流式传输中，DASH服务器必须履行客户端对在其可用性窗口的边界内的媒体呈现的部分的请求。DASH服务器不需要履行对可用性窗口已经经过(DASH服务器可能已经删除那些以释放磁盘上的空间)或者可用性窗口还没有到达(在将来DASH服务器将会从内容源接收媒体呈现的那些部分)的媒体呈现的部分的请求。
对于直播流式传输，典型地存在：1)内容源，其连续地捕捉直播场景，将媒体呈现的部分编码到分段文件中，并且将它们联机发送到DASH服务器；2)DASH服务器，其接收和主管针对客户端的分段文件并且在播放列表文件中提供这些分段文件的必要信息；3)客户端，其在分段文件的可用性窗口被约束的时间处从DASH服务器取得分段文件并且播出媒体呈现。
尽管典型地DASH服务器和客户端之间的传输是可靠的(假定其通过HTTP)，但内容源和DASH服务器之间的传输可能是不可靠的。该不可靠性可能导致一个或多个分段文件从内容源到DASH服务器的过程中被丢弃。另外，虽然DASH服务器与客户端之间的传输可能是可靠的，但DASH服务器与客户端之间的传输机制可能是瞬变的，这是因为它需要周期性地被拆掉和重建。在DASH服务器和客户端之间的传输不存在(例如，被拆掉)的期间，媒体分段的可用性窗口可能已经转变。这可能导致客户端不能取得可用性窗口已经经过的分段。在分段文件丢失的情况下，客户端需要略过与丢失的分段文件相关联的媒体呈现的间隔。该略过可能导致客户端用户体验的质量下降，诸如在直播回放期间所观察的媒体呈现停顿。作为示例，当在编码器和DASH服务器之间的增强型多媒体广播多播服务(“eMBMS”)链路中发生问题时，当充当内容源的移动设备发生问题时，和/或当在DASH客户端和DASH服务器之间的传输连接中发生暂时丢失其后分段在DASH服务器处不再可用时，丢失的分段和略过可能产生。
发明内容
各种实施例的系统、方法和设备使得可扩展性并入媒体呈现，以使得在面对丢失的分段文件时，媒体呈现在客户端处可以是连续的或者至少是基本上连续的。在实施例中，一个或多个分段文件的丢失可能不要求在客户端处跳过与丢失的分段文件相关联的媒体呈现间隔。各种实施例的系统、方法和设备可以使直播流式传输和/或按需呈现中的可扩展性成为可能。
附图说明
并入本文并构成本说明书的一部分的附图示出了本发明的示例性方面，并且与上面给出的总体描述和下面给出的详细描述一起用于解释本发明的特征。
图1是适于与各种实施例一起使用的通信网络的通信系统框图。
图2A示出了示例性先前技术媒体呈现。
图2B示出了示例性先前技术分段文件分配方案。
图3示出了根据实施例的被分成可扩展分段的媒体分段。
图4是示出了用于将媒体分段分成两个或更多个可扩展分段的实施例方法的过程流程图。
图5是示出了用于使用可扩展分段来呈现媒体的实施例方法的过程流程图。
图6示出了根据实施例的被分成可扩展分段并且被分配到分段文件的媒体分段。
图7是示出了用于将媒体分段分成两个或更多个可扩展分段的另一实施例方法的过程流程图。
图8示出了根据实施例的被分成可扩展分段并且被分配到携带不同可扩展分段的分段文件的媒体分段。
图9是示出了用于将媒体分段分成两个或更多个可扩展分段的第三实施例方法的过程流程图。
图10是示出了播放列表文件的潜在元素的数据结构图。
图11是适于与各种实施例一起使用的示例性移动设备的部件图。
图12是适于与各种实施例一起使用的另一示例性移动设备的部件图。
图13是适于与各种实施例一起使用的示例性服务器的部件图。
具体实施方式
将参照附图详细地描述各个实施例。在任何可能的情况下，将在整个附图中使用相同的附图标记来指代相同的或相似的部分。对特定例子和实现方式的引用是为了说明的目的，而不是想要限制本发明或权利要求的范围。
本文中使用“示例性”一词意味着“用作例子、实例或说明”。本文描述为“示例性的”任何实现方式不必解释为相比其它实现方式更优选或更有优势。
如本文所使用的，术语“移动设备”和“接收机设备”在本文可互换地使用，以指代以下各项中的任一项或全部：蜂窝电话、智能电话、个人或移动多媒体播放器、个人数据助理(PDA)、膝上型计算机、平板计算机、智能本、掌上计算机、无线电子邮件接收机、启用多媒体互联网的蜂窝电话、无线游戏控制器、个人计算机、电视机顶盒、电视、有线电视接收机以及包括可编程处理器和存储器以及用于呈现媒体内容的电路的类似的个人电子设备。
本文使用术语“服务器”来描述各种实施例。术语“服务器”用于指代能够起到服务器作用的任何计算设备，诸如主交换服务器、网页服务器、邮件服务器、文件服务器、内容服务器或任何其他类型的服务器。服务器可以是专用的计算设备或者包括服务器模块的计算设备(例如，运行能够使得计算设备作为服务器操作的应用)。服务器模块(例如，服务器应用)可以是全功能服务器模块，或者被配置为在移动设备上的动态数据库之间提供同步服务的轻量级或辅助服务器模块(例如，轻量级或辅助服务器应用)。轻量级服务器或辅助服务器可以是能够在移动设备上实施从而使其能够起到互联网服务器(例如，企业级电子邮件服务器)的作用(仅到用于提供本文所描述的功能的所必需的程度)的服务器类型功能的瘦身版本。
各种实施例的系统、方法和设备使得可扩展性能够被并入媒体呈现，以使得在面对丢失的分段文件时，在客户端处的媒体呈现可以是连续的或者至少是基本上连续的。在实施例中，一个或多个分段文件的丢失可能不要求在客户端处跳过与丢失的分段文件相关联的媒体呈现间隔。各种实施例的系统、方法和设备可以使得可扩展性在直播流式传输和/或按需呈现中成为可能。另外，各种实施例可以提供DASH流式传输框架中的恢复力。
各种实施例可以解决当前DASH流式传输标准的问题，其是通过使得可扩展性能够被并入媒体呈现以使得在面对丢失的分段文件时，在客户端处的媒体呈现是连续的或者至少是基本上连续的。在实施例中，一个或多个分段文件的丢失不需要要求跳过与丢失的分段文件相关联的媒体呈现间隔。各种实施例可以对直播流式传输特别有用，但也可以应用于按需呈现。
在当前DASH流式传输和/或其他自适应HTTP框架(例如，平滑流式传输、HTTP直播流式传输等)中，可以向客户端提供不同带宽的两个或更多个可用表示。可以使客户端能够基于客户端已知的参数来选择具有特定带宽的可用表示。作为示例，客户端可以基于客户端对可用下载带宽的感知来选择特定带宽的表示。
各种实施例可以提供以每个表示为基础的恢复力。在实施例中，可扩展性可以被并入媒体呈现间隔，其是通过在每个表示中独立地编码每个可扩展分段以使得每个可扩展分段可以独立于媒体呈现间隔的其他可扩展分段而被解码。在实施例中，可以将用于编码可扩展分段的可扩展方案提供给客户端。在实施例中，可扩展方案可以包括用于利用可扩展分段来重建媒体表示的一组规则。在实施例中，客户端可以检测可扩展分段丢失，并且通过使用可扩展性方案从所接收的可扩展分段推断丢失的数据来重建丢失的可扩展分段。
在实施例中，可以将用于生成可扩展分段的可扩展性方案和/或根据可扩展分段重建媒体呈现间隔所需要的其他信息用信号通知给客户端。使用可扩展性方案指示和/或其他信息，客户端可以根据可扩展分段重建媒体呈现。在实施例中，可以在播放列表文件(例如，DASH媒体呈现描述(“MPD”))中用信号通知可扩展性方案和/或其他信息。在实施例中，规则可以表明由内容源所使用的、用于构建可扩展分段的可扩展性方案。在实施例中，可以使客户端能够根据该规则推断如何构建完整的存取单元，以及因此，由可扩展分段所组成的完整的媒体分段。在实施例中，规则可以辅助客户端根据未在传输中丢失的可扩展分段重建媒体分段。作为示例，一张图片可以被分成x*y个块，并且如果x＝y＝1，则像素可以这样编号：左上像素是(0，0)，右上像素是(0，C-1)，左下像素是(R-1，0)，右下像素是(R-1，C-1)。在各种实施例中，可以在空间上实现可扩展性。在实施例中，可以根据规则，根据交错(例如，棋盘)跨过x*y块的子图像来构建一系列可扩展分段。可以将空间分离方案应用到媒体分段间隔以创建包括不同的帧的两个或更多个可扩展分段，其可以彼此叠加以重建原始图像。在客户端重新组合该两个或多个可扩展分段可以产生原始媒体分段的回放，而少于全部可扩展分段的回放导致呈现低分辨率图像。作为示例，第一规则可以被标识为空间规则“1X2”，其可以生成2个空间上棋盘化的可扩展分段，每个分段是原始图像的分辨率的一半。根据“1X2”规则，一个可扩展分段可以包括与所有水平行和所有偶数编号的垂直行相关联的图片，而另一可扩展分段可以包括与所有水平行和所有奇数编号的垂直列相关联的图片。作为另一示例，第二规则可以被标识为空间规则“2X1”，其可以生成两个空间上棋盘化的可扩展分段，每个分段是原始图像的分辨率的一半。根据“2X1”规则，一个可扩展分段可以包括与所有垂直列和所有偶数编号的水平行相关联的图片，而另一可扩展分段可以包括与所有垂直列和所有奇数编号的水平行相关联的图片。作为又一示例，第三规则可以被标识为空间规则“2X2”，其可以使用棋盘方案将原始图像拆分成四个图片，每个图片是原始的分辨率的四分之一。根据“2X2”规则，一个可扩展分段可以与像素4*i，4*j相关联，一个可扩展分段可以与像素4*i，4*j+1相关联，一个可扩展分段可以与像素4*i+1，4*j相关联，并且一个可扩展分段可以与像素4*i+1，4*j+1相关联。
本文讨论了不同分离方案/规则的各种实施例，特别是空间分离方案/规则。提供对空间分离方案/规则的讨论仅仅作为示例，以便于更好地说明各种实施例的方面，而不是想要以任何方式限制各种实施例。其他分离方案/规则可以与各种实施例一起使用，并且其他分离方案/规则可以在各种示例中被替代，而不会脱离本发明的精神或范围。作为示例，可以在时间上实现可扩展性。可以将时间分离方案或时间分离规则应用到媒体分段间隔以创建包括媒体分段的不同的部分的两个或更多个可扩展分段，诸如媒体分段的不同的帧。以这种方式，可以创建具有与原始媒体分段的帧率相比较低帧率的两个或更多个可扩展分段。在客户端处组合该两个或更多个可扩展分段可以产生原始媒体分段的回放，而少于所有可扩展分段的回放可能导致较低帧率的呈现。尽管讨论了不同的分离方案/规则，但本发明不受所使用的方案/规则的限制。
在实施例中，可以在每个分段基础上应用分离方案。在其中以每个分段为基础应用分离方案的实施例中，播放列表文件指示针对每个分段所使用的分离方案，其可以指示针对每个分段所创建的相关联的可扩展分段以及所使用的分离方案。在另一实施例中，可以在每个表示的基础上应用分离方案。在其中以每个表示为基础应用分离方案的实施例中，可以使用第一分离方案将第一表示中的所有分段分成可缩放分段，而可以使用第二分离方案将第二表示中的所有分段分成可缩放分段。在这样的实施例中，播放列表文件可以指示针对每个表示所使用的分离方案。在实施例中，可以在每个自适应集基础上应用分离方案。在其中在每个自适应集基础上应用分离方案的实施例中，可以使用相同的分离方案分离所有表示中的所有分组。在这样的实施例中，播放列表文件可以指示针对整个媒体自适应的整体分离方案而不必指定针对每个单独的表示的分离方案。
在又一实施例中，针对媒体分段的可扩展分段可以在不同的分段文件中被传输。在另一实施例中，针对不同媒体分段的可扩展分段可以交错在不同的分段文件中以用于传输。不管在分段文件传输中的网络不可靠性，可扩展分段的分离可以使得在客户端上的媒体播出中的恢复力成为可能。
以下描述示出了根据一个实施例的应用可扩展性和增加恢复力的示例性方法。作为示例，假定包含具有1000s(1000秒)的呈现时间和30fps(每秒的帧数)的帧率的视频的媒体呈现的一部分具有Di＝10s(对于所有i，1<＝i<＝100)，其中Di是与间隔Ti相关联的持续时间。媒体呈现可以是对间隔Ti(i＝1，2，……，100)的级联。即，T1，T2，T3，……，T100可以组成正在被说明的媒体呈现的部分。
设置对于所有i(1<＝i<＝100)Ni＝2，每个媒体呈现间隔Ti可以与间隔Ti的每个媒体分段的2个可扩展分段相关联，标识为Si,1和Si,2。如果存在与这些间隔相关联的100个分段文件Fj(1<＝j<＝100)，则分段文件F2r-1可以与S2r-1,1和S2r,1(1<＝r<＝50)中的可扩展分段相关联，而分段文件F2r也可以与S2r-1,2和S2r,2(1<＝r<＝50)中的可扩展分段相关联。
可扩展分段Si,1可以包含15fps的存取单元(具有第一存取单元距离Ti的起始的相对偏移为零)，可扩展分段Si,2可以包含15fps的存取单元(具有第一存取单元距离Ti的起始的相对偏移为33ms)。
在该示例中，分段文件F2r-1可以包含具有相对于T2r-1的起始约0ms，66ms，……，19933ms的时间戳的存取单元。分段文件F2r将包含具有相对于T2r-1的起始约33ms，100ms，……，19966ms的时间戳的存取单元。
因此，如果可扩展分段S2r-1和S2r由客户端所接收，则间隔T2r-1和T2r可以以30fps播出。如果确切地可扩展分段S2r-1和S2r中的一个丢失，则间隔T2r-1和T2r可以以15fps播出(比30fps质量低)，但是与T2r-1和T2r相对应的媒体呈现不在客户端处被跳过。因此，因为客户端接收到可扩展分段S2r-1和S2r中的至少一个，所以可以仅使用所接收的可扩展分段在客户端处以所定义的质量阈值重建和渲染媒体呈现。
作为另一示例，假设分段文件F2r丢失。那么，与T2r-1和T2r相关联的媒体呈现可以以15fps从F2r-1恢复(具有相对于T2r-1的起始0ms，66ms，……，19933ms的时间戳的存取单元)。如果反之分段文件F2r-1丢失，则与T2r-1和T2r相关联的媒体呈现仍可以使用F2r播放(具有相对于T2r-1的起始66ms，100ms，……，19966ms等时间戳的存取单元)。
图1示出了适于与各种实施例一起使用的通信网络系统100。通信网络系统100可以包括多个设备，诸如接收机设备102、一个或多个蜂窝塔或基站104、一个或多个无线接入点114、一个或多个路由器109、以及连接到互联网110的服务器108和112。接收机设备102可以经由一个或多个蜂窝连接106与蜂窝塔或基站104交换数据，蜂窝连接106包括CDMA、TDMA、GSM、PCS、3G、4G、LTE或者任何其他类型的连接。蜂窝塔或基站104可以与连接到互联网110的路由器通信。接收机设备102可以经由一个或多个连接118与无线接入点114交换数据，连接118包括或任何其他类型的连接。无线接入点114可以与可以连接到互联网110的路由器通信。接收机设备102可以经由一个或多个有线连接117与可以连接到互联网110的路由器109交换数据。以这种方式，经由到蜂窝塔或基站104、无线接入点114、路由器109、和/或互联网110的连接，数据可以在接收机设备102和(多个)服务器108和112之间交换。在实施例中，服务器108可以是内容源服务器，其可以对可缩放媒体分段进行编码。在实施例中，内容源服务器108可以从诸如相机之类的媒体捕捉设备116接收媒体，可以将所接收的媒体编码到可扩展媒体分段中，并且可以将在分段文件中的可扩展分段发送到服务器112。在实施例中，服务器112可以是媒体服务器(例如，DASH服务器)，其可以从内容源服务器108接收可扩展分段，并且可以控制供应可扩展分段到接收机设备102。
图2A示出了示例性先前技术媒体呈现，其中间隔Ti的媒体分段的级联使得Ti(1≤i≤Z，其中i等于间隔数)构成了整个媒体呈现。在媒体呈现是直播流的情况下，Z可以是无限的。Di可以是媒体呈现间隔Ti的持续时间。分段文件可以包含与一个或多个媒体呈现间隔相关联的数据。按照当前DASH标准，一个或多个媒体分段可以呈现在分段文件中，但是一个分段文件所映射的媒体呈现间隔不与关联于另一分段文件的媒体呈现间隔重叠。在当前DASH标准中，不同分段文件所映射的时间间隔是互相排斥的。按需流可以具有单个分段文件来包含整个媒体呈现。在当前视频按需(“VOD”)流中这是可以接受的，因为如果媒体呈现中的任意分段可以从DASH服务器取得，则整个媒体呈现可以被取得。
然而，在直播流式传输中，整个媒体呈现通常不能立即可用。随着直播媒体场景被捕捉、被编码为分段文件、以及从内容源服务器被发送到提供媒体呈现的服务器(例如，DASH服务器)，提供媒体呈现的DASH服务器可以实时地或者接近实时地从内容源(例如，内容源服务器)接收分段文件。在先前技术系统中，每个间隔Ti可以被编码成单个分段文件，如图2B所示。
在先前技术系统中，如果分段文件，诸如图2B中所示出的Fi(其中i等于分段文件数)丢失或缺失，那么包含在分段文件Fi中的所有媒体分段丢失。对应于Fi的整个媒体呈现间隔将需要被客户端跳过。为了减少由于缺失分段文件而丢失的媒体呈现间隔的范围，每个分段文件可以包含恰好一个媒体分段。然而，一个媒体分段到一个分段文件的映射不能解决在先前技术系统中，面对即使单个丢失的分段文件，媒体呈现的间隔将需要被跳过的事实。
各种实施例的系统、方法和设备将可扩展性并入媒体呈现。在实施例中，可扩展性可以被并入，使得在面对丢失的分段文件时，在客户端处的媒体呈现可以是连续的或者至少是基本上连续的。在实施例中，用于合并可扩展性的方案可以被用信号通知给客户端。根据各种实施例并入可扩展性可以改善媒体呈现中的恢复力。
图3示出了根据实施例的被分成可扩展分段Si,1到Si,Ni的间隔Ti的媒体分段。在实施例中，媒体呈现间隔Ti可以被分成Ni(其中Ni＞1并且Ni是正整数)个独立可解码的可扩展分段Si,w(其中1≤w≤Ni)。在实施例中，间隔Ti的可扩展分段可以是数据的集合，使得‘v’(1≤v≤Ni)个可扩展分段的组合足够播放与媒体呈现间隔Ti相对应的媒体呈现。在实施例中，构建媒体呈现间隔最小所必要的‘v’的值和Ti的‘v’个可扩展分段构成的子集可以取决于在间隔Ti上应用的可扩展方案。在实施例中，构建媒体呈现间隔最小所必要的‘v’的值和Ti的‘v’个可扩展分段构成的子集可以被选择，使得该媒体分段可以以所定义的质量阈值被渲染。作为一个示例，所定义的质量阈值可以是质量等级，在该等级媒体分段可以被渲染而不会导致用户可察觉的质量降级，诸如客户回放期间的停顿。作为另一示例，所定义的质量阈值可以是质量等级，使得在渲染可扩展分段时带宽的假设表示在该分段的可用的下一个较低质量表示的带宽之上。例如，如果媒体分段的2Mbps表示和750kbps表示是可用的，针对2Mbps的可扩展分段的定义的质量阈值可以被设定为1000kbps。因此，与接收较低质量750kbps表示的全部分段相比，接收2Mbps表示的可扩展分段中的至少一个可以实现较高质量播放。作为又一示例，定义的质量阈值可以至少部分地基于在发送两个或更多个可扩展分段到接收机设备的过程中的突发文件丢失的可能性。
图4示出了用于从媒体分段中导出两个或更多个可扩展分段的实施例方法400。在实施例中，方法400的操作可以由至少一个服务器执行，例如，内容源服务器108(图1)、媒体服务器112(图1)、一个或多个其他服务器或其组合。在方框401，内容源服务器108可以接收内容流的一个或多个媒体表示。在实施例中，可以从编码器接收该一个或多个媒体表示，所述编码器创建由诸如相机的媒体捕捉设备所捕捉的内容流的媒体表示。作为示例，相机可以将流捕捉为跨过媒体呈现间隔Ti的1920x 1080像素的图片的序列，而编码器可以以适合750Mbps带宽和1500Mbps带宽的媒体表示生成该流的编码。表示中的每个均可以被提供给内容源服务器108以用于导出可扩展分段。
在方框402，内容源服务器108可以定义质量阈值。在实施例中，质量阈值可以是与客户端应用(例如，启用DASH的视频播放器)对分段进行渲染的可接受的质量等级相对应的值。作为一个示例，质量阈值可以被定义，使得满足质量阈值的媒体分段可以被渲染而没有用户可察觉的质量降级(例如，在输出媒体分段的接收机设备上的客户端应用回放期间的停顿)。当然，在其他实施例中，质量阈值可以被定义，使得满足质量阈值的媒体分段可以被渲染而具有用户可察觉的质量降级，这可能仍然是比不渲染该媒体分段更可取的(尽管不理想)。在方框404，内容源服务器108可以在所接收的媒体表示中识别下一个媒体分段(例如，下一个媒体呈现间隔Ti)。
在方框406，内容源服务器108可以从该媒体分段导出多个可扩展分段。期望地，由在方框406中从该媒体分段导出的可扩展分段构成的适当子集可以包括足够的数据量以使接收机设备上的客户端能够仅使用该适当子集在质量阈值或者在质量阈值之上渲染该媒体分段(即，不使用在方框406所导出的全部可扩展分段)。在一个示例中，在方框406中导出的每个可扩展分段可以包括足够的数据量以使接收机设备上的客户端能够仅使用该可扩展分段在质量阈值或者在质量阈值之上渲染该媒体分段(即，不使用在方框406中所导出的其他可扩展分段中的任意一个)。在另一示例中，由在方框406中导出的可扩展分段构成的适当子集可以包括多个可扩展分段，其集中地包括数据量以使接收机设备上的客户端能够仅使用该适当子集在质量阈值或者在质量阈值之上渲染该媒体分段(即，不使用在方框406中所导出的全部可扩展分段)。
在一个实施例中，在方框406，内容源服务器108为了从媒体导出可扩展分段可以将该媒体分段分成可扩展分段。作为一个示例，该表示的媒体分段间隔Ti可以被分成一系列独立的可扩展分段。在间隔Ti中的每个图片Pi,k(1≤k≤K)可以被分解成‘U’个较小的图片(例如，子图像)Pi,k,u(1≤u≤U)。如果U＝4，则四个独立的子图像可以在没有任何互相依赖的情况下被编码，因而间隔Ti可以被分成构成子图像Pi,k,1、Pi,k,2、Pi,k,3、Pi,k,4(1≤k≤K)的四个序列的四个独立的可扩展分段。以这种方式，可扩展分段可以从四个独立的过程中创建，并且每个可扩展分段可以独立于其他可扩展分段。如通过该示例所说明的，在实施例中，只要客户端接收了任意一个可扩展分段，尽管其他可扩展分段可能丢失，针对该间隔的媒体分段的版本可以由客户端播出，这是因为每个可扩展分段彼此独立。这一解决方案优于(并且不同于)层次中的较高层(诸如增强层)和较高层所依赖的较低层(诸如基础层)被分别编码的编码方案，这是因为在那些编码方案中，如果较低层丢失，则较高层将不再有用。
在方框406中导出的多个可扩展分段可以在时间上重叠。例如，在一个实施例中，时间上重叠的可扩展分段可以包括在该表示的媒体分段间隔Ti的时间跨度上重叠的帧(例如，其中媒体分段对应于较高分辨率的N个帧，而其中每个可扩展分段对应于具有较低分辨率的N/Ni(其中Ni是媒体分段间隔Ti中的可扩展分段的数量)个帧)。同样，例如，在一个实施例中，在时间上重叠的可扩展分段可以包括在该表示的媒体分段间隔Ti的时间跨度上混合的帧(例如，其中媒体分段包括N个帧并且Ni＝2，第一时间上重叠的可扩展分段对应于N/2个帧的第一子集，第二时间上重叠的可扩展分段对应于不同的N/2个帧的第二子集，其在媒体分段间隔Ti的时间跨度上与N/2个帧的第一子集重复地交替)。
在确定方框408，内容源服务器108可以确定在媒体表示中是否还有另外的分段。如果还有另外的分段(即，确定方框408＝“是”)，则如上文所讨论的在方框404中内容源服务器108可以识别媒体表示的下一分段，并且在方框406中，内容源服务器108可以从该媒体分段导出多个可扩展分段。在实施例中，其中经由方框404、406和408以每个分段为基础，应用划分方案，可以将与应用到先前分段相同的划分方案和规则应用到下一分段来创建可扩展分段，或者可以应用不同的划分方案来创建可扩展分段。在实施例中，其中经由方框404、406和408以每个表示或每个自适应为基础，应用划分方案，可以将与应用到先前分段相同的划分方案和规则应用到下一分段。在确定方框408，内容源服务器108可以再次确定在媒体表示中是否还有另外的分段要被分成可扩展分段。以这种方式，所接收的媒体表示的一些或全部分段可以被分成可扩展分段。
如果在媒体表示中没有另外的媒体分段(即，确定方框408＝“否”)，则内容源服务器108可以生成播放列表文件，播放列表文件指示用于导出可扩展分段的至少一个方案并且指示该可扩展分段。例如，在方框410，内容源服务器108可以生成指示用于划分媒体分段的一个方案或多个方案并且指示该可扩展分段的播放列表文件。在实施例中，播放列表文件(例如，MPD)可以指示用于创建每个可扩展分段的划分方案，并且指示每个可扩展分段。这样的播放列表文件的模式的示例性部分在下面示出。
Segment level
Segment-1-*.3gp；Rule:2X2,Name:a,b,c,d
Segment-2-*.3gp；Rule:1X2,Name:a,b
因此，在该示例中，与分段1相关联的并且使用规则“2X2”所创建的可扩展分段可以是“Segment-1-a.3gp”、“Segment-1-b.3gp”、“Segment-1-c.3gp”和“Segment-1-d.3gp”，而与分段2相关联的并且使用规则“1X2”所创建的可扩展分段可以是“Segment-2-a.3gp”和“Segment-2-b.3gp”。用于创建每个可扩展分段的划分方案的指示和每个可扩展分段的指示在以每个分段为基础应用划分方案的实施例中可能是有用的。
在另一实施例中，播放列表文件(例如，MPD)可以指示所有可扩展分段的划分方案，并且指示每个可扩展分段。这样的播放列表文件的模式的示例性部分在下面示出。
Representation:
Rule:2X2,Name:a,b,c,d
Segment level
Segment-1-*.3gp
Segment-2-*.3gp
因此，在该示例中，使用相同的规则“2X2”创建与该表示中的所有分段相关联的可扩展分段，并且导致相同数量的可扩展分段(例如，四)。因此，分段1可以具有可扩展分段“Segment-1-a.3gp”、“Segment-1-b.3gp”、“Segment-1-c.3gp”和“Segment-1-d.3gp”，而分段2可以具有可扩展分段“Segment-2-a.3gp”、“Segment-2-b.3gp”、“Segment-2-c.3gp”和“Segment-2-d.3gp”。用于整个表示的划分方案的指示和每个可扩展分段的指示在以每个表示为基础应用划分方案的实施例中可能是有用的。
在又一实施例中，播放列表文件(例如，MPD)可以指示所有表示的划分方案，并且指示每个可扩展分段。这样的播放列表文件的模式的示例性部分在下面示出。
Adaptation set level:
Rule:2X2,Name:a,b,c,d
因此，在该示例中，使用相同的规则“2X2”创建与该自适应的任意表示中的所有分段相关联的可扩展分段，并且导致相同数量的可扩展分段(例如，四)。用于该自适应的划分方案的指示和每个可扩展分段的指示在以每个自适应为基础应用划分方案的实施例中可能是有用的。
在方框412，内容源服务器108可以发送播放列表文件。在实施例中，播放列表文件可以被发送到在接收机设备上操作的客户端(例如，启用DASH的媒体播放机)。作为一个示例，播放列表文件可以被发送到在接收机设备上操作的客户端，这是通过：内容源服务器108将播放列表文件发送到媒体服务器112，客户端请求(例如，取得)来自媒体服务器112的播放列表(例如，经由HTTP Get())，以及客户端接收来自媒体服务器112的播放列表文件。作为另一示例，播放列表文件可以由内容源服务器108主管，并且响应于来自在接收机设备上操作的客户端的请求，播放列表文件可以从内容源服务器108直接被发送到该客户端。作为又一实例，播放列表文件可以被广播到在接收机设备上操作的客户端(例如，在从内容源服务器108接收到播放列表文件后由媒体服务器112广播)。在媒体表示用于直播流式传输的实施例中，播放列表文件可以被动态地生成以及更新和发送。在方框414，内容源服务器108可以发送可扩展分段。在实施例中，可扩展分段可以被发送到在接收机设备上操作的客户端(例如，启用DASH的媒体播放器)。作为示例，可扩展分段可以被发送到在接收机设备上操作的客户端，这是通过：内容源服务器108将可扩展分段发送到媒体服务器112，客户端请求(例如，取得)来自媒体服务器112的可扩展分段(例如，经由HTTP Get())，以及客户端接收来自媒体服务器112的一个或多个可扩展分段。作为另一示例，可扩展分段可以由内容源服务器108主管，并且响应于来自在接收机设备上操作的客户端的请求，可扩展分段可以从内容源服务器108直接被发送到该客户端。作为又一示例，内容源服务器108可以将可扩展分段广播到媒体服务器112(其可以是对接收机设备而言远程的，或者可以是包括在接收机设备中的本地媒体服务器)，而客户端然后可以请求来自媒体服务器112的可扩展分段。在另一示例中，在从内容源服务器108接收可扩展分段之后，媒体服务器112或者内容源服务器108可以将可扩展分段广播到接收机设备。
如上文所讨论的，播放列表可以被生成以指示用于导出可扩展分段的至少一个方案。指示用于导出可扩展分段的至少一个方案的播放列表，可以在可扩展分段被导出之前生成，在可扩展分段被导出之后生成，或者在可扩展分段正在被导出时生成。另外，如果需要的话，播放列表可以被更新一次或多次。
图5示出了使用可扩展分段呈现媒体的实施例方法500。在实施例中，方法500的操作可以由在接收机设备的处理器上操作的客户端应用(例如，启用DASH的媒体播放器)来执行。
在方框502，客户端可以接收播放列表文件。例如，在方框502，客户端可以接收包括用于从媒体分段导出可扩展分段的方案的指示的播放列表文件，诸如，包括用于将媒体分段分成可扩展分段的方案的指示的播放列表文件。在实施例中，播放列表文件(例如，MPD)可以包括用于针对媒体分段生成可扩展分段的一个或多个划分方案和/或规则的指示。在实施例中，响应于将播放列表文件发送到主管播放列表文件的媒体服务器112和/或内容源服务器108的请求，客户端可以接收播放列表文件。在另一实施例中，客户端可以经由广播从媒体服务器112、内容源服务器108或其他服务器接收播放列表文件。
在方框504中，客户端可以请求针对下一媒体分段的可扩展分段中的一些或全部，这些可扩展分段可以参考方框406(图4)如上文所讨论的从媒体分段导出。在实施例中，客户端可以请求针对下一媒体分段的可扩展分段，这是通过：从可能主管对应于下一媒体分段的可扩展分段的媒体服务器112和/或内容服务器108取得可扩展分段(例如，发送HTTPGet()来请求可扩展分段)。作为示例，客户端可以基于包括在方框502处所接收的播放列表文件中的分段时间轴信息来识别要请求的下一媒体分段。另外，客户端可以做出请求哪个表示的决定(例如，基于可用带宽和/或其他参数)并且可以只请求针对特定所选表示的可扩展分段。然而，客户端不必请求可扩展分段，而可以例如经由广播接收可扩展分段(例如，由内容源服务器108直接广播，或者由媒体服务器112在接收到来自内容源服务器108的可扩展分段之后广播)。
在方框506，客户端可以接收在方框504所请求的可扩展分段中的一个或多个。基于各种因素，诸如在主管服务器处丢失分段、传输干扰、传输连接损失、突发丢包等，在一些情况下，客户端可能无法接收在方框504中请求的全部可扩展分段。在其他情况下，在方框504中请求的全部可扩展分段可以被接收。尽管由于在主管服务器和客户端之间传输中的问题，客户端将无法接收全部所请求的可扩展分段是可能的，但更可能的是，如果客户端没有接收到全部所请求的可扩展分段，是因为主管服务器(例如，媒体服务器112)没有从源服务器(例如，内容源服务器108)接收全部请求的可扩展分段，例如，由于包括请求的可扩展分段的一个或多个文件被不可靠的网络链路丢弃。
在确定方框508，客户端可以确定是否丢失了方框504中所请求的可扩展分段中的至少一个。作为示例，客户端可以把针对任意单独的可扩展分段请求的请求的错误响应(例如，HTTP 404错误代码)看作对媒体分段的至少一个其他可扩展分段丢失的指示。作为另一示例，客户端可以将所接收的可扩展分段与该媒体分段的所有可扩展分段的列表进行比较以识别是否丢失了该媒体分段的至少一个其他可扩展分段。
如果没有可扩展分段丢失(即，确定方框508＝“否”)，则在方框514，客户端可以处理所接收的所有可扩展分段(在方框506中所接收的)的组合，以生成全质量的媒体分段。作为示例，客户端可以将所接收的可扩展分段组合以重建全质量的媒体分段(所接收的媒体分段是从其中导出的)。可以应用平滑步骤作为处理的一部分。在实施例中，为了帮助重建全质量的媒体分段，客户端可以使用在方框502中所接收的播放列表文件中指示的导出方案(诸如划分方案)，以生成全质量的媒体分段。在方框516，客户端可以渲染该全质量的媒体分段。作为示例，客户端可以在接收机设备的用户接口(例如，显示器、扬声器等)输出该媒体分段的内容(例如，视频和/或音频)。然后客户端可以回到方框504。
如果在方框504中针对媒体分段所请求的至少一个可扩展分段丢失(即，确定方框508＝“是”)，则在方框510，客户端仍可以有利地处理该一个或多个所请求的可扩展分段(在方框506中接收的)，以生成阈值质量媒体分段。该阈值质量媒体分段可以在所定义的质量阈值或者在所定义的质量阈值之上，诸如方框402(图4)中所定义的质量阈值。在一个实施例中，在方框510，客户端可以至少部分地基于在方框502中所接收的播放列表文件中所指示的导出方案(例如，在播放列表文件中的指示的划分方案)来处理该一个或多个所请求的可扩展分段，以生成阈值质量媒体分段。
更详细地，如上文所提及，在方框406(图4)中从媒体分段所导出的可扩展分段的适当子集可以包括仅使用该适当子集(即，不使用方框406中所导出的全部可扩展分段)足够使接收机设备上的客户端能够在质量阈值或在质量阈值之上渲染媒体分段的数据量。另外，如上文所提及，可扩展分段的适当子集可以由单独的可扩展分段构成，或者可以由可扩展分段的组合构成。因此，如果丢失了至少一个所请求的可扩展分段(因此在图5中的方框506处仅接收了可扩展分段的适当子集)，则在方框510，所接收的可扩展分段的适当子集可以被复制，而所接收的可扩展分段的适当子集的拷贝可以用于代替丢失的可扩展分段。作为另一示例，如果丢失了至少一个所请求的可扩展分段，则在方框510，客户端可以通过对所接收的可扩展分段的适当子集的推断，来重建丢失的可扩展分段。一种方式可以是对与成功接收的任意可扩展分段相关联的邻居像素执行平均。作为另一示例，在方框510，客户端可以重建在一个或多个丢失的可扩展分段中的图片，这是通过：基于所接收的可扩展分段的适当子集的空间信息，针对在丢失的可扩展分段中的每个丢失的子图像生成多于一个候选子图像，并且然后使用诸如最低峰值信噪比(“PSNR”)的选择标准来选择候选图像，使用该候选图像来代替丢失的可扩展分段。另外，可以应用光滑步骤作为该处理的一部分。
在方框512，客户端可以对在方框510中所生成的阈值质量阈值分段进行渲染。作为示例，客户端可以在接收机设备的用户接口(例如，显示器、扬声器等)输出该阈值质量媒体分段的内容(例如，视频和/或音频)。然后客户端可以回到方框504。
针对媒体分段所生成的所有可扩展分段不必存储在相同的分段文件中。图6示出了实施例传输方案，其中从媒体分段间隔Ti生成的每个可扩展分段Si,1到Si,Ni存储在其自身各自的分段文件(分段文件1到分段文件Ni)中。以这种方式，一个分段文件的丢失可能只导致一个可扩展分段的丢失。另外，每个分段文件传输之间的延迟可以解释网络传输中的不可靠性。
图7示出了类似于上文所描述的方法400的用于生成可扩展分段的实施例方法700，除了在方法700中每个可扩展分段可以在不同的分段文件中被发送。在实施例中，方法700的操作可以由至少一个服务器执行，例如，内容源服务器108(图1)、媒体服务器112(图1)、一个或多个其他服务器或其组合。在方框401、402、404、406、408、410和412中，至少一个服务器可以参考图4执行上述方法400中相似编号的方框中的操作，以生成可扩展分段。在方框702，至少一个服务器可以(使用上文参考方框414所讨论的各种方式)在其自身各自的分段文件中发送可扩展分段。
在实施例中，分段文件可以包括对应于不同媒体分段的可扩展分段。以这种方式，分段文件的丢失可以导致存储在该分段文件中的不同媒体分段的可扩展分段的丢失。由于播出该媒体分段间隔可能不需要全部可扩展分段，所以一个或多个分段文件的丢失可以不要求对应于媒体分段间隔的媒体的呈现被跳过。图8示出了跨R个分段文件传播的可扩展分段。例如，aij(1≤j≤R)可以指示在Fj(1≤j≤R)中Ti的可扩展分段的数量，以使得在实施例中，可以通过从内容源交错传输分段文件以使得间隔的Ni个可扩展分段跨越时间进一步传播开，来减少丢弃的可扩展分段Ti的数量。例如，与可扩展分段Si,w和Si,w+1相关联的分段文件的传输之间的延迟可以是Yi,w(1≤w≤Ni-1)，而在Si,1和Si,Ni之间的传输中的总延迟可以是只要连续网络丢弃的持续时间小于则仍播放间隔Ti的媒体分段是可能的。如果网络不可靠性的时期突发式发生，该交错传输方案是有用的，但导致多个分段文件被丢弃。
图9示出了类似于上文所描述的方法400的用于生成可扩展分段的实施例方法900，除了在方法900中每个可扩展分段可以在包括来自不同媒体分段的可扩展分段的不同的分段文件中被发送。在实施例中，方法900的操作可以由至少一个服务器执行，例如，内容源服务器108(图1)、媒体服务器112(图1)、一个或多个其他服务器或其组合。在方框401、402、404、406、408、410和412中，至少一个服务器可以参考图4执行上述方法400中相似编号的方框的操作以生成可扩展分段。在方框902，至少一个服务器可以(使用上文参考方框414所讨论的各种方式)发送包括来自不同媒体分段的可扩展分段的不同的分段文件中的可扩展分段。作为示例，可扩展分段可以在不同分段文件中交错。作为另一示例，可扩展分段可以在不同的分段文件中顺序地列出。
图10是示出了根据实施例的诸如MPD的播放列表文件1002的元素的数据结构图。播放列表文件1002可以包括媒体信息1004，诸如表示1012的指示。播放列表文件1002可以包括划分方案指示1006。划分方案指示1006可以包括一个或多个划分方案ID 1014和重建规则1016。播放列表文件1008可以包括可扩展分段列表1008。可扩展分段列表1008可以包括可扩展分段ID 1018、对应的表示ID 1020、可扩展分段的开始时间1022、可扩展分段的结束时间1024和对应的媒体分段ID 1026。播放列表文件1008可以包括媒体分段列表1010。媒体分段列表1010可以包括媒体分段ID 1028、媒体分段开始时间1030、媒体分段结束时间1032和对应的可扩展分段ID 1034。播放列表文件1008可以包括分段时间轴1035，其可以列出每个分段和/或每个可扩展分段的顺序。
各种实施例可以被实施在各种移动设备中的任意移动设备中，图11中示出了其中的示例。例如，移动设备1100可以包括耦合到内部存储器1104和1110的处理器1102。内部存储器1104和1110可以是易失性或非易失性存储器，并且也可以是安全和/或加密存储器，或者不安全和/或未加密存储器或其任意组合。处理器1102也可以耦合到触摸屏显示器1106，诸如电阻传感触摸屏、电容传感触摸屏、红外传感触摸屏等。另外，移动设备1100的显示器不必具有触摸屏能力。另外，移动设备1100可以具有用于发送和接收电磁辐射的一个或多个天线1108，其可以连接到无线数据链路和/或耦合到处理器1102的蜂窝电话收发机1116。移动设备1100也可以包括物理按钮1112a和1112b用于接收用户输入。移动设备1100也可以包括电源按钮1118用于打开和关闭移动设备1110。
上文所描述的各种实施例也可以被实施在各种个人计算机设备内，诸如图12中示出的膝上计算机1210。很多膝上计算机包括触摸板触摸表面1217，其充当计算机的定点设备，并且因此可以接收拖拽、滚动和轻弹手势，类似于安装了触摸屏显示器并且在上文描述的移动计算设备上实施的那些。膝上计算机1210将典型地包括处理器1211，其耦合到易失性存储器1212和大容量非易失性存储器，诸如闪存的盘驱动器1212。计算机1210也可以包括耦合到处理器1211的软盘驱动器1214和光盘(CD)驱动器1215。计算机设备1210也可以包括耦合到处理器1211的很多连接器端口以用于建立数据连接或接收外部存储器设备，诸如USB或连接器插槽或其他用于将处理器1211耦合到网络的网络连接电路。在笔记本计算机配置中，计算机外壳包括触摸板1217、键盘1218和显示器1219，其全部耦合到处理器1211。计算设备的其他配置可以包括公知的耦合到处理器(例如，经由USB输入)的计算机鼠标或轨迹球，其也可以结合各种实施例使用。
各种实施例也可以被实施在各种商业可用服务器设备中的任意商业可用服务器设备中，诸如图13中示出的服务器1300。该服务器1300典型地包括处理器1301，其耦合到易失性存储器1302和诸如盘驱动器1303的大容量非易失性存储器。服务器1300也可以包括耦合到处理器1301的软盘驱动器、光盘(CD)或DVD光盘驱动器1306。服务器1300也可以包括耦合到处理器1301的网络接入端口1304用于建立与网络1307的网络接口连接，诸如耦合到其他广播系统计算机和服务器的本地局域网。
处理器1102、1211和1301可以是任何可编程微处理器、微计算机或多处理器芯片，其能够由软件指令(应用)配置为执行各种功能(包括上述的各个实施例的功能)。在一些设备中，可以提供多个处理器，例如，专用于无线通信功能的一个处理器以及专用于运行其它应用的一个处理器。通常，软件应用在其被访问和加载到处理器1102、1211和1301之前可以存储在内部存储器1104、1110、1212、1213、1302和1303中。处理器1102、1211和1301可以包括足够存储应用软件指令的内部存储器。在很多设备中内部存储器可以是易失性或非易失性存储器，诸如闪存或二者的混合。为了本文说明的目的，对存储器的通常引用指的是能够由处理器1102、1211和1301访问的存储器，包括插入到设备中的内部存储器或可移动存储器，以及处理器1102、1211和1301自身内的存储器。
仅将前述的方法描述和过程流程图提供为说明性示例，而不是旨在要求或暗示各个实施例的步骤必须按照给出的次序来执行。如本领域技术人员所能明白的，在前述实施例中的步骤的次序可以按照任何次序来执行。诸如“其后”、“然后”、“下一个”等的词语并不旨在限制步骤的次序；这些词语仅是用于引导读者通过方法的描述。此外，对单数形式(例如，使用冠词“一”、“一个”或“该”)的权利要求要素的任何提及不应被解释为将该要素限制为单数。
结合本文所公开的实施例来描述的各种说明性的逻辑框、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或二者的组合。为了清楚地说明硬件和软件的这种可互换性，上面对各种说明性的部件、框、模块、电路和步骤围绕其功能进行了总体描述。至于这种功能是实现为硬件还是实现为软件，取决于具体的应用和对整个系统所施加的设计约束。技术人员可以针对每个具体应用，以变化的方式实现所描述的功能，但是，这种实现决策不应被解释为造成背离本发明的范围。
用于实现结合本文所公开的方面而描述的各种说明性的逻辑、逻辑块、模块和电路的硬件可以利用被设计为执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管逻辑、分立的硬件部件或其任意组合来实现或执行。通用处理器可以是微处理器，或者，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器、或任意其它这样的配置。或者，一些步骤或方法可以由特定于给定功能的电路来执行。
在一个或多个示例性方面，所描述的功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则功能可以被存储为非暂时性计算机可读介质或非暂时性处理器可读介质上的一个或多个指令或代码。本文所公开的方法或算法的步骤可以体现在处理器可执行的软件模块中，该模块可以位于非暂时性计算机可读或处理器可读存储介质上。非暂时性计算机可读、服务器可读或处理器可读存储介质可以是可以由计算机或处理器存取的任何存储介质。通过举例的方式而不是限制的方式，这样的非暂时性计算机可读或处理器可读介质可以包括RAM、ROM、EEPROM、闪存、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁存储设备、或者可以被用于存储以指令或数据结构的形式的期望的程序代码并可以由计算机存取的任何其它介质。如本文所使用的盘(disk)和光盘(disc)包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上面的组合也被包括在非暂时性计算机可读和处理器可读介质的范围之内。另外，方法或算法的操作可以作为代码和/或指令的一个或任意组合或集合，位于非暂时性处理器可读介质和/或计算机可读介质上，其可以并入计算机程序产品中。
为使本领域任何技术人员能够制作或者使用本发明，提供了对所公开的实施例的先前的描述。对于本领域技术人员来说，对这些实施例的各种修改将是显而易见的，并且本文定义的总体原理可以应用于其它实施例，而不脱离本发明的精神或范围。因此，本发明不旨在被限于本文所示出的实施例，而是与以下权利要求和本文公开的原理和新颖的特征一致的最广范围相一致。

Claims (48)

1.一种用于处理媒体的系统，包括：
服务器，包括：
用于从媒体分段导出时间上交叠的可扩展分段的集合的单元，所述时间上交叠的可扩展分段的集合的适当子集包括足够的数据量以使接收机设备能够仅使用所述适当子集来在质量阈值或者在质量阈值之上渲染所述媒体分段；以及
用于发送所述时间上交叠的可扩展分段的集合的单元；以及
接收机设备，包括：
用于接收所述时间上交叠的可扩展分段的集合的所述适当子集的单元；
用于确定所述时间上交叠的可扩展分段的集合中的至少一个丢失的单元；以及
用于响应于确定所述时间上交叠的可扩展分段的集合中的至少一个丢失而使用所接收的时间上交叠的可扩展分段的适当子集来在所述质量阈值或者在所述质量阈值之上渲染所述媒体分段的单元。
2.根据权利要求1所述的系统，其中，用于接收所述时间上交叠的可扩展分段的集合的所述适当子集的单元包括：
用于在至少两个分段文件中接收时间上交叠的可扩展分段的所述适当子集的单元。
3.根据权利要求2所述的系统，其中，所述至少两个分段文件中的每个包括从至少两个媒体分段导出的可扩展分段。
4.根据权利要求1所述的系统，其中，所述接收机设备还包括：
用于接收用于从所述媒体分段导出所述时间上交叠的可扩展分段的集合的方案的指示的单元。
5.根据权利要求4所述的系统，其中，用于响应于确定所述时间上交叠的可扩展分段的集合中的至少一个丢失而使用所接收的时间上交叠的可扩展分段的适当子集来在所述质量阈值或者在所述质量阈值之上渲染所述媒体分段的单元包括：
用于基于所接收的指示来处理所接收的时间上交叠的可扩展分段的适当子集的单元。
6.根据权利要求5所述的系统，其中，用于接收用于从所述媒体分段导出所述时间上交叠的可扩展分段的集合的方案的指示的单元包括：
用于接收包括所述指示的播放列表文件的单元。
7.根据权利要求6所述的系统，其中，所述接收机设备包括客户端，所述客户端是通过HTTP的动态自适应流式传输(DASH)客户端，所述播放列表文件是媒体呈现描述(MPD)。
8.根据权利要求5所述的系统，其中，时间上交叠的可扩展分段的所述适当子集由一个可扩展分段构成。
9.根据权利要求5所述的系统，其中，时间上交叠的可扩展分段的所述适当子集由多个可扩展分段构成。
10.一种用于在包括客户端的接收机设备上呈现媒体的方法，所述方法包括：
通过所述接收机设备的所述客户端来：
接收从媒体分段导出的时间上交叠的可扩展分段的集合的适当子集，所述适当子集包括足够的数据量以使所述客户端能够仅使用所述适当子集来在质量阈值或者在质量阈值之上渲染所述媒体分段；
确定所述时间上交叠的可扩展分段的集合中的至少一个丢失；以及
响应于确定所述时间上交叠的可扩展分段的集合中的至少一个丢失而使用所接收的时间上交叠的可扩展分段的适当子集来在所述质量阈值或者在所述质量阈值之上渲染所述媒体分段。
11.根据权利要求10所述的方法，其中，接收时间上交叠的可扩展分段的集合的适当子集包括：
在至少两个分段文件中接收时间上交叠的可扩展分段的所述适当子集。
12.根据权利要求11所述的方法，其中，所述至少两个分段文件中的每个包括从至少两个媒体分段导出的可扩展分段。
13.根据权利要求10所述的方法，还包括：
通过所述接收机设备的所述客户端来：
接收用于从所述媒体分段导出所述时间上交叠的可扩展分段的集合的方案的指示。
14.根据权利要求13所述的方法，其中，使用所接收的时间上交叠的可扩展分段的适当子集来在所述质量阈值或者在所述质量阈值之上渲染所述媒体分段包括：
基于所接收的指示来处理所接收的时间上交叠的可扩展分段的适当子集。
15.根据权利要求14所述的方法，其中，所接收的指示指出了：通过对所述媒体分段应用时间划分方案来将所述媒体分段划分成所述时间上交叠的可扩展分段的集合，来从所述媒体分段导出所述时间上交叠的可扩展分段的集合。
16.根据权利要求15所述的方法，其中，接收用于从所述媒体分段导出所述时间上交叠的可扩展分段的集合的方案的指示包括：
接收包括所述指示的播放列表文件。
17.根据权利要求16所述的方法，其中，所述接收机设备的所述客户端是通过HTTP的动态自适应流式传输(DASH)客户端，所述播放列表文件是媒体呈现描述(MPD)。
18.根据权利要求14所述的方法，其中，所接收的指示指出了：通过对所述媒体分段应用空间划分方案来将所述媒体分段划分成所述时间上交叠的可扩展分段的集合，来从所述媒体分段导出所述时间上交叠的可扩展分段的集合。
19.根据权利要求18所述的方法，其中，接收用于从所述媒体分段导出所述时间上交叠的可扩展分段的集合的方案的指示包括：
接收包括所述指示的播放列表文件。
20.根据权利要求19所述的方法，其中，所述接收机设备的所述客户端是通过HTTP的动态自适应流式传输(DASH)客户端，所述播放列表文件是媒体呈现描述(MPD)。
21.根据权利要求10所述的方法，其中，所述质量阈值是基于在将所述时间上交叠的可扩展分段的集合发送到所述接收机设备的过程中突发文件丢失的可能性。
22.根据权利要求10所述的方法，其中，所述质量阈值是这样的质量阈值：使得所述接收机设备的所述客户端渲染所述媒体分段而没有用户可察觉的质量降级。
23.根据权利要求10所述的方法，其中，所述质量阈值是这样的质量阈值：使得所述接收机设备的所述客户端渲染所述媒体分段而没有在所述接收机设备的所述客户端回放期间的停顿。
24.根据权利要求10所述的方法，其中，时间上交叠的可扩展分段的所述适当子集由一个可扩展分段构成。
25.根据权利要求10所述的方法，其中，时间上交叠的可扩展分段的所述适当子集由多个可扩展分段构成。
26.一种接收机设备，包括：
存储器；以及
耦合到所述存储器的处理器，所述处理器被配置有处理器可执行的指令以执行权利要求10到权利要求25中的任意一项所述的方法。
27.一种非暂时性处理器可读介质，被配置有处理器可执行指令以使得接收机设备的处理器执行权利要求10到权利要求25中的任意一项所述的方法。
28.一种用于处理媒体的方法，包括：
通过服务器来：
从媒体分段导出时间上交叠的可扩展分段的集合，所述时间上交叠的可扩展分段的集合的适当子集包括足够的数据量以使得接收机设备的客户端能够仅使用所述适当子集来在质量阈值或者在质量阈值之上渲染所述媒体分段。
29.根据权利要求28所述的方法，还包括：
通过服务器来：
向所述接收机设备发送所述时间上交叠的可扩展分段的集合。
30.根据权利要求29所述的方法，其中，向所述接收机设备发送所述时间上交叠的可扩展分段的集合包括：
在至少两个分段文件中向所述接收机设备发送所述时间上交叠的可扩展分段的集合。
31.根据权利要求30所述的方法，其中，所述至少两个分段文件中的每个包括从至少两个媒体分段导出的可扩展分段。
32.根据权利要求28所述的方法，其中，从媒体分段导出时间上交叠的可扩展分段的集合包括：
对所述媒体分段应用时间划分方案来将所述媒体分段划分成所述时间上交叠的可扩展分段的集合。
33.根据权利要求28所述的方法，其中，从媒体分段导出时间上交叠的可扩展分段的集合包括：
对所述媒体分段应用空间划分方案来将所述媒体分段划分成所述时间上交叠的可扩展分段的集合。
34.根据权利要求28所述的方法，还包括，向所述接收机设备发送用于从所述媒体分段导出所述时间上交叠的可扩展分段的集合的方案的指示。
35.根据权利要求34所述的方法，其中，所述接收机设备的所述客户端被配置为通过基于所发送的指示来处理时间上交叠的可扩展分段的所述适当子集，来使用时间上交叠的可扩展分段的所述适当子集来在所述质量阈值或者在所述质量阈值之上渲染所述媒体分段。
36.根据权利要求35所述的方法，其中，所发送的指示指出了：通过对所述媒体分段应用时间划分方案来将所述媒体分段划分成所述时间上交叠的可扩展分段的集合，来从所述媒体分段导出所述时间上交叠的可扩展分段的集合。
37.根据权利要求36所述的方法，其中，向所述接收机设备发送用于从所述媒体分段导出所述时间上交叠的可扩展分段的集合的方案的指示包括：
向所述接收机设备发送包括所述指示的播放列表文件。
38.根据权利要求37所述的方法，其中，所述接收机设备的所述客户端是通过HTTP的动态自适应流式传输(DASH)客户端，所述播放列表文件是媒体呈现描述(MPD)。
39.根据权利要求35所述的方法，其中，所发送的指示指出了：通过对所述媒体分段应用空间划分方案来将所述媒体分段划分成所述时间上交叠的可扩展分段的集合，来从所述媒体分段导出所述时间上交叠的可扩展分段的集合。
40.根据权利要求39所述的方法，其中，接收用于从所述媒体分段导出所述时间上交叠的可扩展分段的集合的方案的指示包括：
接收包括所述指示的播放列表文件。
41.根据权利要求40所述的方法，其中，所述接收机设备的所述客户端是通过HTTP的动态自适应流式传输(DASH)客户端，所述播放列表文件是媒体呈现描述(MPD)。
42.根据权利要求28所述的方法，其中，所述质量阈值是基于在将所述时间上交叠的可扩展分段的集合发送到所述接收机设备的过程中突发文件丢失的可能性。
43.根据权利要求28所述的方法，其中，所述接收机设备的所述客户端被配置为在所述质量阈值渲染所述媒体分段而没有用户可察觉的质量降级。
44.根据权利要求28所述的方法，其中，所述接收机设备的所述客户端被配置为在所述质量阈值渲染所述媒体分段而没有在所述接收机设备的所述客户端回放期间的停顿。
45.根据权利要求28所述的方法，其中，时间上交叠的可扩展分段的所述适当子集由一个可扩展分段构成。
46.根据权利要求28所述的方法，其中，时间上交叠的可扩展分段的所述适当子集由多个可扩展分段构成。
47.一种服务器，包括：
存储器；以及
耦合到所述存储器的处理器，所述处理器被配置有处理器可执行的指令以执行权利要求28到权利要求46中的任意一项所述的方法。
48.一种非暂时性处理器可读介质，其被配置有处理器可执行的指令以使得服务器的处理器执行权利要求28到权利要求46中的任意一项所述的方法。
CN201480013976.0A 2013-03-15 2014-03-14 通过http的动态自适应流式传输中面对丢失的媒体分段的恢复力 Expired - Fee Related CN105144728B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/838,595 2013-03-15
US13/838,595 US9854017B2 (en) 2013-03-15 2013-03-15 Resilience in the presence of missing media segments in dynamic adaptive streaming over HTTP
PCT/US2014/028438 WO2014144150A2 (en) 2013-03-15 2014-03-14 Resilience in the presence of missing media segments in dynamic adaptive streaming over http

Publications (2)

Publication Number Publication Date
CN105144728A CN105144728A (zh) 2015-12-09
CN105144728B true CN105144728B (zh) 2018-06-08

Family

ID=50543689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480013976.0A Expired - Fee Related CN105144728B (zh) 2013-03-15 2014-03-14 通过http的动态自适应流式传输中面对丢失的媒体分段的恢复力

Country Status (6)

Country Link
US (1) US9854017B2 (zh)
EP (1) EP2974321A2 (zh)
JP (1) JP2016517675A (zh)
KR (1) KR20150131175A (zh)
CN (1) CN105144728B (zh)
WO (1) WO2014144150A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2835982B1 (en) * 2013-08-06 2017-12-20 THEO Technologies A method for playing a media stream in a browser application
EP3179688A1 (en) * 2015-12-11 2017-06-14 Koninklijke KPN N.V. Updating part of a manifest file on the basis of patches
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
CN109691113B (zh) 2016-07-15 2022-02-08 皇家Kpn公司 流式传输虚拟现实视频
EP3513562A1 (en) * 2016-09-14 2019-07-24 Koninklijke KPN N.V. Streaming virtual reality video
US20180213294A1 (en) * 2017-01-23 2018-07-26 Ramp Holdings, Inc. Recovering from gaps in video transmission for web browser-based players
US10609178B2 (en) * 2017-03-16 2020-03-31 Ronaldo Cordero Navarro Digital media and multimedia scheduling and delivery platform
US10484726B2 (en) * 2017-06-02 2019-11-19 Apple Inc. Playlist error tags for delivery and rendering of streamed media
US10720185B2 (en) * 2017-10-04 2020-07-21 Hashcut, Inc. Video clip, mashup and annotation platform
WO2021009597A1 (en) * 2019-07-12 2021-01-21 Carrier Corporation A system and a method for streaming videos by creating object urls at client
US11785262B1 (en) * 2022-03-16 2023-10-10 International Business Machines Corporation Dynamic compression of audio-visual data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934870A (zh) * 2004-03-24 2007-03-21 皇家飞利浦电子股份有限公司 使用去隔行机制的多重描述编码视频传输

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611530B1 (en) * 1999-09-21 2003-08-26 Hewlett-Packard Development Company, L.P. Video communication using multiple streams
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
US7222285B2 (en) 2004-03-17 2007-05-22 Microsoft Corporation Layered multiple description coding
US9380096B2 (en) * 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US8619877B2 (en) * 2007-10-11 2013-12-31 Microsoft Corporation Optimized key frame caching for remote interface rendering
US8254469B2 (en) * 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding
US8290346B2 (en) * 2008-09-25 2012-10-16 Pixia Corp. Large format video archival, storage, and retrieval system and method
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
JP5235800B2 (ja) * 2009-06-24 2013-07-10 日本電信電話株式会社 Ｉｐストリーム送受信システム、ｉｐストリーム送受信方法、ｉｐストリーム送受信プログラムおよびそのプログラムを記録した記録媒体
IT1398195B1 (it) 2009-06-25 2013-02-14 St Microelectronics Srl "procedimento e sistema per la distribuzione di contenuti informativi, relativo prodotto informatico"
FR2954036B1 (fr) * 2009-12-11 2012-01-13 Thales Sa Procede et systeme pour la determination de parametres de codage sur des flux a resolution variable
WO2012032502A1 (en) * 2010-09-10 2012-03-15 Nokia Corporation A method and apparatus for adaptive streaming
DE112011103642T5 (de) * 2010-11-02 2013-09-19 Lg Electronics Inc. Verfahren zum Senden/Empfangen von Medieninhalt und Vorrichtung zum Senden/Empfangen, die dieses verwendet
WO2012115593A1 (en) * 2011-02-21 2012-08-30 National University Of Singapore Apparatus, system, and method for annotation of media files with sensor data
JP2012213085A (ja) * 2011-03-31 2012-11-01 Mitsubishi Electric Corp 映像伝送システム
US8849950B2 (en) * 2011-04-07 2014-09-30 Qualcomm Incorporated Network streaming of video data using byte range requests
US9615126B2 (en) * 2011-06-24 2017-04-04 Google Technology Holdings LLC Intelligent buffering of media streams delivered over internet
US9357275B2 (en) * 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
US9843844B2 (en) * 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US20130142332A1 (en) * 2011-12-06 2013-06-06 Andrés Ramos Voice and screen capture archive and review process using phones for quality assurance purposes
US9143543B2 (en) * 2012-11-30 2015-09-22 Google Technology Holdings LLC Method and system for multi-streaming multimedia data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934870A (zh) * 2004-03-24 2007-03-21 皇家飞利浦电子股份有限公司 使用去隔行机制的多重描述编码视频传输

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Reducing Video-Quality Fluctuations for Streaming Scalable Video Using Unequal Error Protection,Retransmission, and Interleaving;Tong Gan等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20060430;第15卷(第4期);P819-832 *

Also Published As

Publication number Publication date
CN105144728A (zh) 2015-12-09
WO2014144150A3 (en) 2014-12-11
EP2974321A2 (en) 2016-01-20
JP2016517675A (ja) 2016-06-16
KR20150131175A (ko) 2015-11-24
US20140280754A1 (en) 2014-09-18
WO2014144150A2 (en) 2014-09-18
US9854017B2 (en) 2017-12-26

Similar Documents

Publication Publication Date Title
CN105144728B (zh) 通过http的动态自适应流式传输中面对丢失的媒体分段的恢复力
US10979663B2 (en) Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
Yaqoob et al. A survey on adaptive 360 video streaming: Solutions, challenges and opportunities
JP6662986B2 (ja) 複数のビューポイントによるビデオの生成
CN110636346B (zh) 一种码率自适应切换方法、装置、电子设备及存储介质
US10798386B2 (en) Video compression with generative models
JP5619908B2 (ja) 符号化ビデオ・データのストリーミング
CN111417441A (zh) 用于渲染和编码在线交互式游戏会话的内容的方法和系统
CN106576182A (zh) 视频质量提升
TW201220826A (en) Manifest file updates for network streaming of coded video data
TW201230747A (en) Arranging sub-track fragments for streaming video data
WO2018126702A1 (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
JP2010178147A (ja) ストリーミング配信システム、その動作制御方法及びプログラム
US11575894B2 (en) Viewport-based transcoding for immersive visual streams
Chen et al. Live360: Viewport-aware transmission optimization in live 360-degree video streaming
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
US9218848B1 (en) Restructuring video streams to support random access playback
US9667885B2 (en) Systems and methods to achieve interactive special effects
Niamut et al. Live event experiences-interactive UHDTV on mobile devices
CN116980392A (zh) 媒体流处理方法、装置、计算机设备和存储介质
Zeng et al. A new architecture of 8k vr fov video end-to-end technology
EP2978225B1 (en) Method for obtaining in real time a user selected multimedia content part
Begen Quality-aware HTTP adaptive streaming
Fautier Next-generation video compression techniques
Niamut et al. Immersive live event experiences-interactive UHDTV on mobile devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180608

Termination date: 20190314