CN103843301A - 经译码多媒体数据的网络串流期间的表示之间的切换 - Google Patents

经译码多媒体数据的网络串流期间的表示之间的切换 Download PDF

Info

Publication number
CN103843301A
CN103843301A CN201280048730.8A CN201280048730A CN103843301A CN 103843301 A CN103843301 A CN 103843301A CN 201280048730 A CN201280048730 A CN 201280048730A CN 103843301 A CN103843301 A CN 103843301A
Authority
CN
China
Prior art keywords
expression
video data
switching point
interval
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280048730.8A
Other languages
English (en)
Other versions
CN103843301B (zh
Inventor
洛伦茨·克里斯托夫·明德
迈克尔·乔治·卢比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103843301A publication Critical patent/CN103843301A/zh
Application granted granted Critical
Publication of CN103843301B publication Critical patent/CN103843301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明的方面大体涉及一种检索多媒体内容的视频数据的方法。在一实例中，所述方法包含确定所述多媒体内容的第一表示的切换点之间的第一间隔和所述多媒体内容的第二表示的切换点之间的第二间隔，其中所述第一间隔小于所述第二间隔。所述方法还包含基于所述确定，提交对具有至少等于所述第二表示中的切换点之间的重放时间的重放时间的量的来自所述第一表示的视频数据的一个或一个以上网络请求。所述方法还包含在提交对所述量的来自所述第一表示的视频数据的所述请求之后，检索来自所述第二表示的视频数据。

Description

经译码多媒体数据的网络串流期间的表示之间的切换
本申请案主张2011年10月5日申请的第61/543,732号美国短暂申请案的权益，所述短暂申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及经编码多媒体数据的网络串流。
背景技术
数字视频能力可并入到广泛装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电传会议装置等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)界定的标准和所述标准的扩展部分中所描述的那些视频压缩技术，以更有效地发射和接收数字视频信息。
视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，可将视频帧或切片分割为块。每一块可经进一步分割。帧内译码(I)帧或切片中的块使用相对于相邻块的空间预测来编码。帧间译码(P或B)帧或切片中的块可使用相对于同一帧或切片中的相邻块的空间预测或相对于其它参考帧的时间预测。
在已编码视频数据后，视频数据可包化以供发射或存储。视频数据可组合到符合多种标准的任一者的视频文件中，例如国际标准化组织(ISO)基础媒体文件格式及其扩展，比如ITU-T H.264/AVC。此类包化视频数据可以多种方式传输，例如经由计算机网络使用网络串流发射。
发明内容
大体来说，本发明描述用于改进媒体数据经由网络的串流的技术。举例来说，本发明的技术大体针对当初始检索多媒体内容时以及当执行带宽调适时改进用户体验。本发明的方面涉及将指示多媒体内容的各个表示的切换点之间的距离的信息从服务器装置提供到客户端装置。客户端装置可使用此信息来初始选择具有相对频繁切换点(但相对较低所感知质量)的表示，缓冲所述表示的数据，接着在较高质量表示的将来切换点切换到具有相对较高所感知质量的表示。
在一实例中，一种检索多媒体内容的视频数据的方法包含：确定多媒体内容的第一表示的切换点之间的第一间隔和多媒体内容的第二表示的切换点之间的第二间隔，其中第一间隔小于第二间隔；基于所述确定，提交对具有至少等于第二表示中的切换点之间的重放时间的重放时间的量的来自第一表示的视频数据的一个或一个以上网络请求；以及在提交对所述量的来自第一表示的视频数据的请求之后，检索来自第二表示的视频数据。
在另一实例中，一种用于检索多媒体内容的视频数据的设备包含一个或一个以上处理器，其经配置以：确定多媒体内容的第一表示的切换点之间的第一间隔和多媒体内容的第二表示的切换点之间的第二间隔，其中第一间隔小于第二间隔；基于所述确定，提交对具有至少等于第二表示中的切换点之间的重放时间的重放时间的量的来自第一表示的视频数据的一个或一个以上网络请求；以及在提交对所述量的来自第一表示的视频数据的请求之后，检索来自第二表示的视频数据。
在另一实例中，一种用于检索多媒体内容的视频数据的设备包含：用于确定多媒体内容的第一表示的切换点之间的第一间隔和多媒体内容的第二表示的切换点之间的第二间隔的装置，其中第一间隔小于第二间隔；用于基于所述确定提交对具有至少等于第二表示中的切换点之间的重放时间的重放时间的量的来自第一表示的视频数据的一个或一个以上网络请求的装置；以及用于在提交对所述量的来自第一表示的视频数据的请求之后检索来自第二表示的视频数据的装置。
在另一实例中，本发明的方面针对一种存储指令的非暂时性计算机可读存储媒体，所述指令当执行时致使一个或一个以上处理器：确定多媒体内容的第一表示的切换点之间的第一间隔和多媒体内容的第二表示的切换点之间的第二间隔，其中第一间隔小于第二间隔；基于所述确定，提交对具有至少等于第二表示中的切换点之间的重放时间的重放时间的量的来自第一表示的视频数据的一个或一个以上网络请求；以及在提交对所述量的来自第一表示的视频数据的请求之后，检索来自第二表示的视频数据。
在另一实例中，一种串流多媒体内容的视频数据的方法包含：接收多媒体内容的多个表示，其中所述表示包含表示相应表示的切换点之间的间隔的切换点间隔信息；响应于来自客户端装置的请求将所述表示的第一者的视频数据发送到客户端装置；以及在发送具有至少等于所述表示的第二不同者中的切换点之间的重放时间的重放时间的量的来自第一表示的视频数据之后，将所述表示的第二者的视频数据发送到客户端装置，其中所述表示的第二者的切换点之间的间隔低于所述表示的第一者的切换点之间的间隔。
在另一实例中，一种用于串流多媒体内容的视频数据的设备包含一个或一个以上处理器，其经配置以：接收多媒体内容的多个表示，其中所述表示包含表示相应表示的切换点之间的间隔的切换点间隔信息；响应于来自客户端装置的请求将所述表示的第一者的视频数据发送到客户端装置；以及在发送具有至少等于所述表示的第二不同者中的切换点之间的重放时间的重放时间的量的来自第一表示的视频数据之后，将所述表示的第二者的视频数据发送到客户端装置，其中所述表示的第二者的切换点之间的间隔低于所述表示的第一者的切换点之间的间隔。
在另一实例中，一种用于串流多媒体内容的视频数据的设备包含：用于接收多媒体内容的多个表示的装置，其中所述表示包含表示相应表示的切换点之间的间隔的切换点间隔信息；用于响应于来自客户端装置的请求将所述表示的第一者的视频数据发送到客户端装置的装置；以及用于在发送具有至少等于所述表示的第二不同者中的切换点之间的重放时间的重放时间的量的来自第一表示的视频数据之后将所述表示的第二者的视频数据发送到客户端装置的装置，其中所述表示的第二者的切换点之间的间隔低于所述表示的第一者的切换点之间的间隔。
在另一实例中，本发明的方面针对一种存储指令的非暂时性计算机可读存储媒体，所述指令当执行时致使一个或一个以上处理器：接收多媒体内容的多个表示，其中所述表示包含表示相应表示的切换点之间的间隔的切换点间隔信息；响应于来自客户端装置的请求将所述表示的第一者的视频数据发送到客户端装置；以及在发送具有至少等于所述表示的第二不同者中的切换点之间的重放时间的重放时间的量的来自第一表示的视频数据之后，将所述表示的第二者的视频数据发送到客户端装置，其中所述表示的第二者的切换点之间的间隔低于所述表示的第一者的切换点之间的间隔。
一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。
附图说明
图1是说明实施用于经由网络串流媒体数据的技术的实例系统的框图。
图2是说明实例多媒体内容的元素的概念图。
图3是说明可对应于多媒体内容的表示的片段的实例视频文件的元素的框图。
图4是说明包含媒体呈现描述(MPD)和各种调适集合的实例多媒体内容的概念图。
图5是说明根据本发明的方面的实例表示的概念图。
图6是说明根据本发明的方面的其它实例表示的概念图。
图7是以图形表示所确定量的网络带宽和从其检索数据的表示的对应指示的实例的概念图。
图8是说明用于执行本发明的方面的实例方法的流程图。
图9是说明用于执行本发明的方面的实例方法的流程图。
图10是说明用于执行本发明的方面的实例方法的流程图。
具体实施方式
大体来说，本发明描述用于经由网络串流例如音频和视频数据等多媒体数据的技术。本发明的技术可结合经由HTTP的动态自适应串流(DASH)使用，本发明描述可结合网络串流执行的各种技术，其任一者或全部可单独实施或以任何组合实施。如下文更详细描述，执行网络串流的各种装置可经配置以实施本发明的技术。
根据DASH和用于经由网络串流数据的类似技术，多媒体内容(例如，电影或其它音频/视频内容，其还可包含文本叠加或其它数据)可以多种方式且以多种特性编码。内容准备装置可形成相同多媒体内容的多个表示。每一表示可对应于特定特性集合，例如译码和再现特性，以提供可由具有各种译码和再现能力的多种不同客户端装置使用的数据。此外，具有各种位速率的表示可允许带宽调适。即，客户端装置可确定当前可用的带宽量且基于可用带宽量连同客户端装置的译码和再现能力选择表示。
在一些实例中，内容准备装置可指示表示的集合具有共同特性集合。内容准备装置可接着指示集合中的表示形成调适集合，集合中的表示可用于带宽调适。在一些例子中，调适集合也可称为“表示群组”。即，集合中的表示可在位速率方面不同，但以其它方式共享大体相同特性。以此方式，客户端装置可确定多媒体内容的调适集合的各种共同特性集合，且基于客户端装置的译码和再现能力选择调适集合。接着，客户端装置可基于带宽可用性自适应地在选定调适集合中的表示之间切换。
内容准备装置还可提供清单文件的不同部分的单独网络位置，例如呈3GPP(第三代合作伙伴计划)规定的格式的媒体呈现描述(MPD)文件。即，清单文件的不同部分可通过例如各种统一资源识别符(URI)(例如，统一资源定位符(URL))来独立寻址。清单文件的初始部分可包含URI、URL，或清单文件的另一部分的其它位置识别符。举例来说，清单文件的第一部分可包含调适集合的共同特性的描述，如上文论述。
调适集合的每一者可与清单文件的相应不同部分相关联，清单文件的相应不同部分可包含指示相应调适集合中的表示的媒体数据的位置的数据。以此方式，客户端装置可接收清单文件的第一部分，选择适当的调适集合，检索选定调适集合的清单文件的另一部分，选择选定群组的表示，且使用清单文件的另一部分来检索选定表示的数据。此外，客户端装置可适于使用清单文件的另一部分(即，特定针对选定调适集合的部分)改变网络带宽。
例如媒体内容的表示的片段等视频文件可符合根据ISO基础媒体文件格式、可缩放视频译码(SVC)文件格式、先进视频译码(AVC)文件格式、第三代合作伙伴计划(3GPP)文件格式和/或多视图视频译码(MVC)文件格式或其它类似的视频文件格式的任一者囊封的视频数据。
ISO基础媒体文件格式经设计以含有用于以促进媒体的交换、管理、编辑和呈现的灵活可扩展格式呈现的定时媒体信息。ISO基础媒体文件格式(ISO/IEC14496-12：2004)在MPEG-4第12部分中指定，其界定基于时间的媒体文件的一股结构。ISO基础媒体文件格式用作例如所界定的支持H.264/MPEG-4AVC视频压缩的AVC文件格式(ISO/IEC14496-15)、3GPP文件格式、SVC文件格式和MVC文件格式等系列中的其它文件格式的基础。3GPP文件格式和MVC文件格式是AVC文件格式的扩展。ISO基础媒体文件格式含有例如视听呈现等媒体数据的定时序列的定时、结构和媒体信息。文件格式可为对象定向的。文件可非常简单地分解为基本对象，且对象的结构由其类型暗示。
符合ISO基础媒体文件格式(及其扩展)的文件可形成为一系列对象，称为“框”。ISO基础媒体文件格式中的数据可包含在框中，使得不需要其它数据包含在文件内且不需要数据在文件内的框外部。此包含特定文件格式要求的任何初始签名。“框”可为唯一类型识别符和长度界定的对象定向的构筑块。通常，呈现包含在一个文件中，且媒体呈现是独立的。电影容器(电影框)可含有媒体的元数据，且视频和音频帧可包含在媒体数据容器中且可在其它文件中。
表示(运动序列)可包含在若干文件中，有时称为片段。定时和组帧(位置和大小)信息通常在ISO基础媒体文件中且附属文件可基本上使用任何格式。此呈现可在含有所述呈现的系统“本地”，或可经由网络或其它流递送机制提供。
可使用任选的元数据轨道以其所具有的“吸引人的特性”对每一轨道(其值可不同于群组的其它成员(例如，其位速率、屏幕大小或语言))做标记。轨道内的一些样本可具有特殊特性或可个别地识别。所述特性的一个实例是同步点(通常视频I帧)。这些点可由每一轨道中的特殊表识别。更一股来说，轨道样本之间的相依性性质也可使用元数据归档。元数据可构造为文件格式样本的序列，正如视频轨道。此轨道可称为元数据轨道。每一元数据样本可构造为元数据语句。存在对应于可能关于对应的文件格式样本或其组成样本询问的各种问题的各种语句。
当经由串流协议递送媒体时，媒体可需要从其在文件中表示的方式变换。此情况的一个实例是当媒体经由实时传送协议(RTP)发射时。在文件中，举例来说，视频的每一帧连续地存储为文件格式样本。在RTP中，必须服从特定针对所使用的编解码器的包化规则以将这些帧放置在RTP包中。串流服务器可经配置以在运行时计算此包化。然而，存在对于串流服务器的辅助的支持。
本发明的技术可例如根据经由HTTP的动态自适应串流(DASH)适用于例如HTTP串流等网络串流协议。在HTTP串流中，频繁使用的操作包含GET和部分GET。GET操作检索与给定统一资源定位符(URL)或其它识别符(例如，URI)相关联的整个文件。部分GET操作接收字节范围作为输入参数且检索对应于所接收字节范围的文件的连续数目的字节。因此，可提供电影碎片用于HTTP串流，因为部分GET操作可获得一个或一个以上个别电影碎片。注意，在电影碎片中，可存在不同轨道的若干轨道碎片。在HTTP串流中，媒体表示可为客户端可存取的数据的结构化集合。客户端可请求并下载媒体数据信息以向用户呈现串流服务。
在使用HTTP串流来串流3GPP数据的实例中，可存在多媒体内容的视频和/或音频数据的多个表示。此类表示的清单可在媒体呈现描述(MPD)数据结构中界定。媒体呈现可对应于HTTP串流客户端装置可存取的数据的结构化集合。HTTP串流客户端装置可请求并下载媒体数据信息以向客户端装置的用户呈现串流服务。媒体表示可在MPD数据结构中描述，MPD数据结构可包含MPD的更新。
多媒体内容可含有一个或一个以上周期的序列。周期可由MPD中的周期元素界定。每一周期可具有MPD中的属性开始。MPD可包含针对每一周期的开始属性和availableStartTime属性。对于实况服务，周期的开始属性与MPD属性availableStartTime的和可指定UTC格式的周期的可用性时间，特定来说对应周期中的每一表示的第一媒体片段。对于按需服务，第一周期的开始属性可为0。对于任何其它周期，开始属性可指定对应周期的开始时间相对于第一周期的开始时间之间的时间偏移。每一周期可延长直到下一周期的开始，或在最后周期的情况下直到媒体呈现的结束。周期开始时间可为精确的。其可反映由于播放所有先前周期的媒体而产生的实际定时。
每一周期可含有相同媒体内容的一个或一个以上表示。表示可为音频或视频数据的若干替代经编码型式的一者。所述表示可依据各种特性而不同，例如编码类型，比如位速率、分辨率和/或针对视频数据和位速率的编解码器、语言，和/或针对音频数据的编解码器。术语表示可用于指代对应于多媒体内容的特定周期且以特定方式编码的经编码音频或视频数据的区段。
可向群组指派特定周期的表示，群组可由MPD中的群组属性指示。同一群组中的表示通常视为彼此的替代。举例来说，可向同一群组指派针对特定周期的视频数据的每一表示，使得可选择表示的任一者以供解码以显示对应周期的多媒体内容的视频数据。在一些实例中，一个周期内的媒体内容可由来自群组0(如果存在)的一个表示或来自非零群组的至多一个表示的组合来表示。周期的每一表示的定时数据可相对于周期的开始时间表达。
表示可包含一个或一个以上片段。每一表示可包含初始化片段，或表示的每一片段可自行初始化。当存在时，初始化片段可含有用于存取所述表示的初始化信息。一股来说，初始化片段不含有媒体数据。片段可由例如统一资源定位符(URL)等识别符唯一地参考。MPD可提供每一片段的识别符。在一些实例中，MPD还可提供范围属性的形式的字节范围，其可对应于可由URL或URI存取的文件内的片段的数据。
每一表示还可包含一个或一个以上媒体组件，其中每一媒体组件可对应于例如音频、视频和/或定时文本(例如，用于隐藏式字幕)等一个个别媒体类型的经编码型式。媒体组件可在一个表示内的连续媒体片段的边界上为时间上连续的。
本发明的方面大体针对当初始检索多媒体内容时以及当执行带宽调适时改进用户体验。如上所述，客户端装置可确定当前可用的带宽量且基于可用带宽量和表示的位速率连同客户端装置的译码和再现能力选择表示。客户端装置通常选择可用带宽所允许的最高位速率。如果带宽条件改变，那么客户端装置通过切换到不同表示(例如，具有不同位速率)而作出反应。
传统视频串流技术可需要客户端装置在显示视频数据之前缓冲所接收的视频数据以便在不中断的情况下显示视频数据。在一些例子中，可存在需要缓冲视频数据的时间与编码视频数据的方式之间的折衷。即，客户端装置可需要已使用可变位速率编码的视频数据比已使用恒定位速率编码的视频数据长的缓冲持续时间。
然而，在给定平均速率的情况下，已使用可变位速率编码的视频数据的感知质量可高于已使用恒定位速率编码的视频数据。举例来说，在视频译码中，视频数据的一些帧(即，帧内预测模式编码的帧或I帧)独立译码，而不参考视频数据的其它帧。为利用帧之间的时间冗余，其它帧(即，帧间预测模式编码的帧，例如P和B帧)相对于先前译码帧(称为参考帧)译码。因此，已以较恒定速率译码的视频数据通常包含比已以较可变速率译码的视频数据多的I帧。因此，对于给定平均速率，可存在缓冲所显示的视频数据的感知质量所需要的持续时间之间的折衷。即，对于展现较高所感知质量的已使用可变位速率译码的视频数据比对于展现较低所感知质量的已使用较恒定位速率译码的视频数据需要更多缓冲时间。
本发明的技术可包含提供多个表示，但所述表示的每一者具有不同相关联缓冲持续时间。因此，客户端装置可拾取具有适宜位速率的表示，以及具有适宜缓冲时间的表示。在一实例中，客户端装置可初始选择具有特定位速率和相对较短缓冲时间(但相对较低质量)的表示，缓冲所述表示的数据，接着切换到相同位速率但具有相对较长缓冲时间(例如，具有相对较高质量)的表示。虽然以上实例包含具有相同位速率的两个表示，但如下文更详细描述，在其它实例中，所述表示可具有不同位速率(除了不同缓冲时间外)。
客户端装置切换到另一表示的点可称为“切换点”。即，如下文更详细描述，客户端装置可在所谓的关键帧切换到一表示。大体来说，关键帧是表示的帧内译码帧，客户端装置可在不存取表示的较早数据(如果表示中的数据呈解码次序)的情况下在其处开始解码所述表示。虽然客户端装置通常在关键帧处切换到一表示，但客户端装置可在表示中的任一点从一表示切换。举例来说，客户端装置可在第一表示中的任一点从第一表示切换到第二表示，条件是客户端装置在关键帧处切换到第二表示。
在一些实例中，客户端装置可在缓冲近似等于或大于较长缓冲持续时间的来自初始表示的数据量之后切换到具有所述较长缓冲持续时间的表示。根据本发明的一些方面，客户端装置可基于缓冲器的状态动态地确定何时从具有较短缓冲持续时间的表示切换到具有较长缓冲持续时间的表示。因此，从具有较短缓冲持续时间的表示到具有较长缓冲持续时间的表示的转变可取决于网络条件。即，如果客户端装置的缓冲器相对快速填充(例如，以相对高的下载数据速率)，那么客户端装置可能够比客户端装置的缓冲器相对缓慢填充更快地切换到具有较长缓冲持续时间的表示。此外，客户端装置可在正检索其它数据时正播放来自缓冲器的数据。因此，客户端装置可基于下载数据速率与重放数据速率相比的相对速度而确定何时切换表示。
在一实例中，服务器可在给定位速率下提供多个表示。第一表示可为相对较低质量，但可具有一秒相关联缓冲持续时间。第二表示可为相对较高质量，但可具有10秒相关联缓冲持续时间。起初，客户端装置可请求第一表示。在缓冲第一表示的特定量的数据(例如，10秒数据(依据重放时间))之后，客户端装置可切换到较高质量的第二表示(例如，具有相对较长缓冲持续时间)。以此方式，客户端装置可使用第一表示提供较快重放，而且在实现特定量的所缓冲数据之后切换到相对较高质量表示。在稳定网络条件下，所描述的实例可在不暂停或再缓冲的情况下显示内容，而不管缓冲条件如何变化(例如，10秒)。
此外，本发明的技术可以多种方式使用以经由网络串流改进视频数据的检索。在一些实例中，两个或两个以上表示可具有相同位速率但不同切换点频率(在此实例中称为目标表示群组)。客户端装置可初始以不同位速率开始检索不同表示的数据，但在某一点确定网络带宽可用性已改变。因此，客户端装置可切换到目标表示群组，且特定来说检索所述目标表示群组中具有较高切换点频率的一者的数据。在缓冲此表示的足够量的数据之后，客户端装置可切换到所述目标表示群组中具有较低切换点频率的另一者。举例来说，假定客户端装置初始检索来自具有10Mbps位速率的表示的数据。在某一点，客户端装置确定网络带宽已减小，因此客户端装置检索具有较低位速率(例如，5Mbps)的表示的集合。特定来说，客户端装置识别表示的集合，其包含具有每隔半秒(依据重放时间)的切换点的一个表示以及具有每隔5秒的切换点的另一表示。客户端装置可初始从具有每隔半秒的切换点的5Mbps表示检索数据，且缓冲来自此表示(再次，依据重放时间)的数据的至少5秒。接着，客户端装置可开始从具有每隔5秒的切换点的5Mbps表示检索数据。在此切换期间，客户端装置应具有来自半秒切换点频率表示的足够的经缓冲数据以避免缓冲器下溢，同时还避免需要同时执行两个解码器(这可消耗过量电池和处理功率)。客户端装置可类似地经配置以在确定网络带宽已增加后即刻切换到较高位速率表示的集合。在以上实例中，客户端装置转变到具有相同位速率(例如，5Mbps)但具有不同切换点频率的表示。在其它实例中，且如下文更详细描述，客户端装置可转变到具有不同位速率且还具有不同切换点频率的表示。举例来说，客户端装置可切换到具有相对较低位速率但具有较高感知质量(归因于切换点中减小的频率)的表示。在一些实例中，如下文更详细描述，客户端装置还可基于已存储到客户端装置的缓冲器的数据量选择待切换到的表示。
图1是说明实施用于经由网络串流媒体数据的技术的实例系统10的框图。在此实例中，系统10包含内容准备装置20、服务器装置60和客户端装置40。客户端装置40和服务器装置60通过网络74以通信方式耦合，网络74可包括因特网。在一些实例中，内容准备装置20和服务器装置60还可通过网络74或另一网络耦合，或可直接以通信方式耦合。在一些实例中，内容准备装置20和服务器装置60可包括相同装置。
在图1的实例中，内容准备装置20包括音频源22和视频源24。音频源22可包括(例如)麦克风，其产生表示待由音频编码器26编码的所俘获音频数据的电信号。或者，音频源22可包括存储先前记录的音频数据的存储媒体、例如计算机化合成器等音频数据产生器，或任何其它音频数据源。视频源24可包括产生待由视频编码器28编码的视频数据的视频相机、编码有先前记录的视频数据的存储媒体、视频数据产生单元(例如，计算机图形源)或任何其它视频数据源。内容准备装置20不一定在所有实例中以通信方式耦合到服务器装置60，而是可将多媒体内容存储到由服务器装置60读取的单独媒体。
原始音频和视频数据可包括模拟或数字数据。模拟数据可在由音频编码器26和/或视频编码器28编码之前经数字化。音频源22可在发言参与者发言的同时从所述发言参与者获得音频数据，且视频源24可同时获得发言参与者的视频数据。在其它实例中，音频源22可包括包含所存储的音频数据的计算机可读存储媒体，且视频源24可包括包含所存储的视频数据的计算机可读存储媒体。以此方式，本发明中所描述的技术可应用于实况串流实时音频和视频数据或应用于归档的预先记录的音频和视频数据。
对应于视频帧的音频帧通常为含有与由视频源24俘获的含于视频帧内的视频数据同时由音频源22俘获的音频数据的音频帧。举例来说，在发言参与者通常通过发言而产生音频数据的同时，音频源22俘获音频数据，且视频源24同时(即，在音频源22正俘获音频数据的同时)俘获发言参与者的视频数据。因此，音频帧可在时间上对应于一个或一个以上特定视频帧。因此，对应于视频帧的音频帧通常对应于其中音频数据和视频数据被同时俘获且音频帧和视频帧分别包括同时被俘获的音频数据和视频数据的情形。
在一些实例中，音频编码器26可在每一经编码音频帧中编码时间戳，所述时间戳表示记录经编码音频帧的音频数据的时间，且类似地，视频编码器28可在每一经编码视频帧中编码时间戳，所述时间戳表示记录经编码视频帧的视频数据的时间。在此类实例中，对应于视频帧的音频帧可包括包含时间戳的音频帧和包括相同时间戳的视频帧。内容准备装置20可包含内部时钟，音频编码器26和/或视频编码器28可从所述内部时钟产生时间戳，或音频源22和视频源24可使用所述内部时钟来分别使音频数据和视频数据与时间戳相关联。
在一些实例中，音频源22可对应于记录音频数据的时间而将数据发送到音频编码器26，且视频源24可对应于记录视频数据的时间而将数据发送到视频编码器28。在一些实例中，音频编码器26可在经编码音频数据中编码序列识别符以指示经编码音频数据的相对时间定序，而无需指示记录音频数据的绝对时间，且类似地，视频编码器28也可使用序列识别符来指示经编码视频数据的相对时间定序。类似地，在一些实例中，序列识别符可与时间戳映射或以其它方式与所述时间戳相关。
音频编码器26通常产生经编码音频数据流，而视频编码器28产生经编码视频数据流。每一个别数据流(无论是音频还是视频)可被称为基本流。基本流为表示的单一经数字译码(可能经压缩)的分量。举例来说，表示的经译码视频或音频部分可为基本流。示范性基本流可在囊封在视频文件内之前转换成包化基本流(PES)。在同一表示内，流ID用以区分属于一个基本流的PES包与其它包。基本流的数据的基本单位为包化基本流(PES)包。以你，经译码视频数据通常对应于基本视频流。类似地，音频数据对应于一个或一个以上相应基本流。
与许多视频译码标准一样，H.264/AVC定义无错误位流的语法、语义和解码过程，其中的每一者符合特定简档或层。H.264/AVC不指定编码器，但编码器的任务是保证对于解码器来说所产生的位流为符合标准的。在视频译码标准的情形下，“简档”对应于算法、特征或工具的子集和施加到其的约束。举例来说，如由H.264标准所定义，“简档”为由H.264标准指定的整个位流语法的子集。“层”对应于与图片的分辨率、位速率和宏块(MB)处理速率有关的解码器资源消耗的限制，例如解码器存储器和计算。简档可以profile_idc(简档指示符)值发信号通知，而层可以level_idc(层指示符)值发信号通知。
举例来说，H.264标准认识到，在由给定简档的语法强加的界限内，依据由位流中的语法元素所采用的值(例如，经解码的图片的指定大小)，仍有可能需要编码器和解码器的性能的大变化。H.264标准进一步认识到，在许多应用中，实施能够处理特定简档内的语法的所有假定用途的解码器既不实用也不经济。因此，H.264标准将“层”定义为对位流中的语法元素的值所强加的约束的指定集合。这些约束可为对值的简单限制。或者，这些约束可采用对值的算术组合(例如，图片宽度乘以图片高度乘以每秒所解码的图片的数目)的约束的形式。H.264标准进一步规定，个别实施方案可支持每一所支持的简档的不同层。
符合简档的解码器通常支持所述简档中所定义的所有特征。举例来说，作为译码特征，B图片译码在H.264/AVC的基线简档中未被支持，但在H.264/AVC的其它简档中得以支持。符合层的解码器应能够解码不需要超出所述层中所定义的限制的资源的任何位流。简档和层的定义可帮助实现可解译性。举例来说，在视频发射期间，针对整个发射会话的一对简档和层定义可经协商并实现一致。更具体来说，在H.264/AVC中，层可定义(例如)对以下各项的限制：需要经处理的宏块的数目、经解码的图片缓冲器(DPB)大小、经译码的图片缓冲器(CPB)大小、垂直运动向量范围、每两个连续MB的运动向量的最大数目，以及B块是否可具有小于8×8像素的子宏块分割区。以此方式，解码器可确定所述解码器是否能够适当地解码位流。
例如ITU-T H.261、H.262、H.263、MPEG-1、MPEG-2、H.264/MPEG-4第10部分和即将到来的高效视频译码(HEVC)标准等视频压缩标准利用运动补偿时间预测来减少时间冗余。编码器(例如，视频编码器28)可使用根据一些先前编码的图片(本文中也称为帧)的运动补偿预测来根据运动向量预测当前译码的图片。典型的视频译码中存在三种主要图片类型。其为帧内译码图片(“I图片”或“I帧”)、预测的图片(“P图片”或“P帧”)和双向预测图片(“B图片”或“B帧”)。P图片按时间次序仅使用在当前图片之前的参考图片。在B图片中，B图片的每一块可从一个或两个参考图片预测。这些参考图片可按时间次序位于当前图片之前或之后。
参数集通常含有序列参数集(SPS)中的序列层标头信息和图片参数集(PPS)中的不经常改变的图片层标头信息。在参数集的情况下，不需要针对每一序列或图片重复此不经常改变的信息；因此，可改进译码效率。此外，参数集的使用可实现标头信息的带外发射，从而避免需要冗余发射以实现错误恢复。在带外发射中，参数集NAL单元在与其它NAL单元不同的信道上发射。
在图1的实例中，内容准备装置20的囊封单元30接收包括来自视频编码器28的经译码视频数据的基本流以及包括来自音频编码器26的经译码音频数据的基本流。在一些实例中，视频编码器28和音频编码器26可各自包含用于由经编码数据形成PES包的包化器。在其它实例中，视频编码器28和音频编码器26可各自与用于由经编码数据形成PES包的相应包化器介接。在另外其它实例中，囊封单元30可包含用于由经编码音频和视频数据形成PES包的包化器。
视频编码器28可以多种方式编码多媒体内容的视频数据，以产生各种位速率下且具有各种特性(例如，像素分辨率、帧速率、对各种译码标准的遵从、对各种译码标准的各种简单和/或简档的层的遵从、具有一个或多个视图(例如，针对二维或三维重放)的表示，或其它此类特性)的多媒体内容的不同表示。如本发明中使用的表示可包括音频数据和视频数据的组合，例如一个或一个以上音频基本流和一个或一个以上视频基本流。每一PES包可包含识别PES包所属于的基本流的stream_id。囊封单元30负责将基本流组合到各个表示的视频文件中。
囊封单元30从音频编码器26和视频编码器28接收表示的基本流的PES包且由所述PES包形成对应的网络抽象层(NAL)单元。在H.264/AVC(先进视频译码)的实例中，经译码视频片段组织为NAL单元，其提供例如视频电话、存储、广播或串流等“网络友好”视频表示寻址应用。NAL单元可分类为视频译码层(VCL)NAL单元和非VCL NAL单元。VCL单元可含有核心压缩引擎且可包含块、宏块和/或片段层数据。其它NAL单元可为非VCL NAL单元。在一些实例中，在一个时刻通常呈现为主要经译码图片的经译码图片可包含在存取单元中，存取单元可包含一个或一个以上NAL单元。
非VCL NAL单元可包含参数集NAL单元和SEI NAL单元(以及其它)。参数集可含有序列层标头信息(在序列参数集(SPS)中)以及不经常改变的图片层标头信息(在图片参数集(PPS)中)。在参数集(例如，PPS和SPS)的情况下，不需要针对每一序列或图片重复不经常改变的信息，因此可改进译码效率。此外，参数集的使用可实现重要标头信息的带外发射，从而避免需要冗余发射以实现错误恢复。在带外发射实例中，参数集NAL单元在与其它NAL单元(例如，SEI NAL单元)不同的信道上发射。
补充增强信息(SEI)可含有对于解码来自VCL NAL单元的经译码图片不必要但可辅助与解码、显示、错误恢复和其它目的相关的过程的信息。SEI消息可包含在非VCL NAL单元中。SEI消息是一些标准规格的规范部分，且因此对于标准兼容解码器实施方案并不始终强制。SEI消息可为序列层SEI消息或图片层SEI消息。一些序列层信息可包含在SEI消息中，例如SVC的实例中的可缩放性信息SEI消息和MVC中的视图可缩放性信息SEI消息。这些实例SEI消息可传达关于例如操作点的提取和操作点的特性的信息。另外，囊封单元30可形成清单文件，例如描述表示的特性的媒体呈现描述符(MPD)。囊封单元30可根据可扩展标识语言(XML)将MPD格式化。
囊封单元30可将多媒体内容的一个或一个以上表示的数据连同清单文件(例如，MPD)提供到输出接口32。输出接口32可包括网络接口或用于向存储媒体写入的接口，例如通用串行总线(USB)接口、CD或DVD写入器或燃烧器、到磁性或快闪存储媒体的接口，或用于存储或发射媒体数据的其它接口。囊封单元30可将多媒体内容的表示的每一者的数据提供到输出接口32，输出接口32可将数据经由网络发射或存储媒体发送到服务器装置60。在图1的实例中，服务器装置60包含存储各种多媒体内容64的存储媒体62，每一多媒体内容64包含相应的清单文件66和一个或一个以上表示68A-68N(表示68)。根据本发明的技术，清单文件66的部分可存储在网络74的可能另一装置(例如，代理装置)的单独位置中，例如存储媒体62或另一存储媒体的位置中。
在一些实例中，表示68可划分为调适集合。在一些例子中，调适集合也可称为“表示群组”。即，表示68的各个子集可包含特性的相应共同集合，例如编解码器、简档和层、分辨率、视图数目、片段的文件格式、可识别待与表示一起显示的文本和/或待例如由扬声器解码和呈现的音频数据的语言或其它特性的文本类型信息、可描述调适集合中的表示的场景的相机角度或真实世界相机视角的相机角度信息、描述对于特定观众的内容适宜性的分级信息等。
清单文件66可包含指示对应于特定调适集合的表示68的子集的数据，以及调适集合的共同特性。清单文件66还可包含表示调适集合的个别表示的个别特性(例如，位速率)的数据。以此方式，调适集合可提供简化的网络带宽调适。调适集合中的表示可使用清单文件66的调适集合元素的子元素指示。
服务器装置60包含请求处理单元70和网络接口72。在一些实例中，服务器装置60可包含多个网络接口。此外，服务器装置60的任何或所有特征可实施在内容递送网络的其它装置上，例如路由器、桥接器、代理装置、交换机或其它装置。在一些实例中，内容递送网络的中间装置可高速缓存多媒体内容64的数据，且包含大体符合服务器装置60的组件的组件。一股来说，网络接口72经配置以经由网络74发送和接收数据。
请求处理单元70经配置以从例如客户端装置40等客户端装置接收对于存储媒体72的数据的网络请求。举例来说，请求处理单元70可实施超文本传送协议(HTTP)版本1.1，如R.费尔丁(R.Fielding)等人在RFC2616中的“超文本传送协议-HTTP/1.1”(网络工作组，IETF，1999年6月)中描述。即，请求处理单元70可经配置以接收HTTP GET或部分GET请求且响应于所述请求提供多媒体内容64的数据。所述请求可指定表示68的一者的片段，例如使用所述片段的URL。在一些实例中，所述请求还可指定片段的一个或一个以上字节范围，因此包括部分GET请求。请求处理单元70可进一步经配置以服务于HTTP HEAD请求以提供表示68的一者的片段的标头数据。在任何情况下，请求处理单元70可经配置以处理所述请求以将所请求数据提供到发出请求的装置，例如客户端装置40。
如图1的实例中说明，多媒体内容64包含清单文件66，其可对应于媒体呈现描述(MPD)。清单文件66可含有不同替代表示68(例如，具有不同质量的视频服务)的描述，且所述描述可包含例如编解码器信息、简档值、层值、位速率和表示68的其它描述性特性。客户端装置40可检索媒体呈现的MPD以确定如何存取表示68的片段。
特定来说，网络应用52可检索客户端装置40的配置数据(未图示)以确定视频解码器48的解码能力和视频输出44的再现能力。配置数据还可包含客户端装置40的用户选择的语言偏好、对应于客户端装置40的用户设定的深度偏好的一个或一个以上相机视角，和/或客户端装置40的用户选择的分级偏好中的任一者或全部。网络应用52可包括例如经配置以提交HTTP GET和部分GET请求的网络浏览器或媒体客户端。网络应用52可对应于由客户端装置40的一个或一个以上处理器或处理单元(未图示)执行的软件指令。在一些实例中，相对于网络应用52描述的功能性的全部或部分可实施在硬件或硬件、软件和/或固件的组合中，其中可提供必需的硬件来执行软件或固件的指令。
网络应用52可将客户端装置40的解码和再现能力与清单文件66的信息指示的表示68的特性比较。网络应用52可初始检索清单文件66的至少一部分以确定表示68的特性。举例来说，网络应用52可根据本发明的技术请求描述一个或一个以上调适集合的特性的清单文件66的一部分。网络应用52可选择具有可由客户端装置40的译码和再现能力满足的特性的表示68的子集(例如，调适集合)。网络应用52可接着确定调适集合中的表示的位速率，确定网络带宽的当前可用量，且检索来自具有可由网络带宽可满足的位速率的表示的一者的片段。
一股来说，较高位速率表示可产生较高质量视频重放，而当可用网络带宽减小时较低位速率表示可提供足够质量视频重放。因此，当可用网络带宽相对高时，网络应用52可从相对高位速率表示检索数据，而当可用网络带宽为低时，网络应用52可从相对低位速率表示检索数据。以此方式，客户端装置40可经由网络74串流多媒体数据，同时还根据网络74的改变的网络带宽可用性进行调适。
如上所述，本发明的方面大体针对当初始检索多媒体内容时以及当执行带宽调适时改进用户体验。在一些实例中，例如客户端装置40等客户端装置可初始选择具有特定位速率和相对短的缓冲持续时间(例如，但相对较低质量)的表示68，缓冲所述表示的数据，接着切换到相同位速率但具有相对较长缓冲持续时间(例如，具有相对较高质量)的表示。虽然本文可将表示之间的切换描述为由客户端装置40实行，但应理解，由客户端装置40执行的应用(例如，网络应用52)也可作出此确定。
客户端装置40可在关键帧处在表示68之间切换。举例来说，关键帧是表示68的帧，客户端装置可在不存取表示68的较早数据的情况下在其处开始解码表示68。因此，关键帧编码为I帧。客户端装置40可通过检索数据直到表示68待切换到的关键帧的时间位置接着在表示68待切换到的关键帧处开始检索数据而从一个表示68切换到另一表示。关键帧可因此称为表示的切换点，或简称为切换点。
如上所述，客户端装置40不需要在关键帧处从表示68切换。举例来说，在某些例子中，客户端装置可在表示68的切换点之间从表示68切换。在此类例子中，客户端装置40可检索必需的表示68的更多部分。即，客户端装置40可从表示68检索数据，直到切换点，但在到达切换点之前切换到另一表示。在此类例子中，客户端装置40可不重放从切换自的表示检索的额外数据(其可称为重叠)。
作为替代，为减少重叠，客户端装置40可仅从表示68检索数据直到允许重放的点，直到将针对客户端装置40切换到的表示开始重放的时间为止。因此，客户端装置40可不需要下载所有数据直到表示68中的下一切换点，以实现从表示68到另一表示的无缝切换。举例来说，假定表示68中的帧的序列为IPBBPBBPBBPBBBBI且这些帧将以次序IBBPBBPBBPBBPBBI重放。在此实例中，在帧1和16处存在切换点。进一步假定，切换到表示的切换点在待重放的表示68的第10帧的呈现时间(即，当此重放序列中的第三P帧将重放时)，且因此此第三P帧和所有后续帧将不重放。客户端装置40可接着从表示68下载IPBBPBBPBB帧，且因此能够重放来自表示68的IBBPBBPBBP。然而，重放次序中这10个帧的仅前9个实际上在从表示68到切换至表示的无缝切换期间重放。在此实例中，从表示68下载的未重放的数据(即，重叠中的数据)是第三P帧，且因此客户端装置40不必下载表示68中的帧16处的下一切换点之前的最后5个帧以便实现无缝切换。
一股来说，给定表示68中的切换点的数目与表示68的缓冲持续时间可具有反向关系。即，具有相对少的切换点的表示68可具有长缓冲持续时间。相反，具有相对多的切换点的表示68可具有相对短的缓冲持续时间。
尽管较频繁切换点允许客户端装置40较频繁地在表示68之间切换，但关键帧不利用与P或B帧一样多的冗余，且因此通常消耗比P或B帧多的译码位。然而，当在表示68中提供较不频繁的切换点时，试图解码表示68的客户端装置40可需要等待较长时间周期才接收下一关键帧，这可致使用户体验变差(例如，归因于初始或在表示68之间的切换之后表示68的重放延迟开始)。因此，通常作出关于在多媒体内容的表示68中包含切换点的频繁程度的策略性决策。
术语“频率”当描述切换点的位置时指代切换点之间的间隔，其可描述表示68中的切换点之间的时间距离。虽然频率可相对稳定，但在一些实例中切换点之间的时间距离可在切换点之间变化特定幅度。
在一些实例中，本发明的技术涉及将指示多媒体内容的各个表示68的切换点之间的距离的信息从服务器装置60提供到客户端装置40。举例来说，如下文参看图2更详细描述，服务器装置60可在清单文件/MPD内将指示每一表示的切换点之间的间隔的信息(例如，表示内的切换点频率)提供到客户端装置40。客户端装置40可使用此信息初始选择具有相对频繁切换点(但相对较低质量)的表示68，缓冲表示68的数据，接着在较高质量表示68的将来切换点处切换到具有相对较高质量的表示68。
在一些实例中，服务器装置60可向表示68的群组指派相同位速率，但向群组中的表示68指派切换点的不同频率。因为使用相对较多位来编码切换点(归因于切换点正译码为I帧)，所以具有较频繁切换点的表示68将趋向于具有相对较低质量，但允许客户端装置在平均情况下较快地开始重放。因此，使用指示表示68的切换点之间的距离的信息，客户端装置40可初始从具有相对较频繁切换点的表示68检索并缓冲数据。在缓冲来自初始表示的足够数据以避免重放中的空白之后，客户端装置40可在具有较不频繁切换点但相对较高质量的不同表示68的切换点处开始，开始请求并缓冲数据。
尽管以上实例描述具有相同位速率的一组表示68，但这些技术也可应用于具有不同位速率的表示68的群组。举例来说，客户端装置40可例如在500Kbps下利用各1秒的切换点开始请求并缓冲具有初始位速率的表示68的数据。在缓冲来自初始表示的足够数据以避免重放中的空白之后，客户端装置40可例如在400Kbps下利用各5秒的切换点切换到与初始位速率相比具有相对较低位速率但具有相同或较高感知质量(例如，归因于切换点的频率的减小)的表示68。
在一实例中，在重放开始期间(或探寻之后)，客户端装置40可例如在500Kbps下利用各1秒的切换点选择具有相对高频率的切换点的初始表示68。在缓冲初始表示68的至少一些之后，客户端装置40可例如在450Kbps下利用各3秒的切换点转变到较高效译码(其可产生增加的感知质量)的具有较低频率的切换点的表示68。
在一些实例中，客户端装置40可基于已缓冲的数据量选择表示68。举例来说，一股来说，当客户端装置40的缓冲器几乎为空时，客户端装置40可切换到具有相对频繁切换点的表示68以允许到表示68的无缝转变。即，当客户端装置40的缓冲器为空时客户端装置40可需要相对增加的机会来切换表示68以避免重放的中断(例如，再缓冲)。相比之下，在缓冲器已至少部分填充时，客户端装置40可切换到较高效译码(其可产生增加的感知质量)的具有相对较少切换点的表示68。
此外，因为缓冲器较满且暂停或再缓冲事件的风险较小，所以到表示68的转变的位速率可为较高位速率，这允许归因于较高效视频编码(因为存在较少切换点)且归因于较高位速率的增加的重放质量。即，当缓冲器相对满时客户端装置40可需要较少机会切换表示68，因为填满的缓冲器减小重放中断的风险。
因此，当选择具有较不频繁切换点的表示68时，所选表示可处于较低位速率且相同或较好质量，因此减少需要重放的数据量并维持高质量重放。所选表示还可处于相等或较高位速率以及更好质量，因此提供更高质量重放体验。因此，客户端装置40可能够检索具有较不频繁切换点的表示68，借此以相同或较低位成本检索具有较好感知质量的内容，或以较高位成本检索具有更好质量的内容，但在所有情况下引起重放暂停或再缓冲事件的概率均最小。
然而，在一些例子中，客户端装置40可用的带宽量可实质上增加。在此类例子中，客户端装置40可开始检索具有相对高频率的切换点的具有较高位速率的表示68。高频率的切换点可提供切换到较高位速率表示的增加的机会，借此允许客户端装置40利用增加的带宽来更快地改进用户的体验。
根据一些方面，调适集合的表示68可针对每一连续位速率表示在具有相对频繁切换点的表示68与具有相对不频繁切换点的表示68之间交替。举例来说，可存在处于300Kbps、500Kbps、800Kbps、1300Kbps、2100Kbps和3400Kbps的具有1秒、3秒、1秒、3秒、1秒和3秒的相应切换点频率的表示。在此类实例中，客户端装置40可基于可用带宽(例如，下载速度)的改变和客户端装置40的缓冲器的状态(例如，缓冲器相对较满还是较空)两者从调适集合选择表示68。举例来说，如果缓冲器相对接近空且/或可用的带宽量急剧减小，那么客户端装置40可选择具有相对频繁切换点的具有相对较低位速率的表示。
然而，如果缓冲器接近满且/或不存在可用带宽的急剧减小，那么客户端装置40可选择具有相对低频率切换点的具有较低位速率的表示。提供具有较低和较高频率切换点的混合的调适集合的表示的此选择可在一些情况下提供视频编码效率(较不频繁切换点)与对网络条件的改变的反应时间(较频繁切换点)之间的良好平衡。
在另一实例中，根据本发明的方面，具有相对较低位速率的表示68可具有相对频繁切换点，而具有相对较高位速率的表示可具有较不频繁切换点。举例来说，可存在处于300Kbps、500Kbps、800Kbps、1300Kbps、2100Kbps和3400Kbps的具有1秒、1秒、1秒、3秒、3秒和3秒的相应切换点频率的表示。在此类实例中，客户端装置40可选择具有低位速率的表示68来开始(例如，基于带宽条件可用的速率以下)且例如在填充缓冲器之后快速移动到较高位速率表示68。客户端装置40可继续检索具有较高位速率的表示68以实现高质量重放同时改良暂停或再缓冲的风险(只要缓冲器相对较满)。提供针对较低位速率具有较低频率切换点以及针对较高切换点具有较高频率切换点的调适集合的表示的此选择可在缓冲器相对满时(在网络条件通常良好的情况下其可为大部分时间)提供高质量视频编码效率，同时具有对网络条件的快速恶化作出反应的合理策略(针对较低位速率表示的较频繁切换点允许当条件恶化时到这些表示的切换)。
客户端装置40可在客户端装置40的缓冲器不满时选择具有实质上在可用下载速率以下的位速率的表示68，借此减小暂停或再缓冲的概率。当缓冲器填满时，客户端装置40可开始检索具有接近下载速率的位速率的表示68。因此，客户端装置40可选择具有较少切换点以及减小的暂停或再缓冲概率的具有较高位速率的表示，因为如果下载速率减小，那么客户端装置40具有切换到较低位速率表示68的足够的机会(归因于缓冲器中的数据量)。另外，当下载速率减小且客户端装置40切换到具有较低位速率的表示68时，具有较低位速率的表示68还具有较频繁切换点。因此，客户端装置40可相对快速切换到较低位速率表示68，这进一步提供当下载速率降低时对暂停或再缓冲的防范。
在替代实例中，根据本发明的方面，具有相对较低位速率的表示68可具有相对不太频繁切换点，而具有相对较高位速率的表示可具有较频繁切换点。在此实例中，以相对较低位速率译码的表示68可与以较高位速率译码的具有较频繁切换点的表示68相比质量变差。因此，客户端装置40可初始选择具有相对低位速率的表示68，但在缓冲器快速填充的情况下可切换到具有较高位速率的表示68(在较高位速率表示68的切换点，其不可与较低位速率表示的切换点重合)。
在一些实例中，代替于初始基于表示68的位速率和可用带宽量选择表示，客户端装置40可经配置以初始基于切换点的频率选择表示68，只要选定表示68的位速率不超过当前可用带宽即可。在缓冲初始选择的表示68的足够数据之后，客户端装置40可开始请求来自较高位速率表示68的数据，较高位速率表示68可具有不如初始选择的表示68频繁的切换点。
在特定实例中，服务器装置60可以切换点之间相对长的时间周期(例如，10秒的重放时间)广播多媒体内容的表示68。客户端装置40可经配置以初始请求具有相对较频繁切换点的多媒体内容的不同表示68的单播，接着在缓冲单播表示68的足够数据之后切换到广播。类似地，如果广播的接收中断，那么客户端装置40可再次使用单播开始检索另一表示，且在缓冲单播表示68的足够量数据之后切换回到广播。
在另一实例中，两个或两个以上表示可具有相同位速率但不同切换点频率(在此实例中称为目标表示群组，其可包含在调适集合中)。客户端装置40可初始在特定位速率下开始检索特定表示的数据，但在某一点确定网络带宽可用性已改变。因此，客户端装置40可切换到目标表示群组(例如，具有相同或近似相同位速率但具有切换点之间的不同时间间隔的表示的调适集合)，且特定来说检索具有较高频率的切换点的目标表示群组的一者的数据。在缓冲此表示的足够量的数据之后，客户端装置40可切换到目标表示群组的具有较低频率的切换点的另一者。
举例来说，假定客户端装置40初始检索来自具有位速率10Mbps的表示的数据。在某一点，客户端装置40确定网络带宽已减小，因此客户端装置40确定具有较低位速率(例如，5Mbps)的表示的集合(例如，调适集合)。特定来说，客户端装置40可确定表示的集合包含具有每隔半秒(依据重放时间)的切换点的一个表示以及具有每隔5秒的切换点的另一表示。客户端装置40可初始检索来自具有每隔半秒切换点的5Mbps表示的数据，且缓冲来自此表示的数据的至少5秒(再次，依据重放时间)。接着，客户端装置40可开始检索来自具有每隔5秒切换点的5Mbps表示的数据。在此切换期间，客户端装置40应具有来自半秒切换点频率表示的足够的经缓冲数据以避免缓冲器下溢，同时还避免需要同时执行两个解码器(这可消耗过量电池和处理功率)。客户端装置40可类似地经配置以在确定网络带宽已增加后即刻切换到较高位速率表示的集合。
服务器装置60可经配置以使表示68上的切换点在时间上对准。即，对于具有不同频率的切换点的两个表示68，具有较低频率的切换点的表示68的切换点与具有较高频率的切换点的表示68的切换点在相同时间位置(重放期间)发生。以此方式，客户端装置可经配置以缓冲具有较高频率切换点的表示68的完全片段的数据，且在所述片段之后切换到具有较低频率切换点的表示68。因此，客户端装置40可避免在表示68之间切换时检索和解码来自不同表示68的重叠数据。然而，如上所述，客户端装置40不需要在切换点从特定表示68切换。另外，虽然切换点的时间对准可有助于避免检索重叠数据，但切换点不需要时间上对准以执行本发明的技术。
在一些实例中，客户端装置40可维持指示客户端装置40向其请求多媒体内容64的数据的特定表示68的数据结构。客户端装置40还可维持实际上播放什么内容以及在什么时间播放的指示。即，数据结构可在实时(或“壁钟”)时间和呈现时间两者提供表示开始和结束时间的信息。数据结构可进一步提供表示初始开始时间和重放的开始的信息。在完成多媒体内容64的重放之后，客户端装置40可将数据结构发送到服务器装置60和/或内容准备装置20。服务器装置60和/或内容准备装置20可使用从客户端装置40接收的信息来确定改进体验质量(例如，减少重放中的暂停)的更优方式。
网络接口54可接收选定表示的片段的数据并将其提供到网络应用52，网络应用52又可将片段提供到解封单元50。解封单元50可将视频文件的元素解封为组成的PES流，将PES流解包以检索经编码数据，且将经编码数据发送到音频解码器46或视频解码器48，这取决于经编码数据是音频流还是视频流的一部分(例如，流的PES包标头所指示)。音频解码器46解码经编码音频数据且将经解码音频数据发送到音频输出42，而视频解码器48解码经编码视频数据且将可包含流的多个视图的经解码视频数据发送到视频输出44。
视频编码器28、视频解码器48、音频编码器26、音频解码器46、囊封单元30、网络应用52和解封单元50各自可视需要实施为多种适宜的处理电路的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器28和视频解码器48的每一者可包含在一个或一个以上编码器或解码器中，其任一者可集成作为组合式视频编码器/解码器(CODEC)的一部分。同样，音频编码器26和音频解码器46的每一者可包含在一个或一个以上编码器或解码器中，其任一者可集成作为组合式CODEC的一部分。包含视频编码器28、视频解码器48、音频编码器26、音频解码器46、囊封单元30、网络应用52和/或解封单元50的设备可包括集成电路、微处理器和/或无线通信装置(例如，蜂窝式电话)。
图2是说明实例多媒体内容100的元素的概念图。多媒体内容100可对应于多媒体内容64(图1)，或存储在存储器62中的另一多媒体内容。在图2的实例中，多媒体内容100包含媒体呈现描述(MPD)102和多个表示110-120。表示110包含任选标头数据112和片段114A-114N(片段114)，而表示120包含任选标头数据122和片段124A-124N(片段124)。为方便起见，字母N用于指示表示110、120的每一者中的最后电影碎片。在一些实例中，可存在表示110、120之间的不同数目的电影碎片
MPD102可包括与表示110-120分离的数据结构。MPD102可对应于图1的清单文件66。同样，表示110-120可对应于图1的表示68。一股来说，MPD102可包含通常描述表示110-120的特性的数据，例如译码和再现特性、调适集合、MPD102对应于的简档、文本类型信息、相机角度信息、分级信息等。远程周期也可称为外部周期。下文更详细论述的图4-5说明具有包含在MPD和/或表示的任一者或两者中(例如在表示的片段或表示的标头数据内)的各种元素的多媒体内容的各个实例。
根据本发明的方面，举例来说，MPD102和/或标头数据112、122可包含指示表示110、120的切换点的频率(或间隔)的SP间隔信息104。即，SP间隔信息104可提供切换点(例如，也称为关键帧)在给定持续时间内发生的时间频率的指示。另外或作为替代，SP间隔信息104可提供持续时间或切换点之间的间隔的指示。图4-5的MPD的任一者或全部可大体对应于图2的MPD102。
标头数据112(当存在时)可描述片段114的特性，例如随机存取点的时间位置、片段114的哪一者包含随机存取点、到片段114内的随机存取点的字节偏移、片段114的统一资源定位符(URL)，或片段114的其它方面。标头数据122(当存在时)可描述片段124的类似特性。另外或作为替代，此类特性可完全包含在MPD102内。
片段114包含一个或一个以上经译码样本，其每一者可包含视频数据的帧或切片。片段114的经译码视频样本的每一者可具有类似特性，例如高度、宽度和带宽要求。此类特性可由MPD102的数据描述，但此类数据在图2的实例中未说明。MPD102可包含如3GPP规范描述的特性，其中添加了本发明中描述的所发信号通知信息的任一者或全部。
片段114、124的每一者可与唯一统一资源识别符(URI)(例如，统一资源定位符(URL))相关联。因此，片段114、124的每一者可使用例如DASH等串流网络协议独立检索。以此方式，例如客户端装置40等目的地装置可使用HTTP Get请求来检索片段114或124。在一些实例中，客户端装置40可使用HTTP部分Get请求来检索片段114或124的特定字节范围。
片段114、124可包含表示110、120的切换点。切换点可通常对应于随机存取点(RAP)。各个表示可包含不同间隔的切换点，例如在表示中以不同频率发生的RAP。举例来说，表示110的片段114的每一者可包含切换点，而表示120的片段124A、124C、124E等可包含切换点，但表示120的片段124B、124D等可能不包含切换点。
因此，在此实例中，客户端装置40可初始从表示110检索数据，接着在检索足够量的数据之后切换到表示120。举例来说，客户端装置40可检索表示110的片段114A和114B。在表示120的片段124A和124C包含随机存取点的情况下，客户端装置40可检索表示110的片段114A和114B，接着确定表示110的一定量的数据已被缓冲，其中短暂重放时间超过表示120的切换点之间的时间。因此。在检索表示110的片段114A和114B的数据之后，客户端装置40可检索片段124C的数据，片段124C在表示120中跟随在片段124B之后。
图3是说明可对应于表示的片段(例如，图2的片段114、124的一者)的实例视频文件150的元素的框图。片段114、124的每一者可包含大体遵循图3的实例中说明的数据的布置的数据。类似地，下文论述的图4-5的片段还可大体遵循视频文件150的结构。如上文描述，根据ISO基础媒体文件格式及其扩展的视频文件将数据存储在一系列对象(称为“框”)中。在图3的实例中，视频文件150包含文件类型(FTYP)框152、电影(MOOV)框154、电影碎片(MOOF)框162，和电影碎片随机存取(MFRA)框164。
文件类型(FTYP)框152通常描述视频文件150的文件类型。文件类型框152可包含识别描述视频文件150的最佳使用的规范的数据。文件类型框152可放置在MOOV框154、电影碎片框162和MFRA框164之前。
在一些实例中，例如视频文件150等片段可包含FTYP框152之前的MPD更新框(未图示)。MPD更新框可包含指示对应于包含视频文件150的表示的MPD将更新的信息，连同用于更新所述MPD的信息。举例来说，MPD更新框可提供待用于更新MPD的资源的URI或URL。作为另一实例，MPD更新框可包含用于更新MPD的数据。在一些实例中，MPD更新框可紧跟在视频文件150的片段类型(STYP)框(未图示)之后，其中STYP框可界定视频文件150的片段类型。下文更详细论述的图7提供关于MPD更新框的额外信息。
在图3的实例中，MOOV框154包含电影标头(MVHD)框156、轨道(TRAK)框158，以及一个或一个以上电影延伸(MVEX)框160。一股来说，MVHD框156可描述视频文件150的一股特性。举例来说，MVHD框156可包含描述视频文件150何时最初产生、视频文件150何时最后修改、视频文件150的时间尺度、视频文件150的重放持续时间或通常描述视频文件150的其它数据的数据。
TRAK框158可包含视频文件150的轨道的数据。TRAK框158可包含描述对应于TRAK框158的轨道的特性的轨道标头(TKHD)框。在一些实例中，TRAK框158可包含经译码视频图片，而在其它实例中，轨道的经译码视频图片可包含在电影碎片162中，电影碎片162可由TRAK框158的数据参考。
在一些实例中，视频文件150可包含一个以上轨道。因此，MOOV框154可包含等于视频文件150中的轨道数目的若干TRAK框。TRAK框158可描述视频文件150的对应轨道的特性。举例来说，TRAK框158可描述对应轨道的时间和/或空间信息。当囊封单元30(图1)包含视频文件(例如，视频文件150)中的参数集轨道时，类似于MOOV框154的TRAK框158的TRAK框可描述参数集轨道的特性。囊封单元30可发信号通知发信号通知在描述参数集轨道的TRAK框内存在参数集轨道中的序列层SEI消息。
MVEX框160可描述对应电影碎片162的特性，例如发信号通知视频文件150除包含在MOOV框154内的视频数据(如果有的话)外还包含电影碎片162。在串流视频数据的上下文中，经译码视频图片可包含在电影碎片162中而非MOOV框154中。因此，所有经译码视频样本可包含在电影碎片162中而非MOOV框154中。
MOOV框154可包含等于视频文件150中的电影碎片162数目的若干MVEX框160。MVEX框160的每一者可描述电影碎片162的对应一者的特性。举例来说，每一MVEX框可包含描述电影碎片162的对应一者的短暂持续时间的电影延伸标头框(MEHD)框。
如上所述，囊封单元30可将序列数据集存储在不包含实际经译码视频数据的视频样本中。视频样本可大体对应于存取单元，其是特定时刻经译码图片的表示。在AVC的上下文中，经译码图片包含含有用以构建存取单元的所有像素的信息的一个或一个以上VCL NAL单元，和其它相关联非VCL NAL单元(例如，SEI消息)。因此，囊封单元30可包含在电影碎片162的一者中的序列数据集，其可包含序列层SEI消息。囊封单元30可进一步发信号通知序列数据集和/或序列层SEI消息存在于MVEX框160的一者(对应于电影碎片162的一者)内的电影碎片162的所述一者内。
电影碎片162可包含一个或一个以上经译码视频图片。在一些实例中，电影碎片162可包含一个或一个以上图片群组(GOP)，其每一者可包含若干经译码视频图片，例如帧或图片。另外，如上所述，在一些实例中，电影碎片162可包含序列数据集。电影碎片162的每一者可包含电影碎片标头框(MFHD，图3未图示)。MFHD框可描述对应电影碎片的特性，例如电影碎片的序列号。电影碎片162可以序列号的次序包含在视频文件150中。
MFRA框164可描述视频文件150的电影碎片162内的随机存取点。在一些实例中，MFRA框164通常是任选的且不需要包含在视频文件中。同样，例如客户端装置40等客户端装置不一定需要参考MFRA框164来正确解码和显示视频文件150的视频数据。MFRA框164可包含等于视频文件150的轨道数目或在一些实例中等于视频文件150的媒体轨道(例如，非白人轨道)数目的若干轨道碎片随机存取(TFRA)框(未图示)。
在一些实例中，视频文件150可额外包含片段索引(SIDX)框(在此实例中未图示)。SIDX框可在视频文件150开始时或附近发生，且可提供视频文件150的RAP的位置(例如，开始字节和长度或字节范围)的指示。或者，表示可在所述表示的标头信息中包含SIDX框，例如包标头数据112、122(图2)。在一些实例中，客户端装置40可经配置以基于表示的一个或一个以上SIDX框提供的信息隐含地确定包含视频文件150的表示的切换点之间的频率(或间隔)。举例来说，通过确定表示的SIDX框的RAP的位置，且通过确定RAP的相关联定时信息，客户端装置40可确定表示的RAP之间的相对时间间隔。作为又一实例，表示的SIDX框可提供表示的切换点之间的频率或间隔的明确指示。
图4是说明包含MPD202和调适集合210-220的实例多媒体内容200的概念图。多媒体内容200可对应于多媒体内容64(图1)，或存储在存储器62中的另一多媒体内容。在此实例中，多媒体内容200的表示通过调适集合布置。即，具有共同特性集合的表示可形成到调适集合中，其提供简化的网络带宽调适。
在此实例中，MPD202包含包括描述调适集合210的共同特性的信息的共同表示特性204A，以及描述调适集合210的共同特性的共同表示特性204B。共同特性可包含表示的译码和/或再现特性，例如编解码器、所述表示中的表示所符合的编解码器的简档和层、像素分辨率、帧速率，或表示的其它特性。
根据本发明的技术，所述特性可包含文本类型值、相机角度值，和/或分级值，以及上文论述的特性。文本类型值可描述待与视频数据一起显示的文本的特性(例如，隐藏式字幕文本)。文本类型值可描述例如文本的语言、显示文本的屏幕上的位置、文本的字体和/或大小，或文本的其它特性。
相机角度值可描述用于(实体上或概念上)产生对应表示的经译码视频数据的相机的真实世界水平相机位置。使用相机角度，客户端装置可从待大体同时显示的两个或两个以上表示选择数据，例如以产生三维视频重放效果。水平真实世界相机位置可使客户端装置能够选择表示以增加或减小视频数据的三维重放中的相对深度的量。
分级可描述针对特定观众的内容适宜性。举例来说，在美国，美国电影协会定义包含G、PG、PG-13、R和NC-17的分级。作为另一实例，在英国，英国电影分级委员会定义包含U、PG、12A、12、15、18和R18的分级。作为又一实例，在中国(台湾)，电影的分类包含一股观众类别、受保护类别、父母指导级观众类别和限制级类别。
通过提供相应调适集合(例如，调适集合210-220)的共同特性204，客户端装置(例如，客户端装置40)可至少部分基于对应的共同表示特性204选择调适集合210-220的适当一者。在图4的实例中，MPD202还包含分别对应于表示212A、212B、222A、222B的个别表示特性206A、206B、208A和208B。个别表示特性206A、206B、208A和208B可包含表示共同表示特性204未指示的表示212A、212B、222A、222B的特性的信息。举例来说，个别表示特性206A、206B、208A和208B可包含表示表示212A、212B、222A、222B的相应者的位速率的信息。
调适集合的表示可视为相互排斥，因为其可以不同编码或其它参数表示相同内容(相同视频、相同语言音频等)。MPD202可提供用于选择调适集合210-220的一者的信息，例如共同表示特性204。此信息可包含指示客户端是否可解码并再现给定表示的信息。以此方式，客户端装置可不考虑客户端装置不能解码和/或再现的表示。因此，客户端装置40可选择可解码和再现的适宜的调适集合，接着基于例如网络带宽可用性从群组选择表示。
根据本发明的方面，例如调适集合210-220的一者等调适集合可包含具有相同或近似相同位速率但包含切换点的不同间隔的多个表示。因此，调适集合内的表示可具有变化的质量，且可具有变化的相关联缓冲持续时间(例如，调适集合内的表示的每一者可具有替代相关联minBufferTime，如DASH标准中提及)。即，如上所述，具有相对较大数目的切换点的表示可具有比具有较少切换点的表示相对短的缓冲持续时间。然而，对于调适集合的给定位速率，具有较大数目的切换点的表示可具有比具有较少切换点的表示相对低的质量。
根据本发明的方面，客户端装置40可选择具有拥有相同或近似相同位速率的多个表示的调适集合。客户端装置40可初始选择具有特定位速率和相对短的缓冲持续时间(例如，但相对较低质量)的表示，缓冲所述表示的数据，接着切换到相同位速率但具有相对较长缓冲持续时间(例如，具有相对较高质量)的表示。根据其它方面，如上文参看图2所述，调适集合可具有不同位速率。举例来说，调适集合可针对每一连续位速率表示具有在具有相对频繁切换点的表示68与具有相对不频繁切换点的表示68之间交替的表示68。
客户端装置40还可以用户对于例如分级、语言和/或深度的偏好来配置。因此，客户端装置40还可选择一个或一个以上调适集合使得选定群组遵从用户偏好。客户端装置40可接着选择可同时播放的可用调适集合的子集。当客户端装置40仅能够显示一个视图时，客户端装置40可选择仅从一个表示检索数据。另一方面，当客户端装置40具有立体视图或多视图能力时，客户端装置40可从两个或两个以上表示检索数据。
在选择一个或一个以上调适集合之后，客户端装置40可基于例如可用网络带宽从调适集合选择表示。随着可用网络带宽改变(例如，增加或减小)，客户端装置40可调整来自调适集合的表示的选择以适应改变的网络带宽条件。当然，客户端装置40还可在用户偏好或装置能力(例如，解码和再现能力)改变的情况下改变表示选择。
根据本发明的方面，客户端装置40可选择具有拥有相同或近似相同位速率的多个表示的调适集合。客户端装置40可初始选择具有特定位速率和相对短的缓冲持续时间(例如，但相对较低质量)的表示，缓冲所述表示的数据，接着切换到相同位速率但具有相对较长缓冲持续时间(例如，具有相对较高质量)的表示。
在一些实例中，共同表示特性204可对应于MPD202的RepresentationGroup XML元素。在一些实例中，个别表示特性可对应于MPD202的对应RepresentationGroup元素的子元素。
通过将表示的共同特性分组在一起，可实现各种优化。举例来说，许多表示可具有各种参数的相同值。因此，个别地发信号通知MPD中的特性可产生用以个别地发信号通知特性的MPD中的实质复制。许多客户端装置经配置以丢弃所接收的大部分MPD。因此可存在客户端装置接收的MPD的部分中的优化。此外，如果丢弃调适集合，那么客户端装置可不需要存取所丢弃的表示或调适集合的MPD中当前存在的信息(例如，URL)。客户端装置还可避免URL的不必要的更新，URL趋向于在例如实况事件的视频数据的实时网络串流期间频繁更新。即使排除MPD中的冗余，客户端装置仍将需要在接收和重建之后解析完整MPD，这可浪费显著量的计算时间。
图5是说明实例调适集合的概念图。根据图5所示的实例，第一调适集合300包含表示304A、304B和304C(统称为表示304)，而第二调适集合308包含表示312A、312B和312C(统称为表示312)。调适集合300和308可类似于或同于相对于图4-5描述的调适集合。参看图5展示和描述的实例调适集合300和308可与本文描述的技术的任一者兼容。
在图5所示的实例中，调适集合300的表示304的每一者可具有相同或大体相同位速率。然而，在调适集合300内，表示304的每一者可具有替代数目的切换点316。如上所述，切换点316通常编码为I帧，且也可称为关键帧。然而，在其它实例中，表示304可具有不同位速率(除具有替代数目的切换点316外)。
根据本发明的一些方面，切换点316可通常在调适集合内对准。举例来说，表示304A包含与表示304B和304C相比相对较大数目的切换点。即，在一些实例中，表示304B可包含304A的切换点的子集。此外，表示304C可包含304B的切换点的子集。在其它实例中，调适集合中的表示的切换点不需要一定对准。
在一实例中，表示304A的切换点316可近似每隔2秒发生。根据图5所示的实例，接着，表示304B的切换点316可近似每隔4秒发生，表示304C的切换点316可近似每隔8秒发生。应理解，切换点之间的此类持续时间仅出于阐释的目的提供作为实例，且切换点之间的替代持续时间是可能的。
在一些实例中，如上所述，切换点的频率可与缓冲持续时间(例如，如上文表3中识别为minBufferTime)相关。举例来说，表示304A可具有比表示304B短的缓冲持续时间，表示304B可具有比表示304C短的缓冲持续时间。然而，给定特定位速率，表示304C的质量可好于304B的质量，304B的质量可好于304C的质量。
调适集合308可类似于调适集合300配置，但可包含具有与调适集合300不同的位速率的表示。虽然图5的实例中展示的表示312的切换点316不一定对准，但应理解，如上所述，切换点316可在一些实例中对准。
例如服务器装置60等服务器装置可提供具有不同位速率的表示的多个调适集合，例如图5所示的调适集合300和308(例如，以及额外调适集合)。例如客户端装置40等客户端装置可选择针对带宽条件具有适当位速率的调适集合，以及具有特定数目的切换点(例如，和对应的minBufferTime)的表示。
举例来说，根据本发明的方面，客户端装置40可初始选择具有特定位速率和相对短的缓冲持续时间(例如，但相对较低质量)的表示，缓冲所述表示的数据，接着切换到相同位速率但具有相对较长缓冲持续时间(例如，具有相对较高质量)的表示。
图6是说明实例表示的概念图。根据图6所示的实例，第一表示320包含多个片段322A-322D(统称为片段322)，而第二表示324包含多个片段326(例如，以片段326A开始)。在一些实例中，图6所示的表示可类似于图2所示的表示110和120配置。参看图6展示和描述的实例表示可与本文描述的技术的任一者兼容。
如上所述，本发明的技术大体涉及当初始检索多媒体内容时以及当执行带宽调适时改进用户体验。尽管上文描述的某些技术参考具有相同位速率的表示，但这些技术也可应用于具有不同位速率的表示。
举例来说，在图6所示的实例中，表示320是可由服务器经由单播提供的表示的实例，而表示324是可经由广播提供的表示的实例。如图6所示，表示320包含比表示324的片段326相对小的片段322。此外，表示320可与比表示324相对短的缓冲持续时间相关联。
在一些实例中，例如客户端装置40(图1)等客户端装置可经配置以基于切换点的频率初始选择表示，只要选定表示的位速率不超过当前可用带宽即可。因此，在图6所示的实例中，客户端装置40可初始选择表示320。在缓冲初始选择的表示320的足够数据之后，客户端装置40可开始向较高位速率表示请求数据。在图6所示的实例中，客户端装置40可开始向表示324请求数据，表示324可具有与初始选择的表示320相比不太频繁的切换点。客户端装置40还可在将来某一时间(例如，在表示324不可用的情况下)切换回到表示320。
在特定实例中，例如服务器装置60(图1)等服务器可广播具有切换点之间的相对长时间周期(例如，10秒重放时间)的表示324。客户端装置40可经配置以初始请求具有相对较频繁切换点的表示320的单播，接着在缓冲单播表示320的足够数据之后切换到广播表示324。类似地，如果广播表示324的接收中断，那么客户端装置40可再次开始使用单播检索另一表示320，且在缓冲单播表示320的足够量的数据之后切换回到广播表示324。
图7是以图形表示所确定量的网络带宽和从其检索数据的表示的对应指示的实例的概念图。图7的实例假定，存在特定多媒体内容的至少四个表示：具有近似每隔3秒的切换点的10Mbps表示、具有近似每隔0.5秒的切换点的10Mbps表示、具有近似每隔2秒的切换点的5Mbps表示，以及具有近似每隔0.5秒的切换点的5Mbps表示。
在图7的实例中，例如服务器装置60等服务器装置可在相应多媒体内容的清单文件中提供表示的切换点频率(SP频率)的指示。清单文件可对应于例如多媒体内容的媒体呈现描述(MPD)文件。客户端装置通常经配置以检索并分析清单文件以确定多媒体内容的表示的特性和属性。
根据本发明的技术，服务器装置60可在表示的清单文件中提供各个表示的切换点的频率的指示。提供表示表示的属性的特性的数据常规上称为“发信号通知”所述数据。在其它实例中，服务器装置60可在表示本身中发信号通知表示的切换点的频率。或者，例如客户端装置40等客户端装置可经配置以从与表示的片段相关联的片段索引(SIDX)元素的数据推断切换点的频率。
在图7所示的实例中，客户端装置40可初始检索具有近似每隔3秒的切换点的10Mbps表示。在可用网络带宽减小后，客户端装置40可即刻切换到具有近似每隔0.5秒的切换点的5Mbps表示。在缓冲足够数据以避免下溢之后，根据本发明的方面，可客户端装置40可检索具有近似每隔2秒的切换点的5Mbps表示。此5Mbps表示可归因于切换点的数目减少而具有相对较高感知质量(尽管相同位速率)。在可用网络带宽减小后，客户端装置40可即刻转变到具有近似每隔0.5秒的切换点的10Mbps表示。在缓冲表示的足够数据以避免下溢之后，可客户端装置40可再次切换到具有减少的切换点和增加的感知质量(例如，具有近似每隔3秒的切换点的10Mbps表示)的表示。
虽然图7的实例说明具有相同位速率的切换至表示(例如，具有近似每隔0.5秒的切换点的5Mbps表示和具有近似每隔2秒的切换点的5Mbps表示；具有近似每隔0.5秒的切换点的10Mbps表示和具有近似每隔3秒的切换点的10Mbps表示)，但如上所述，本发明的技术不限于此。举例来说，根据其它方面，表示可在具有相对频繁切换点和较高位速率的表示与具有较不频繁切换点和较低位速率的表示之间交替。
因此，相对于图7所示的实例，客户端装置40可从具有近似每隔0.5秒的切换点的5Mbps表示切换到具有更低位速率(例如，4Mbps、3Mbps等)但具有相同或较高质量(归因于切换点的频率减小)的表示。作为替代或另外，如上所述，客户端装置40可在选择切换到的表示时考虑已缓冲的数据量。即，如果已缓冲的数据量相对低，那么客户端装置40可选择具有相对频繁切换点的表示。相比之下，如果已缓冲的数据量较高，那么客户端装置可选择具有相对较不频繁切换点的表示。
图8是说明根据本发明中描述的技术的实例方法的流程图。尽管图8的方法相对于服务器装置60和客户端装置40描述，但应理解，其它装置可实施类似于图8的方法的技术的技术。举例来说，内容准备装置20或内容递送网络的一个或一个以上网络装置可执行归属于服务器装置60的一些或全部功能。
服务器装置60可初始获得(例如，产生或从内容准备装置20接收)多媒体内容的一个或一个以上表示的数据以及多媒体内容的清单文件。服务器装置60还可将多媒体内容的表示的指示(例如，表示的特性)提供到客户端装置40(340)。另外，服务器装置60可确定具有相同或近似相同位速率的若干表示的切换点间隔(342)。服务器装置60可针对每一表示提供包含在表示中的切换点的数目的指示(344)。作为替代或另外，服务器装置60可针对每一表示提供minBufferTime的指示。
客户端装置40可基于所接收的信息确定每一所接收表示的切换点之间的间隔(346)。客户端装置40还可提交对第一表示的请求(348)。根据本发明的一些方面，客户端装置40可初始选择具有相对大数目的切换点(例如，以及对应的短缓冲持续时间)的表不。
在接收请求后，服务器装置60可即刻提供选定的第一表示(350)。客户端装置40可接着开始缓冲、解码和/或显示所接收的数据(352)。根据本发明的方面，在接收和/或缓冲来自第一表示的特定量的数据后，客户端装置40可即刻提交对于来自来自服务器装置60的第二表示的数据的请求。在一些实例中，第二表示可具有与第一表示相比相对少(即，较不频繁)的切换点(例如，以及对应的较长缓冲持续时间)。此外，第二表示可具有比第一表示高的质量。即，第二表示可具有大体类似于第一表示的位速率的位速率，但具有不太频繁的切换点(但在其它实例中，位速率可不同，如上所述)。因此，第二表示可实现较高质量，因为第二表示可使用相对较多P和/或B帧或切片译码，这可归因于表示的视频数据内的时间冗余的改进的利用率而改进译码效率。
在接收请求后，服务器装置60可即刻提供第二表示(356)。客户端装置40可接着开始缓冲、解码和/或显示所接收数据(358)。步骤354-358可基于网络带宽条件重复执行。
以此方式，图8的方法表示一方法的实例，所述方法包含确定多媒体内容的第一表示的切换点之间的第一间隔和多媒体内容的第二表示的切换点之间的第二间隔，其中第一间隔小于第二间隔。另外，所述方法包含基于所述确定提交指定具有至少等于第二表示中的切换点之间的重放时间的重放时间的来自第一表示的视频数据量的网络请求；以及在提交对于来自第一表示的视频数据量的所述请求之后，检索来自第二表示的视频数据。
同样，图8的方法表示一方法的实例，所述方法包含形成多媒体内容的多个表示。所述方法还包含向所述表示指派表示相应表示的切换点之间的间隔的切换点间隔信息，以及响应于来自客户端装置的请求将表示的第一者的视频数据发送到客户端装置。所述方法还包含在发送具有至少等于所述表示的第二不同者中的切换点之间的重放时间的重放时间的来自第一表示的视频数据量之后，将所述表示的第二者的视频数据发送到客户端装置，其中所述表示的第二者的切换点之间的间隔低于所述表示的第一者的切换点之间的间隔。
图9是说明根据本发明中描述的技术的实例方法的流程图。尽管图9的方法相对于服务器装置60和客户端装置40描述，但应理解，其它装置可实施类似于图9的方法的技术的技术。举例来说，内容准备装置20或内容递送网络的一个或一个以上网络装置可执行归属于服务器装置60的一些或全部功能。
图9的实例大体说明本发明的技术正由例如客户端装置40等客户端装置执行。举例来说，客户端装置40可初始检索指定多个表示(例如，图5所示的调适群组300和308的表示)的切换点间隔的MPD(380)。客户端装置40可接着确定可用带宽量(382)。即，客户端装置40可确定当前可用于将数据从服务器装置(例如，服务器装置60)发射到客户端装置40的网络带宽量。
在确定可用带宽之后，客户端装置40可识别具有相对低切换点间隔的第一表示和具有相对高切换点间隔的第二表示。在一些实例中，第一和第二表示可具有可由可用带宽量满足的近似相同位速率。举例来说，客户端装置40可识别具有相同或近似相同位速率但具有包含切换点的不同间隔(例如，以及因此不同质量)的表示的调适群组。在其它实例中，客户端装置40可识别包含具有不同位速率的表示的一个或一个以上调适群组。客户端装置40可接着识别具有相对低切换点间隔的第一表示和具有相对高切换点间隔的第二表示。
客户端装置40可接着缓冲来自第一表示的数据(386)，且解码/显示第一表示的数据(388)。在缓冲第一表示的足够量的数据(例如，缓冲具有等于或超过第二表示的切换点之间的时间序列的时间数据的量)之后，客户端装置40可切换到第二表示(390)。即，客户端装置40可缓冲、解码和显示第二表示的数据。
图10是说明根据本发明中描述的技术的实例方法的流程图。尽管图10的方法相对于服务器装置60和客户端装置40描述，但应理解，其它装置可实施类似于图10的方法的技术的技术。举例来说，内容准备装置20或内容递送网络的一个或一个以上网络装置可执行归属于服务器装置60的一些或全部功能。
如上所述，本发明的技术可以多种方式使用以改进经由网络串流对视频数据的检索。在一些实例中，两个或两个以上表示可具有相同位速率但不同切换点频率(在此实例中称为目标表示群组)。
在图10所示的实例中，客户端装置40可初始开始检索特定位速率下的特定表示的数据(400)。客户端装置40可接着确定网络带宽可用性已改变(402)。在一些实例中，客户端装置40可识别网络支持当前表示的位速率的能力已改变。举例来说，可用网络带宽的量可能已减少到客户端装置40确定应选择可由新确定的可用网络带宽量适应的具有较低位速率的表示的点。或者，可用网络带宽量可能已增加到客户端装置40确定应选择具有较高位速率的表示(例如，以改进重放质量)的点。
客户端装置40可接着识别目标表示群组，且特定来说具有相同或大体相同位速率但具有至少第一表示和第二表示的表示的群组，其中第一表示包含与第二表示不同的切换点的频率(404)。在特定实例中，第一表示可具有与比第二表示高的切换点的频率。客户端装置40可基于位速率选择目标表示群组，其中位速率可由新确定的可用网络带宽量满足。在其它实例中，客户端装置40可选择具有稍许不同位速率且还具有切换点的不同频率的目标表示群组。
客户端装置40可缓冲来自目标群组的具有相对高的切换点的频率的表示(例如，上文描述的第一表示)的足够量的数据(406)。即，举例来说，客户端装置40可缓冲来自第一表示的足够的数据以避免缓冲器下溢，同时还避免需要同时执行两个解码器(这可消耗过量电池和处理功率)。在缓冲此表示的足够量的数据之后，客户端装置40可切换到目标表示群组的具有较低切换点的频率的另一者(例如，上文描述的第二表示)(408)。
在一个或一个以上实例中，所描述的功能可实施于硬件、软件、固件或其任一组合中。如果实施在软件中，那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体发射，且由基于硬件的处理单元执行。计算机可读媒体可包含例如数据存储媒体等对应于有形媒体的计算机可读存储媒体或通信媒体，通信媒体包含促进例如根据通信协议将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接被适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包括于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包括在计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，可在经配置以用于编码和解码的专用硬件和/或软件模块内提供本文中描述的功能性，或本文中描述的功能性可并入于组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但各种组件、模块或单元不必需要由不同硬件单元实现。事实上，如上文所描述，各种单元可组合于编解码器硬件单元中或结合合适的软件和/或固件由可互操作硬件单元(interoperative hardware unit)(包括如上文所描述的一个或一个以上处理器)的集合来提供。
已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (52)

1.一种检索多媒体内容的视频数据的方法，所述方法包括：
确定所述多媒体内容的第一表示的切换点之间的第一间隔和所述多媒体内容的第二表示的切换点之间的第二间隔，其中所述第一间隔小于所述第二间隔；
基于所述确定，提交对具有至少等于所述第二表示中的切换点之间的重放时间的重放时间的量的来自所述第一表示的视频数据的一个或一个以上网络请求；以及
在提交对所述量的来自所述第一表示的视频数据的所述请求之后，检索来自所述第二表示的视频数据。
2.根据权利要求1所述的方法，其进一步包括缓冲来自所述第一表示的视频数据，以及基于所述经缓冲的视频数据的持续时间确定何时检索来自所述第二表示的视频数据。
3.根据权利要求2所述的方法，其中基于所述经缓冲的视频数据的所述持续时间检索来自所述第二表示的视频数据包括在缓冲近似等于所述第二表示中的切换点之间的所述重放时间的来自所述第一表示的视频数据的持续时间之后检索来自所述第二表示的数据。
4.根据权利要求1所述的方法，其进一步包括：
确定当前可用网络带宽量；
接收指示所述第一表示和所述第二表示具有共同位速率的所述多媒体内容的清单；以及
在确定所述共同位速率可由所述当前可用网络带宽量满足之后选择所述第一表示和所述第二表示。
5.根据权利要求1所述的方法，其进一步包括：
确定当前可用网络带宽量；
接收指示所述第一表示具有第一位速率且所述第二表示具有高于所述第一位速率的第二位速率的所述多媒体内容的清单；以及
确定所述第二位速率是否可由所述当前可用网络带宽量满足，
其中请求来自所述第一表示的所述视频数据包括在确定所述第二位速率可由所述当前可用网络带宽量满足之后请求来自所述第一表示的所述视频数据，且
其中在请求来自所述第一表示的所述视频数据之后检索来自所述第二表示的所述视频数据包括在确定所述第二位速率可由所述当前可用网络带宽量满足之后检索来自所述第二表示的所述视频数据。
6.根据权利要求1所述的方法，其中请求来自所述第一表示的所述视频数据包括：
将对于来自所述第一表示的所述视频数据的一个或一个以上请求发送到服务器装置；以及
经由单播接收来自所述第一表示的所述视频数据，且
其中检索来自所述第二表示的所述视频数据包括经由多播或广播的至少一者从所述服务器装置检索所述视频数据。
7.根据权利要求1所述的方法，其进一步包括接收所述多媒体内容的清单文件，其中确定所述第一间隔包括从所述清单文件中的信息确定所述第一间隔，且其中确定所述第二间隔包括从所述清单文件中的信息确定所述第二间隔。
8.根据权利要求1所述的方法，其中所述第一表示和所述第二表示具有共同位速率，所述方法进一步包括：
在确定所述第一间隔和所述第二间隔之前，检索来自具有不同于所述共同位速率的位速率的第三不同表示的视频数据；
确定当前可用网络带宽量；以及
基于所述第一表示和所述第二表示的所述共同位速率更适于所述当前可用网络带宽量的确定，确定所述第一间隔和所述第二间隔，提交对于来自所述第一表示的所述视频数据的所述一个或一个以上网络请求，以及检索来自所述第二表示的所述视频数据。
9.一种用于检索多媒体内容的视频数据的设备，设备包括一个或一个以上处理器，所述处理器经配置以：
确定所述多媒体内容的第一表示的切换点之间的第一间隔和所述多媒体内容的第二表示的切换点之间的第二间隔，其中所述第一间隔小于所述第二间隔；
基于所述确定，提交对具有至少等于所述第二表示中的切换点之间的重放时间的重放时间的量的来自所述第一表示的视频数据的一个或一个以上网络请求；以及
在提交对所述量的来自所述第一表示的视频数据的所述请求之后，检索来自所述第二表示的视频数据。
10.根据权利要求9所述的设备，其中所述一个或一个以上处理器进一步经配置以缓冲来自所述第一表示的视频数据，且基于所述经缓冲的视频数据的持续时间确定何时检索来自所述第二表示的视频数据。
11.根据权利要求10所述的设备，其中为基于所述经缓冲的视频数据的所述持续时间检索来自所述第二表示的视频数据，所述一个或一个以上处理器经配置以在缓冲近似等于所述第二表示中的切换点之间的所述重放时间的来自所述第一表示的视频数据的持续时间之后检索来自所述第二表示的数据。
12.根据权利要求9所述的设备，其中所述一个或一个以上处理器进一步经配置以：
确定当前可用网络带宽量；
接收指示所述第一表示和所述第二表示具有共同位速率的所述多媒体内容的清单；以及
在确定所述共同位速率可由所述当前可用网络带宽量满足之后选择所述第一表示和所述第二表示。
13.根据权利要求9所述的设备，其中所述一个或一个以上处理器进一步经配置以：
确定当前可用网络带宽量；
接收指示所述第一表示具有第一位速率且所述第二表示具有高于所述第一位速率的第二位速率的所述多媒体内容的清单；以及
确定所述第二位速率是否可由所述当前可用网络带宽量满足，
其中为请求来自所述第一表示的所述视频数据，所述一个或一个以上处理器经配置以在确定所述第二位速率可由所述当前可用网络带宽量满足之后请求来自所述第一表示的所述视频数据，且
其中为在请求来自所述第一表示的所述视频数据之后检索来自所述第二表示的所述视频数据，所述一个或一个以上处理器经配置以在确定所述第二位速率可由所述当前可用网络带宽量满足之后检索来自所述第二表示的所述视频数据。
14.根据权利要求9所述的设备，其中为请求来自所述第一表示的所述视频数据，所述一个或一个以上处理器经配置以：
将对于来自所述第一表示的所述视频数据的一个或一个以上请求发送到服务器装置；以及
经由单播接收来自所述第一表示的所述视频数据，且
其中为检索来自所述第二表示的所述视频数据，所述一个或一个以上处理器经配置以经由多播或广播的至少一者从所述服务器装置检索所述视频数据。
15.根据权利要求9所述的设备，其中所述一个或一个以上处理器经配置以接收所述多媒体内容的清单文件，其中为确定所述第一间隔，所述一个或一个以上处理器经配置以从所述清单文件中的信息确定所述第一间隔，且其中为确定所述第二间隔，所述一个或一个以上处理器经配置以从所述清单文件中的信息确定所述第二间隔。
16.根据权利要求9所述的设备，其中所述第一表示和所述第二表示具有共同位速率，且其中所述一个或一个以上处理器进一步经配置以：
在确定所述第一间隔和所述第二间隔之前，检索来自具有不同于所述共同位速率的位速率的第三不同表示的视频数据；
确定当前可用网络带宽量；以及
基于所述第一表示和所述第二表示的所述共同位速率更适于所述当前可用网络带宽量的确定，确定所述第一间隔和所述第二间隔，提交对于来自所述第一表示的所述视频数据的所述一个或一个以上网络请求，以及检索来自所述第二表示的所述视频数据。
17.一种用于检索多媒体内容的视频数据的设备，所述设备包括：
用于确定所述多媒体内容的第一表示的切换点之间的第一间隔和所述多媒体内容的第二表示的切换点之间的第二间隔的装置，其中所述第一间隔小于所述第二间隔；
用于基于所述确定提交对具有至少等于所述第二表示中的切换点之间的重放时间的重放时间的量的来自所述第一表示的视频数据的一个或一个以上网络请求的装置；以及
用于在提交对所述量的来自所述第一表示的视频数据的所述请求之后检索来自所述第二表示的视频数据的装置。
18.根据权利要求17所述的设备，其进一步包括用于缓冲来自所述第一表示的视频数据的装置，以及用于基于所述经缓冲的视频数据的持续时间确定何时检索来自所述第二表示的视频数据的装置。
19.根据权利要求18所述的设备，其中用于基于所述经缓冲的视频数据的所述持续时间检索来自所述第二表示的视频数据的装置包括用于在缓冲近似等于所述第二表示中的切换点之间的所述重放时间的来自所述第一表示的视频数据的持续时间之后检索来自所述第二表示的数据的装置。
20.根据权利要求17所述的设备，其进一步包括：
用于确定当前可用网络带宽量的装置；
用于接收指示所述第一表示和所述第二表示具有共同位速率的所述多媒体内容的清单的装置；以及
用于在确定所述共同位速率可由所述当前可用网络带宽量满足之后选择所述第一表示和所述第二表示的装置。
21.根据权利要求17所述的设备，其进一步包括：
用于确定当前可用网络带宽量的装置；
用于接收指示所述第一表示具有第一位速率且所述第二表示具有高于所述第一位速率的第二位速率的所述多媒体内容的清单的装置；以及
用于确定所述第二位速率是否可由所述当前可用网络带宽量满足的装置，
其中用于请求来自所述第一表示的所述视频数据的装置包括用于在确定所述第二位速率可由所述当前可用网络带宽量满足之后请求来自所述第一表示的所述视频数据的装置，且
其中用于在请求来自所述第一表示的所述视频数据之后检索来自所述第二表示的所述视频数据的装置包括用于在确定所述第二位速率可由所述当前可用网络带宽量满足之后检索来自所述第二表示的所述视频数据的装置。
22.根据权利要求17所述的设备，其中用于请求来自所述第一表示的所述视频数据的装置包括：
用于将对于来自所述第一表示的所述视频数据的一个或一个以上请求发送到服务器装置的装置；以及
用于经由单播接收来自所述第一表示的所述视频数据的装置，且
其中用于检索来自所述第二表示的所述视频数据的装置包括用于经由多播或广播的至少一者从所述服务器装置检索所述视频数据的装置。
23.根据权利要求17所述的设备，其进一步包括用于接收所述多媒体内容的清单文件的装置，其中用于确定所述第一间隔的装置包括用于从所述清单文件中的信息确定所述第一间隔的装置，且其中用于确定所述第二间隔的装置包括用于从所述清单文件中的信息确定所述第二间隔的装置。
24.根据权利要求17所述的设备，其中所述第一表示和所述第二表示具有共同位速率，所述设备进一步包括：
用于在确定所述第一间隔和所述第二间隔之前检索来自具有不同于所述共同位速率的位速率的第三不同表示的视频数据的装置；
用于确定当前可用网络带宽量的装置；以及
基于所述第一表示和所述第二表示的所述共同位速率更适于所述当前可用网络带宽量的确定，用于确定所述第一间隔和所述第二间隔的装置、用于提交对于来自所述第一表示的所述视频数据的所述一个或一个以上网络请求的装置，以及用于检索来自所述第二表示的所述视频数据的装置。
25.一种存储指令的非暂时性计算机可读存储媒体，所述指令当执行时致使一个或一个以上处理器：
确定所述多媒体内容的第一表示的切换点之间的第一间隔和所述多媒体内容的第二表示的切换点之间的第二间隔，其中所述第一间隔小于所述第二间隔；
基于所述确定，提交对具有至少等于所述第二表示中的切换点之间的重放时间的重放时间的量的来自所述第一表示的视频数据的一个或一个以上网络请求；以及
在提交对所述量的来自所述第一表示的视频数据的所述请求之后，检索来自所述第二表示的视频数据。
26.根据权利要求25所述的计算机可读存储媒体，其中所述指令致使所述一个或一个以上处理器缓冲来自所述第一表示的视频数据，且基于所述经缓冲的视频数据的持续时间确定何时检索来自所述第二表示的视频数据。
27.根据权利要求26所述的计算机可读存储媒体，其中为基于所述经缓冲的视频数据的所述持续时间检索来自所述第二表示的视频数据，所述指令致使所述一个或一个以上处理器在缓冲近似等于所述第二表示中的切换点之间的所述重放时间的来自所述第一表示的视频数据的持续时间之后检索来自所述第二表示的数据。
28.根据权利要求25所述的计算机可读存储媒体，其中所述指令致使所述一个或一个以上处理器：
确定当前可用网络带宽量；
接收指示所述第一表示和所述第二表示具有共同位速率的所述多媒体内容的清单；以及
在确定所述共同位速率可由所述当前可用网络带宽量满足之后选择所述第一表示和所述第二表示。
29.根据权利要求25所述的计算机可读存储媒体，其中所述一个或一个以上处理器进一步经配置以：
确定当前可用网络带宽量；
接收指示所述第一表示具有第一位速率且所述第二表示具有高于所述第一位速率的第二位速率的所述多媒体内容的清单；以及
确定所述第二位速率是否可由所述当前可用网络带宽量满足，
其中为请求来自所述第一表示的所述视频数据，所述指令致使所述一个或一个以上处理器在确定所述第二位速率可由所述当前可用网络带宽量满足之后请求来自所述第一表示的所述视频数据，且
其中为在请求来自所述第一表示的所述视频数据之后检索来自所述第二表示的所述视频数据，所述指令致使所述一个或一个以上处理器在确定所述第二位速率可由所述当前可用网络带宽量满足之后检索来自所述第二表示的所述视频数据。
30.根据权利要求25所述的计算机可读存储媒体，其中为请求来自所述第一表示的所述视频数据，所述指令致使所述一个或一个以上处理器：
将对于来自所述第一表示的所述视频数据的一个或一个以上请求发送到服务器装置；以及
经由单播接收来自所述第一表示的所述视频数据，且
其中为检索来自所述第二表示的所述视频数据，所述指令致使所述一个或一个以上处理器经由多播或广播的至少一者从所述服务器装置检索所述视频数据。
31.根据权利要求25所述的计算机可读存储媒体，其中所述指令致使所述一个或一个以上处理器接收所述多媒体内容的清单文件，其中为确定所述第一间隔，所述指令致使所述一个或一个以上处理器从所述清单文件中的信息确定所述第一间隔，且其中为确定所述第二间隔，所述指令致使所述一个或一个以上处理器从所述清单文件中的信息确定所述第二间隔。
32.根据权利要求25所述的计算机可读存储媒体，其中所述第一表示和所述第二表示具有共同位速率，且其中所述指令进一步致使所述一个或一个以上处理器：
在确定所述第一间隔和所述第二间隔之前，检索来自具有不同于所述共同位速率的位速率的第三不同表示的视频数据；
确定当前可用网络带宽量；以及
基于所述第一表示和所述第二表示的所述共同位速率更适于所述当前可用网络带宽量的确定，确定所述第一间隔和所述第二间隔，提交对于来自所述第一表示的所述视频数据的所述一个或一个以上网络请求，以及检索来自所述第二表示的所述视频数据。
33.一种串流多媒体内容的视频数据的方法，所述方法包括：
接收所述多媒体内容的多个表示，其中所述表示包含表示所述相应表示的切换点之间的间隔的切换点间隔信息；
响应于来自客户端装置的请求将所述表示的第一者的视频数据发送到所述客户端装置；以及
在发送具有至少等于所述表示的第二不同者中的切换点之间的重放时间的重放时间的量的来自所述第一表示的视频数据之后，将所述表示的所述第二者的视频数据发送到所述客户端装置，其中所述表示的所述第二者的切换点之间的间隔低于所述表示的所述第一者的切换点之间的间隔。
34.根据权利要求33所述的方法，其中形成所述多个表示包括：
形成所述表示的所述第一者以以所述表示的所述第一者的切换点之间的所述间隔包含切换点；以及
形成所述表示的所述第二者以以所述表示的所述第二者的切换点之间的所述间隔包含切换点，使得所述第二表示的所述切换点的每一者在对应于所述第一表示的所述切换点的一者的时间位置的时间位置处发生。
35.根据权利要求34所述的方法，其中所述表示的所述第二者的所述切换点包括所述表示的所述第一者的所述切换点的子集。
36.根据权利要求33所述的方法，
其中发送所述表示的所述第一者的所述视频数据包括经由单播发送所述表示的所述第一者的所述视频数据，且
其中发送所述表示的所述第二者的所述视频数据包括经由广播发送所述表示的所述第二者的所述视频数据。
37.根据权利要求33所述的方法，其中向所述表示指派切换点间隔信息包括在所述多媒体内容的清单文件中提供所述切换点间隔信息。
38.一种用于串流多媒体内容的视频数据的设备，所述设备包括一个或一个以上处理器，所述处理器经配置以：
接收所述多媒体内容的多个表示，其中所述表示包含表示所述相应表示的切换点之间的间隔的切换点间隔信息；
响应于来自客户端装置的请求将所述表示的第一者的视频数据发送到所述客户端装置；以及
在发送具有至少等于所述表示的第二不同者中的切换点之间的重放时间的重放时间的量的来自所述第一表示的视频数据之后，将所述表示的所述第二者的视频数据发送到所述客户端装置，其中所述表示的所述第二者的切换点之间的间隔低于所述表示的所述第一者的切换点之间的间隔。
39.根据权利要求38所述的设备，其中为形成所述多个表示，所述一个或一个以上处理器经配置以：
形成所述表示的所述第一者以以所述表示的所述第一者的切换点之间的所述间隔包含切换点；以及
形成所述表示的所述第二者以以所述表示的所述第二者的切换点之间的所述间隔包含切换点，使得所述第二表示的所述切换点的每一者在对应于所述第一表示的所述切换点的一者的时间位置的时间位置处发生。
40.根据权利要求39所述的设备，其中所述表示的所述第二者的所述切换点包括所述表示的所述第一者的所述切换点的子集。
41.根据权利要求38所述的设备，
其中为发送所述表示的所述第一者的所述视频数据，所述一个或一个以上处理器经配置以经由单播发送所述表示的所述第一者的所述视频数据，且
其中为发送所述表示的所述第二者的所述视频数据，所述一个或一个以上处理器经配置以经由广播发送所述表示的所述第二者的所述视频数据。
42.根据权利要求38所述的设备，其中为向所述表示指派切换点间隔信息，所述一个或一个以上处理器经配置以在所述多媒体内容的清单文件中提供所述切换点间隔信息。
43.一种用于串流多媒体内容的视频数据的设备，所述设备包括：
用于接收所述多媒体内容的多个表示的装置，其中所述表示包含表示所述相应表示的切换点之间的间隔的切换点间隔信息；
用于响应于来自客户端装置的请求将所述表示的第一者的视频数据发送到所述客户端装置的装置；以及
用于在发送具有至少等于所述表示的第二不同者中的切换点之间的重放时间的重放时间的量的来自所述第一表示的视频数据之后将所述表示的所述第二者的视频数据发送到所述客户端装置的装置，其中所述表示的所述第二者的切换点之间的间隔低于所述表示的所述第一者的切换点之间的间隔。
44.根据权利要求43所述的设备，其中用于形成所述多个表示的装置包括：
用于形成所述表示的所述第一者以以所述表示的所述第一者的切换点之间的所述间隔包含切换点的装置；以及
用于形成所述表示的所述第二者以以所述表示的所述第二者的切换点之间的所述间隔包含切换点的装置，使得所述第二表示的所述切换点的每一者在对应于所述第一表示的所述切换点的一者的时间位置的时间位置处发生。
45.根据权利要求44所述的设备，其中所述表示的所述第二者的所述切换点包括所述表示的所述第一者的所述切换点的子集。
46.根据权利要求43所述的设备，
其中用于发送所述表示的所述第一者的所述视频数据的装置包括用于经由单播发送所述表示的所述第一者的所述视频数据的装置，且
其中用于发送所述表示的所述第二者的所述视频数据的装置包括用于经由广播发送所述表示的所述第二者的所述视频数据的装置。
47.根据权利要求43所述的设备，其中用于向所述表示指派切换点间隔信息的装置包括用于在所述多媒体内容的清单文件中提供所述切换点间隔信息的装置。
48.一种存储指令的非暂时性计算机可读存储媒体，所述指令当执行时致使一个或一个以上处理器：
接收所述多媒体内容的多个表示，其中所述表示包含表示所述相应表示的切换点之间的间隔的切换点间隔信息；
响应于来自客户端装置的请求将所述表示的第一者的视频数据发送到所述客户端装置；以及
在发送具有至少等于所述表示的第二不同者中的切换点之间的重放时间的重放时间的量的来自所述第一表示的视频数据之后，将所述表示的所述第二者的视频数据发送到所述客户端装置，其中所述表示的所述第二者的切换点之间的间隔低于所述表示的所述第一者的切换点之间的间隔。
49.根据权利要求48所述的计算机可读存储媒体，其中为形成所述多个表示，所述指令致使所述一个或一个以上处理器：
形成所述表示的所述第一者以以所述表示的所述第一者的切换点之间的所述间隔包含切换点；以及
形成所述表示的所述第二者以以所述表示的所述第二者的切换点之间的所述间隔包含切换点，使得所述第二表示的所述切换点的每一者在对应于所述第一表示的所述切换点的一者的时间位置的时间位置处发生。
50.根据权利要求49所述的计算机可读存储媒体，其中所述表示的所述第二者的所述切换点包括所述表示的所述第一者的所述切换点的子集。
51.根据权利要求48所述的计算机可读存储媒体，
其中为发送所述表示的所述第一者的所述视频数据，所述指令致使所述一个或一个以上处理器经由单播发送所述表示的所述第一者的所述视频数据，且
其中为发送所述表示的所述第二者的所述视频数据，所述指令致使所述一个或一个以上处理器经由广播发送所述表示的所述第二者的所述视频数据。
52.根据权利要求48所述的计算机可读存储媒体，其中为向所述表示指派切换点间隔信息，所述指令致使所述一个或一个以上处理器在所述多媒体内容的清单文件中提供所述切换点间隔信息。
CN201280048730.8A 2011-10-05 2012-10-05 经译码多媒体数据的网络串流期间的表示之间的切换 Active CN103843301B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161543732P 2011-10-05 2011-10-05
US61/543,732 2011-10-05
US13/644,373 US8935425B2 (en) 2011-10-05 2012-10-04 Switching between representations during network streaming of coded multimedia data
US13/644,373 2012-10-04
PCT/US2012/058913 WO2013052774A1 (en) 2011-10-05 2012-10-05 Switching between representations during network streaming of coded multimedia data

Publications (2)

Publication Number Publication Date
CN103843301A true CN103843301A (zh) 2014-06-04
CN103843301B CN103843301B (zh) 2016-09-28

Family

ID=48042858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280048730.8A Active CN103843301B (zh) 2011-10-05 2012-10-05 经译码多媒体数据的网络串流期间的表示之间的切换

Country Status (6)

Country Link
US (1) US8935425B2 (zh)
EP (1) EP2764674B1 (zh)
JP (2) JP2014534684A (zh)
KR (1) KR101558116B1 (zh)
CN (1) CN103843301B (zh)
WO (1) WO2013052774A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076264A (zh) * 2016-05-24 2018-12-21 高通股份有限公司 样本条目和随机存取
CN110383845A (zh) * 2016-12-22 2019-10-25 弗劳恩霍夫应用研究促进协会 允许有效支持快速调入和任何时间切换的媒体流传输构思

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130227162A1 (en) * 2012-02-29 2013-08-29 F-Secure Corporation Management of Data Upload Speed
US9674247B1 (en) * 2012-06-21 2017-06-06 Google Inc. Generating manifest files for digital media items
EP2850845A1 (en) * 2012-07-09 2015-03-25 Huawei Technologies Co., Ltd. Dynamic adaptive streaming over http client behavior framework and implementation of session management
US9357239B2 (en) * 2012-11-16 2016-05-31 Adobe Systems Incorporated Converting live streaming content to video-on-demand streaming content
US9813325B2 (en) 2012-12-27 2017-11-07 Comcast Cable Communications, Llc Information stream management
GB2512310A (en) * 2013-03-25 2014-10-01 Sony Corp Media Distribution
EP2993886A4 (en) * 2013-04-30 2016-11-23 Sony Corp SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
FR3007615A1 (fr) * 2013-06-24 2014-12-26 France Telecom Procede d'amelioration du temps de changement entre programmes audiovisuels
WO2015009723A1 (en) * 2013-07-15 2015-01-22 Huawei Technologies Co., Ltd. Just-in-time dereferencing of remote elements in dynamic adaptive streaming over hypertext transfer protocol
US9270721B2 (en) * 2013-10-08 2016-02-23 Qualcomm Incorporated Switching between adaptation sets during media streaming
US20160309210A1 (en) * 2013-11-25 2016-10-20 Le Shi Zhi Xin Electronic Technology (Tianjin) Limited Video playback method, apparatus and intelligent terminal
KR101600469B1 (ko) * 2014-07-16 2016-03-07 김재경 스트리밍 서비스를 위한 클라이언트 및 서버의 동작 방법
US9794601B2 (en) 2014-10-21 2017-10-17 Cisco Technology, Inc. Dynamic programming across multiple streams
WO2016093752A1 (en) * 2014-12-10 2016-06-16 Telefonaktiebolaget Lm Ericsson (Publ) Stream access for adaptive streaming of video
US10270823B2 (en) * 2015-02-10 2019-04-23 Qualcomm Incorporated Low latency video streaming
GB2536887B (en) * 2015-03-27 2021-05-05 Sony Europe Bv Video content replay
US10567816B2 (en) 2015-04-30 2020-02-18 Comcast Cable Communications, Llc Delivering content
US20180146019A1 (en) * 2016-11-21 2018-05-24 International Business Machines Corporation Light-weight resolution switching for online video streaming
EP3580935A4 (en) * 2017-02-13 2020-07-22 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO CODING AND DECODING
GB2563387B (en) * 2017-06-09 2020-04-15 Sony Interactive Entertainment Inc Image processing device and system
US10652166B2 (en) * 2017-06-27 2020-05-12 Cisco Technology, Inc. Non-real time adaptive bitrate recording scheduler
CN107480181B (zh) * 2017-07-05 2020-11-24 百度在线网络技术（北京）有限公司 音频播放方法、装置、设备及服务器
US10587904B2 (en) * 2017-07-10 2020-03-10 Qualcomm Incorporated Processing media data using an omnidirectional media format
US20190166170A1 (en) * 2017-11-29 2019-05-30 Comcast Cable Communications, Llc Video Streaming Delivery
US10805658B2 (en) * 2018-09-12 2020-10-13 Roku, Inc. Adaptive switching in a whole home entertainment system
US20200112753A1 (en) * 2018-10-03 2020-04-09 Qualcomm Incorporated Service description for streaming media data
CN109168020A (zh) * 2018-10-22 2019-01-08 广州虎牙科技有限公司 基于直播的视频处理方法、装置、计算设备和存储介质
CN113424549B (zh) * 2019-01-24 2024-05-28 交互数字Vc控股公司 用于利用多个细节级别和自由度的自适应空间内容流传输的系统和方法
JP7324012B2 (ja) * 2019-02-07 2023-08-09 日本放送協会 受信装置、及びプログラム
US11838452B2 (en) * 2019-08-19 2023-12-05 Nippon Telegraph And Telephone Corporation Control apparatus, control method and program
CN111866433B (zh) * 2020-07-31 2021-06-29 腾讯科技（深圳）有限公司 视频源切换方法、播放方法、装置、设备和存储介质
US11489899B1 (en) 2021-04-12 2022-11-01 Comcast Cable Communications, Llc Segment ladder transitioning in adaptive streaming
US11418851B1 (en) * 2021-06-28 2022-08-16 Synamedia Limited Virtual set top
US11627345B1 (en) * 2022-05-10 2023-04-11 Dish Network Technologies India Private Limited Buffer management for optimized processing in media pipeline
US20240196049A1 (en) * 2022-12-08 2024-06-13 Synamedia Limited Client Device Switching to Low Latency Content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643875A (zh) * 2002-03-27 2005-07-20 英国电讯有限公司 数据流式传输系统和方法
CN101061718A (zh) * 2004-11-22 2007-10-24 汤姆森研究基金有限公司 用于数字订户线路系统中的频道改变的方法和设备
CN102100069A (zh) * 2008-07-16 2011-06-15 汤姆逊许可证公司 用于快速信道改变以增大编码效率的可分级视频编码方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7885340B2 (en) 1999-04-27 2011-02-08 Realnetworks, Inc. System and method for generating multiple synchronized encoded representations of media data
EP1395000B1 (en) * 2002-08-27 2006-01-04 Matsushita Electric Industrial Co., Ltd. A method of transmitting data streams dependent on the monitored state of the client application buffer
JP2004297117A (ja) * 2003-03-25 2004-10-21 Kyocera Corp 無線通信システム、無線通信システムにおける無線端末、動画像データ配信サーバ、および無線通信方法
ATE408290T1 (de) * 2005-04-11 2008-09-15 Ericsson Telefon Ab L M Technik zur steuerung von datenpaketübermittlungen von daten mit variabler bitrate
US7793329B2 (en) 2006-02-06 2010-09-07 Kasenna, Inc. Method and system for reducing switching delays between digital video feeds using multicast slotted transmission technique
US8311102B2 (en) * 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
EP2124454B1 (en) 2007-03-19 2014-11-19 Fujitsu Limited Bit stream converting method, bit stream converting device, bit stream coupling device, bit stream dividing program, bit stream converting program and bit stream coupling program
JP2009170985A (ja) * 2008-01-11 2009-07-30 Hitachi Ltd オンデマンドデータ配信システム
TWI373942B (en) 2008-01-11 2012-10-01 Quanta Comp Inc Home networking system and admission control method thereof
US8700792B2 (en) 2008-01-31 2014-04-15 General Instrument Corporation Method and apparatus for expediting delivery of programming content over a broadband network
JP5151763B2 (ja) * 2008-07-22 2013-02-27 日本電気株式会社 映像配信システム、映像配信装置、映像受信装置、映像配信方法、映像受信方法及びプログラム
US20100138876A1 (en) 2008-12-01 2010-06-03 At&T Intellectual Property I, L.P. System and method to transmit media content
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8848548B2 (en) 2009-08-04 2014-09-30 Qualcomm Incorporated Internet radio broadcast using cellular
US8355433B2 (en) 2009-08-18 2013-01-15 Netflix, Inc. Encoding video streams for adaptive video streaming
WO2011111987A2 (en) * 2010-03-08 2011-09-15 Samsung Electronics Co., Ltd. Apparatus and method for playing media content data
US8689267B2 (en) * 2010-12-06 2014-04-01 Netflix, Inc. Variable bit video streams for adaptive streaming
US9026671B2 (en) * 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643875A (zh) * 2002-03-27 2005-07-20 英国电讯有限公司 数据流式传输系统和方法
CN101061718A (zh) * 2004-11-22 2007-10-24 汤姆森研究基金有限公司 用于数字订户线路系统中的频道改变的方法和设备
CN102100069A (zh) * 2008-07-16 2011-06-15 汤姆逊许可证公司 用于快速信道改变以增大编码效率的可分级视频编码方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076264A (zh) * 2016-05-24 2018-12-21 高通股份有限公司 样本条目和随机存取
CN109076264B (zh) * 2016-05-24 2020-12-29 高通股份有限公司 样本条目和随机存取
CN110383845A (zh) * 2016-12-22 2019-10-25 弗劳恩霍夫应用研究促进协会 允许有效支持快速调入和任何时间切换的媒体流传输构思
US11425451B2 (en) 2016-12-22 2022-08-23 Fraunhofer-Gesellschaft Zur Foerderung Der Wangewandten Forschung E.V. Media streaming concept allowing efficient support of fast tune-in and any-time switching

Also Published As

Publication number Publication date
US8935425B2 (en) 2015-01-13
KR101558116B1 (ko) 2015-10-06
US20130091297A1 (en) 2013-04-11
JP2014534684A (ja) 2014-12-18
WO2013052774A1 (en) 2013-04-11
KR20140072183A (ko) 2014-06-12
EP2764674B1 (en) 2015-11-25
EP2764674A1 (en) 2014-08-13
CN103843301B (zh) 2016-09-28
JP2016154348A (ja) 2016-08-25

Similar Documents

Publication Publication Date Title
CN103843301A (zh) 经译码多媒体数据的网络串流期间的表示之间的切换
CN103141069B (zh) 用于检索和传输多媒体数据的方法和系统
CN102986218B (zh) 用于串流视频数据的视频切换
CN110099288B (zh) 发送媒体数据的方法及装置
CN103069828B (zh) 提供用于串流传输视频数据的序列数据集
JP2018186524A (ja) コンテンツ送信装置およびコンテンツ再生装置
CN107409234A (zh) 基于lct利用dash格式的基于文件格式的流式传输
CN101917613B (zh) 一种流媒体采集编码服务系统
CN104885473A (zh) 用于经由http的动态自适应流式传输(dash)的实况定时
KR102076064B1 (ko) Dash의 강건한 라이브 동작
CN103026721A (zh) 布置用于串流传输视频数据的子轨道片段
CN106878804A (zh) 经译码视频数据的网络流式传输
CN103069799A (zh) 发信号通知用于多路复用视频分量的数据
WO2018028547A1 (zh) 频道切换的方法及装置
US11765444B2 (en) Streaming media data including an addressable resource index track

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant