CN105379293A - 基于超文本协议的动态自适应流媒体中的媒体质量信息指示 - Google Patents

基于超文本协议的动态自适应流媒体中的媒体质量信息指示 Download PDF

Info

Publication number
CN105379293A
CN105379293A CN201480022359.7A CN201480022359A CN105379293A CN 105379293 A CN105379293 A CN 105379293A CN 201480022359 A CN201480022359 A CN 201480022359A CN 105379293 A CN105379293 A CN 105379293A
Authority
CN
China
Prior art keywords
media
quality
information
slicing
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480022359.7A
Other languages
English (en)
Other versions
CN105379293B (zh
Inventor
张少波
王新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN105379293A publication Critical patent/CN105379293A/zh
Application granted granted Critical
Publication of CN105379293B publication Critical patent/CN105379293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

一种媒体表达自适应方法包括：获取包括用于获取多个媒体分片及其质量信息的指令的媒体呈现描述(MPD)，发送质量信息请求，接收包括多个质量分片的所述质量信息，基于所述质量信息选择媒体分片，发送请求所述媒体分片的媒体分片请求，以及接收所述媒体分片。一种计算机程序产品，当由处理器执行时，致使网络设备获取包括用于获取媒体内容流和质量信息的指令的MPD，确定质量级别阈值，请求与所述媒体内容流关联的质量信息，接收所述质量信息，选择对应的质量分片大于所述质量级别阈值的媒体分片，发送请求所述媒体分片的媒体分片请求，以及接收所述媒体分片。

Description

基于超文本协议的动态自适应流媒体中的媒体质量信息指示
相关申请案交叉申请
本发明要求2013年4月19日递交的发明名称为“指示动态自适应流媒体中的媒体质量相关信息的方法和系统(MethodAndSystemForSignalingofMediaQualityRelatedInformationinDynamicAdaptiveStreaming)”的第61/814,069号美国临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文中，如全文再现一般。
关于由联邦政府赞助研究或开发的声明
不适用。
参考缩微胶片附录
不适用。
背景技术
使用适合不同设备(例如，电视、笔记本电脑、台式电脑和移动手机)的不同加密和/或编码方案，媒体内容提供商或分发商可以向订户或用户分发各种媒体内容。如ISO/国际电工技术委员会(IEC)13818-1中的名称为“信息技术—运动图像的通用编码和相关音频信息：系统(InformationTechnology–GenericCodingofMovingPicturesandAssociatedAudioInformation:Systems)”所述，基于超文本传输协议(HTTP)的动态自适应流媒体(DASH)定义了描述格式，即媒体呈现描述(MPD)，以及分片格式，所述描述格式基于国际标准化组织(ISO)基础媒体文件格式，而所述分片格式基于运动图像专家组(MPEG)传输流-2标准族中的MPEG传输流。
传统的DASH系统可能需要媒体内容或媒体表达(representation)的多种比特率在服务器上可用。其它媒体表达可以是以固定比特率(CBR)或可变比特率(VBR)编码的版本。对于CBR媒体表达，比特率可能受到控制并且可能是固定的，但是质量可能有很大波动，除非比特率相当高。像切换新频道中的体育/静态场景等改变内容对于视频编码器而言难以在产生具有某个指定比特率的比特流的同时提供稳定的质量。对于VRB媒体表达，可以将更高的比特率分配给更复杂的场景，而将更低的比特率分配给不太复杂的场景。
另外，可用带宽可能会不断地变化，这可能对流媒体内容来说是一种挑战。传统的自适应方案可配置用于适应设备的能力(例如，解码能力或显示分辨率)或用户的喜好(例如，语言或字幕)。在传统的DASH系统中，对变化的可用带宽的适应可以通过在具有不同比特率的可选媒体表达之间进行切换来实现。媒体表达或分片的比特率可以匹配到可用带宽。然而，媒体表达的比特率可能与媒体内容的质量没有直接的相互关系。比特率可以表示多个媒体表达或分片的相对质量，并且可能无法提供关于分片质量的信息。例如，对于低空间复杂度或低运动水平等场景来说，可以利用低比特率对高质量级别进行编码，或者对于高空间复杂度或高运动水平等场景来说，可以利用高比特率对低质量级别进行编码。因此，带宽波动导致相同比特率下的相对低的体验质量。带宽在不使用或不需要相对高的带宽时还会被浪费。激进的带宽消耗还会导致所支持用户的数量、高带宽耗费，和/或高功耗受到限制。
发明内容
在一项实施例中，本发明包括媒体表达自适应方法，包括：获取包括用于获取多个媒体分片及其质量信息的指令的MPD，根据所述MPD中提供的所述指令发送质量信息请求，接收包括对应于所述多个媒体分片的多个质量分片的所述质量信息，基于所述质量信息选择媒体分片，发送请求所述媒体分片的媒体分片请求，以及接收所述媒体分片以响应于所述媒体分片请求。
在另一项实施例中，本发明一种计算机程序产品，所述计算机程序产品包括存储在非瞬时性计算机可读介质上的计算机可执行指令，当处理器执行这些指令时，致使网络设备获取包括用于获取媒体内容流和与所述媒体内容流关联的质量信息的指令的DASHMPD，确定媒体内容流的质量级别阈值，请求与所述媒体内容流关联的质量信息，接收与所述媒体内容流关联的所述质量信息，选择对应的质量分片大于所述质量级别阈值的媒体分片，发送请求所述媒体分片的媒体分片请求，以及接收所述媒体分片。
在又一项实施例中，本发明包括一种根据包括用于获取多个媒体分片及其元数据信息的信息的MPD进行媒体表达自适应的装置，所述装置包括存储器和耦合到所述存储器的处理器，其中所述存储器包括指令，当所述处理器执行所述指令时，致使所述装置根据所述MPD接收元数据信息请求，发送包括质量信息的元数据信息，接收请求媒体分片的媒体分片请求，以及根据所述MPD发送所述媒体分片。
结合附图和权利要求书可以从以下的详细描述中更清楚地理解这些和其它特征。
附图说明
为了更透彻地理解本发明，现参阅结合附图和具体实施方式而描述的以下简要说明，其中的相同参考标号表示相同部分。
图1为DASH系统的实施例的示意图。
图2为网络元件的实施例的示意图。
图3为DASH自适应方法的实施例的协议图。
图4为媒体呈现描述的实施例的示意图。
图5为自适应集关联的实施例的示意图。
图6为自适应集关联的另一实施例的示意图。
图7为DASH客户端使用的媒体表达自适应方法的实施例的流程图。
图8为HTTP服务器使用的媒体表达自适应方法的另一实施例的流程图。
具体实施方式
首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
本文公开了用于传送和指示DASH系统中的媒体表达自适应的质量信息的各种实施例。尤其是，DASH客户端可以使用媒体分片的元数据信息获取用来做出媒体表达自适应决定的质量信息。元数据信息可以指示分片或子分片级别上的元数据以高效支持直播和/或点播业务。可以在请求一个或多个关联媒体分片之前独立获取元数据。元数据可以具有其它接入信息(例如，子分片大小或时长)，这样可以减少对互联比特率信息与质量信息的交叉引用的需要。使用元数据信息作出的自适应决定会降低流内容的质量波动，会提高体验质量，而且会更高效地使用带宽。元数据信息可以有条件地使用或生成，并且不会影响流媒体数据的操作。
图1为DASH系统100的实施例的示意图。DASH系统100通常可以包括内容源102、HTTP服务器104、网络106，以及一个或多个DASH客户端108。在此种实施例中，HTTP服务器104和DASH客户端108可以经由网络106彼此进行数据通信。另外，HTTP服务器104可以与内容源102进行数据通信。可选地，DASH系统100还可以包括一个或多个额外的内容源102和/或多个HTTP服务器104。网络106可以包括用于沿着有线和/或无线信道在HTTP服务器104和DASH客户端108之间提供数据通信的任何网络。例如，网络106可以是互联网或移动电话网络。由DASH系统100执行的操作的描述通常可以指一个或多个DASH客户端108的实例。需要说明的是，本文中使用的术语“DASH”可包括任何自适应流媒体，例如HTTP直播流(HLS)、微软平滑流，或因特网信息服务系统(IIS)，而且不受限于仅表示第三代合作伙伴(3GP)-DASH或运动图像专家组(MPEG)-DASH。
内容源102可以是媒体内容提供商或分发商，通过使用适合不同设备(例如，电视、笔记本电脑和/或移动手机)的不同加密和/或编码方案可以向订户或用户分发各种媒体内容。内容源102可以用于支持多个媒体编码器和/或解码器(例如，编解码器)、媒体播放器、视频帧率、空间分辨率、比特率、视频格式，或它们的组合。媒体内容可以从源或原始呈现转换到各种其它媒体表达以适合不同的用户。
HTTP服务器104可以是任何网络节点，例如，用于通过HTTP与一个或多个DASH客户端108通信的计算机服务器。HTTP服务器104可以包括用于通过HTTP发送和接收数据的服务器DASH模块(DM)110。在一项实施例中，HTTP服务器104可用于根据ISO/IEC23009-1中名称为“信息技术—基于HTTP的动态自适应流媒体(DASH)—第一部分：媒体呈现描述和分片格式(InformationTechnology–DynamicAdaptiveStreamingoverHTTP(DASH)–part1:MediaPresentationDescriptionandSegmentFormats)”中描述的DASH标准操作，其内容以引入的方式并入本文本中，如全文再现一般。HTTP服务器104可用于存储媒体内容(例如，在存储器或缓存中)和/或转发媒体内容分片。每个分片可以编码在多个比特率和/或媒体表达中。HTTP服务器104可以形成一部分内容分发网络(CDN)，所述CND可以指部署在多个骨干网上的多个数据中心中的服务器的分配系统，目的是分发内容。CDN可以包括一个或多个HTTP服务器104。尽管图1示出了HTTP服务器104，但其它DASH服务器，例如，源服务器、网页服务器和/或任何其它合适类型的服务器，都可以存储媒体内容。
DASH客户端108可以是任何网络节点，例如用于通过HTTP与HTTP服务器104通信的硬件设备。DASH客户端108可以是笔记本电脑、平板电脑、台式电脑、移动电话，或任何其它设备。DASH客户端108可以用于解析MPD以获取关于媒体内容的信息，例如程序的时间、媒体内容的可获得性、媒体类型、分辨率、最小和/或最大带宽、各种编码的媒体分量的存在、可访问性特性和所需的数字权限管理(DRM)、每个媒体分量(例如，音频数据分片和视频数据分片)在网络中的位置，和/或媒体内容的其它特征。DASH客户端108还可以用于根据从MPD中获取的信息选择合适的媒体内容编码版本以及通过提取位于HTTP服务器104上的媒体分片对媒体内容进行流式传输。DASH客户端108可以包括客户端DM112、应用114，以及图形用户界面(GUI)116。客户端DM112可以用于通过HTTP和DASH协议(例如，ISO/IEC23009-1)发送和接收数据。客户端DM112可以包括DASH接入引擎(DAE)118和媒体输出(ME)120。DAE118可以配置为一个主要部件，以用于接收来自HAAP服务器104(例如，服务器DM110)的原始数据以及将数据构造为一种供查看的格式。例如，DAE118可以将MPEG容器格式的数据，和时间数据一起格式化，然后输出格式化的数据到ME120。ME120可以负责初始化、播放，以及与内容关联的其它功能，而且可以将该内容输出到应用114。
应用114可以是网页浏览器或具有用于下载和呈现内容的接口的其它应用。应用114可耦合到GUI116，使得与DASH客户端108关联的用户可以查看应用114的各种功能。在一实施例中，应用114可以包括搜索栏，使得用户可以输入一字符串以搜索内容。如果应用114是一个媒体播放器，那么应用114可以包括搜索栏，使得用户可以输入一字符串以搜索电影。应用114可以呈现搜索匹配的列表，而用户可以从匹配中选择想要的内容(例如，电影)。选择之后，应用114可以向客户端DM112发送指令以便下载内容。客户端DM112可以下载内容和处理内容以便输出到应用114。例如，应用114可以向GUI116提供指令以便GUI116显示进度栏，该进度栏表明内容的时间进度。GUI116可以是任何用于显示应用114的功能的GUI，使得用户可操作应用114。如上所述，GUI116可显示应用114的各种功能，使得用户可选择要下载的内容。GUI116随后可以显示内容以便用户查看。
图2为网络元件200的实施例的示意图，网络元件200可以用来传输和处理经过图1所示的至少一部分DASH系统100的数据业务。本发明所述的至少一些特征/方法可以在网络元件中实施。例如，本发明的特征/方法可以在硬件、固件和/或安装在硬件上运行的软件中实施。网络元件200可以是通过网络、系统和/或域传输数据的任何设备(例如，服务器、客户端、基站、用户设备、移动通信设备等)。此外，术语网络“元件”、“节点”、“设备”、“部件”、“模块”和/或类似术语可互换地使用以概括性地描述网络设备并且没有特定或特殊的意义，除非本发明内另有特殊说明和/或要求。在一项实施例中，网络元件200可以是用于传送元数据内的质量信息、实施DASH和/或通过HTTP连接建立和通信的装置。例如，网络元件200可以是如图1所述的HTTP服务器104或DASH客户端108，或者与如图1所述的HTTP服务器104或DASH客户端108合并。
网络元件200可以包括耦合到收发器(Tx/Rx)220的一个或多个下游端口210，收发器220可以是发射器、接收器或其组合。Tx/Rx220可以经由下游端口210传输和/或接收来自其它网络节点的帧。类似地，网络元件200可以包括耦合到多个上游端口240的另一Tx/Rx220，其中Tx/Rx220可以经由上游端口240传输和/或接收来自其它节点的帧。下游端口210和/或上游端口240可以包括电或光传输和/或接收部件。在另一项实施例中，网络元件200可以包括耦合到Tx/Rx220的一个或多个天线。Tx/Rx220可以经由一个或多个天线通过无线方式传输和/或接收来自其它网络元件的数据(例如，包)。
处理器230可以耦合到Tx/Rx220并且可以用于处理帧和/或确定向哪些节点发送(例如，传输)包。在一实施例中，处理器230可以包括一个或多个多核处理器和/或存储器模块250，其可以用作数据存储器、缓冲器等。处理器230可以实施为通用处理器或可以为一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或数字信号处理器(DSP)的一部分。尽管示为单个处理器，但处理器230不限于此并可以包括多个处理器。处理器230可以用于实施任何自适应方案以传送和/或发送元数据信息。
图2示出了存储器模块250可以耦合到处理器230并且可以是用于存储各种类型数据的非瞬时性介质。存储器模块250可以包括存储器设备，包括辅助存储器、只读存储器(ROM)和随机存取存储器(RAM)。辅助存储器通常包括一个或多个磁盘驱动器、固态驱动器(SSD)和/或磁带驱动器，并且用于数据的非易失性存储，而且如果RAM的容量不足以存储所有工作数据，辅助存储器则用作溢流数据存储设备。辅助存储器可以用于当程序被选择执行时存储加载到RAM的程序。ROM用于存储指令，可能还有在程序执行期间读取的数据。ROM是非易失性存储器设备，通常具有相对于辅助存储器的大存储容量来说较小的内存容量。RAM用于存储以易失性数据，可能还存储指令。访问ROM和RAM通常都快于访问辅助存储器。
存储器模块250可以用于存储执行本文中所述的系统和方法的指令。在一项实施例中，存储器模块250可以包括可以在处理器230上实施的媒体表达自适应模块260或元数据模块270。在一项实施例中，媒体表达自适应模块260可以在客户端上实施以使用质量信息选择媒体内容分片的媒体表达。在另一项实施例中，元数据模块270可以在服务器上实施以向一个或多个客户端传送质量信息和媒体内容分片。
应理解，通过将可执行指令编程和/或加载至网络元件200上，处理器230、缓存和长期存储器中的至少一个被改变，将网络元件200的一部分转换成特定机器或装置，例如本发明宣扬的拥有新颖功能的多核转发架构。加载可执行软件至计算机所实现的功能可以通过现有技术中公知的设计规则转换成硬件实施，这在电力工程和软件工程领域是很基础的。决定使用软件还是硬件来实施一个概念通常取决于对设计稳定性及待生产的单元数量的考虑，而不是从软件领域转换至硬件领域中所涉及的任何问题。通常，仍然通常改变的设计优先在在软件中实施，因为重新编写硬件实施方式比重新编写软件设计更为昂贵。通常，稳定及大规模生产的涉及更适于在软件中(例如，在ASIC中)实施，因为运行硬件实施的大规模生产比软件实施更为便宜。设计通常可以以软件形式进行开发和测试，之后通过现有技术中公知的设计规则转变成ASIC中等同的硬件实施，该ASIC硬线软件指令。由新的ASIC控制的机器是一种特定的机器或装置，同样地，编程和/或加载有可执行指令的电脑可视为特定的机器或装置。
本发明的任何处理可以通过致使处理器(例如，通用多核处理器)执行计算机程序来实施。在这种情况下，可以使用任何类型的非瞬时性计算机可读介质向计算机或网络设备提供计算机程序产品。计算机程序产品可存储在计算机或网络设备中的非瞬时性计算机可读介质中。非瞬时性计算机可读介质包括任何类型的有形存储介质。非瞬时性计算机可读介质的示例包括磁性存储介质(例如，软盘、磁盘、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、只读光盘(CD-ROM)、可录光碟(CD-R)、带读写式光驱(CD-R/W)、数字多功能光盘(DVD)、蓝(注册商标)光(BD)，以及半导体存储器(例如，掩蔽ROM、可编程ROM(PROM)、可擦除PROM、快闪ROM，以及RAM)。还可以使用任何类型的非瞬时性计算机可读介质向计算机或网络设备提供计算机程序产品。瞬时性计算机可读介质的示例包括电信号、光信号和电磁波。瞬时性计算机可读介质可以通过有线通信线路(例如，电线或光纤)或无线通信线路将程序提供给计算机。
图3为DASH自适应方法300的实施例的协议图。在一实施例中，HTTP服务器302可以与DASH客户端304传送数据内容。HTTP服务器302可以接收来自内容源(例如，如图1所述的内容源102)的媒体内容和/或可以生成媒体内容。例如，HTTP服务器302可以将媒体内容存储在存储器和/或缓存中。
在步骤306处，DASH客户端304可以通过向HTTP服务器302发送MPD请求传送MPD。该MPD请求可以包括用于下载或接收来自HTTP服务器302的数据内容分片和元数据信息的指令。在步骤308处，HTTP服务器302可以通过HTTP向DASH客户端304发送MPD。在其它实施例中，HTTP服务器302可以通过HTTP安全协议(HTTP)、电子邮件、通用串行总线(USB)驱动、广播或任何其它类型的数据传输来分发MPD。尤其是在图3中，DASH客户端304可以通过DAE(例如，如图1所述的DAE118)接收来自HTTP服务器302的MPD，而DAE可以处理MPD以构造和/或发出HTTP服务器302对元数据内容信息和数据内容分片的请求。步骤306和308可以是可选的，并且可以在其它实施例中省略。
在步骤310处，DASH客户端304可以向HTTP服务器302发送元数据信息请求。该元数据信息请求可以是对与一个或多个媒体分片关联的质量集、质量分片和/或质量信息的请求，如将在图4中论述的那样。在步骤312处，为了响应于接收元数据信息请求，HTTP服务器302可以向DASH客户端304发送元数据信息。
DASH客户端304可以接收、处理和/或格式化元数据信息。在步骤314处，DASH客户端304可以使用元数据信息选择下一媒体表达和/或用于流式传输的媒体表达。元数据信息可以包括质量信息。DASH客户端304可以使用质量信息来选择媒体表达级别，该媒体表达级别基于质量信息使用户体验质量最大化。质量阈值可以由DASH客户端304和/或终端用户确定和/或建立。终端用户可以基于性能要求、订阅、对内容的兴趣，和/或个人喜好确定质量阈值。DASH客户端304可以选择对应于质量分片大于或等于质量阈值的媒体分片。另外，DASH客户端304还可以考虑额外信息(例如，可用带宽或比特率)来选择媒体分片。例如，还可以考虑可用带宽量来分发所需的媒体分片。
在步骤316处，DASH客户端304可以向HTTP服务器302请求媒体分片。例如，如MPD所指示和基于接收到的元数据信息，DASH客户端304可以经由DAE向HTTP服务器302发送对媒体分片的媒体分片请求。所请求的媒体分片可以对应于使用元数据信息确定的媒体表达级别和/或自适应集。在步骤318处，为了响应于接收媒体分片请求，HTTP服务器302可以向DASH客户端304发送媒体分片。DASH客户端304可以接收、处理和/或格式化媒体分片。例如，媒体分片可以向用户(例如，可视地和/或可听见地)呈现。例如，在缓存周期之后，应用(例如，如图1所述的应用114)可以呈现媒体分片以便经由GUI(例如，如图1所述的GUI116)进行查看。DASH客户端304可以继续向HTTP服务器302发送元数据信息和/或媒体分片，或者接收来自HTTP服务器302的元数据信息和/或媒体分片，类似于先前结合步骤312至320所公开的那样。
图4为用于元数据信息指示的MPD400的实施例的示意图。MPD400可以包括媒体内容的质量信息和性能信息，例如最小带宽、帧率、音频采样率，和/或其它比特率信息。在一实施例中，HTTP服务器(例如，如图1所述的HTTP服务器104)可以生成MPD400以提供和/或实现元数据指示。MPD400是分层数据模型。根据ISO/IEC23009-1，MPD400可以被称为媒体呈现的形式化描述，用于提供流业务。媒体呈现反过来可以被称为建立呈现或媒体内容的数据的集合。尤其是，MPD400可以定义格式以通告HTTP通用资源定位符(URL)或网络地址，以便下载数据内容的分片。在一项实施例中，MPD400可以是可扩展标记语言(XML)文件。MPD400可以包括多个URL，这些URL指向一个或多个用于下载数据和元数据信息的分片的HTTP服务器。
MPD400可包括内容段落410、自适应集420、媒体表达430、分片440、子媒体表达450和子分片460元素。内容段落410可以与数据内容的一个时间段关联。根据ISO/IEC23009-1，内容段落410通常可以表达一个媒体内容时间段，在这个时间段内中存在一组具有一致性的媒体内容编码版本。换言之，这一组可用比特率、语言、标题、字幕等在这个时间段内不会改变。自适应集420可以包括一组可相互互换的媒体表达430。媒体表达430可以描述一个可交付的一个或多个媒体内容分量的编码版本。多个时间上连续的分片440可以形成媒体内容流或轨道。
为了适应网络条件或其它因素，DASH客户端(例如，如图1所述的DASH客户端108)可以从一个媒体表达切换到一个媒体表达。例如，DASH客户端可以确定其是否可以基于与媒体表达430关联的元数据信息支持特定的媒体表达430。如果否，那么DASH客户端会选择可以支持的不同媒体表达430。分片440可以被称为与URL关联的数据单元。换言之，分片440通常可以是使用单一ULR的单一HTTP请求所能获取的最大数据单元。DASH客户端可以用于下载所选媒体表达430内的每个分片，直到DASH客户端停止下载或直到DASH客户端选择另一媒体表达430。分片440、子媒体表达450和子分片460元素的其它详情在ISO/IEC23009-1中描述。
内容段落410、自适应集420、媒体表达430、分片440、子媒体表达450和子分片460元素可以用来引用各种形式的数据内容。在MPD中，元素和属性可以类似于那些在2008年第五版的XML1.0中定义的元素和属性，其内容以引入的方式并入本文本中，如全文再现一般。元素与属性通过首字母大写或驼峰式大小写以及粗体区分开来，但是本文中移除了粗体。每个元素可以包括一个或多个属性，这些属性可以是进一步定义元素的特性。属性可以通过前置‘@’符号进行区分。例如，内容段落410可包括“@start”属性，其可以指定当在呈现时间轴上时，与内容段落410关联的时间段开始。
对于每个内容段落410，可以获得一个或多个元数据集。例如，表1包括元数据集列表的实施例，例如QualitySet、BitrateSet和PowerSet。元数据集可以包括多个元数据媒体表达。在表1中，元数据集之一可以是包括表2中描述的多个质量表达的QualitySet。可选地，元数据集之一可以是包括多个比特率表达的BitrateSet或包括多个功率表达的PowerSet。
表1—内容段落元素的语义的实施例
在表2中，每个元数据表达可以与一个或多个对应的媒体表达一起指示。元数据表达以包括关于一个或多个媒体表达的质量信息而不包括媒体数据。因此，元数据表达可以与媒体表达区分开来。每个元数据表达可以与一个或多个媒体表达，例如使用轨道引用(例如，轨道引用元素‘cdsc’)关联。元数据表达可以包括多个元数据分片。每个元数据分片可以与一个或多个媒体分片关联。元数据分片可以包括与在媒体表达自适应期间考虑的媒体分片的内容关联的质量信息。元数据分片可以划分成多个子分片。例如，元数据分片可以包括记录元数据信息的索引信息，以及每个子分片的访问信息。
表2—QualitySet元素的语义的实施例
在一项实施例中，质量表达可以位于自适应集420相关的质量表达内的MPD400中。如表3所示，可以使用具有通用资源名称(URN)的元数据描述和/或通过设置@schemeIDUri值(例如，urn:mpeg:dash:metadata:2013)指示质量表达的方案。Role元素(例如，Represent.Role)可以在元数据集中使用以指示元数据类型(例如，质量、比特率或功率)。例如，表4包括Role元素列表的实施例。可以为不同的元数据类型分配不同Role值。
表3—QualityMetric元素的语义的实施例
Role@value 描述
质量 媒体数据的质量信息在该媒体表达中提供
比特率 媒体数据的比特率信息在该媒体表达中提供
功率 媒体数据的功耗信息在该媒体表达中提供
表4—各种Role元素的实施例
在另一实施例中，质量表达可以位于新的集合，例如QualitySet中。QualitySet可以重用定义用于与QualitySet关联的自适应集的一些元素和/或属性。QualitySet可以使用标识符(例如，@id属性)以将QualitySet链接和/或引用到自适应集。例如，QualitySet可以通过设置@associationId和/或@associationType与自适应关联，如表5所示。质量表达可以提供质量信息给自适应集中的所有媒体表达。在每个周期内，QualitySet可以与自适应集成对出现。
表5—Representation元素的语义的实施例
一个媒体表达可以包含在一个或多个文件中。一个文件可以包括整个媒体表达的元数据并且可以如ISO/IEC14496-12中的名称为“信息技术—音频-视觉对象的编码—第12部分：ISO基媒体文件格式(Informationtechnology–Codingofaudio-visualobjects–Part12:ISObasemediafileformat)”所述进行格式化，其内容以引入的方式并入本文本中，如全文再现一般。在一项实施例中，该文件还可以包括用于呈现的媒体数据。ISO基础媒体格式文件(BMFF)文件可以以灵活和可扩展格式承载媒体呈现(例如，媒体内容的集合)的时间媒体信息，这可有利于媒体内容的交换、管理、编辑和呈现。可选地，不同的文件可以包括用于呈现的媒体数据。文件可以是ISO文件、ISO-BMFF文件，图像文件，或者其它格式。例如，媒体数据可以是多个联合活动图像专家组(JPEG)2000文件。该文件可以包括时间信息、成帧(例如，位置和大小)信息。该文件可包括媒体轨道(例如，视频轨道、音频轨道和字幕轨道)和元数据轨道。可以使用唯一标识轨道的轨道标识符来标识这些轨道。该文件可以构成对象和子对象(另一对象内的对象)的序列。这些对象可以被称为容器元素。例如，一个文件可以包括元数据元素、媒体呈现元数据元素(moviebox)、媒体元素、分片元素和轨道引用元素。一个媒体元素可以承载媒体呈现的媒体数据(例如，视频图像帧和/或音频)，而媒体呈现元数据元素可以承载呈现的元数据。一个媒体呈现元数据元素可包括承载与媒体数据关联的元数据的多个子元素。例如，一个媒体呈现元数据元素可以包括承载媒体元素中的视频数据描述的视频轨道元素，承载媒体元素中的音频数据描述的音频轨道元素，以及承载视频数据和/或音频数据流式传输和/或播放的指示的指示元素。文件及其内的对象的其它细节可以如ISO/IEC14496-12中所述。
在一项实施例中，元数据信息可以包括与用户体验质量有关的信息。例如，元数据信息可以是质量信息、比特率信息，或功耗信息。质量信息可以指媒体内容的编码质量。编码媒体数据的质量可以通过若干粒度级别测量和表达。粒度级别的一些示例可包括样本轨道的时间间隔、轨道样本序列(例如，样本的集合)、媒体轨道基片(例如，轨道样本序列的集合)、媒体呈现元数据基片(例如，媒体轨道基片的集合)，以及子分片(例如，媒体呈现元数据基片的集合)。内容制作商可选择粒度级别，计算媒体内容在所选粒度级别处的质量度量，以及将质量度量存储在内容服务器上。质量信息可以是客观数据和/或主观数据并且可包括峰值信噪比(PSNR)、平均意见分(MOS)、结构化相似性(SSIM)索引、帧重要性(FSIG)、平均信号误差(MSE)、多尺度结构化相似性索引(MS-SSIM)、视频质量的感知评估(PEVQ)、视频质量度量(VQM)，和/或本领域普通技术人员在查看本发明后认识到的其它质量度量。
在一项实施例中，质量信息可以承载在媒体文件内的质量轨道元素中，例如在质量轨道元素的头部中。一个质量轨道可以由包括参数，例如质量度量类型、粒度级别和比例因子等的数据结构描述。质量轨道中的每个样本可以包括质量值，其中该质量值可以是质量度量类型。另外，每个样本可以指示质量值的比例因子，其中该比例因子可以是扩大质量值的范围的乘法因子。质量轨道还可以包括元数据分片索引元素，而元数据分片索引元素可以包括与分片索引元素基本上类似的结构，如ISO/IEC14496-12中所定义的一样。可选地，质量信息可以承载为元数据轨道，如ISO/IEC14496-12中所述的一样。例如，视频质量度量条目可以如表6所示。质量度量可以位于描述质量度量的结构(例如，描述元素QualityMetricsConfigurationsBox)中，这些质量度量在用于每个度量值的每个样本和字段大小期间出现。在表6中，每个样本是一组一一对应于所宣称的度量的质量值。若需要，每个值可以通过前置零字节到由变量field_size_bytes指示的多个字节来填充。在此示例中，变量准确性可以是固定点14.2数，其指示样本元素中的样本精度。另外，条件语句中的项“0x000001”可以指示值准确性(例如，准确到约0.25)。对于整数值的质量度量(例如，MOS)，对应的值可以是1(例如，0x0008)。
表6—视频质量度量的样本条目的实施例
表7为质量信息的句法的实施例。变量metric_type可以指示表示质量的度量(例如，1：PSNR、2：MOS，或3：SSIM)。在一实施例中，该元素可以位于分片结构(例如，在分片类型元素‘styp’之后)中或在媒体呈现元数据结构(例如，媒体呈现元数据元素‘moov’)中。
表7—质量信息的句法的实施例
在另一示例中，元数据表达可以是包括关于一个或多个媒体表达430的功耗信息的功率表达。例如，功耗信息可以基于可用带宽、带宽消耗和/或功率要求提供关于分片质量的信息。元数据信息度量的其它细节可以如ISO/IECCD23001-10的名称为“信息技术—MPEG系统技术—第10部分：ISO基础媒体文件格式的媒体的时间元数据度量的承载(Informationtechnology–MPEGsystemstechnologies–Part10:CarriageofTimedMetadataMetricsofMediainISOBaseMediaFileFormat)”所述，其内容以引入的方式并入本文本中，如全文再现一般。元数据信息可以存储在与媒体内容相同(例如，相同服务器)或不同位置(例如，不同服务器)中。也就是说，MPD400可引用一个或多个位置以获取媒体内容和元数据信息。
表8为质量分片的句法的实施例。例如，表8中的语法可以在质量分片没有划分成子分片时使用。
表8—分片的句法的实施例
表9为包括子分片的质量分片的句法的实施例。变量quality_value可以指示被引用子分片中的媒体数据的质量。变量scale_factor可以控制quality_value的精度。其它句法细节可以如ISO/IECJTC1/SC29/WG11/MPEG2013/m28168的名称为“质量驱动的自适应的带内指示(InBandSignalingforQualityDrivenAdaptation)”所述，其内容以引入的方式并入本文本中，如全文再现一般。
表9—包括子分片的分片的句法的实施例
图5为自适应集关联500的实施例的示意图。如先前所论述，自适应集关联500可以在使用自适应集和元数据集的MPD(例如，如图4所述的MPD400)中实施。在一项实施例中，自适应集502可以包括到一个或多个其它元数据集(例如，质量集、比特率集或功率集)的关联。例如，自适应集关联500可以是自适应集502和质量集504之间的关联。自适应集502可以包括多个媒体表达506，每个媒体表达包括多个媒体分片510。质量集504可以包括多个质量表达508，每个质量表达包括多个质量分片512。在一项实施例中，媒体分片510和质量分片512之间的关联可以是一对一关联。每个媒体表达1-k中的每个媒体分片(MS)1-n可以具有对应的质量表达1-k中的对应的质量分片(QS)1-n。例如，媒体分片1,1可以对应于质量分片1,1；媒体分片1,2可以对应于质量分片1,2，以此类推。可选地，元数据分片可以对应于对应媒体表达内的多个媒体分片。例如，质量分片可以对应于媒体表达中的前半部分的连续媒体分片，而随后的质量分片可以对应于媒体表达中的后半部分的连续媒体分片。
图6为自适应集关联600的另一实施例的示意图。在一实施例中，元数据分片可以与一个或多个媒体子分片(例如，如图4所述的子分片460)关联。在图6中，媒体分片602可以包括多个媒体子分片604至608。元数据分片610可以与媒体子分片604至608关联。元数据分片610可以包括多个分片元素(例如，分片索引元素612和614)以记录媒体子分片604至608。分片索引元素612可以记录媒体子分片604，而分片索引元素614可以记录媒体子分片606和608。例如，分片索引元素612可以使用索引S1,1(m_s1)引用媒体子分片604，而分片索引元素614可以使用索引S2,1(m_s2)和S2,2(m_s3)分别引用媒体子分片606和608。
图7为媒体表达自适应方法700的实施例的流程图。在一实施例中，媒体表达自适应方法700可以在客户端(例如，如图1所述的DASH客户端108)上实施以使用质量信息选择媒体内容分片的媒体表达。在步骤702处，方法700可以请求包括用于下载或接收数据内容分片和元数据信息的指令的MPD。在步骤704处，方法700可以接收MPD。步骤702和704可以是可选的并且可以在一实施例中省略。在步骤706处，方法700可以发送质量信息请求。在步骤708处，方法700可以接收质量信息。在步骤710处，方法700可以使用质量信息选择媒体分片。例如，方法700可以使用如图3的步骤316所述的操作。在步骤712处，方法700可以发送请求使用质量信息选择的媒体分片的媒体分片请求。在步骤714处，方法700可以接收媒体分片。方法700可以继续请求和/或接收质量信息和/或媒体分片，类似于先前结合步骤706至714论述的那样。
图8为媒体表达自适应方法800的另一实施例的流程图。在一实施例中，媒体表达自适应方法800可以在HTTP服务器(例如，如图1所述的HTTP服务器104)上实施以向一个或多个客户端(例如，如图1所述的DASH客户端108)传送质量信息和媒体内容分片。在步骤802处，方法800可以接收对MPD的MPD请求，该MPD包括用于下载或接收数据内容分片和元数据信息的指令。在步骤804处，方法800可以发送MPD。步骤802和804可以是可选的，并且可以在其它实施例中省略。在步骤806处，方法800可以接收质量信息请求。在步骤808处，方法800可以发送质量信息。在步骤810处，方法800可以接收媒体分片请求。在步骤812处，方法800可以发送所请求的媒体分片。方法800可以继续接收和/或发送质量信息和/或媒体分片，类似于先前结合步骤806至812论述的那样。
本发明公开至少一项实施例，且所属领域的普通技术人员对所述实施例和/或所述实施例的特征作出的变化、组合和/或修改均在本发明公开的范围内。因组合、合并和/或省略所述实施例的特征而得到的替代性实施例也在本发明的范围内。在明确说明数字范围或限制的情况下，此类表达范围或限制应被理解成包括在明确说明的范围或限制内具有相同大小的迭代范围或限制(例如，从约为1到约为10包括2、3、4等；大于0.10包括0.11、0.12、0.13等)。例如，只要公开具有下限Rl和上限Ru的数字范围，则明确公开了此范围内的任何数字。具体而言，在所述范围内的以下数字是明确公开的：R＝Rl+k*(Ru–Rl)，其中k为从1％到100％范围内以1％递增的变量，即，k为1％、2％、3％、4％、5％……50％、51％、52％……95％、96％、97％、98％、99％或100％。此外，由上文所定义的两个数字R定义的任何数字范围也是明确公开的。相对于权利要求的任一元素使用术语"选择性地"意味着所述元素是需要的，或者所述元素是不需要的，两种替代方案均在所述权利要求的范围内。使用如“包括”、“包含”和“具有”等较广术语应被理解为提供对如“由……组成”、“基本上由……组成”以及“大体上由……组成”等较窄术语的支持。因此，保护范围不受上文所陈述的说明限制，而是由所附权利要求书界定，所述范围包含所附权利要求书的标的物的所有等效物。每一和每条权利要求作为进一步揭示内容并入说明书中，且所附权利要求书是本发明的实施例。对所述揭示内容中的参考进行的论述并非承认其为现有技术，尤其是具有在本申请案的在先申请优先权日期之后的公开日期的任何参考。本发明中所引用的所有专利、专利申请案和公开案的揭示内容特此以引用的方式并入本文本中，其提供补充本发明的示例性、程序性或其它细节。
虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其他特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其他变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (20)

1.一种媒体表达自适应方法，其特征在于，包括：
获取包括用于获取多个媒体分片及其质量信息的指令的媒体呈现描述(MPD)；
根据所述MPD中提供的所述指令发送质量信息请求；
接收包括对应于所述多个媒体分片的多个质量分片的所述质量信息；
基于所述质量信息选择媒体分片；
发送请求所述媒体分片的媒体分片请求；以及
接收所述媒体分片以响应于所述媒体分片请求。
2.根据权利要求1所述的方法，其特征在于，所述发送和接收的步骤使用超文本传输协议(HTTP)连接执行。
3.根据权利要求1所述的方法，其特征在于，所述质量分片与媒体分片具有一对一关联。
4.根据权利要求1所述的方法，其特征在于，一个或多个所述元数据分片与所述多个媒体分片中的一个或多个关联。
5.根据权利要求1所述的方法，其特征在于，还包括获取与所述多个媒体分片关联的比特率信息。
6.根据权利要求1所述的方法，其特征在于，还包括获取关于可用网络带宽的信息。
7.根据权利要求1所述的方法，其特征在于，发送所述质量信息是为了响应获取包括用于获取所述多个媒体分片及其质量信息的指令的所述MPD。
8.根据权利要求1所述的方法，其特征在于，所述质量信息可以独立于所述媒体分片接入。
9.一种计算机程序产品，其特征在于，包括存储在非瞬时性计算机可读介质上的计算机可执行指令，当处理器执行所述指令时，致使网络设备执行以下操作：
获取包括用于获取媒体内容流和与其关联的质量信息的指令的基于超文本传输协议的动态自适应流媒体的媒体呈现描述(MPD)；
确定所述媒体内容流的质量级别阈值；
请求与所述媒体内容流关联的质量信息；
接收与所述媒体内容流关联的所述质量信息；
选择对应的质量分片大于所述质量级别阈值的媒体分片；
发送请求所述媒体分片的媒体分片请求；以及
接收所述媒体分片。
10.根据权利要求9所述的计算机程序产品，其特征在于，所述质量信息包括多个质量分片，每个质量分片对应于所述媒体内容流内的多个媒体分片中的一个。
11.根据权利要求9所述的计算机程序产品，其特征在于，所述质量信息包括对应于所述媒体内容流内的多个媒体分片的多个质量分片。
12.根据权利要求11所述的计算机程序产品，其特征在于，请求所述质量信息是为了响应于获取包括用于获取所述媒体内容流和与其关联的质量信息的指令的所述MPD。
13.根据权利要求9所述的计算机程序产品，其特征在于，所述计算机可执行指令由所述处理器执行时，致使所述网络设备通过使用与所述媒体内容流中的一个或多个媒体分片关联的比特率信息选择所述媒体分片。
14.根据权利要求9所述的计算机程序产品，其特征在于，所述计算机可执行指令由所述处理器执行时，致使所述网络设备通过使用与所述媒体内容流中的一个或多个媒体分片关联的可用带宽信息选择所述媒体分片。
15.根据权利要求9所述的计算机程序产品，其特征在于，所述MPD包括用于获取所述媒体内容流中的多个媒体分片和多个质量分片的信息。
16.一种根据包括用于获取多个媒体分片及其元数据信息的信息的媒体呈现描述(MPD)进行媒体表达自适应的装置，其特征在于，包括：
存储器；以及
耦合到所述存储器的处理器，其中所述存储器包括当由所述处理器执行时致使所述装置执行以下操作的指令：
根据所述MPD接收元数据信息请求；
发送包括质量信息的元数据信息；
接收请求媒体分片的媒体分片请求；以及
根据所述MPD发送所述媒体分片。
17.根据权利要求16所述的装置，其特征在于，由所述处理器执行的所述指令致使所述装置通过超文本传输协议(HTTP)连接传送数据。
18.根据权利要求16所述的装置，其特征在于，所述元数据信息包括与所述多个媒体分片具有一一对应关系的多个元数据片段。
19.根据权利要求16所述的装置，其特征在于，所述元数据分片包括多个元数据分片，以及所述多个元数据分片中的每个对应于所述多个媒体分片中的两个或两个以上媒体分片。
20.根据权利要求16所述的装置，其特征在于，所述元数据信息还包括所述多个媒体分片的比特率信息。
CN201480022359.7A 2013-04-19 2014-04-18 基于超文本协议的动态自适应流媒体中的媒体质量信息指示 Active CN105379293B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361814069P 2013-04-19 2013-04-19
US61/814,069 2013-04-19
PCT/US2014/034675 WO2014172654A1 (en) 2013-04-19 2014-04-18 Media quality information signaling in dynamic adaptive video streaming over hypertext transfer protocol

Publications (2)

Publication Number Publication Date
CN105379293A true CN105379293A (zh) 2016-03-02
CN105379293B CN105379293B (zh) 2019-03-26

Family

ID=50829273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480022359.7A Active CN105379293B (zh) 2013-04-19 2014-04-18 基于超文本协议的动态自适应流媒体中的媒体质量信息指示

Country Status (4)

Country Link
US (1) US10284612B2 (zh)
KR (1) KR101798741B1 (zh)
CN (1) CN105379293B (zh)
WO (1) WO2014172654A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284073A (zh) * 2018-09-30 2019-01-29 北京金山云网络技术有限公司 数据存储方法、装置、系统、服务器、控制节点及介质
CN109313629A (zh) * 2016-05-11 2019-02-05 电子湾有限公司 管理通过网络连接的数据传输
CN112995134A (zh) * 2021-02-03 2021-06-18 中南大学 一种三维视频流媒体传输方法与可视化方法
CN113141379A (zh) * 2016-10-10 2021-07-20 佳能株式会社 在定时媒体数据流式传输期间改进渲染显示的方法、设备和计算机程序
CN113545095A (zh) * 2019-03-08 2021-10-22 佳能株式会社 优化封装后的媒体内容的一部分的传输的方法、装置和计算机程序

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102080116B1 (ko) * 2013-06-10 2020-02-24 삼성전자 주식회사 이동통신 시스템에서 비디오 비트레이트 할당 방법 및 장치
US9432427B2 (en) * 2013-07-25 2016-08-30 Futurewei Technologies, Inc. System and method for effectively controlling client behavior in adaptive streaming
JP6327816B2 (ja) * 2013-09-13 2018-05-23 キヤノン株式会社 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム
KR20150065289A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 데이터 재사용 방법 및 전자장치
US20150199498A1 (en) * 2014-01-10 2015-07-16 Furturewei Technologies, Inc. Flexible and efficient signaling and carriage of authorization acquisition information for dynamic adaptive streaming
WO2015119753A2 (en) * 2014-02-05 2015-08-13 Utc Fire & Security Americas Corporation, Inc. Uploading data from mobile devices
JP6340882B2 (ja) * 2014-04-04 2018-06-13 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
KR20170030490A (ko) * 2014-07-07 2017-03-17 소니 주식회사 수신 장치, 수신 방법, 송신 장치, 및 송신 방법
US10110652B2 (en) * 2014-10-14 2018-10-23 Intel IP Corporation Carriage of media content quality information
EP3035692B1 (en) * 2014-12-19 2020-11-04 Vodafone Holding GmbH Method of adapting a network readiness for downloading video data
US9860294B2 (en) * 2014-12-24 2018-01-02 Intel Corporation Media content streaming
MX2017008774A (es) * 2014-12-31 2018-02-13 Nokia Technologies Oy Prediccion inter-capa para codificacion y decodificacion de video escalable.
EP4325808A3 (en) * 2015-02-11 2024-04-24 Vid Scale, Inc. Systems and methods for generalized http headers in dynamic adaptive streaming over http (dash)
US10681107B2 (en) 2015-06-16 2020-06-09 Apple Inc. Adaptive video content for cellular communication
WO2018044338A1 (en) * 2016-08-30 2018-03-08 Intel IP Corporation Quantization parameter reporting for video streaming
MX2022004787A (es) * 2016-10-12 2022-12-01 Fraunhofer Ges Forschung Transmisión continua espacialmente desigual.
US10476943B2 (en) * 2016-12-30 2019-11-12 Facebook, Inc. Customizing manifest file for enhancing media streaming
US10440085B2 (en) 2016-12-30 2019-10-08 Facebook, Inc. Effectively fetch media content for enhancing media streaming
JP6247782B1 (ja) * 2017-02-15 2017-12-13 パナソニック株式会社 端末装置、映像配信システムおよび映像配信方法
US11321516B2 (en) * 2018-01-19 2022-05-03 Qualcomm Incorporated Processing dynamic web content of an ISO BMFF web resource track
WO2019182703A1 (en) * 2018-03-22 2019-09-26 Futurewei Technologies, Inc. Immersive media metrics for rendered viewports
GB2582155B (en) * 2019-03-12 2023-12-27 Canon Kk Method, device, and computer program for signaling available portions of encapsulated media content
US11622164B2 (en) * 2019-07-12 2023-04-04 Carrier Corporation System and method for streaming video/s
KR20210144117A (ko) * 2020-05-21 2021-11-30 삼성전자주식회사 멀티미디어 콘텐츠를 제공하는 방법 및 그 전자 장치
CN113766272B (zh) * 2020-06-04 2023-02-10 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法
EP4009650A1 (en) * 2020-12-03 2022-06-08 Anevia Method for media stream processing and apparatus for implementing the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120124179A1 (en) * 2010-11-12 2012-05-17 Realnetworks, Inc. Traffic management in adaptive streaming protocols
US20130007223A1 (en) * 2006-06-09 2013-01-03 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US20130042015A1 (en) * 2011-08-12 2013-02-14 Cisco Technology, Inc. Constant-Quality Rate-Adaptive Streaming

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030049014A1 (en) 2001-09-07 2003-03-13 Tri-Vision Electronics Inc. Method and apparatus for playing digital media and digital media for use therein
KR100486713B1 (ko) * 2002-09-17 2005-05-03 삼성전자주식회사 멀티미디어 스트리밍 장치 및 방법
US7536681B2 (en) * 2005-03-22 2009-05-19 Intel Corporation Processing secure metadata at wire speed
US20090164564A1 (en) 2005-07-01 2009-06-25 Michael John Willis System and methods for mobilizing web content
US9697230B2 (en) 2005-11-09 2017-07-04 Cxense Asa Methods and apparatus for dynamic presentation of advertising, factual, and informational content using enhanced metadata in search-driven media applications
US20070118873A1 (en) * 2005-11-09 2007-05-24 Bbnt Solutions Llc Methods and apparatus for merging media content
JP4578396B2 (ja) * 2005-12-08 2010-11-10 株式会社日立超エル・エス・アイ・システムズ 情報処理装置
US7965650B2 (en) 2006-05-18 2011-06-21 Cisco Technology, Inc. Method and system for quality monitoring of media over internet protocol (MOIP)
US9432433B2 (en) * 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) * 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US8464066B1 (en) 2006-06-30 2013-06-11 Amazon Technologies, Inc. Method and system for sharing segments of multimedia data
RU2477883C2 (ru) 2007-08-20 2013-03-20 Нокиа Корпорейшн Сегментированные метаданные и индексы для потоковых мультимедийных данных
US20090119594A1 (en) 2007-10-29 2009-05-07 Nokia Corporation Fast and editing-friendly sample association method for multimedia file formats
US8832753B2 (en) 2008-01-16 2014-09-09 Apple Inc. Filtering and tailoring multimedia content based on observed user behavior
US20090187593A1 (en) * 2008-01-17 2009-07-23 Qualcomm Incorporated Methods and Apparatus for Targeted Media Content Delivery and Acquisition in a Wireless Communication Network
US8370887B2 (en) 2008-05-30 2013-02-05 Microsoft Corporation Media streaming with enhanced seek operation
US20100002685A1 (en) 2008-06-30 2010-01-07 Shaham Eliezer Method and system for providing communication
US8155581B2 (en) 2008-10-18 2012-04-10 GM Global Technology Operations LLC Method and system for exhibiting media segments
PL3122043T3 (pl) 2008-11-04 2018-07-31 Telefonaktiebolaget Lm Ericsson (Publ) Sposób i system wyznaczania wartości jakości strumienia wideo
US9516375B2 (en) * 2008-12-02 2016-12-06 Orckit Ip, Llc Edge optimized transrating system
US8396114B2 (en) 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US9917874B2 (en) * 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110246660A1 (en) 2009-09-29 2011-10-06 Nokia Corporation Systems, Methods, and Apparatuses for Media File Streaming
US8484368B2 (en) 2009-10-02 2013-07-09 Disney Enterprises, Inc. Method and system for optimizing download and instantaneous viewing of media files
US9124642B2 (en) 2009-10-16 2015-09-01 Qualcomm Incorporated Adaptively streaming multimedia
WO2011057012A1 (en) 2009-11-04 2011-05-12 Huawei Technologies Co., Ltd System and method for media content streaming
CN102055718B (zh) * 2009-11-09 2014-12-31 华为技术有限公司 一种在http streaming系统中实现分层请求内容的方法,装置和系统
KR101777347B1 (ko) 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
US8510375B2 (en) 2009-12-11 2013-08-13 Nokia Corporation Apparatus and methods for time mapping media segments in streaming media files
US20110213681A1 (en) * 2010-02-03 2011-09-01 Mohammad Shahid Delivering enhanced content to broadcast media receivers with internet connection and enhancing user experience
US20110202270A1 (en) * 2010-02-03 2011-08-18 Sharma Sridar G Delivery of advertisments over broadcasts to receivers with upstream connection and the associated compensation models
EP2375680A1 (en) 2010-04-01 2011-10-12 Thomson Licensing A method for recovering content streamed into chunk
EP2383999A1 (en) 2010-04-29 2011-11-02 Irdeto B.V. Controlling an adaptive streaming of digital content
US8660372B2 (en) 2010-05-10 2014-02-25 Board Of Regents Of The University Of Texas System Determining quality of an image or video using a distortion classifier
US9497290B2 (en) 2010-06-14 2016-11-15 Blackberry Limited Media presentation description delta file for HTTP streaming
CN102291373B (zh) 2010-06-15 2016-08-31 华为技术有限公司 元数据文件的更新方法、装置和系统
KR101768222B1 (ko) 2010-07-20 2017-08-16 삼성전자주식회사 적응적 스트리밍 방식의 컨텐트 송수신 방법 및 장치
US8190677B2 (en) 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US9549197B2 (en) 2010-08-16 2017-01-17 Dolby Laboratories Licensing Corporation Visual dynamic range timestamp to enhance data coherency and potential of metadata using delay information
EP3327656A1 (en) 2010-09-06 2018-05-30 Electronics And Telecommunications Research Institute Apparatus and method for providing streaming content
US8997160B2 (en) 2010-12-06 2015-03-31 Netflix, Inc. Variable bit video streams for adaptive streaming
US9661104B2 (en) 2011-02-07 2017-05-23 Blackberry Limited Method and apparatus for receiving presentation metadata
AU2012214332B2 (en) 2011-02-11 2015-05-21 Interdigital Patent Holdings, Inc. Method and apparatus for distribution and reception of content
CN103493459B (zh) 2011-04-01 2016-08-24 英特尔公司 一种用于接收自适应多媒体流送的方法和设备
US9590814B2 (en) * 2011-08-01 2017-03-07 Qualcomm Incorporated Method and apparatus for transport of dynamic adaptive streaming over HTTP (DASH) initialization segment description fragments as user service description fragments
US20140219088A1 (en) * 2011-09-30 2014-08-07 Ozgur Oyman Quality of experience enhancements over wireless networks
US9674266B2 (en) * 2011-10-17 2017-06-06 Telefonaktiebolaget Lm Ericsson (Publ) Method for adaptive streaming, local storing and post-storing quality increase of a content file
US9246842B2 (en) * 2012-04-27 2016-01-26 Intel Corporation QoE-aware radio access network architecture for http-based video streaming
TWI610554B (zh) 2012-07-10 2018-01-01 Ｖｉｄ衡器股份有限公司 無線傳輸/接收單元中內容切換/品質驅動切換的方法
US9125073B2 (en) 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
US8995255B2 (en) 2012-08-03 2015-03-31 Intel Corporation Coverage adjustment in E-UTRA networks
US9264475B2 (en) 2012-12-31 2016-02-16 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
KR101758167B1 (ko) * 2013-01-15 2017-07-14 후아웨이 테크놀러지 컴퍼니 리미티드 미디어 콘텐츠의 적응 스트리밍을 위한 품질 정보의 사용
HUE037479T2 (hu) * 2013-01-17 2018-08-28 Intel Ip Corp Tartalom URL hitelesítés DASH-hoz
CN104854835B (zh) * 2013-01-17 2018-07-06 英特尔Ip公司 用于dash感知网络应用功能(d-naf)的装置和方法
JP6254188B2 (ja) * 2013-01-17 2017-12-27 インテル アイピー コーポレーション Ｉｍｓベースのｄａｓｈサービスにおいて、プレゼンスサーバによりプレゼンス情報を供給する方法、および、プレゼンスサーバを介してプレゼンス情報を受信するユーザ機器（ｕｅ）
EP2965529A2 (en) 2013-03-06 2016-01-13 Interdigital Patent Holdings, Inc. Power aware adaptation for video streaming
US10063921B2 (en) 2013-03-06 2018-08-28 Interdigital Patent Holdings, Inc. Power aware adaptation for video streaming
KR101879318B1 (ko) 2013-03-06 2018-07-18 인터디지탈 패튼 홀딩스, 인크 비디오 스트리밍을 위한 전력 인식 적응
US20160050246A1 (en) * 2013-03-29 2016-02-18 Intel IP Corporation Quality-aware rate adaptation techniques for dash streaming
US9160515B2 (en) * 2013-04-04 2015-10-13 Intel IP Corporation User equipment and methods for handover enhancement using scaled time-to-trigger and time-of-stay
JP6239102B2 (ja) * 2013-10-25 2017-11-29 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． アダプティブ・ストリーミングにおいてリプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を関連付けるシステムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130007223A1 (en) * 2006-06-09 2013-01-03 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US20120124179A1 (en) * 2010-11-12 2012-05-17 Realnetworks, Inc. Traffic management in adaptive streaming protocols
US20130042015A1 (en) * 2011-08-12 2013-02-14 Cisco Technology, Inc. Constant-Quality Rate-Adaptive Streaming

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109313629A (zh) * 2016-05-11 2019-02-05 电子湾有限公司 管理通过网络连接的数据传输
CN109313629B (zh) * 2016-05-11 2023-03-31 电子湾有限公司 管理通过网络连接的数据传输
CN113141379A (zh) * 2016-10-10 2021-07-20 佳能株式会社 在定时媒体数据流式传输期间改进渲染显示的方法、设备和计算机程序
CN113141379B (zh) * 2016-10-10 2022-12-20 佳能株式会社 在定时媒体数据流式传输期间改进渲染显示的方法、设备和计算机程序
CN109284073A (zh) * 2018-09-30 2019-01-29 北京金山云网络技术有限公司 数据存储方法、装置、系统、服务器、控制节点及介质
CN109284073B (zh) * 2018-09-30 2020-03-06 北京金山云网络技术有限公司 数据存储方法、装置、系统、服务器、控制节点及介质
US11385830B2 (en) 2018-09-30 2022-07-12 Beijing Kingsoft Cloud Network Technology Co., Ltd. Data storage method, apparatus and system, and server, control node and medium
CN113545095A (zh) * 2019-03-08 2021-10-22 佳能株式会社 优化封装后的媒体内容的一部分的传输的方法、装置和计算机程序
CN112995134A (zh) * 2021-02-03 2021-06-18 中南大学 一种三维视频流媒体传输方法与可视化方法

Also Published As

Publication number Publication date
CN105379293B (zh) 2019-03-26
KR20160002981A (ko) 2016-01-08
US20140317308A1 (en) 2014-10-23
US10284612B2 (en) 2019-05-07
WO2014172654A1 (en) 2014-10-23
KR101798741B1 (ko) 2017-11-16

Similar Documents

Publication Publication Date Title
CN105379293A (zh) 基于超文本协议的动态自适应流媒体中的媒体质量信息指示
US10819815B2 (en) Apparatus and method for providing streaming content
US10630759B2 (en) Method and apparatus for generating and reproducing adaptive stream based on file format, and recording medium thereof
JP6064251B2 (ja) 動的適応型ハイパーテキスト転送プロトコルストリーミングにおけるメタデータ情報のシグナリングおよび搬送
CN105052107B (zh) 使用质量信息进行媒体内容自适应传输
KR101594351B1 (ko) 다수의 소스들로부터의 멀티미디어 데이터의 스트리밍
US9521469B2 (en) Carriage of quality information of content in media formats
CN107634930B (zh) 一种媒体数据的获取方法和装置
CN104937583A (zh) 一种对媒体内容进行自适应的方法和装置
US9705955B2 (en) Period labeling in dynamic adaptive streaming over hypertext transfer protocol
CN106134146A (zh) 处理连续的多周期内容
KR102042213B1 (ko) 스트리밍 컨텐츠 제공 장치 및 방법
KR101956113B1 (ko) 스트리밍 컨텐츠 제공 장치 및 방법
KR102272853B1 (ko) 스트리밍 컨텐츠 제공 장치 및 방법
Begen Spending" quality"'time with the web video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant