CN114422833A - 由无线发射/接收单元执行的方法及无线发射/接收单元 - Google Patents

由无线发射/接收单元执行的方法及无线发射/接收单元 Download PDF

Info

Publication number
CN114422833A
CN114422833A CN202111520871.2A CN202111520871A CN114422833A CN 114422833 A CN114422833 A CN 114422833A CN 202111520871 A CN202111520871 A CN 202111520871A CN 114422833 A CN114422833 A CN 114422833A
Authority
CN
China
Prior art keywords
segment
quality
file
segments
quality value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111520871.2A
Other languages
English (en)
Inventor
Y·雷兹尼克
E·阿斯蓬
陈志峰
R·瓦纳莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN114422833A publication Critical patent/CN114422833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本申请公开一种由无线发射/接收单元执行的方法及无线发射/接收单元，其中所述方法包括：接收清单文件，该清单文件包括媒体内容的多个分段的描述，其中每个分段表示所述媒体内容的基于时间的部分，以及其中所述清单文件为所述多个分段中的每个分段指定比特率和绝对质量等级；基于与所述多个分段中一分段相关联的所述比特率和绝对质量等级来选择所述分段；发送针对所述分段的请求；以及接收所述分段。

Description

由无线发射/接收单元执行的方法及无线发射/接收单元
本申请是申请日为2013年07月10日、申请号为2013800371113、名称为“质量驱动串流”的中国发明专利申请的分案申请(申请号为201811202066.3、名称为“由无线发射/接收单元执行的方法以及无线发射/接收单元”)的分案申请。
相关申请的交叉引用
本申请要求2012年7月10日提交的美国临时专利申请No.61/669,983以及2013年6月14日提交的美国临时专利申请No.61/835,105的权益，所述申请的内容全部作为引用目的结合于此。
背景技术
MPEG/3GPP动态自适应HTTP串流(streaming)(DASH)标准可以定义针对通过无线和有线网络的串流内容的带宽自适应传递的设计的框架。然而，MPEG/3GPP DASH标准不提供针对感测和适应编码后的视频内容的复杂性和质量(quality)的机制。这在网络带宽资源使用中导致了一定的效率低下并且致使次优的用户体验。
发明内容
公开了启用针对串流内容的传递过程的基于质量的优化的系统、方法和手段。所述优化可以采用基于质量切换(例如，还可以称作质量驱动或质量感知等等)的形式。基于质量切换可以在基于自适应HTTP串流的框架中启用。如果客户端具有与其接收的每个编码后的分段质量有关的信息，那么客户端可以启用基于质量的切换。存在不同的方式以用来将有关分段质量的信息传送至客户端。该通信可以在客户端中启用基于质量的自适应。
为了在串流客户端中启用基于质量的决定，客户端可以接入与每个编码后分段相关的质量信息。质量相关信息可以包括与编码后分段和/或编码后子分段有关的一个或多个质量度量。添加质量相关信息可以通过将质量相关信息包括在清单文件(例如，mdp文件)中的方式来完成。例如，质量相关信息可以被包括在存储在分段索引文件(例如，MP4或M4S文件)中的分段索引中和/或诸如通过提供至来自清单文件中的信息的链接的方式提供具有质量相关分段信息的附加文件。当接收到质量相关信息时，客户端可以请求和/或接收具有较低比特率的流，因而节省带宽的同时保持串流内容的质量。例如，客户端可以请求和/或接收较低比特率(bitrate)的流，所述流具有对于针对该流的客户端可接受的质量。
一种用于无线发射/接收单元(WTRU)中的内容切换的方法，该方法包括接收与被编码为多个流的内容分段相关的质量信息。所述内容分段可以形成内容时间段(period)的一部分。基于各个比特率和与所述流相关联的质量信息可以选择所述内容分段的流。所述WTRU可以请求和/或接收所选择的流。
一种用于无线发射/接收单元(WTRU)中的内容切换的方法，该方法包括接收与被编码为多个流的内容分段相关的质量信息。所述内容子分段可以形成内容分段的一部分，所述内容分段形成内容时间段的一部分。基于各个比特率和与所述流相关联的质量信息可以选择所述内容分段的流。所述WTRU可以请求和/或接收所选择的流。
一种用于无线发射/接收单元(WTRU)中的质量驱动切换的方法，该方法包括接收以第一比特率的内容的第一流。所述内容的第一流至少具有质量阈值等级。接收与所述内容的第一流的时间段的分段相关的质量信息。基于接收到的质量信息来确定以第二比特率的内容的第二流。所述第二比特率低于所述第一比特率，并且内容的第二流可以至少具有质量阈值等级。可以请求和/或接收以所述第二比特率的内容的第二流。
附图说明
图1A为可以在其中实施一个或多个所公开的实施方式的示例通信系统的系统图。
图1B为示例无线发射/接收单元(WTRU)的系统图，其中所述WTRU可以在如图1A所示的通信系统中使用。
图1C为示例无线电接入网络和示例核心网络的系统图，其中所述示例核心网络可以在如图1A所示的通信系统中使用。
图1D为示例无线电接入网络和另一示例核心网络的系统图，其中所述示例核心网络可以在如图1A所示的通信系统中使用。
图1E为示例无线电接入网络和另一示例核心网络的系统图，其中所述示例核心网络可以在如图1A所示的通信系统中使用。
图2为通过基于比特率编码和基于质量编码描述MOS波动的示例的图例。
图3为描述针对基于比特率编码和基于质量编码的MOS分数的示例分布的图表。
图4为描述基于自适应HTTP串流系统的架构示例的图例。
图5为描述用于通过使用基于质量的自适应方式降低比特率的可能性示例的图例。
图6为描述客户端缓存充满(fullness)状态的示例图例。
图7为描述当质量信息不被提供时的DASH串流客户端(streaming client)的操作的模型表示的图例。
图8为描述使用质量信息的DASH串流客户端的操作的模型表示的图例。
图9为描述添加到DASH呈现的质量信息轨迹的示例图例。
图10为描述存储在DASH分段范围内的mdat盒子中的质量信息的示例图例。
图11为描述存储在DASH分段范围内的自由或跳过盒子(free or skip box)中的质量信息的示例图例。
图12为描述DASH系统的高级架构的示例图例。
图13为描述DASH客户端模型的逻辑组件的示例图例。
图14为描述DSAH媒体呈现高级数据模型的示例图例。
图15为描述具有三种不同帧类型的编码后的视频流的示例的图例。
图16为六种不同DASH简档的示例图例。
图17为描述基于块的视频编码器的示例框图。
图18为描述基于块的视频解码器的示例框图。
具体实施方式
下面参考各种附图对示例实施方式进行详细描述。虽然本发明提供了具体的可能实施方式，但应当理解的是这些细节意在示例性并且不限制本发明的范围。
图1A为可以在其中实施一个或者多个所公开实施方式的示例通信系统100的图例。通信系统100可以是将诸如语音、数据、视频、消息、广播等之类的内容提供给多个无线用户的多接入系统。通信系统100可以通过系统资源(包括无线带宽)的共享使得多个无线用户能够访问这些内容。例如，通信系统100可以使用一个或多个信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等等。
如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、和/或102d(通常或者统称为WTRU 102)、无线电接入网络(RAN)103/104/105、核心网络106/107/109、公共交换电话网(PSTN)108、因特网110和其他网络112，但可以理解的是所公开的实施方式涵盖任意数量的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d中的每一个可以是被配置成在无线通信中操作和/或通信的任何类型的装置。作为示例，WTRU102a、102b、102c、102d可以被配置成传送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、用户、用户站、高级移动站(AMS)、固定或移动用户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、便携式电脑、上网本、个人计算机、无线传感器、消费电子产品等等。
通信系统100还可以包括基站114a和基站114b。基站114a，114b中的每一个可以是被配置成与WTRU 102a、102b、102c、102d中的至少一者无线对接，以便于接入一个或多个通信网络(例如核心网络106/107/109、因特网110和/或网络112)的任何类型的装置。例如，基站114a，114b可以是基站收发信站(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器以及类似装置。尽管基站114a，114b每个均被描述为单个元件，但是可以理解的是基站114a，114b可以包括任何数量的互联基站和/或网络元件。
基站114a可以是RAN 103/104/105的一部分，该RAN 103/104/105还可以包括诸如站点控制器(BSC)、无线电网络控制器(RNC)、中继节点之类的其他基站和/或网络元件(未示出)。基站114a和/或基站114b可以被配置成传送和/或接收特定地理区域内的无线信号，该特定地理区域可以被称作小区(未示出)。小区还可以被划分成小区扇区。例如与基站114a相关联的小区可以被划分成三个扇区。因此，在一种实施方式中，基站114a可以包括三个收发信机，例如针对所述小区的每个扇区都有一个收发信机。在另一实施方式中，基站114a可以使用多输入多输出(MIMO)技术，并且由此可以使用针对小区的每个扇区的多个收发信机。
基站114a，114b可以通过空中接口115/116/117与WTRU 102a、102b、102c、102d中的一者或多者通信，该空中接口115/116/117可以是任何合适的无线通信链路(例如射频(RF)、微波、红外(IR)、紫外(UV)、可见光等)。空中接口115/116/117可以使用任何合适的无线电接入技术(RAT)来建立。
更为具体地，如前所述，通信系统100可以是多接入系统，并且可以使用一个或多个信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA以及类似的方案。例如，在RAN 103/104/105中的基站114a和WTRU102a、102b、102c可以实施诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一实施方式中，基站114a和WTRU 102a、102b、102c可以实施诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115/116/117。
在其它实施方式中，基站114a和WTRU 102a、102b、102c可以实施诸如IEEE 802.16(例如全球微波互联接入(WiMAX))、CDMA2000、CDMA2000 1x、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、GSM EDGE(GERAN)之类的无线电技术。
举例来讲，图1A中的基站114b可以是无线路由器、家用节点B、家用e节点B、或者接入点，并且可以使用任何合适的RAT，以用于促进在诸如公司、家庭、车辆、校园之类的局部区域的无线连接。在一种实施方式中，基站114b和WTRU 102c，102d可以实施诸如IEEE802.11之类的无线电技术以建立无线局域网络(WLAN)。在另一种实施方式中，基站114b和WTRU102c、102d可以实施诸如IEEE 802.15之类的无线电技术以建立无线个人局域网络(WPAN)。在又一种实施方式中，基站114b和WTRU 102c、102d可以使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等)以建立超微型(picocell)小区和毫微微小区(femtocell)。如图1A所示，基站114b可以具有至因特网110的直接连接。因此，基站114b不必经由核心网络106/107/109来接入因特网110。
RAN 103/104/105可以与核心网络106/107/109通信，该核心网络可以是被配置成将语音、数据、应用程序和/或网际协议上的语音(VoIP)服务提供到WTRU 102a、102b、102c、102d中的一者或多者的任何类型的网络。例如，核心网络106/107/109可以提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、网际互联、视频分配等，和/或执行高级安全性功能，例如用户验证。尽管图1A中未示出，需要理解的是RAN 103/104/105和/或核心网络106/107/109可以直接或间接地与其他RAN进行通信，这些其他RAT可以使用与RAN 103/104/105相同的RAT或者不同的RAT。例如，除了连接到可以采用E-UTRA无线电技术的RAN103/104/105，核心网络106/107/109也可以与使用GSM无线电技术的其他RAN(未示出)通信。
核心网络106/107/109也可以用作WTRU 102a、102b、102c、102d接入PSTN 108、因特网110、和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括互联计算机网络的全球系统以及使用公共通信协议的装置，所述公共通信协议例如传输控制协议(TCP)/网际协议(IP)因特网协议套件的中的TCP、用户数据报协议(UDP)和IP。网络112可以包括由其他服务提供方拥有和/或操作的无线或有线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一核心网络，这些RAN可以使用与RAN 103/104/105相同的RAT或者不同的RAT。
通信系统100中的WTRU 102a、102b、102c、102d中的一些或者全部可以包括多模式能力，例如WTRU 102a、102b、102c、102d可以包括用于通过多个通信链路与不同的无线网络进行通信的多个收发信机。例如，图1A中显示的WTRU 102c可以被配置成与使用基于蜂窝的无线电技术的基站114a进行通信，并且与使用IEEE 802无线电技术的基站114b进行通信。
图1B为示例WTRU 102的系统框图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示屏/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和其他外围设备138。需要理解的是，在保持与实施方式一致的同时，WTRU 102可以包括上述元件的任何子集。此外，实施方式涵盖基站114a和114b，和/或基站114a和114b表示的节点(诸如但不局限于收发机站(BTS)、节点B、站点控制器、接入点(AP)、家用节点B、演进型家用节点B(e节点B)、家用演进型节点B(HeNB)、家用演进型节点B网关和代理节点等等)可以包括图1B中所描述的以及此处所描述的元件的一些或者全部。
处理器118可以是通用目的处理器、专用目的处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)、状态机等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或使得WTRU102能够操作在无线环境中的其他任何功能。处理器118可以耦合到收发信机120，该收发信机120可以耦合到发射/接收元件122。尽管图1B中将处理器118和收发信机120描述为独立的组件，但是可以理解的是处理器118和收发信机120可以被一起集成到电子封装或者芯片中。
发射/接收元件122可以被配置成通过空中接口115/116/117将信号发送到基站(例如基站114a)，或者从基站(例如基站114a)接收信号。例如，在一种实施方式中，发射/接收元件122可以是被配置成传送和/或接收RF信号的天线。在另一实施方式中，发射/接收元件122可以是被配置成传送和/或接收例如IR、UV或者可见光信号的发射器/检测器。在又一实施方式中，发射/接收元件122可以被配置成传送和接收RF信号和光信号两者。需要理解的是发射/接收元件122可以被配置成传送和/或接收无线信号的任意组合。
此外，尽管发射/接收元件122在图1B中被描述为单个元件，但是WTRU102可以包括任何数量的发射/接收元件122。更特别地，WTRU 102可以使用MIMO技术。因此，在一种实施方式中，WTRU 102可以包括两个或更多个发射/接收元件122(例如多个天线)以用于通过空中接口115/116/117发射和接收无线信号。
收发信机120可以被配置成对将由发射/接收元件122发送的信号进行调制，并且被配置成对由发射/接收元件122接收的信号进行解调。如以上所述，WTRU 102可以具有多模式能力。因此，收发信机120可以包括多个收发信机以用于使得WTRU 102能够经由多RAT进行通信，例如UTRA和IEEE 802.11。
WTRU 102的处理器118可以被耦合到扬声器/麦克风124、键盘126、和/或显示屏/触摸板128(例如，液晶显示(LCD)单元或者有机发光二极管(OLED)显示单元)，并且可以从上述装置接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126、和/或显示屏/触摸板128输出数据。此外，处理器118可以访问来自任何类型的合适的存储器中的信息，以及向任何类型的合适的存储器中存储数据，所述存储器例如可以是不可移除存储器130和/或可移除存储器132。不可移除存储器130可以包括随机接入存储器(RAM)、可读存储器(ROM)、硬盘或者任何其他类型的存储器存储装置。可移除存储器132可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等类似装置。在其它实施方式中，处理器118可以访问来自物理上未位于WTRU 102上而位于服务器或者家用计算机(未示出)上的存储器的数据，以及向上述存储器中存储数据。
处理器118可以从电源134接收功率，并且可以被配置成将功率分配给WTRU 102中的其他组件和/或对至WTRU 102中的其他组件的功率进行控制。电源134可以是任何适用于给WTRU 102供电的装置。例如，电源134可以包括一个或多个干电池(镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可以耦合到GPS芯片组136，该GPS芯片组136可以被配置成提供关于WTRU 102的当前位置的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或者替代，WTRU可以通过空中接口115/116/117从基站(例如基站114a，114b)接收位置信息，和/或基于从两个或更多个相邻基站接收到的信号的定时来确定其位置。需要理解的是，在保持与实施方式一致的同时，WTRU 102可以通过任何合适的位置确定方法来获取位置信息。
处理器118还可以耦合到其他外围设备138，该外围设备138可以包括提供附加特征、功能性、和/或无线或有线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针(e-compass)、卫星收发信机、数码相机(用于照片或者视频)、通用串行总线(USB)端口、震动装置、电视收发信机、免持耳机、
Figure BDA0003407294550000101
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、因特网浏览器等等。
图1C为根据一种实施方式RAN 103和核心网络106的系统框图。如以上所述，RAN103可以使用UTRA无线电技术通过空中接口115与WTRU102a、102b、102c通信。RAN 103还可以与核心网络106通信。如图1C所示，RAN 103可以包含节点B 140a、140b，140c，其中节点B140a、140b，140c每个可以包含一个或多个收发信机，该收发信机通过空中接口115来与WTRU 102a、102b、102c通信。节点B 140a、140b，140c中的每个可以与RAN103范围内的特定单元(未示出)相关联。RAN 103还可以包括RNC142a、142b。应该理解的是RAN 103可以包含任意数量的节点B和RNC而仍然与实施方式保持一致。
如图1C所示，节点B 140a，140b可以与RNC 142a进行通信。此外，节点B 140c可以与RNC 142b进行通信。节点B 140a、140b，140c可以通过Iub接口与对应的RNC 142a、142b进行通信。RNC 142a、142b可以通过Iur接口相互进行通信。RNC 142a、142b可以分别被配置成控制与其连接的对应的节点B 140a、140b、140c。此外，RNC 142a、142b可以分别被配置成实施或者支持其它功能，诸如外环功率控制、负载控制、准许控制、分组调度、切换控制、宏分集、安全性功能、数据加密等等。
图1C中所示的核心网络106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS支持节点(GGSN)150。尽管上述元素中的每个被描述为核心网络106的一部分，但是应该理解的是这些元素中的任何一个可以被除了核心网络运营商以外的实体拥有和/或运营。
RAN 103中的RNC 142a可以通过IuCS接口被连接至核心网络106中的MSC 146。MSC146可以被连接至MGW 144。MSC 146和MGW 144可以向WTRU 102a、102b、102c提供至电路交换网络(例如PSTN 108)的接入，从而便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。
RAN 103中的RNC 142a还可以通过IuPS接口被连接至核心网络106中的SGSN 148。SGSN 148可以被连接至GGSN 150中。SGSN 148和GGSN150可以向WTRU 102a、102b、102c提供至分组交换网络(例如因特网110)的接入，从而便于WTRU 102a、102b、102c与IP使能设备之间的通信。
如以上所述，核心网络106还可以连接至其它网络112，其中所述其它网络112可以包含被其他服务提供商拥有和/或运营的其他有线或无线网络。
图1D为根据一种实施方式RAN 104和核心网络107的系统图。如上所述，RAN 104可以使用E-UTRA无线电技术通过空中接口116与WTRU102a、102b、102c进行通信。RAN 104还可以与核心网络107进行通信。
RAN 104可以包括e节点B 160a、160b、160c，应该理解的是RAN 104可以包含任意数量的e节点B而仍然与实施方式保持一致。e节点B 160a、160b、160c每个可以包含一个或多个收发信机，该收发信机通过空中接口116来与WTRU 102a、102b、102c通信。在一种实施方式中，e节点B 160a、160b、160c可以使用MIMO技术。由此，例如e节点B 160a可以使用多个天线来传送无线信号至WTRU 102a并且从WTRU 102a中接收无线信号。
e节点B 160a、160b、160c中的每个可以与特定单元(未示出)相关联并且可以被配置成在上行链路和/或下行链路中处理无线电资源管理决定、移交决定、用户调度等。如图1D中所示，e节点B 160a、160b、160c可以通过X2接口彼此进行通信。
图1D中所示的核心网络107可以包括移动性管理网关(MME)162、服务网关164和分组数据网络(PDN)网关166。尽管上述元件中的每个被描述为核心网络107的一部分，但是应该理解的是这些元件中的任何一个可以被除了核心网络运营商以外的实体拥有和/或运营。
MME 162可以通过S1接口被连接到RAN 104中的e节点B 160a、160b、160c中的每个并且可以作为控制节点。例如，MME 162可以负责认证WTRU102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附着期间选择特定服务网关等等。MME 162也可以为RAN 104与使用其他无线电技术(例如GSM或WCDMA)的RAN(未示出)之间的切换提供控制平面功能。
服务网关164可以通过S1接口被连接到RAN 104中的e节点B 160a、160b，160c的每个。服务网关164通常可以路由和转发用户数据分组至WTRU 102a、102b、102c，或者路由和转发来自WTRU 102a、102b、102c的用户数据分组。服务网关164也可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当下行链路数据可用于WTRU 102a、102b，102c时触发寻呼、为WTRU 102a、102b、102c管理和存储上下文等等。
服务网关164也可以被连接到PDN网关166，该PDN网关166可以向WTRU 102a、102b、102c提供至分组交换网络(例如因特网110)的接入，从而便于WTRU 102a、102b、102c与IP使能设备之间的通信。
核心网络107可以促进与其他网络之间的通信。例如，核心网络107可以向WTRU102a、102b、102c提供至电路交换网络(例如PSTN 108)的接入，从而便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。例如，核心网络107可以包括，或可以与下述通信：作为核心网络107和PSTN 108之间接口的IP网关(例如，IP多媒体子系统(IMS)服务)。另外，核心网络107可以向提供WTRU 102a、102b、102c至网络112的接入，该网络112可以包含被其他服务提供商拥有和/或运营的其他有线或无线网络。
图1E为根据一种实施方式RAN 105和核心网络109的系统图例。RAN105可以使用IEEE802.16无线电技术通过空中接口117与WTRU 102a、102b、102c进行通信。正如下文将继续讨论的，WTRU 102a、102b、102c、RAN 105和核心网络109的不同功能实体之间的通信链路可以被定义为参考点。
如图1E所示，RAN 105可以包括基站180a、180b、180c和ASN网关182，尽管应该理解的是RAN 105可以包含任意数量的基站和ASN网关而仍然与实施方式保持一致。基站180a、180b、180c分别与RAN 105中的特定小区(未示出)相关联，并且可以分别包括一个或多个收发信机，该收发信机通过空中接口117来与WTRU 102a、102b、102c通信。在一种实施方式中，基站180a、180b、180c可以使用MIMO技术。由此，例如基站180a可以使用多个天线来传送无线信号至WTRU 102a，并且从WTRU 102a中接收无线信号。基站180a、180b、180c还可以提供移动性管理功能，例如切换触发、隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略执行，等等。ASN网关182可以作为业务汇聚点且可以负责用户配置文件的寻呼、缓存、路由到核心网络109等等。
WTRU 102a、102b、102c与RAN 105之间的空中接口117可以被定义为执行IEEE802.16规范的R1参考点。另外，WTRU 102a、102b、102c中的每个可以建立与核心网络109间的逻辑接口(未示出)。WTRU 102a、102b、102c与核心网络109间的逻辑接口可以被定义为R2参考点，可以被用来认证、授权、IP主机配置管理、和/或移动管理。
基站180a、180b、180c中的每个之间的通信链路可以被定义为包括用于便于WTRU切换和基站之间的数据传输的协议的R8参考点。基站180a、180b、180c和ASN网关182之间的通信链路可以被定义为R6参考点。R6参考点可以包括用于便于基于与每个WTRU 102a、102b、102c相关的移动事件的移动管理的协议。
如图1E所示，RAN 105可以被连接到核心网络109。RAN 105和核心网络109之间的通信链路可以被定义为例如包括用于便于数据传输和移动管理能力的协议的R3参考点。核心网络109可以包括移动IP本地代理(MIP-HA)184，验证、授权、计费(AAA)服务186，和网关188。尽管每个上述元件被描述为核心网络109的一部分，但是应该理解的是这些元件中的任意一个可以被除了核心网络运营商以外的实体拥有和/或运营。
MIP-HA可以负责IP地址管理，且可以使得WTRU 102a、102b、102c在不同的ASN和/或不同的核心网络之间漫游。MIP-HA 184可以向WTRU102a、102b、102c提供至分组交换网络(例如因特网110)的接入，从而便于WTRU 102a、102b、102c和IP使能设备之间的通信。AAA服务器186可以负责用户认证和支持用户服务。网关188可以促进与其他网络之间的交互工作。例如，网关188可以向WTRU 102a、102b、102c提供至电路交换网络(例如PSTN 108)的接入，从而便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。另外，网关188可以向WTRU 102a、102b、102c提供至网络112的接入，该网络112可以包含被其他服务提供商拥有和/或运营的其他有线或无线网络。
虽然在图1E中未示出，但应该理解的是RAN 105可以被连接到其他ASN且核心网络109可以被连接到其他核心网络。RAN 105和其他ASN之间的通信链路可以被定义为R4参考点，该R4参考点可以包括用于协调RAN105和其他ASN之间的WTRU 102a、102b、102c移动性的协议。核心网络109和其他核心网络之间的通信链路可以被定义为R5参考点，该R5参考点可以包括用于便于本地核心网络和受访核心网络之间的交互工作的协议。
此处讨论的技术可以部分或者全部由WTRU 102a、102b、102c、102d、RAN 104、核心网络106、因特网110、和/或其它网络112来执行。例如，由WTRU 102a、102b、102c、102d执行的视频串流可以从事如此处所讨论的各种处理。
此处讨论的技术可以部分或者全部由WTRU 102a、102b、102c、102d、RAN 104、核心网络106、因特网110和/或其它网络112来执行。例如，由WTRU 102a、102b、102c、102d执行的视频串流可以从事如此处所讨论的各种处理。
公开了启用针对视频传递的基于质量优化的系统、方法和手段。参考MPEG/3GPPDASH标准描述了公开的技术，但不限于此。例如，此处描述了有关分段质量的信息被传达至DASH客户端的方式。这种通信可以在客户端中启用基于质量的自适应。此处描述的技术可以被实施为对MPEG-DASH标准的扩展。
诸如使用传送信号的比特率和/或带宽、和/或重构后图像的质量可以评估图像压缩的有效性。如果考虑图像/帧或视频的时间和/或序列，那么存在可以被针对每个帧的视频编解码器实现的多个比特率和/或质量特征。
为了报告针对序列的速率和/或质量参数(例如，PSNR、SSIM和/或MOS)，可以使用在一个或多个帧间的比特率和/或质量参数的平均值。平均值并不可靠，诸如由于存在不同方式来实现相同的平均分，这例如对整个体验质量具有不同的影响。例如，编码器可以使用不同策略以平衡针对在视频序列中单个帧的质量和速率之间的瞬间权衡。比特率可以在给定该速率实现最佳可能的图像/帧质量的同时，被维持尽可能接近给定目标。该策略可以被称作恒定比特率(CBR)编码。质量可以在使用所需的最低比特数来实现针对每个帧的质量时，被维持接近给定目标。该策略可以被称作恒定质量编码。
为了适应改变视频内容的复杂性，编码器可以实现恒定速率和/或恒定质量编码的版本，其中编码器允许速率和/质量随着帧不同而波动(fluctuate)。例如，编码器可以尝试降低该波动或使得该波动最小化。所述编码策略可以分别被称作基于比特率和基于质量的编码。
图2为通过相同序列的基于比特率编码和基于质量编码描述MOS波动的示例图例。图2描述了由视频序列的基于比特率编码和基于质量编码产生的MOS分数的示例。在该示例中，基于质量的编码可以利用更高的峰值比特率(2.7Mbps)，但可以实现大致与基于比特率编码相同的平均比特率(1.8Mbps)。基于质量的编码特征在于更为一致的质量。当质量降至低于特定可接受等级(例如，一般)时，基于质量的编码具有更少的帧/分段实例。
图3为描述针对基于比特率编码和基于质量编码的MOS分数分布的示例。质量缺失降至低于可接受等级会产生更好的整体体验质量。这可以用于多种不同类型的视觉内容和再现设置的情况。
图4为描述基于自适应HTTP串流系统400的操作的示例图例。串流系统可以诸如通过准备以不同目标速率编码的多个流使用视频的基于速率的编码。客户端应用可以被用来在一个或多个编码的流中动态选择。由客户端实现的流切换可以具有特定的粒度(granularity)，例如所述粒度在实际上大约为2-10秒。客户端在编码的流之间切换的点可以被称作切换点。在编码的流之间的编码后的内容的部分可以被称作分段。
在串流会话期间，串流客户端可以计算一个或多个分段的传递速率。分段的传递速率可以为客户端评估可用于接收下一个分段的可用的网络带宽。根据该评估，客户端可以决定来使用下一哪个编码/速率来用于下一个分段。这样允许客户端适应改变网络条件。例如，有关每个编码后的流的高级信息，包括但不限于其速率，可以被存储在清单(manifest)文件或者多媒体呈现描述(MPD)文件中。例如，针对流范围内的编码后的分段的偏移和定时信息可以被存储在一个或多个分段索引文件中。
清单文件和/或索引文件可以不包括有关每个编码后的分段的质量信息。串流客户端可以不具有有关每个分段的质量的知识。没有该知识，串流客户端无法实现质量驱动的适应。这样会在串流传递系统中产生一定的低效率。例如，存在当内容难以编码的情况，这样会以当前速率产生一般的质量。例如，存在当内容容易编码并且有意义来降低速率而不影响质量的情况。图5中描述了其中的一个示例。
图5为描述用于通过使用基于质量的自适应方式降低比特率的可能性的示例的图例。如图5中所示，视频可以包括容易编码的一个或多个分段。在这种情况中，切换到较低速率可以节省带宽同时以特定的上限(cap)等级维持质量。此处描述了如何在基于自适应HTTP的串流的框架中启用质量感知(例如，质量驱动)的切换,以及尤其是MPEG/3GPP DASH标准。
诸如如图5中所示，串流客户端可以利用一些质量上限。客户端可以知道针对分段实现的一个或多个质量值(例如，PSNR)。例如，如果客户端确定下一个分段实现等于或大于给定质量目标(例如，48dB而不是目标38dB)的一个或多个质量值，客户端可以选择以足于达到给定质量目标的较低速率的编码。客户端可以节省带宽和/或改进被传递的视觉内容质量的一致性。
质量信息可以被DASH串流客户端用来改进视频传递。客户端缓存模型可以被描述。图6为描述客户端缓存充满状态数目的示例图例。客户端可以对特定长度(例如，10-30秒)的预留(pre-roll)缓存进行操作。客户端可以使用一个或多个缓存充满阈值，诸如低_缓存(Low_buf)602和高_缓存(High_buf)604。低_缓存602可以称作当客户端遇到再缓存情况风险时的阈值。当在低_缓存阈值602处，客户端可以执行对补充(replenish)缓存的测量。高_缓存604可以称作当客户端已经积累大量信息来考虑切换(switch up)和/或限流(throttling)(例如，如果最高速率已经达到)时的阈值。
图7为描述当质量信息不被提供时的DASH串流客户端的操作的模型表示700的图例。描述了DASH客户端操作模型。参考图7，如702处所示，当缓存级别Buf(缓存)低于低_缓存阈值时，客户端可以选择最低速率表示来避免再缓存。如704处所示，当缓存级别Buf位于低_缓存和高_缓存阈值之间时，客户端例如可以选择低于可用带宽的最高速率表示。如706处所示，当缓存级别Buf高于缓存_高(buf_high)阈值时，客户端可以检查是否到达最高速率表示，并且如果这样的话，那么客户端可以在分段加载(例如，限流)之间引入一个或多个暂停，因为其已经具有足够多的用于实时回放的数据。
提供了使用每个分段质量和速率信息的客户端自适应模型。图8为描述使用质量信息的DASH串流客户端的操作的模型表示800的图例，其中所述模型表示800可以阻止选择其质量高于诸如阈值quality_cap(质量_上限)的流/分段，而与比特率无关。该选择可以产生更为保守的带宽使用和/或更为一致的体验质量给终端用户。诸如除缓存充满信息之外，可以使用该质量信息。如在图8中的802处所示，当缓存级别Buf低于低_缓存阈值时，客户端可以选择最低速率表示来避免再缓存。如804处所示，当缓存级别Buf位于低_缓存和高_缓存阈值之间时，客户端诸如可以选择低于可用带宽并且具有不超过质量阈值quality_cap的质量的最高速率表示(representation)。如806处所示，当缓存级别Buf高于缓存_高阈值时，客户端可以检查是否达到最高速率表示。如果这样的话，客户端可以在分段负载(例如，调节)之间引入一个或多个暂停，因为其可能已经具有足够多的用于实时回放的数据。
为了在串流客户端中启用基于质量的决定，客户端可以访问有关一个或多个编码后的分段的质量信息。有关这些信息如何在MPEG-DASH标准中引入，存在多处以及多种方式。例如，PSNR,SSIM,VQM,VIF,J.341,MOS(例如，以任何允许的组合)的一者或多者和/或另一客观和/或主观测量可以被用作添加的质量度量。
质量度量可以利用dB量度(scale)诸如PSNR。质量度量可以被映射至间隔，例如，与5级别的MOS比例相关联的间隔[1…5]。用于质量值的信令可以为弹性的，诸如通过允许添加和扩展。用于质量值的信令可以允许被缩放至值范围的度量的通信。例如，度量可以被缩放至MOS分数的值范围，诸如1(最低)至5(最高)。用于质量值的信令可以允许PSNR的通信。
质量信息可以为粒状。例如，质量信息可以以分段和/或子分段级别来定义，这允许DASH客户端做出决定。质量信息为可接入的。例如，质量信息为可接入用于诸如自适应集中的分段和/或表示，由此DASH客户端可以提前并且在加载实际的数据分段之前提取(例如，单独地提取)质量信息。质量信息可以为简洁的。例如，质量信息可以为简洁的由此加载该质量信息可以不在串流客户端加载的数据方面产生主要的开销。
一种添加有关编码后的分段质量的信息可以为通过使用在MPD文件的分段列表部分中的标签(例如，添加的标签)。自适应集可以包括指示在分段列表中质量值存在的标签。该声明的示例按如下列出：
<AdaptationSet segmentAlignment＝"true"bitstreamSwitching＝"true"subsegmentAlignment＝"true"qualityInfo＝”true”qualityMetric＝”PSNR”>
<ContentComponent id＝"101"contentType＝"video"/>
<ContentComponent id＝"102"contentType＝"audio"/>
<Representation id＝"1"mimeType＝"video/mp4"codecs＝"avc1.42c00d"width＝"320"height＝"180"sampleRate＝"44100"numChannels＝"1"startWithRAP＝"1"bandwidth＝"134829">
<SegmentList timescale＝"1000"duration＝"10000">
<RepresentationIndex>example_320x180_48kbps_av_index.didx</RepresentationIndex>
<SegmentURL media＝"example_320x180_48kbps_av0.m4s"quality＝”33.1”/>
<SegmentURL media＝"example_320x180_48kbps_av1.m4s"quality＝”33.3”/>
<SegmentURL media＝"example_320x180_48kbps_av2.m4s"quality＝”33.8”/>
<SegmentURL media＝"example_320x180_48kbps_av3.m4s"quality＝”32.6”/>
此处描述了独立质量序列描述符。质量信息可以被包括作为诸如在表示层处的单独描述符。该描述符可以定义质量度量，可以定义质量表示的精度(例如，粗糙的表示可以被用来使得其更为简洁)，和/或定义与表示中的分段相关联的质量值的序列。
在表示层处的质量信息描述符可以包括有关每个分段的实际压缩后的长度的信息，诸如当MPD可以使用分段模板和/或对于单个分段文件的URL的情况。在表示层处的质量信息可以被定义为补充属性描述符的情况，并且诸如可以包括方案统一资源名称(URN)，其中所述统一资源名称可以提供与质量信令信息相关联的唯一标识。
表1中提供了质量序列描述符的示例实施。
表1
Figure BDA0003407294550000211
一种添加有关编码后分段质量的信息的方式是使用分段索引(或索引分段)文件。分段索引文件可以包括文件(例如，特定的文件)，可以包括分段索引信息，和/或可以与.mpd和分段文件一起存储在HTTP服务器上。分段索引文件可以包括.mp4文件的版本(例如，特定版本)。分段索引文件可以包括STYP、SIDX、和/或SSIX类型盒子，诸如具有针对编码后表示的分段索引信息。分段索引可以被嵌入在编码后的媒体文件(例如，完全的.mp4文件)，其中索引相关的盒子可以位于文件的开始处。
分段索引文件可以诸如通过提供针对表示的分段索引的RepresentationIndex(表示索引)元素的存在从MPD文件中引用。分段索引文件可以诸如通过SegmentList.SegmentURL(分段列表.分段URL)元素中的两个属性@index(@索引)或@indexRange(@索引范围)的至少一者的存在从MPD文件中引用。分段索引文件可以诸如通过SegmentTemplate@index(分段模板@索引)属性的存在从MPD文件中引用。
@indexRange属性可以被用来提供字节范围给媒体分段范围内的索引。当被媒体分段格式允许时，这可以实现。例如，@index属性可能并不存在，并且指定的范围可以部分或全部位于特定用于媒体分段的字节范围内。
用于质量信令的分段索引文件可以包括质量信息存在于索引文件的指示(例如，依靠在MPD文件中的描述符或属性)，质量度量类型的规范(例如，包括在MPD和/或在分段索引盒子范围内)，和/或针对表示中的分段和/或子分段的质量值列表。该质量值列表可以诸如依靠允许长度编码来压缩。
用于质量信令的分段索引文件可以包括多个描述性元素。例如，分段索引文件可以指示质量信息存在于索引文件中，诸如，使用MPD文件中的描述符或属性。分段索引文件可以包括质量度量类型的规范，诸如，在MPD文件或在分段索引盒子范围内。分段索引文件可以包括针对表示中的一个或多个分段或子分段的质量值列表。该列表可以诸如使用运行长度(run-length)编码来压缩。
为了在基于ISOBMFF文件容器(container)中存储质量参数，可以定义盒子。例如，以下列出的表2可以添加在ISO/IEC 14496-12的表1末端处。
表2
qtyp <<ref>> 质量度量类型
sqls <<ref>> 分段质量列表
ssql <<ref>> 子分段质量列表
以下定义可以应用。qtyp可以表示描述质量度量类型的盒子，诸如但不限于PSNR、SSIM、MS-SSIM和/或VQM。sqls可以表示包括针对在表示中的分段的质量度量的列表的盒子。以下描述了示例语法。
Figure BDA0003407294550000231
ssql可以表示包括针对分段中的子分段的质量度量列表的盒子。以下描述了示例语法。
Figure BDA0003407294550000232
为了向客户端指示质量信息存在于索引文件中，MPD文件语法可以被扩展成允许额外的qualityInfoPresentInIndexFiles(质量信息存在于索引文件中)标志。以下示出了文件的使用示例。
<AdaptationSet segmentAlignment＝"true"bitstreamSwitching＝"true"subsegmentAlignment＝"true"qualityInfoPresentInIndexFiles＝”true”>
<ContentComponent id＝"101"contentType＝"video"/>
<ContentComponent id＝"102"contentType＝"audio"/>
<Representation id＝"1"mimeType＝"video/mp4"codecs＝"avc1.42c00d"width＝"320"height＝"180"sampleRate＝"44100"numChannels＝"1"startWithRAP＝"1"bandwidth＝"134829">
<SegmentList timescale＝"1000"duration＝"10000">
<RepresentationIndex>example_320x180_48kbps_
av_index.didx</RepresentationIndex>
有关编码后分段的质量信息可以通过使用和/或存储具有其自有语法的独立文件的方式来添加。该文件可以与MPD文件中的对应自适应集相关联，诸如依靠描述符。以下示出了描述符的示例。
<QualityInfo
schemeIdUri＝”urn:mpeg:dash:qual-dsc:2012”>
<Component>＝”video”
<QualityMetric>＝”PSNR”
QualityUrl＝”http://example.com/.../segments_psnr_t328.xyz”/>
</QualityInfo>
这可以提供路径给系统(例如，现有系统)和编码后内容的部署。
图9为描述添加到DASH呈现的质量信息轨迹(track)900的示例图例。质量信息可以被嵌入在媒体数据容器(mdat)盒子902中。质量信息可以在媒体数据容器(mdat)盒子902范围内存储为质量信息轨迹900以及呈现范围内的视频轨迹904。为了添加质量信息轨迹900，DASH初始化分段可以列出诸如如图9中所示的添加的轨迹。
在针对轨迹(trak盒)中的媒体信息的容器906范围内，针对轨迹(例如，mdia盒子)中的媒体信息的容器908可以包括媒体信息容器910(例如，minf盒子)。对于质量信息轨迹900，媒体信息容器910(例如，minf盒子)可以利用空(null)媒体标头(例如，nmhd盒子912)类型。在nmhd盒子912中，质量信息可以被提供并且包括诸如质量度量类型(例如，PSNR、SSIM等)。以下提供了针对包括质量信息的nmhd盒子912的语法示例。
aligned(8)class NullMediaHeaderWithQualityInfo extends FullBox(‘nmhd,version,0){
unsigned int(16)reserved＝0；
unsigned int(8)quality_metric_type；
}
quality_metric_type(质量_度量_类型)为枚举。例如，0表示PSNR，1表示SSIM等。质量信息轨迹900的存在可以在描述文件中用信号表示，例如，如以下所提供的：
<AdaptationSet segmentAlignment＝"true"bitstreamSwitching＝"true"subsegmentAlignment＝"true"qualityInfoTrackPresent＝”true”>
<ContentComponent id＝"100"contentType＝"quality"/>
<ContentComponent id＝"101"contentType＝"video"/>
<ContentComponent id＝"102"contentType＝"audio"/>
<Representation id＝"1"mimeType＝"video/mp4"codecs＝"avc1.42c00d"width＝"320"height＝"180"sampleRate＝"44100"numChannels＝"1"startWithRAP＝"1"bandwidth＝"134829">
<SegmentList timescale＝"1000"duration＝"10000">
如在图10中所示，sidx(分段索引)盒子1002可以包括对moof盒子1004和madat盒子1006配对的指示器列表。例如，如图10中所示，每个配对表示子分段。Moof盒子1004可以列出存在于mdat盒子1006的轨迹。
图10为描述存储在DASH分段1008范围内的mdat盒子中的质量信息的示例图例。质量信息可以在子分段层处添加。例如，质量轨迹1010可以在mdat盒子1006中添加，诸如所述mdat盒子1006可以在子分段层处总结视频轨迹的质量信息。质量信息可以出现在诸如mdat盒子1006的开始处，由此其可以容易地被客户端提取。moof盒子1004可以包括指示质量轨迹1010存在的列表1012。以下提供了针对mdat盒子1006中的质量信息的示例语法。
aligned(8)class QualityTrack extends{
unsigned int(16)sub_segment_quality；
}
质量信息可以在自由空间(例如，自由或跳过)盒子中提供。有关质量信息可以被存储在MPEG DASH分段范围内的自由空间(例如，自由或跳过)盒子范围内存储。例如，自由空间盒子的内容为不相关的和/或可以被忽略而不影响描述。自由或跳过盒子可以为顶层盒子(例如，电影盒子mbox盒子和/或媒体数据mdat盒子的对等端)。如图11中所示，自由或跳过盒子可以被放置在MPEG DASH分段1102中的分段索引sidx盒子1100之后，诸如在分段开始处附近。moof盒子1104和/或mdat盒子1106的配对可以表示子分段和/或对应于MP4文件中的moov和/或mdat配对。自由和/或跳过盒子1108可以在诸如分段的开始处附近添加，由此其可以在提取整个分段之前接入。
自由和/或跳过盒子1108的存在可以在描述文件中用信号表示，例如，按以下所提供：
<AdaptationSet segmentAlignment＝"true"bitstreamSwitching＝"true"subsegmentAlignment＝"true"qualityInfoPresentInFreeBoxes＝”true”>
<ContentComponent id＝"101"contentType＝"video"/>
<ContentComponent id＝"102"contentType＝"audio"/>
<Representation id＝"1"mimeType＝"video/mp4"codecs＝"avc1.42c00d"width＝"320"height＝"180"sampleRate＝"44100"numChannels＝"1"startWithRAP＝"1"bandwidth＝"134829">
<SegmentList timescale＝"1000"duration＝"10000">
图11为描述存储在DASH分段1102范围内的自由或跳过盒子1108中的质量信息的示例图例。例如，自由和/或跳过盒子1108可以在生成分段的时间处添加。如果自由和/或忽略盒子1108在生成分段之后添加(例如，在先前生成的DASH内容中)，可以重新计算在sidx的采样表中使用的偏移。
定义了自由和/或跳过盒子1108的格式。例如，类似于针对与分段索引文件一起使用所提出的语法可以被利用。以下提供了示例语法：
Figure BDA0003407294550000261
Figure BDA0003407294550000271
以下描述的特征和元素可以被应用到HTTP直播串流(HLS)和/或其它串流系统中。针对分段的质量信息信令可以提前被添加。当选择将请求和/或订阅的流时客户端可以使用该信息。
添加质量相关信息可以通过在清单文件(例如，.mdp文件)中包括质量相关信息、在存储在分段索引文件(例如，MP4或M4S文件)中的分段索引中包括质量相关信息、和/或提供具有质量/分段信息的附加文件并提供至来自MPD文件中的质量/分段信息的链接的方式来实现。
动态自适应HTTP串流(DASH)为巩固HTTP串流的一些方法的标准。MPEG DASH为“3GP-DASH”的扩展。DASH可以被用来处理在无线和有线网络中的可变带宽并且被内容提供商和设备所支持。DASH可以启用通过至任何设备的任何接入网络的多媒体串流服务。
图12为描述DASH系统1200的高级架构的示例图例。DASH系统可以被部署为HTTP服务器集1202，所述HTTP服务器集1202可以分发已经以合适的格式准备的直播和/或需要的内容。客户端可以直接从这些HTTP服务器和/或从内容分发网络(CDN)或CDN 1204中接入内容。CDN可以被用于当期望大量客户端时的部署，因为其可以高速缓存(cache)内容并且位于网络边缘处的客户端附近。
在DASH中，串流会话可以由客户端1206通过在从内容提供商和/或CDN 1204中接收分段时使用HTTP请求分段并且将它们拼接(splicing)到一起来控制。客户端可以监控，例如持续监控，并且基于网络条件(例如分组差错率、延迟抖动)和它们自身状态(例如缓冲器满、用户行为、偏好)调整媒体速率，有效地将智能从网络移动到客户端。
DASH标准可以与信息的客户端模型类似。图13是概念DASH客户端模型1300的逻辑组分的示例。DASH接入引擎可以接收媒体呈现描述文件(MPD)。DASH接入引擎1302可以构造和发布请求，并且接收分段或部分分段。DASH接入引擎1302的输出可以包括MPEG容器格式(例如MP4文件格式和/或MPEG-2传输流)的媒体和/或将媒体的内部定时映射到呈现的时间轴的定时信息。编码后媒体块和/或定时信息的组合对于正确渲染内容是足够的。
DASH施加在编码后媒体分段上的一些限制可以基于解码、后处理、和/或回放由没有与编码后媒体分段的属性和/或如何传递编码后媒体分段有关的信息的媒体引擎1304完成的假设。媒体引擎1304可以解码和播放持续媒体文件，该文件由DASH接入引擎以块提供。
例如，DASH接入引擎1302可以使用JavaScript，而媒体引擎1304可以由浏览器、浏览器插件(诸如但不限于Flash或Silverlight)、和/或运营系统提供。
图14是描述DASH媒体呈现高级数据模型1400的示例框图。在DASH中，多媒体呈现1402的组织可以基于分层数据模型。媒体呈现描述(MPD)可以描述构成DASH媒体呈现(例如多媒体内容)的时间段1404序列。时间段1404可以表示媒体内容的编码后版本的集合可用所处的媒体内容时间段。例如，可用比特率、语言、和/或字幕的集合在时间段1404期间不改变。
自适应集1406可以表示一个或多个媒体内容组分的可互交换的编码后版本的集合、例如，存在自适应集1406用于视频，一个用于主视频，一个用于次视频，和/或一个用于字幕。自适应集1406可以被复用，在这种情况中，复用的可互交换版本按单个自适应集1406描述。例如，自适应集1406可以包括时间段1404的视频和/或音频。
表示1408可以描述一个或多个多媒体内容组分的可传递编码后版本。表示1408可以包括一个或多个媒体流(例如，针对复用中的每个媒体内容组分有一个)。自适应集1406中的单个表示1408对于渲染所包括的媒体内容组分是足够的。客户端可以在自适应集1406内从一个表示1408切换到另一个表示1408，以便适应网络条件或其他因素。客户端可以忽略使用客户端不支持的编解码器、简档和/或参数的表示1408。表示1408中的内容可以在时间上被划分成固定或可变长度的分段1410。URL可以针对每个分段1410提供。分段1410可以是在单个HTTP请求中获取的最大的数据单元。
媒体呈现描述(MPD)可以是XML文档，可以包括由DASH客户端使用以构造合适的HTTP-URL从而接入分段和/或提供串流服务给用户的元数据。MPD中的基本URL可以由客户端使用以生成针对媒体呈现中的分段和其他资源的HTTP获得(GET)请求。HTTP部分获得请求可以被用于通过使用字节范围(例如HTTP头中的“Range(范围)”)来接入分段的有限部分。可替换的基本URL可以被指定允许在位置不可用的情况下接入呈现，从而提供冗余给多媒体流传递，以允许客户端侧加载平衡、和/或并行下载。
MPD在类型上可以是静态或动态的。静态MPD类型在多媒体呈现期间可以改变或不改变，并且可以被用于需求呈现。动态MPD类型可以在媒体呈现期间更新，并且可以被用于直播呈现。MPD可以被更新以扩展针对每一表示的分段列表，引入新的时间段、和/或终止媒体呈现。
在DASH中，不同媒体内容组分(例如视频、音频)的编码后版本可以共享公共时间轴。媒体内容内的接入单元的呈现时间可以被映射到全球公共呈现时间轴，其可以被称作媒体呈现时间轴。这一映射可以允许不同媒体组分的同步，并且可以便于相同媒体组分的不同编码后版本(例如表示)的无缝切换。
分段可以包括实际分段后的媒体流。他们可以包括与如何将媒体流映射到媒体呈现时间轴相关的信息，以用于切换和/或与其他表示同步呈现。
分段可用时间轴可以被用于通知客户端在特定HTTP URL处分段的可用时间。例如，这些时间可以以挂钟时间提供。在接入特定HTTP URL处分段之前，客户端可以将挂钟时间与分段可用时间比较。对于点播(on-demand)内容，分段可用时间可以是相同的。一旦分段可用，媒体呈现的分段在服务器上是可用的。MPD可以是静态文档。
对于直播内容，分段的可用时间可以依赖于媒体呈现时间轴的分段的位置。分段可以随着内容被产生随时间可用。MPD被周期性更新以反映时间上的呈现中的变化。例如，针对新的分段的分段URL可以被添加到MPD。不再可用的旧分段可以从MPD移除。如果使用模板描述分段URL，则可能遗漏更新MPD。
分段的持续时间可以表示包括在分段中的媒体以正常速度呈现的持续时间。表示中的分段可以具有相同或大致相同的持续时间。分段持续时间可以根据表示而不同。DASH表示可以利用相对短的分段(例如几秒)、或较长的分段来构造，包括针对整个表示的单个分段。
短的分段适于直播内容(例如通过减少端对端延迟)并且允许在分段级别上的高切换粒度。小的分段可以增加呈现中的文件数目。长的分段可以通过减少呈现中的文件数目而改善缓存性能。长的分段可以使得客户端作出灵活的请求大小(例如通过使用字节范围请求)。使用长的分段可以包括使用分段索引，并且不太适于直播事件。分段可以随时间扩展或不扩展。分段可以是整体上可用的完整和离散单元。
分段可以被进一步子划分成子分段。每个子分段可以包括全部数量的完整接入单元。接入单元可以是具有指派的媒体呈现时间的媒体流。如果分段被划分成子分段，这些可以由分段索引描述。分段索引可以提供在表示中的呈现时间范围和由每个子分段占用的分段中的相应字节范围。客户端可以提前下载这一索引，并且使用例如HTTP部分GET请求发布针对单个子分段的请求。分段索引可以包括在媒体分段中，例如在文件开始。分段索引信息可以在单独的索引分段中提供。
DASH例如可以定义许多分段类型，包括但不限于初始化分段、媒体分段、索引分段、和/或比特流切换分段。初始化分段包括用于接入表示的初始化信息。初始化分段可以包括或不包括具有指派的呈现时间的媒体数据。概念上，初始化分段可以由客户端处理以初始化用于启动包括的表示的媒体分段的播放的媒体引擎。
媒体分段可以包括且可以封装在媒体分段中描述的和/或由表示的初始化分段描述的媒体流。媒体分段可以包括许多完整接入单元，并且可以包括针对每个所包括的媒体流的流接入点(SAP)。
索引分段可以包括与媒体分段相关的信息。索引分段可以包括用于媒体分段的索引信息。索引分段可以为一个或多个媒体分段提供信息。索引分段可以是特定于媒体格式的，并且可以针对支持索引分段的每个媒体格式定义细节。
比特流切换分段可以包括用于切换到其被指派的表示的数据。比特流切换分段可以是特定于媒体格式的，并且可以针对允许比特流切换分段的媒体格式定义细节。一个比特流媒体分段可以针对每个表示定义。
客户端可以在媒体中的任何点处在自适应集内从表示切换到表示。由于表示内的编码依赖和其他因素，任意位置的切换可能是复杂的。下载交叠(overlap)数据(例如来自多个表示的相同时间段的媒体)可以被避免。切换在新的流中的随机接入点处更为简单。DASH可以定义流接入点(SAP)的编解码器无关的概念，并且标识各种类型的媒体接入点。流接入点类型可以作为自适应集的特性中的一者被传达(例如假设自适应集中的所有分段具有相同SAP类型)。
流接入点(SAP)可以使能随机接入一个或多个媒体流的文件容器。SAP可以是容器中能够使用从前面的位置开始的包括在容器中的信息和/或来自容器的另一部分或其他部分的可能初始化数据来回放待开始的所标识视频的位置。初始化数据可以是外部可用的。
可以定义若干文件容器特性。TSAP可以为呈现时间，例如，媒体流的接入单元的最早呈现时间，由此呈现时间大于或等于TSAP的媒体流的所有接入单元可以使用在ISAP开始的比特流中的数据并且没有ISAP之前的数据被正确解码。
ISAP可以是比特流中的位置，由此呈现时间大于或等于TSAP的媒体流的所有接入单元可以使用在ISAP处开始的比特流数据而且有或者没有在ISAP之前开始的数据被正确解码。
ISAU可以是在媒体流内以解码次序最新接入单元的比特流中的开始位置，由此呈现时间大于或等于TSAP的媒体流的所有接入单元可以使用这一最新接入单元和以解码次序跟随的接入单元并且没有以解码次序较早的接入单元而被正确解码。
TDEC可以是媒体流的接入单元的最早呈现时间，所述接入单元可以使用比特流中在ISAU开始的数据且有或者没有在ISAU之前开始的数据而被正确解码。TEPT可以是比特流中在ISAU开始的媒体流的接入单元的最早呈现时间。TPTF可以是比特流中在ISAU开始的以解码次序的媒体流的第一接入单元的呈现时间。
图15是具有参数的流接入端的示例。图15描述了具有三种不同类型帧：I、P和B的编码后视频流1500。P帧可以利用(或仅利用)待被解码的先前I或P帧，而B帧可以利用先前和随后的I和/或P帧。I、P、和/或B帧在传输、解码和/或呈现次序上有区别。
SAP的类型可以依赖于哪些接入单元是可正确解码的和/或他们在呈现次序上的安排。此处描述了六种SAP类型的示例。一种类型，其中TEPT＝TDEC＝TSAP＝TPTF，可以对应于称作“闭合GoP随机接入点”。从ISAP开始的接入单元(以解码次序)可以被正确解码。结果为正确解码的接入单元的持续时间序列且没有间隙。以解码次序的第一接入单元可以是按照呈现次序的第一接入单元。
在另一SAP类型中，TEPT＝TDEC＝TSAP<TPTF。这一SAP类型对应于称作“闭合GoP随机接入点”，对此，在从ISAU开始的媒体流中的以解码次序的第一接入单元不是以呈现次序的第一接入单元。例如，前两个帧可以是向后预测P帧(其在H.264和一些其他编解码器中语义上被编码为仅前向B帧)，和/或他们需要或不需要将被解码的第三帧。
在另一SAP类型中，TEPT<TDEC＝TSAP<＝TPTF。这一SAP类型对应于称作“开放GoP随机接入点”，其中存在以解码次序在ISAU之后的一些接入单元没有被正确解码和/或呈现时间少于TSAP。
在另一SAP类型中，TEPT<＝TPFT<TDEC＝TSAP。这一SAP类型对应于称作“逐渐(Gradual)解码更新(GDR)随机接入点”或“恶意(dirty)”的随机接入，其中存在以解码次序从ISAU开始并且在ISAU之后的一些接入单元没有被正确解码和/或呈现时间少于TSAP。GDR的一种示例情况为内部刷新过程，其中所述内部刷新过程可以在具有使用内部MB编码的帧的一部分的N个帧上扩展。非交叠部分可以在N个帧上内部编码。该过程可以被重复直到整个帧被刷新为止。
在另一SAP类型中，TEPT＝TDEC<TSAP。这一SAP类型对应于当存在以解码次序从ISAP开始的至少一个接入单元不被正确解码，并且具有比TDEC大的呈现时间，和/或当TDEC为从ISAU开始的接入单元的最早呈现时间的情况。
在另一SAP类型中，TEPT<TDEC<TSAP。这一SAP类型对应于当存在以解码次序从ISAP开始的至少一个接入单元不被正确解码，并且具有比TDEC大的呈现时间，和/或当TDEC为从ISAU开始的接入单元的最早呈现时间的情况。
DASH简档可以被定义成启用特征使用的互用性(interoperability)和信令。简档可以施加一组限制。这些限制可以为关于媒体呈现描述(MPD)文档的特征和/或分段格式。所述限制可以为有关在分段范围内传递的内容，诸如但不限于媒体内容类型、媒体格式、编解码器、和/或保护格式、和/或有关可量化测量，诸如但不限于比特率、分段持续时间和大小、和/或水平和垂直可视呈现大小。
例如，DASH可以定义在图16中所示的多个简档。简档根据用于分段的文件容器类型被组织成两类。这些简档1600、1602、1604可以使用ISO基本媒体文件容器，两个简档1606、1608可以使用基于MPEG-2传送流(TS)的文件容器，并且一个简档1610可以支持两种文件容器类型。每个容器类型可以为编解码器独立。
点播简档1602的ISO基本媒体文件格式可以提供针对点播内容的基本支持。点播简档1602的限制可以为每个表示可以被提供作为单个分段，子分段可以在自适应集范围的表示之间排列(align)，和/或子分段可以在流接入点处开始。点播简档1602可以被用来支持具有相对少的内容管理的大视频(VoD)点播库。点播简档1602可以准许HTTP服务器的可分级以及有效使用并且简化无缝切换。
ISO基本媒体文件格式直播简档1604可以被优化用于由具有相对短的持续时间的ISO文件格式的单个电影片段组成的分段的直播编码和/或低延迟传递。每个电影片段可以在需要时请求。这可以诸如使用模板生成的URL来完成。针对MPD更新的请求可以被忽略用于一些分段请求。分段可以被限制由此所述分段可以在分段边界上连接，并且在媒体数据中无需间隙和/或交叠而解密。这可以与自适应集中的表示的自适应切换无关。该简档1604可以被用来分发非直播内容。例如，当直播媒体呈现已经终止但被保持可用于作为点播服务时，直播简档1604可以被使用。ISO基本媒体文件格式主要简档1600可以为ISO基本媒体文件格式点播简档1602和直播简档1604的超集(superset)。
MPEG-2TS主要简档1606可以对用于MPEG-2传输流(TS)内容的媒体分段格式施加少量限制。例如，表示可以被复用，由此不要求在客户端处绑定媒体流(音频、视频)。例如，分段可以包括整数个MPEG-2TS分组。例如，可以推荐索引和分段排列。HTTP直播串流(HLS)内容可以通过将HLS媒体呈现描述(.m3u8)转换成DASH MPD的方式与该简档1606一起集成。
MPEG-2TS简要简档1608可以为MPEG-2TS主要简档1606的子集。这可以对内容编码和复用施加更多的限制以为了允许简单实现无缝切换。无缝切换可以通过保证符合ISO/IEC 13818-1(MPEG-2系统)的媒体引擎可以通过播放由连接来自相同自适应集范围内的任何表示的连续分段来生成的任何比特流的方式来实现。全部简档1610可以为ISO基本媒体文件格式主要简档1600和MPEG-2TS主要简档1606的超集。
图17为描述基于块的视频编码器诸如混合视频编码系统的示例框图。输入视频信号1702可以被逐块处理。视频块单元可以包括16x16像素。该块单元可以被称作宏块(MB)。在高效视频编码(HEVC)中，扩展后的块大小(例如，可以被称作“编码单元”或CU)可以被用来有效压缩高分辨率(例如，1080p和以下)视频信号。在HEVC，CU可以高达64x64像素。CU可以被分割成预测单元(PU)，独立的预测方法可以被应用于此。
对于输入视频块(例如，MB或CU)，空间预测1760和/或时间预测1762可以被执行。空间预测(例如，“内部预测”)可以使用来自相同视频图片/片中已经编码后的相邻块中的像素来预测当前视频块。空间预测可以降低在视频信号中固有的空间冗余。时间预测(例如，“帧间预测”或“运动补偿预测”)可以使用来自已经编码后的视频图片(例如，可以被称作“参考图片”)的像素来预测当前视频块。时间预测可以降低在视频信号中固有的时间冗余。针对视频块的时间预测信号可以由一个或多个运动向量来表示，所述一个或运动向量可以指示在参考图片中当前块与其预测块之间的运动量和/或方向。如果支持多个参考图片(例如，针对H.264/AVC和/或HEVC的情况)，那么对于每个视频块，其参考图片索引可以被附加地发送。参考索引可以被用来标识所述时间预测信号来自于参考图片存储库1764中的哪个参考图片(例如，可以被称作“解码后的图片缓存”或DPB)。
在空间和/或时间预测之后，编码器中的模式决定块1780可以选择预测模式。预测块可以从当前视频块1716中减去。预测残差(residual)可以被变换1704和/或量化1706。量化后的残差系数可以被逆量化1710和/或逆变换1712从而形成重构的残差，所述重构后的残差可以被加回至预测块1726从而形成重构的视频块。
在环(in-loop)滤波，诸如但不限于去块滤波器，采样自适应偏移、和/或自适应环路滤波器可以在其放置在参考图片存储库1764和/或用来编码未来视频块之前被应用在重构的视频块上(1766)。为了形成输出视频比特流1720，编码模式(例如，预测间模式或预测内模式)、预测模式信息、运动信息、和/或量化后的残差系数可以被发送至待压缩和/或打包的熵编码单元1708从而形成比特流。
图18是描述基于块的视频解码器的示例框图。视频比特流1802可以在熵解码单元1808处被解包和/或熵解码。编码模式和/或预测信息可以被发送到空间预测单元1860(例如如果被帧内编码)和/或时间预测单元1862(例如，如果被帧间编码)以形成预测块。如果被帧间编码，预测信息可以包括预测块大小、一个或多个运动向量(例如其可以指示运动方向和运动量)、和/或一个或多个索引(例如其可以指示预测信号将从哪个参考图片获得)。
运动补偿预测可以由时间预测单元1862应用以形成时间预测块。残差变换系数可以被发送到逆量化单元1810和逆变换单元1812以重构残差块。预测块和残差块可以在1826处一起被添加。重构的块可以在存储在参考图片存储1864之前通过在环滤波。在参考图片存储1864中重构的视频可以被用于驱动视频设备和/或被用于预测未来的视频块。
单层视频编码器可以采用单个视频序列输入并生成传送到单层解码器的单个压缩的比特流。视频编解码器可以被设计用于数字视频服务(例如诸如但不限于通过卫星、光缆、和陆地传输信道发送TV信号)。利用部署在异构型环境中的视频中心应用，多层视频编码技术可以作为视频编码标准的扩展被部署以使能多种应用。例如，可分级视频编码技术可以被设计成处理多于一个视频层，其中每个层可以被解码以重构特定空间分辨率、时间分辨率、保真度、和/或视图的视频信号。此处描述的任何概念可以由例如那些参考图17和图18描述的编码器和/或解码器来执行。此外，尽管参考图17和图18描述了单层编码器和解码器，但是此处描述的概念可以利用多层编码器和解码器，例如针对多层或可分级编码技术。
以上描述的过程可以在由计算机或处理器执行的计算机程序、软件和/或固件中实施，其中所述计算机程序、软件或/或固件被包含在计算机可读存储介质中。计算机可读介质的实例包括但不限于电子信号(通过有线和/或无线连接而传送)和/或计算机可读存储介质。关于计算机可读存储介质的实例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁介质(例如但不限于，内部硬盘或可移动磁盘)、磁光介质和/或CD-ROM光盘、和/或数字多功能光盘(DVD)之类的光介质。与软件有关的处理器可以被用于实施在WTRU、用户设备(UE)、终端、基站、RNC和/或任何主计算机中使用的无线电频率收发信机。

Claims (18)

1.一种方法，包括：
接收清单文件，该清单文件包括媒体内容的多个分段的描述，其中每个分段表示所述媒体内容的基于时间的部分，其中所述清单文件为所述多个分段中的每个分段指定比特率和质量值，以及其中所述质量值是被编码的所述多个分段中的每个分段的质量度量；
基于第一比特率和第一质量值，从所述多个分段中选择第一分段，其中所述第一比特率和所述第一质量值与所述第一分段相关联；
基于第二比特率和第二质量值，从所述多个分段中选择第二分段，其中所述第二比特率和所述第二质量值与所述第二分段相关联，其中所述第二比特率低于所述第一比特率，其中所述第二分段基于所述第二质量值与质量阈值等级相同或大于所述质量阈值等级而被选择；
发送针对所述第二分段的请求；以及
接收所述第二分段。
2.根据权利要求1所述的方法，其中所述质量值包括以下至少一者：峰值信噪比PSNR、结构相似度SSIM、视频质量度量VQM、视觉信息保真度VIF、J.341、平均意见得分MOS、或者多量度SSIM MM-SSIM。
3.根据权利要求1所述的方法，其中所述清单文件包括媒体呈现描述MPD文件。
4.根据权利要求1所述的方法，其中所述清单文件进一步包括所述媒体内容的多个表示的描述，以及其中每个表示包括所述媒体内容的至少一个分段。
5.根据权利要求1所述的方法，其中所述清单文件为所述多个分段中的每个分段指定所述媒体内容的相同的时间间隔。
6.根据权利要求1所述的方法，其中所述清单文件包括分段索引文件。
7.根据权利要求6所述的方法，其中所述分段索引文件包括MP4文件和M4S文件中的至少一者。
8.根据权利要求6所述的方法，其中所述分段索引文件包括基于ISOBMFF的文件容器，该基于ISOBMFF的文件容器包括至少一个盒子，并且其中分段质量参数被包括在所述基于ISOBMFF的文件容器的所述至少一个盒子内。
9.根据权利要求1所述的方法，进一步包括：
基于所述清单文件中的标记，识别所述质量值的存在。
10.一种装置，包括：
处理器，该处理器被配置成：
接收清单文件，其中所述清单文件包括媒体内容的多个分段的描述，其中每个分段表示所述媒体内容的基于时间的部分，其中所述清单文件为所述多个分段中的每个分段指定比特率和质量值，以及其中所述质量值是被编码的所述多个分段中的每个分段的质量度量；
基于第一比特率和第一质量值，从所述多个分段中选择第一分段，其中所述第一比特率和所述第一质量值与所述第一分段相关联；
基于第二比特率和第二质量值，从所述多个分段中选择第二分段，其中所述第二比特率和所述第二质量值与所述第二分段相关联，其中所述第二比特率低于所述第一比特率，其中所述第二分段基于所述第二质量值与质量阈值等级相同或大于所述质量阈值等级而被选择；
发送针对所述第二分段的请求；以及
接收所述第二分段。
11.根据权利要求10所述的装置，其中所述质量值包括以下至少一者：峰值信噪比PSNR、结构相似度SSIM、视频质量度量VQM、视觉信息保真度VIF、J.341、平均意见得分MOS、或者多量度SSIM MM-SSIM。
12.根据权利要求10所述的装置，其中所述清单文件包括媒体呈现描述MPD文件。
13.根据权利要求10所述的装置，其中所述清单文件进一步包括所述媒体内容的多个表示的描述，以及其中每个表示包括所述媒体内容的至少一个分段。
14.根据权利要求10所述的装置，其中所述清单文件为所述多个分段中的每个分段指定所述媒体内容的相同的时间间隔。
15.根据权利要求10所述的装置，其中所述清单文件包括分段索引文件。
16.根据权利要求15所述的装置，其中所述分段索引文件包括MP4文件和M4S文件中的至少一者。
17.根据权利要求15所述的装置，其中所述分段索引文件包括基于ISOBMFF的文件容器，该基于ISOBMFF的文件容器包括至少一个盒子，并且其中分段质量参数被包括在所述基于ISOBMFF的文件容器的所述至少一个盒子内。
18.根据权利要求10所述的装置，其中所述处理器进一步被配置成：
基于所述清单文件中的标记，识别所述质量值的存在。
CN202111520871.2A 2012-07-10 2013-07-10 由无线发射/接收单元执行的方法及无线发射/接收单元 Pending CN114422833A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261669983P 2012-07-10 2012-07-10
US61/669,983 2012-07-10
US201361835105P 2013-06-14 2013-06-14
US61/835,105 2013-06-14
PCT/US2013/049839 WO2014011720A1 (en) 2012-07-10 2013-07-10 Quality-driven streaming
CN201380037111.3A CN104488246B (zh) 2012-07-10 2013-07-10 质量驱动串流

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380037111.3A Division CN104488246B (zh) 2012-07-10 2013-07-10 质量驱动串流

Publications (1)

Publication Number Publication Date
CN114422833A true CN114422833A (zh) 2022-04-29

Family

ID=48875753

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201811202066.3A Pending CN109618185A (zh) 2012-07-10 2013-07-10 由wtru执行的方法、wtru及编码设备
CN202111520871.2A Pending CN114422833A (zh) 2012-07-10 2013-07-10 由无线发射/接收单元执行的方法及无线发射/接收单元
CN201380037111.3A Active CN104488246B (zh) 2012-07-10 2013-07-10 质量驱动串流

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811202066.3A Pending CN109618185A (zh) 2012-07-10 2013-07-10 由wtru执行的方法、wtru及编码设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380037111.3A Active CN104488246B (zh) 2012-07-10 2013-07-10 质量驱动串流

Country Status (9)

Country Link
US (2) US10178140B2 (zh)
EP (1) EP2873212B1 (zh)
JP (2) JP6697879B2 (zh)
KR (4) KR20190026965A (zh)
CN (3) CN109618185A (zh)
HK (1) HK1204513A1 (zh)
RU (1) RU2606064C2 (zh)
TW (1) TWI610554B (zh)
WO (1) WO2014011720A1 (zh)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1999883A4 (en) 2006-03-14 2013-03-06 Divx Llc FEDERATED DIGITAL RIGHTS MANAGEMENT SYSTEM COMPRISING CONFIDENCE SYSTEMS
US9521469B2 (en) * 2013-04-19 2016-12-13 Futurewei Technologies, Inc. Carriage of quality information of content in media formats
CA2749170C (en) 2009-01-07 2016-06-21 Divx, Inc. Singular, collective and automated creation of a media guide for online content
CA2782825C (en) 2009-12-04 2016-04-26 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
CN109618185A (zh) * 2012-07-10 2019-04-12 Vid拓展公司 由wtru执行的方法、wtru及编码设备
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
WO2014057896A1 (ja) * 2012-10-09 2014-04-17 シャープ株式会社 コンテンツ送信装置、コンテンツ再生装置、コンテンツ配信システム、コンテンツ送信装置の制御方法、コンテンツ再生装置の制御方法、制御プログラムおよび記録媒体
US10735486B2 (en) * 2012-12-28 2020-08-04 Qualcomm Incorporated Device timing adjustments and methods for supporting dash over broadcast
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9647818B2 (en) 2013-01-03 2017-05-09 Intel IP Corporation Apparatus and method for single-tone device discovery in wireless communication networks
CN103929684B (zh) * 2013-01-14 2018-06-15 华为技术有限公司 一种基于流媒体选择码流分段的方法、播放器和终端
KR101758167B1 (ko) * 2013-01-15 2017-07-14 후아웨이 테크놀러지 컴퍼니 리미티드 미디어 콘텐츠의 적응 스트리밍을 위한 품질 정보의 사용
CN105191409B (zh) * 2013-03-14 2018-10-16 交互数字专利控股公司 用于选择用于接收内容的分布式网关的wtru及方法
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US9503491B2 (en) * 2013-03-15 2016-11-22 Echostar Technologies L.L.C. Playback stall avoidance in adaptive media streaming
ES2728732T3 (es) * 2013-03-29 2019-10-28 Intel Ip Corp Técnicas de adaptación de tasa sensibles a la calidad para la difusión en flujo de tipo DASH
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
US10284612B2 (en) 2013-04-19 2019-05-07 Futurewei Technologies, Inc. Media quality information signaling in dynamic adaptive video streaming over hypertext transfer protocol
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
KR102145742B1 (ko) 2013-06-12 2020-08-19 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2015010056A1 (en) * 2013-07-19 2015-01-22 Huawei Technologies Co., Ltd. Metadata information signaling and carriage in dynamic adaptive streaming over hypertext transfer protocol
US9628528B2 (en) * 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
US8718445B1 (en) 2013-09-03 2014-05-06 Penthera Partners, Inc. Commercials on mobile devices
EP3050304A4 (en) * 2013-09-27 2017-05-31 LG Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
US9397893B2 (en) * 2013-10-30 2016-07-19 International Business Machines Corporation Managing quality of experience for media transmissions
CN103744586B (zh) * 2014-01-07 2018-03-16 惠州Tcl移动通信有限公司 移动终端及其菜单项设置方法、装置
JP6574426B2 (ja) * 2014-01-09 2019-09-11 サムスン エレクトロニクス カンパニー リミテッド マルチメディア伝送システムにおけるメディアデータ関連情報を送信する方法及び装置
US10313723B2 (en) * 2014-01-29 2019-06-04 Koninklijke Kpn N.V. Establishing a streaming presentation of an event
GB2519391B (en) * 2014-04-02 2015-10-21 Imagination Tech Ltd Enhanced media quality management
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
KR102208795B1 (ko) * 2014-04-17 2021-01-28 삼성전자주식회사 패킷 교환 이동통신 시스템의 과 부하 상황에서 통화 서비스를 허용하는 방법 및 장치
MX365275B (es) * 2014-04-24 2019-05-29 Sony Corp Dispositivo de recepción, método de recepción, dispositivo de transmisión y método de transmisión.
FR3020544A1 (fr) * 2014-04-24 2015-10-30 Orange Transmission et telechargement de contenu decompose en segments de donnees temporels
FR3021489A1 (fr) * 2014-05-22 2015-11-27 Orange Procede de telechargement adaptatif de contenus numeriques pour plusieurs ecrans
US20150350369A1 (en) * 2014-05-30 2015-12-03 Qualcomm Incorporated Method For Reducing Pre-Fetching Of Multimedia Streaming Data With Minimal Impact On Playback User Experience
US10924781B2 (en) * 2014-06-27 2021-02-16 Satellite Investors, Llc Method and system for real-time transcoding of MPEG-DASH on-demand media segments while in transit from content host to dash client
US9787751B2 (en) 2014-08-06 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content utilizing segment and packaging information
US9894130B2 (en) * 2014-09-23 2018-02-13 Intel Corporation Video quality enhancement
CN107079013B (zh) 2014-10-14 2020-07-10 皇家Kpn公司 管理媒体流的并发流式传输
US9509742B2 (en) 2014-10-29 2016-11-29 DLVR, Inc. Configuring manifest files referencing infrastructure service providers for adaptive streaming video
US10084838B2 (en) 2014-10-29 2018-09-25 DLVR, Inc. Generating and using manifest files including content delivery network authentication data
US10142386B2 (en) 2014-10-29 2018-11-27 DLVR, Inc. Determining manifest file data used in adaptive streaming video delivery
EP3254470B8 (en) 2015-02-07 2022-06-08 SSIMWAVE Inc. Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations
US20160248829A1 (en) * 2015-02-23 2016-08-25 Qualcomm Incorporated Availability Start Time Adjustment By Device For DASH Over Broadcast
CN107251008B (zh) * 2015-02-27 2020-11-13 帝威视有限公司 在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法
FR3034943B1 (fr) * 2015-04-07 2017-04-14 Streamroot Inc Procede de lecture en continu sur un equipement client d'un contenu diffuse au sein d'un reseau pair a pair
CN107567702B (zh) * 2015-04-24 2021-01-12 Vid拓展公司 在自适应流传送中检测中间人攻击
TWI548267B (zh) * 2015-05-07 2016-09-01 鴻海精密工業股份有限公司 控制設備及其控制視訊點播的方法
WO2016183251A1 (en) * 2015-05-11 2016-11-17 Mediamelon, Inc. Systems and methods for performing quality based streaming
US11076187B2 (en) * 2015-05-11 2021-07-27 Mediamelon, Inc. Systems and methods for performing quality based streaming
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
JP6231046B2 (ja) * 2015-06-24 2017-11-15 株式会社ドワンゴ 動画データ配信管理装置、動画データ配信管理方法、プログラム
WO2017007263A1 (ko) * 2015-07-08 2017-01-12 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
TWI736542B (zh) * 2015-08-06 2021-08-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
US10027733B2 (en) * 2015-09-11 2018-07-17 YipTV, Inc. Method and apparatus for viewing and filtering media content
KR102209292B1 (ko) 2015-11-04 2021-01-29 삼성전자 주식회사 멀티미디어 시스템에서 데이터 제공 방법 및 장치
WO2017092805A1 (en) * 2015-12-02 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Data rate adaptation for multicast delivery of streamed content
EP3387835A1 (en) * 2015-12-11 2018-10-17 VID SCALE, Inc. Scheduling multiple-layer video segments
EP3179688A1 (en) * 2015-12-11 2017-06-14 Koninklijke KPN N.V. Updating part of a manifest file on the basis of patches
US9942557B2 (en) * 2016-01-26 2018-04-10 Beamr Imaging Ltd. Method and system of video encoding optimization
US9800915B2 (en) 2016-02-10 2017-10-24 At&T Intellectual Property I, L.P. Method and apparatus for satellite television service with alternate delivery capabilities
JP2017157904A (ja) * 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
EP3829182A1 (en) 2016-03-06 2021-06-02 SSIMWAVE Inc. Method and system for automatic user quality-of-experience measurement of streaming video
JPWO2017169721A1 (ja) * 2016-03-28 2019-02-07 ソニー株式会社 ファイル生成装置およびファイル生成方法
GB2549471A (en) * 2016-04-15 2017-10-25 Quantel Ltd Methods of streaming media file data and media file servers
US10841566B2 (en) * 2016-05-26 2020-11-17 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
EP4093034A1 (en) * 2016-07-14 2022-11-23 Arris Enterprises, Llc Quality tagging in adaptive bitrate technologies
GB2552943A (en) * 2016-08-09 2018-02-21 V-Nova Ltd Adaptive video consumption
WO2018044338A1 (en) * 2016-08-30 2018-03-08 Intel IP Corporation Quantization parameter reporting for video streaming
CN107888993B (zh) * 2016-09-30 2020-11-06 华为技术有限公司 一种视频数据的处理方法及装置
JP6891497B2 (ja) * 2017-01-06 2021-06-18 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US10397286B2 (en) * 2017-05-05 2019-08-27 At&T Intellectual Property I, L.P. Estimating network data streaming rate
US10382517B2 (en) 2017-06-09 2019-08-13 At&T Intellectual Property I, L.P. Estimating network data encoding rate
JP6611271B2 (ja) * 2017-07-07 2019-11-27 日本電信電話株式会社 動画品質制御装置、ビットレート選択方法、及びプログラム
US10880354B2 (en) * 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US10779017B2 (en) * 2018-12-10 2020-09-15 Warner Bros. Entertainment Inc. Method and system for reducing drop-outs during video stream playback
US11012723B2 (en) * 2019-01-02 2021-05-18 Tencent America LLC Service descriptions for multimedia streaming
AU2020208640A1 (en) * 2019-01-17 2021-08-05 Brightcove Inc. Optimal multi-codec ABR ladder design
US10623734B1 (en) * 2019-04-23 2020-04-14 Nuro, Inc. Systems and methods for adaptive mobile telecommunications for autonomous vehicles
CN110418143B (zh) * 2019-07-19 2021-05-14 山西大学 一种车联网中svc视频的传输方法
US11134411B2 (en) * 2019-07-31 2021-09-28 Hewlett Packard Enterprise Development Lp Dynamic uplink resource unit scheduling for UL-OFDMA in 802.11ax networks
US11343567B1 (en) * 2019-08-07 2022-05-24 Meta Platforms, Inc. Systems and methods for providing a quality metric for media content
US11831879B2 (en) * 2019-09-20 2023-11-28 Comcast Cable Communications, Llc Methods, systems, and apparatuses for enhanced adaptive bitrate segmentation
KR20220079669A (ko) 2020-06-23 2022-06-13 텐센트 아메리카 엘엘씨 미디어 스트리밍에서 콤보-인덱스 세그먼트 트랙을 이용한 대역폭 캡 시그널링
US11438673B2 (en) * 2020-09-11 2022-09-06 Penthera Partners, Inc. Presenting media items on a playing device
US11671627B2 (en) * 2020-09-17 2023-06-06 Lemon Inc. Operating point entity group signaling in coded video
CN112948600B (zh) * 2021-01-26 2023-06-02 四川天翼网络股份有限公司 一种高性能多协议音视频存储系统
WO2022201225A1 (ja) * 2021-03-22 2022-09-29 日本電信電話株式会社 制御装置、制御方法及びプログラム
US11895336B2 (en) * 2021-04-02 2024-02-06 Qualcomm Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding
CN113691886A (zh) * 2021-08-25 2021-11-23 三星电子（中国）研发中心 流媒体文件的下载方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150428A (zh) * 2008-09-11 2011-08-10 谷歌公司 用于使用自适应分段的视频编码的系统和方法
CN102263783A (zh) * 2011-06-14 2011-11-30 上海聚力传媒技术有限公司 一种用于基于时间分段传输媒体文件的方法与设备
US20120151009A1 (en) * 2010-06-18 2012-06-14 Nokia Corporation Method and Apparatus for Generating and Handling Streaming Media Quality-of-Experience Metrics
US20120158985A1 (en) * 2010-12-21 2012-06-21 Microsoft Corporation Distributed smooth streaming utilizing dynamic manifests

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020170068A1 (en) * 2001-03-19 2002-11-14 Rafey Richter A. Virtual and condensed television programs
WO2005099271A1 (en) * 2004-04-06 2005-10-20 Koninklijke Philips Electronics N.V. Device and method for receiving video data
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
JP2007194680A (ja) * 2006-01-17 2007-08-02 Sharp Corp 動画視聴方法、通信端末およびプログラム
RU2398362C2 (ru) 2006-06-16 2010-08-27 Эрикссон Аб Соединение независимых мультимедийных источников в конференц-связь
WO2008077119A2 (en) * 2006-12-19 2008-06-26 Ortiva Wireless Intelligent video signal encoding utilizing regions of interest information
WO2009024031A1 (en) 2007-08-22 2009-02-26 Yuvad Technologies Co., Ltd. A system for identifying motion video content
US8488834B2 (en) * 2007-11-15 2013-07-16 Certifi-Media Inc. Method for making an assured image
KR101367886B1 (ko) 2008-05-07 2014-02-26 디지털 파운튼, 인크. 브로드캐스트 채널 상에서의 고속 채널 재핑 및 고품질 스트리밍 보호
CN102067610B (zh) * 2008-06-16 2013-07-10 杜比实验室特许公司 基于视频编码的切片依赖性的码率控制模型适配
US8396114B2 (en) 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8621044B2 (en) 2009-03-16 2013-12-31 Microsoft Corporation Smooth, stateless client media streaming
US8566393B2 (en) * 2009-08-10 2013-10-22 Seawell Networks Inc. Methods and systems for scalable video chunking
US8484368B2 (en) * 2009-10-02 2013-07-09 Disney Enterprises, Inc. Method and system for optimizing download and instantaneous viewing of media files
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
US9124642B2 (en) 2009-10-16 2015-09-01 Qualcomm Incorporated Adaptively streaming multimedia
US20110176496A1 (en) * 2010-01-15 2011-07-21 Roy Rabinda K On-the-fly video quality switching for video distribution networks and methods therefor
KR20120034550A (ko) * 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
KR20120010089A (ko) 2010-07-20 2012-02-02 삼성전자주식회사 Ｈｔｔｐ 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
EP2614653A4 (en) * 2010-09-10 2015-04-15 Nokia Corp METHOD AND APPARATUS FOR ADAPTIVE CONTINUOUS DIFFUSION
US20120128334A1 (en) * 2010-11-19 2012-05-24 Samsung Electronics Co. Ltd. Apparatus and method for mashup of multimedia content
US8997160B2 (en) 2010-12-06 2015-03-31 Netflix, Inc. Variable bit video streams for adaptive streaming
WO2012093718A1 (ja) * 2011-01-07 2012-07-12 シャープ株式会社 コンテンツ取得装置、再生装置、コンテンツ取得方法、配信システム、コンテンツ取得プログラム、および記録媒体
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
TWI575948B (zh) 2011-02-11 2017-03-21 內數位專利控股公司 內容分配及接收方法及裝置
CN102136948B (zh) * 2011-03-15 2014-04-02 华为技术有限公司 用于统计用户体验的方法、终端设备和系统
CN102710586B (zh) * 2011-03-28 2014-10-08 华为技术有限公司 流媒体传输控制方法、媒体传输控制方法、相关设备
WO2012134530A1 (en) 2011-04-01 2012-10-04 Intel Corporation Cross-layer optimized adaptive http streaming
US9160779B2 (en) * 2011-06-30 2015-10-13 Qualcomm Incorporated Dynamic adaptive streaming proxy for unicast or broadcast/multicast services
US10216553B2 (en) 2011-06-30 2019-02-26 International Business Machines Corporation Message oriented middleware with integrated rules engine
US8789081B2 (en) * 2011-09-02 2014-07-22 Verizon Patent And Licensing Inc. Video quality scoring
WO2013048484A1 (en) * 2011-09-30 2013-04-04 Intel Corporation Quality of experience enhancements over wireless networks
US10397294B2 (en) * 2011-12-15 2019-08-27 Dolby Laboratories Licensing Corporation Bandwidth adaptation for dynamic adaptive transferring of multimedia
CN109618185A (zh) * 2012-07-10 2019-04-12 Vid拓展公司 由wtru执行的方法、wtru及编码设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150428A (zh) * 2008-09-11 2011-08-10 谷歌公司 用于使用自适应分段的视频编码的系统和方法
US20120151009A1 (en) * 2010-06-18 2012-06-14 Nokia Corporation Method and Apparatus for Generating and Handling Streaming Media Quality-of-Experience Metrics
US20120158985A1 (en) * 2010-12-21 2012-06-21 Microsoft Corporation Distributed smooth streaming utilizing dynamic manifests
CN102263783A (zh) * 2011-06-14 2011-11-30 上海聚力传媒技术有限公司 一种用于基于时间分段传输媒体文件的方法与设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
INTEL CORPORATION (UK) LTD: "S4-111008 "Justification for MPD-Awareness in QoS Support for DASH"", 3GPP TSG_SA\\WG4_CODEC, no. 4 *

Also Published As

Publication number Publication date
US20140019593A1 (en) 2014-01-16
EP2873212A1 (en) 2015-05-20
KR102283241B1 (ko) 2021-07-29
JP2020080547A (ja) 2020-05-28
TWI610554B (zh) 2018-01-01
EP2873212B1 (en) 2022-10-12
RU2606064C2 (ru) 2017-01-10
JP2015531186A (ja) 2015-10-29
JP7072592B2 (ja) 2022-05-20
KR20200037463A (ko) 2020-04-08
WO2014011720A1 (en) 2014-01-16
US10178140B2 (en) 2019-01-08
RU2015104261A (ru) 2016-08-27
TW201424314A (zh) 2014-06-16
KR101757994B1 (ko) 2017-07-13
HK1204513A1 (zh) 2015-11-20
KR20190026965A (ko) 2019-03-13
JP6697879B2 (ja) 2020-05-27
KR20170083641A (ko) 2017-07-18
CN104488246B (zh) 2018-11-02
CN104488246A (zh) 2015-04-01
CN109618185A (zh) 2019-04-12
US20190081998A1 (en) 2019-03-14
KR20150038045A (ko) 2015-04-08
US10880349B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
US10880349B2 (en) Quality-driven streaming
US11516485B2 (en) Power aware video decoding and streaming
JP6515159B2 (ja) Ｈｅｖｃ拡張のための高レベル構文
US10582227B2 (en) Scalable coding based video distribution
US11153645B2 (en) Power aware adaptation for video streaming
US10063921B2 (en) Power aware adaptation for video streaming
KR101622785B1 (ko) Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치
US20140019635A1 (en) Operation and architecture for dash streaming clients
US10616597B2 (en) Reference picture set mapping for standard scalable video coding
WO2014138331A2 (en) Power aware adaptation for video streaming
WO2016205674A1 (en) Dynamic adaptive contribution streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination