CN107079177B - 用于媒体内容质量信息的携带的装置及存储介质 - Google Patents

用于媒体内容质量信息的携带的装置及存储介质 Download PDF

Info

Publication number
CN107079177B
CN107079177B CN201580049672.4A CN201580049672A CN107079177B CN 107079177 B CN107079177 B CN 107079177B CN 201580049672 A CN201580049672 A CN 201580049672A CN 107079177 B CN107079177 B CN 107079177B
Authority
CN
China
Prior art keywords
quality
metadata
access unit
media content
mpeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580049672.4A
Other languages
English (en)
Other versions
CN107079177A (zh
Inventor
O·奥伊曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Intel Corp
Original Assignee
Intel IP Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel IP Corp filed Critical Intel IP Corp
Publication of CN107079177A publication Critical patent/CN107079177A/zh
Application granted granted Critical
Publication of CN107079177B publication Critical patent/CN107079177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

公开了一种用于传递运动图像专家组(MPEG)‑2流送视频质量信息的技术。网络元件可以生成与媒体内容流表示中的一个或多个媒体访问单元关联的质量访问单元。质量访问单元可以指示用于媒体内容流表示中的媒体访问单元的质量元数据。网络元件可以将质量访问单元封装在MPEG‑2传输流(TS)中。网络元件可以生成描述质量访问单元中所指示的质量元数据的质量扩展描述符。网络元件可以根据所定义的周期性将质量扩展描述符传递到用户设备(UE)。网络元件可以将MPEG TS中的质量访问单元与媒体访问单元一起传递到UE，其中，在所述UE处，基于质量扩展描述符来解释质量访问单元。

Description

用于媒体内容质量信息的携带的装置及存储介质
背景技术
包括流送服务和对话服务在内的多媒体服务的增长是向新的移动宽带技术和标准演进的关键驱动力之一。在移动设备中越来越多地消费数字视频内容。在日常生活中有很多在移动设备上广泛使用的视频应用。例如，在线视频流送包括流行的例如YouTube和Hulu的服务。视频记录和视频会议包括例如Skype和Google Hangout的服务。在2011 年，YouTube具有多于1万亿次的全球浏览。百分之十的浏览是经由移动电话或平板访问的。随着更多智能电话、平板和其它移动计算设备被购买，它们对于视频记录和视频会议的使用将显著增加。在与媒体压缩和无线网络基础架构的开发结合的对于多媒体服务的消费者需求如此高的情况下，令人感兴趣的是，增强未来蜂窝和移动宽带系统的多媒体服务能力并且将高体验质量(QoE)传递给消费者，由此确保从任何位置、在任何时间、通过任何设备和技术对视频内容和服务进行无处不在的访问。
附图说明
从结合附图进行的以下详细描述中，本公开的特征和优点将是明显的，详细描述结合附图一起通过示例的方式示出了本公开的特征；并且其中：
图1示出根据示例的运动图像专家组(MPEG)-2传输流(TS) 格式；
图2示出根据示例的用于传递运动图像专家组(MPEG)-2流送视频质量信息的网络元件与用户设备(UE)之间的信令；
图3示出根据示例的在运动图像专家组(MPEG)-2传输流(TS) 上携带质量元数据；
图4示出根据示例的以运动图像专家组(MPEG)-2传输流(TS) 格式传送质量元数据；
图5是根据示例的标识符(ID)分配值的表；
图6是根据示例的扩展描述符的表；
图7是根据示例的扩展描述符标签值的表；
图8示出根据示例的被配置为接收国际标准化组织(ISO)基本媒体文件格式(ISOBMFF)文件或MPEG-2 TS文件作为输入并且提供用于MPEG-2 TS的质量元数据或用于ISOBMFF文件的质量元数据作为输出的转码器；
图9示出根据示例的在超文本传输协议上的动态自适应流送 (DASH)媒体呈现描述(MPD)文件的抽象句法注记(ASN)代码示例，在该文件中，经由编解码器参数以信号告知基于运动图像专家组(MPEG)-2传输流(TS)格式的质量信息的携带；
图10描绘根据示例的可操作以传递运动图像专家组(MPEG)-2 流送视频质量信息的网络元件的功能；
图11描绘根据示例的可操作以使用媒体内容质量信息执行媒体内容回放的用户设备(UE)的功能；
图12描绘根据示例的在其上体现有用于在用户设备(UE)处接收运动图像专家组(MPEG)-2流送视频质量信息的指令的至少一种非瞬时性机器可读存储介质的流程图；以及
图13示出根据示例的无线设备(例如UE)的示图。
现在将参照所示的示例性实施例，并且在此将使用特定语言来对其进行描述。然而，应理解，本发明的范围并非意图由此而受限。
具体实施方式
在公开并且描述本发明之前，应理解，本发明不限于在此所公开的特定结构、处理步骤或材料，而是扩展到本领域技术人员应理解的其等同物。还应理解，在此所采用的术语仅用于描述特定示例的目的，而非意图限制。不同附图中的相同标号表示相同要素。流程图和处理中所提供的数字是在示出步骤和操作时为了清楚而提供的，而不一定指示特定顺序或次序。
示例实施例
以下提供技术实施例的初始概述，然后稍后进一步详细描述特定技术实施例。该初始概述意图帮助读者更快地理解技术，而非意图识别技术的关键特征或基本特征，也非意图限制所要求的主题的范围。
描述了一种用于传递运动图像专家组(MPEG)-2流送视频质量信息的技术。网络元件可以生成与媒体内容流表示中的一个或多个媒体访问单元关联的质量访问单元。媒体访问单元可以是媒体内容流表示中的媒体内容帧(例如视频帧)。质量访问单元可以指示媒体内容流表示中的媒体访问单元的质量元数据(例如质量度量)。换言之，每个质量访问单元可以指示一个或多个媒体访问单元(或媒体内容帧) 的质量元数据。网络可以将质量访问单元封装在运动图像专家组 (MPEG)-2传输流(TS)中。网络元件可以生成描述质量访问单元中所指示的质量元数据的质量扩展描述符。网络元件可以根据所定义的周期性(例如大约每100毫秒)将节目映射表(PMT)中的质量扩展描述符传递到用户设备(UE)。此外，网络元件可以将MPEG TS 中的质量访问单元传递到UE。质量访问单元可以与媒体内容流表示中的媒体访问单元一起被传递到UE。UE可以使用质量扩展描述符来对 MPEG TS进行解析并解码，以便提取质量访问单元(和质量元数据)。 UE可以经由在UE处正执行的媒体播放器，基于质量访问单元中所包括的质量元数据来呈现媒体访问单元。换言之，UE可以利用MPEG-2TS中的质量元数据来智能地流送媒体内容流表示中的媒体访问单元。
已经有多种开发出以使得多媒体能够向计算设备、自计算设备、或在计算设备之间进行传递的多媒体标准。例如，在流送视频中，第三代合作伙伴项目(3GPP)已经开发出技术规范(TS)26.234(例如发行版11.0.0)，其描述基于实时流送协议(RTSP)的分组交换流送服务(PSS)，用于点播内容或直播内容的单播流送。此外，在3GPP TS 26.247(例如发行版11.0.0)中描述了基于超文本传输协议(HTTP) 的流送服务，包括渐进式下载和HTTP上的动态自适应流送(DASH)。基于3GPP的多媒体广播和多播服务(MBMS)规范TS 26.346(例如发行版11.0.0)具体说明了用于多播/广播内容分发的流送和下载技术。因此，基于DASH/PSS/MBMS的移动计算设备(例如用户设备(UE)) 在UE设备处对所流送的视频进行解码并呈现。在所有这些规范中强制对于3GPP TS 26.244(例如发行版11.0.0)中的3GPP文件格式的支持，以支持文件下载和基于HTTP的流送使用情况。
当网络状况的波动(即网络变化性)降低了与多媒体内容关联的通信数据率时，高移动性环境中的多媒体流送可能是有挑战性的。当过载的网络使通信数据率降低时，终端用户体验质量(QoE)可能同样降低。例如，当正通过过载的网络来提供时，在移动设备处接收到的多媒体内容可能具有较低的分辨率或质量，和/或多媒体内容可能周期性地中断或暂停。
流送到客户端(例如用户设备(UE))的多媒体内容可以包括多个多媒体内容段。多媒体内容段可以各自包含表示不同质量水平的多媒体内容的不同编码版本。不同编码版本可以允许客户端无缝地适配于变化的网络状况。例如，当网络状况良好(即，网络状况大于预定阈值)时，客户端可以请求具有较高视频质量的多媒体内容段。当网络状况不良(即，网络状况小于预定阈值)时，客户端可以请求具有较低视频质量的多媒体内容段。因此，当网络状况不良时，客户端可以仍然能够接收多媒体内容段(尽管处于较低质量)，并且自适应媒体流被中断的可能性得以减小。
一些媒体流送技术(例如DASH)当前支持包括定时元数据。定时元数据可以周期性地被包括于提供给客户端的媒体内容流中。定时元数据的示例包括质量信息和关于功率减少的指示符。定时元数据中的质量信息可以使客户端能够实现更平滑的质量流送以及减少的带宽消耗。在一个示例中，客户端可以使用质量信息(或质量元数据)来智能地选择在客户端处将要接收哪种编码版本的媒体内容，以便使流送质量和带宽消耗最大化。质量元数据可以与在客户端处正接收的媒体内容段关联。
质量元数据可以动态地指示媒体内容段的质量水平。在一个示例中，如果质量元数据指示媒体内容段的质量水平相对低(例如，视频是颗粒状的)，则客户端可以请求质量水平增加的媒体内容段(尽管处于较高的比特率)。在另一示例中，如果质量元数据指示媒体内容段的质量水平相对高，则客户端可以按稍微低的质量水平请求媒体内容段(这样可以得到减少的比特率)，使得降低的质量水平对于客户端的用户基本上不能察觉。换言之，如果质量的降低对于用户是不能察觉的，则可以选择处于降低的质量水平的媒体内容段，以便节省带宽。如上所述，提供给客户端的质量元数据可以使得客户端能够智能地请求用于回放的媒体内容段。
运动图像专家组(MPEG)-2传输流(TS)是部署在多个系统(例如广播系统)(例如数字视频广播(DVB)和高级电视系统委员会 (ATSC))中的媒体格式。在以往的解决方案中，MPEG2-TS格式不支持携带视频质量度量和关联的元数据。因此，基于MPEG2-TS格式的传统系统(例如广播)不能实现质量驱动的自适应流送的益处。此外，在转码操作期间，以往因不支持MPEG2-TS格式，不可能转译质量信息。转码操作的示例可以包括：从国际标准化组织(ISO)基本媒体文件格式(ISOBMFF)转码为MPEG2-TS文件格式，反之亦然。
在此所描述的技术涉及以MPEG2-TS媒体文件格式携带视频质量元数据。因此，质量驱动的自适应流送的益处可以应用于MPEG2-TS 系统。此外，可以通过该技术来使得能够在转码操作(例如从ISOBMFF 到MPEG2-TS，反之亦然)期间转译质量信息。
图1示出示例性运动图像专家组(MPEG)-2传输流(TS)格式。视频数据可以被提供给视频编码器105。视频编码器105可以产生编码的视频数据，然后编码的视频数据被提供给第一分组化器115。第一分组化器115可以从编码的视频数据生成视频分组化基本流(PES)分组。此外，音频数据可以被提供给音频编码器110。音频编码器110可以产生编码的音频数据，然后编码的音频数据被提供给第二分组化器120。第二分组化器120可以从编码的音频数据生成音频分组化基本流 (PES)分组。在一个示例中，视频PES分组和音频PES分组可以被提供给节目流(PS)复用器125，其以包含视频PES分组和音频PES 分组的方式生成节目流。在另一示例中，视频PES分组和音频PES分组可以被提供给传输流(TS)复用器130，其以包含视频PES分组和音频PES分组的方式生成传输流。
MPEG-2 TS是用于传输和存储音频、视频以及节目和系统信息 (PSIP)数据的标准容器格式。容器格式(或包装格式)可以描述数据和元数据的不同元素如何共存于计算机文件中。在一个示例中， MEPG-2 TS可以包括描述音频/视频的元数据(例如质量元数据)。MPEG-2 TS可以用在广播系统中，例如DVB、ATSC和互联网协议电视(IPTV)。MPEG-2 TS进一步定义于MPEG-2 Part 1,Systems(正式地称为ISO/IEC标准13818-1或ITU-TRec.H.222.0)中。IEC又称为国际电工委员会。MPEG-2 TS可以具体说明用于封装分组化基本流(带误差校正)的容器格式以及用于当信号降级时保持传输完整性的流同步特征。传输流可以在若干方面不同于节目流。节目流被设计用于适度可靠的媒体(例如碟(例如DVD))，而传输流被设计用于较不可靠的传输(例如地面广播或卫星广播)。此外，传输流可以携带多个节目。
MPEG-2传输流可以包括节目特定信息(PSI)，其为关于某个节目(或频道)的元数据。PSI的一个示例是节目映射表(PMT)。PMT 可以包括关于节目的信息。例如，数字电视中所使用的传输流可以包含三个节目以表示三个电视频道。三个节目(或频道)可以由三个PMT 来描述。每个频道可以包括一个视频流、一个或两个音频流以及元数据。PMT可以提供关于传输流中存在的每个节目的信息(包括节目编号)，并且列出所描述的MPEG-2节目中所包括的基本流。
图2示出用于传递运动图像专家组(MPEG)-2流送视频质量信息的网络元件210与用户设备(UE)220之间的示例性信令。网络元件 210可以位于内容传送网络(CDN)或运营商网络中。网络元件210 可以将媒体内容流送到UE 220。如在此所使用的那样，术语“媒体内容”可以指代音频和/或视频。网络元件210可以将视频质量信息与媒体内容一起发送到UE220。视频质量信息可以描述媒体内容中所包括的一个或多个媒体内容帧的质量水平。视频质量信息(例如质量元数据)可以使得UE 220能够基于视频质量信息来智能地从网络元件210 请求媒体内容帧。例如，UE 220可以基于从网络元件210接收到的视频质量信息来适配(adapt)媒体内容比特率、分辨率和/或帧速率。因此，UE 220在根据MPEG-2标准接收媒体内容时可以是有质量意识的。
在一个示例中，网络元件210可以生成与媒体内容流表示中的一个或多个媒体访问单元(或视频帧)关联的质量访问单元。媒体访问单元可以是媒体内容流表示中的媒体内容帧(例如视频帧)。质量访问单元可以指示媒体内容流表示中的媒体访问单元的质量元数据。质量元数据可以包括用于媒体访问单元的质量度量。作为非限定性示例， (具有质量元数据的)特定质量访问单元可以与五个媒体访问单元(或五个媒体内容帧)的序列关联。通常，质量访问单元可以是以及时的方式反映媒体访问单元的质量水平的变化的动态信息。换言之，由于可以为每个媒体访问单元发送质量访问单元，因此可以在随后的质量访问单元中的变化的元数据中快速地反映质量水平的变化。
在一个示例中，质量访问单元可以与特定媒体内容流关联。网络元件210可以在给定的时间广播多个媒体内容流，所以UE 220将要知道对应于质量访问单元的是哪个媒体内容流。此外，UE 220将要知道特定质量访问单元正描述的是哪个媒体访问单元(或媒体内容帧)。可以在质量访问格式中指示该信息。
如之前所解释的，质量访问单元可以包括质量元数据。质量元数据中所包括的质量度量可以是用于判断媒体内容帧的质量水平的客观准则或主观准则。通常，媒体内容质量(或视频质量)指代在原始媒体内容与其经过媒体内容传输或处理系统(例如视频编码器)之后的媒体内容之间的所感知的媒体内容降级的正式或非正式测度。换言之，质量度量可以衡量通常看作具有高质量的原始媒体内容信号(因为原始媒体内容信号并未被压缩)与编码(或变换)的媒体内容信号之间的差异。在一个示例中，质量元数据中所包括的质量度量可以包括信噪比(SNR)、峰值信噪比(PNSR)、结构相似度指数(SSIM)、多标度结构相似度指数(MS-SSIM)、视频质量度量(VQM)、视频质量的感知评估(PEVQ)、平均印象分(MOS)、帧重要性(FSIG)、 Czenakowski距离(CZD)等。
在一个配置中，质量访问单元是包含ISO/IEC 23001-10中所定义的动态质量元数据的访问单元。因此，动态质量元数据可以被存储在与一个或多个媒体内容帧(例如视频帧)关联的访问单元中。这些访问单元可以被封装在由0x2C的流类型值所识别的MPEG部分中。每个质量访问单元可以包含配置和定时信息以及质量度量值的数组。质量值与质量度量可以具有一一对应性。每个质量度量值可以根据需要用在前的零值字节填充成由字段大小字节参数所指示的字节的数量。质量访问单元可以遵循以下句法：
Figure BDA0001246215690000081
Figure BDA0001246215690000082
关于质量访问单元的句法，字段大小字节(或field_size字节)参数可以指示质量度量样本字段的大小。度量计数(或metric_count)参数可以指示每个质量访问单元中的质量度量值的数量。度量代码(或 metric_code)参数可以指示用于质量访问单元中的质量度量值的代码名称。样本计数(或sample_count)参数可以指示每质量度量值的质量度量样本的数量。解码时间戳(DTS)参数或媒体DTS可以指示质量度量样本所描述的媒体访问单元的DTS。
在一个示例中，网络元件210可以将质量访问单元封装在运动图像专家组(MPEG)-2传输流(TS)中。MPEG-2 TS是用于传输音频、视频和元数据的标准容器格式。换言之，可以在MPEG部分中携带质量访问单元。每个质量访问单元可以是随机访问点。此外，每个质量访问单元可以被包含于单个传输流(TS)分组中。
在一个示例中，网络元件210可以生成描述质量访问单元中所指示的质量元数据的质量扩展描述符。质量扩展描述符可以每事件或节目发送到UE 220一次。可以使用节目映射表(PMT)中的描述符以信号告知质量扩展描述符。PMT是从网络元件210周期性地发送到UE 220的实体。PMT是向UE 220通知将要发送到UE 220的媒体内容的电子服务指南。该描述符可以出现在提供质量信息的分组标识符(PID) 的基本流循环中。质量扩展描述符可以描述每个质量访问单元中存在的质量度量。质量扩展描述符可以包括用于质量度量值的恒定字段大小。换言之，质量扩展描述符可以使得UE 220能够处理质量访问单元中所包括的质量元数据。如果没有从网络元件210接收到质量扩展描述符，则UE 220可能不知道如何解释质量元数据，并且因此，在此情形中(即，当UE 220没有接收到质量扩展描述符时)，UE220可能忽略质量元数据。质量度量可以进一步描述于ISO/IEC 23001-10中。
在一个示例中，质量扩展描述符可以遵循以下句法：
Figure BDA0001246215690000091
关于质量扩展描述符的句法，描述符标签(或descriptor_tag)参数可以指示质量扩展描述符的标签。字段大小字节(或field_size_bytes) 参数可以指示每个质量访问单元中的质量度量值的(以字节为单位的) 恒定大小。度量计数(或metric_count)参数可以指示每个质量访问单元中的质量度量值的数量。度量代码(或metric_code)参数可以指示用于质量访问单元中的质量度量值的代码名称。可选地，质量扩展描述符的句法可以包括流标识符(或stream_id)参数，其指示质量访问单元所描述的媒体内容流表示的流标识符。在ISO/IEC 23001-10中具体说明了这些句法元素的语义。
在一个示例中，网络元件210可以在PMT中将质量扩展描述符传递到UE 220。网络元件210可以根据所定义的周期性来发送质量扩展描述符。在一个示例中，网络元件210可以大约每100毫秒(ms)发送质量扩展描述符。通常，质量扩展描述符可以是发送到UE 220的更静态的信息。UE 220可以基于质量扩展描述符来解释一组媒体访问单元(例如在100ms时间帧中接收到的媒体访问单元)。UE 220可以基于随后的质量扩展描述符来解释随后的一组访问单元。质量扩展描述符可以是潜在地应用于几百个质量访问单元的通用描述符。另一方面，质量访问单元可以是更动态的，因为它们(在几十毫秒的视频的量级上)与一个或若干媒体内容帧关联。
网络元件210可以将MPEG TS中的质量访问单元传递到UE 220。此外，网络元件210可以将媒体内容流表示中的媒体访问单元传递到 UE 220。换言之，可以结合对应的质量访问单元传递媒体访问单元。 MPEG标准描述应用于媒体访问单元(或视频帧)和质量访问单元的分组化格式。媒体访问单元和质量访问单元在带内发送到UE 220。另一方面，(PMT中所包括的)质量扩展描述符是带外信息。质量扩展描述符可以与媒体访问单元和质量访问单元分开地发送到UE 220。
在一个示例中，UE 220可以从网络元件210接收(封装在MPEG-2 TS中的)质量扩展描述符、媒体访问单元和质量访问单元。在一个示例中，UE 220可以在单个MPEG-2 TS中接收与多个媒体内容流表示对应的多个质量扩展描述符和关联的质量访问单元。UE 220可以解析 MPEG TS，以便提取质量访问单元。UE 220可以对质量访问单元进行解码，以便识别质量访问单元中所包括的质量元数据。在一个示例中， UE 220可以使用质量扩展描述符来对MPEG-2 TS进行解析并解码，以便提取质量访问单元以及质量访问单元中所包括的质量元数据。换言之，先前从网络元件210发送质量扩展描述符可以使得UE 220能够访问质量元数据。如果先前并未从网络元件210接收到质量扩展描述符，则UE 220可能无法访问质量元数据。在UE 220没有质量扩展描述符的情形中，UE 220可以简单地忽略MPEG-2 TS中所包括的质量元数据。为了保持后向兼容性，遗留UE可以忽略质量元数据，而有质量意识的较新的UE可以在媒体内容回放期间利用质量元数据。
在一个示例中，UE 220可以包括解复用器，以处理MPEG-2 TS。由于MPEG-2 TS是复用后的格式，因此音频、视频、元数据(例如质量访问单元)等可以分组在一起。换言之，音频、视频和元数据被复用、分组化，并通过介质从网络元件210发送到UE 220。解复用器可以识别音频、视频和元数据。此时，UE 220可以使用质量扩展描述符来对元数据(例如包括质量访问单元的元数据)进行解析并解码，以便从该元数据提取质量元数据。
UE 220可以将媒体访问单元和质量元数据提供给UE 220的媒体内容播放器。媒体内容播放器可以被配置为发起媒体访问单元的回放。质量元数据可以被提供给媒体内容播放器(例如DASH MPEG-2媒体播放器)。媒体播放器可以在判断请求哪些媒体内容帧向前行进以及如何适配向前行进的流送媒体内容时使用质量元数据。在一个示例中，媒体播放器可以基于质量元数据来适配媒体内容比特率、分辨率或帧速率。
在一个示例中，UE 220的媒体播放器可以请求具有增加的质量水平的媒体内容帧(尽管处于更高的比特率)。在另一示例中，如果质量元数据指示媒体内容帧的质量水平是相对高的，则媒体播放器可以按稍微低的质量水平请求媒体内容帧(这样得到减少的比特率)，使得降低的质量水平对于UE的用户是基本上不能察觉的。换言之，如果质量的降低对于用户是不能察觉的，则可以选择处于降低的质量水平的媒体内容帧，以便节省带宽。因此，在媒体播放器处使用质量元数据可以使得UE能够智能地请求用于回放的媒体内容帧。
在一个配置中，质量访问单元和媒体访问单元可以遵循所定义的定时关系。质量元数据可以与关联的媒体访问单元共享同一媒体时间线。质量元数据可以与一个或多个视频帧关联。可以对质量访问单元进行解码，并且在从网络元件210取得对应的媒体访问单元之前可以使解码的信息对于UE 220可用。这种定时关系可以确保质量访问单元内的质量元数据相对于关联的媒体访问单元的请求时间和呈现时间戳 (PTS)有足够的提前时间对于UE 220可用。媒体访问单元的PTS和质量访问单元的PTS可以是相同的。可以在传输流中以足够的提前时间发送质量访问单元，使得可以在关联的媒体访问单元的呈现时间之前执行合适的媒体适配(例如比特率、分辨率、帧速率)。
图3示出在运动图像专家组(MPEG)-2传输流(TS)上携带质量元数据。图3示出具有关联的元数据的MPEG-2节目310。MPEG-2 310节目可以与音频322和视频324关联。可以用具有唯一分组标识符 (PID)的节目映射表(PMT)320描述MPEG-2节目310。与MPEG-2 节目310关联的基本流可以具有PMT 320中所列出的PID。PMT 320 可以包括内容标记描述符322和质量元数据指针描述符324。内容标记描述符322可以指向内容标记330。内容标记330可以由元数据服务 360。质量元数据指针描述符324可以指向质量元数据描述符326。PMT 320中的质量元数据描述符326也可以称为质量扩展描述符。质量元数据描述符326可以指向元数据服务ID 328。MPEG-2节目310可以包括元数据流355。元数据流355可以包括用于视频340中的一个或多个帧的质量元数据。因此，可以在MPEG-2节目310中复用视频340、音频350和(例如包含质量元数据的)元数据流355。
图4示出以运动图像专家组(MPEG)-2传输流(TS)格式传送质量元数据。MPEG-2 TS可以包括音频和视频(A/V)内容410。A/V 内容410可以从网络元件提供给用户设备(UE)。在A/V内容410提供给UE的同时，可以与A/V内容410一起周期性地发送元数据(例如质量元数据)。在一个示例中，A/V内容410可以包括与第一质量元数据关联的第一分组时间戳(PTS1)、与第二质量元数据关联的第二分组时间戳(PTS 2)以及与第三质量元数据关联的第三分组时间戳 (PTS3)。换言之，分组时间戳可以与对应的质量元数据基本相同。 UE可以接收A/V内容410以及与A/V内容410关联的质量元数据，并且可以基于质量元数据来自适应地流送A/V内容410。例如，UE可以基于在MEPG-2 TS中接收到的质量元数据来请求增加的比特率或降低的比特率。
图5是标识符(ID)分配值的示例性表。用于MPEG2-TS格式的 ID分配值可以被包括于ISO/IEC 13818-1的表2-31中。在一个示例中，该表可以包括0x0A的值以及“ISO/IEC23001-10(质量访问单元)部分”的关联描述。
在一个配置中，ISO/IEC 13818-1的表2-34(图5中未示出)可以包括0x2C的值以及“在各部分中携带的质量流访问单元”的关联描述。此外，ISO/IEC 13818-1的表2-34可以包括0x2D-0x7E的值以及“ITU-T Rec.H.222.0|ISO/IEC 13818-1reserved”的关联描述。
在一个配置中，ISO/IEC 13818-1的表T-1(图5中未示出)可以包括“codecs”参数值。作为示例，标识为0x2C的流类型可以与标识为“Vqme”的元素关联。
图6是扩展描述符的示例性表。扩展描述符可以被包括于ISO/IEC 13818-1的条款2.6.90中的表2-103bis中。该表可以包括标注为 Quality_extension_descriptor()的质量扩展描述符。
图7是扩展描述符标签值的示例性表。扩展描述符标签值可以被包括于ISO/IEC13818-1的条款2.6.91中的表2-103ter中。该表可以包括质量扩展描述符，又称为Quality_extension_descriptor()。质量扩展描述符可以与扩展描述符标签值9关联。质量扩展描述符可以可应用于传输流(TS)并且不可应用于分组流(PS)。此外，质量扩展描述符的结构可以在ISO/IEC 13818-1条款2.6.104和2.6.105中定义。
图8示出被配置为接收国际标准化组织(ISO)基本媒体文件格式 (ISOBMFF)文件或MPEG-2 TS文件作为输入并且提供用于MPEG-2 TS的质量元数据或用于ISOBMFF文件的质量元数据作为输出的示例性转码器810。在一个示例中，转码器810可以接收ISOBMFF文件，对ISOBMFF文件进行解码，并且转译ISOBMFF文件中的质量元数据，以便生成用于MPEG-2 TS的质量元数据。换言之，从ISOBMFF文件提取的质量元数据可以用于MPEG-2 TS。在另一示例中，转码器810 可以接收MPEG-2 TS文件，对MPEG-2 TS文件进行解码，并且转译 MPEG-2 TS文件中的质量元数据，以便生成将要使用ISOBMFF文件传递的质量元数据。换言之，从MPEG-2 TS文件提取的质量元数据可以用于ISOBMFF文件。将要通过ISOBMFF文件传递的质量元数据可以与基于MPEG-2 TS的媒体内容流表示相关联，其中，质量元数据包括用于基于MPEG-2TS的媒体内容流表示中的一个或多个媒体内容帧的质量度量值。
图9示出超文本传输协议上的动态自适应流送(DASH)媒体呈现描述(MPD)文件的示例性抽象句法注记(ASN)代码示例。可以经由DASH MPD文件中的编解码器参数(或@codecs参数)以信号告知基于运动图像专家组(MPEG)-2传输流(TS)格式的质量信息的携带。编解码器参数可以指示“vqme.psnr”的值。在该示例中，视频质量度量可以基于峰值信噪比(PSNR)。用于不同视频质量度量和关联的元数据的编解码器名称的完整集合可见于ISO/IEC 23001-10中。
另一示例提供可操作以传递运动图像专家组(MPEG)-2流送视频质量信息的网络元件的功能1000，如图10中的流程图所示。该功能可以被实现为方法，或者该功能可以作为机器上的指令来执行，其中，指令被包括于至少一种计算机可读介质或一种非瞬时性机器可读存储介质上。网络元件可以包括一个或多个处理器，其被配置为：生成与媒体内容流表示中的一个或多个媒体访问单元关联的质量访问单元，所述质量访问单元指示用于媒体内容流表示中的媒体访问单元的质量元数据，如方框1010中所示。所述一个或多个处理器可以被配置为：将质量访问单元封装在运动图像专家组(MPEG)-2传输流(TS)中，如方框1020中那样。所述一个或多个处理器可以被配置为：生成描述质量访问单元中所指示的质量元数据的质量扩展描述符，如方框1030 中那样。所述一个或多个处理器可以被配置为：根据所定义的周期性将质量扩展描述符传递到用户设备(UE)，如方框1040中那样。所述一个或多个处理器可以被配置为：将MPEG TS中的质量访问单元与媒体内容流表示中的媒体访问单元一起传递到UE，其中，在UE处基于质量扩展描述符来解释质量访问单元，如方框1050中那样。
在一个配置中，第一处理器可以执行方框1010、1020和/或1030 中的操作。第一处理器可以是单个处理器，或者替代地，第一处理器可以由一个或多个分开的处理器组成。在一个配置中，第二处理器可以执行方框1040和/或1050中的操作。第二处理器的一个示例是基带处理器。
在一个示例中，MPEG TS中的质量访问单元以及媒体访问单元被传递到UE，使得UE能够使用质量扩展描述符解析MPEG TS，以提取质量访问单元，对质量访问单元进行解码，并且基于质量访问单元来呈现媒体访问单元。在另一示例中，质量元数据包括以下质量度量值中的至少一个：峰值信噪比(PSNR)；结构相似度指数(SSIM)；多标度结构相似度指数(MS-SSIM)；视频质量度量(VQM)；视频质量的感知评估(PEVQ)；平均印象分(MOS)；或帧重要性(FSIG)。
在一个示例中，质量扩展描述符包括以下中的至少一个：每个质量访问单元中的质量度量值的数量；用于每个质量访问单元中的质量度量值的恒定大小；用于质量访问单元中的质量度量值的代码名称；或用于质量访问单元所描述的媒体内容流表示的流标识符。在另一示例中，所述一个或多个处理器进一步被配置为：使用单个MPEG-2 TS 来发送与多个媒体内容流表示对应的多个质量扩展描述符以及关联的质量访问单元。
在一个示例中，每个质量访问单元包括以下中的至少一个：质量度量值的数量；质量度量样本字段的大小；用于质量度量值的代码名称；每质量度量值的质量度量样本的数量；或质量度量样本所描述的媒体访问单元的解码时间戳(DTS)。在另一示例中，所述一个或多个处理器进一步被配置为：使用转码器来解析国际标准化组织(ISO) 基本媒体文件格式(ISOBMFF)文件，对ISOBMFF文件进行解码，并且转译ISOBMFF文件中的质量元数据，以便生成用于MPEG-2 TS 的质量元数据。
在一个示例中，所述一个或多个处理器进一步被配置为：使用转码器来解析MPEG-2 TS文件，对MPEG-2 TS文件进行解码，并且转译MPEG-2 TS文件中的质量元数据，以便生成将要通过国际标准化组织(ISO)基本媒体文件格式(ISOBMFF)文件从网络元件传递的质量元数据。在另一示例中，将要通过ISOBMFF文件传递的质量元数据与基于MPEG-2 TS的媒体内容流表示相关联，其中，质量元数据包括用于基于MPEG-2 TS的媒体内容流表示中的一个或多个媒体内容帧的质量度量值。
在一个示例中，质量扩展描述符被包括于节目映射表(PMT)中，并且大约每100毫秒(ms)传递到UE。在另一示例中，媒体访问单元是媒体内容流表示中的媒体内容帧(例如媒体内容帧)。在又一示例中，质量访问单元的呈现时间戳与媒体访问单元的呈现时间戳基本相同。
另一示例提供可操作以使用媒体内容质量信息来执行媒体内容回放的用户设备(UE)的功能1100，如图11中的流程图所示。该功能可以被实现为方法，或者该功能可以作为机器上的指令来执行，其中，指令被包括于至少一种计算机可读介质或一种非瞬时性机器可读存储介质上。UE可以包括一个或多个处理器，其被配置为：在UE处从网络元件接收描述质量访问单元中的质量元数据的质量扩展描述符，所述质量访问单元与将要在UE处接收的媒体内容流表示中的一个或多个媒体访问单元相关联，如方框1110中那样。所述一个或多个处理器可以被配置为：从网络元件与媒体内容流表示中的媒体访问单元一起地接收运动图像专家组(MPEG)-2传输流(TS)中的质量访问单元，如方框1120中那样。所述一个或多个处理器可以被配置为：在UE处基于质量扩展描述符来识别来自MPEG-2 TS中的质量访问单元的质量元数据，如方框1130中那样。所述一个或多个处理器可以被配置为：将媒体访问单元和质量元数据提供给UE的媒体内容播放器，以发起媒体内容回放，其中，媒体内容播放器被配置为：基于质量元数据来适配媒体内容比特率、分辨率或帧速率中的至少一个，如方框1140中那样。
在一个配置中，第一处理器可以执行方框1110和/或1120中的操作。第一处理器的一个示例是基带处理器。在一个配置中，第二处理器可以执行方框1130和/或1140中的操作。第二处理器可以是单个处理器，或者替代地，第二处理器可以包括一个或多个分开的处理器。
在一个示例中，质量元数据包括以下质量度量值中的至少一个：峰值信噪比(PSNR)；结构相似度指数(SSIM)；多标度结构相似度指数(MS-SSIM)；视频质量度量(VQM)；视频质量的感知评估 (PEVQ)；平均印象分(MOS)；或帧重要性(FSIG)。在另一示例中，质量扩展描述符包括以下中的至少一个：每个质量访问单元中的质量度量值的数量；用于每个质量访问单元中的质量度量值的恒定大小；用于质量访问单元中的质量度量值的代码名称；或用于质量访问单元所描述的媒体内容流表示的流标识符。
在一个示例中，所述一个或多个处理器进一步被配置为：在单个 MPEG-2 TS中接收与多个媒体内容流表示对应的多个质量扩展描述符和关联的质量访问单元。在另一示例中，每个质量访问单元包括以下中的至少一个：质量度量值的数量；质量度量样本字段的大小；用于质量度量值的代码名称；每质量度量值的质量度量样本的数量；或质量度量样本所描述的媒体访问单元的解码时间戳(DTS)。
另一示例提供在其上体现有用于在用户设备(UE)处接收运动图像专家组(MPEG)-2流送视频质量信息的指令的至少一种非瞬时性机器可读存储介质的功能1200，如图12中的流程图所示。所述指令当被执行时可以使UE执行：使用UE的至少一个处理器从网络元件接收描述质量访问单元中的质量元数据的质量扩展描述符，所述质量访问单元与将要在UE处接收的媒体内容流表示中的一个或多个媒体访问单元相关联，如方框1210中那样。所述指令当被执行时可以使UE执行：使用UE的至少一个处理器从网络元件与媒体内容流表示中的媒体访问单元一起地接收运动图像专家组(MPEG)-2传输流(TS)中的质量访问单元，如方框1220中那样。所述指令当被执行时可以使UE执行：使用UE的至少一个处理器基于质量扩展描述符而从所述MPEG-2 TS中的质量访问单元提取质量元数据，其中，于在UE处回放媒体访问单元期间使用质量元数据，如方框1230中那样。
在一个示例中，所述至少一种非瞬时性机器可读存储可以还包括如下指令，其当由UE的至少一个处理器执行时使UE执行以下操作：将媒体访问单元和质量元数据提供给UE的媒体内容播放器，以发起媒体访问单元的回放，其中，媒体内容播放器被配置为：基于质量元数据来适配媒体内容比特率、分辨率或帧速率中的至少一个。
在一个示例中，在UE处大约每100毫秒(ms)从网络接收质量扩展描述符，其中，质量扩展描述符被包括于节目映射表(PMT)中。所述至少一种非瞬时性机器可读存储介质可以还包括如下指令，其当由UE的至少一个处理器执行时使UE执行以下操作：在从网络元件取得对应的媒体访问单元之前，在UE处对质量访问单元进行解码。
图13提供无线设备(例如用户设备(UE)、移动站(MS)、移动无线设备、移动通信设备、平板、手机或其它类型的无线设备)的示例说明。无线设备可以包括一个或多个天线，其被配置为：与节点或传输站(例如基站(BS))、演进节点B(eNB)、基带单元(BBU)、远程无线电头端(RRH)、远程无线电设备(RRE)、中继站(RS)、无线电设备(RE)、远程无线电单元(RRU)、中央处理模块(CPM) 或其它类型的无线广域网(WWAN)接入点进行通信。无线设备可以被配置为：使用至少一种无线通信标准进行通信，包括3GPP LTE、 WiMAX、高速分组接入(HSPA)、蓝牙和WiFi。无线设备可以对于每个无线通信标准使用单独的天线进行通信，或者对于多个无线通信标准使用共享的天线进行通信。无线设备可以在无线局域网(WLAN)、无线个域网(WPAN)和/或WWAN中进行通信。
图13还提供可以用于自无线设备进行音频输入和输出的麦克风以及一个或多个扬声器的说明。显示屏可以是液晶显示器(LCD)屏或者其它类型的显示屏(例如有机发光二极管(OLED)显示器)。显示屏可以被配置作为触摸屏。触摸屏可以使用电容性、电阻性或另一类型的触摸屏技术。应用处理器和图形处理器可以耦合到内部存储器，以提供处理和显示能力。也可以使用非易失性存储器端口将数据输入/ 输出选项提供给用户。非易失性存储器端口也可以用于扩展无线设备的存储器能力。键盘可以与无线设备集成，或者以无线方式连接到无线设备，以提供附加用户输入。也可以使用触摸屏来提供虚拟键盘。
各种技术或者其某些方面或部分可以采取有形介质(例如软盘、压缩盘-只读存储器(CD-ROM)、硬盘驱动器、非瞬时性计算机可读存储介质或任何其它机器可读存储介质)中体现的程序代码(即指令) 的形式，其中，当程序代码被加载到机器(例如计算机)中并由机器执行时，机器变为用于实施各种技术的装置。电路可以包括硬件、固件、程序代码、可执行代码、计算机指令和/或软件。非瞬时性计算机可读存储介质可以是不包括信号的计算机可读存储介质。在可编程计算机上执行程序代码的情况下，计算设备可以包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。易失性和非易失性存储器和/或存储元件可以是随机存取存储器(RAM)、可擦除可编程只读存储器 (EPROM)、闪驱、光驱、磁硬盘驱动器、固态驱动器或用于存储电子数据的其它介质。节点和无线设备可以还包括收发机模块(即收发机)、计数器模块(即计数器)、处理模块(即处理器)和/或时钟模块(即时钟)或定时器模块(即定时器)。可以实现或利用在此所描述的各种技术的一个或多个程序可以使用应用编程接口(API)、可重用控件等。可以用高级过程编程语言或面向对象编程语言来实现这些程序，以与计算机系统进行通信。然而，如果期望，可以用汇编语言或机器语言来实现程序。在任何情况下，语言可以是编译语言或解释语言，并且与硬件实现方式相组合。
如在此所使用的那样，术语处理器可以包括通用处理器、专用处理器(例如VLSI、FPGA或其它类型的专用处理器)以及在收发机中用于发送、接收和处理无线通信的基带处理器。
应理解，本说明书中所描述的很多功能单元已经被标记为模块，这是为了更具体地强调它们的实现方式独立性。例如，模块可以被实现为硬件电路，包括定制超大规模集成(VLSI)电路或门阵列、现货半导体(例如逻辑芯片)、晶体管或其它分立式组件。也可以用可编程硬件器件(例如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等)来实现模块。
在一个示例中，可以使用多个硬件电路来实现本说明书中所描述的功能单元。例如，可以使用第一硬件电路来执行处理操作，并且可以使用第二硬件电路(例如收发机)来与其它实体进行通信。第一硬件电路和第二硬件电路可以集成为单个硬件电路，或者替代地，第一硬件电路和第二硬件电路可以是分开的硬件电路。
也可以用软件来实现模块，以便由各种类型的处理器执行。所识别的可执行代码的模块可以例如包括计算机指令的一个或多个物理块或逻辑块，这些物理块或逻辑块可以例如被组织为对象、过程或函数。然而，所识别的模块的可执行文件无需物理上位于一起，而是可以包括存储在不同位置的全异指令，这些指令当在逻辑上结合在一起时构成模块并且实现模块的所声明的目的。
实际上，可执行代码的模块可以是单个指令或很多指令，并且可以甚至分布在若干不同代码段上、在不同程序当中、以及遍及若干存储器设备。类似地，操作数据可以在此被标识并示出在模块内，并且可以用任何合适的形式来体现并组织在任何合适类型的数据结构内。操作数据可以聚集为单个数据集，或者可以分布在不同位置上，包括在不同存储设备上，并且可以至少部分地仅作为系统或网络上的电子信号而存在。模块可以是无源或有源的，包括可操作以执行期望功能的代理。
整个说明书中对“示例”或“示例性”的引用意味着，结合示例所描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，整个说明书中在各个地方出现短语“在示例中”或词语“示例性”不一定全都指代同一实施例。
如在此所使用的那样，为了方便，可以在公共列表中提出多个项、结构要素、组成要素和/或材料。然而，这些列表应理解为如同列表的每个成员各自被识别为单独且唯一的成员。因此，在没有相反指示的情况下，该列表的各成员均不应当仅基于它们存在于公共组中而理解为事实上等同于同一列表中的任何其它成员。此外，在此可以提及本发明的各个实施例和示例连同它们的各个组件的替选。应理解，这些实施例、示例和替选不应理解为事实上等同于彼此，而是应看作本发明的单独且自主的表示。
此外，所描述的特征、结构或特征可以以任何合适的方式组合在一个或多个实施例中。在以下描述中，提供大量具体细节，例如布局、距离、网络示例等的示例，以提供对本发明实施例的透彻理解。然而，本领域技术人员应理解，可以在没有一个或多个具体细节的情况下，或者借助其它方法、组件、布局等，来实施本发明。在其它实例中，并未详细示出或描述公知的结构、材料或操作，以免掩盖本发明的各方面。
虽然前述实施例在一个或多个特定应用中示出本发明的原理，但对本领域技术人员显而易见的是，可以在不付出创造性劳动的情况下并且在不脱离本发明的原理和构思的情况下在实现方式的形式、使用和细节方面进行大量修改。因此，除了以下所阐述的权利要求那样之外，并非意图限制本发明。

Claims (20)

1.一种可操作以传递运动图像专家组MPEG-2流送视频质量信息的网络元件的装置，所述装置包括：
存储器；和
一个或多个处理器，所述一个或多个处理器被配置为：
生成与媒体内容流表示中的一个或多个视频帧关联的质量访问单元，所述质量访问单元指示用于所述媒体内容流表示中的视频帧的质量元数据；
将所述质量访问单元封装在运动图像专家组MPEG-2传输流TS中；
生成描述所述质量访问单元中所指示的所述质量元数据的质量扩展描述符；
在所述网络元件处，对所述质量扩展描述符进行编码，以用于传输到用户设备UE；以及
在所述网络元件处，对所述MPEG TS中的所述质量访问单元进行编码，以用于与所述媒体内容流表示中的所述媒体访问单元一起传输到所述UE。
2.如权利要求1所述的装置，还包括收发机，被配置为：
将所述质量扩展描述符发送到所述UE；以及
将所述质量访问单元发送到所述UE。
3.如权利要求1所述的装置，其中，所述质量元数据包括以下质量度量值中的至少一个：
峰值信噪比PSNR；
结构相似度指数SSIM；
多标度结构相似度指数MS-SSIM；
视频质量度量VQM；
视频质量的感知评估PEVQ；
平均印象分MOS；或
帧重要性FSIG。
4.如权利要求1所述的装置，其中，所述质量扩展描述符包括以下中的至少一个：
每个质量访问单元中的质量度量值的数量；
用于每个质量访问单元中的质量度量值的恒定大小；或
用于所述质量访问单元中的质量度量值的代码名称。
5.如权利要求1所述的装置，其中，所述质量扩展描述符被包括于节目映射表PMT中。
6.如权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
支持在MPEG-2系统中携带所述质量元数据，以增强在媒体呈现期间对于所述UE的自适应流送。
7.如权利要求1所述的装置，其中，所述质量元数据是动态质量元数据。
8.一种可操作以使用媒体内容质量信息执行媒体内容回放的用户设备UE的装置，所述装置包括：
存储器；和
一个或多个处理器，所述一个或多个处理器被配置为：
在所述UE处，从网络元件接收描述质量访问单元中的质量元数据的质量扩展描述符，所述质量访问单元与将要在所述UE处接收的媒体内容流表示中的一个或多个视频帧相关联；
从所述网络元件与所述媒体内容流表示中的视频帧一起地接收运动图像专家组MPEG-2传输流TS中的质量访问单元；
在所述UE处，基于所述质量扩展描述符来识别来自所述MPEG-2TS中的所述质量访问单元的质量元数据；以及
将所述视频帧和所述质量元数据提供给所述UE的媒体内容播放器，以发起媒体内容回放，其中，所述媒体内容播放器被配置为：基于所述质量元数据来适配媒体内容比特率、分辨率或帧速率中的至少一个。
9.如权利要求8所述的装置，其中，所述质量元数据包括以下质量度量值中的至少一个：
峰值信噪比PSNR；
结构相似度指数SSIM；
多标度结构相似度指数MS-SSIM；
视频质量度量VQM；
视频质量的感知评估PEVQ；
平均印象分MOS；或
帧重要性FSIG。
10.如权利要求8所述的装置，其中，所述质量扩展描述符包括以下中的至少一个：
每个质量访问单元中的质量度量值的数量；
用于每个质量访问单元中的质量度量值的恒定大小；
用于所述质量访问单元中的质量度量值的代码名称；或
用于所述质量访问单元所描述的所述媒体内容流表示的流标识符。
11.如权利要求8所述的装置，其中，所述一个或多个处理器进一步被配置为：
在单个MPEG-2TS中接收与多个媒体内容流表示对应的多个质量扩展描述符和关联的质量访问单元。
12.如权利要求8所述的装置，其中，每个质量访问单元包括以下中的至少一个：
质量度量值的数量；
质量度量样本字段的大小；
用于所述质量度量值的代码名称；
每质量度量值的质量度量样本的数量；或
质量度量样本所描述的所述视频帧的解码时间戳DTS。
13.如权利要求8所述的装置，其中，所述一个或多个处理器被配置为：
使用所述质量扩展描述符来解析MPEG-2TS，以提取所述质量访问单元，对所述质量访问单元进行解码，并基于所述质量访问单元来呈现所述视频帧。
14.至少一种机器可读存储介质，在其上体现有用于从网络元件传递运动图像专家组MPEG-2流送视频质量信息的指令，所述指令当被所述网络元件处的一个或多个处理器执行时执行以下操作：
生成与媒体内容流表示中的一个或多个视频帧关联的质量访问单元，所述质量访问单元指示用于所述媒体内容流表示中的视频帧的质量元数据；
将所述质量访问单元封装在运动图像专家组MPEG-2传输流TS中；
生成描述所述质量访问单元中所指示的所述质量元数据的质量扩展描述符；
在所述网络元件处，对所述质量扩展描述符进行编码，以用于传输到用户设备UE；以及
在所述网络元件处，对所述MPEG TS中的所述质量访问单元进行编码，以用于与所述媒体内容流表示中的所述媒体访问单元一起传输到所述UE。
15.如权利要求14所述的至少一种机器可读存储介质，其中，所述质量元数据包括以下质量度量值中的至少一个：
峰值信噪比PSNR；
结构相似度指数SSIM；
多标度结构相似度指数MS-SSIM；
视频质量度量VQM；
视频质量的感知评估PEVQ；
平均印象分MOS；或
帧重要性FSIG。
16.如权利要求14所述的至少一种机器可读存储介质，其中，所述质量扩展描述符包括以下中的至少一个：
每个质量访问单元中的质量度量值的数量；
用于每个质量访问单元中的质量度量值的恒定大小；或
用于所述质量访问单元中的质量度量值的代码名称。
17.如权利要求14所述的至少一种机器可读存储介质，其中，每个质量访问单元包括以下中的至少一个：
质量度量值的数量；
质量度量样本字段的大小；
用于所述质量度量值的代码名称；
每质量度量值的质量度量样本的数量；或
质量度量样本所描述的所述视频帧的解码时间戳DTS。
18.如权利要求14所述的至少一种机器可读存储介质，其中，所述质量扩展描述符被包括于节目映射表PMT中。
19.如权利要求14所述的至少一种机器可读存储介质，还包括如下指令，所述指令当被执行时执行以下操作：
支持在MPEG-2系统中携带所述质量元数据，以增强在媒体呈现期间对于所述UE的自适应流送。
20.如权利要求14所述的至少一种机器可读存储介质，其中，所述质量元数据是动态质量元数据。
CN201580049672.4A 2014-10-14 2015-09-14 用于媒体内容质量信息的携带的装置及存储介质 Active CN107079177B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462063845P 2014-10-14 2014-10-14
US62/063,845 2014-10-14
US14/701,380 2015-04-30
US14/701,380 US10110652B2 (en) 2014-10-14 2015-04-30 Carriage of media content quality information
PCT/US2015/050025 WO2016060766A1 (en) 2014-10-14 2015-09-14 Carriage of media content quality information

Publications (2)

Publication Number Publication Date
CN107079177A CN107079177A (zh) 2017-08-18
CN107079177B true CN107079177B (zh) 2020-04-07

Family

ID=55656287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580049672.4A Active CN107079177B (zh) 2014-10-14 2015-09-14 用于媒体内容质量信息的携带的装置及存储介质

Country Status (8)

Country Link
US (1) US10110652B2 (zh)
EP (1) EP3207713A1 (zh)
JP (1) JP6358638B2 (zh)
KR (1) KR20170044134A (zh)
CN (1) CN107079177B (zh)
BR (1) BR112017005189A2 (zh)
TW (1) TWI591999B (zh)
WO (1) WO2016060766A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4216556A1 (en) * 2016-05-20 2023-07-26 Lg Electronics, Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
KR102650850B1 (ko) * 2016-05-30 2024-03-26 소니그룹주식회사 영상 음향 처리 장치 및 방법, 및 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체
US20180357316A1 (en) * 2017-06-12 2018-12-13 BCaster Oy Arrangement and related method for provision of video items
CN110868373A (zh) * 2018-08-27 2020-03-06 浙江宇视科技有限公司 多媒体数据传输方法、装置及计算机可读存储介质
US11343567B1 (en) * 2019-08-07 2022-05-24 Meta Platforms, Inc. Systems and methods for providing a quality metric for media content
CN114205344B (zh) * 2020-08-31 2023-02-28 华为技术有限公司 媒体文件传输的方法及装置
US11895336B2 (en) 2021-04-02 2024-02-06 Qualcomm Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding
EP4315865A1 (en) * 2021-04-02 2024-02-07 QUALCOMM Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101682718A (zh) * 2007-04-04 2010-03-24 韩国电子通信研究院 基于iso基本媒体文件格式的mpeg-2传输流的存储/回放方法和设备
CN103181186A (zh) * 2010-10-06 2013-06-26 韩国电子通信研究院 提供串流内容的装置及方法
WO2015010056A1 (en) * 2013-07-19 2015-01-22 Huawei Technologies Co., Ltd. Metadata information signaling and carriage in dynamic adaptive streaming over hypertext transfer protocol

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2772538B1 (fr) * 1997-12-17 2000-02-11 Telediffusion Fse Procede et systeme de mesure de la qualite de signaux de television numerique
EP1885083A1 (en) * 2006-08-03 2008-02-06 Acterna, LLC Triple play services tester
EP2093911A3 (en) 2007-11-28 2010-01-13 Lg Electronics Inc. Receiving system and audio data processing method thereof
KR20120034550A (ko) * 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9253510B2 (en) * 2010-12-15 2016-02-02 Telefonaktiebolaget L M Ericsson (Publ) Methods, a client and a server for handling an MPEG transport stream
WO2014172654A1 (en) * 2013-04-19 2014-10-23 Huawei Technologies Co., Ltd. Media quality information signaling in dynamic adaptive video streaming over hypertext transfer protocol

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101682718A (zh) * 2007-04-04 2010-03-24 韩国电子通信研究院 基于iso基本媒体文件格式的mpeg-2传输流的存储/回放方法和设备
CN103181186A (zh) * 2010-10-06 2013-06-26 韩国电子通信研究院 提供串流内容的装置及方法
WO2015010056A1 (en) * 2013-07-19 2015-01-22 Huawei Technologies Co., Ltd. Metadata information signaling and carriage in dynamic adaptive streaming over hypertext transfer protocol

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Draft information technology-coding of audio-visual objects.Part 12：ISO base media file format;ISO/IEC 14496-12;《ISO/IEC》;20121231;全文 *
text of ISO/IEC DIS 23001-10 Timed Metadata Metrics of Media in the ISO Base Media File Format;ISO/IEC DIS 23001-10;《ISO/IEC》;20140711;全文 *

Also Published As

Publication number Publication date
JP6358638B2 (ja) 2018-07-18
TW201626774A (zh) 2016-07-16
TWI591999B (zh) 2017-07-11
US20160105478A1 (en) 2016-04-14
US10110652B2 (en) 2018-10-23
BR112017005189A2 (pt) 2017-12-12
JP2017535098A (ja) 2017-11-24
EP3207713A1 (en) 2017-08-23
KR20170044134A (ko) 2017-04-24
CN107079177A (zh) 2017-08-18
WO2016060766A1 (en) 2016-04-21

Similar Documents

Publication Publication Date Title
CN107079177B (zh) 用于媒体内容质量信息的携带的装置及存储介质
AU2017203829B2 (en) Streaming with coordination of video orientation (cvo)
CN106576182B (zh) 支持超文本传输协议上的动态自适应流的设备和方法
CN107113459B (zh) 记录有用于提供网络自适应内容的程序的计算机可读记录介质和用于提供网络自适应内容的装置
KR102349451B1 (ko) 멀티미디어의 전송 또는 수신 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1241618

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200331

Address after: California, USA

Patentee after: Apple Inc.

Address before: California, USA

Patentee before: INTEL Corp.

Effective date of registration: 20200331

Address after: California, USA

Patentee after: INTEL Corp.

Address before: California, USA

Patentee before: INTEL IP Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1241618

Country of ref document: HK