CN109644282A - 用于媒体数据流式处理的补充增强信息轨迹的系统级发信 - Google Patents

用于媒体数据流式处理的补充增强信息轨迹的系统级发信 Download PDF

Info

Publication number
CN109644282A
CN109644282A CN201780050967.2A CN201780050967A CN109644282A CN 109644282 A CN109644282 A CN 109644282A CN 201780050967 A CN201780050967 A CN 201780050967A CN 109644282 A CN109644282 A CN 109644282A
Authority
CN
China
Prior art keywords
video
information
level information
system level
sei message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780050967.2A
Other languages
English (en)
Other versions
CN109644282B (zh
Inventor
托马斯·斯托克哈默
王业奎
德米特罗·鲁萨诺夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109644282A publication Critical patent/CN109644282A/zh
Application granted granted Critical
Publication of CN109644282B publication Critical patent/CN109644282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4351—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reassembling additional data, e.g. rebuilding an executable program from recovered modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在一个实例中，一种用于检索媒体数据的装置包含一或多个处理器，所述一或多个处理器实施于电路中且经配置以进行以下操作：分析囊封视频基本流的媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含一或多个补充增强信息SEI消息及所述SEI消息中的每一者的有效负载类型；从所述系统级信息提取所述一或多个SEI消息及所述有效负载类型；及将所述一或多个SEI消息及所述有效负载类型发送至所述装置的一或多个其它处理单元。

Description

用于媒体数据流式处理的补充增强信息轨迹的系统级发信
本申请案主张2016年8月24日申请的美国临时申请案第62/379,145号的权益，所述申请案的全部内容特此以引用的方式并入。
技术领域
本发明涉及经编码媒体数据的输送。
背景技术
数字媒体能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话、视频电话会议装置等等。数字视频装置实施视频编码(例如压缩)技术，从而更有效地发射及接收数字视频信息，所述视频编码技术是例如描述于由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频编码(AVC)、ITU-T H.265(也参考高效率视频译码(HEVC))定义的标准及此类标准的扩展中的那些技术。
在媒体数据已被编码之后，可将媒体数据包化以供发射或存储。可将媒体数据汇编为符合多种标准中的任一者的媒体文件，所述标准是例如国际标准化组织(ISO)基本媒体文件格式及其扩展格式。
发明内容
大体来说，本发明描述用于在媒体位流的系统级上发射或接收(例如产生或分析)信息的技术，所述信息表示由媒体位流囊封的视频基本流的补充增强信息(SEI)消息。所述信息可指示以下各者中的一或多者：用于隐藏式字幕的SEI消息在视频基本流中的存在，在系统级上操作的单元是否必须能够呈现隐藏式字幕，用于所述隐藏式字幕的描述性信息，隐藏式字幕的多个集合是否存在于视频基本流、用于高动态范围(HDR)格式的主要颜色体积信息、用于HDR格式的内容亮度级信息、用于HDR格式的颜色再映射信息(CRI)消息，或用于HDR格式的专有信息。
在一个实例中，一种检索媒体数据的方法包含：由客户端装置的流式处理客户端分析囊封视频基本流的媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含一或多个补充增强信息(SEI)消息及所述SEI消息中的每一者的有效负载类型；由所述流式处理客户端从所述系统级信息提取所述一或多个SEI消息及所述有效负载类型；及由所述流式处理客户端将所述一或多个SEI消息及所述有效负载类型发送到所述客户端装置的一或多个处理单元。
在另一实例中，一种用于检索媒体数据的装置包含一或多个处理器，所述一或多个处理器实施于电路中且经配置以进行以下操作：分析囊封视频基本流的媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含一或多个补充增强信息(SEI)消息及所述SEI消息中的每一者的有效负载类型；从所述系统级信息提取所述一或多个SEI消息及所述有效负载类型；及将所述一或多个SEI消息及所述有效负载类型发送到所述装置的一或多个其它处理单元。
在另一实例中，一种用于检索媒体数据的装置包含：用于分析囊封视频基本流的媒体位流的系统级信息的装置，所述系统级信息指示所述视频基本流包含一或多个补充增强信息(SEI)消息及所述SEI消息中的每一者的有效负载类型；用于从所述系统级信息提取所述一或多个SEI消息及所述有效负载类型的装置；及用于将所述一或多个SEI消息及所述有效负载类型发送到所述装置的一或多个处理单元的装置。
在另一实例中，一种计算机可读存储媒体在其上存储有指令，所述指令在执行时致使装置的处理器进行以下操作：分析囊封视频基本流的媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含一或多个补充增强信息(SEI)消息及所述SEI消息中的每一者的有效负载类型；从所述系统级信息提取所述一或多个SEI消息及所述有效负载类型；及将所述一或多个SEI消息及所述有效负载类型发送至所述装置的一或多个处理单元。
在另一实例中，一种发射媒体数据的方法包含：由内容准备装置的囊封单元从所述内容准备装置的视频编码器接收视频基本流，所述视频基本流包含一或多个补充增强信息(SEI)消息；由所述囊封单元确定所述一或多个SEI消息中的每一者的有效负载类型；由所述囊封单元将所述视频基本流囊封于媒体位流中；及由所述囊封单元产生用于所述媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含所述一或多个SEI消息及所述SEI消息中的每一者的所述有效负载类型。
在另一实例中，一种用于发射媒体数据的装置包含一或多个处理器，所述一或多个处理器实施于电路中且经配置以进行以下操作：从视频编码器接收视频基本流，所述视频基本流包含一或多个补充增强信息(SEI)消息；确定所述一或多个SEI消息中的每一者的有效负载类型；将所述视频基本流囊封于媒体位流中；及产生用于所述媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含所述一或多个SEI消息及所述SEI消息中的每一者的所述有效负载类型。
在另一实例中，一种用于发射媒体数据的装置包含：用于从视频编码器接收视频基本流的装置，所述视频基本流包含一或多个补充增强信息(SEI)消息；用于确定所述一或多个SEI消息中的每一者的有效负载类型的装置；用于将所述视频基本流囊封于媒体位流中的装置；及用于产生用于所述媒体位流的系统级信息的装置，所述系统级信息指示所述视频基本流包含所述一或多个SEI消息及所述SEI消息中的每一者的所述有效负载类型。
在另一实例中，一种计算机可读存储媒体，其上存储有指令，所述指令在执行时致使处理器进行以下操作：从视频编码器接收视频基本流，所述视频基本流包含一或多个补充增强信息(SEI)消息；确定所述一或多个SEI消息中的每一者的有效负载类型；将所述视频基本流囊封于媒体位流中；及产生用于所述媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含所述一或多个SEI消息及所述SEI消息中的每一者的所述有效负载类型。
在以下附图及具体实施方式中阐述一或多个实例的细节。其它特征、目标及优点将从具体实施方式及附图且从权利要求书显而易见。
附图说明
图1为绘示实施用于经由网络来流式处理媒体数据的技术的实例系统的框图。
图2为绘示检索单元的组件的实例集合的框图。
图3为绘示实例多媒体内容的元素的概念图。
图4为绘示实例视频文件的元素的框图，所述实例视频文件可对应于表示的片段。
图5为绘示根据本发明的技术用于输送媒体数据的实例方法的流程图。
具体实施方式
大体来说，本发明描述用于在输送媒体数据时在系统级上发信补充增强信息(SEI)消息数据的技术。系统级可大体上对应于可经由网络输送的网络抽象层(NAL)单元及囊封NAL单元。举例来说，系统级可对应于MPEG-2系统(例如MPEG-2输送流(TS))、MPEG媒体输送(MMT)及/或HTTP动态自适应流式处理(DASH)。
NAL单元可分类为视频译码层(VCL)NAL单元及非VCL NAL单元。VCL单元可含有核心压缩引擎且可包含块、宏块、译码单元(CU)及/或切片级数据。其它NAL单元可为非VCLNAL单元。在一些实例中，一个时间实例中的经译码图片(通常呈现为初级经译码图片)可包括于存取单元中，所述存取单元可包含一或多个NAL单元。
非VCL NAL单元可尤其包含参数集NAL单元及SEI NAL单元。参数集可含有序列级标头信息(在序列参数集(SPS)中)及不频繁改变的图片级标头信息(在图片参数集(PPS)中)。在参数集(例如，PPS及SPS)的情况下，不频繁改变的信息不需要针对每一序列或图片重复，因此可改善译码效率。此外，使用参数集可实现重要标头信息的带外发射，从而避免对于用于抗误码的冗余发射的需要。在带外发射实例中，参数集NAL单元可在与其它NAL单元(例如SEI NAL单元)不同的信道上发射。
SEI消息可含有信息，所述信息不为解码来自VCL NAL单元的经译码图片样本所需，但可辅助与解码、显示、抗误码及其它目的相关的过程。SEI消息可包括于非VCL NAL单元中。SEI消息为一些标准规范的规范部分，且因此对于标准相容的解码器实施方案并非始终是必选的。SEI消息可为序列级SEI消息或图片级SEI消息。某一序列级信息可包括于SEI消息中，例如SVC的实例中的可缩放性信息SEI消息，及MVC中的视图可缩放性信息SEI消息。这些实例SEI消息可传达例如关于操作点的提取及操作点的特性的信息。
例如PPS及SPS的参数集可包含视频可用性信息(VUI)。VUI通常提供关于图片的定时的信息，例如当应对图片进行解码及呈现时。VUI还可提供与经解码图片的显示相关的其它数据，例如纵横比、颜色原色等等。此外，VUI可指示例如配置文件、层及层级信息的信息，所述信息大体上指示针对译码对应视频数据将启用或停用哪些译码工具。
因此，SEI及VUI为可插入至视频位流中以出于广泛多种目的而增强视频数据在视频位流中的使用的信息集。SEI消息可(例如)含有关于信号的显示及呈现的信息。SEI消息的各种实例已定义于ITU-T H.264/AVC(高级视频译码)及ITU-T H.265/高效率视频译码(HEVC)中。SEI消息类型通过定义于相关视频译码规范(例如H.264或H.265)中的有效负载型索引识别。SEI消息甚至可用于通过注册递送私人用户数据，因此可递送大量信息。SEI消息可含有重要信息。如果此信息存在，那么媒体引擎能够存取数据或准许媒体引擎客户端存取数据。
可存在系统层针对恰当操作需要分析SEI消息及从SEI消息提取信息的情况。然而，在缺乏本发明的技术的情况下，如果视频基本流含有某些SEI消息且如果客户端要求处理SEI消息中的信息以便能够存取系统，那么没有在系统层上发信的现行方式。
在流式处理媒体数据时，各种类型的媒体数据可包含于例如音频、视频及/或定时文本(或隐藏式字幕)的媒体流中。定时文本/隐藏式字幕数据发信可根据例如CEA-608、CEA-708及EIA-608的各种标准来执行。隐藏式字幕的存在及其在视频轨迹的SEI消息内的携载定义于ANSI/SCTE 128-1 2013，章节8.1的字幕、有效格式描述(AFD)及条形数据的编码及输送中。此类发信可指示视频轨迹可包含携载CEA-608/708隐藏式字幕的SEI消息。具有值4的SEI消息语法元素payload_type用于指示基于Rec.ITU-T T.35的SEI消息在使用中。字幕的存在在系统级上的发信与某些情况下的调控问题非常相关。DASH-IF已定义在DASH MPD中发信此字幕的存在的方式(参看DASH-IF IOP准则条款6.4.3)，但所述方式在其它系统中不可用。
公共媒体应用格式，条款9.5“Video Elementary Stream Embedded Captions”表示：
·MPEG文件系统组指定一种以ISOBMFF发信视频SEI NAL单元中的字幕数据的存在的方法及对部分30的规划修改。预期所述修改可供用于当发布CMAF时在此处引用。
·建议清单发信存储SEI的隐藏式字幕的存在以及所包含的服务及语言。如果用户或播放器指示对音频可存取性的偏好，那么所述播放器可自动地选择经发信的轨迹以含有字幕。
因此，在以文件格式级与以系统级提供此发信之间存在间隙。在某些情况下，在系统级上操作的装置必须提取SEI消息以用于呈现(如例如将在DASH客户端案例中进行的)。因此，系统级信息是重要的。
本发明认为用于流式处理媒体数据的常规技术缺失以下内容：
·文件格式级上的信号，所述信号指示：
o用于CEA-608/708的SEI消息在视频基本流中的存在，
o系统级必须能够呈现字幕，
o例如字幕的语言或其它信息的额外信息包含于SEI消息中，及
o可能存在多个字幕(例如针对不同语言)。
·MPD/DASH/SYSTEM级上的信号用以支持以上全部。
·MPEG-2 TS级上的信号用以支持以上全部。
·MMT系统级上的信号用以支持以上全部。
超HD及高动态范围(HDR)技术的出现已将若干不同媒体格式及描述其的元数据引入至视频译码团体。HDR不同于标准动态范围(SDR)的实例特性为：颜色原色(使用BT.2020或P3而非BT.709)、传送特性(使用SMPTE ST 2084(PQ)或HLG而非BT.709)，及颜色传送矩阵(使用BT.2020或XYZ而非BT.709)。这些特性通常经由VUI信息在视频基本流中发信，且存在使用译码独立码点(CICP)消息将此传播至MPD级的现有方法，例如根据ISO/IEC 23001-8:2016。HDR技术可包含(例如)广色域(WCG)。
举例来说，为发信BT.2020原色及传送函数(VUI代码9)及PQ传送特性(VUI代码14)的使用，内容准备装置可将以下性质附加至AdaptationSet：
·<SupplementalProperty schemeIdUri＝"urn:mpeg:mpegB:cicp:ColorPrimaries"value＝"9"/>
·<SupplementalPropertyschemeIdUri＝"urn:mpeg:mpegB:cicp:TransferCharacteristics"value＝"14"/>
·<SupplementalProperty schemeIdUri＝"urn:mpeg:mpegB:cicp:MatrixCoefficients"value＝"9"/>
此机制依赖于补充性质及由MPEG定义的CICP描述符。
额外SEI消息可经提供以用于HDR。此类SEI消息可指示额外特性，例如对于一些HDR格式来说可能重要的信息。此类信息可包含主要颜色体积信息(例如如由ST 2086所定义)，及/或内容亮度级信息(例如MaxFALL及/或MaxCLL参数)。用于HDR的SEI消息还可包含颜色再映射信息(CRI)消息及/或专有消息，例如定义于ETSI TS 103 433或ETSI CCM ISG中的那些消息。此外，用于HDR的SEI消息可包含主要颜色体积信息以在伽玛域颜色值与再现域中的预期亮度级之间建立映射，及/或包含可用于确定此类映射可能将显示及内容特性给出至哪一程度的内容亮度级信息。
若干业界组织已提议指定所谓的“HDR-10”格式。这些组织包含蓝光光盘协会、DECE及超HD论坛。还存在在不存在此类元数据的情况下产生的格式的实例。如果此元数据不存在，那么将感知量化(PQ)值假设为直接与光强度级相关，所述光强度级可能需要不同呈现。超HD论坛将UHD格式的此变体分类为“PQ10”。
不同显示技术(例如LCD、AMOLED等等)可有效地再现不同的亮度范围。一些动态背光LCD显示器可提供数千尼特，而其它显示器限于数百尼特。显示器的黑阶、反射性及有效对比度也在显示技术之间显著地不同。显示器也在其色域、白点、本机EOTF及接口能力中有所变化。此外，显示技术可支持各种数据格式及接口能力。
考虑到两种格式以及显示器及接口能力的所给变化，对回放内容的选择/定向的一些功能将自然地落在逻辑系统层上。举例来说，当接收到UHD内容时，DASH播放器可能需要经配置以确定内容是否可将可用的显示及接口恰当地呈现至显示器，从多个可用的以HDR为主的内容集合选择适当的以HDR为主的内容集合(其中适当的集合可为将在可用显示器上最佳地再现的那个集合)，确定当SDR流存在时SDR的使用是否将比HDR更佳(例如考虑显示器的能力)，及其它此类考虑。
本发明的技术可应用于符合根据以下各者中的任一者囊封的视频数据的视频文件：ISO基本媒体文件格式、可缩放视频译码(SVC)文件格式、高级视频译码(AVC)文件格式、第三代合作伙伴计划(3GPP)文件格式及/或多视图视频译码(MVC)文件格式或其它类似视频文件格式。
在HTTP流式处理中，频繁使用的操作包含HEAD、GET及部分GET。HEAD操作检索与给定的统一资源定位符(URL)或统一资源名称(URN)相关联的文件的标头，而不检索与URL或URN相关联的有效负载。GET操作检索与给定URL或URN相关联的整个文件。部分GET操作接收字节范围作为输入参数且检索文件的连续数目个字节，其中字节的数目对应于所接收的字节范围。因此，可提供电影片段以用于HTTP流式处理，这是因为部分GET操作可得到一或多个单独的电影片段。在电影片段中，可存在不同轨迹的若干轨迹片段。在HTTP流式处理中，媒体表现可为客户端可存取的数据的结构化集合。客户端可请求及下载媒体数据信息以向用户表现流式处理服务。
在使用HTTP流式处理来流式处理3GPP数据的实例中，可能存在对多媒体内容的视频及/或音频数据的多个表示。如下文所解释，不同表示可对应于不同译码特性(例如，视频译码标准的不同配置文件或层级)、不同译码标准或译码标准的扩展(例如多视图及/或可缩放扩展)或不同位速率。此类表示的清单可定义于媒体表现描述(MPD)数据结构中。媒体表现可对应于HTTP流式处理客户端装置可存取的数据的结构化集合。HTTP流式处理客户端装置可请求及下载媒体数据信息以向客户端装置的用户表现流式处理服务。媒体表现可描述于MPD数据结构中，MPD数据结构可包含MPD的更新。
媒体表现可含有一或多个周期的序列。每一周期可扩展直至下一周期开始，或在最末周期的情况下，直至媒体表现结束。每一周期可含有用于相同媒体内容的一或多个表示。表示可为音频、视频、定时文本或其它此类数据的数个替代性经编码版本中的一者。表示可因编码类型而异(例如，对于视频数据，因位速率、分辨率及/或编解码器而异，且对于音频数据，因位速率、语言及/或编解码器而异)术语表示可用于是指经编码音频或视频数据的对应于多媒体内容的特定周期且以特定方式编码的部分。
特定周期的表示可指派给由MPD中的属性(其指示表示所属的适应集)指示的群组。同一适应集中的表示通常被视为彼此的替代例，这是因为客户端装置可在这些表示之间动态且顺畅地切换，例如以执行带宽适应。举例来说，特定周期的视频数据的每一表示可指派给同一适应集，使得可选择所述表示中的任一者以用于解码，从而表现对应周期的多媒体内容的媒体数据(例如视频数据或音频数据)。在一些实例中，一个周期内的媒体内容可由来自群组0(如果存在)的一个表示，或由来自每一非零群组的至多一个表示的组合来表示。可相对于周期的开始时间来表达周期的每一表示的定时数据。
表示可包含一或多个片段。每一表示可包含初始化片段，或表示的每一片段可自初始化。当存在时，初始化片段可含有用于存取表示的初始化信息。大体来说，初始化片段不含媒体数据。片段可由标识符唯一地参考，例如统一资源定位符(URL)、统一资源名称(URN)或统一资源标识符(URI)。MPD可为每一片段提供标识符。在一些实例中，MPD还可提供呈范围属性的形式的字节范围，所述字节范围可对应于可由URL、URN或URI存取的文件内的片段的数据。
可选择不同表示以用于大体上同时检索不同类型的媒体数据。举例来说，客户端装置可选择音频表示、视频表示及定时文本表示，从所述表示检索片段。在一些实例中，客户端装置可选择特定适应集以用于执行带宽适应。即，客户端装置可选择包含视频表示的适应集、包含音频表示的适应集及/或包含定时文本的适应集。替代地，客户端装置可选择用于某些类型的媒体(例如视频)的适应集且直接选择用于其它类型的媒体(例如音频及/或定时文本)的表示。
图1为绘示实施用于经由网络流式处理媒体数据的技术的实例系统10的框图。在此实例中，系统10包含内容准备装置20、服务器装置60及客户端装置40(210)。客户端装置40与服务器装置60通过网络74以通信方式耦合，所述网络可包括因特网。在一些实例中，内容准备装置20与服务器装置60还可通过网络74或另一网络耦合，或可直接以通信方式耦合。在一些实例中，内容准备装置20及服务器装置60可包括同一装置。
在图1的实例中，内容准备装置20包括音频源22及视频源24。音频源22可包括(例如)麦克风，其产生表示待由音频编码器26编码的所捕获音频数据的电信号。替代地，音频源22可包括存储媒体(其存储先前记录的音频数据)、音频数据产生器(例如计算机化合成器)或任何其它音频数据源。视频源24可包括：视频相机，其产生待由视频编码器28编码的视频数据；存储媒体，其编码有先前记录的视频数据；视频数据产生单元，例如计算机图形源；或任何其它视频数据源。内容准备装置20未必在所有实例中均以通信方式耦合至服务器装置60，而可将多媒体内容存储至由服务器装置60读取的单独媒体。
原始音频及视频数据可包括模拟或数字数据。模拟数据可在由音频编码器26及/或视频编码器28编码之前数字化。音频源22可在说话参与者正在说话时从说话参与者获得音频数据，且视频源24可同时获取说话参与者的视频数据。在其它实例中，音频源22可包括计算机可读存储媒体(其包括所存储的音频数据)，且视频源24可包括计算机可读存储媒体(其包括所存储的视频数据)。以此方式，本发明中所描述的技术可应用于实况、流式处理、实时音频及视频数据或所存档的、预记录的音频及视频数据。
对应于视频帧的音频帧通常为含有由音频源22捕获(或产生)的音频数据的音频帧，音频数据同时伴随包括于视频帧内的由视频源24捕获(或产生)的视频数据。举例来说，当说话参与者通常通过说话而产生音频数据时，音频源22捕获音频数据，且视频源24同时(即，在音频源22正捕获音频数据的同时)捕获说话参与者的视频数据。因此，音频帧在时间上可对应于一或多个特定视频帧。因此，对应于视频帧的音频帧大体上对应于同时捕获到音频数据及视频数据且音频帧及视频帧分别包括同时捕获到的音频数据及视频数据的情形。
在一些实例中，音频编码器26可对每一经编码音频帧中表示记录经编码音频帧的音频数据的时间的时间戳进行编码，且类似地，视频编码器28可对每一经编码视频帧中表示记录经编码视频帧的视频数据的时间的时间戳进行编码。在这些实例中，对应于视频帧的音频帧可包括：包括时间戳的音频帧及包括相同时间戳的视频帧。内容准备装置20可包括内部时钟，音频编码器26及/或视频编码器28可根据所述内部时钟产生时间戳，或音频源22及视频源24可使用所述内部时钟以分别使音频数据及视频数据与时间戳相关联。
在一些实例中，音频源22可向音频编码器26发送对应于记录音频数据的时间的数据，且视频源24可向视频编码器28发送对应于记录视频数据的时间的数据。在一些实例中，音频编码器26可对经编码音频数据中的序列标识符进行编码以指示经编码音频数据的相对时间排序，但未必指示记录音频数据的绝对时间，且类似地，视频编码器28还可使用序列标识符来指示经编码视频数据的相对时间排序。类似地，在一些实例中，序列标识符可映射或以其它方式与时间戳相关。
音频编码器26通常产生经编码音频数据的流，而视频编码器28产生经编码视频数据的流。每一个别数据(不论音频或视频)流可被称为基本流。基本流为表示的单一的经数字化译码(可能经压缩)的分量。举例来说，表示的经译码视频或音频部分可为基本流。基本流可在被囊封于视频文件内之前被转换成包化基本流(PES)。在相同表示内，可使用流ID来区分属于一个基本流的PES数据包与属于其它基本流的PES数据包。基本流的数据的基本单位为包化基本流(PES)数据包。因此，经译码视频数据大体上对应于基本视频流。类似地，音频数据对应于一或多个相应基本流。
许多视频译码标准(例如ITU-T H.264/AVC及即将出现的高效率视频译码(HEVC)标准)定义无误差位流的语法、语义及解码过程，所述无误差位流中的任一者符合特定配置文件或层级。视频译码标准通常并不指定编码器，但编码器具有保证所产生的位流对于解码器来说是标准相容的任务。在视频译码标准的上下文中，“配置文件”对应于算法、特征或工具及施加至算法、特征或工具的约束的子集。举例来说，如H.264标准所定义，“配置文件”为由H.264标准指定的完整位流语法的子集。“层级”对应于解码器资源消耗(例如解码器存储器及计算)的限制，所述限制是关于图片分辨率、位速率及块处理速率。配置文件可通过profile_idc(配置文件指示符)值来发信，而层级可通过level_idc(层级指示符)值来发信。
举例来说，H.264标准认为，在由给定配置文件的语法所强加的界限内，仍然可能要求编码器及解码器的性能有较大变化，这取决于位流中的语法元素(例如经解码图片的指定大小)所取的值。H.264标准进一步认为，在许多应用中，实施能够处理特定配置文件内的语法的所有假设使用的解码器既不实际又不经济。因此，H.264标准将“层级”定义为强加于位流中的语法元素的值的约束的指定集。这些约束条件可仅为对值的限制。替代地，这些约束条件可呈对值的算术组合(例如，图片宽度乘以图片高度乘以每秒解码的图片数目)的约束的形式。H.264标准进一步规定，个别实施方案对于每一所支持配置文件可支持不同层级。
符合配置文件的解码器一般支持配置文件中所定义的所有特征。举例来说，作为译码特征，B图片译码在H.264/AVC的基线配置文件中不被支持，但在H.264/AVC的其它配置文件中被支持。符合层级的解码器应能够对不需要超出所述层级中所定义的限制的资源的任何位流进行解码。配置文件及层级的定义可对可解释性有帮助。举例来说，在视频发射期间，可针对整个发射工作阶段协商及同意一对配置文件定义及层级定义。更具体来说，在H.264/AVC中，层级可定义对于需要处理的宏块的数目、经解码图片缓冲器(DPB)大小、经译码图片缓冲器(CPB)大小、竖直运动向量范围、每两个连续MB的运动向量的最大数目及B块是否可具有小于8×8像素的子宏块分区的限制。以此方式，解码器可确定解码器是否能够恰当地对位流进行解码。
在图1的实例中，内容准备装置20的囊封单元30从视频编码器28接收包括经译码视频数据的基本流且从音频编码器26包括经译码音频数据的基本流。在一些实例中，视频编码器28及音频编码器26可各自包含用于从经编码数据形成PES数据包的包化器。在其它实例中，视频编码器28及音频编码器26可各自与用于从经编码数据形成PES数据包的相应包化器介接。在另外其它实例中，囊封单元30可包含用于从经编码音频及视频数据形成PES数据包的包化器。
视频编码器28可以多种方式对多媒体内容的视频数据进行编码，从而以各种位速率且以各种特性产生多媒体内容的不同表示，所述特性是例如像素分辨率、帧速率、对各种译码标准的符合性、对各种译码标准的各种配置文件及/或配置文件层级的符合性、具有一或多个视图的表示(例如，对于二维或三维回放)或其它此类特性。如本发明中所使用，表示可包括音频数据、视频数据、文本数据(例如，用于隐藏式字幕)或其它此类数据中的一者。表示可包含例如音频基本流或视频基本流的基本流。每一PES数据包可包含stream_id，其识别PES数据包所属的基本流。囊封单元30负责将基本流汇编成各种表示的视频文件(例如，片段)。
囊封单元30从音频编码器26及视频编码器28接收表示的基本流的PES数据包且从所述PES数据包形成对应的网络抽象层(NAL)单元。在H.264/AVC(高级视频译码)的实例中，经译码视频片段是组织成NAL单元，所述单元提供“网络友好”视频表示，其处理例如视频电话、存储、广播或流式处理的应用。
另外，囊封单元30可形成清单文件，例如描述表示的特性的媒体呈现描述(MPD)。囊封单元30可根据可扩展标记语言(XML)来格式化MPD。
囊封单元30可向输出接口32提供用于多媒体内容的一或多个表示的数据以及清单文件(例如，MPD)。输出接口32可包括网络接口或用于写入至存储媒体的接口，例如通用串行总线(USB)接口、CD或DVD写入器或刻录机、至磁性或闪速存储媒体的接口，或用于存储或发射媒体数据的其它接口。囊封单元30可向输出接口32提供多媒体内容的表示中的每一者的数据，所述输出接口可经由网络发射或存储媒体向服务器装置60发送所述数据。在图1的实例中，服务器装置60包含存储各种多媒体内容64的存储媒体62，每一多媒体内容包含相应清单文件66及一或多个表示68A至68N(表示68)。在一些实例中，输出接口32还可将数据直接发送至网络74。
在一些实例中，表示68可分成若干适应集。即，表示68的各种子集可包含相应共同特性集，例如编解码器、配置文件及层级、分辨率、视图数目、片段的文件格式、可识别语言或待与待由扬声器解码及表现的表示及/或音频数据一起显示的文本的其它特性的文本类型信息、可描述适应集中的表示的场景的相机角度或真实世界相机视角的相机角度信息、描述针对特定观众的内容适合性的分级信息，或其类似信息。
清单文件66可包含指示对应于特定适应集的表示68的子集以及所述适应集的共同特性的数据。清单文件66还可包含表示适应集的个别表示的个别特性(例如位速率)的数据。以此方式，适应集可提供简化的网络带宽适应。可使用清单文件66的适应集元素的子代元素来指示适应集中的表示。
服务器装置60包含请求处理单元70及网络接口72。在一些实例中，服务器装置60可包含多个网络接口。此外，服务器装置60的特征中的任一者或全部可在内容递送网络的其它装置(例如路由器、网桥、代理装置、交换机或其它装置)上实施。在一些实例中，内容递送网络的中间装置可高速缓冲存储多媒体内容64的数据，且包含大体上符合服务器装置60的那些组件的组件。大体来说，网络接口72经配置以经由网络74来发送及接收数据。
请求处理单元70经配置以从客户端装置(例如客户端装置40)接收对存储媒体62的数据的网络请求。举例来说，请求处理单元70可实施超文本传送协议(HTTP)版本1.1，如RFC 2616，R.Fielding等人于1999年6月在Network Working Group,IETF的“HypertextTransfer Protocol-HTTP/1.1”中所描述。即，请求处理单元70可经配置以接收HTTP GET或部分GET请求，且响应于所述请求而提供多媒体内容64的数据。请求可指定表示68中的一者的片段，例如使用片段的URL。在一些实例中，所述请求还可指定片段的一或多个字节范围，因而包括部分GET请求。请求处理单元70可进一步经配置以服务于HTTP HEAD请求以提供表示68中的一者的片段的标头数据。在任何情况下，请求处理单元70可经配置以处理所述请求，从而将所请求的数据提供至请求装置(例如客户端装置40)。
另外或替代地，请求处理单元70可经配置以经由例如eMBMS的广播或多播协议而递送媒体数据。内容准备装置20可以与所描述大体上相同的方式产生DASH片段及/或子片段，但服务器装置60可使用eMBMS或另一广播或多播网络输送协议来递送这些片段或子片段。举例来说，请求处理单元70可经配置以从客户端装置40接收多播群组加入请求。即，服务器装置60可向客户端装置(包含客户端装置40)通告与多播群组相关联的因特网协议(IP)地址，其与特定媒体内容(例如，实况事件的广播)相关联。客户端装置40随后可提交加入多播群组的请求。此请求可遍及网络74(例如，构成网络74的路由器)传播，使得促使所述路由器导引被预定用于与多播群组相关联的IP地址的业务以订阅客户端装置(例如客户端装置40)。
如图1的实例中所绘示，多媒体内容64包含清单文件66，所述清单文件可对应于媒体表现描述(MPD)。清单文件66可含有不同替代表示68(例如，具有不同质量的视频服务)的描述，且所述描述可包含例如编解码器信息、配置文件值、层级值、位速率及表示68的其它描述性特性。客户端装置40可检索媒体表现的MPD以确定存取表示68的片段的方式。
具体来说，检索单元52可检索客户端装置40的配置数据(未展示)以确定视频解码器48的解码能力及视频输出44的呈现能力。配置数据还可包含由客户端装置40的用户选择的语言偏好、对应于由客户端装置40的用户设定的深度偏好的一或多个相机视角及/或由客户端装置40的用户选择的分级偏好中的任一者或全部。举例来说，检索单元52可包括经配置以提交HTTP GET及部分GET请求的网页浏览器或媒体客户端。检索单元52可对应于由客户端装置40的一或多个处理器或处理单元(未展示)执行的软件指令。在一些实例中，关于检索单元52所描述的功能性的全部或部分可以硬件或硬件、软件及/或固件的组合来实施，其中可提供必需的硬件以执行软件或固件的指令。
检索单元52可将客户端装置40的解码及呈现能力与由清单文件66的信息指示的表示68的特性进行比较。检索单元52可首先检索清单文件66的至少一部分以确定表示68的特性。举例来说，检索单元52可请求清单文件66的描述一或多个适应集的特性的部分。检索单元52可选择具有可通过客户端装置40的译码及呈现能力满足的特性的表示68的子集(例如适应集)。检索单元52可随后确定适应集中的表示的位速率，确定网络带宽的当前可用量，且从具有可由网络带宽满足的位速率的表示中的一者检索片段。
根据本发明的技术，囊封单元30可提供(且检索单元52可接收)包含表示包含于经囊封视频位流中的数据的所发信信息的译码独立码点(CICP)消息。举例来说，CICP消息可指示以下各者中的任一者或全部：用于CEA-608/708的SEI消息是否包含于视频基本流中，系统级是否必须能够呈现隐藏式字幕，所述隐藏式字幕的语言或另外包含于SEI消息中的其它信息，及/或是否存在多个隐藏式字幕(例如针对不同语言)。另外或替代地，CICP消息可包含表示主要颜色体积信息、内容亮度级信息、CRI消息、关于主要颜色体积信息的映射信息及/或包含于针对HDR的SEI消息中的专有消息的信令。
通过以此方式使用CICP消息，所发信数据可独立于用于译码对应媒体数据的编解码器。另外，CICP消息可包含于例如清单文件66中。CICP消息可用于支持必要及补充信息。CICP消息还可定义对此信息的详述语义。然而，本发明认为，CICP消息可特定针对元数据，可不覆盖SEI消息，且大体上不用于在文件格式级上发信(例如在ISOBMFF文件格式信息中)。
另外或在替代例中，囊封单元30可提供(且检索单元30可接收)根据ISO/IEC23009-1的DASH描述符。此类描述符可包含表示包含于经囊封视频位流中的数据的所发信信息。举例来说，DASH描述符可指示以下各者中的任一者或全部：用于CEA-608/708的SEI消息是否包含于视频基本流中，系统级是否必须能够呈现隐藏式字幕，所述隐藏式字幕的语言或另外包含于SEI消息中的其它信息，及/或是否存在多个隐藏式字幕(例如针对不同语言)。另外或替代地，DASH描述符可包含表示主要颜色体积信息、内容亮度级信息、CRI消息、关于主要颜色体积信息的映射信息及/或包含于针对HDR的SEI消息中的专有消息。
通过以此方式使用DASH描述符，所发信数据可独立于用于译码对应媒体数据的编解码器。另外，DASH描述符可在DASH MPD中得以发信(其可对应于清单文件66)。DASH描述符可用于支持必要及补充信息。DASH描述符还可针对此信息在DASH中定义详述语义。然而，本发明认为，DASH描述符并不覆盖全部SEI消息，通常不用于在文件格式级上发信(例如在ISOBMFF文件格式信息中)，仅特定针对DASH，且不预期为广泛可用的。
另外或在替代例中，囊封单元30可提供(且检索单元30可接收)样本条目信息作为文件格式数据的部分，例如在用于DASH片段或其它此类流式处理文件的ISO BMFF文件格式信息中。在将详述能力加入信号运载SEI有效负载的情况下，此类样本条目信息可以具有发信所携载SEI有效负载的具体能力的样本条目的形式添加至AVC或HEVC文件格式(例如根据ISO/IEC 14496-15)，且每一有效负载可定义关于另外将被添加的对象的更多细节。
此类样本条目信息可独立于用于译码对应媒体数据的编解码器。样本条目信息可在DASH MPD中发信(其可对应于清单文件66)。此类样本条目信息可覆盖全部现有及未来SEI消息。样本条目信息将不一定允许经由@codecs参数在文件格式级及DASH级上发信信息。然而，本发明认为，样本条目信息可以不用于支持必要及补充信息，且在规范文本中加以定义可为复杂的。
另外或在替代例中，囊封单元30可提供(且检索单元30可接收)发信以下各者中的一或多者的字符串语法：基本流含有一或多个SEI消息有效负载类型，含有有效负载类型的每一基本流经发信，对于每一类型，可用于发信额外信息的用户定义字段的选项(优选地在非常简单的基础上，例如指定一些静态含有的信息)，及/或关于用户定义数据的有效负载类型4。此类信息可在文件格式级上发信。此信号还可由系统层继承，例如在DASH MPD(或通常为清单文件66)中。
另外，为产生如上文中所论述的系统级信息，囊封单元30可确定哪些SEI消息包含于视频基本流中以及所述SEI消息的有效负载类型，且产生系统级信息以指示所述SEI消息包含于视频基本流中。类似地，检索单元52可确定客户端装置40的能力(例如客户端装置40是否能够使用SEI消息的数据)，且基于所述能力及如由系统级信息指示的SEI消息的所发信信息来选择适当媒体流(例如适应集及/或适应集的表示)。
上文所论述的系统级信息可单独地或以任何组合指示哪些SEI消息存在(或可能存在)于位流或基本流中。此类系统级信息可包含(例如)存在(或可能存在)的多个SEI消息类型及/或SEI消息类型的阵列。每一类型可由(例如)16位非负整数或使用可变长度译码的值表示。
在经译码视频位流中，关于哪些SEI消息存在(或可能存在)于视频位流中的信息可在(例如)参数集中发信，所述参数集是例如视频参数集(例如，如HEVC中所指定)、序列参数集(例如，如HEVC或H.264/AVC中所指定)或序列级SEI消息。
在文件格式、DASH MPD、MPEG-2 TS及/或MMT中，指示哪些SEI讯存在(或可能存在)于轨迹中的视频基本位流中的信息可在以下各者中的一或多者中发信：新方框，例如“SeiMsgInfoBox”，其可包含于视觉样本条目中，例如作为任选的方框；任选的新MIME参数，例如名为“seimsgtypes”，且此方框可包含为“编解码器”参数的部分或与其并行，所述“编解码器”参数随后可包含于DASH MPD或其它清单文件中；在适应集处或表示级上的新或现有DASH MPD元素或描述符；新或现有序列级MPEG-2 TS描述符，及/或新或现有序列级MMT描述符。
各种类型的SEI消息可包含于位流中。SEI消息可包含(例如)具有针对HDR及/或WCG的信息的SEI消息。可根据本发明的技术在所述SEI消息中且因此在系统级信息中发信的特性可另外或替代地包含以下各者中的任一者或全部：主要颜色体积信息，例如，如由ST2086所定义(其可包含主要显示器的颜色原色及白点(内容的描述)及/或所述主要显示器的亮度的最小值及/或最大值(内容的描述))；内容亮度级信息(例如MaxFALL及/或MaxCLL参数，所述参数可表示针对内容的给定片段的最大亮度级(内容的描述)及/或针对内容的给定片段的最大平均帧亮度级(内容的描述))；颜色再映射信息，例如，如在HEVC中所定义(例如目标表示的原色(输出的描述)、目标表示的传送特性(输出的描述)及/或颜色再映射ID(在一些生态系统中的应用ID的描述))；及/或针对颜色体积变换的HDR动态元数据，例如，如在ST 2094-10,20,30,40中所定义(其可包含目标显示器的颜色原色及最小/最大峰值亮度(输出的描述))。
在一个实例中，位流中可存在多个SEI实体。每一SEI可以不同显示能力为目标。根据本发明的技术，囊封于所述SEI消息中的参数可能在系统级上可用。即，囊封单元30可提供(且检索单元52可接收)另外包含于在系统级上的SEI消息中的信息的任一者或全部。因此，终端装置(例如客户端装置40)可基于表示SEI消息信息的系统级信息来选择适当的位流(例如表示68中的一者)，使得所选位流具有匹配(例如)视频输出44的能力的特性。
在另一实例中，位流中可存在单一SEI实体，例如在具有反馈信道的系统中。单一位流于编码器侧(例如在服务器装置60或内容准备装置20处)可能是可用的。基于经由反馈信道提供(且由例如服务器装置60接收)的解码器能力(例如视频解码器48的能力)，视频编码器(例如视频编码器28)可囊封位流SEI消息的数据以根据解码器能力来提供适应。根据本发明的技术，SEI消息的参数可在系统级上发信。
大体来说，较高位速率表示可产生较高质量的视频回放，而较低位速率表示可在可用网络带宽减少时提供足够质量的视频回放。因此，当可用网络带宽相对高时，检索单元52可从相对高位速率的表示检索数据，而当可用网络带宽较低时，检索单元52可从相对低位速率的表示检索数据。以此方式，客户端装置40可经由网络74流式处理多媒体数据，同时还适应网络74的改变的网络带宽可用性。
另外或替代地，检索单元52可经配置以根据例如eMBMS或IP多播的广播或多播网络协议来接收数据。在此类实例中，检索单元52可提交加入与特定媒体内容相关联的多播网络群组的请求。在加入多播群组之后，检索单元52可在另外请求未发布至服务器装置60或内容准备装置20的情况下接收多播群组的数据。检索单元52可在不再需要多播群组的数据时提交离开多播群组的请求，例如停止回放或将信道改变至不同多播群组。
网络接口54可接收所选表示的片段的数据且将所述数据提供至检索单元52，所述检索单元随后可将所述片段提供至文件格式处理单元50。文件格式处理单元50可将视频文件的元素解囊封为构成PES流，将所述PES流解包化以检索经编码数据，且将经编码数据发送至音频解码器46或视频解码器48，这取决于经编码数据是音频流还是视频流的部分(例如如由所述流的PES数据包标头所指示)。音频解码器46对经编码音频数据进行解码，且向音频输出42发送经解码音频数据，而视频解码器48对经编码视频数据进行解码，且向视频输出44发送经解码视频数据，所述经解码视频数据可包含流的多个视图。
视频编码器28、视频解码器48、音频编码器26、音频解码器46、囊封单元30、检索单元52及文件格式处理单元50在适当时各自可被实施为多种合适的处理电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器28及视频解码器48中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可经集成为组合式视频编码器/解码器(编解码器)的部分。类似地，音频编码器26及音频解码器46中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可经集成为组合式编解码器的部分。包含视频编码器28、视频解码器48、音频编码器26、音频解码器46、囊封单元30、检索单元52及/或文件格式处理单元50的设备可包含集成电路、微处理器及/或例如蜂窝电话的无线通信装置。
客户端装置40、服务器装置60及/或内容准备装置20可经配置以根据本发明的技术操作。出于实例的目的，本发明描述关于客户端装置40及服务器装置60的这些技术。然而，应理解，代替服务器装置60(或除所述服务器装置之外)，内容准备装置20可经配置以执行这些技术。
囊封单元30可形成NAL单元，所述NAL单元包括识别NAL单元所属的程序的标头，以及有效负载，例如音频数据、视频数据或描述NAL单元所对应的输送或程序流的数据。举例来说，在H.264/AVC中，NAL单元包含1字节标头及变化大小的有效负载。在其有效负载中包含视频数据的NAL单元可包括各种粒度级的视频数据。举例来说，NAL单元可包括视频数据块、多个块、视频数据切片或视频数据的整个图片。囊封单元30可从视频编码器28接收呈基本流的PES数据包的形式的经编码视频数据。囊封单元30可使每一基本流与对应程序相关联。
囊封单元30还可汇编来自多个NAL单元的存取单元。大体来说，存取单元可包括用于表示视频数据的帧以及对应于所述帧的音频数据(当此音频数据可用时)的一或多个NAL单元。存取单元通常包含针对一个输出时间实例的全部NAL单元，例如针对一个时间实例的全部音频及视频数据。举例来说，如果每一视图具有20帧每秒(fps)的帧速率，那么每一时间实例可对应于0.05秒的时间间隔。在此时间间隔期间，相同存取单元(相同时间实例)的所有视图的特定帧可同时呈现。在一个实例中，存取单元可将经译码图片包括在一个时间实例中，其可呈现为初级经译码图片。
因此，存取单元可包括共同时间实例的所有音频帧及视频帧，例如对应于时间X的所有视图。本发明也将特定视图的经编码图片称为“视图分量”。即，视图分量可包括在特定时间针对特定视图的经编码图片(或帧)。因此，存取单元可被定义为包括共同时间实例的所有视图分量。存取单元的解码次序未必与输出或显示次序相同。
媒体表现可包含媒体表现描述(MPD)，所述媒体表现描述可含有不同替代表示(例如，具有不同质量的视频服务)的描述，且所述描述可包含(例如)编解码器信息、配置文件值及层级值。MPD为清单文件(例如清单文件66)的一个实例。客户端装置40可检索媒体表现的MPD以确定存取各种表现的电影片段的方式。电影片段可位于视频文件的电影片段方框(moof方框)中。
清单文件66(其可包含例如MPD)可通告表示68的片段的可用性。即，MPD可包含指示表示68中的一者的第一片段变得可用的挂钟时间的信息，以及指示表示68内的片段的持续时间的信息。以此方式，客户端装置40的检索单元52可基于开始时间以及在特定片段之前的片段的持续时间而确定每一片段何时可用。
在囊封单元30已基于所接收的数据将NAL单元及/或存取单元汇编成视频文件之后，囊封单元30将视频文件传递至输出接口32以供输出。在一些实例中，囊封单元30可在本地存储视频文件，或经由输出接口32将视频文件发送至远程服务器，而非将视频文件直接发送至客户端装置40。输出接口32可包含例如发射器、收发器、用于将数据写入至计算机可读媒体的装置(例如光盘驱动器、磁性媒体驱动器(例如软盘驱动器))、通用串行总线(USB)端口、网络接口或其它输出接口。输出接口32将视频文件输出至计算机可读媒体，例如发射信号、磁性媒体、光学媒体、存储器、闪存驱动器或其它计算机可读媒体。
网络接口54可经由网络74接收NAL单元或存取单元，且经由检索单元52将NAL单元或存取单元提供至文件格式处理单元50。文件格式处理单元50可将视频文件的元素解囊封为构成PES流，解包化所述PES流以检索经编码数据，且将经编码数据发送至音频解码器46或视频解码器48，这取决于经编码数据是音频流还是视频的部分(例如如由所述流的PES数据包标头所指示)。音频解码器46对经编码音频数据进行解码，且向音频输出42发送经解码音频数据，而视频解码器48对经编码视频数据进行解码，且向视频输出44发送经解码视频数据，所述经解码视频数据可包含流的多个视图。
以此方式，内容准备装置20及/或服务器装置60表示用于发射媒体数据的装置的实例，所述装置包含实施于电路中且经配置以进行以下操作的一或多个处理器：从视频编码器接收视频基本流，视频基本流包含一或多个补充增强信息(SEI)消息；确定针对一或多个SEI消息中的每一者的有效负载类型；将视频基本流囊封于媒体位流中；及产生针对媒体位流的系统级信息，系统级信息指示视频基本流包含一或多个SEI消息及SEI消息中的每一者的有效负载类型。
类似地，表示用于检索媒体数据的装置的实例的客户端装置40包含：用于分析囊封视频基本流的媒体位流的系统级信息的装置，系统级信息指示视频基本流包含一或多个补充增强信息(SEI)消息及SEI消息中的每一者的有效负载类型；用于从系统级信息提取一或多个SEI消息及有效负载类型的装置；及用于将一或多个SEI消息及有效负载类型发送至装置的一或多个处理单元的装置。
图2为更详细地绘示图1的检索单元52的组件的实例集合的框图。在此实例中，检索单元52包含eMBMS中间件单元100、DASH客户端110及媒体应用程序112。
在此实例中，eMBMS中间件单元100进一步包含eMBMS接收单元106、高速缓冲存储器104及服务器单元102。在此实例中，eMBMS接收单元106经配置以经由eMBMS接收数据，例如根据描述于T.Paila等人，2012年11月的“FLUTE-File Delivery over UnidirectionalTransport”，Network Working Group,RFC 6726(可获自http://tools.ietf.org/html/rfc6726)中的单向输送文件递送(FLUTE)。即，eMBMS接收单元106可经由广播从(例如)可充当BM-SC的服务器装置60接收文件。
当eMBMS中间件单元100接收文件的数据时，eMBMS中间件单元可将所接收的数据存储于高速缓冲存储器104中。高速缓冲存储器104可包括计算机可读存储媒体，例如闪速存储器、硬盘、RAM或任何其它合适的存储媒体。
本地服务器单元102可充当DASH客户端110的服务器。举例来说，本地服务器单元102可将MPD文件或其它清单文件提供至DASH客户端110。本地服务器单元102可通告MPD文件中的片段的可用性时间，以及可检索所述片段的超链接。这些超链接可包含对应于客户端装置40的本地主机地址前缀(例如，IPv4的127.0.0.1)。以此方式，DASH客户端110可使用HTTP GET或部分GET请求向本地服务器单元102请求片段。举例来说，对于可从链接http://127.0.0.1/rep1/seg3获得的片段，DASH客户端110可构造包含针对http://127.0.0.1/rep1/seg3的请求的HTTP GET请求，且将所述请求提交至本地服务器单元102。本地服务器102可从高速缓冲存储器104检索所请求的数据且响应于此类请求而将数据提供至DASH客户端110。
图3为绘示实例多媒体内容120的元素的概念图。多媒体内容120可对应于多媒体内容64(图1)，或对应于存储于存储媒体62中的另一多媒体内容。在图3的实例中，多媒体内容120包含媒体表现描述(MPD)122及多个表示124A至124N(表示124)。表示124A包含任选的标头数据126及片段128A至128N(片段128)，而表示124N包含任选的标头数据130及片段132A至132N(片段132)。为方便起见，使用字母N来指明表示124中的每一者中的最后一个电影片段。在一些实例中，表示124之间可存在不同数目的电影片段。
MPD 122可包括与表示124分开的数据结构。MPD 122可对应于图1的清单文件66。类似地，表示124可对应于图2的表示68。大体来说，MPD 122可包含大体上描述表示124的特性的数据，例如译码及呈现特性、适应集、MPD 122所对应的配置文件、文本类型信息、相机角度信息、分级信息、特技模式信息(例如，指示包含时间子序列的表示的信息)及/或用于检索远程周期(例如，用于在回放期间将目标性广告插入至媒体内容中)的信息。
标头数据126(当存在时)可描述片段128的特性，例如随机存取点(RAP，其也被称为流存取点(SAP))的时间位置、片段128中的哪一者包含随机存取点、与片段128内的随机存取点的字节偏移、片段128的统一资源定位符(URL)，或片段128的其它方面。标头数据130(当存在时)可描述片段132的类似特性。另外或替代地，此类特性可完全包含于MPD 122内。
片段128、132包含一或多个经译码视频样本，其中的每一者可包含视频数据的帧或切片。片段128的经译码视频样本中的每一者可具有类似特性，例如，高度、宽度及带宽要求。此类特性可通过MPD 122的数据来描述，但此数据在图3的实例中未绘示。MPD 122可包含如3GPP规范所描述的特性，并且添加了本发明中所描述的发信信息中的任一者或全部。
片段128、132中的每一者可与唯一的统一资源定位符(URL)相关联。因此，片段128、132中的每一者可使用流式处理网络协议(例如DASH)来独立地检索。以此方式，例如客户端装置40的目的地装置可使用HTTP GET请求来检索片段128或132。在一些实例中，客户端装置40可使用HTTP部分GET请求来检索片段128或132的特定字节范围。
根据本发明的技术，MPD 122可包含表示由相应表示124囊封的相应视频基本流的补充增强信息(SEI)消息的系统级信息。举例来说，MPD 122可包含CICP消息、DASH描述符或包含语法元素的字符串中的一或多者。所述信息可表示以下各者中的一或多者：用于隐藏式字幕的SEI消息在视频基本流中的存在，在系统级上操作的单元是否能够呈现隐藏式字幕，用于隐藏式字幕的描述性信息，隐藏式字幕的多个集合是否存在于视频基本流、用于高动态范围(HDR)格式的主要颜色体积信息、用于HDR格式的内容亮度级信息、用于HDR格式的颜色再映射信息(CRI)消息，或用于HDR格式的专有信息。
图4为绘示实例视频文件150的元素的框图，所述实例视频文件可对应于表示的片段，例如图3的片段114、124中的一者。片段128、132中的每一者可包含大体上符合图4的实例中所绘示的数据的布置的数据。视频文件150可据称囊封片段。
如上文所描述，根据ISO基本媒体文件格式及其扩展的视频文件将数据存储于一系列对象(被称为“方框”)中。在图4的实例中，视频文件150包含文件类型(FTYP)方框152、电影(MOOV)方框154、片段索引(sidx)方框162、电影片段(MOOF)方框164及电影片段随机存取(MFRA)方框166。虽然图4表示视频文件的实例，但应理解，根据ISO基本媒体文件格式及其扩展，其它媒体文件可包含其它类型的媒体数据(例如，音频数据、定时文本数据等等)，其在结构上类似于视频文件150的数据。
文件类型(FTYP)方框152通常描述视频文件150的文件类型。文件类型方框152可包含识别描述视频文件150的最佳用途的规范的数据。文件类型方框152可替代地放置在MOOV方框154、电影片段方框164及/或MFRA方框166之前。
在一些实例中，片段(例如视频文件150)可包含在FTYP方框152之前的MPD更新方框(未展示)。MPD更新方框可包含指示对应于包含视频文件150的表示的MPD有待更新的信息，以及用于更新MPD的信息。举例来说，MPD更新方框可提供待用以更新MPD的资源的URI或URL。作为另一实例，MPD更新方框可包含用于更新MPD的数据。在一些实例中，MPD更新方框可紧接在视频文件150的片段类型(STYP)方框(未展示)之后，其中STYP方框可定义视频文件150的片段类型。下文更详细地论述的图7提供关于MPD更新方框的额外信息。
在图4的实例中，MOOV方框154包含电影标头(MVHD)方框156、轨迹(TRAK)方框158及一或多个电影扩展(MVEX)方框160。大体来说，MVHD方框156可描述视频文件150的一般特性。举例来说，MVHD方框156可包含描述视频文件150最初创建的时间、视频文件150经最后修改的时间、视频文件150的时间标度、视频文件150的回放持续时间的数据，或大体上描述视频150的其它数据。
TRAK方框158可包含视频文件150的轨迹的数据。TRAK方框158可包含轨迹标头(TKHD)方框，其描述对应于TRAK方框158的轨迹的特性。在一些实例中，TRAK方框158可包含经译码视频图片，而在其它实例中，轨迹的经译码视频图片可包含于电影片段164中，所述电影片段可由TRAK方框158及/或sidx方框162的数据引用。
在一些实例中，视频文件150可包含多于一个轨迹。因此，MOOV方框154可包含数个TRAK方框，其等于视频文件150中的轨迹的数目。TRAK方框158可描述视频文件150的对应轨迹的特性。举例来说，TRAK方框158可描述对应轨迹的时间及/或空间信息。当囊封单元30(图3)将参数集轨迹包含于视频文件(例如视频文件150)中时，类似于MOOV方框154的TRAK方框158的TRAK方框可描述参数集轨迹的特性。囊封单元30可在描述参数集轨迹的TRAK方框内发信序列级SEI消息存在于参数集轨迹中。
MVEX方框160可描述对应电影片段164的特性，例如，发信除包含于MOOV方框154(如果存在)内的视频数据之外视频文件150还包含电影片段164。在流式处理视频数据的上下文中，经译码视频图片可包含于电影片段164中，而非包含于MOOV方框154中。因此，所有经译码视频样本可包含于电影片段164中，而非包含于MOOV方框154中。
MOOV方框154可包含数个MVEX方框160，其等于视频文件150中的电影片段164的数目。MVEX方框160中的每一者可描述电影片段164中的对应一者的特性。举例来说，每一MVEX方框可包含电影扩展标头方框(MEHD)方框，其描述电影片段164中的对应一者的时间持续。
如上文所指出，囊封单元30可将序列数据集存储于视频样本中，其并不包含实际经译码视频数据。视频样本可大体上对应于存取单元，其为特定时间实例下的经译码图片的表示。在AVC的上下文中，经译码图片包含一或多个VCL NAL单元，其含有用以构造存取单元及其它相关联非VCL NAL单元的所有像素的信息，例如SEI消息。因此，囊封单元30可将序列数据集包含于电影片段164中的一者中，所述序列数据集可包含序列级SEI消息。囊封单元30可进一步发信存在于电影片段164中的一者中的序列数据集及/或序列级SEI消息存在于相对应于电影片段164中的一者的MVEX方框160中的一者内。
SIDX方框162为视频文件150的任选元素。即，符合3GPP文件格式或其它此类文件格式的视频文件未必包含SIDX方框162。根据3GPP文件格式的实例，SIDX方框可用于识别片段(例如，包括于视频文件150内的片段)的子片段。3GPP文件格式将子片段定义为“具有对应媒体数据方框及含有由电影片段方框引用的数据的媒体数据方框的一或多个相连电影片段方框的自含式集合必须跟在电影片段方框之前，但在含有关于同一轨迹的信息的下一电影片段方框之前”。3GPP文件格式还指示SIDX方框“含有对由方框记录的(子)片段的子片段的参考的序列。所参考的子片段在表现时间内连续。类似地，由片段索引方框参考的字节在片段内始终连续。所参考大小给出所参考材料中的字节的数目的计数”。
SIDX方框162大体上提供表示包含于视频文件150中的片段的一或多个子片段的信息。举例来说，此信息可包含子片段开始及/或结束的回放时间、子片段的字节偏移、子片段是否包含(例如，开始于)流存取点(SAP)、SAP的类型(例如，SAP是瞬时解码器刷新(IDR)图片、清洁随机存取(CRA)图片、断链存取(BLA)图片还是其类似者)、SAP在子片段中的位置(就回放时间及/或字节偏移来说)等等。
电影片段164可包含一或多个经译码视频图片。在一些实例中，电影片段164可包含一或多个图片群组(GOP)，其中的每一者可包含数个经译码视频图片，例如帧或图片。另外，如上文所描述，在一些实例中，电影片段164可包含序列数据集。电影片段164中的每一者可包含电影片段标头方框(MFHD，图4中未展示)。MFHD方框可描述对应电影片段的特性，例如电影片段的序号。电影片段164可按序号的次序包含于视频文件150中。
MFRA方框166可描述视频文件150的电影片段164内的随机存取点。这可辅助执行特技模式，例如在由视频文件150囊封的片段内执行对特定时间位置(即，回放时间)的寻找。在一些实例中，MFRA方框166通常是任选的且无需包含于视频文件中。类似地，客户端装置(例如客户端装置40)未必需要参考MFRA方框166来对视频文件150的视频数据进行正确解码及显示。MFRA方框166可包含数个轨迹片段随机存取(TFRA)方框(未展示)，其等于视频文件150的轨迹的数目，或在一些实例中，等于视频文件150的媒体轨迹(例如，非暗示轨迹)的数目。
在一些实例中，电影片段164可包含一或多个流存取点(SAP)，例如IDR图片。类似地，MFRA方框166可提供对SAP在视频文件150内的位置的指示。因此，视频文件150的时间子序列可由视频文件150的SAP形成。时间子序列还可包含其它图片，例如取决于SAP的P帧及/或B帧。时间子序列的帧及/或切片可布置于片段内，使得时间子序列的取决于子序列的其它帧/切片的帧/切片可被正确地解码。举例来说，在数据的分层布置中，用于其它数据的预测的数据也可包含于时间子序列中。
根据本发明的技术，视频文件150可包含表示视频基本流的补充增强信息(SEI)消息的系统级信息。大体来说，电影片段164表示视频基本流的相应部分。表示SEI消息的系统级信息可包含于(例如)视频文件150的MOOV方框154或单独方框(未展示)中。
图5为绘示根据本发明的技术用于输送媒体数据的实例方法的流程图。出于解释及实例的目的，图5的方法关于图1的内容准备装置20及客户端装置40来解释。然而，应理解，在其它实例中，其它装置可经配置以执行此方法或类似方法。举例来说，服务器装置60可执行图5的方法。另外，如上文所指出，图1的服务器装置60及内容准备装置20的功能可集成于单一装置中。
最初，内容准备装置20可编码视频基本流(200)。替代地，内容准备装置20可编码视频基本流且将经编码视频基本流发送至内容准备装置20。内容准备装置20还可形成视频基本流的SEI消息(202)。SEI消息的形式可为编码过程或分离过程的部分。内容准备装置20可进一步确定SEI消息的有效负载类型(204)，例如基于相关视频译码标准。
举例来说，内容准备装置20可形成系统级信息以指示以下各者中的任一者或全部：用于隐藏式字幕的SEI消息在视频基本流中的存在，在系统级上操作的单元是否必须能够呈现隐藏式字幕，用于隐藏式字幕的描述性信息，隐藏式字幕的多个集合是否存在于视频基本流中，用于高动态范围(HDR)格式的主要颜色体积信息，用于HDR格式的内容亮度级信息，用于HDR格式的颜色再映射信息(CRI)消息，或用于HDR格式的专有信息。
内容准备装置20随后可形成系统级(例如MPEG-2系统级或文件格式级)信息，系统级信息指示SEI消息包含于视频基本流中且指示SEI消息的有效负载类型(206)。内容准备装置20随后可将视频基本流及系统级信息囊封于位流中(208)，例如符合文件格式的文件。内容准备装置20随后可将位流或其部分发送至客户端装置40。举例来说，位流的部分可为包含系统级信息的部分，系统级信息指示SEI消息存在于视频基本流中且指示SEI消息的有效负载类型。为发送位流，内容准备装置20可首先将位流发送至服务器装置60，且服务器装置60可响应于(例如)来自客户端装置40的HTTP GET或部分GET请求最终将位流或其部分发送至客户端装置40。
客户端装置40随后可接收位流或其部分(212)。客户端装置40可分析位流(或其部分)以提取指示SEI消息及SEI消息的有效负载类型的系统级信息。系统级信息可包含于一或多个译码独立码点(CICP)消息中，且因此，客户端装置40可分析一或多个CICP消息以提取系统级信息。在一些实例中，CICP消息或其它系统级信息可包含于例如媒体表现描述(MPD)的清单文件中。在一些实例中，系统级信息可包含于系统级信息及/或文件格式信息的DASH描述符中。
客户端装置40可使用位流的系统级信息来识别SEI消息及SEI消息的有效负载类型(214)，且最终从视频基本流检索及提取SEI消息(216)。举例来说，由客户端装置40接收的位流可包含SEI消息，或替代地，客户端装置40可使用特定请求(例如HTTP GET或部分GET)来专门检索SEI消息。
客户端装置40随后可使用SEI消息来检索及处理视频基本流的媒体数据(218)。在一些实例中，客户端装置40最初可使用SEI消息来确定视频基本流是否适合于客户端装置40，例如基于客户端装置40的呈现能力视频基本流是否可恰当地呈现或视频基本流是否比其它视频基本流更佳。因此，如果视频基本流适合于客户端装置40，那么客户端装置40可检索视频基本流，但如果视频基本流并不适合(或如果不同的视频基本流更适合于客户端装置40)，那么客户端装置40可检索不同(更适合)的视频基本流。因此，客户端装置40可使用系统级信息来确定是否检索位流的剩余部分。
此外，根据SEI消息的常规用途，客户端装置40还可在视频基本流的媒体数据的解码之后的呈现或其它处理期间使用SEI消息。具体地说，客户端装置40的文件格式处理单元50可提取SEI消息且将SEI消息发送至客户端装置40的适当单元，例如视频解码器48及/或视频输出44，其可使用SEI消息呈现经解码视频数据。
以此方式，图5的方法表示检索媒体数据的方法的实例，所述方法包含：由客户端装置的流式处理客户端分析囊封视频基本流的媒体位流的系统级信息，系统级信息指示视频基本流包含一或多个补充增强信息(SEI)消息及SEI消息中的每一者的有效负载类型；由流式处理客户端从系统级信息提取一或多个SEI消息及有效负载类型；及由流式处理客户端将一或多个SEI消息及有效负载类型发送至客户端装置的一或多个处理单元。
类似地，图5的方法还表示发射视频数据的方法的实例，所述方法包含：由内容准备装置的囊封单元从内容准备装置的视频编码器接收视频基本流，视频基本流包含一或多个补充增强信息(SEI)消息；由囊封单元确定一或多个SEI消息中的每一者的有效负载类型；由囊封单元将视频基本流囊封于媒体位流中；及由囊封单元产生用于媒体位流的系统级信息，系统级信息指示视频基本流包含一或多个SEI消息及SEI消息中的每一者的有效负载类型。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体；或通信媒体，其包含例如根据通信协议促进计算机程序从一处传送至另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置、闪速存储器，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。此外，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，那么同轴电缆、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是涉及非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入在组合式编解码器中。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。更确切来说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文中所描述的一或多个处理器)的集合结合合适的软件及/或固件来提供所述单元。
已描述了各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (45)

1.一种检索媒体数据的方法，所述方法包括：
由客户端装置的流式处理客户端分析囊封视频基本流的媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含一或多个补充增强信息SEI消息及所述SEI消息中的每一者的有效负载类型；
由所述流式处理客户端从所述系统级信息提取所述一或多个SEI消息及所述有效负载类型；及
由所述流式处理客户端将所述一或多个SEI消息及所述有效负载类型发送至所述客户端装置的一或多个处理单元。
2.根据权利要求1所述的方法，其中所述系统级信息指示以下各者中的一或多者：用于隐藏式字幕的SEI消息在所述视频基本流中的存在，在所述系统级上操作的单元是否必须能够呈现所述隐藏式字幕，用于所述隐藏式字幕的描述性信息，隐藏式字幕的多个集合是否存在于所述视频基本流中，用于高动态范围HDR格式的主要颜色体积信息，用于所述HDR格式的内容亮度级信息，用于所述HDR格式的颜色再映射信息CRI消息，或用于所述HDR格式的专有信息。
3.根据权利要求1所述的方法，其进一步包括由所述流式处理客户端确定是否基于所述系统级信息来检索所述媒体位流。
4.根据权利要求1所述的方法，其中所述系统级信息包括以下各者中的一或多者中的信息：用于囊封包含于所述媒体位流中的所述视频基本流的视频数据的文件的文件格式级，用于所述媒体位流的清单文件，所述媒体位流的MPEG-2输送流TS级，所述媒体位流的MPEG媒体输送MMT级，或所述媒体位流的HTTP动态自适应流式处理DASH级。
5.根据权利要求1所述的方法，其中分析所述系统级信息包括分析包含所述系统级信息的一或多个译码独立码点CICP消息。
6.根据权利要求5所述的方法，其中分析所述CICP消息包括分析包含所述CICP消息的媒体表现描述MPD。
7.根据权利要求1所述的方法，其中分析所述系统级信息包括分析包含一或多个HTTP动态自适应流式处理DASH描述符的媒体表现描述MPD，所述描述符包含所述系统级信息。
8.根据权利要求1所述的方法，其中分析所述系统级信息包括分析包含于文件格式数据中的样本条目信息，所述样本条目信息包含所述系统级信息。
9.根据权利要求8所述的方法，其中所述文件格式数据包括所述媒体位流的ISO基本媒体文件格式BMFF文件的数据。
10.根据权利要求1所述的方法，其中分析所述系统级信息包括分析包含具有针对所述系统级信息的值的语法元素的字符串。
11.根据权利要求10所述的方法，其中所述字符串包含指示以下各者中的一或多者的信息：所述视频基本流是否包含多个SEI消息有效负载类型中的一或多者，所述SEI消息的所含有效负载类型是否被发信，或针对所述有效负载类型中的一或多者的用户定义字段。
12.根据权利要求10所述的方法，其进一步包括分析指示所述字符串是否由所述媒体位流的系统层信息继承的信息。
13.一种用于检索媒体数据的装置，所述装置包括一或多个处理器，所述一或多个处理器实施于电路中且经配置以进行以下操作：
分析囊封视频基本流的媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含一或多个补充增强信息SEI消息及所述SEI消息中的每一者的有效负载类型；
从所述系统级信息提取所述一或多个SEI消息及所述有效负载类型；及
将所述一或多个SEI消息及所述有效负载类型发送至所述装置的一或多个其它处理单元。
14.根据权利要求13所述的装置，其中所述系统级信息指示以下各者中的一或多者：用于隐藏式字幕的SEI消息在所述视频基本流中的存在，在系统级上操作的单元是否必须能够呈现所述隐藏式字幕，用于所述隐藏式字幕的描述性信息，隐藏式字幕的多个集合是否存在于所述视频基本流中，用于高动态范围HDR格式的主要颜色体积信息，用于所述HDR格式的内容亮度级信息，用于所述HDR格式的颜色再映射信息CRI消息，或用于所述HDR格式的专有信息。
15.根据权利要求13所述的装置，其中所述一或多个处理器经进一步配置以确定是否基于所述系统级信息来检索所述媒体位流。
16.根据权利要求13所述的装置，其中所述系统级信息包括以下各者中的一或多者中的信息：用于囊封包含于所述媒体位流中的所述视频基本流的视频数据的文件的文件格式级，用于所述媒体位流的清单文件，所述媒体位流的MPEG-2输送流TS级，所述媒体位流的MPEG媒体输送MMT级，或所述媒体位流的HTTP动态自适应流式处理DASH级。
17.根据权利要求13所述的装置，其中所述一或多个处理器经配置以分析包含所述系统级信息的一或多个译码独立码点CICP消息。
18.根据权利要求17所述的装置，其中为分析所述CICP消息，所述一或多个处理器经配置以分析包含所述CICP消息的媒体表现描述MPD。
19.根据权利要求13所述的装置，其中为分析所述系统级信息，所述一或多个处理器经配置以分析包含一或多个HTTP动态自适应流式处理DASH描述符的媒体表现描述MPD，所述描述符包含所述系统级信息。
20.根据权利要求13所述的装置，其中为分析所述系统级信息，所述一或多个处理器经配置以分析包含于文件格式数据中的样本条目信息，所述样本条目信息包含所述系统级信息。
21.根据权利要求13所述的装置，其中为分析所述系统级信息，所述一或多个处理器经配置以包括分析包含具有针对所述系统级信息的值的语法元素的字符串。
22.一种用于检索媒体数据的装置，所述装置包括：
用于分析囊封视频基本流的媒体位流的系统级信息的装置，所述系统级信息指示所述视频基本流包含一或多个补充增强信息SEI消息及所述SEI消息中的每一者的有效负载类型；
用于从所述系统级信息提取所述一或多个SEI消息及所述有效负载类型的装置；及
用于将所述一或多个SEI消息及所述有效负载类型发送至所述装置的一或多个处理单元的装置。
23.一种计算机可读存储媒体，其上存储有指令，所述指令在执行时致使装置的处理器进行以下操作：
分析囊封视频基本流的媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含一或多个补充增强信息SEI消息及所述SEI消息中的每一者的有效负载类型；
从所述系统级信息提取所述一或多个SEI消息及所述有效负载类型；及
将所述一或多个SEI消息及所述有效负载类型发送至所述装置的一或多个处理单元。
24.一种发射媒体数据的方法，所述方法包括：
由内容准备装置的囊封单元从所述内容准备装置的视频编码器接收视频基本流，所述视频基本流包含一或多个补充增强信息SEI消息；
由所述囊封单元确定所述一或多个SEI消息中的每一者的有效负载类型；
由所述囊封单元将所述视频基本流囊封于媒体位流中；及
由所述囊封单元产生用于所述媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含所述一或多个SEI消息及所述SEI消息中的每一者的所述有效负载类型。
25.根据权利要求24所述的方法，其中所述系统级信息指示以下各者中的一或多者：用于隐藏式字幕的SEI消息在所述视频基本流中的存在，在系统级上操作的单元是否必须能够呈现所述隐藏式字幕，用于所述隐藏式字幕的描述性信息，隐藏式字幕的多个集合是否存在于所述视频基本流中，用于高动态范围HDR格式的主要颜色体积信息，用于所述HDR格式的内容亮度级信息，用于所述HDR格式的颜色再映射信息CRI消息，或用于所述HDR格式的专有信息。
26.根据权利要求24所述的方法，其中所述系统级信息包括以下各者中的一或多者中的信息：用于囊封包含于所述媒体位流中的所述视频基本流的视频数据的文件的文件格式级，用于所述媒体位流的清单文件，所述媒体位流的MPEG-2输送流TS级，所述媒体位流的MPEG媒体输送MMT级，或所述媒体位流的HTTP动态自适应流式处理DASH级。
27.根据权利要求24所述的方法，其中产生所述系统级信息包括产生包含所述系统级信息的一或多个译码独立码点CICP消息。
28.根据权利要求27所述的方法，其中产生所述CICP消息包括产生包含所述CICP消息的媒体表现描述MPD。
29.根据权利要求24所述的方法，其中产生所述系统级信息包括产生发信一或多个HTTP动态自适应流式处理DASH描述符的媒体表现描述MPD，所述描述符包含所述系统级信息。
30.根据权利要求24所述的方法，其中产生所述系统级信息包括产生包含于文件格式数据中的样本条目信息，所述样本条目信息包含所述系统级信息。
31.根据权利要求30所述的方法，其中所述文件格式数据包括所述媒体位流的ISO基本媒体文件格式BMFF文件的数据。
32.根据权利要求24所述的方法，其中产生所述系统级信息包括产生包含具有针对所述系统级信息的值的语法元素的字符串。
33.根据权利要求32所述的方法，其中所述字符串包含指示以下各者中的一或多者的信息：所述视频基本流是否包含多个SEI消息有效负载类型中的一或多者，所述SEI消息的所含有效负载类型是否被发信，或针对所述有效负载类型中的一或多者的用户定义字段。
34.根据权利要求32所述的方法，其进一步包括产生指示所述字符串是否由所述媒体位流的系统层信息继承的信息。
35.一种用于发射媒体数据的装置，所述装置包括一或多个处理器，所述一或多个处理器实施于电路中且经配置以进行以下操作：
从视频编码器接收视频基本流，所述视频基本流包含一或多个补充增强信息SEI消息；
确定所述一或多个SEI消息中的每一者的有效负载类型；
将所述视频基本流囊封于媒体位流中；及
产生用于所述媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含所述一或多个SEI消息及所述SEI消息中的每一者的所述有效负载类型。
36.根据权利要求35所述的装置，其中所述系统级信息指示以下各者中的一或多者：用于隐藏式字幕的SEI消息在所述视频基本流中的存在，在所述系统级上操作的单元是否必须能够呈现所述隐藏式字幕，用于所述隐藏式字幕的描述性信息，隐藏式字幕的多个集合是否存在于所述视频基本流中，用于高动态范围HDR格式的主要颜色体积信息，用于所述HDR格式的内容亮度级信息，用于所述HDR格式的颜色再映射信息CRI消息，或用于所述HDR格式的专有信息。
37.根据权利要求35所述的装置，其中所述系统级信息将信息包括在以下各者中的一或多者中：用于囊封包含于所述媒体位流中的所述视频基本流的视频数据的文件的文件格式级，用于所述媒体位流的清单文件，所述媒体位流的MPEG-2输送流TS级，所述媒体位流的MPEG媒体输送MMT级，或所述媒体位流的HTTP动态自适应流式处理DASH级。
38.根据权利要求35所述的装置，其中为产生所述系统级信息，所述一或多个处理器经配置以产生包含所述系统级信息的一或多个译码独立码点CICP消息。
39.根据权利要求38所述的装置，其中所述一或多个处理器经配置以产生包含所述CICP消息的媒体表现描述MPD。
40.根据权利要求35所述的装置，其中所述一或多个处理器经配置以产生发信一或多个HTTP动态自适应流式处理DASH描述符的媒体表现描述MPD，所述描述符包含所述系统级信息。
41.根据权利要求35所述的装置，其中所述一或多个处理器经配置以产生包含于文件格式数据中的样本条目信息，所述样本条目信息包含所述系统级信息。
42.根据权利要求41所述的装置，其中所述文件格式数据包括所述媒体位流的ISO基本媒体文件格式BMFF文件的数据。
43.根据权利要求35所述的装置，其中所述一或多个处理器经配置以产生包含具有针对所述系统级信息的值的语法元素的字符串。
44.一种用于发射媒体数据的装置，所述装置包括：
用于从视频编码器接收视频基本流的装置，所述视频基本流包含一或多个补充增强信息SEI消息；
用于确定所述一或多个SEI消息中的每一者的有效负载类型的装置；
用于将所述视频基本流囊封于媒体位流中的装置；及
用于产生用于所述媒体位流的系统级信息的装置，所述系统级信息指示所述视频基本流包含所述一或多个SEI消息及所述SEI消息中的每一者的所述有效负载类型。
45.一种计算机可读存储媒体，其上存储有指令，所述指令在执行时致使处理器进行以下操作：
从视频编码器接收视频基本流，所述视频基本流包含一或多个补充增强信息SEI消息；
确定所述一或多个SEI消息中的每一者的有效负载类型；
将所述视频基本流囊封于媒体位流中；及
产生用于所述媒体位流的系统级信息，所述系统级信息指示所述视频基本流包含所述一或多个SEI消息及所述SEI消息中的每一者的所述有效负载类型。
CN201780050967.2A 2016-08-24 2017-08-24 用于媒体数据流式处理的补充增强信息轨迹的系统级发信 Active CN109644282B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662379145P 2016-08-24 2016-08-24
US62/379,145 2016-08-24
US15/684,676 2017-08-23
US15/684,676 US10834153B2 (en) 2016-08-24 2017-08-23 System level signaling of SEI tracks for media data streaming
PCT/US2017/048444 WO2018039469A1 (en) 2016-08-24 2017-08-24 System level signaling of sei tracks for media data streaming

Publications (2)

Publication Number Publication Date
CN109644282A true CN109644282A (zh) 2019-04-16
CN109644282B CN109644282B (zh) 2021-10-15

Family

ID=61244138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780050967.2A Active CN109644282B (zh) 2016-08-24 2017-08-24 用于媒体数据流式处理的补充增强信息轨迹的系统级发信

Country Status (9)

Country Link
US (1) US10834153B2 (zh)
EP (1) EP3504878B1 (zh)
JP (1) JP2019525677A (zh)
KR (1) KR102549656B1 (zh)
CN (1) CN109644282B (zh)
BR (1) BR112019003284A2 (zh)
CA (1) CA3031679A1 (zh)
TW (1) TW201813411A (zh)
WO (1) WO2018039469A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming
US10805028B2 (en) * 2016-10-04 2020-10-13 Sony Corporation Receiving device, transmitting device, and data processing method
CN111566694A (zh) * 2018-01-11 2020-08-21 杜比实验室特许公司 内容扫描自适应元数据的光水平管理
US11032570B2 (en) * 2018-04-03 2021-06-08 Huawei Technologies Co., Ltd. Media data processing method and apparatus
CN108833937B (zh) * 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
CN114630138B (zh) * 2022-03-14 2023-12-08 上海哔哩哔哩科技有限公司 配置信息下发方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959952A (zh) * 2010-06-27 2013-03-06 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
CN104813671A (zh) * 2012-09-24 2015-07-29 高通股份有限公司 视频译码中的位流性质
US20150271513A1 (en) * 2014-03-24 2015-09-24 Qualcomm Incorporated Use of specific hevc sei messages for multi-layer video codecs
US20150271528A1 (en) * 2014-03-24 2015-09-24 Qualcomm Incorporated Generic use of hevc sei messages for multi-layer codecs
CN105474631A (zh) * 2013-08-20 2016-04-06 索尼公司 再现装置、再现方法以及记录介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101273479B1 (ko) * 2005-07-06 2013-06-14 톰슨 라이센싱 화상 시퀀스 및 로고를 포함하는 비디오 콘텐츠를 코딩하는 방법 및 디바이스
EP2257067A1 (en) * 2009-05-29 2010-12-01 Thomson Licensing Method for inserting watermark assistance data in a bitstream, method of watermarking said bitstream, device implementing the method of watermarking and bitstream comprising the watermark assistance data
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9357275B2 (en) * 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
EP2868092A4 (en) * 2012-07-02 2016-05-04 Nokia Technologies Oy METHOD AND DEVICE FOR VIDEO CODING
EP2993886A4 (en) * 2013-04-30 2016-11-23 Sony Corp SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
EP3070934A4 (en) * 2013-11-13 2017-03-29 LG Electronics Inc. Broadcast signal transmission method and apparatus for providing hdr broadcast service
EP3073742A4 (en) * 2013-11-21 2017-06-28 LG Electronics Inc. Signal transceiving apparatus and signal transceiving method
US20170324981A1 (en) * 2014-06-19 2017-11-09 Sharp Kabushiki Kaisha Method for decoding a video bitstream
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959952A (zh) * 2010-06-27 2013-03-06 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
CN104813671A (zh) * 2012-09-24 2015-07-29 高通股份有限公司 视频译码中的位流性质
CN105474631A (zh) * 2013-08-20 2016-04-06 索尼公司 再现装置、再现方法以及记录介质
US20150271513A1 (en) * 2014-03-24 2015-09-24 Qualcomm Incorporated Use of specific hevc sei messages for multi-layer video codecs
US20150271528A1 (en) * 2014-03-24 2015-09-24 Qualcomm Incorporated Generic use of hevc sei messages for multi-layer codecs
WO2015148545A1 (en) * 2014-03-24 2015-10-01 Qualcomm Incorporated Generic use of hevc sei messages for multi-layer codecs

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KILROY HUGHES, 等: "《Common Media Application Format for Segmented Media, Proposed revised working draft》", 《MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11，NO. M38228》 *
THOMAS STOCKHAMMER: "《DASH Defects》", 《MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11 MPEG2014/M35151》 *
YE-KUI WANG 等: "《System and Transport Interface of SVC》", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
任竞: "H.264/AVC视频编码标准的研究(续)", 《微型电脑应用》 *

Also Published As

Publication number Publication date
KR102549656B1 (ko) 2023-06-30
EP3504878A1 (en) 2019-07-03
JP2019525677A (ja) 2019-09-05
WO2018039469A1 (en) 2018-03-01
US20180063574A1 (en) 2018-03-01
TW201813411A (zh) 2018-04-01
US10834153B2 (en) 2020-11-10
CN109644282B (zh) 2021-10-15
EP3504878B1 (en) 2022-03-09
BR112019003284A2 (pt) 2019-06-04
CA3031679A1 (en) 2018-03-01
KR20190039724A (ko) 2019-04-15

Similar Documents

Publication Publication Date Title
CN110431850B (zh) 在使用mime类型参数的网络视频流式传输中发信重要视频信息
CN109076238B (zh) 通过http在动态自适应流式传输中用信号传送虚拟现实视频
CN110447234B (zh) 用于处理媒体数据及产生位流的方法、装置及存储媒体
CN106134146B (zh) 处理连续的多周期内容
CN109155865A (zh) 在图像中的最感兴趣的区域的先进信号传送
CN105744295B (zh) 提供用于串流传输视频数据的序列数据集
CN109644282A (zh) 用于媒体数据流式处理的补充增强信息轨迹的系统级发信
CN110832872B (zh) 使用用于文件格式方框的通用描述符处理媒体数据
CN109076229A (zh) 在图片中最感兴趣的区域
CN110089122A (zh) 对于用于流式处理媒体数据的预取支持的数据发信
CN109479158A (zh) 检索及存取用于媒体流式处理的段区块
CN107743703A (zh) DASH客户端QoE度量的中间件分发
CN106878804A (zh) 经译码视频数据的网络流式传输
CN109155876A (zh) 样本条目和随机存取
CN109076264A (zh) 样本条目和随机存取
KR102654999B1 (ko) 강화된 영역별 패킹 및 뷰포트 독립적 hevc 미디어 프로파일
CN110870323B (zh) 使用全向媒体格式处理媒体数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant