CN106664447A - 用于载送视频译码延伸的传输流 - Google Patents

用于载送视频译码延伸的传输流 Download PDF

Info

Publication number
CN106664447A
CN106664447A CN201580038256.4A CN201580038256A CN106664447A CN 106664447 A CN106664447 A CN 106664447A CN 201580038256 A CN201580038256 A CN 201580038256A CN 106664447 A CN106664447 A CN 106664447A
Authority
CN
China
Prior art keywords
operating point
syntactic element
ptl
syntactic
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580038256.4A
Other languages
English (en)
Other versions
CN106664447B (zh
Inventor
伏努·亨利
陈盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106664447A publication Critical patent/CN106664447A/zh
Application granted granted Critical
Publication of CN106664447B publication Critical patent/CN106664447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping

Abstract

一种视频处理装置可从用于包括一或多个基本流的节目的描述符获得多个简档、层次、层级PTL语法元素集合。所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括可指定相应PTL信息的语法元素。所述视频处理装置从用于所述节目的所述描述符获得多个操作点语法元素集合。所述多个操作点语法元素集合中的每一相应操作点语法元素集合可指定多个操作点中的相应操作点。所述视频处理装置可基于所述相应操作点语法元素集合中的相应语法元素针对通过相应操作点语法元素集合指定的相应操作点的每一相应层确定所述PTL语法元素集合中的哪一者指定经指派到所述相应层的所述PTL信息。

Description

用于载送视频译码延伸的传输流
本申请案主张2014年7月16日申请的第62/025,432号美国临时专利申请案的权益，所述申请案的全部内容以引用的方式并入。
技术领域
本发明涉及视频处理。
背景技术
数字视频能力可并入到多种多样的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、便携式或台式计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及这些标准的延伸中所描述的技术。视频装置可通过实施这些视频压缩技术更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。可使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码(I)切片中的视频块。图片的帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。帧间编码块根据指向形成预测性块的参考样本的块的运动向量来编码，且残余数据指示经译码块与预测性块之间的差异。根据帧内译码模式及残余数据来编码帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余系数，接着可将残余系数量化。最初在二维阵列中经布置的经量化系数可经扫描以便产生系数的一维向量，且熵译码可经应用以达成甚至更多压缩。
可通过(例如)从多个视角编码视图而产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可发射左眼及右眼视图以支持3D视频。替代地，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流不仅可含有纹理视图分量而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量及一个深度视图分量。
发明内容
本发明的技术包含关于用于载送多层视频数据的MPEG-2流的技术。举例来说，本发明的特定技术涉及用于载送高效率视频译码(HEVC)延伸(例如多视图HEVC(MV-HEVC)、3维HEVC(3D-HEVC)及可扩展式HEVC(SHVC))的MPEG-2传输流。根据本发明的一些技术，包含指示需要在解码当前节目元素之前按解码次序存在的节目元素的层索引的语法元素的描述符也包含对当前节目元素是否提升位流的帧速率的指示。根据本发明的一或多项额外技术，用于节目的描述符包含指定简档、层次、层级(PTL)信息集合的语法元素，且也包含指示PTL信息集合中的哪一者适应于操作点的特定层的语法元素。
在一项实例中，本发明描述一种处理视频数据的方法，所述方法包括从用于包括一或多个基本流的节目的第一描述符获得多个PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；从用于节目的第一描述符或第二描述符获得多个操作点语法元素集合，其中所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点；及对于多个操作点语法元素集合中的每一相应操作点语法元素集合，基于相应操作点语法元素集合中的相应语法元素针对通过相应操作点语法元素集合指定的相应操作点的每一相应层确定PTL语法元素集合中的哪一者指定经指派到相应层的PTL信息，所述相应操作点具有多个层。
在另一实例中，本发明描述一种处理视频数据的方法，所述方法包括：在用于包括一或多个基本流的节目的第一描述符中以信号传送多个PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；及在用于节目的第一描述符或第二描述符中以信号传送多个操作点语法元素集合，其中：多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点，且对于相应操作点的每一相应层，相应操作点语法元素包含识别多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到相应操作点的相应层的PTL信息，相应操作点具有多个层。
在另一实例中，本发明描述一种用于处理视频数据的装置，所述装置包括：经配置以存储经编码视频数据的数据存储媒体，及一或多个处理器，其经配置以：从用于包括一或多个基本流(其包括经编码视频数据)的节目的第一描述符获得多个PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；从用于节目的第一描述符或第二描述符获得多个操作点语法元素集合，其中所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点；及对于多个操作点语法元素集合中的每一相应操作点语法元素集合，基于相应操作点语法元素集合中的相应语法元素针对通过相应操作点语法元素集合指定的相应操作点的每一相应层确定PTL语法元素集合中的哪一者指定经指派到相应层的PTL信息，相应操作点具有多个层。
在另一实例中，本发明描述一种用于处理视频数据的装置，所述装置包括：经配置以存储经编码视频数据的数据存储媒体，及一或多个处理器，其经配置以：在用于包括一或多个基本流(其包括经编码视频数据)的节目的第一描述符中以信号传送多个PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；及在用于节目的第一描述符或第二描述符中以信号传送多个操作点语法元素集合，其中：多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点，且对于相应操作点的每一相应层，相应操作点语法元素包含识别多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到相应操作点的相应层的PTL信息，相应操作点具有多个层。
在另一实例中，本发明描述一种用于处理视频数据的装置，所述装置包括：用于从包括一或多个基本流的节目的第一描述符获得多个PTL语法元素集合的装置，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；用于从用于节目的第一描述符或第二描述符获得多个操作点语法元素集合的装置，其中所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点；及对于多个操作点语法元素集合中的每一相应操作点语法元素集合，用于基于相应操作点语法元素集合中的相应语法元素针对通过相应操作点语法元素集合指定的相应操作点的每一相应层确定PTL语法元素集合中的哪一者指定经指派到相应层的PTL信息的装置，相应操作点具有多个层。
在另一实例中，本发明描述一种用于处理视频数据的装置，所述装置包括：用于在包括一或多个基本流的节目的第一描述符中以信号传送多个PTL语法元素集合的装置，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；用于在用于节目的第一描述符或第二描述符中以信号传送多个操作点语法元素集合的装置，其中：多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点，且对于相应操作点的每一相应层，相应操作点语法元素包含识别多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到相应操作点的相应层的PTL信息，相应操作点具有多个层。
在另一实例中，本发明描述一种计算机可读数据存储媒体，其上存储有在执行时使得视频处理装置的一或多个处理器执行以下操作的指令：从用于包括一或多个基本流的节目的第一描述符获得多个PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；从用于节目的第一描述符或第二描述符获得多个操作点语法元素集合，其中所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点；及对于多个操作点语法元素集合中的每一相应操作点语法元素集合，基于相应操作点语法元素集合中的相应语法元素针对通过相应操作点语法元素集合指定的相应操作点的每一相应层确定PTL语法元素集合中的哪一者指定经指派到相应层的PTL信息，相应操作点具有多个层。
在另一实例中，本发明描述一种计算机可读数据存储媒体，其上存储有在执行时使得视频处理装置的一或多个处理器执行以下操作的指令：在用于包括一或多个基本流的节目的第一描述符中以信号传送多个PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；及在用于节目的第一描述符或第二描述符中以信号传送多个操作点语法元素集合，其中：多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点，且对于相应操作点的每一相应层，相应操作点语法元素包含识别多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到相应操作点的相应层的PTL信息，相应操作点具有多个层。
在随附图式及以下描述中阐述本发明的一或多项实例的细节。其它特征、目标及优点将从描述、图式及权利要求书显而易见。
附图说明
图1为绘示可利用本发明中所描述的技术的实例视频译码系统的框图。
图2为绘示实例视频编码器的框图。
图3为绘示实例视频解码器的框图。
图4A为绘示根据本发明的技术的处理视频数据的第一实例操作的流程图。
图4B为绘示根据本发明的技术的处理视频数据的第二实例操作的流程图。
图5A为绘示根据本发明的技术的处理视频数据的第三实例操作的流程图。
图5B为绘示根据本发明的技术的处理视频数据的第四实例操作的流程图。
具体实施方式
高效率视频译码(HEVC)是最近标准化的视频译码标准。多层HEVC指代支持多层的HEVC的延伸的术语。多视图HEVC(MV-HEVC)、3维HEVC(3D-HEVC)及可扩展式HEVC(SHVC)为多层HEVC的实例类型。在MV-HEVC及3D-HEVC中，不同层可对应于不同视图。SHVC提供基础层及增强层。增强层可提供对帧速率或基础层图片质量的提升。
可解码层内的一些图片而不参考同一层内的其它图片。因此，可从位流移除封装层的某些图片的数据的网络抽象层(NAL)单元，而不影响层中其它图片的可解码性。移除封装这些图片的数据的NAL单元可能会降低位流的帧速率。可在无需参考层内的其它图片的情况下解码的层内的图片子集在本文中可被称作“子层”或“时间子层”。
MPEG-2系统规范描述经压缩多媒体(视频及音频)数据流可与其它数据一起经多路复用以形成适合于数字发射或存储的单一数据流的方式。HEVC及多层HEVC为可经多路复用以形成MPEG-2系统规范中的数据流的视频数据的实例类型。MPEG-2系统规范定义节目流及传输流的概念。节目流偏向来自数字存储服务的单一节目的存储及显示。一般来说，节目流意欲用于无错误环境中。对比来说，传输流意在用于多个节目在可能易于出错的信道上的同时递送。节目流及传输流包含经打包的基本流(PES)包。节目流及传输流的PES包属于一或多个基本流。基本流为节目的单一的、用数字方式译码的(可能经HEVC压缩的或经多层HEVC压缩的)分量。举例来说，节目的经译码视频或音频部分可为基本流。
传输流可包含传递关于节目或节目的基本流的其它信息的一或多个描述符。举例来说，描述符可包含视频编码参数、音频编码参数、语言识别信息、光景比改变技术(pan-and-scan)信息、条件性接入细节、版权信息等等。如果有需要，广播公司或其它用户可定义额外的专用描述符。在视频相关分量基本流中，描述符可包含一或多个层次描述符。层级描述符提供识别含有经阶层式译码的视频、音频及专用流的分量的节目元素的信息。专用流可包含元数据，例如节目特定信息的流。一般来说，节目元素为包含于节目(即，节目的分量基本流)中的数据或基本流中的一者。在MPEG-2传输流中，节目元素通常经打包。在MPEG-2节目流中，节目元素未经打包。
描述符与经编码视频数据分离。因此，例如媒体感知网络元件(Media AwareNetwork Element；MANE)的装置可能够使用描述符对传输流及节目流执行各种功能而不解码或以其它方式分析经编码视频数据。举例来说，如果使用HEVC编码视频数据，装置不需要经配置以解码经HEVC编码的视频数据以便使用描述符对传输或节目流执行特殊功能。举例来说，装置可能够将描述符用作确定是否要转发特定节目元素到目的地装置的过程的部分。
节目的每一相应层的每一相应时间子层可对应于节目的不同节目分量(例如，基本流)。如上文所指示，描述符可包含阶层描述符。每一相应阶层描述符提供关于对应节目分量且因此关于相应时间子层的信息。举例来说，阶层描述符可包含解码对应于阶层描述符的嵌入时间子层所需的指定所述时间子层的语法元素。此外，阶层描述符可包含指定对应时间子层是否提供相对于嵌入时间子层的时间可扩展性(例如，提高帧速率)、是否提供相对于嵌入时间子层的空间可扩展性(例如，提高图片分辨率)、是否提供相对于嵌入时间子层的质量可扩展性(例如，增强信噪比质量或保真度)等的语法元素。阶层描述符并不指示解码对应时间子层是否取决于解码对应于不同层的节目分量。
除一或多个阶层描述符外，于MPEG-2传输或节目流中以信号传送的描述符可包含一或多个阶层延伸描述符。每一阶层延伸描述符可提供关于对应节目分量且因此关于相应时间子层的额外信息。不同于阶层描述符，阶层延伸描述符可指示哪些层需要经解码以成功地解码对应于阶层延伸描述符的时间子层。
阶层延伸描述符并不识别需要哪一(如果存在)时间子层来解码对应于阶层延伸描述符的时间子层。换言之，阶层延伸描述符无法描述时间相依性。因此，阶层描述符仅用于描述时间相依性，而使用阶层延伸描述符来描述其它类型的相依性。因此，阶层延伸描述符的解译取决于阶层描述符。换言之，装置可不能够完全确定需要解码哪些其它节目分量以便解码对应于阶层延伸描述符的节目分量。因此，在对应阶层描述符不存在的情况下不可使用阶层延伸描述符。
本发明的特定技术可打破阶层延伸描述符对阶层描述符的相依性。因此，根据本发明的技术，装置可在对应阶层描述符不存在的情况下使用阶层延伸描述符。举例来说，计算装置可确定当前节目元素是否提升(例如，提高)位流的帧速率。在此实例中，计算装置可在对应于当前节目元素的描述符(例如，阶层延伸描述符)中包含指示需要接入且需要在解码当前节目元素前按解码次序存在的节目元素的层索引的语法元素。描述符可在传输流中。在其它实例中，描述符在节目流中或别处。在此实例中，计算装置在对应于当前节目元素的描述符中包含对当前节目元素是否提升位流的帧速率的指示。
除了阶层描述符及阶层延伸描述符外，传输或节目流的描述符可包含HEVC操作点描述符及HEVC延伸描述符。HEVC操作点描述符包含描述操作点的信息。操作点为位流的NAL单元的子集。操作点可通过层识别符子集及最大时间识别符来定义。在一些情况下，操作点由属于经识别层中的一者且具有小于或等于最大时间识别符的时间识别符的位流的每一NAL单元组成。
HEVC操作点描述符及HEVC延伸描述符两者包含指示简档、层次及层级(PTL)信息的语法元素。一般来说，视频译码标准的“简档”为视频译码标准中提出的特征及工具的子集。换言之，简档定义可使用何种译码工具。举例来说，对于视频编码器，简档可为视频编码器可使用以产生符合所述简档的经译码位流的译码工具的子集。对于视频解码器，简档可意谓视频解码器必须具有以便能够解码据称符合简档的位流的译码工具的子集。
层级为对可通过语法元素及视频译码标准的变量采用的值的约束的经定义集合。层次为强加于位流中的语法元素的值或变量的值的层级约束的指定类别，其中层级约束嵌套于层次内，且符合某一层次及层级的解码器将能够解码符合同一层次或彼层级的较低层次或低于彼层级的任何层级的所有位流。因此，层次的层级为强加于位流中的语法元素的值或用于解码位流的变量的约束的指定集合。
如上文所指示，HEVC操作点描述符及HEVC延伸描述符两者包含指示PTL信息的语法元素。然而，HEVC操作点描述符及HEVC延伸描述符中的PTL信息的以信号传送不与PTL信息在编解码器层级(例如，在SHVC及MV-HEVC中)上以信号传送的方式对准。举例来说，在编解码器层级下，包含于操作点中的每一层指派有其自身的PTL信息。然而，在HEVC操作点描述符及HEVC延伸描述符中情况并非如此。
本发明的额外技术可将这些描述符中的PTL信息的以信号传送与在编解码器层级上的PTL信息的以信号传送对准。举例来说，本发明的特定技术可在对应于节目的描述符(例如，HEVC延伸描述符)中指定用于节目的操作点集合的每一相应层的PTL信息。在一项实例中，计算装置在用于包括一或多个基本流的节目的描述符中以信号传送多个PTL语法元素集合。描述符可在传输流中。在此实例中，对于节目的多个操作点的每一相应操作点的每一相应层，计算装置或其它装置可指派相应PTL信息到相应操作点的相应层。此外，在此实例中，计算装置在用于节目的描述符中以信号传送多个操作点语法元素集合。在此实例中，多个操作点语法元素集合的每一相应操作点语法元素集合指定多个操作点的相应操作点。在此实例中，对于相应操作点的每一相应层，相应操作点语法元素包含识别多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到相应操作点的相应层的相应PTL信息。
图1为绘示可利用本发明的技术的实例视频译码系统10的框图。如本文所使用，术语“视频译码器”一般指代视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”一般可指代视频编码或视频解码。
如图1中所展示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12所产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12及目的地装置14可包括各种各样的装置，包含台式计算机、移动计算装置、笔记型(例如，便携式)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频会议装备或类似物。
目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一项实例中，信道16可包括使源装置12能够实时地将经编码视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制经编码视频数据，且可将经调制的视频数据发射到目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。一或多个通信媒体可形成基于包的网络(例如局域网、广域网或全球网络(例如，因特网))的部分。一或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它装备。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可(例如)经由磁盘接入或卡接入来接入存储媒体。存储媒体可包含多种本地接入的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它合适的数字存储媒体。
在又一实例中，信道16可包含存储由源装置12产生的经编码视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流或下载来接入存储于文件服务器或另一中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据及将经编码视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘机。
目的地装置14可经由标准数据连接(例如，因特网连接)来接入经编码视频数据。数据连接的实例类型可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，数字订户线(DSL)、缆线调制解调器等)或适合于接入存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从文件服务器的发射可为流发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用的视频译码，所述应用例如空中电视广播、有线电视发射、卫星电视发射、流视频发射(例如，经由因特网)、用于存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流、视频回放、视频广播及/或视频电话的应用。
图1仅为实例且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据是从本地存储器检索、经由网络流发射，或类似者。视频编码装置可编码数据且将数据存储到存储器，及/或视频解码装置可从存储器检索数据且解码数据。在许多实例中，由彼此不通信而是简单地将数据编码到存储器及/或从存储器检索数据且解码数据的装置来执行编码及解码。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含例如视频摄像机的视频捕获装置、含有先前所捕获的视频数据的视频封存档、从视频内容提供者接收视频数据的视频馈入接口及/或用于产生视频数据的计算机图形系统，或视频数据的这些来源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22直接将经编码的视频数据发射到目的地装置14。在其它实例中，经编码视频数据也可存储于存储媒体上或文件服务器上，以在稍后供目的地装置14接入以用于解码及/或回放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收经编码视频数据。视频解码器30可解码经编码视频数据。显示装置32可显示经解码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各自可实施为多种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果技术在软件中经部分地实施，则装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处理器执行指令以执行本发明的技术。可将上述各者(包含硬件、软件、硬件与软件的组合等)中的任一者视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
本发明可大体上涉及视频编码器20“以信号传送”某些信息到另一装置，例如视频解码器30。术语“以信号传送”一般可指代用以解码经压缩视频数据的语法元素及/或其它数据的值的通信。此通信可实时地或近实时地发生。替代地，可历时一时间跨度而发生此通信，例如此通信可在以下时候发生：在编码时，将经编码位流中的语法元素存储到计算机可读存储媒体，所述语法元素随后可在存储于此媒体之后由解码装置在任何时间进行检索。
在一些实例中，视频编码器20及视频解码器30根据视频压缩标准来操作，所述标准例如国际标准化组织(ISO)/IEC MPEG-4视频及ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)，包含其可扩展式视频译码(SVC)延伸、多视图视频译码(MVC)延伸及基于MVC的三维视频(3DV)延伸。在一些情况下，符合H.264/AVC的基于MVC的3DV延伸的任何位流始终含有顺应H.264/AVC的MVC延伸的子位流。此外，视频编码器20及视频解码器30可根据当前在开发的对H.264/AVC的3DV译码延伸(即，基于AVC的3DV)来操作。在其它实例中，视频编码器20及视频解码器30可根据国际电信联盟电信标准化部门(ITU-T)H.261、国际标准化组织(ISO)/国际电工委员会(IEC)移动图片专家组(MPEG)-1视频、ITU-T H.262或ISO/IEC MPEG-2视频及ITU-T H.264 ISO/IEC视频来操作。换言之，视频译码标准包含ITU-T H.261、ISO/IECMPEG-1视频、ITU-T H.262或ISO/IEC MPEG-2视频、ITU-T H.263、ISO/IEC MPEG-4视频及ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC)，包含其可扩展式视频译码(SVC)及多视图视频译码(MVC)延伸。
在其它实例中，视频编码器20及视频解码器30可根据由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)来操作。HEVC可被称作“Rec.ITU-T H.265|ISO/IEC 23008-2.”。HEVC草案规范在下文中被称作HEVC WD，其可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip获得。下文中被称作“HEVC版本1”的HEVC版本可从https://www.itu.int/rec/dologin_pub.asp？lang＝e&id＝T-REC-H.265-201304-S！！PDF-E&type＝items获得。对HEVC的可扩展式延伸(称为SHVC)也正由JCT-VC开发。SHVC的最近工作草案(WD)(且在下文中被称作SHVC WD3)可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip获得。HEVC的范围延伸的最近工作草案(WD)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1005-v3.zip获得。
此外，视频编码器20及视频解码器30可根据可扩展式视频译码、多视图译码及当前正在开发的HEVC的3DV延伸来操作。HEVC的可扩展式视频译码延伸可被称作SHVC。对HEVC的多视图延伸(即MV-HEVC)也正由JCT-3V开发。MV-HEVC的最近工作草案(WD)(在下文中被称作MV-HEVC WD5)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip获得。HEVC的3DV延伸可被称作基于HEVC的3DV或3D-HEVC。HEVC的3D延伸(即，3D-HEVC)的最近工作草案(WD)可从http://phenix.int-evry.fr/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip获得。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，标示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb彩度样本的二维阵列。SCr为Cr彩度样本的二维阵列。彩度(chrominance)样本也可在本文中被称作“色度(chroma)”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。
为产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一者可包括明度样本的译码树型块、色度样本的两个对应的译码树型块，及用于译码所述译码树型块的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一译码树型块及用于译码所述译码树型块的样本的语法结构。译码树型块可为样本的N×N块。CTU也可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含以光栅扫描次序连续定序的整数数目个CTU。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，之后命名为“译码树型单元”。译码块为样本的N×N块。CU可包括具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的明度样本的译码块及色度样本的两个对应译码块，以及用于译码所述译码块的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块及用于译码所述译码块的样本的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块及用于预测所述预测块的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块及用于预测所述预测块的语法结构。视频编码器20可产生用于CU的每一PU的明度、Cb及Cr预测块的预测性明度、Cb及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，则视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。在本发明中，习语“基于”可指示“至少部分基于”。如果视频编码器20使用帧间预测来产生PU的预测性块，则视频编码器20可基于除与PU相关联的图片以外的一或多个图片的经解码样本产生PU的预测性块。
为支持帧间预测，视频编码器20可产生一或多个参考图片列表。这些参考图片列表可被称作RefPicList0及RefPicList1。在一些实例中，视频编码器20可产生用于不同图片或图片的不同切片的不同参考图片列表。因此，不同图片及/或切片的不同PU可与RefPicList0及RefPicList1的不同版本相关联。
此外，当视频编码器20使用帧间预测产生PU的预测性块时，视频编码器可以信号传送用于PU的运动信息。运动信息可包含PU的参考索引及PU的运动向量。PU的参考索引可指示参考图片在与PU相关联的参考图片列表中的一者内的位置。PU的运动向量可指示PU的预测块与参考图片中的参考位置之间的空间移位。视频编码器20可使用与参考位置相关联的参考图片的样本来产生PU的预测性块。因为PU可与两个参考图片相关联，故PU可具有两个参考索引及两个运动向量。因此，PU可具有RefPicList0参考索引及RefPicList1参考索引。PU的RefPicList0参考索引指示PU的RefPicList0版本中的参考图片。PU的RefPicList1参考索引指示PU的RefPicList1版本中的参考图片。类似地，PU可具有RefPicList0运动向量及RefPicList1运动向量。PU的RefPicList0运动向量可指示PU的RefPicList0版本中的参考图片中的参考位置。PU的RefPicList1运动向量可指示PU的RefPicList1版本中的参考图片中的参考位置。
视频编码器20可在位流中以信号传送PU的参考索引及运动向量。换言之，视频编码器20可在位流中包含指示PU的参考索引及运动向量的数据。视频解码器30可重建PU的RefPicList0版本及/或RefPicList1版本，且可使用PU的参考索引及运动向量以确定PU的一或多个预测性块。视频解码器30可使用PU的预测性块连同残余数据以解码样本。
在视频编码器20产生用于CU的PU的预测性块之后，视频编码器20可产生用于CU的残余数据。CU的残余块的每一样本可指示CU的PU的预测性块中的一者中的样本与CU的译码块中的一者中的对应样本之间的差异。举例来说，视频编码器20可产生用于CU的一或多个PU的预测性明度块，视频编码器20可产生用于CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生用于CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20也可产生用于CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割将CU的残余块(例如，明度、Cb及Cr残余块)分解成一或多个变换块(例如，明度、Cb及Cr变换块)。变换块可为应用相同变换的样本的矩形(例如，正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用于对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块及用于变换所述变换块的样本的语法结构。
视频编码器20可将一或多个变换应用于TU的变换块以产生TU的系数块。系数块可为变换系数的二维阵列。变换系数可为标量。举例来说，视频编码器20可将一或多个变换应用于TU的明度变换块以产生用于TU的明度系数块。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生用于TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块，以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化一般指代对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化的变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。术语“位流”可为用以指代网络抽象层(NAL)单元流(例如，NAL单元序列)抑或位组流(例如，含有开始码首码的NAL单元流及由HEVC标准的附录B指定的NAL单元的封装)的集合性术语。NAL单元为语法结构，其含有对NAL单元中的数据的类型的指示及呈按需要穿插有模拟预防位的原始位组序列有效负载(raw byte sequence payload；RBSP)的形式的含有彼数据的位组。NAL单元中的每一者可包含NAL单元标头且可封装RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。通过NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有封装于NAL单元内的整数数目个位组的语法结构。在一些情况下，RBSP包含零位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装用于图片参数集合(PPS)的RBSP，第二类型的NAL单元可封装用于经译码切片的RBSP，第三类型的NAL单元可封装用于SEI的RBSP，等等。封装视频译码数据的RBSP(与用于参数集合及SEI消息的RBSP相对)的NAL单元可被称作视频译码层(VCL)NAL单元。含有参数集合(例如，VPS、SPS、PPS等)的NAL单元可被称作参数集合NAL单元。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可解析位流以从所述位流获得语法元素。视频解码器30可至少部分基于从位流获得的语法元素重建视频数据的图片。重建视频数据的过程可与由视频编码器20执行的过程大体互逆。举例来说，视频解码器30可使用PU的运动向量来确定当前CU的PU的预测性块。另外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重建与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本来重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。
在多视图译码中，可存在来自不同视点的相同场景的多个视图。在多视图译码的上下文中，术语“存取单元”可用以指代对应于同一时间个例的图片集合。因此，视频数据可经概念化为一系列随时间出现的存取单元。“视图分量”可为单一存取单元中的视图的经译码表示。在本发明中，“视图”可指代与同一视图识别符相关联的视图分量序列。在一些实例中，视图分量可为纹理视图分量(即，纹理图片)或深度视图分量(即，深度图片)。
多视图译码支持视图间预测。视图间预测类似于HEVC中所使用的帧间预测，且可使用相同语法元素。然而，当视频译码器对当前视频单元(例如，PU)执行视图间预测时，视频编码器20可将处于与当前视频单元相同的存取单元中但处于不同视图中的图片用作参考图片。对比来说，习知的帧间预测仅将不同存取单元中的图片用作参考图片。
在多视图译码中，如果视频解码器(例如，视频解码器30)可在不参考任一其它视图中的图片的情况下解码视图中的图片，则所述视图可被称作“基础视图”。当对非基础视图中的一者中的图片进行译码时，视频译码器(例如视频编码器20或视频解码器30)可在图片与视频译码器当前正译码的图片处于不同视图中但在同一时间个例(即，存取单元)内时将图片添加到参考图片列表中。类似于其它帧间预测参考图片，视频译码器可在参考图片列表的任何定位处插入视图间预测参考图片。
举例来说，NAL单元可包含标头(即，NAL单元标头)及有效负载(例如，RBSP)。NAL单元标头可包含nuh_reserved_zero_6bits语法元素。具有指定不同值的nuh_layer_id语法元素(也可被称作nuh_reserved_zero_6bit语法元素)的NAL单元属于位流的不同“层”。因此，在多视图译码、3DV或SVC中，NAL单元的nuh_layer_id语法元素指定NAL单元的层识别符(即，层ID)。如果NAL单元涉及多视图译码、3DV译码或SVC中的基础层，则NAL单元的nuh_layer_id语法元素等于0。可在不参考位流的任一其它层中的数据的情况下解码位流的基础层中的数据。如果NAL单元不涉及多视图译码、3DV或SVC中的基础层，则nuh_layer_id语法元素可具有非零值。在多视图译码及3DV译码中，位流的不同层可对应于不同视图。在SVC中，除基础层之外的层可被称作“增强层”且可提供提升从位流解码的视频数据的视觉质量的信息。
此外，可在不参考同一层内的其它图片的情况下解码层内的一些图片。因此，可从位流移除封装层的某些图片的数据的NAL单元而不影响层中的其它图片的可解码性。移除封装这些图片的数据的NAL单元可降低位流的帧速率。可在不参考层内的其它图片的情况下解码的层内的图片子集在本文中可被称作“子层”或“时间子层”。
NAL单元可包含temporal_id语法元素。NAL单元的temporal_id语法元素指定NAL单元的时间识别符。NAL单元的时间识别符识别NAL单元相关联的子层。因此，位流的每一子层可与不同时间识别符相关联。如果第一NAL单元的时间识别符小于第二NAL单元的时间识别符，则可在不参考由第二NAL单元封装的数据的情况下解码由第一NAL单元封装的数据。
位流可与多个操作点相关联。位流的每一操作点与层识别符的集合(即，nuh_reserved_zero_6bits值的集合)及时间识别符相关联。可将层识别符集合标示为OpLayerIdSet，且可将时间识别符标示为TemporalID。如果NAL单元的层识别符在操作点的层识别符集合中且NAL单元的时间识别符小于或等于操作点的时间识别符，则NAL单元与操作点相关联。操作点表示为与操作点相关联的位流子集。操作点表示可包含与操作点相关联的每一NAL单元。在一些实例中，操作点表示并不包含不与操作点相关联的VCL NAL单元。
媒体感知网络元件(MANE)17可对以多个子层编码的HEVC位流应用位流薄化。MANE17可包括各种类型的计算装置，所述装置中的每一者可包括一或多个处理器及数据存储媒体。在位流中的任一点处，MANE 17可基于较低子层(即，与较低时间识别符相关联的子层)中的图片由于用于较低子层中的图片的解码过程并不取决于较高子层的NAL单元而仍为可解码的事实而开始移除较高子层(即，与较高时间识别符相关联的子层)的NAL单元。移除具有高于某一值的时间识别符的所有NAL单元的动作可被称作时间降切换(temporal down-switching)。时间降切换可始终是可能的。
术语“时间升切换(temporal up-switching)”可指代开始转发在彼点之前尚未转发的某一子层的NAL单元的动作。仅在于位流中执行切换的点之前所切换到的层中的图片均不取决于同一子层中的任何图片的情况下，时间升切换可为可能的。因此，术语“时间子层切换点”可指代图片，其对与所述图片在同一子层中且按解码次序先于所述图片的任何其它图片不具有相依性。
HEVC及其它视频译码标准指定简档、层次及层级。简档、层次及层级指定对位流的限定且因此指定对解码位流所需的能力的限制。简档、层次及层级也可用以指示个别解码器实施之间的互操作性点。每一简档指定视频译码标准中提出的算法特征及工具的子集。不需要视频编码器利用简档中支持的所有特征。层次的每一层级可指定对语法元素及变量可具有的值的限制的集合。层次及层级定义的同一集合可与所有简档一起使用，但个别实施可支持不同层次且支持层次内用于每一所支持简档的不同层级。对于任何给定简档，层次的层级可大体上对应于特定解码器处理负载及存储器能力。视频解码器的能力可依据对符合特定简档、层次及层级的约束的视频流进行解码的能力经指定。对于每一此类简档，也可表达针对彼简档所支持的层次及层级。一些视频解码器可能不能够解码特定简档、层次或层级。
在HEVC中，简档、层次及层级可由语法结构profile_tier_level()语法结构以信号传送。profile_tier_level()语法结构可包含于VPS及/或SPS中。profile_tier_level()语法结构可包含general_profile_idc语法元素、general_tier_flag语法元素及general_level_idc语法元素。general_profile_idc语法元素可指示经编码视频序列(CVS)所符合的简档。general_tier_flag语法元素可指示用于general_level_idc语法元素的解译的层次上下文。general_level_idc语法元素可指示CVS所符合的层级。可保留这些语法元素的其它值。
视频解码器的能力可依据对符合简档、层次及层级的约束的视频流进行解码的能力经指定。对于每一此类简档，也可表达对于彼简档所支持的层次及层级。在一些实例中，视频解码器并不推断HEVC中指定的值之间的general_profile_idc语法元素的保留值指示指定简档之间的中间能力。然而，视频解码器可推断与HEVC中指定的值之间的general_tier_flag语法元素的特定值相关联的general_level_idc语法元素的保留值指示层次的指定层级之间的中间能力。
MPEG-2系统规范描述经压缩多媒体(视频及音频)数据流可与其它数据一起经多路复用以形成适合于数字发射或存储的单一数据流的方式。MPEG-2 TS的规范为2012年6月版本(下文中的“H.222.0”)的ITU-T推荐H.222.0，其中提供AVC及AVC延伸的支持。用于HEVC的MPEG-2 TS的修正已获得进展。最新文件为2013年7月的MPEG文件w13656中的“ISO/IEC13818-1:2013的文本/最终草案修正3-HEVC视频在MPEG-2系统上的传输(Text of ISO/IEC13818-1:2013/Final Draft Amendment 3-Transport of HEVC video over MPEG-2Systems)”(下文中的“FDAM 3”)。最近，已开始对用于载送分层HEVC的MPEG-2 TS的修正。最新文件为2014年7月的MPEG文件w14562中的“ISO/IEC 13818-1:2013的文本/PDAM 7的研究-层化HEVC的载送(Text of ISO/IEC 13818-1:2013/Study of PDAM 7-Carriage ofLayered HEVC)”(下文中的“PDAM 7研究”)。
在MPEG-2系统规范中，基本流为节目的单一的以数字方式译码(可能经MPEG压缩)的分量。举例来说，节目的经译码视频或音频部分可为基本流。基本流在经多路复用为节目流或传输流之前首先经转化成经打包基本流(PES)。在同一节目中，使用stream_id来区分属于一个基本流的PES包与属于另一者的PES包。
在MPEG-2系统规范中，节目流及传输流为以不同应用为目标的两种替代性多路复用。相比数字存储服务，节目流偏向于单一节目的存储及显示。节目流主要意欲用于无错误环境中，因为节目流可能易于受错误影响。
节目流包括属于节目流的基本流且通常含有可变长度包。在节目流中，源自起作用的基本流的PES包经组织为“包(pack)”。包括包标头、可选系统标头及以任何次序从起作用的基本流中的任一者获取的任何数目的PES包。系统标头含有节目流的特性的概述，例如：其最大数据速率；起作用的视频及音频基本流的数目；其它时序信息。解码器可使用系统标头中所含的信息来确定所述解码器是否能够解码节目流。
传输流主要意欲用于大量节目在可能易于出错的信道上的同步递送。传输流经多路复用设计用于例如广播的多节目应用，以使得单一传输流可适应多个独立节目。传输流包括一连串传输包。在一些情况下，传输包中的每一者长188位组。短的、固定长度的包的使用意谓着传输流不像节目流那样易于受错误影响。此外，通过经由标准错误保护过程(例如雷德-所罗门(Reed-Solomon)编码)处理传输包来给予每一188位组长的传输包额外错误保护。传输流的经改良错误恢复意谓着传输包具有在易于出错的信道(例如在广播环境中发现的信道)中留存的较佳机会。看起来似乎传输流明显地由于其提高的错误恢复及载送许多同步节目的能力而为两个多路复用中的较好者。然而，传输流为相比节目流更为复杂的多路复用且因而更难建立及解多路复用。
传输包的第一位组为同步位组，在一些情况下，所述同步位组为0x47。单一传输流可载送许多不同节目，每一者包括许多经打包的基本流。包识别符(PID)字段用于区分含有一个基本流的数据的传输包与载送其它基本流的数据的那些包。在一些情况下，PID为13个位。确保每一基本流经授予唯一的PID值为多路复用器的职责。传输包的最末位组为连续性计数字段。连续性计数字段在属于同一基本流的连续传输包之间递增。此可使得解码器能够侦测传输包的丢失或获得，且潜在地隐藏否则可由此事件引起的错误。
尽管基于PID值，传输包属于哪一基本流是明显的，但解码器需要知晓哪些基本流属于哪一节目。因此，传输流包括节目特定信息(PSI)以明确指定节目与分量基本流之间的关系。
节目特定信息可包含一或多个节目映射表(program map table；PMT)。在传输流中载送的每一节目具有相关联的节目映射表。PMT给出关于节目及包括所述节目的基本流的细节。举例来说，存在具有编号3的节目且所述节目含有具有PID 33的视频、具有PID 57的英语音频及具有PID 60的中文音频。PMT可包含关于一个以上节目的细节。
基本节目映射表可包含在MPEG-2系统规范中指定的许多描述符中的一些。这些描述符传递关于节目或其分量基本流的其它信息。描述符可包含视频编码参数、音频编码参数、语言识别、光景比改变技术信息、条件性接入细节、版权信息等等。如果有需要，广播公司或其它用户可定义额外的专用描述符。如在本发明中别处详细论述，在视频相关的分量基本流中，也可存在阶层描述符，所述阶层描述符提供信息以识别含有以阶层方式译码的视频、音频及专用流的分量的节目元素。
除PMT外，PSI可包含节目流映射(PSM)。PSM提供对节目流中的基本流的描述及基本流相互之间的关系。当在传输流中载送时，节目流映射未经修改。当stream_id值为0xBC时，PSM作为PES包存在。
此外，PSI可包含节目关联表(program association table；PAT)。节目关联表包含传输流中可用的所有节目的完整列表。在一些实例中，PAT始终具有PID值0。每一节目连同含有节目的节目映射表的传输包的PID值一起列出。PSI也可包含网络信息表(networkinformation table；NIT)及条件性接入表(conditional access table；CAT)。在PAT中指定的节目编号零指向NIT。NIT为可选的，且在存在时提供关于载送传输流的物理网络的信息，例如：信道频率、卫星转频器细节、调制特性、服务发起者、服务名称及可用替代网络的细节。如果传输流内的基本流经加扰，则CAT必须存在。CAT提供使用中的加扰系统的细节且提供含有条件性接入管理及权利信息的传输包的PID值。此信息的格式未在MPEG-2系统规范中予以指定。
在MPEG-2传输流中，阶层描述符经设计来以信号传送不同基本流中的子位流的阶层。阶层描述符提供识别含有以阶层方式译码的视频、音频及专用流的分量的节目元素的信息。(参见下表2-49)
表2-49—阶层描述符
在表2-49中，temporal_scalability_flag为1位旗标，其在经设定成‘0’时指示相关联节目元素提升由hierarchy_embedded_layer_index参考的节目元素产生的位流的帧速率。保留此旗标的值‘1’。
spatial_scalability_flag为1位旗标，其在设定成‘0’时指示相关联节目元素提升由hierarchy_embedded_layer_index参考的节目元素产生的位流的空间分辨率。保留此旗标的值‘1’。
quality_scalability_flag为1位旗标，其在设定成‘0’时指示相关联节目元素提升由hierarchy_embedded_layer_index参考的节目元素产生的位流的信噪比(SNR)质量或保真度。保留此旗标的值‘1’。
hierarchy_type指示阶层类型。相关联阶层分层与其阶层嵌入层之间的阶层式关系在下文中呈现的表2-50中予以定义。如果可扩展性在一个以上维度中应用，hierarchy_type将经设定成值‘8’(“组合可扩展性”)，且旗标temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag将相应地予以设定。对于MVC视频子位流，hierarchy_type将经设定成值‘9’(“MVC视频子位流”)，且旗标temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag将经设定成‘1’。对于MVC基础视图子位流，hierarchy_type将经设定成值‘15’，且旗标temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag将经设定成‘1’。
hierarchy_layer_index为定义译码层阶层的表格中的相关联节目元素的唯一索引的6位字段。索引在单一节目定义内应是唯一的。对于符合在Rec.ITU-T H.264|ISO/IEC14496-10的附录G中定义的一或多个简档的AVC视频流的视频子位流，此索引为节目元素索引，其以以下方式指派：如果同一存取单元的视频子位流的相关联SVC相依性表示按hierarchy_layer_index的递增次序重组，则位流次序将为正确的。对于符合在Rec.ITU-TH.264|ISO/IEC 14496-10的附录H中定义的一或多个简档的AVC视频流的MVC视频子位流，此索引为节目元素索引，其以以下方式指派：如果同一存取单元的MVC视频子位流的相关联MVC视图分量子集按hierarchy_layer_index的递增次序重组，则位流次序将是正确的。
tref_present_flag为1位旗标，其在设定成‘0’时指示TREF字段可存在于相关联基本流中的PES包标头中。保留此旗标的值‘1’。
hierarchy_embedded_layer_index为定义需要接入且在解码与此hierarchy_descriptor相关联的基本流之前按解码次序存在的节目元素的hierarchy_layer_index的6位字段。如果hierarchy_type值为15，则hierarchy_embedded_layer_index未经定义。
hierarchy_channel为指示发射信道的有序集合中的相关联节目元素的所要信道编号的6位字段。最稳固的发射信道通过关于整体发射阶层定义的此字段的最低值来定义。给定hierarchy_channel可同时经指派到若干节目元素。
表2-50—Hierarchy_type字段值
值 描述
0 保留
1 空间可扩展性
2 SNR可扩展性
3 时间可扩展性
4 数据分割
5 延伸位流
6 专用流
7 多视图简档
8 组合可扩展性
9 MVC视频子位流
10-14 保留
15 MVC的基础层或MVC基础视图子位流或AVC视频子位流
在MPEG-2 TS中，阶层延伸描述符可提供关于对应节目分量且因此关于相应时间子层的额外信息。举例来说，当存在阶层延伸描述符时，阶层延伸描述符用于指定存在于不同基本流中的层的相依性。不同于阶层描述符，阶层延伸描述符可指示哪些层需要经解码以成功地解码对应于阶层延伸描述符的时间子层。下表7-3指示阶层延伸描述符的语法，如FDAM 3中所指定。
表7-3
在上表7-3中，extension_dimension_bits为指示由nuh_layer_id等于0的层的节目元素导致的相关联节目元素从基础层的可能增强的16位字段。增强维度的位分配如下。
表7-4—extension_dimension_bits的语义
位索引 描述
0 多视图增强
1 空间可扩展性，包含SNR
2 深度增强
3 AVC基础层
4 MPEG-2基础层
3～15 保留
等于1的extension_dimension_bits的第i位指示存在对应增强维度。
hierarchy_layer_index为定义译码层阶层的表格中的相关联节目元素的唯一索引的6位字段。索引在单一节目定义中应是唯一的。对于符合在Rec.ITU-T H.265|ISO/IEC23008-2的附录G或H中定义的一或多个简档的HEVC视频流的视频子位流，此索引为节目元素索引，其以以下方式经指派：如果同一存取单元的视频子位流的相关联相依性层按hierarchy_layer_index的递增次序重组，则位流次序将是正确的。
tref_present_flag为1位旗标，其在设定成‘0’时指示TREF字段可存在于相关联基本流中的PES包标头中。保留此旗标的值‘1’。
nuh_layer_id为指定在与此hierarchy_extension_descriptor()相关联的基本流中的NAL单元的最高nuh_layer_id的6位字段。
temporal_id为指定与此hierarchy_extension_descriptor()相关联的基本流中的NAL单元的最高TemporalId的3位字段。
num_embedded_layers为指定需要接入且需要在解码与此hierarchy_extension_descriptor()相关联的基本流之前按解码次序存在的直接相依节目元素的数目的6位字段。
hierarchy_ext_embedded_layer_index为定义需要接入且需要在解码与此hierarchy_extension_descriptor相关联的基本流之前按解码次序存在的节目元素的hierarchy_layer_index的6位字段。如果hierarchy_type值为15，则此字段未经定义。
hierarchy_channel为指示发射信道的有序集合中的相关联节目元素的所要信道编号的6位字段。最稳固的发射信道通过关于整体发射阶层定义的此字段的最低值来定义。给定hierarchy_channel可同时经指派到若干节目元素。在其它实例中，阶层描述符的语法元素可具有不同语义。
在PDAM 7研究中，阶层延伸描述符(即，hierarchy_extension_descriptor)无法描述时间相依性。相反地，阶层延伸描述符经设计以与阶层描述符(例如，hierarchy_descriptor)一起使用，以使得阶层描述符仅用于描述时间相依性，而使用阶层延伸描述符描述其它类型的相依性。阶层延伸描述符及阶层描述符的此设计建立相依性，以使得阶层延伸描述符在阶层描述符不存在的情况下无法使用。
本发明的特定技术可处理此相依性。举例来说，指示可包含于阶层延伸描述符中以指示时间可扩展性。举例来说，阶层延伸描述符可包含节目元素是否提升位流的帧速率的指示。在一些实例中，时间可扩展性的指示可为阶层延伸描述符的extension_dimension_bits语法元素的部分。可通过更新extension_dimension_bits语法元素的语义进行此指示来如下支持对时间可扩展性的描述：当extension_dimension_bits语法元素的所有16个位皆等于0时，其指示时间增强。举例来说，语法元素(例如，extension_dimension_bits)的所有位等于特定值(例如，0)指示节目元素提升位流的帧速率。
阶层延伸描述符可以其它方式指示时间可扩展性。举例来说，extension_dimension_bits语法元素的经保留位中的一者可用于指示时间可扩展性。举例来说，语法元素(例如，extension_dimension_bits)的单一位可指示节目元素是否提升位流的帧速率。在实例中，添加一个位到extension_dimension_bits语法元素，以使得extension_dimension_bits语法元素现具有17个位。在此实例中，额外位指示时间可扩展性。举例来说，语法元素(例如，extension_dimension_bits)可由17个位组成，且语法元素的最末位可指示节目元素是否提升位流的帧速率。
因此，根据本发明的实例，例如MANE 17或源装置12的视频处理装置可确定当前节目元素是否提升位流的帧速率。当前节目元素可包含经编码视频数据。视频处理装置可为或包含经配置以处理视频数据的装置，例如视频编码装置、视频解码装置、中间视频期间(例如MANE)、视频流装置、产生含有经编码视频数据的文件的计算装置或另一类型的装置。在此实例中，视频处理装置可在对应于当前节目元素的描述符(例如，阶层延伸描述符)中包含指示需要接入且需要在解码当前节目元素前按解码次序存在的节目元素的层索引的语法元素(例如，hierarchy_ext_embedded_layer_index语法元素)。在此实例中，视频处理装置可在对应于当前节目元素的描述符中包含对当前节目元素是否提升位流的帧速率的指示。在一些实例中，节目元素中的每一者对应于相应时间子层。
在对应实例中，视频处理装置(例如MANE 17或目的地装置14)可基于对应于当前节目元素的描述符(例如，阶层延伸描述符)中的语法元素(例如，hierarchy_ext_embedded_layer_index语法元素)来确定需要接入且需要在解码当前节目元素前按解码次序存在的节目元素。在此实例中，视频处理装置可基于对应于当前节目元素的描述符中的指示确定当前节目元素是否提升位流的帧速率。在此实例中，位流可由需要接入且需要在解码当前节目元素前按解码次序存在的一或多个节目元素的集合产生。
在PDAM 7研究中，HEVC操作点描述符(例如，hevc_operation_point_descriptor)及HEVC延伸描述符(例如，hevc_extension_descriptor)两者提供以信号传送操作点信息的手段。此类操作点信息包含简档、层次及层级(PTL)信息的以信号传送。然而，用于HEVC操作点描述符及HEVC延伸描述符中的操作点的PTL信息的以信号传送不与编解码器层级(即，SHVC及MV-HEVC标准)中的PTL信息的以信号传送对准。在编解码器层级中，包含于操作点中的每一层指派有其自身的PTL信息。
本发明的额外技术可处理此问题。举例来说，根据本发明的技术，操作点及PTL信息如下以信号传送。在用于节目的描述符中以信号传送PTL信息集合(每一者包含PTL信息)的列表。可用于节目的操作点的列表也在描述符中以信号传送。在一些实例中，包含操作点的列表的描述符为不同于含有PTL信息组合的列表的描述符。在其它实例中，包含操作点的列表的描述符为与含有PTL信息集合的列表的描述符相同的描述符。作为待解码层包含于操作点中(即，包含于用于解码操作点的子位流中)的每一层经给定有参考PTL信息的集合的索引。在其它实例中，作为输出层包含于操作点中的每一层经给定有参考PTL信息的集合的索引。
因此，根据本发明的实例，视频处理装置(例如源装置12、MANE 17或其它装置)可在用于包括一或多个基本流的节目的描述符中以信号传送多个PTL语法元素集合。一或多个基本流可包括经编码视频数据。对于节目的多个操作点中的每一相应操作点的每一相应层，视频处理装置可指派相应PTL信息到相应操作点的相应层。另外，视频处理装置可在用于节目的描述符或用于节目的另一描述符中以信号传送多个操作点语法元素集合。在此实例中，多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点。此外，在此实例中，对于相应操作点的每一相应层，相应操作点语法元素包含识别多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到相应操作点的相应层的相应PTL信息。
在对应实例中，视频处理装置(例如MANE 17、目的地装置14或其它装置)可从用于可包括一或多个基本流的节目的描述符获得多个PTL语法元素集合。在此实例中，包括语法元素的多个PTL语法元素集合的每一相应PTL语法元素集合指定相应PTL信息。此外，在此实例中，视频处理装置可从用于节目的描述符获得多个操作点语法元素集合。在此实例中，多个操作点语法元素集合的每一相应操作点语法元素集合指定多个操作点的相应操作点。另外，在此实例中，对于多个操作点语法元素集合中的每一相应操作点语法元素，视频处理装置可基于相应操作点语法元素集合中的相应语法元素针对通过所述相应操作点语法元素集合指定的相应操作点的每一相应层确定所述PTL语法元素集合中的哪一者指定经指派到相应层的PTL信息。
在PDAM 7研究的子条款2.17.4中描述的操作点的基本流的聚合可概括如下。如果操作点在hevc_operation_point_descriptor或hevc_extension_descriptor中以信号传送，则用于操作点的HEVC层列表基于基本流或描述符中针对所述操作点描述的层列表而建立。或者，如果hevc_operation_point_descriptor或hevc_extension_descriptor皆不存在时，每一基本流被视为操作点，且HEVC层列表是基于hierarchy_descriptor或hierarchy_extension_descriptor而建立。或者，在PDAM 7研究的修正表格7-5中描述操作点的默认列表。如下重新产生修正表格7-5。
修正表格7-5—不使用阶层描述符时的默认HEVC层列表
上文用于基本流的聚合的方法可至少具有以下问题。在关于上文用于基本流的聚合的方法的第一问题中，当不存在用于操作点的描述符时，假定每一基本流为操作点。对于哈托利(Hattori)等人的“ISO/IEC 13818-1:2013/FDAM 5的文本-MVC深度视频子位流的传输及对HEVC低潜时译码模式的支持(Text of ISO/IEC 13818-1:2013/FDAM 5-Transportof MVC depth video sub-bitstream and support for HEVC low delay coding mode)”(ISO/IEC JTC1/SC29/WG11，MPEG2014/N14315，2014年4月，西班牙，巴伦西亚)(下文的“ISO/IEC 13818-1:2013的修正5”)来说，此可具有回溯兼容性问题。在ISO/IEC 13818-1:2013的修正5中，HEVC时间视频子位流与其所有相关联HEVC时间视频子集一起被视为一个操作点。换言之，仅增强其参考基本流的时间方面的基本流不被视为另一操作点。因此，当不存在用于操作点的描述符时，仅具有流类型0x24、0x27及0x29的基本流应被其本身视为操作点，而具有流类型0x25、0x28及0x2A的基本流应被视为与具有那些基本流所增强的类型0x24、0x27及0x29的基本流相关联的操作点的部分。在PDAM7研究中，类型0x24指示HEVC视频流或HEVC时间视频子位流或HEVC基础子分割区。此外，在PDAM7研究中，类型0x27指示包含符合在ITU-T Rec.H.265|ISO/IEC 23008-2的附录G中定义的一或多个简档的HEVC视频流的TemporalId 0的HEVC增强子分割区。此外，在PDAM7研究中，类型0x28指示符合在ITU-T Rec.H.265|ISO/IEC 23008-2的附录G中定义的一或多个简档的HEVC视频流的HEVC时间增强子分割区。此外，在PDAM8研究中，类型0x29指示包含符合在ITU-T Rec.H.265|ISO/IEC 23008-2的附录H中定义的一或多个简档的HEVC视频流的TemporalId 0的HEVC增强子分割区。在PDAM7研究中，类型0x2A指示符合在ITU-T Rec.H.265|ISO/IEC 23008-2的附录H中定义的一或多个简档的HEVC视频流的HEVC时间增强子分割区。
在关于上文用于基本流的聚合的方法的第二问题中，提出用新的hevc_extension_descriptor替换hevc_operation_point_descriptor及hevc_extension_descriptor。因此，必须还更新用于操作点的基本流的聚合的描述符。如在PDAM 7研究中所定义的，HEVC层分量聚合可为来自按HEVC层列表所指示的次序在HEVC层列表中所指示的所有HEVC子分割区的具有同一输出时间的所有HEVC层分量的串连，从而产生如Rec.ITU-TH.265|ISO/IEC 23008-2的附录F中所定义的有效存取单元。
根据本发明的技术，可如下修改基本流的聚合。如果存在用于节目的载送操作点信息的描述符，则用于描述于描述符中的每一操作点的HEVC层列表是基于用于所述操作点的信息而建立且将含有经包含以用于操作点的层。或者，如果不存在用于节目的载送操作点信息的描述符，则具有流类型0x24、0x27及0x29的每一基本流ESi对应于单一目标操作点OPi。包含于ESi及由用于ESi的hierarchy_extension_descriptor的语法元素hierarchy_ext_embedded_layer_index(如果存在)所指向的基本流中、根据LayerId的递增次序定序的层的聚合产生HEVC层列表。如果通过hierarchy_ext_embedded_layer_index以信号传送的基本流具有其它相依性，则这些相依性将以递回的方式预先考虑。
本发明描述用于载送HEVC延伸的设计MPEG-2传输流(TS)的改良。在本文中给出本发明的技术的概述，且在后面部分中提供一些技术的具体实施。这些技术中的一些可独立地应用，且其中一些可组合地应用。
图2为绘示实例视频编码器20的框图。出于解释的目的提供图2且图2不应被视为对本发明中广泛例示及描述的所述技术的限制。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图2的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重建单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元122及运动补偿单元124。在其它实例中，视频编码器20可包含更多、更少或不同的功能性组件。
在一些实例中，视频编码器20可进一步包含视频数据存储器121。视频数据存储器121可通过视频编码器20的组件存储待编码的视频数据。存储于视频数据存储器121中的视频数据可(例如)从视频源18获得。经解码图片缓冲器116可为存储供视频编码器20用于编码视频数据(例如，在帧内译码或帧间译码模式下)的参考视频数据的参考图片存储器。视频数据存储器121及经解码图片缓冲器116可由多种存储器装置中的任一者形成，所述存储器装置例如动态随机接入存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或独立存储器装置来提供视频数据存储器121及经解码图片缓冲器116。在各种实例中，视频数据存储器121可与视频编码器20的其它组件一起在芯片上，或相对于那些组件来说在芯片外。
视频编码器20可接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。视频编码器20可编码CTU的CU以产生所述CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可在CU的一或多个PU当中分割与所述CU相关联的译码块。因此，每一PU可与明度预测块及对应色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。CU的大小可指代CU的明度译码块的大小，且PU的大小可指代PU的明度预测块的大小。假定特定CU的大小为2N×2N，则视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似者的对称PU大小。视频编码器20及视频解码器30也可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及PU的运动信息。取决于PU是在I切片中、P切片中抑或B切片中，帧间预测处理单元120可针对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，则帧间预测处理单元120并不对PU执行帧间预测。
如果PU在P切片中，则运动估计单元122可在参考图片列表(例如，“RefPicList0”)中的参考图片中搜索PU的参考区域。用于PU的参考区域可为在参考图片内、含有最紧密地对应于PU的预测块的样本的区域。运动估计单元122可产生指示含有用于PU的参考区域的参考图片的RefPicList0中的位置的参考索引。另外，运动估计单元122可产生指示PU的译码块与关联于参考区域的参考位置之间的空间移位的运动向量。举例来说，运动向量可为提供从当前图片中的座标到参考图片中的座标的偏移的二维向量。运动估计单元122可将参考索引及运动向量作为PU的运动信息输出。运动补偿单元124可基于由PU的运动向量指示的参考位置处的实际样本或内插样本而产生PU的预测性块。
如果PU在B切片中，则运动估计单元122可针对PU执行单向预测或双向预测。为针对PU执行单向预测，运动估计单元122可在RefPicList0或第二参考图片列表(“RefPicList1”)的参考图片中搜索PU的参考区域。运动估计单元122可将指示含有参考区域的参考图片的RefPicList0或RefPicList1中的位置的参考索引、指示PU的预测块与关联于参考区域的参考位置之间的空间移位的运动向量及指示参考图片是在RefPicList0抑或RefPicList1中的一或多个预测方向指示符作为PU的运动信息输出。运动补偿单元124可至少部分基于通过PU的运动向量指示的参考位置处的实际样本或内插样本产生PU的预测性块。
为针对PU执行双向帧间预测，运动估计单元122可在RefPicList0中的参考图片中搜索用于PU的参考区域，且也可在RefPicList1中的参考图片中搜索用于PU的另一参考区域。运动估计单元122可产生指示含有参考区域的参考图片的RefPicList0及RefPicList1中的位置的参考索引。另外，运动估计单元122可产生指示关联于参考区域的参考位置与PU的预测块之间的空间移位的运动向量。PU的运动信息可包含PU的参考索引及运动向量。运动补偿单元124可至少部分基于由PU的运动向量所指示的参考位置处的实际样本或内插样本而产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片中、P切片中及B切片中的PU执行帧内预测。
为对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生用于PU的预测性块的多个集合。当使用特定帧内预测模式执行帧内预测时，帧内预测处理单元126可使用来自相邻块的样本的特定集合产生PU的预测性块。假定对于PU、CU及CTU采用从左到右、从上到下的编码次序，邻近块可在PU的预测块的上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目的帧内预测模式，例如，33种定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于PU的预测块的大小。
预测处理单元100可从由帧间预测处理单元120所产生的用于PU的预测性数据中，或从由帧内预测处理单元126所产生的用于PU的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的速率/失真度量而选择用于CU的PU的预测性数据。所选择的预测性数据的预测性块在本文中可被称作所选预测性块。
残余产生单元102可基于CU的译码块(例如，明度、Cb及Cr译码块)及CU的PU的所选预测性块(例如，预测性明度、Cb及Cr块)产生CU的残余块(例如，明度、Cb及Cr残余块)。举例来说，残余产生单元102可产生CU的残余块，使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选预测性块中的对应样本之间的差的值。
变换处理单元104可执行四分树分割以将与CU的残余块分割成与CU的TU相关联的变换块。因此，TU可与明度变换块及两个对应色度变换块相关联。CU的TU的明度变换块及色度变换块的大小及位置可基于或可不基于CU的PU的预测块的大小及位置。
通过将一或多个变换应用到TU的变换块，变换处理单元104可产生用于CU的每一TU的变换系数块。变换处理单元104可将各种变换应用到与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104不将变换应用于变换块。在这些实例中，变换块可被视为变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减小与变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间经下舍入到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化的程度。量化可引入信息丢失，因此经量化的变换系数可具有比原始变换系数低的精确度。
反量化单元108及反变换处理单元110可将反量化及反变换分别应用到系数块，以从系数块重建残余块。重建单元112可将经重建的残余块添加到来自由预测处理单元100所产生的一或多个预测性块的对应样本，以产生与TU相关联的经重建变换块。通过以此方式重建用于CU的每一TU的变换块，视频编码器20可重建CU的译码块。
滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块假影。经解码图片缓冲器116可在滤波器单元114对经重建的译码块执行一或多个解块操作之后存储经重建的译码块。帧间预测处理单元120可使用含有经重建译码块的参考图片以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重建译码块来对与CU位于同一图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能性组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块，且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说，熵编码单元118可对数据执行CABAC操作、CAVLC操作、可变到可变(variable-to-variable；V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数葛洛姆编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。
图3绘示实例视频解码器30的框图。出于解释的目的提供图3，且图3并非为本发明中广泛例示及描述的所述技术的限制。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、反量化单元154、反变换处理单元156、重建单元158、滤波器单元160及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同的功能性组件。
在一些实例中，视频解码器30可进一步包含视频数据存储器。视频数据存储器可存储待由视频解码器30的组件解码的视频数据(例如，经编码视频位流)。可经由视频数据的有线或无线网络通信或通过接入物理数据存储媒体(例如)从信道16(例如，从本地视频源，例如摄像机)获得存储于视频数据存储器中的视频数据。视频数据存储器可形成经译码图片缓冲器(CPB)151及经解码图片缓冲器162。CPB 151存储来自经编码视频位流的经编码视频数据。经解码图片缓冲器162可为存储供视频解码器30用于解码视频数据(例如，在帧内译码或帧间译码模式下)的参考视频数据的参考图片存储器。CBP 151及经解码图片缓冲器162可由多种存储器装置中的任一者形成，所述存储器装置例如DRAM(包含SDRAM)、MRAM、RRAM或其它类型的存储器装置。可通过同一存储器装置或独立存储器装置来提供CPB 151及经解码图片缓冲器162。在各种实例中，视频数据存储器可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
CPB 151可接收及存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从CPB 151接收NAL单元，且解析NAL单元以从位流获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重建单元158及滤波器单元160可基于从位流获得的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码的切片NAL单元。作为解码位流的部分，熵解码单元150可解析及熵解码来自经译码切片NAL单元的语法元素。经译码切片中的每一者可包含切片标头及切片数据。切片标头可含有关于切片的语法元素。
除从位流解码语法元素之外，视频解码器30可对CU执行解码操作。通过对CU执行解码操作，视频解码器30可重建CU的译码块。
作为对CU执行解码操作的部分，反量化单元154可反量化(即，解量化)与CU的TU相关联的系数块。反量化单元154可使用与TU的CU相关联的QP值来确定量化程度，且同样地确定反量化单元154应用的反量化的程度。即，压缩比(即，用以表示原始序列与经压缩序列的位数目的比率)可通过调整在量化变换系数时所使用的QP的值来控制。压缩比也可取决于所采用的熵译码的方法。
在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用于系数块以便产生与TU相关联的残余块。举例来说，反变换处理单元156可将反DCT、反整数变换、反卡忽南-拉维(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
如果使用帧内预测来编码PU，则帧内预测处理单元166可执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于空间相邻PU的预测块来产生用于PU的预测性块(例如，预测性明度、Cb及Cr块)。帧内预测处理单元166可基于从位流解码的一或多个语法元素而确定用于PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素建构第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果使用帧间预测编码PU，则熵解码单元150可获得PU的运动信息。运动补偿单元164可基于PU的运动信息而确定用于PU的一或多个参考区域。运动补偿单元164可基于用于PU的一或多个参考块处的样本而产生用于PU的预测性块(例如，预测性明度、Cb及Cr块)。
重建单元158可使用来自CU的TU的变换块(例如，明度、Cb及Cr变换块)及CU的PU的预测性块(例如，明度、Cb及Cr块)的残余值(即，帧内预测数据或帧间预测数据)(如果适用)来重建CU的译码块(例如，明度、Cb及Cr译码块)。举例来说，重建单元158可将变换块(例如，明度、Cb及Cr变换块)的样本添加到预测性块(例如，预测性明度、Cb及Cr块)的对应样本，以重建CU的译码块(例如，明度、Cb及Cr译码块)。
滤波器单元160可执行解块操作以减少与CU的译码块(例如，明度、Cb及Cr译码块)相关联的块假影。视频解码器30可将CU的译码块(例如，明度、Cb及Cr译码块)存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块(例如，明度、Cb及Cr块)而对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可从位流提取有效明度系数块的变换系数层级、反量化变换系数层级、应用变换到变换系数层级以产生变换块、至少部分基于变换块产生译码块及输出译码块以用于显示。
本发明的以下部分描述本发明的特定技术的实例实施细节。在以下部分中，下划线本文指示添加的本文。
如上文所提及，指示可包含于阶层延伸描述符中以指示时间可扩展性。举例来说，阶层延伸描述符可包含对节目元素是否提升位流的帧速率的指示。下文修正表格7-3为适应时间可扩展性的阶层延伸描述符的实例语法表。
修正表格7-3—阶层延伸描述符
在修正表格7-3的实例中，no_temporal_scalability_flag为1位旗标，其在设定成‘0’时指示相关联节目元素提升由hierarchy_embedded_layer_index参考的节目元素产生的位流的帧速率。保留此旗标的值‘1’。hierarchy_extension_descriptor的其它语法元素的语义可与上文所指示的保持相同。因此，在一些实例中，对当前节目元素是否提升位流的帧速率的指示可由与指示当前节目元素相对于基础层的增强的语法元素分离的1位旗标组成。
在阶层延伸描述符中指示时间可扩展性的另一实例中，如下更新extension_dimension_bits的语义：
extension_dimension_bits—指示由nuh_layer_id等于0的层的节目元素导致的相关联节目元素从基础层的可能增强的16位字段。当extension_dimension_bits等于0时， 其指示相关联节目元素提升由hierarchy_embedded_layer_index参考的节目元素产生的 位流的帧速率。
因此，在本发明的一些实例中，对当前节目元素是否提升位流的帧速率的指示可为指示当前节目元素相对于基础层的增强的语法元素(例如，extension_dimension_bits)的部分。此外，在一些这些实例中，语法元素的所有位等于特定值(例如，0)指示当前节目元素提升位流的帧速率。
在阶层延伸描述符中指示时间可扩展性的另一实例中，语法元素extension_dimension_bits的所保留位中的一者用于指示时间可扩展性。因此，在本发明的一些实例中，语法元素(例如extension_dimension_bits)的单一位指示当前节目元素是否提升位流的帧速率。可通过改变如下文在修正表格7-4中展示的表7-4来实施此实例：
修正表格7-4—延伸维度位的语义
如上文所指示，本发明的特定技术提供用于在描述符中指示操作点的每一层的PTL信息。可以各种方式实施这些技术。举例来说，操作点及PTL信息的以信号传送可使用包含下表中所展示的语法的HEVC延伸描述符来实施。
HEVC延伸描述符
在上表中，num_profile_tier_level为指定由此描述符指定的简档、层次及层级结构的数目的8位字段。因此，在一些实例中，视频处理装置可基于用于节目的描述符中的语法元素(例如，num_profile_tier_level)确定多个PTL语法元素集合中的PTL语法元素集合的数目。类似地，在一些实例中，视频处理装置可在用于节目的第一描述符中以信号传送指示多个PTL语法元素集合中的PTL语法元素集合的数目的语法元素(例如，num_profile_tier_level)。
profile_space为指定用于在0到31(包含性的)范围内的所有i值的profile_idc的解译的上下文的2位字段。在此实例中，profile_space不应指派有除在Rec.ITU-T H.265|ISO/IEC 23008-2的附录A或子条款G.11或子条款H.11中指定的值之外的值。保留profile_idc的其它值以供ITU-T|ISO/IEC将来使用。
tier_flag为指定如在Rec.ITU-T H.265|ISO/IEC 23008-2的附录A或子条款G.11或子条款H.11中指定的用于level_idc的解译的层次上下文的1位字段。
profile_idc为5位字段，其在profile_space等于0时指示由包含于所指定操作点中的HEVC子分割区及此子分割区所取决于的所有HEVC子分割区的HEVC层聚合产生的CVS所符合的简档，如Rec.ITU-T H.265|ISO/IEC 23008-2的附录A中所指定。profile_idc不应指派有除在Rec.ITU-T H.265|ISO/IEC 23008-2的附录A或G.11或H.11中指定的值之外的值。保留profile_idc的其它值以供ITU-T|ISO/IEC将来使用。
profile_compatibility_indication、progressive_source_flag、interlaced_source_flag、non_packed_constraint_flag、frame_only_constraint_flag、reserved_zero_44bits、level_idc—当HEVC延伸视频描述符适用于HEVC增强子分割区时，应根据在Rec.ITU-T H.265|ISO/IEC 23008-2中分别针对用于对应HEVC子分割的general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibility_flag[i]、general_progressive_source_flag、general_interlaced_source_flag、general_non_packed_constraint_flag、general_frame_only_constraint_flag、general_reserved_zero_44bits、general_level_idc而定义的语义译码这些字段，且由与HEVC视频描述符相关联的HEVC子分割区及此子分割区所取决于的所有HEVC子分割区的HEVC层聚合产生的HEVC视频流将符合由所述字段以信号传送的信息。
level_idc为指示CVS所符合的层级(如在Rec.ITU-T H.265|ISO/IEC 23008-2的附录A、G.11或H.11中所指定)的8位字段。level_idc不应指派有除在Rec.ITU-T H.265|ISO/IEC 23008-2的附录A、G.11或H.11中所指定的level_idc值之外的level_idc值。保留level_idc的其它值以供ITU-T|ISO/IEC将来使用。
因此，在一些实例中，视频处理装置可基于相应PTL语法元素集合中的相应简档语法元素(例如，profile_idc)来确定经译码视频序列所符合的简档。此外，视频处理装置可基于相应PTL语法元素集合中的相应层次语法元素(例如，tier_flag)来确定相应PTL语法元素集合中的相应层级指示符语法元素(例如，level_idc)的解译的上下文。在这些实例中，视频处理装置可基于相应PTL语法元素集合中的相应层级指示符语法元素来确定经译码视频序列所符合的层级。
类似地，在一些实例中，对于多个PTL语法元素集合中的每一相应PTL语法元素集合，视频处理装置可在相应PTL语法元素集合中以信号传送指定经译码视频序列所符合的简档的相应简档语法元素(例如，profile_idc)。此外，视频处理装置可在相应PTL语法元素集合中以信号传送相应层次语法元素(例如，tier_flag)。相应层次语法元素可指定用于相应PTL语法元素集合中的相应层级指示符语法元素(例如，level_idc)的解译的上下文。在这些实例中，视频处理装置可在相应PTL语法元素集合中以信号传送相应层级指示符语法元素。相应层级指示符语法元素可指示经译码视频序列所符合的层级。
num_operation_points为指定由此描述符指定的操作点的数目的8位字段。因此，在一些实例中，视频处理装置可基于描述符中的语法元素(例如，num_operation_points)确定多个操作点语法元素集合中的操作点语法元素集合的数目。类似地，在一些实例中，视频处理装置可以信号传送指示多个操作点语法元素集合中的操作点语法元素集合的数目的描述符中的语法元素(例如，num_operation_points)。在其它实例中，可基于与包含PTL语法元素集合的描述符分离的描述符中的语法元素来确定所述语法元素。同样地，在一些实例中，视频处理装置可以信号传送与包含PTL语法元素集合的描述符分离的描述符中的此语法元素。
max_temporal_id为指定第i操作点中的层的NAL单元的最高TemporalId的3位字段。
num_layers_in_operation_point为指定包含于第i操作点中的层的数目的6位字段。因此，在一些实例中，对于多个操作点语法元素集合中的每一相应操作点语法元素集合，视频处理装置可以信号传送由相应操作点语法元素集合指定的相应操作点的层的数目。类似地，在一些实例中，对于多个操作点语法元素集合中的每一相应操作点语法元素集合，视频处理装置可基于描述符中的语法元素(例如，num_layers_in_operation_point)确定由相应操作点语法元素集合指定的相应操作点的层的数目。在其它实例中，可在与包含PTL语法元素集合的描述符分离的描述符中以信号传送语法元素(例如，num_layers_in_operation_point)。
layer_id_included为指定包含于第i操作点中的层的nuh_layer_id的6位字段。
output_layer_flag为1位字段，其在经指派值‘1’时指示nuh_layer_id等于layer_id_included的层为在第i操作点经解码时的输出层。当output_layer_flag经指派值‘0’时，nuh_layer_id等于layer_id_included的层并非为当第i操作点经解码时的输出层。
ptl_index为指定经指派到第i操作点中的第j层的简档、层次及层级的索引的8位字段。
average_bitrate为指示对应于第i操作点的经HEVC分层的视频流的平均位速率(每秒1000位)的16位字段。
maximum_bitrate为指示对应于第i操作点的经HEVC分层的视频流的最大位速率(以每秒的kbit计)的16位字段。
constant_frame_rate_mode为指定如何解译下文所指定的frame_rate的1位字段。
frame_rate为指示对应于第i操作点的经HEVC分层的视频流的最大图片速率的15位字段。如果constant_frame_rate_mode等于0，则frame_rate以每秒帧数量测。或者，如果constant_frame_rate_mode等于1，则frame_rate以每1.001秒帧数量测。
因此，在一些实例中，对于多个操作点语法元素集合中的每一相应操作点语法元素集合，视频处理装置可以信号传送指定由相应操作点语法元素集合指定的相应操作点的最大时间识别符的相应第一语法元素(例如，max_temporal_id)。另外，视频处理装置可以信号传送指定由相应操作点语法元素集合指定的相应操作点的平均位速率的相应第二语法元素(例如，average_bit_rate)。视频处理装置也可以信号传送指定由相应操作点语法元素集合指定的相应操作点的最大位速率的相应第三语法元素(例如，maximum_bit_rate)。视频处理装置可以信号传送指定对应于由相应操作点语法元素集合指定的相应操作点的经高效率视频译码(HEVC)分层的视频流的最大图片速率的相应第四语法元素(例如，frame_rate)。
类似地，在一些实例中，对于多个操作点语法元素集合中的每一相应操作点语法元素集合，视频处理装置可基于相应操作点语法元素集合中的相应第一语法元素(例如，max_temporal_id)来确定由相应操作点语法元素集合指定的相应操作点的最大时间识别符。视频处理装置也可基于相应操作点语法元素集合中的相应第二语法元素(例如，average_bit_rate)来确定由相应操作点语法元素集合指定的相应操作点的平均位速率。此外，视频处理装置可基于相应操作点语法元素集合中的相应第三语法元素(例如，maximum_bit_rate)来确定由相应操作点语法元素集合指定的相应操作点的最大位速率。此外，视频处理装置可基于相应操作点语法元素集合中的相应第四语法元素(例如，frame_rate)来确定对应于由相应操作点语法元素集合指定的相应操作点的经高效率视频译码(HEVC)分层的视频流的最大图片速率。
如上文所指示，本发明的特定技术修改基本流的聚合。根据一些实例，用于一或多个操作点的HEVC层列表根据如下指定：如果节目映射表(PMT)含有hevc_extension_descriptor，则经指示包含于由语法元素layer_id_included指定的操作点中、根据LayerId值的递增值定序的层的聚合产生HEVC层列表。否则，具有流类型0x24、0x27及0x29的每一基本流ESi对应于单一目标操作点OPi。包含于ESi及由用于ESi的hierarchy_extension_descriptor的语法元素hierarchy_ext_embedded_layer_index(如果存在)所指向的基本流中、根据LayerId的递增次序定序的层的聚合产生HEVC层列表。如果通过hierarchy_ext_embedded_layer_index以信号传送的ES具有其它相依性，则这些相依性将以递回的方式预先考虑。具有流类型0x25、0x28及0x2A的基本流ESj被视为与其增强的操作点关联基本流的部分。
图4A为绘示根据本发明的技术的处理视频数据的第一实例操作的流程图。本发明的流程图为实例。根据本发明的技术的其它实例可包含更多、更少或不同动作。此外，在一些实例中，可以不同次序或并行执行动作。
在图4A的实例中，视频处理装置(例如MANE 17、源装置12或另一装置)确定当前节目元素是否提升位流的帧速率(400)。在图4A的实例中，位流可由需要接入且需要在解码当前节目元素前按解码次序存在的一或多个节目元素的集合产生。
此外，视频处理装置在对应于当前节目元素的描述符中包含指示需要接入且需要在解码当前节目元素之前按解码次序存在的节目元素的层索引的语法元素(402)。视频处理装置在对应于当前节目元素的描述符中包含对当前节目元素是否提升位流的帧速率的指示(404)。
图4B为绘示根据本发明的技术的处理视频数据的第二实例操作的流程图。在图4B的实例中，视频处理装置(例如MANE 17、目的地装置14或另一装置)基于对应于当前节目元素的描述符中的语法元素来确定需要接入且需要在解码当前节目元素前按解码次序存在的节目元素(450)。
此外，视频处理装置基于对应于当前节目元素的描述符中的指示确定当前节目元素是否提升位流的帧速率(452)。在图4B的实例中，位流由需要接入且需要在解码当前节目元素前按解码次序存在的一或多个节目元素的集合产生。
图5A为绘示根据本发明的技术的处理视频数据的第三实例操作的流程图。可结合图4A的实例操作执行图5A的操作。在图5A的实例中，视频处理装置(例如源装置12、MANE 17或另一装置)在用于包括一或多个基本流的节目的描述符中以信号传送多个PTL语法元素集合(500)。
另外，视频处理装置在用于节目的所述描述符或不同描述符(例如，第一或第二描述符)中以信号传送多个操作点语法元素集合(504)。在图5A的实例中，多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点的相应操作点。对于相应操作点的每一相应层，相应操作点语法元素集合包含识别多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到相应操作点的相应层的PTL信息。相应操作点可具有多个层。第一及/或第二描述符可在传输流中。在其它实例中，第一及/或第二描述符在节目流中或在别处。
图5B为绘示根据本发明的技术的处理视频数据的第四实例操作的流程图。可结合图4B的实例操作执行图5B的操作。
在图5B的实例中，视频处理装置(例如MANE 17、目的地装置14或另一装置)从用于包括一或多个基本流的节目的描述符获得多个PTL语法元素集合(550)。多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素。另外，视频处理装置从用于节目的所述描述符或另一描述符(例如，第一或第二描述符)获得多个操作点语法元素集合(552)。多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点。第一及/或第二描述符可在传输流中。在其它实例中，第一及/或第二描述符在节目流中或在别处。
对于多个操作点语法元素集合中的每一相应操作点语法元素，视频处理装置可基于相应操作点语法元素集合中的相应语法元素针对通过相应操作点语法元素集合指定的相应操作点的每一相应层确定所述PTL语法元素集合中的哪一者指定经指派到相应层的PTL信息(554)。相应操作点可具有多个层。
以下段落列出本发明的实例的选择。
实例1.一种处理视频数据的方法，所述方法包括：在阶层延伸描述符中包含对时间可扩展性的指示。
实例2.如实例1的方法，其中所述指示为指示由基础层的节目元素导致的相关联节目元素从基础层的可能增强的延伸维度位语法元素的部分。
实例3.如实例2的方法，其中延伸维度位语法元素的所有位等于特定值指示时间增强。
实例4.如实例2或3的方法，其中延伸维度位语法元素的经保留位指示时间可扩展性。
实例5.如实例2到4中任一者的方法，其中延伸维度位语法元素包含指示时间可扩展性的额外位。
实例6.一种处理视频数据的方法，所述方法包括：从阶层延伸描述符获得对时间可扩展性的指示。
实例7.如实例6的方法，其中所述指示为指示由基础层的节目元素导致的相关联节目元素从基础层的可能增强的延伸维度位语法元素的部分。
实例8.如实例7的方法，其中延伸维度位语法元素的所有位等于特定值指示时间增强。
实例9.如实例7或8中任一者的方法，其中延伸维度位语法元素的经保留位指示时间可扩展性。
实例10.如实例7到9中任一者的方法，其中延伸维度位语法元素包含指示时间可扩展性的额外位。
实例11.一种处理视频数据的方法，所述方法包括：在用于节目的描述符中以信号传送简档、层次、层级(PTL)信息的集合，其中PTL信息包含简档、层次及层级信息。
实例12.如实例11的方法，其进一步包括：在用于节目的描述符中以信号传送可用于节目的操作点的列表。
实例13.如实例11或12中任一者的方法，其中所述描述符为第一描述符，所述方法进一步包括：在用于节目的第二描述符中以信号传送可用于节目的操作点的列表。
实例14.如实例11到13中任一者的方法，其中作为待解码的层包含于操作点中的一者中的每一层对应于指代PTL信息的一或多个集合中的PTL信息集合的索引。
实例15.如实例11到14中任一者的方法，其中作为输出层包含于操作点中的一者中的每一层对应于指代PTL信息的一或多个集合中的PTL信息集合的索引。
实例16.一种处理视频数据的方法，所述方法包括：从用于节目的描述符获得简档、层次、层级(PTL)信息的集合，其中PTL信息包含简档、层次及层级信息。
实例17.如实例16的方法，其进一步包括：从用于节目的描述符获得可用于节目的操作点的列表。
实例18.如实例16或17中任一者的方法，其中所述描述符为第一描述符，所述方法进一步包括：从用于节目的第二描述符获得可用于节目的操作点的列表。
实例19.如实例16到18中任一者的方法，其中作为待解码的层包含于操作点中的一者中的每一层对应于指代PTL信息的一或多个集合中的PTL信息集合的索引。
实例20.如实例16到19中任一者的方法，其中作为输出层包含于操作点中的一者中的每一层对应于指代PTL信息的一或多个集合中的PTL信息集合的索引。
实例21.一种处理视频数据的方法，所述方法包括：如果存在用于节目的载送操作点信息的描述符，则基于用于相应操作点的信息建立用于在描述符中描述的每一相应操作点的高效率视频译码(HEVC)层列表，所述HEVC层列表含有经包含以用于相应操作点的层；及如果不存在用于节目的载送操作点信息的描述符，则具有流类型0x24、0x27及0x29的每一基本流对应于单一目标操作点。
实例22.如实例21的方法，其中所述描述符在节目映射表中。
实例23.一种用于处理视频数据的装置，所述装置包括：经配置以存储视频数据的存储器及执行实例7到28中任一者的方法的一或多个处理器。
实例24.一种用于处理视频数据的装置，所述装置包括用于执行实例1到22中任一者的方法的装置。
实例26.一种计算机可读数据存储媒体，其上存储有在执行时使得一或多个处理器执行实例1到22中任一者的方法的指令。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合实施。如果以软件实施，则所述功能可作为一或多个指令或程序代码而存储于计算机可读媒体上或在计算机可读媒体上发射，且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于有形媒体(例如数据存储媒体)；或通信媒体，其包含(例如)根据通信协议促进将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器接入以检索用于实施本发明中所描述的技术的指令、程序代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制的方式，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储呈指令或数据结构形式的所要程序代码且可由计算机接入的任何其它媒体。又，任何连接被适当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远端源发射指令，则同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂态媒体，而是实际上有关于非暂态有形存储媒体。如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范围内。
指令可由一或多个处理器(例如一或多个DSP、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路)执行。因此，如本文中所使用的术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可在经配置用于编码及解码的专用硬件及/或软件模块内提供本文中所描述的功能性，或将本文中所描述的功能性并入于组合式编解码器中。此外，在一些方面中，可在经配置以用于处理视频数据的专用硬件及/或软件模块(例如在MANE中的模块)内提供本文中所描述的功能性。又，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在包含无线通信装置(例如，无线手持机)、集成电路(IC)或IC集合(例如，芯片组)的多种多样的装置或设备中予以实施。举例来说，用于处理视频数据的装置可包括：包括经配置以解码经编码视频数据的视频解码器的集成电路、包括经配置以解码经编码视频数据的视频解码器的微处理器、包括经配置以解码经编码视频数据的视频解码器的无线手持机等。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能性方面，但未必要求由不同硬件单元来实现。相反地，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合合适软件及/或固件来提供所述单元。
已描述各种实例。这些及其它实例处于以下权利要求书的范围内。

Claims (31)

1.一种处理视频数据的方法，所述方法包括：
从用于包括一或多个基本流的节目的第一描述符获得多个简档、层次、层级PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；
从用于所述节目的所述第一描述符或第二描述符获得多个操作点语法元素集合，其中所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点；及
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合，基于所述相应操作点语法元素集合中的相应语法元素针对通过所述相应操作点语法元素集合指定的所述相应操作点的每一相应层确定所述PTL语法元素集合中的哪一者指定经指派到所述相应层的所述PTL信息，所述相应操作点具有多个层。
2.根据权利要求1所述的方法，其进一步包括：
对于所述多个PTL语法元素集合中的每一相应PTL语法元素集合：
基于所述相应PTL语法元素集合中的相应简档语法元素确定经译码视频序列所符合的简档；
基于所述相应PTL语法元素集合中的相应层次语法元素确定用于所述相应PTL语法元素集合中的相应层级指示符语法元素的解译的上下文；及
基于所述相应PTL语法元素集合中的所述相应层级指示符语法元素确定所述经译码视频序列所符合的层级。
3.根据权利要求1所述的方法，其进一步包括：
基于用于所述节目的所述第一描述符中的语法元素确定所述多个PTL语法元素集合中的PTL语法元素集合的数目。
4.根据权利要求1所述的方法，其进一步包括：
基于所述第一描述符或所述第二描述符中的语法元素确定所述多个操作点语法元素集合中的操作点语法元素集合的数目。
5.根据权利要求1所述的方法，其中获得所述多个操作点语法元素集合包括：
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合，基于所述第一描述符或所述第二描述符中的语法元素确定通过所述相应操作点语法元素集合指定的所述相应操作点的层的数目。
6.根据权利要求1所述的方法，其进一步包括：
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合：
基于所述相应操作点语法元素集合中的相应第一语法元素确定通过所述相应操作点语法元素集合指定的所述相应操作点的最大时间识别符；
基于所述相应操作点语法元素集合中的相应第二语法元素确定通过所述相应操作点语法元素集合指定的所述相应操作点的平均位速率；
基于所述相应操作点语法元素集合中的相应第三语法元素确定通过所述相应操作点语法元素集合指定的所述相应操作点的最大位速率；及
基于所述相应操作点语法元素集合中的相应第四语法元素确定对应于通过所述相应操作点语法元素集合指定的所述相应操作点的经高效率视频译码HEVC分层的视频流的最大图片速率。
7.一种处理视频数据的方法，所述方法包括：
在用于包括一或多个基本流的节目的第一描述符中以信号传送多个简档、层次、层级PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；及
在用于所述节目的所述第一描述符或第二描述符中以信号传送多个操作点语法元素集合，其中：
所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定所述多个操作点中的相应操作点，及
对于所述相应操作点的每一相应层，所述相应操作点语法元素包含识别所述多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到所述相应操作点的所述相应层的PTL信息，所述相应操作点具有多个层。
8.根据权利要求7所述的方法，其中以信号传送所述多个PTL语法元素集合包括：
对于所述多个PTL语法元素集合中的每一相应PTL语法元素集合：
在所述相应PTL语法元素集合中以信号传送指定经译码视频序列所符合的简档的相应简档语法元素；
在相应PTL语法元素集合中以信号传送相应层次语法元素，所述相应层次语法元素指定用于所述相应PTL语法元素集合中的相应层级指示符语法元素的解译的上下文；及
在所述相应PTL语法元素集合中以信号传送所述相应层级指示符语法元素，所述相应层级指示符语法元素指示经译码视频序列所符合的层级。
9.根据权利要求7所述的方法，其进一步包括：
在用于所述节目的所述第一描述符中以信号传送指示所述多个PTL语法元素集合中的PTL语法元素集合的所述数目的语法元素。
10.根据权利要求7所述的方法，其进一步包括：
在所述第一描述符或所述第二描述符中以信号传送指示所述多个操作点语法元素集合中的操作点语法元素集合的所述数目的语法元素。
11.根据权利要求7所述的方法，其中以信号传送所述多个操作点语法元素集合包括：
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合，以信号传送通过所述相应操作点语法元素集合指定的所述相应操作点的层的所述数目。
12.根据权利要求7所述的方法，其中以信号传送所述多个操作点语法元素集合包括：
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合：
以信号传送指定通过所述相应操作点语法元素集合指定的所述相应操作点的最大时间识别符的相应第一语法元素；
以信号传送指定通过所述相应操作点语法元素集合指定的所述相应操作点的平均位速率的相应第二语法元素；
以信号传送指定通过所述相应操作点语法元素集合指定的所述相应操作点的最大位速率的相应第三语法元素；及
以信号传送指定对应于通过所述相应操作点语法元素集合指定的所述相应操作点的经高效率视频译码HEVC分层的视频流的最大图片速率的相应第四语法元素。
13.一种用于处理视频数据的装置，所述装置包括：
数据存储媒体，其经配置以存储经编码视频数据，及
一或多个处理器，其经配置以：
从用于包括一或多个基本流的节目的第一描述符获得多个简档、层次、层级PTL语法元素集合，所述一或多个基本流包括所述经编码视频数据，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；
从用于所述节目的所述第一描述符或第二描述符获得多个操作点语法元素集合，其中所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点；及
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合，基于所述相应操作点语法元素集合中的相应语法元素针对通过所述相应操作点语法元素集合指定的所述相应操作点的每一相应层确定所述PTL语法元素集合中的哪一者指定经指派到所述相应层的所述PTL信息，所述相应操作点具有多个层。
14.根据权利要求13所述的装置，其中所述一或多个处理器经配置以：
对于所述多个PTL语法元素集合中的每一相应PTL语法元素集合：
基于所述相应PTL语法元素集合中的相应简档语法元素确定经译码视频序列所符合的简档；
基于所述相应PTL语法元素集合中的相应层次语法元素确定用于所述相应PTL语法元素集合中的相应层级指示符语法元素的解译的上下文；及
基于所述相应PTL语法元素集合中的所述相应层级指示符语法元素确定所述经译码视频序列所符合的层级。
15.根据权利要求13所述的装置，其中所述一或多个处理器经配置以：
基于用于所述节目的所述第一描述符中的语法元素确定所述多个PTL语法元素集合中的PTL语法元素集合的数目。
16.根据权利要求13所述的装置，其中所述一或多个处理器经配置以：
基于所述第一描述符或所述第二描述符中的语法元素确定所述多个操作点语法元素集合中的操作点语法元素集合的数目。
17.根据权利要求13所述的装置，其中所述一或多个处理器经配置以使得作为以信号传送所述多个操作点语法元素集合的部分，所述一或多个处理器：
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合，以信号传送通过所述相应操作点语法元素集合指定的所述相应操作点的层的数目。
18.根据权利要求13所述的装置，其中所述一或多个处理器经配置以：
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合：
基于所述相应操作点语法元素集合中的相应第一语法元素确定通过所述相应操作点语法元素集合指定的所述相应操作点的最大时间识别符；
基于所述相应操作点语法元素集合中的相应第二语法元素确定通过所述相应操作点语法元素集合指定的所述相应操作点的平均位速率；
基于所述相应操作点语法元素集合中的相应第三语法元素确定通过所述相应操作点语法元素集合指定的所述相应操作点的最大位速率；及
基于所述相应操作点语法元素集合中的相应第四语法元素确定对应于通过所述相应操作点语法元素集合指定的所述相应操作点的经高效率视频译码HEVC分层的视频流的最大图片速率。
19.根据权利要求13所述的装置，其中所述装置包括以下各者中的至少一者：
集成电路，其包括经配置以解码所述经编码视频数据的视频解码器；
微处理器，其包括经配置以解码所述经编码视频数据的视频解码器；或
无线手持机，其包括经配置以解码使用所述经编码视频数据的图片的视频解码器及经配置以显示所述经解码图片的显示器。
20.根据权利要求13所述的装置，其中所述一或多个处理器经配置以解码所述经编码视频数据，所述装置进一步包括经配置以显示所述经解码视频数据的显示器。
21.一种用于处理视频数据的装置，所述装置包括：
数据存储媒体，其经配置以存储经编码视频数据，及
一或多个处理器，其经配置以：
在用于包括一或多个基本流的节目的第一描述符中以信号传送多个简档、层次、层级PTL语法元素集合，所述一或多个基本流包括所述经编码视频数据，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；及
在用于所述节目的所述第一描述符或第二描述符中以信号传送多个操作点语法元素集合，其中：
所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定所述多个操作点中的相应操作点，及
对于所述相应操作点的每一相应层，所述相应操作点语法元素包含识别所述多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到所述相应操作点的所述相应层的PTL信息，所述相应操作点具有多个层。
22.根据权利要求21所述的装置，其中所述一或多个处理器经配置以使得作为以信号传送所述多个PTL语法元素集合的部分，所述一或多个处理器：
对于所述多个PTL语法元素集合中的每一相应PTL语法元素集合：
在所述相应PTL语法元素集合中以信号传送指定经译码视频序列所符合的简档的相应简档语法元素；
在相应PTL语法元素集合中以信号传送相应层次语法元素，所述相应层次语法元素指定用于所述相应PTL语法元素集合中的应层级指示符语法元素的解译的上下文；及
在所述相应PTL语法元素集合中以信号传送所述相应层级指示符语法元素，所述相应层级指示符语法元素指示经译码视频序列所符合的层级。
23.根据权利要求21所述的装置，其中所述一或多个处理器经配置以：
在用于所述节目的所述第一描述符中以信号传送指示所述多个PTL语法元素集合中的PTL语法元素集合的数目的语法元素。
24.根据权利要求21所述的装置，其中所述一或多个处理器经配置以：
在所述第一描述符或所述第二描述符中以信号传送指示所述多个操作点语法元素集合中的操作点语法元素集合的数目的语法元素。
25.根据权利要求21所述的装置，其中所述一或多个处理器经配置以使得作为以信号传送所述多个操作点语法元素集合的部分，所述一或多个处理器：
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合，以信号传送通过所述相应操作点语法元素集合指定的所述相应操作点的层的数目。
26.根据权利要求21所述的装置，其中所述一或多个处理器经配置以使得作为以信号传送所述多个操作点语法元素集合的部分，所述一或多个处理器：
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合：
以信号传送指定通过所述相应操作点语法元素集合指定的所述相应操作点的最大时间识别符的相应第一语法元素；
以信号传送指定通过所述相应操作点语法元素集合指定的所述相应操作点的平均位速率的相应第二语法元素；
以信号传送指定通过所述相应操作点语法元素集合指定的所述相应操作点的最大位速率的相应第三语法元素；及
以信号传送指定对应于通过所述相应操作点语法元素集合指定的所述相应操作点的经高效率视频译码HEVC分层的视频流的最大图片速率的相应第四语法元素。
27.根据权利要求21所述的装置，其中所述装置包括以下各者中的至少一者：
集成电路；
微处理器；或
无线手持机。
28.一种用于处理视频数据的装置，所述装置包括：
用于从用于包括一或多个基本流的节目的第一描述符获得多个简档、层次、层级PTL语法元素集合的装置，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；
用于从用于所述节目的所述第一描述符或第二描述符获得多个操作点语法元素集合的装置，其中所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点；及
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合，用于基于所述相应操作点语法元素集合中的相应语法元素针对通过所述相应操作点语法元素集合指定的所述相应操作点的每一相应层确定所述PTL语法元素集合中的哪一者指定经指派到所述相应层的所述PTL信息，所述相应操作点具有多个层。
29.一种用于处理视频数据的装置，所述装置包括：
用于在用于包括一或多个基本流的节目的第一描述符中以信号传送多个简档、层次、层级PTL语法元素集合的装置，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；及
用于在用于所述节目的所述第一描述符或第二描述符中以信号传送多个操作点语法元素集合的装置，其中：
所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定所述多个操作点中的相应操作点，及
对于所述相应操作点的每一相应层，所述相应操作点语法元素包含识别所述多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到所述相应操作点的所述相应层的PTL信息，所述相应操作点具有多个层。
30.一种计算机可读数据存储媒体，其上存储有在执行时使得视频处理装置的一或多个处理器执行以下操作的指令：
从用于包括一或多个基本流的节目的第一描述符获得多个简档、层次、层级PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；
从用于所述节目的所述第一描述符或第二描述符获得多个操作点语法元素集合，其中所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定多个操作点中的相应操作点；及
对于所述多个操作点语法元素集合中的每一相应操作点语法元素集合，基于所述相应操作点语法元素集合中的相应语法元素针对通过所述相应操作点语法元素集合指定的所述相应操作点的每一相应层确定所述PTL语法元素集合中的哪一者指定经指派到所述相应层的所述PTL信息，所述相应操作点具有多个层。
31.一种计算机可读数据存储媒体，其上存储有在执行时使得视频处理装置的一或多个处理器执行以下操作的指令：
在用于包括一或多个基本流的节目的第一描述符中以信号传送多个简档、层次、层级PTL语法元素集合，所述多个PTL语法元素集合中的每一相应PTL语法元素集合包括指定相应PTL信息的语法元素，所述第一描述符在传输流中；及
在用于所述节目的所述第一描述符或第二描述符中以信号传送多个操作点语法元素集合，其中：
所述多个操作点语法元素集合中的每一相应操作点语法元素集合指定所述多个操作点中的相应操作点，及
对于所述相应操作点的每一相应层，所述相应操作点语法元素包含识别所述多个PTL语法元素集合中的相应PTL语法元素集合的相应语法元素，所述相应PTL语法元素集合指定经指派到所述相应操作点的所述相应层的PTL信息，所述相应操作点具有多个层。
CN201580038256.4A 2014-07-16 2015-07-16 用于载送多层视频的传输流的方法、装置及存储媒体 Active CN106664447B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462025432P 2014-07-16 2014-07-16
US62/025,432 2014-07-16
US14/800,480 2015-07-15
US14/800,480 US9998765B2 (en) 2014-07-16 2015-07-15 Transport stream for carriage of video coding extensions
PCT/US2015/040717 WO2016011234A1 (en) 2014-07-16 2015-07-16 Transport stream for carriage of video coding extensions

Publications (2)

Publication Number Publication Date
CN106664447A true CN106664447A (zh) 2017-05-10
CN106664447B CN106664447B (zh) 2019-06-11

Family

ID=55075696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580038256.4A Active CN106664447B (zh) 2014-07-16 2015-07-16 用于载送多层视频的传输流的方法、装置及存储媒体

Country Status (10)

Country Link
US (2) US9998765B2 (zh)
EP (1) EP3170309B1 (zh)
JP (1) JP6452798B2 (zh)
KR (1) KR101968425B1 (zh)
CN (1) CN106664447B (zh)
AU (1) AU2015289591A1 (zh)
BR (1) BR112017000251A2 (zh)
ES (1) ES2874073T3 (zh)
TW (2) TWI643491B (zh)
WO (2) WO2016011234A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021233448A1 (en) * 2020-05-22 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Signalling of general level index
US11838554B2 (en) 2020-02-29 2023-12-05 Beijing Bytedance Network Technology Co., Ltd. Constrains for diferent coding tools
US11968402B2 (en) 2022-08-29 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Constrains for high level syntax elements

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9998765B2 (en) 2014-07-16 2018-06-12 Qualcomm Incorporated Transport stream for carriage of video coding extensions
US10306269B2 (en) 2014-10-10 2019-05-28 Qualcomm Incorporated Operation point for carriage of layered HEVC bitstream
US10419768B2 (en) * 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
WO2020166643A1 (ja) 2019-02-15 2020-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2255923C (en) 1997-04-01 2005-06-07 Sony Corporation Picture coding device, picture coding method, picture decoding device, picture decoding method, and providing medium
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
US20120230432A1 (en) * 2011-03-10 2012-09-13 Jill Boyce Signaling number of active layers in video coding
CN104205813B (zh) 2012-04-06 2018-05-08 维德约股份有限公司 分层视频编码的等级信令
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
RU2015115467A (ru) 2012-09-28 2016-11-20 Шарп Кабусики Кайся Устройство декодирования изображений
US9432664B2 (en) * 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
EP2919471A4 (en) 2012-11-12 2016-07-13 Lg Electronics Inc SIGNAL TRANSMITTING APPARATUS AND SIGNAL TRANSMITTING-RECEIVING METHOD
RU2663341C2 (ru) * 2012-11-30 2018-08-03 Сони Корпорейшн Устройство обработки изображений и способ
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
WO2014168893A1 (en) * 2013-04-08 2014-10-16 General Instrument Corporation Signaling for addition or removal of layers in video coding
US10567804B2 (en) 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
US9998765B2 (en) 2014-07-16 2018-06-12 Qualcomm Incorporated Transport stream for carriage of video coding extensions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MADEC GERARD: "Comments on Text of ISO/IEC 13818-1：2013/PDAM 7 - Carriage of Layered HEVC（no. m34380）", 《第109次MPEG会议（MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11）》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11838554B2 (en) 2020-02-29 2023-12-05 Beijing Bytedance Network Technology Co., Ltd. Constrains for diferent coding tools
US11889119B2 (en) 2020-02-29 2024-01-30 Beijing Bytedance Network Technology Co., Ltd. Constrains for syntax elements of adaptation parameter set
WO2021233448A1 (en) * 2020-05-22 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Signalling of general level index
US11956474B2 (en) 2020-05-22 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Signalling of general constrains flag
US11968402B2 (en) 2022-08-29 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Constrains for high level syntax elements

Also Published As

Publication number Publication date
TWI679880B (zh) 2019-12-11
TW201615016A (en) 2016-04-16
KR20170032311A (ko) 2017-03-22
US20160021398A1 (en) 2016-01-21
TWI643491B (zh) 2018-12-01
WO2016011234A1 (en) 2016-01-21
JP6452798B2 (ja) 2019-01-16
WO2016011237A1 (en) 2016-01-21
US9998765B2 (en) 2018-06-12
CN106664447B (zh) 2019-06-11
ES2874073T3 (es) 2021-11-04
AU2015289591A1 (en) 2017-01-12
EP3170309A1 (en) 2017-05-24
TW201615018A (en) 2016-04-16
JP2017525276A (ja) 2017-08-31
BR112017000251A2 (pt) 2017-11-14
EP3170309B1 (en) 2021-03-10
KR101968425B1 (ko) 2019-04-11
US20160021375A1 (en) 2016-01-21

Similar Documents

Publication Publication Date Title
CN104919802B (zh) 在视频译码中的非嵌套式补充增强信息消息
CN104685892B (zh) 一种处理视频数据的方法、装置及可读存储媒体
CN105612752B (zh) 对用于多层视频编解码器的多模提取的支持
CN106464936B (zh) 通过基于含一或多个层的分区确定解码器的处理核心对多层视频数据进行解码的方法和装置
CN104054347B (zh) 在视频译码中波前平行处理的使用的指示
CN104471943B (zh) 视频译码中的参数集
CN108141617B (zh) 用于处理及产生文件的方法和设备以及计算机可读存储媒体
CN104704830B (zh) 用于视频数据的文件格式
CN106537916B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN106464922B (zh) 处理视频数据的方法和设备及计算机可读介质
CN105794212B (zh) 一种处理多层视频数据的方法及装置
CN106105228B (zh) 一种处理视频数据的方法、装置及计算机可读介质
CN104685888B (zh) 补充增强信息消息译码
CN106664447B (zh) 用于载送多层视频的传输流的方法、装置及存储媒体
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN107079176A (zh) 用于hevc延伸承载的数据流的hrd描述符及缓冲器模型的设计
CN106464919A (zh) 视频译码中用于第0个输出层集合的简档、层次、层级
CN105379278B (zh) 用于视频信息的可缩放译码的装置和方法
CN108141616A (zh) 多层位流的文件中的参数集信令
CN106416255A (zh) 多层编解码器中的表示格式更新
CN106105207A (zh) 用于视频译码的具有行程长度码的调色板预测器信令
CN108353191A (zh) 在多层视频文件中支持随机存取及层与子层的切换
CN104137551B (zh) 用于三维视频译码的网络抽象层单元标头设计
CN106464924A (zh) 多层视频译码
CN105493506B (zh) 在参数集中用信号通知视图id位深度

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant