CN107079176B - 用于hevc延伸承载的数据流的hrd描述符及缓冲器模型的设计 - Google Patents

用于hevc延伸承载的数据流的hrd描述符及缓冲器模型的设计 Download PDF

Info

Publication number
CN107079176B
CN107079176B CN201580056182.7A CN201580056182A CN107079176B CN 107079176 B CN107079176 B CN 107079176B CN 201580056182 A CN201580056182 A CN 201580056182A CN 107079176 B CN107079176 B CN 107079176B
Authority
CN
China
Prior art keywords
hrd
parameter
stream
index
syntax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580056182.7A
Other languages
English (en)
Other versions
CN107079176A (zh
Inventor
伏努·亨利
王业奎
阿达许·克里许纳·瑞玛苏布雷蒙尼安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107079176A publication Critical patent/CN107079176A/zh
Application granted granted Critical
Publication of CN107079176B publication Critical patent/CN107079176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronizing For Television (AREA)

Abstract

一种视频处理装置获得包括多个基本流及高效率视频译码HEVC时序及假想参考解码器HRD描述符的数据流。所述HEVC时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素。所述视频处理装置可基于参数的集合识别视频参数集合VPS中的语法元素的阵列中的语法元素。参数的所述集合可包括具有值等于所述目标进度索引语法元素的值的参数。所述视频处理装置可基于通过所述经识别语法元素指定的索引将多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于特定基本流。

Description

用于HEVC延伸承载的数据流的HRD描述符及缓冲器模型的 设计
本申请案请求2014年10月15日申请的美国临时申请案第62/064,414号的权益，其全部内容以引用的方式并入。
技术领域
本发明涉及视频编码及解码。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式发射装置及其类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))定义的标准、高效率视频译码(HEVC)标准及这些标准的延伸中所描述的技术。视频装置可通过实施这些视频压缩技术更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码(I)切片中的视频块。图片的帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧。
空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量来编码帧间编码块，且残余数据指示经译码块与预测性块之间的差异。根据帧内译码模式及残余数据来编码帧内译码块。为了进一步压缩，可将残余数据从像素域变换至变换域，从而产生残余系数，接着可量化残余系数。
发明内容
通常，本发明涉及用于HEVC延伸的承载的用于传信假想参考解码器(HRD)相关信息的描述符的设计及MPEG-2传送流(TS)的缓冲器模型的设计。如本文所描述，视频处理装置可确定适用于运动图片专家组(MPEG)-2数据流中的基本流的HRD参数的集合。
在一方面中，本发明描述处理视频数据的方法，所述方法包括：获得包括多个基本流及高效率视频译码(HEVC)时序及假想参考解码器(HRD)描述符的数据流，其中HEVC时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素；基于参数的集合识别视频参数集合(VPS)中的语法元素的阵列中的语法元素，其中：VPS包括多个HRD参数语法结构，其中多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，语法元素阵列中的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引，及参数的集合包括具有值等于目标进度索引语法元素的值的参数；及基于通过经识别语法元素指定的索引将多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流，多个基本流包含特定基本流。
在另一方面中，本发明描述处理视频数据的方法，所述方法包括：产生包含语法元素阵列及多个假想参考解码器(HRD)参数语法结构的视频参数集合(VPS)，其中：多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，且语法元素的阵列中的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引；产生包括指示递送进度的索引的目标进度索引语法元素的高效率视频译码(HEVC)时序及HRD描述符；及产生包括多个基本流及高效率视频译码(HEVC)时序及HRD描述符的数据流，其中参数的集合识别指定适用于特定基本流的特定HRD参数语法结构的索引的语法元素的阵列中的语法元素，特定HRD参数语法结构为多个HRD参数语法结构中的一者，特定HRD参数语法结构为操作点的一部分，参数的集合包括具有值等于目标进度索引语法元素的值的参数。
在另一方面中，本发明描述用于处理视频数据的装置，所述装置包括：经配置以存储视频数据的存储器；及经配置以执行以下各者的一或多个处理器：获得包括多个基本流及高效率视频译码(HEVC)时序及假想参考解码器(HRD)描述符的数据流，其中HEVC时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素，基本流包括视频数据的经编码表示；基于参数的集合识别视频参数集合(VPS)中的语法元素的阵列中的语法元素，其中：VPS包括多个HRD参数语法结构，其中多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，语法元素的阵列中的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引，且参数的集合包括具有值等于目标进度索引语法元素的值的参数；及基于通过经识别语法元素指定的索引将多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于操作点的一部分的特定基本流，多个基本流包含特定基本流。
在另一方面中，本发明描述用于处理视频数据的装置，所述装置包括：经配置以存储视频数据的存储器；及经配置以执行以下各者的一或多个处理器：产生包含语法元素的阵列及多个假想参考解码器(HRD)参数语法结构的视频参数集合(VPS)，其中：多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，且语法元素的阵列中的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引；产生包括指示递送进度的索引的目标进度索引语法元素的高效率视频译码(HEVC)时序及HRD描述符；及产生包括多个基本流及高效率视频译码(HEVC)时序及HRD描述符的数据流，多个基本流包括视频数据的经编码表示，其中参数的集合识别指定适用于特定基本流的特定HRD参数语法结构的索引的语法元素的阵列中的语法元素，特定HRD参数语法结构为多个HRD参数语法结构中的一者，特定HRD参数语法结构为操作点的一部分，参数的集合包括具有值等于目标进度索引语法元素的值的参数。
在另一方面中，本发明描述用于处理视频数据的装置，所述装置包括：用于获得包括多个基本流及高效率视频译码(HEVC)时序及假想参考解码器(HRD)描述符的数据流的装置，其中HEVC时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素；用于基于参数的集合识别视频参数集合(VPS)中的语法元素阵列中的语法元素的装置，其中：VPS包括多个HRD参数语法结构，其中多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，语法元素的阵列中的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引，且参数的集合包括具有值等于目标进度索引语法元素的值的参数；及用于基于通过经识别语法元素指定的索引将多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流的装置，多个基本流包含特定基本流。
在另一方面中，本发明描述用于处理视频数据的装置，所述装置包括：用于产生包含语法元素阵列及多个假想参考解码器(HRD)参数语法结构的视频参数集合(VPS)的装置，其中：多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，且语法元素的阵列中的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引；用于产生包括指示递送进度的索引的目标进度索引语法元素的高效率视频译码(HEVC)时序及HRD描述符的装置；及用于产生包括多个基本流及高效率视频译码(HEVC)时序及HRD描述符的数据流的装置，其中参数的集合识别指定适用于特定基本流的特定HRD参数语法结构的索引的语法元素的阵列中的语法元素，特定HRD参数语法结构为多个HRD参数语法结构中的一者，特定HRD参数语法结构为操作点的一部分，参数的集合包括具有值等于目标进度索引语法元素的值的参数。
在另一方面中，本发明描述一种计算机可读存储媒体，其上存储有当执行时使得装置的一或多个处理器执行以下操作的指令：获得包括多个基本流及高效率视频译码(HEVC)时序及假想参考解码器(HRD)描述符的数据流，其中HEVC时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素；基于参数的集合识别视频参数集合(VPS)中的语法元素阵列中的语法元素，其中：VPS包括多个HRD参数语法结构，其中多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，语法元素的阵列中的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引，且参数的集合包括具有值等于目标进度索引语法元素的值的参数；及基于通过经识别语法元素指定的索引将多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流，多个基本流包含特定基本流。
在另一方面中，本发明描述一种计算机可读存储媒体，其上存储有当执行时使得装置的一或多个处理器执行以下操作的指令：产生包含语法元素阵列及多个假想参考解码器(HRD)参数语法结构的视频参数集合(VPS)，其中：多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，且语法元素的阵列中的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引；产生包括指示递送进度的索引的目标进度索引语法元素的高效率视频译码(HEVC)时序及HRD描述符；及产生包括多个基本流及高效率视频译码(HEVC)时序及HRD描述符的数据流，其中参数的集合识别指定适用于特定基本流的特定HRD参数语法结构的索引的语法元素阵列中的语法元素，特定HRD参数语法结构为多个HRD参数语法结构中的一者，特定HRD参数语法结构为操作点的一部分，参数的集合包括具有值等于目标进度索引语法元素的值的参数。
在随图及以下描述中阐明本发明的一或多个实例的细节。其它特征、目标及优势将从描述、图式及权利要求书显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。
图2为说明用于位流分割特定的经译码图片缓冲器(CPB)操作的发射系统目标解码器(T-STD)模型延伸的概念图。
图3为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图4为说明可实施本发明中所描述的技术的实例视频解码器的框图。
图5为说明根据本发明的技术的视频编码器的实例操作的流程图。
图6为说明根据本发明的技术的视频解码器的实例操作的流程图。
图7为说明根据本发明的技术的确定参数的值的视频译码器的实例操作的流程图。
具体实施方式
特定视频译码标准指定缓冲模型，所述缓冲模型可被称作假想参考解码器(HRD)。HRD描述数据经缓冲以用于解码的方式及经解码数据经缓冲以用于输出的方式。举例来说，HRD描述经译码图片缓冲器(“CPB”)、经解码图片缓冲器(“DPB”)及视频解码程序的操作。CPB为含有通过HRD指定的解码次序中的存取单元的先进先出缓冲器。DPB为保持(例如，存储)经解码图片以用于通过HRD指定的参考、输出重排序或输出延迟的缓冲器。可以数学方式指定CPB及DPB的特性。HRD可直接对时序、缓冲器大小及位率施加约束。此外，HRD可间接对各种位流特性及统计施加约束。尽管HRD被称为某种类型的解码器，但视频编码器通常使用HRD来保证位流符合性，而视频解码器通常并不需要HRD。换句话说，HRD通常用于测试位流。在高效率视频译码(HEVC)中，视频参数集合(VPS)含有HRD参数语法结构的集合。HRD参数语法结构中的每一者含有用于控制HRD的操作的HRD参数。
可扩展HEVC(SHVC)及多视图HEVC(MV-HEVC)为用于可扩展视频译码及多视图视频译码的HEVC的延伸。在SHVC及MV-HEVC中，位流可包括多个层。因此，SHVC及MV-HEVC可被共同地称为“层化HEVC”或“L-HEVC”。在SHVC中，存在基层及一或多个增强层。增强层可增加在位流中经编码的视频数据的视觉质量和/或帧速率。在MV-HEVC中，每一层可对应于不同视图。每一层可与不同层识别符(例如，nuh_layer_id)相关联。在SHVC及MV-HEVC中，可根据分割方案将位流的层分成“分割区”。因此，每一分割区可包括位流的一或多个层。此外，在SHVC及MV-HEVC中，每一分割区可指代VPS中的HRD参数语法结构中的一者。因此，当使用HRD测试分割区时，用于分割区的HRD参数语法结构含有的HRD参数可控制HRD的操作。
此外，可在不参考相同层内的其它图片的情况下解码层内的一些图片。因此，可从位流移除封装层的某些图片的数据的网络抽象层(NAL)单元，而不影响层中其它图片的可解码性。移除封装这些图片的数据的NAL单元可能会降低位流的帧速率。可在本文中将可在不参考层内其它图片的情况下解码的层内的图片子集称作“子层”或“时间子层”。NAL单元可包含temporal_id语法元素。NAL单元的temporal_id语法元素指定NAL单元的时间识别符。NAL单元的时间识别符识别与NAL单元相关联的子层。因此，位流的每一子层可与不同时间识别符相关联。如果第一NAL单元的时间识别符小于第二NAL单元的时间识别符，则可在不参考由第二NAL单元封装的数据的情况下解码由第一NAL单元封装的数据。
术语“HEVC子分割区”指代HEVC基本子分割区或HEVC增强子分割区。术语“HEVC基本子分割区”为符合HEVC标准且含有一或多个层的所有视频编码层(VCL)NAL单元的HEVC视频子位流，所述一或多个层达到通过目标层识别符列表包含等于0的nuh_layer_id值的目标HEVC操作点识别的目标最高TemporalId。子位流(例如，HEVC视频子位流)为产生自不属于目标集合、通过目标最高TemporalId及目标层识别符列表确定的位流中的NAL单元经自位流移除的程序(例如，子位流提取程序)的位流，其中输出子位流由属于目标集合的位流中的NAL单元组成。术语“HEVC增强子分割区”指代一或多个HEVC层，或HEVC时间视频子位流或其HEVC时间视频子集，HEVC基本子分割区及零或多个其它HEVC子分割区的HEVC层聚合根据包含于此视频子位流中的最高层及最高TemporalId的操作点的层列表产生有效的HEVC层化视频流。
MPEG-2系统规范描述经压缩多媒体(视频及音频)数据流可与其它数据一起经多路复用以形成适合于数字发射或存储的单一数据流的方式。MPEG-2系统规范定义基本流的概念。具体地，基本流为程序的单个以数字方式译码(可能经MPEG压缩)的分量。举例来说，程序的经编码视频或音频部分可为基本流。此外，在用于HEVC延伸(例如，L-HEVC)的承载的MPEG-2系统规范的延伸中，每一相应HEVC子分割区对应于MPEG-2数据流中的相应基本流。L-HEVC视频数据的非视频译码层(VCL)网络抽象层(NAL)单元(例如含有VPS的NAL单元)可对应于MPEG-2数据流中的一或多个基本流。
MPEG-2数据流也可包含传达关于程序或程序的分量基本流的信息的描述符的集合。举例来说，MPEG-2数据流可包含对应于HEVC子分割区的每一相应基本流，MPEG-2数据流可包括用于HEVC子分割区的阶层描述符。用于HEVC子分割区的阶层描述符可包含定义译码层阶层的表中的HEVC子分割区的唯一索引的阶层分层索引。另外，描述符的集合可包含HEVC时序及HRD描述符。HEVC时序及HRD描述符可提供可适用的时序及HRD参数。
然而，在用于HEVC延伸的承载的HEVC标准或MPEG-2系统规范中不清楚的是哪一HRD参数语法结构适用于哪一HEVC子分割区。换句话说，并未指定当使用HRD测试HEVC子分割区时确定使用哪一HRD参数语法结构的方式。确定哪一HRD参数语法结构适用于子分割区可有用的，因为当存在HRD信息时，在HEVC位流中可存在一或多个HRD集合。此外，可能需要确定哪一HRD参数语法结构适用于子分割区，因为HRD集合中的每一者可含有MPEG-2缓冲器模型所需的信息。
本发明描述用于确定可适用于HEVC子分割区的HRD参数语法结构的技术。举例来说，如本文所描述，视频解码器可接收包括多个基本流及HEVC时序及HRD描述符的MPEG-2数据流。基本流可包括视频数据的经编码表示。在此实例中，HEVC时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素。此外，视频解码器可基于参数的集合识别VPS中的语法元素阵列中的语法元素。在此实例中，VPS包括多个HRD参数语法结构。多个HRD参数语法结构中的每一相应HRD参数语法结构包含HRD参数的相应集合。此外，在此实例中，语法元素阵列中的每一相应语法元素指定与多个HRD参数语法结构当中的HRD参数语法结构相关联的索引。参数的集合可包含具有值等于目标进度索引语法元素的值的参数。
此外，在一些实例中，参数的集合可包含第一、第二、第三、第四及第五参数。第一参数指定操作点的目标输出层集合索引。第二参数指定操作点的目标分割方案索引。第三参数指定操作点的最高时间识别符。视频解码器可基于通过经识别语法元素指定的索引将多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流，多个基本流包含特定基本流。
图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所使用，术语“视频译码器”通常指代视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”通常可指代视频编码或视频解码。
如图1中所展示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12所产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。本发明可使用术语“视频处理装置”来指代处理视频数据的装置。源装置12及目的地装置14为视频处理装置的实例。其它类型的视频处理装置包含多路复用及多路分用媒体数据(例如MPEG-2数据流)的装置。
源装置12及目的地装置14可包括各种各样的装置，包含桌上型计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、电话手机(例如所谓的“智能”电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或类似物。
目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据自源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制经编码视频数据，且可将经调制的视频数据发射到目的地装置14。一或多个通信媒体可包含无线和/或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。一或多个通信媒体可形成分组式网络(例如，局域网、广域网或全球网(例如，因特网))的部分。一或多个通信媒体可包含促进从源装置12到目的地装置14的通信的路由器、交换器、基站或其它设备。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可(例如)经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如，蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它合适的数字存储媒体。
在又一实例中，信道16可包含存储由源装置12产生的经编码视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流式发射或下载来存取存储于文件服务器或另一中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据及将经编码视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。
目的地装置14可经由标准数据连接(例如，因特网连接)来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从文件服务器的发射可为流式发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用的视频译码，所述应用例如是空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)、用于存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式发射、视频播放、视频广播和/或视频电话的应用。
说明于图1中的视频译码系统10仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，数据从本地存储器检索、经由网络流式发射，或类似者。视频编码装置可编码数据且将数据存储至存储器，和/或视频解码装置可从存储器检索并解码数据。在许多实例中，由彼此不通信但简单地将数据编码到存储器和/或从存储器检索并解码数据的装置来执行编码及解码。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。视频源18可包含例如摄影机的视频捕获装置、含有先前所捕获的视频数据的视频存档、从视频内容提供者接收视频数据的视频馈入接口和/或用于产生视频数据的计算机图形系统，或视频数据的这些来源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22直接将经编码的视频数据发射到目的地装置14。在其它实例中，经编码视频数据也可存储至存储媒体上或文件服务器上，以在稍后供目的地装置14存取以用于解码和/或播放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可经由信道16接收经编码视频数据。显示装置32可与目的地装置14集成或在目的地装置14外部。通常，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如，液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各自可实施为多种合适电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果所述技术在软件中经部分地实施，则装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处理器执行指令以执行本发明的技术。可将上述各者(包含硬件、软件、硬件与软件的组合等)中的任一者视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
本发明通常可指代视频编码器20“用信号表示”或“发射”某些信息至另一装置，例如，视频解码器30。术语“用信号表示”或“发射”通常可指代用于解码经压缩视频数据的语法元素和/或其它数据的通信。此通信可实时地或近乎实时地发生。替代地，可历时一时间跨度而发生此通信，例如此通信可在编码时将经编码位流中的语法元素存储到计算机可读存储媒体时发现，所述语法元素随后可在存储至此媒体之后的任何时间由解码装置进行检索。
描述于本发明中的技术可以各种视频译码标准使用，包含不与特定视频译码标准相关的视频译码技术。视频译码标准的实例包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-TH.264(也称为ISO/IEC MPEG-4 AVC)，包含其可扩展视频译码(SVC)及多视图视频译码(MVC)延伸。在一些实例中，视频编码器20及视频解码器30可根据视频压缩标准(例如上文提及的HEVC标准)来操作。除基本HEVC标准的外，存在持续努力以产生用于HEVC的可扩展视频译码、多视图视频译码及3D译码延伸。近来，称为高效率视频译码(HEVC)的新视频译码标准的设计、称为MV-HEVC的至HEVC的多视图延伸及称为SHVC的至HEVC的可扩展延伸已经通过ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的针对视频译码的联合合作小组(JCT-VC)定案。HEVC标准也可被称作Rec.ITU-T H.265|ISO/IEC 23008-2。
ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11(日本札幌的第18次会议，2014年6月30日至2014年7月9)的JCT-VC(JCTVC-R1013_v6)的题为“草案高效率视频译码(HEVC)版本2、组合的格式范围延伸(RExt)、可扩展性(SHVC)，及多视图(MV-HEVC)延伸”的HEVC草案规范(下文中称为“JCTVC-R1013”或“Rec.ITU-T H.265|ISO/IEC 23008-2”)自http://phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1013-v6.zip获得。MV-HEVC并入为Rec.ITU-T H.265|ISO/IEC 23008-2的附录G。SHVC并入为Rec.ITU-T H.265|ISO/IEC 23008-2的附录H。
联合合作小组针对ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11(日本札幌的第9次会议，2014年7月3日至9日)的3D视频译码延伸(JCT3V-I1002-v7)的题为“MV-HEVC草案文字9”的MV-HEVC草案规范(可被称为“MV-HEVC草案文字9”)自http://phenix.int-evry.fr/jct3v/doc_end_user/documents/9_Sapporo/wg11/JCT3V-I1002-v7.zip获得。
ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11(日本札幌的第18次会议，2014年6月30日至2014年7月9日)的JCT-VC(JCTVC-R1008v7)的题为“高效率视频译码(HEVC)可扩展延伸草案7”的SHVC草案规范(可被称作“SHVC草案文字7”)自http://phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1008-v7.zip获得。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含一或多个样本阵列。举例来说，图片可包含三个样本阵列，标示为SL、SCb及SCr。SL为亮度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。色度样本在本文中也可被称作“色度”样本。在其它情况下，图片可为单色的且可仅包含亮度样本阵列。
为产生图片的经编码表示，视频编码器20可产生译码树单元(CTU)的集合。CTU中的每一者可为亮度样本的译码树块、色度样本的两个对应译码树块及用于对译码树块的样本进行译码的语法结构。译码树块可为样本的N×N块。CTU也可被称作“树块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于诸如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含按扫描次序(咯如，光栅扫描次序)连续排序的整数数目个CTU。
为产生经译码CTU，视频编码器20可对CTU的译码树块递回地执行四分树分割，以将译码树块划分成译码块，因此命名为“译码树单元”。译码块为样本的N×N块。CU可为图片的亮度样本的译码块及色度样本的两个对应译码块，所述图片具有亮度样本阵列、Cb样本阵列及Cr样本阵列，及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块及用于对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的亮度样本的预测块、色度样本的两个对应预测块及用于对预测块样本进行预测的语法结构。视频编码器20可针对CU的每一PU的亮度、Cb及Cr预测块产生预测性亮度、Cb及Cr块。在单色图片或包括单独色彩平面的图片中，PU可包括单一预测块及用于对预测块进行预测的语法结构。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，则视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。
如果视频编码器20使用帧间预测来产生PU的预测性块，则视频编码器20可基于除与PU相关联的图片以外的一或多个图片的经解码样本产生PU的预测性块。视频编码器20可使用单向预测或双向预测来产生PU的预测性块。当视频编码器20使用单向预测来产生PU的预测性块时，PU可具有单个运动向量(MV)。当视频编码器20使用双向预测来产生PU的预测性块时，PU可具有两个MV。
在视频编码器20产生CU的一或多个PU的预测性块(例如，预测性亮度、Cb及Cr块)之后，视频编码器20可产生CU的残余块。CU的残余块中的每一样本指示CU的PU的预测性块中的样本与CU的译码块中的对应样本之间的差异。举例来说，视频编码器20可产生CU的亮度残余块。CU的亮度残余块中的每一样本指示CU的PU的预测性亮度块中的亮度样本与CU的亮度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的PU的预测性Cb块中的Cb样本与CU的Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的PU的预测性Cr块中的Cr样本与CU的Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割将CU的残余块(例如，亮度、Cb及Cr残余块)分解成一或多个变换块(例如，亮度、Cb及Cr变换块)。变换块可为应用相同变换的样本的矩形块。CU的变换单元(TU)可为亮度样本的变换块、色度样本的两个对应的变换块，及用于对变换块样本进行变换的语法结构。因此，CU的每一TU可与亮度变换块、Cb变换块及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单个变换块及用于对变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用于TU的变换块以产生TU的系数块。举例来说，视频编码器20可将一或多个变换应用于TU的亮度变换块以产生TU的亮度系数块。视频编码器20可将一或多个变换应用至TU的Cb变换块，以产生TU的Cb系数块。视频编码器20可将一或多个变换应用至TU的Cr变换块以产生TU的Cr系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。
在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化所述系数块。量化通常指代对变换系数进行量化以可能减少用以表示变换系数的数据的量，从而提供进一步压缩的程序。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化的变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。
视频编码器20可输出包含经熵编码语法元素的位流。位流可包含形成经译码图片及相关联数据的表示的位序列。位流可包括网络抽象层(NAL)单元的序列。NAL单元中的每一者包含NAL单元标头，且封装原始字节序列有效负荷(RBSP)。NAL单元标头可包含指示NAL单元类型代码的语法元素。通过NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可为含有封装于NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包括零个位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，不同类型的NAL单元可封装视频参数集合(VPS)、序列参数集合(SPS)、图片参数集合(PPS)、经译码切片、补充增强信息(SEI)等的不同RBSP。举例来说，第一类型的NAL单元可封装PPS的RBSP，第二类型的NAL单元可封装经译码切片的RBSP，第三类型的NAL单元可封装补充增强信息(SEI)的RBSP等。封装视频译码数据的RBSP(与参数集合及SEI消息的RBSP相对)的NAL单元可被称作视频译码层(VCL)NAL单元。举例来说，JCTVC-R1013定义术语VCL NAL单元为经译码切片片段NAL单元及NAL单元的子集的集合术语，所述NAL单元具有分类为JCTVC-R1013中的VCL NAL单元的nal_unit_type的保留值。SEI含有并非自VCL NAL单元解码经译码图片的样本必需的信息。
在图1的实例中，视频解码器30接收通过视频编码器20产生的位流。另外，视频解码器30可解析位流以从位流获得语法元素。视频解码器30可至少部分基于从位流获得的语法元素重构建视频数据的图片。重构建视频数据的程序可一般与通过视频编码器20执行的程序互逆。举例来说，视频解码器30可使用帧内预测或帧间预测来确定当前CU的PU的预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重构建当前CU的TU的变换块。通过将当前CU的PU的预测性块的样本添加至当前CU的TU的变换块的相对应样本，视频解码器30可重构建当前CU的译码块。通过重构建图片的每一CU的译码块，视频解码器30可重构建图片。
如上文简要地指出，NAL单元可封装视频参数集合(VPS)、序列参数集合(SPS)、图片参数集合(PPS)的RBSP。VPS为包括适用于零或多个全部经译码视频序列(CVS)的语法元素的语法结构。SPS也为包括适用于零或多个全部CVS的语法元素的语法结构。SPS可包含识别在SPS在作用中时在作用中的VPS的语法元素。因此，VPS的语法元素可比SPS的语法元素更一般化地适用。PPS包括应用于零或多个经译码图片的语法元素的语法结构。PPS可包含识别在PPS在作用中时在作用中的SPS的语法元素。切片的切片标头可包含指示在切片正被译码时在作用中的PPS的语法元素。
在多视图译码中，可存在来自不同视点的同一场景的多个视图。在多视图译码的上下文中，术语“存取单元”可用以指代对应于同一时间例项的图片的集合。因此，视频数据可经概念化为随时间发生的一系列存取单元。“视图分量”可为单个存取单元中的视图的经译码表示。在本发明中，“视图”可指代与相同视图标识符相关联的视图分量序列。在一些实例中，视图分量可为纹理视图分量(即，纹理图片)或深度视图分量(即，深度图片)。
在MV-HEVC及SHVC中，视频编码器可产生包括一系列NAL单元的位流。位流的不同NAL单元可与位流的不同层相关联。可将层定义为具有相同层识别符的VCL NAL单元及相关联的非VCL NAL单元的集合。层可等效于多视图视频译码中的视图。在多视图视频译码中，层可含有具有不同时间例项的相同层的所有视图分量。每一视图分量可为在特定时间例项属于特定视图的视频场景的经译码图片。在多视图或3维视频译码的一些实例中，层可含有特定视图的所有经译码深度图片或特定视图的经译码纹理图片。在3D视频译码的其它实例中，层可含有特定视图的纹理视图分量及深度视图分量两者。类似地，在可扩展视频译码的上下文中，层通常对应于具有不同于其它层中的经译码图片的视频特性的经译码图片。这些视频特性通常包含空间解析度及质量等级(例如，信噪比)。在HEVC及其延伸中，通过将具有特定时间层次的图片的群组定义为子层，可在一个层内获得时间可扩展性。
对于位流的每一相应层，可在不参考任何较高层中的数据的情况下解码较低层中的数据。举例来说，在可扩展视频译码中，可在不参考增强层中的数据的情况下解码基础层中的数据。通常，NAL单元可仅封装单一层的数据。因此，可将封装位流的最高剩余层的数据的NAL单元自位流移除，而不影响位流的剩余层中的数据的可解码性。在多视图译码中，较高层可包含额外视图分量。在SHVC中，较高层可包含信噪比(SNR)增强数据、空间增强数据和/或时间增强数据。在MV-HEVC及SHVC中，如果视频解码器可在不参考任何其它层的数据的情况下解码层中的图片，则所述层可被称作“基础层”。基础层可符合HEVC基础规范(例如，Rec.ITU-T H.265|ISO/IEC 23008-2)。
在可扩展视频译码中，不同于基础层的层可被称作“增强层”，且可提供增强从位流解码的视频数据的视觉质量的信息。可扩展视频译码可增强空间分辨率、信噪比(即，质量)或时间速率。在可扩展视频译码(例如，SHVC)中，“层表示”可为单个存取单元中的空间层的经译码表示。为了易于解释，本发明可将视图分量和/或层表示称作“视图分量/层表示”或简单地称作“图片”。
多视图译码支持视图间预测。视图间预测类似于HEVC中所使用的帧间预测，且可使用相同语法元素。然而，当视频译码器对当前视频单元(诸如，PU)执行视图间预测时，视频编码器20可将处于与当前视频单元相同的存取单元中但处于不同视图中的图片用作参考图片。相比之下，常规帧间预测仅将不同存取单元中的图片用作参考图片。
在多视图译码中，如果视频解码器(例如，视频解码器30)可在不参考任一其它视图中的图片的情况下解码视图中的图片，则所述视图可被称作“基础视图”。当对非基础视图中的一者中的图片进行译码时，视频译码器(例如，视频编码器20或视频解码器30)可在图片与视频译码器当前正译码的图片处于不同视图中但在同一时间例项(即，存取单元)内时将图片添加到参考图片列表中。类似于其它帧间预测参考图片，视频译码器可在参考图片列表的任何位置处插入视图间预测参考图片。
举例来说，NAL单元可包含标头(即，NAL单元标头)及有效负荷(例如，RBSP)。NAL单元标头可包含nuh_reserved_zero_6bits语法元素，所述nuh_reserved_zero_6bits语法元素也可被称作nuh_layer_id语法元素。具有指定不同值的nuh_layer_id语法元素的NAL单元属于位流的不同“层”。因此，在多视图译码、MV-HEVC、SVC或SHVC中，NAL单元的nuh_layer_id语法元素指定NAL单元的层标识符(即，层ID)。如果NAL单元涉及多视图译码、MV-HEVC或SHVC中的基础层，则NAL单元的nuh_layer_id语法元素等于0。可在不参考位流的任何其它层中的数据的情况下解码位流的基础层中的数据。如果NAL单元不涉及多视图译码、MV-HEVC或SHVC中的基础层，则nuh_layer_id语法元素可具有非零值。在多视图译码中，位流的不同层可对应于不同视图。在SVC或SHVC中，不同于基础层的层可被称作“增强层”，且可提供增强自位流解码的视频数据的视觉质量的信息。
此外，可在不参考相同层内的其它图片的情况下解码层内的一些图片。因此，可从位流移除封装一层的某些图片的数据的NAL单元而不影响所述层中的其它图片的可解码性。移除封装这些图片的数据的NAL单元可降低位流的帧速率。可在不参考层内的其它图片的情况下解码的层内图片的子集可在本文中可被称作“子层”或“时间子层”。
NAL单元可包含temporal_id语法元素。NAL单元的temporal_id语法元素指定NAL单元的时间识别符。NAL单元的时间识别符识别与NAL单元相关联的时间子层。因此，位流的每一时间子层可与不同时间识别符相关联。如果第一NAL单元的时间识别符小于第二NAL单元的时间识别符，则可在不参考由第二NAL单元封装的数据的情况下解码由第一NAL单元封装的数据。
位流可与多个操作点相关联。在一些实例中，位流的每一操作点可与层识别符的集合(即，nuh_reserved_zero_6bits值的集合)及时间识别符相关联。可将层识别符的集合标示为OpLayerIdSet，且可将时间识别符标示为TemporalID。如果NAL单元的层识别符在操作点的层识别符集合中，且NAL单元的时间识别符小于或等于操作点的时间识别符，则NAL单元与操作点相关联。因此，操作点可为通过子位流提取程序的操作而自另一位流产生的位流，其中另一位流、目标最高TemporalId及目标层识别符列表作为至子位流提取程序的输入。也可被称作操作点表示的操作点可包含与操作点相关联的每一NAL单元。在一些实例中，操作点不包含不与操作点相关联的VCL NAL单元。
参数集合(诸如，VPS、SPS及PPS)可包含特定于至HEVC标准的延伸的延伸语法结构。举例来说，参数集合可包含特定于SHVC、MV-HEVC等的延伸。延伸语法结构可包含适用于至HEVC标准的延伸的语法元素。下文表1展示SHVC草案文字7及MV-HEVC草案文字9中定义的VPS延伸的部分。
表1
Figure BDA0001267917200000161
在以上表1的实例和本发明的其它语法表中，具有类型描述符ue(v)的语法元素可为使用左位优先的第0阶指数哥伦布(Exp-Golomb)译码而编码的可变长度无符号整数。在表1及下表的实例中，具有u(n)形式(其中n为非负整数)的描述符的语法元素为具有长度n的无符号值。
表1中定义的VPS延伸的部分包含定义一或多个输出层集合(OLS)的语法元素。输出层集合为由VPS中指定的层集合中的一者的层组成的层的集合，其中层集合中的一或多个层经指示为输出层。确切地说，layer_set_idx_for_ols_minus1[i]语法元素加1指定第i输出层集合的索引。等于1的output_layer_flag[i][j]语法元素指定第i OLS中的第j层为输出层。等于0的output_layer_flag[i][j]语法元素指定第i OLS中的第j层不为输出层。
输出层集合可具有一或多个分割方案。输出层集合的分割方案将输出层集中的层划分成一或多个分割区。输出层集合中的每一层恰好属于分割方案中的一个分割区。
至少一些视频译码标准指定视频缓冲模型。在H.264/AVC及HEVC中，缓冲模型被称作“假想参考解码器”或“HRD”。在HEVC草案规范中，HRD描述于附录C中。HRD描述数据经缓冲以用于解码的方式及经解码数据经缓冲以用于输出的方式。举例来说，HRD描述经译码图片缓冲器(“CPB”)、经解码图片缓冲器(“DPB”)及视频解码程序的操作。CPB为在由HRD指定的解码次序中含有存取单元的先进先出缓冲器。DPB为保持经解码图片以用于通过HRD指定的参考、输出重排序或输出延迟的缓冲器。以数学方式指定CPB及DPB的特性。HRD可直接对时序、缓冲器大小及位率施加约束。此外，HRD可间接对各种位流特性及统计施加约束。
在H.264/AVC及HEVC中，将位流符合性及解码器符合性指定为HRD规范的部分。换句话说，HRD模型指定确定位流是否符合标准的测试及确定解码器是否符合标准的测试。尽管HRD被称为解码器的某种类型，但视频编码器通常使用HRD来保证位流符合性，而视频解码器通常并不需要HRD。
H.264/AVC及HEVC两者皆指定两种类型的位流符合性或HRD符合性，即I型及II型。I型位流为仅含有用于位流中的所有存取单元的VCL NAL单元及填充数据NAL单元的NAL单元流。在至少一些实例中，NAL单元流为NAL单元的序列。II型位流为含有除用于位流中的所有存取单元的VCL NAL单元及填充数据NAL单元的外的以下各者中的至少一者的NAL单元流：不同于填充数据NAL单元的额外非VCL NAL单元；及从NAL单元流形成字节流的所有leading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes及trailing_zero_8bits语法元素。
当装置执行确定位流是否符合视频译码标准的位流符合性测试时，装置可选择位流的操作点。装置可随后确定适用于经选择操作点的HRD参数的集合。装置可使用适用于经选择操作点的HRD参数的集合来配置HRD的特性。更确切地说，装置可使用HRD参数的可适用集合来配置HRD的特定组件的特性，例如，假想流调度程序(HSS)、CPB、解码程序、DPB等。随后，HSS可根据特定进度将位流的经译码视频数据注入到HRD的CPB中。此外，装置可调用解码CPB中的经译码视频数据的解码程序。解码程序可将经解码图片输出至DPB。随着装置将数据移动穿过HRD，装置可确定特定集合的约束是否保持满足条件。举例来说，装置可确定当HRD解码经选择操作点时CPB或DPB中是否发生上溢或下溢情况。装置可以此方式选择及处理位流的每一操作点。如果无位流的操作点使得违反约束，则装置可确定位流符合视频译码标准。
H.264/AVC及HEVC两者指定两个类型的解码器符合性，即输出时序解码器符合性及输出次序解码器符合性。请求对特定配置文件、层次及层级的符合性的解码器能够成功地解码符合诸如HEVC的视频译码标准的位流符合性需求的所有位流。
当装置执行解码器符合性测试以确定测试中的解码器(DUT)是否符合视频译码标准时，装置可为HRD及DUT两者提供符合视频译码标准的位流。HRD可以上文关于位流符合性测试而描述的方式来处理位流。如果由DUT输出的经解码图片的次序与由HRD输出的经解码图片的次序相匹配，则装置可确定DUT符合视频译码标准。此外，如果DUT输出经解码图片的时序与HRD输出经解码图片的时序相匹配，则装置可确定DUT符合视频译码标准。
在H.264/AVC及HEVC HRD模型中，解码或CPB移除可基于存取单元(AU)。即，HRD经假定一次性解码完整的存取单元及将完整的存取单元自CPB移除。此外，在H.264/AVC及HEVC HRD模型中，假定图片解码为瞬时的。视频编码器20可在图片时序SEI消息中用信号表示解码时间以开始解码存取单元。在实际应用中，如果符合的视频解码器严格遵循用信号表示解码时间来开始解码存取单元，则输出特定经解码图片的最早可能时间等于所述特定图片的解码时间加上解码所述特定图片所需的时间。然而，在现实世界中，解码图片所需的时间可不等于零。
HRD参数可控制HRD的各种方面。换句话说，HRD可依赖于HRD参数。HRD参数可包含初始CPB移除延迟、CPB大小、位率、初始DPB输出延迟及DPB大小。视频编码器20可在VPS和/或SPS中指定的hrd_parameters()语法结构中用信号表示这些HRD参数。个别VPS和/或SPS可包含用于HRD参数的不同集合的多个hrd_parameters()语法结构。在一些实例中，视频编码器20可在缓冲期SEI消息或图片时序SEI消息中用信号表示HRD参数。以下表2为HEVC中的hrd_parameters()语法结构的实例语法。
表2-HRD参数
Figure BDA0001267917200000181
Figure BDA0001267917200000191
在表2中，当HighestTid等于i时，cpb_cnt_minus1[i]加1指定CVS的位流中的替代的CPB规范的数目。cpb_cnt_minus1[i]的值在0到31(包括性)的范围内。当不存在时，推断cpb_cnt_minus1[i]的值等于0。
此外，VPS可包含视频可用性信息(VUI)语法结构。在Rec.ITU-T H.265|ISO/IEC23008-2中，VPS中的VUI语法结构标示为vps_vui()。VPS VUI语法结构包含VUI位流HRD参数语法结构。在Rec.ITU-T H.265|ISO/IEC 23008-2中，VPS中的VUI位流HRD参数语法结构标示为vps_vui_bsp_hrd_params()。下文表3为Rec.ITU-T H.265|ISO/IEC 23008-2中的vps_vui_bsp_hrd_params()语法结构的语法表。
表3-VPS VUI BSP HRD参数语法结构
Figure BDA0001267917200000192
Figure BDA0001267917200000201
在上文表3中，当HighestTid等于t时，bsp_hrd_idx[h][i][t][j][k]指定VPS中的hrd_parameters()语法结构的索引以用于为第h OLS的第i分割方案的第k位流分割区指定的第j递送进度。如上文所指示，位流分割区为呈NAL单元流或字节流形式的位的序列，即根据将输出层集中的层划分为一或多个分割区的分割方案的位流的子集。bsp_hrd_idx[h][i][t][j][k]语法元素的长度为Ceil(Log2(vps_num_hrd_parameters+vps_num_add_hrd_params))位。bsp_hrd_idx[h][i][t][j][k]的值在0至vps_num_hrd_parameters+vps_num_add_hrd_params-1(包括性)的范围内。当vps_num_hrd_parameters+vps_num_add_hrd_params等于1时，bsp_hrd_idx[h][i][t][j][k]的值推断为等于0。
HEVC及其它视频译码标准指定配置文件、层次和层级。配置文件、层次及层级指定对位流的限定且因此指定对解码位流所需的能力的限制。配置文件、层次及层级也可用以指示个别解码器实施方案之间的互操作性点。每一配置文件指定由符合所述配置文件的所有视频解码器支持的算法特征和限制的子集。不需要视频编码器利用配置文件中支持的所有特征。
层次的每一层级可指定对语法元素及变数可具有的值的限制的集合。层次及层级定义的同一集合可与所有配置文件一起使用，但个别实施可支持不同层次且支持一层次内用于每一所支持配置文件的不同层级。对于任何给定配置文件，层次的层级可一般对应于特定解码器处理负载及存储器能力。视频解码器的能力可依据对符合特定配置文件、层次及层级的约束的视频流进行解码的能力经指定。对于每一此类配置文件，也可表达针对所述配置文件所支持的层次及层级。一些视频解码器可能不能够解码特定配置文件、层次或层级。
在HEVC中，配置文件、层次及层级可由语法结构profile_tier_level()语法结构用信号表示。profile_tier_level()语法结构可包含于VPS和/或SPS中。profile_tier_level()语法结构可包含general_profile_idc语法元素、general_tier_flag语法元素及general_level_idc语法元素。general_profile_idc语法元素可指示CVS所符合的配置文件。general_tier_flag语法元素可指示用于general_level_idc语法元素的解译的层次上下文。general_level_idc语法元素可指示CVS所符合的层级。可保留这些语法元素的其它值。
视频解码器的能力可依据对符合配置文件、层次及层级的约束的视频流进行解码的能力经指定。对于每一此类配置文件，也可表达对于所述配置文件所支持的层次及层级。在一些实例中，视频解码器并不推断HEVC中指定的值之间的general_profile_idc语法元素的保留值指示指定配置文件之间的中间能力。然而，视频解码器可推断与HEVC中指定的值之间的general_tier_flag语法元素的特定值相关联的general_level_idc语法元素的保留值指示层次的指定层级之间的中间能力。
MPEG-2系统规范描述经压缩多媒体(视频及音频)数据流可与其它数据一起经多路复用以形成适合于数字发射或存储的单一数据流的方式。MPEG-2TS的最新规范为ITU-T建议H.222.0，2012年6月版本(文中，“MPEG-2TS”)，其中提供高级视频译码(AVC)及AVC延伸的支持。近来，用于HEVC的MPEG-2TS修正已经完善。最新文件为2013年7月的MPEG输出文件N13656中的“ISO/IEC 13818-1:2013的文字/最终草案修正3-MPEG-2系统上HEVC视频的输送”(下文，“文件N13656”或“HEVC TS规范”)。
MPEG-2系统规范定义基本流的概念。具体地，基本流为程序的单个以数字方式经译码(可能经MPEG压缩)的分量。举例来说，程序的经译码视频或音频部分可为基本流。基本流在经多路复用为程序流或传送流之前首先经转化成经包化基本流(PES)。在同一程序中，可以使用stream_id来区分属于一个基本流的PES数据包与另一者。
每一相应基本流具有识别相应基本流的流类型的流类型识别符。流类型等于0×24的基本流为HEVC视频流或HEVC时间视频子位流或HEVC基础子分割区。如文件N13656所定义，HEVC视频流为Rec.ITU-T H.265|ISO/IEC 23008-2附录B中指定的字节流。HEVC时间视频子位流为包括TemporalID等于0的HEVC时间子层及TemporalID不等于0的零或多个HEVC时间子层的位流。如文件N13656中所定义，HEVC基础子分割区为HEVC视频子位流，其也为如Rec.ITU-T H.265|ISO/IEC 23008-2中指定的符合位流，所述符合位流含有达通过目标层识别符列表包含nuh_layer_id值等于0的目标HEVC操作点识别的目标最高TemporalId的一或多个层的所有VCL NAL单元及相关联的非VCL NAL单元。
流类型等于0×27的基本流为包含符合ITU-T Rec.H.265|ISO/IEC 23008-2的附录G中定义的一或多个配置文件的HEVC视频流的TemporalId 0的HEVC增强子分割区。如文件N13656中所定义，HEVC增强子分割区为一或多个HEVC层，或HEVC时间视频子位流或其HEVC时间视频子集，HEVC基础子分割区及零或多个其它HEVC子分割区的HEVC层聚合根据包含于此视频子位流中的最高层及最高TemporalId的操作点的层列表产生有效的HEVC层化视频流。HEVC时间视频子集包括一或多个HEVC时间子层。HEVC时间视频子集不同于HEVC时间视频子位流，因为HEVC时间视频子集不必包含TemporalID等于0的HEVC时间子层。
如文件N13656中所定义，HEVC层聚合为按HEVC视频序列的所有HEVC层分量的连续HEVC层分量聚合。如文件N13656中所定义，HEVC层分量为属于HEVC子分割区的HEVC存取单元的VCL NAL单元及相关联非VCL NAL单元。此外，如在文件N13656中所定义的，HEVC层分量聚合为所有HEVC层分量以同一输出时间自通过HEVC层列表指示的次序中的HEVC层列表中指示的所有HEVC子分割区的串联，从而产生如Rec.ITU-T H.265|ISO/IEC 23008-2附录F中定义的有效存取单元。
如MPEG-2TS的上下文中所使用，术语“HEVC子分割区”指代HEVC基础子分割区或HEVC增强子分割区。在SHVC及MV-HEVC的上下文中，同一概念可被称作“分割区”。如HEVC TS规范中所定义，术语“HEVC基础子分割区”为HEVC视频子位流，其符合HEVC标准且含有达通过目标层识别符列表包含等于0的nuh_layer_id值的目标HEVC操作点识别的目标最高TemporalId的一或多个层的所有VCL NAL单元。此外，如HEVC TS规范中所定义，术语“HEVC增强子分割区”指代一或多个HEVC层，或HEVC时间视频子位流或其HEVC时间视频子集，HEVC基础子分割区及零或多个其它HEVC子分割区的HEVC层聚合根据包含于此视频子位流中的最高层及最高TemporalId的操作点的层列表产生有效的HEVC层化视频流。
流类型等于0×28的基本流为符合ITU-T Rec.H.265|ISO/IEC 23008-2的附录G中定义的一或多个配置文件的HEVC视频流的HEVC时间增强子分割区。如文件N13656中所定义，HEVC时间增强子分割区为与含有一或多个补充时间子层的相同HEVC视频流的另一HEVC增强子分割区相同的HEVC层集合中的HEVC时间视频子集，如Rec.ITU-T H.265|ISO/IEC23008-2中指定。在本发明中，补充时间子层为提供时间(帧速率)增强至主子分割区的HEVC时间增强子分割区。举例来说，假定一层具有两个时间子层(Tid 0及Tid 1)。在此实例中，在两个基本流(或两个子分割区)中输送两个时间子层是可能的，其中Tid 0在主子分割区中，且Tid 1在时间增强子分割区中。
此外，流类型等于0×29的基本流为包含符合ITU-T Rec.H.265|ISO/IEC 23008-2的附录H中定义的一或多个配置文件的HEVC视频流的TemporalId 0的HEVC增强子分割区。流类型等于0×2A的基本流为符合ITU-T Rec.H.265|ISO/IEC 23008-2的附录H中定义的一或多个配置文件的HEVC视频流的HEVC时间增强子分割区。
如上文简要地指示，MPEG-2系统规范定义程序流及传送流的概念。程序流及传送流为以不同应用程序为目标的两个替代多路复用。程序流经偏压以用于存储及显示来自数字存储服务的单个程序，且程序流意欲在无错误环境中使用，因为其易于出错。相比之下，传送流欲用于在潜在易错信道上的多个程序的同步递送。通常，传送流为经设计用于诸如广播的多程序应用以使得单一传送流可容纳多个独立程序的多路复用。程序流仅包括属于其的基本流且通常含有可变长度数据包。
在程序流中，将自起作用的基本流导出的PES数据包组织为‘包(pack)’。一包包括包标头、可选系统标头及按任何次序自起作用的基本流(即，程序流的基本流)中的任一者获取的任何数目的PES数据包。系统标头含有程序流的特性的概述，诸如：程序流的最大数据速率、程序流的起作用的视频及音频基本流的数目及其它时序信息。解码器(诸如解码器30)可使用系统标头中所包括的信息来确定解码器是否能够解码程序流。
传送流包括一连串发射数据包。发射数据包为一类PES数据包。发射数据包中的每一者长度为188字节。传送流中的短的、固定长度数据包的使用意谓传送流不像程序流易出错。此外，经由标准错误保护程序(诸如Reed Solomon编码)处理发射数据包可给予每一188字节长的发射数据包额外错误保护。传送流的经改良的容错性意谓传送流具有幸存的易错信道(诸如在广播环境下发现的那些信道)的较好机会。给定传送流的增加的容错性及在传送流中承载多个同步程序的能力，似乎传送流明显为两个多路复用(即，程序流及传送流)中的较佳者。然而，传送流是与程序流相比更复杂的多路复用且因而更难建立与多路分用。
发射数据包的第一字节为0×47的同步字节。单个传送流可承载许多不同程序，每一者包括多个封装化基本流。另外，发射数据包包含13位数据包识别符(PID)域。PID域用于区分含有一基本流的数据的发射数据包与承载其它基本流的数据的发射数据包。确保每一基本流被授予唯一的PID值是多路复用器的职责。发射数据包的最末字节是连续性计数域。连续性计数域的值在属于同一基本流的连续发射数据包之间递增。连续性计数域的值的递增使解码器(诸如解码器30)能够侦测发射数据包的丢失或获得，及潜在地隐藏可以其它方式由发射数据包的丢失或获得引起的错误。
尽管可基于发射数据包的PID值确定发射数据包所属的基本流，然解码器可能需要能够确定哪一基本流属于哪一程序。因此，程序特定信息明确地指定程序与分量基本流之间的关系。举例来说，程序特定信息可指定程序及属于程序的基本流之间的关系。传送流的程序特定信息可包含程序映射表(PMT)、程序关联表(PAT)、条件性存取表及网络信息表。
在传送流中承载的每一程序与程序映射表相关联。准许PMT包含一个以上程序。举例来说，传送流中承载的多个程序可与同一PMT相关联。与程序相关联的PMT给出关于程序及包括所述程序的基本流的细节。举例来说，具有数目3的程序可含有具有PID33的视频、具有PID 57的英语音频、具有PID 60的中文音频。换句话说，在此实例中，PMT可指定：其发射数据包包含值等于33的PID域的基本流含有数目(例如，program_number)等于3的程序的视频；其发射数据包包含值等于57的PID域的基本流含有数目3的程序的英语音频；及其发射数据包包含值等于60的PID域的基本流含有数目3的程序的中文音频。
基本PMT可装饰有在MPEG-2系统规范中指定的许多描述符中的一些。换句话说，PMT可包含一或多个描述符。描述符传递关于程序或所述程序的分量基本流的其它信息。描述符可包含视频编码参数、音频编码参数、语言识别信息、光景比改变技术(pan-and-scan)信息、条件存取细节、版权信息等等。如果需要，广播员或其它使用者可定义额外的专用描述符。在视频相关的分量基本流中，也可存在阶层描述符。阶层描述符提供识别含有以阶层方式经译码的视频、音频及专用流的分量的程序元素的信息。专用流可包含后设数据，诸如程序特定信息的流。通常，程序元素为数据或包含于程序中的基本流(即，程序的分量基本流)中的一者。在MPEG-2传送流中，程序元素通常经包化。在MPEG-2程序流中，程序元素未经包化。
程序流的程序特定信息可包含程序流映射(PSM)。程序流的PSM提供程序流中的基本流及基本流与彼此的关系的描述。当在传送流中承载时，此结构不应被修改。当stream_id值为0×BC时，PSM表现为PES数据包。
如上文所指示，传送流的程序特定信息可包含程序关联表(PAT)。传送流的PAT含有传送流中可用的所有程序的完整列表。PAT始终具有PID值0。换句话说，具有PID值等于0的发射数据包括有PAT。PAT列出传送流的每一相应程序连同含有与相应程序相关联的程序映射表的发射数据包的PID值。举例来说，在上文所描述的实例PMT中，PAT可包含指定PMT(其指定程序数目3的基本流)具有1001的PID的信息，且可包含指定另一PMT具有1002的另一PID的信息。换句话说，在此实例中，PAT可指定其PID域具有值等于1001的发射数据包括有程序数目3的PMT，且PAT可指定其PID域具有值等于1002的发射数据包括有另一程序的PMT。
此外，如上文所指示，传送流的程序特定信息可包含网络信息表(NIT)。传送流的PAT中指定的程序数目零具有特殊含义。具体地，程序数目0指向NIT。传送流的NIT为可选的，且当存在时，NIT提供关于承载传送流的物理网络的信息。举例来说，NIT可提供信息，诸如信道频率、卫星转频器细节、调制特性、服务发起者、服务名称及可用替代网络的细节。
如上文所指示，传送流的程序特定信息可包含条件存取表(CAT)。在一些实例中，如果传送流内的任何基本流经加扰，则必定存在CAT。CAT提供使用中的加扰系统的细节且提供含有条件存取管理及权利信息的发射数据包的PID值。MPEG-2并不指定此信息的格式。
如上文所指示，PMT可包含传递关于程序或程序的分量基本流的信息的一或多个描述符。PMT中的一或多个描述符可包含阶层描述符。在MPEG-2传送流(TS)中，阶层描述符经设计以在不同基本流中用信号表示子位流的阶层。阶层描述符提供信息以识别含有经阶层式译码视频、音频及专用流的分量的程序元素，诸如L-HEVC中的层。下文表2-49展示阶层描述符的语法。表2-49之后的段落描述阶层描述符的域的语义。
表2-49-阶层描述符
Figure BDA0001267917200000251
表2-49-阶层描述符
Figure BDA0001267917200000261
temporal_scalability_flag-A 1位旗标，其在设置为‘0’时指示相关联的程序元素增大由hierarchy_embedded_layer_index所参考的程序元素产生的位流的帧速率。保留此旗标的‘1’值。
spatial_scalability_flag-A 1位旗标，其在设置为‘0’时指示相关联的程序元素增大由hierarchy_embedded_layer_index所参考的程序元素产生的位流的空间解析度。保留此旗标的‘1’值。
quality_scalability_flag-A 1位旗标，其在设置为‘0’时指示相关联的程序元件增大由hierarchy_embedded_layer_index所参考的程序元素产生的位流的SNR质量或保真度。保留此旗标的‘1’值。
hierarchy_type-相关联阶层分层与其阶层嵌入层之间的阶层式关系在表2-50(下文展示)中定义。如果可扩展性在一个以上维度中应用，此域将被设置为值‘8’(“组合可扩展性”)，且将相应地设置旗标temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag。对于MVC视频子位流，此域将被设置为值‘9’(“MVC视频子位流”)，且旗标temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag将设置为‘1’。对于MVC基础视图子位流，hierarchy_type域将被设置为值‘15’，且旗标temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag将设置为‘1’。
hierarchy_layer_index—hierarchy_layer_index为定义译码层阶层的表中相关联程序元素的唯一索引的6位域。索引将为单个程序定义内独特的。对于符合Rec.ITU-TH.264|ISO/IEC 14496-10的附录G中定义的一或多个配置文件的AVC视频流的视频子位流，此为程序元素索引，其以以下方式经指派：如果同一存取单元的视频子位流的相关联可扩展视频译码相依性表示按hierarchy_layer_index的递增次序重组，则所述位流次序将为正确的。对于符合在Rec.ITU-T H.264|ISO/IEC 14496-10的附录H中定义的一或多个配置文件的AVC视频流的MVC视频子位流，此索引为程序元素索引，其以以下方式经指派：如果同一存取单元的MVC视频子位流的相关联MVC视图分量子集按hierarchy_layer_index的递增次序重组，则位流次序将为正确的。
tref_present_flag-A 1位旗标，其在设置为‘0’时指示TREF域可存在于相关联基本流中的PES数据包标头中。保留此旗标的值‘1’。
hierarchy_embedded_layer_index—hierarchy_embedded_layer_index为6位域，其定义需要存取且在解码与此hierarchy_descriptor相关联的基本流之前存在于解码次序中的程序元素的hierarchy_layer_index。如果hierarchy_type值为15，则hierarchy_embedded_layer_index域未经定义。
hierarchy_channel—hierarchy_channel为6位域，其指示用于发射信道的有序集合中的相关联程序元素的所需信道数目。最稳固的发射信道通过此域的相对于整体发射阶层定义最低的值来定义。给定hierarchy_channel可同时经指派至若干程序元素。
下文表2-50描述阶层描述符的hierarchy_type域的值的含义。
表2-50—Hierarchy_type域值
值 描述
0 保留
1 空间可扩展性
2 SNR可扩展性
3 时间可扩展性
4 数据分割
5 延伸位流
6 专用流
7 多视图配置文件
8 组合可扩展性
9 MVC视频子位流
10-14 保留
15 MVC的基础层或MVC基础视图子位流或AVC视频子位流
在L-HEVC TS草案中，配置文件、层次及层级信息(被称作PTL信息)及操作点信息在HEVC延伸描述符及HEVC操作点描述符中用信号表示。两个描述符的语法表展示于下表中：
修正表7-1—HEVC延伸描述符
Figure BDA0001267917200000271
Figure BDA0001267917200000281
修正表7-2—HEVC操作点描述符
Figure BDA0001267917200000282
Figure BDA0001267917200000291
最近，用于承载层化HEVC的MPEG-2TS的修正已开始。最新文件为2014年7月的MPEG文件w14562中的“ISO/IEC 13818-1:2013的文字/PDAM 7的研究—层化HEVC的承载”(下文中，“L-HEVC TS草案”)。在L-HEVC TS草案中，电流缓冲器模型描述如下。当ITU-TRec.H.222.0|ISO/IEC 13818-1程序中存在stream_type值在0×27至0×2A范围内的至少一个流时，且当作用中HRD参数语法结构中的sub_pic_hrd_params_present_flag经设置等于1以便用信号表示位流分割区特定的经译码图片缓冲器(CPB)操作时，如描述于2.4.2中的发射系统目标解码器(T-STD)模型得以延伸，如图2中所说明且如下指定。图2为说明用于位流分割区特定的CPB操作的T-STD模型延伸的概念图。
以下额外标号用于描述T-STD延伸并说明于图2中。
t(i)指示传送流的第i字节进入系统目标解码器的以秒为单位的时间
l为至stream_type 0×27或0×29(包含TemporalId 0)的所接收HEVC子分割区中的索引。通过HEVC操作点描述符指示HEVC子分割区的次序(如果存在)，否则通过由阶层描述符指示的相依性来给定次序。相同索引也适用于对应HEVC时间增强子分割区。此处，l自与HEVC基础子分割区相关联的n开始，且进行至(n+m)，其中在下文中指定m。
m为stream_type 0×27或0×29的所接收HEVC子分割区的数目。
Hl为stream_type 0×27或0×29的第l接收的HEVC子分割区的所接收HEVC对应时间增强子分割区的数目，其因阶层描述符而与同一HEVC基础子分割区相关联。
ESl,k为所接收的基本流，其含有stream_type 0×27或0×29的第l接收的HEVC子分割区的第k HEVC对应时间增强子分割区，或在k等于0时含有stream_type 0×27或0×29的第l HEVC子分割区。
ESn+m，Hm为所接收基本流，其在所接收基本流的集合中含有最高HEVC操作点的HEVC子分割区。
PIDn+m，Hm为识别ESn+m，Hm的数据包识别符值。
j为对输出HEVC存取单元的索引。
Cl(j)为stream_type 0×27或0×29的第l接收的HEVC子分割区或HEVC对应时间增强子分割区的第j HEVC层分量。
An(j)为HEVC完整时间表示的第j HEVC存取单元。
tdn(j)为系统目标解码器中的An(j)的解码时间。
如果在附接至Cl(j)的PES标头中可用，trl(j)为TREF值，否则为系统目标解码器中的An(j)的解码时间。
TBl,k为用于基本流ESl,k的发射缓冲器。
TBSl,k为发射缓冲器TBl,k的大小，以字节量测。
MBl,k为用于基本流ESl,k的多路复用缓冲器。
MBSl,k为多路复用缓冲器MBl,k的大小，以字节量测。
EBl为用于所接收HEVC时间视频子位流ESl,0及所接收HEVC时间视频子集ESl,1至ESl,H的基本流缓冲器。附注X1—每一缓冲器EBl含有如ITU-T Rec.H.265|ISO/IEC23008-2的附录F中指定的一或多个分割区。
EBSl为基本流缓冲器EBl的大小，以字节量测。
Rxl,k为下文指定的自第k发射缓冲器TBl,k至第k多路复用缓冲器MBl,k的传送速率。
Rbxl,k为下文指定的自第k多路复用缓冲器MBl,k至基本流缓冲器EBl的传送速率。附注X2—索引n(在使用的情况下)指示所接收基本流及相关联的缓冲器属于某一HEVC基础子分割区，从而将这些基本流及相关联缓冲器与其它基本流及缓冲器进行区分，维持图2及其它T-STD延伸中标号的一致性。
关于TBl,k、MBl,k、EBl缓冲器管理，以下各者皆适用：
●针对每一所接收基本流ESl,k存在一个发射缓冲器TBl,k，其中大小TBSl,k固定为512字节。
●针对每一所接收基本流ESl,k存在一个多路复用缓冲器MBl,k，其中多路复用缓冲器MBl,k的大小MBSl,k受限如下：
MBSn,k＝BSmux+BSoh+CpbBrNalFactor×MaxCPB[层次，层级]-cpb_size(以字节量测)
其中
BSoh(数据包额外负荷缓冲)及BSmux(额外多路复用缓冲)在文件N13656的条款2.17.2中指定；
MaxCPB[层次，层级]及MaxBR[层次，层级]取自用于与ESl,k相关联的HEVC操作点的层次及层级的HEVC的层次及层级规范；
cpb_size取自如Rec.ITU-T H.265|ISO/IEC 23008-2的附录F中指定的子层HRD参数，所述参数包含于与ESl,k相关联的HEVC操作点中。
●针对所接收基本流ESl,0至ESlm,Hl的集合中的Hl+1基本流存在一个基本流缓冲器EBl，其具有总大小EBSl
EBSl＝cpb_size(以字节量测)
其中cpb_size取自如Rec.ITU-T H.265|ISO/IEC 23008-2的附录F中指定的子层HRD参数，所述参数包含于与ESl,H相关联的HEVC操作点中。
●TBl,k至MBl,k的传送应用如下：
●当TBl,k中不存在数据时，则Rxl,k等于0。
●反之，Rxl,k＝bit_rate
其中bit_rate为至字节流格式的CPB中的数据流的CpbBrNalFactor/CpbBrVclFactor×BitRate[i]，且当子层HRD参数存在于ESl,k中的HEVC视频子分割区的VPS中时，BitRate[i]如Rec.ITU-T H.265|ISO/IEC 23008-2中所定义。
●MBl,k至EBl的传送应用如下：
●如果HEVC_timing_and_HRD_descriptor在hrd_management_valid_flag设置为‘1’以用于HEVC视频子位流的情况下存在，则自MBl,k至EBl的数据传送将遵循如Rec.ITU-TH.265|ISO/IEC 23008-2的附录C中所定义的用于基本流ESl,H的CPB中的数据到达的HRD定义的方案。
●否则，泄漏方法将用于将数据如下文自MBl,k传送至EBl：
Rbxn,k＝CpbBrNalFactor×MaxBR[层次，层级]
其中MaxBR[层次，层级]在Rec.ITU T H.265|ISO/IEC 23008-2(表A.2)中的层次及层级规范中经定义以用于字节流格式，所述层次及层级规范用于由重组(达)基本流ESl,k中的相关联HEVC层化视频子位流产生的HEVC操作点的层次及层级。
如果MBl,k中存在PES数据包有效负荷数据，且EBl未满，则PES数据包有效负荷以等于Rbxl,k的速率自MBl,k传送至EBl。如果EBl已满，数据不会自MBl,k移除。当数据的字节自MBl,k传送至EBl时，立即移除及舍弃MBl,k中的先于所述字节的所有PES数据包标头字节。当MBl,k中不存在PES数据包有效负荷数据时，无数据自MBl,k移除。进入MBl,k的所有数据离开。离开MBl,k之后，所有PES数据包有效负荷数据字节立即进入EBl。
于2014年10月10日申请的美国临时专利申请案62/062,681中描述的用于HEVC延伸的承载的MPEG-2TS的设计是相关的。
除上文所指示的描述符外，描述符可包含一或多个HEVC时序及HRD描述符。HEVC时序及HRD描述符提供用于HEVC视频流、HEVC时间视频子位流或HEVC时间视频子集的时序及HRD参数。下文表2-110为用于HEVC时序及HRD描述符的语法表，如文件N13656中定义。
表2-110—HEVC时序及HRD描述符
Figure BDA0001267917200000321
在表2-110中，hrd_management_valid_flag为仅定义以供传送流使用的1位旗标。当HEVC时序及HRD描述符与HEVC视频流或传送流中承载的HEVC最高时间子层表示相关联时，则以下皆适用。如果hrd_management_valid_flag设置为‘1’，则如Rec.ITU-TH.265|ISO/IEC 23008-2的附录C中定义的缓冲期SEI及图片时序SEI消息将存在于相关联的HEVC视频流或HEVC最高时间子层表示中。这些缓冲期SEI消息将承载经译码nal_initial_cpb_removal_delay及nal_initial_cpb_removal_delay_offset值且可另外承载NAL HRD的nal_initial_alt_removal_delay及nal_initial_alt_cpb_removal_delay_offset值。如果hrd_management_valid_flag设置为‘1’，则如文件N13656的2.17.2中所定义的T-STD中的每一字节自MBn至EBn的传送或如文件N13656的2.17.3中所定义的T-STD中的自MBn,k至EBn的传送将根据用于所述字节至NAL HRD中的CPB中的递送进度，如根据Rec.ITU-T H.265|ISO/IEC 23008-2的附录C中指定的经译码nal_initial_cpb_removal_delay及nal_initial_cpb_removal_delay_offset或根据SchedSelIdx等于cpb_cnt_minus1的经译码nal_initial_alt_cpb_removal_delay及nal_initial_alt_cpb_removal_delay_offset值所确定。当hrd_management_valid_flag设置为‘0’时，泄漏方法将用于如文件N13656的2.17.2中所定义的T-STD中的MBn至EBn的传送或如文件N13656的2.17.3中所定义的T-STD中的MBn,k至EBn的传送。
因此，在N13656中指定的HEVC时序及HRD描述符的版本中，SchedSelIdx的值经设置等于cpb_cnt_minus1。在HRD操作中，假想流调度程序根据通过SchedSelIdx指示的递送进度递送测试位流。
如上文所提及，在当前HEVC时序及HRD描述符中，SchedSelIdx的值经设置等于cpb_cnt_minus1。然而，在HEVC规范中，存在不只一个cpb_cnt_minus1值(即，不只单个值)，而是值阵列，针对每一时间子层存在相应值。因此，至少不确定将使用所述值中的哪一者。此外，对于大于0的cpb_cnt_minus1的任何特定值，可存在多个递送进度，不明确为何始终选择(即，选定)最末递送进度。最后，在SHVC/MV-HEVC HRD的最终设计中，用于特定输出层集合的递送进度为不同层的不同递送进度的组合。
为克服此问题，本发明中提出SchedSelIdx值(即，进度选择索引)明确地在HEVC时序及HRD描述符中用信号表示。举例来说，语法元素target_schedule_idx可在HEVC时序及HRD描述符中用信号表示。在一个替代中，SchedSelIdx值在每一操作点的HEVC操作点描述符内用信号表示。因此，在一个实例中，视频处理装置(例如，源装置12、视频编码器20)明确地在HEVC时序及HRD描述符中或每一操作点的HEVC操作点描述符中用信号表示进度选择索引的值。类似地，在一个实例中，视频解码器30(或目的地装置14)可获得明确地在以下各者中用信号表示的进度选择索引的值：HEVC时序及HRD描述符或每一操作点的HEVC操作点描述符。
在SHVC/MV-HEVC规范中，可存在一或多个HRD参数语法结构，且位流的每一分割区指代HRD参数语法结构中的一者。对于MPEG-2系统上的L-HEVC的承载，未明确指定当前可适用于每一HEVC子分割区的HRD参数。换句话说，不明确哪些HRD参数适用于特定HEVC子分割区。适用于HEVC子分割区的HRD参数语法结构用于执行涉及HEVC子分割区的HRD操作。
为克服此问题，本发明提出用于分割区的可适用HRD参数经指派至HRD参数集合，通过SHVC草案文字7或MV-HEVC草案文字9的vps_vui_bsp_hrd_params语法表(即，视频参数集合视频可用性位流分割区HRD参数语法表)中指定的语法元素bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx]指示所述HRD参数集合的索引。此处，术语分割区使用于SHVC/MV-HEVC上下文中。举例来说，视频解码器30可确定用于位流的分割区的可适用HRD参数经指派至具有通过SHVC草案规范或MV-HEVC草案规范的视频参数集合视频可用性位流分割区HRD参数语法表中指定的语法元素指示的索引的HRD参数。同样地，在SHVC草案规范或MV-HEVC草案规范的视频参数集合视频可用性位流分割区HRD参数语法表中，视频处理装置可产生指示对指派至位流的分割区的可适用HRD参数的索引的语法元素，所述分割区对应于可适用HRD参数。
因此，在一些实例中，视频处理装置(诸如视频编码器20)可产生包含语法元素阵列(例如，bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx])及多个HRD参数语法结构(例如，hrd_parameters())的VPS。多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合。语法元素阵列的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引。
此外，视频处理装置可产生包括指示递送进度的索引的目标进度索引语法元素(例如，target_schedule_idx)的HEVC时序及HRD描述符。视频处理装置可产生数据流，诸如，MPEG-2数据流，所述数据流包括多个基本流及HEVC时序及HRD描述符。参数的集合(例如，bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx])识别指定被识别为适用于特定基本流的特定HRD参数语法结构的索引的语法元素阵列中的语法元素。在此实例中，特定HRD参数语法结构为多个HRD参数语法结构中的一者，且特定HRD参数语法结构为操作点的一部分。参数的集合可包含值等于目标进度索引语法元素的值的参数(例如，SchedSelCombIdx)。此外，在一些实例中，参数的集合包含其值经以图7的实例中展示的方式来确定的第二参数(例如，partitionIdx)。另外，参数的集合可包含第三、第四及第五参数。第三参数(例如，TargetOlsIdx)指定操作点的目标输出层集合索引。第四参数(例如，TargetPsIdx)指定操作点的目标分割方案索引，且第五参数(例如，HighestTid)指定操作点的最高时间识别符。
在类似实例中，视频解码器30可接收数据流，诸如，MPEG-2数据流，所述数据流包括多个基本流及HEVC时序及HRD描述符。HEVC时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素(例如，target_schedule_idx)。此外，视频解码器30可基于参数的集合识别VPS中的语法元素阵列中的语法元素。VPS包括多个HRD参数语法结构(例如，hrd_parameters())。多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合。语法元素阵列的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引。参数的集合可包含值等于目标进度索引语法元素的值的参数(例如，SchedSelCombIdx)。此外，在一些实例中，参数的集合包含其值经以图7的实例中展示的方式来确定的第二参数(例如，partitionIdx)。另外，参数的集合可包含第三、第四及第五参数。第三参数(例如，TargetOlsIdx)指定操作点的目标输出层集合索引。第四参数(例如，TargetPsIdx)指定操作点的目标分割方案索引，且第五参数(例如，HighestTid)指定操作点的最高时间识别符。此外，在此实例中，视频解码器30可基于通过经识别语法元素指定的索引将多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流。多个基本流包含特定基本流。
在JCT-VC及JCT-3V组的札幌会议中，同意配置文件、层次及层级(PTL)信息与每一层相关联，而非与每一输出层集合或操作点相关联。此决定归因于以下两个事实对L-HEVCTS草案中的缓冲器模型的设计有影响。第一，当前，基本流为HEVC子分割区(例如，HEVC基础子分割区、HEVC增强子分割区或HEVC时间增强子分割区)，且可在基本流内发射的一或多个层。第二，缓冲器模型中的每一基本流穿过发射缓冲器(TBn)、多路复用缓冲器(MBn)及基本流缓冲器(EBn)。
当前，基于以下等式计算MBn的大小：
MBSn,k＝BSmux+BSoh+CpbBrNalFactor×MaxCPB[tier,level]-cpb_size(以字节量测)
其中BSmux、BSoh及MaxCPB[层次，层级]取决于PTL信息。在上文等式中，BSoh(数据包额外负荷缓冲)及BSmux(额外多路复用缓冲)在文件N13656的条款2.17.2中指定。MaxCPB[层次，层级]及MaxBR[层次，层级]取自用于与ESl,k相关联的HEVC操作点的ESl,k的层次及层级的HEVC的层次及层级规范。如Rec.ITU-T H.265|ISO/IEC 23008-2的附录F中指定，cpb_size取自可适用hrd_parameters()内的用于与ESl,k相关联的HEVC操作点的子层HRD参数。当基本流具有一个以上层时，存在一个以上PTL信息的集合可供使用。因此，不明确应自哪一PTL信息集合计算或导出BSmux、BSoh及MaxCPB[层次，层级]的值。
为克服此问题，本发明提出约束(即，限定或要求)每一基本流(即，HEVC子分割区)含有不超过一个层。举例来说，视频处理装置(例如，源装置12、视频编码器20)可产生包括一或多个基本流的数据流(例如，MPEG-2程序流或传送流)。在此实例中，数据流经受一或多个基本流中的每一者含有不超过一个层的约束条件。在类似实例中，视频解码器30可解码包括一或多个基本流的数据流(例如，MPEG-2程序流或传送流)的视频数据。在此实例中，数据流经受一或多个基本流中的每一者含有不超过一个层的约束条件。
如上文所描述，HEVC时序及HRD描述符提供时序及HRD参数。当前HEVC时序及HRD描述符并不指定当前HEVC时序及HRD描述符是程序层级描述符抑或程序元素层级描述符。以下两者皆为可能的。第一，HEVC时序及HRD描述符可作为程序阶层描述符用信号表示。当HEVC时序及HRD描述符作为程序阶层描述符以用信号表示时，应存在HRD时序及HRD描述符作为HEVC时序及HRD描述符的此单一实例适用于stream_type 0×24、0×25、0×27～0×2A的所有基本流的仅一个实例。第二，HEVC时序及HRD描述符可作为程序元素层级描述符用信号表示。描述符仅适用于特定基本流。此允许针对一些基本流而存在HEVC时序及HRD描述符及针对一些其它基本流而不存在所述HEVC时序及HRD描述符的可能性。尽管所述情形是可能的，似乎不存在此类更细粒度用信号表示的优势。
为克服此问题，本发明提出以下内容。当存在时，HEVC时序及HRD描述符将作为程序层级描述符用信号表示。当存在时，针对ITU-T Rec.H.222.0|ISO/IEC 13818-1将存在至多一个HEVC时序及HRD描述符。因此，在一些实例中，在符合ITU-T修正H.222.0标准的MPEG-2数据流中，视频处理装置(例如，源装置12、视频编码器20)产生作为程序层级描述符的HEVC时序及HRD描述符，其中需要在MPEG-2数据流中存在至多一个HEVC时序及HRD描述符。在类似实例中，视频解码器30自符合ITU-T修正H.222.0标准的MPEG-2数据流获得作为程序层级描述符的HEVC时序及HRD描述符，其中需要(例如，在位流符合性的情况下时)在MPEG-2数据流中存在至多一个HEVC时序及HRD描述符。
在文件N13656中的HEVC时序及HRD描述符的描述中，指定如果hrd_management_valid_flag等于‘1’，则缓冲期及图片时序SEI消息将存在于相关联HEVC视频流或HEVC最高时间子层表示中。然而，N13656文件中不存在对那些SEI消息的存在的进一步描述。可能发生的一个问题为存在SEI消息，但其仅可适用于HEVC操作点描述符中定义的一些操作点或甚至无操作点。如上文所提到，在HEVC时序及HRD描述符中指定hrd_management_valid_flag。
为避免以上问题，本发明提出应指定如果hrd_management_valid_flag等于‘1’，则适用于在HEVC操作点描述符中用信号表示的操作点中的每一者的缓冲期SEI消息及图片时序SEI消息将存在于HEVC视频流中。
因此，为克服此问题，提出约束条件(即，限制或要求)，以使得如果HEVC时序及HRD描述符的hrd_management_valid_flag等于‘1’，则适用于在HEVC操作描述符中用信号表示的操作点中的每一者的缓冲期SEI消息及图片时序SEI消息将存在于HEVC视频流中。因此，在一些实例中，视频处理装置(例如，源装置12、视频编码器20)产生程序流或传送流，所述程序流或传送流经受约束条件，以使得如果HEVC时序及HRD描述符的hrd_management_valid_flag等于‘1’，则适用于在HEVC操作描述符中用信号表示的每一操作点的缓冲期SEI消息及图片时序SEI消息将存在于HEVC视频流中。在一些实例中，视频解码器30(或目的地装置14)解码程序流或传送流的视频数据，所述程序流或传送流经受约束条件，以使得如果HEVC时序及HRD描述符的hrd_management_valid_flag等于1，则适用于在HEVC操作描述符中用信号表示的每一操作点的缓冲期SEI及图片时序SEI消息将存在于HEVC视频流中。
在JCTVC-R1013中，术语“解码单元”在SubPicHrdFlag等于0时定义为存取单元，或否则定义为由存取单元中的一或多个VCL NAL单元及相关联非VCL NAL单元组成的存取单元的子集。如果在如JCTVC-R1013的条款C.1中指定的位流符合性测试中调用解码程序，当所选hrd_parameters()语法结构中的sub_pic_hrd_params_present_flag等于1时，CPB经调度以在存取单元层级(在此情况下将变数SubPicHrdFlag设置为等于0)或子图片层级(在此情况下将变数SubPicHrdFlag设置为等于1)处操作。另外，将SubPicHrdFlag设置为等于0，且CPB经调度以在分割单元层级处操作。另外，如果并不在如JCTVC-R1013的条款C.1中指定的位流符合性测试中调用解码程序，则SubPicHrdFlag经设置等于(SubPicHrdPreferredFlag&&sub_pic_hrd_params_present_flag)。变数SubPicHrdPreferredFlag由外部方法指定，或当不由外部方法指定时，其经设置为等于0。
L-HEVC TS草案中的当前缓冲器模型并不支持超低延迟缓冲器模型。基于受限于存取单元层级的给定解码时戳(DTS)自基本流缓冲器(EB)移除以字节为单位的数据，即，针对整个存取单元仅存在DTS的一个值。由此，基于给定DTS自基本流移除与给定存取单元相关联的所有数据(即，所有字节)。此方法意谓不支持预期在整个存取单元在CPB中可用之前自CPB移除数据的超低延迟模式。
为克服此问题，本发明提出以下各者：
●提供MPEG-2系统中的解码单元的定义。
●对于含有视频流的每一程序，用信号表示解码单元的粒度的指示(例如，存取单元、存取单元内图片的收集、图片、切片、切片片段)。
●属于同一存取单元的每一PES数据包可具有不同DTS；然而，属于同一解码单元的PES数据包的DTS必定相同。
●从基本流缓冲器移除图片基于DTS值。
用于上述技术的替代解决方案可如下。当数据存在于视频流中时，自基本流移除数据考虑到解码单元信息SEI消息的存在。
如上文所指示，根据本发明的技术，对于含有视频流的每一程序，用信号表示解码单元的粒度的指示。因此，在一个实例中，视频处理装置(例如，目的地装置14、视频解码器30)接收数据流，且针对含有视频流的数据流的每一程序，获得解码单元的粒度的指示。在类似实例中，视频处理装置(例如，源装置12、视频编码器20)可产生针对含有视频流的数据流的每一程序包含解码单元的粒度的指示的数据流。在这些实例中，解码单元的粒度可为以下各者中的一者：存取单元、存取单元内的图片的收集、图片、切片或切片片段。
此外，如上文所指示，根据本发明的技术，属于同一存取单元的每一PES数据包可具有不同DTS，而属于同一解码单元的PES数据包的DTS必定相同。因此，在至少一些所述实例中，属于同一存取单元的每一PES数据包可具有不同DTS，且需要属于同一解码单元的PES数据包的DTS相同。
另外，如上文所指示，根据本发明的技术，从基本流缓冲器移除图片可基于DTS值。因此，在一个此类实例中，视频解码器可将数据存储到缓冲器中且在数据的整个存取单元在缓冲器中可用之前从缓冲器移除数据。
本发明提出若干技术。这些技术中的一些可独立地应用，且其中一些可组合地应用。
图3为说明可实施本发明的技术的实例视频编码器20的框图。出于解释的目的提供图3，且不应将其视为对如本发明中所广泛例示及描述的技术的限制。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。视频编码器20表示可经配置以执行本发明的技术的装置的实例。
在图3的实例中，视频编码器20包含预测处理单元100、视频数据存储器101、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重构建单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元及运动补偿单元(图中未展示)。在其它实例中，视频编码器20可包含较多、较少或不同功能组件。
视频数据存储器101可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器101中的视频数据。经解码图片缓冲器116可为存储用于由视频编码器20在编码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器101及经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可通过相同存储器装置或单独存储器装置来提供视频数据存储器101及经解码图片缓冲器116。在各种实例中，视频数据存储器101可与视频编码器20的其它组件一起在芯片上，或相对于那些组件来说在芯片外。
视频编码器20接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。CTU中的每一者可与图片的相等大小的亮度译码树块(CTB)及对应CTB相关联。作为编码CTU的部分，预测处理单位100可执行四分树分割以将CTU的CTB划分成逐渐更小的块。更小块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。
视频编码器20可编码CTU的CU以产生CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可分割CU的一或多个PU中的与CU相关联的译码块。因此，每一PU可与亮度预测块及对应的色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小，且PU的大小可指PU的亮度预测块的大小。假定特定CU的大小为2N×2N，则视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20及视频解码器30也可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块及PU的运动信息。取决于PU在I切片中、P切片中还是B切片中，帧间预测处理单元120可针对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，则帧间预测处理单元120并不对PU执行帧间预测。因此，对于在I模式中经编码的块，经预测的块是使用空间预测从相同讯帧内的先前经编码的相邻块形成。如果PU在P切片中，则帧间预测处理单元120可使用单向帧间预测以产生PU的预测性块。如果PU在B切片中，则帧间预测处理单元120可使用单向或双向帧间预测以产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片中、P切片及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生PU的预测性数据的多个集合。帧内预测处理单元126可使用来自相邻PU的样本块的样本来产生PU的预测性块。假定针对PU、CU及CTU的从左至右、从上而下的编码次序，相邻PU可在PU上方、右上方、左上方或左边。帧内预测处理单元126可使用各种数目的帧内预测模式，例如，33个方向的帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。
预测处理单元100可自由帧间预测处理单元120针对PU产生的预测性数据或由帧内预测处理单元126针对PU产生的预测性数据中选择CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的速率/失真量度而选择CU的PU的预测性数据。所选预测性数据的预测性块在本文中可被称作所选预测性块。
残余产生单元102可基于CU的译码块(例如，亮度、Cb及Cr译码块)及CU的PU的所选预测性块(例如，预测性亮度、Cb及Cr块)产生CU的残余块(例如，亮度、Cb及Cr残余块)。举例来说，残余产生单元102可产生CU的残余块，使得残余块中的每一样本的值等于CU的译码块中的样本与CU的PU的对应所选预测性块中的对应样本之间的差。
变换处理单元104可执行四分树分割以将与CU相关联的残余块分割成与CU的TU相关联的变换块。因此，TU可与亮度变换块及两个色度变换块相关联。CU的TU的亮度变换块及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。被称为“残余四分树”(RQT)的四分树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用至变换块。在一些实例中，变换处理单元104不将变换应用于变换块。在这些实例中，变换块可经处理为变换系数块。
量化单元106可量化系数块中的变换系数。量化程序可减少与变换系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位变换系数舍入为m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可使得信息丢失，因此经量化的变换系数可具有比原始变换系数低的精度。
反量化单元108及反变换处理单元110可分别将反量化及反变换应用于系数块，以从系数块重构建残余块。重构建单元112可将经重构建的残余块添加到来自由预测处理单元100所产生的一或多个预测性块的对应样本，以产生与TU相关联的经重构建变换块。通过以此方式重构建CU的每一TU的变换块，视频编码器20可重构建CU的译码块。
过滤器单元114可执行一或多个解块操作以减少译码块中的与CU相关联的块效应。经解码图片缓冲器116可在滤波器单元114对经重构建的译码块执行一或多个解块操作之后存储经重构建的译码块。帧间预测处理单元120可使用含有经重构建译码块的参考图片，以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构建的译码块来对与CU位于相同图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块且可自预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作，以产生经熵编码数据。举例来说，熵编码单元118可对数据执行CABAC操作、上下文自适应性可变长度译码(CAVLC)操作、可变至可变(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、机率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码的数据的位流。举例来说，位流可包含表示CU的RQT的数据。
图4为说明经配置以实施本发明的技术的实例视频解码器30的框图。出于解释的目的而提供图4，且其并不限制如本发明中所广泛例示及描述的技术。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图4的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、反量化单元154、反变换处理单元156、重构建单元158、滤波器单元160及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含较多、较少或不同功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体(例如)从信道16(例如，从诸如相机的本地视频源)获得存储于视频数据存储器151中的视频数据。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储用于通过视频解码器30解码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可通过相同存储器装置或单独存储器装置来提供视频数据存储器151及经解码图片缓冲器162。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件来说在芯片外。
CPB 151接收及存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从CPB接收经编码视频数据(例如，NAL单元)且解析NAL单元以获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重构建单元158及滤波器单元160可基于从位流提取的语法元素产生经解码视频数据。熵解码单元150可执行一般与熵编码单元118的所述程序互逆的程序。
除从位流获得语法元素的外，视频解码器30可对未经分割的CU执行重构建操作。为了对CU执行重构建操作，视频解码器30可对CU的每一TU执行重构建操作。通过对CU的每一TU执行重构建操作，视频解码器30可重构建CU的残余块。
作为对CU的TU执行重构建操作的部分，反量化单元154可对与TU相关联的系数块进行反量化(即，解量化)。反量化单元154可使用与TU的CU相关联的QP值来确定量化程度，且同样地确定反量化单元154应用的反量化程度。即，可通过调整在量化变换系数时使用的QP值来控制压缩比，即，用于表示原始序列及经压缩序列的位数目的比率。压缩比也可取决于所应用的熵译码的方法。
在反量化单元154对系数块进行反量化之后，反变换处理单元156可将一或多个反变换应用于系数块以便产生与TU相关联的残余块。举例来说，反变换处理单元156可将反DCT、反整数变换、反Karhunen-Loeve变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
如果使用帧内预测编码PU，则帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式来基于样本空间相邻块产生PU的预测性块。帧内预测处理单元166可基于自位流获得的一或多个语法元素确定用于PU的帧内预测模式。
如果使用帧间预测编码PU，则熵解码单元150可确定PU的运动信息。运动补偿单元164可基于PU的运动信息而确定一或多个参考块。运动补偿单元164可基于一或多个参考块产生PU的预测性块(例如，预测性亮度、Cb及Cr块)。
重构建单元158可使用CU的TU的变换块(例如，亮度、Cb及Cr变换块)及CU的PU的预测性块(例如，亮度、Cb及Cr块)(即，可适用的帧内预测数据或帧间预测数据)来重构建CU的译码块(例如，亮度、Cb及Cr译码块)。举例来说，重构建单元158可增加变换块(例如，亮度、Cb及Cr变换块)的样本至预测性块(例如，亮度、Cb及Cr预测性块)的对应样本来重构建CU的译码块(例如，亮度、Cb及Cr译码块)。
滤波器单元160可执行解块操作以减少与CU的译码块相关联的块效应。视频解码器30可将CU的译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块对其它CU的PU执行帧内预测或帧间预测操作。
应理解，本文所描述的所有技术可单独地或以组合方式使用。应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行，可添加、合并或完全省略所述动作或事件(例如，并非所有所描述动作或事件对于所述技术的实践皆是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。此外，虽然为了清晰起见，本发明的某些方面被描述为通过单一模块或单元执行，但应理解，本发明的技术可通过与视频译码器相关联的单元或模块的组合来执行。
出于说明的目的，已经关于HEVC标准而描述本发明的某些方面。然而，本发明中所描述的技术可用于其它视频译码程序，包含尚未开发的其它标准或专有视频译码程序。
上文所描述的技术可通过视频编码器20(图1及3)和/或视频解码器30(图1及4)执行，其两者通常可被称作视频译码器。同样地，视频编码在适用时可指代视频编码或视频解码。
本发明的以下章节描述本发明中其它处描述的技术的实例实施。实施以上提议的建议文字展示如下。经移除文字展示为两个方括号包围斜体文字(例如，[[文字]])，而额外文字展示为下划线文字。
5.1修改HEVC时序及HRD描述符
用以下内容替换当前L-HEVC TS草案的章节2.6.97的内容：
对于HEVC视频流，HEVC时序及HRD描述符提供如Rec.ITU-T H.265|ISO/IEC23008-2的附录C中所定义的可适用的时序及HRD参数。应存在HEVC时序及HRD描述符的至多一个实 例且应包含于紧接着program_map区段中的program_info_length域的数据元素的群组中，除非HEVC视频流承载vps_timing_info_present_flag设置为‘1’的VPS参数。
PMT中用于HEVC视频流或重组HEVC视频流的HEVC时序及HRD描述符的缺失用信号表示T-STD中的泄漏方法的使用情况。但此使用情况也可通过HEVC时序及HRD描述符中的设置为‘0’的hrd_management_valid_flag用信号表示。如果可自包括于HEVC视频流或自视频子位流重组的AVC视频流中的HRD参数确定至缓冲器EBl的传送速率，则hrd_management_valid_flag设置为‘1’的AVC时序及HRD描述符应包含于用于HEVC视频流或用于重组HEVC视频流中的PMT。(参见表2-103septiens)。
表2-103septiens—HEVC时序及HRD描述符
Figure BDA0001267917200000441
用以下内容替换当前L-HEVC TS草案的章节2.6.98的内容：
hrd_management_valid_flag-此1位旗标仅经定义以用于传送流中。当HEVC时序及HRD描述符与HEVC视频流[[或与传送流中承载的HEVC最高时间子层表示]]相关联时，则以下内容适用。
如果hrd_management_valid_flag等于‘1’，则如Rec.ITU-T H.265|ISO/IEC23008-2的附录C中所定义的缓冲期SEI及图片时序SEI消息应存在于相关联的HEVC视频流[[或HEVC最高时间子层表示]]中，且在HEVC操作描述符中用信号表示的每一操作点应具有 可适用缓冲期SEI及图片时序SEI消息。这些缓冲期SEI消息应承载经译码nal_initial_cpb_removal_delay及nal_initial_cpb_removal_offset值且可另外承载NALHRD的nal_initial_alt_removal_delay及nal_initial_alt_cpb_removal_offset值。如果将hrd_management_valid_flag设置为‘1’，则文件N13656的2.17.2中所定义的T-STD中的每一字节自MBn至EBn的传送或如文件N13656的2.17.3中所定义的T-STD中的自MBn,k至EBn的传送或如文件N13656的2.17.4中所定义的T-STD中的每一字节自MBn至EBn的传送应根据用于所述字节至NAL HRD中的CPB中的递送进度，如根据如Rec.ITU-T H.265|ISO/IEC 23008-2的附录C中指定的等于target_schedule_idx的SchedSelIdx的经译码nal_initial_cpb_removal_delay及nal_initial_cpb_removal_offset或根据经译码nal_initial_alt_cpb_removal_delay及nal_initial_alt_cpb_removal_offset值确定。当将hrd_management_valid_flag设置为‘0’时，泄漏方法应用于如2.17.[[3]]4中所定义的T-STD中的从MBn到EBn的传送。
当存在HEVC_timing_and_HRD_descriptor，且hrd_management_valid_flag的值 等于1时，为操作点opA的一部分的基本流esA的可适用HRD参数为HEVC视频流的作用中VPS 中的第bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx] [partitionIdx]hrd_parameters()语法结构，其中：
-TargetOlsIdx等于opA的target_ols，
-TargetPsIdx等于opA的target_partitioning_scheme，
-HighestTid等于opA的max_temporal_id，
-SchedSelCombIdx等于target_schedule_idx
-partitionIdx等于经定义如下的idxA：
令listA为stream_type等于0×24、0×27或0×29的基本流的列表，所述列表根据 存在于阶层描述符或阶层延伸描述符中的其阶层分层索引值以递升次序包括于opA中。如 果esA为listA的成员，则idxA为listA中的esA的索引，否则idxA为listA中的esB的索引，其 中esA为esB的互补时间增强。
target_schedule_idx—此5位域指示为SchedSelIdx指派的递送进度的索引。hrd_management_valid_flag的值等于0时，则不定义target_schedule_idx的含义。
picture_and_timing_info_present_flag—当此1位旗标设置成‘1’时指示用于精确映射至90kHz系统时钟的90kHz_flag及参数包含于此描述符中。
90kHz_flag—当此1位旗标设置成‘1’时指示HEVC时间基准的频率为90KHz。
N,K—对于HEVC视频流[[或HEVC最高时间子层表示]]，HEVC时间基准的频率通过VUI参数中的语法元素vui_time_scale来定义，如Rec.ITU-T H.265|ISO/IEC 23008-2的附录E中所定义。HEVC time_scale与STC之间的关系应通过此描述符中的参数N及K来定义如下。
time_scale＝(N x system_clock_frequency)/K
如果将90kHz_flag设置为‘1’，则N等于1，且K等于300。如果将90kHz_flag设置为‘0’，则由经译码N及K域的值提供N及K的值。
附注—按PTS及DTS时戳的计算需要，此允许(例如)在PES标头中无PTS或DTS经编码的HEVC存取单元的解码器中将以time_scale的单元表达的时间映射到90kHz单元。
num_units_in_tick—此32位域恰好以与Rec.ITU-T H.265|ISO/IEC 23008-2的附录E中的VUI参数中的vui_num_units_in_tick域相同的方式经译码。此域提供的信息应适用于与HEVC时序及HRD描述符相关联的整个HEVC视频流[[或HEVC最高时间子层表示]]。
图5为说明根据本发明的技术的视频编码器的实例操作的流程图。本发明的流程图作为实例提供。在本发明的其它实例中，可存在更多、更少或不同动作，和/或可以不同次序或同时执行动作。
在图5的实例中，视频编码器20产生包含语法元素阵列(例如，bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx])及多个HRD参数语法结构的VPS(200)。多个HRD参数语法结构中的每一相应HRD参数语法结构(例如，hrd_parameters())包括HRD参数的相应集合。语法元素阵列的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引。
此外，在图5的实例中，视频编码器20产生包括指示递送进度的索引的目标进度索引语法元素(例如，target_schedule_idx)的HEVC时序及HRD描述符(202)。此外，视频编码器20可产生数据流(例如，MPEG-2数据流)，所述数据流包括多个基本流及HEVC时序及HRD描述符(204)。参数的集合识别指定被识别为适用于特定基本流的特定HRD参数语法结构的索引的语法元素阵列中的语法元素。在此实例中，特定HRD参数语法结构为多个HRD参数语法结构中的一者，且特定HRD参数语法结构为操作点的一部分。参数的集合可包含值等于目标进度索引语法元素的值的参数(例如，SchedSelCombIdx)。此外，在一些实例中，参数的集合包含其值以图7的实例中展示的方式经确定的第二参数(例如，partitionIdx)。另外，参数的集合可包含第三、第四及第五参数。第三参数(例如，TargetOlsIdx)指定操作点的目标输出层集合索引。第四参数(例如，TargetPsIdx)指定操作点的目标分割方案索引，且第五参数(例如，HighestTid)指定操作点的最高时间识别符。
图6为说明根据本发明的技术的视频解码器的实例操作的流程图。在图6的实例中，视频解码器30获得包括多个基本流及HEVC时序及HRD描述符的数据流(例如，MPEG-2数据流)(250)。HEVC时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素(例如，target_schedule_idx)。
此外，在图6的实例中，视频解码器30基于参数的集合识别VPS中的语法元素阵列(例如，bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx])中的语法元素(252)。在图6的实例中，VPS包含多个HRD参数语法结构(例如，hrd_parameters())。多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合(例如，nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag等)。语法元素阵列的每一相应语法元素指定多个HRD参数语法结构中的HRD参数语法结构的索引。参数的集合可包含值等于目标进度索引语法元素的值的参数(例如，SchedSelCombIdx)。此外，在一些实例中，参数的集合包含其值以图7的实例中展示的方式经确定的第二参数(例如，partitionIdx)。另外，参数的集合可包含第三、第四及第五参数。第三参数(例如，TargetOlsIdx)指定操作点的目标输出层集合索引。第四参数(例如，TargetPsIdx)指定操作点的目标分割方案索引，且第五参数(例如，HighestTid)指定操作点的最高时间识别符。
另外，在图6的实例中，视频解码器30基于通过经识别语法元素指定的索引将多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流(254)。多个基本流包含特定基本流。
图7为说明根据本发明的技术确定参数的值的视频译码器的实例操作的流程图。在图7的实例中，视频译码器(例如，视频编码器20或视频解码器30)确定具有等于0×24、0×27或0×29的流类型且位于操作点中的多个基本流中的基本流的列表(300)。如上文所指示，具有流类型等于0×24的基本流为HEVC视频流或HEVC时间视频子位流或HEVC基础子分割区。具有流类型等于0×27的基本流为HEVC增强子分割区，其包含符合ITU-T Rec.H.265|ISO/IEC 23008-2的附录G中定义的一或多个配置文件的HEVC视频流的TemporalId 0。具有流类型等于0×29的基本流为HEVC增强子分割区，其包含符合ITU-T Rec.H.265|ISO/IEC23008-2的附录H中定义的一或多个配置文件的HEVC视频流的TemporalId 0。
在图7的实例中,列表根据列表中的基本流的阶层分层索引值为递升次序。在视频译码器为视频编码器的情况下，作为产生数据流的一部分，视频编码器可针对多个基本流中的每一相应基本流在数据流中包含包括相应基本流的阶层分层索引值(例如，hierarchy_layer_index)的阶层描述符或阶层延伸描述符。在视频译码器为视频解码器的情况下，作为获得数据流的一部分，视频解码器可针对多个基本流中的每一相应基本流获得包括相应基本流的阶层分层索引值的阶层描述符或阶层延伸描述符。
此外，在图7的实例中，视频译码器可确定特定基本流是否为列表的成员(302)。如果特定基本流为列表的成员(302的“是”)，则视频译码器可确定参数的值为列表中的特定基本流的索引(304)。如果特定基本流不为列表的成员(302的“否”)，则视频译码器可确定参数的值为列表中的基本流中的一者的索引(306)。特定基本流为列表中的基本流的补充时间增强。
尽管在上文描述技术的各种方面的特定组合，但仅提供这些组合以说明本发明中所描述的技术的实例。因此，本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想组合。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于有形媒体(例如数据存储媒体)；或通信媒体，其包含(例如)根据通信协议促进计算机程序从一处传送至另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、代码和/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。又，将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，则同轴缆线、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为针对非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件和/或软件模块内，或并入于组合式编解码器中。又，所述技术可充分实施于一或多个电路或逻辑元件中。
本发明的技术可以多种装置或设备予以实施，所述装置或设备包含无线手机、集成电路(IC)或IC的集合(例如，芯片集合)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元予以实现。确切地说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合合适软件和/或固件来提供所述单元。
已描述各种实例。这些及其它实例在以下权利要求书的范围内。

Claims (55)

1.一种处理视频数据的方法，所述方法包括：
获得包括多个基本流及时序及假想参考解码器HRD描述符的数据流，其中所述时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素；
基于参数的集合识别视频参数集合VPS中的语法元素的阵列中的语法元素，其中：
所述VPS包括多个HRD参数语法结构，其中所述多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，
语法元素的所述阵列中的每一相应语法元素指定所述多个HRD参数语法结构中的HRD参数语法结构的索引，及
参数的所述集合包括具有值等于所述目标进度索引语法元素的值的参数；及
基于通过所述经识别语法元素指定的索引将所述多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流，所述多个基本流包含所述特定基本流。
2.根据权利要求1所述的方法，
其中值等于所述目标进度索引语法元素的值的参数为第一参数，参数的所述集合包含第二参数，且获得所述数据流包括针对所述多个基本流中的每一相应基本流获得包括所述相应基本流的阶层分层索引值的阶层描述符或阶层延伸描述符；且
所述方法进一步包括：
确定具有流类型等于0×24、0×27或0×29及位于所述操作点中的所述多个基本流中的基本流的列表，所述列表根据所述列表中的所述基本流的所述阶层分层索引值为递升次序；及
确定所述第二参数的值，以使得：
如果所述特定基本流为所述列表的成员，则所述第二参数的所述值为所述列表中的所述特定基本流的索引，且
如果所述特定基本流不为所述列表的成员，则所述第二参数的所述值为所述列表中的所述基本流中的一者的索引，其中所述特定基本流为所述列表中的所述基本流的补充时间增强。
3.根据权利要求2所述的方法，其中参数的所述集合包含第三、第四及第五参数，所述第三参数指定所述操作点的目标输出层集合索引，所述第四参数指定所述操作点的目标分割方案索引，所述第五参数指定所述操作点的最高时间识别符。
4.根据权利要求1所述的方法，其中所述数据流为程序流或传送流，且受到所述多个基本流中的每一者含有不超过一个层的限制。
5.根据权利要求1所述的方法，其中所述数据流为程序流或传送流且受到限制，以使得如果所述时序及HRD描述符的hrd_management_valid_flag等于1，则适用于在操作描述符中用信号表示的每一操作点的缓冲期补充增强信息SEI消息及图片时序SEI消息应存在于视频流中。
6.根据权利要求1所述的方法，其中所述时序及HRD描述符为程序层级描述符，其中需要在所述数据流中存在至多一个时序及HRD描述符。
7.根据权利要求1所述的方法，其中所述数据流为运动图片专家组MPEG-2传送流。
8.一种处理视频数据的方法，所述方法包括：
产生包含语法元素的阵列及多个假想参考解码器HRD参数语法结构的视频参数集合VPS，其中：
所述多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，且
语法元素的所述阵列中的每一相应语法元素指定所述多个HRD参数语法结构中的HRD参数语法结构的索引；
产生包括指示递送进度的索引的目标进度索引语法元素的时序及HRD描述符；及
产生包括多个基本流及所述时序及HRD描述符的数据流，
其中参数的集合识别指定适用于特定基本流的特定HRD参数语法结构的索引的语法元素的所述阵列中的语法元素，所述特定HRD参数语法结构为所述多个HRD参数语法结构中的一者，所述特定基本流为操作点的一部分，且参数的所述集合包括具有值等于所述目标进度索引语法元素的值的参数，所述多个基本流包含所述特定基本流。
9.根据权利要求8所述的方法，
其中值等于所述目标进度索引语法元素的值的参数为第一参数，参数的所述集合包含第二参数，且产生所述数据流包括针对所述多个基本流中的每一相应基本流在所述数据流中包含包括所述相应基本流的阶层分层索引值的阶层描述符或阶层延伸描述符；且
所述方法进一步包括：
确定具有流类型等于0×24、0×27或0×29及位于所述操作点中的所述多个基本流中的基本流的列表，所述列表根据所述列表中的所述基本流的所述阶层分层索引值为递升次序；及
确定所述第二参数的值，以使得：
如果所述特定基本流为所述列表的成员，则所述第二参数的所述值为所述列表中的所述特定基本流的索引，且
如果所述特定基本流不为所述列表的成员，则所述第二参数的所述值为所述列表中的所述基本流中的一者的索引，其中所述特定基本流为所述列表中的所述基本流的补充时间增强。
10.根据权利要求9所述的方法，其中参数的所述集合包含第三、第四及第五参数，所述第三参数指定所述操作点的目标输出层集合索引，所述第四参数指定所述操作点的目标分割方案索引，所述第五参数指定所述操作点的最高时间识别符。
11.根据权利要求8所述的方法，其中所述数据流经受所述多个基本流中的每一者含有不超过一个层的约束条件。
12.根据权利要求8所述的方法，其中所述数据流经受约束条件，以使得如果所述时序及HRD描述符的hrd_management_valid_flag等于1，则适用于在操作描述符中用信号表示的每一操作点的缓冲期补充增强信息SEI消息及图片时序SEI消息应存在于视频流中。
13.根据权利要求8所述的方法，其中所述时序及HRD描述符为程序层级描述符，其中需要在所述数据流中存在至多一个时序及HRD描述符。
14.根据权利要求8所述的方法，其中所述数据流为运动图片专家组MPEG-2传送流。
15.一种用于处理视频数据的装置，所述装置包括：
存储器，其经配置以存储所述视频数据；及
一或多个处理器，其经配置以：
获得包括多个基本流及时序及假想参考解码器HRD描述符的数据流，其中所述时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素，所述基本流包括所述视频数据的经编码表示；
基于参数的集合识别视频参数集合VPS中的语法元素的阵列中的语法元素，其中：
所述VPS包括多个HRD参数语法结构，其中所述多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，
语法元素的所述阵列中的每一相应语法元素指定所述多个HRD参数语法结构中的HRD参数语法结构的索引，且
参数的所述集合包括具有值等于所述目标进度索引语法元素的值的参数；及
基于通过所述经识别语法元素指定的索引将所述多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流，所述多个基本流包含所述特定基本流。
16.根据权利要求15所述的装置，
其中值等于所述目标进度索引语法元素的值的参数为第一参数，参数的所述集合包含第二参数，且所述一或多个处理器经配置以使得作为获得所述数据流的一部分，所述一或多个处理器针对所述多个基本流中的每一相应基本流获得包括用于所述相应基本流的阶层分层索引值的阶层描述符或阶层延伸描述符；且
一或多个处理器，其经进一步配置以进行以下操作：
确定具有流类型等于0×24、0×27或0×29及位于所述操作点中的所述多个基本流中的基本流的列表，所述列表根据所述列表中的所述基本流的所述阶层分层索引值为递升次序；及
确定所述第二参数的值，以使得：
如果所述特定基本流为所述列表的成员，则所述第二参数的所述值为所述列表中的所述特定基本流的索引，且
如果所述特定基本流不为所述列表的成员，则所述第二参数的所述值为所述列表中的所述基本流中的一者的索引，其中所述特定基本流为所述列表中的所述基本流的补充时间增强。
17.根据权利要求16所述的装置，其中参数的所述集合包含第三、第四及第五参数，所述第三参数指定所述操作点的目标输出层集合索引，所述第四参数指定所述操作点的目标分割方案索引，所述第五参数指定所述操作点的最高时间识别符。
18.根据权利要求15所述的装置，其中所述数据流为程序流或传送流，且受到所述多个基本流中的每一者含有不超过一个层的限制。
19.根据权利要求15所述的装置，其中所述数据流为程序流或传送流且受到限制，以使得如果所述时序及HRD描述符的一hrd_management_valid_flag等于1，则适用于在操作描述符中用信号表示的每一操作点的缓冲期补充增强信息SEI消息及图片时序SEI消息应存在于视频流中。
20.根据权利要求15所述的装置，其中所述时序及HRD描述符为程序层级描述符，其中需要在所述数据流中存在至多一个时序及HRD描述符。
21.根据权利要求15所述的装置，其中所述数据流为运动图片专家组MPEG-2传送流。
22.一种用于处理视频数据的装置，所述装置包括：
存储器，其经配置以存储所述视频数据；及
一或多个处理器，其经配置以：
产生包含语法元素的阵列及多个假想参考解码器HRD参数语法结构的视频参数集合VPS，其中：
所述多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，且
语法元素的所述阵列中的每一相应语法元素指定所述多个HRD参数语法结构中的HRD参数语法结构的索引；
产生包括指示递送进度的索引的目标进度索引语法元素的时序及HRD描述符；及
产生包括多个基本流及所述时序及HRD描述符的数据流，所述多个基本流包括所述视频数据的经编码表示，
其中参数的集合识别指定适用于特定基本流的特定HRD参数语法结构的索引的语法元素的所述阵列中的语法元素，所述特定HRD参数语法结构为所述多个HRD参数语法结构中的一者，所述特定基本流为操作点的一部分，且参数的所述集合包括具有值等于所述目标进度索引语法元素的值的参数，所述多个基本流包含所述特定基本流。
23.根据权利要求22所述的装置，其中值等于所述目标进度索引语法元素的值的参数为第一参数，参数的所述集合包含第二参数，及所述一或多个处理器经配置以：
针对所述多个基本流的每一相应基本流在所述数据流中包含包括所述相应基本流的阶层分层索引值的阶层描述符或阶层延伸描述符；及
确定具有流类型等于0×24、0×27或0×29及位于所述操作点中的所述多个基本流中的基本流的列表，所述列表根据所述列表中的所述基本流的所述阶层分层索引值为递升次序；及
确定所述第二参数的值，以使得：
如果所述特定基本流为所述列表的成员，则所述第二参数的所述值为所述列表中的所述特定基本流的索引，且
如果所述特定基本流不为所述列表的成员，则所述第二参数的所述值为所述列表中的所述基本流中的一者的索引，其中所述特定基本流为所述列表中的所述基本流的补充时间增强。
24.根据权利要求23所述的装置，其中参数的所述集合包含第三、第四及第五参数，所述第三参数指定所述操作点的目标输出层集合索引，所述第四参数指定所述操作点的目标分割方案索引，所述第五参数指定所述操作点的最高时间识别符。
25.根据权利要求22所述的装置，其中所述数据流经受所述多个基本流中的每一者含有不超过一个层的约束条件。
26.根据权利要求22所述的装置，其中所述数据流经受约束条件，以使得如果所述时序及HRD描述符的hrd_management_valid_flag等于1，则适用于在操作描述符中用信号表示的每一操作点的缓冲期补充增强信息SEI消息及图片时序SEI消息应存在于视频流中。
27.根据权利要求22所述的装置，其中所述时序及HRD描述符为程序层级描述符，其中需要在所述数据流中存在至多一个时序及HRD描述符。
28.根据权利要求22所述的装置，其中所述数据流为运动图片专家组MPEG-2传送流。
29.一种用于处理视频数据的装置，所述装置包括：
用于获得包括多个基本流及时序及假想参考解码器HRD描述符的数据流的装置，其中所述时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素；
用于基于参数的集合识别视频参数集合VPS中的语法元素的阵列中的语法元素的装置，其中：
所述VPS包括多个HRD参数语法结构，其中所述多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，
语法元素的所述阵列中的每一相应语法元素指定所述多个HRD参数语法结构中的HRD参数语法结构的索引，且
参数的所述集合包括具有值等于所述目标进度索引语法元素的值的参数；及
用于基于通过所述经识别语法元素指定的索引将所述多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流的装置，所述多个基本流包含所述特定基本流。
30.根据权利要求29所述的装置，其中：
值等于所述目标进度索引语法元素的值的参数为第一参数，参数的所述集合包含第二参数，且所述数据流针对所述多个基本流中的每一相应基本流包括阶层描述符或阶层延伸描述符，其包括所述相应基本流的阶层分层索引值；且
所述装置进一步包括：
用于确定具有流类型等于0×24、0×27或0×29及位于所述操作点中的所述多个基本流中的基本流的列表的装置，所述列表根据所述列表中的所述基本流的所述阶层分层索引值为递升次序；及
用于确定所述第二参数的值以使得进行以下各者的装置：
如果所述特定基本流为所述列表的成员，则所述第二参数的所述值为所述列表中的所述特定基本流的索引，且
如果所述特定基本流不为所述列表的成员，则所述第二参数的所述值为所述列表中的所述基本流中的一者的索引，其中所述特定基本流为所述列表中的所述基本流的补充时间增强。
31.根据权利要求30所述的装置，其中参数的所述集合包含第三、第四及第五参数，所述第三参数指定所述操作点的目标输出层集合索引，所述第四参数指定所述操作点的目标分割方案索引，所述第五参数指定所述操作点的最高时间识别符。
32.根据权利要求29所述的装置，其中所述数据流为程序流或传送流，且受到所述多个基本流中的每一者含有不超过一个层的限制。
33.根据权利要求29所述的装置，其中所述数据流为程序流或传送流且受到限制，以使得如果所述时序及HRD描述符的hrd_management_valid_flag等于1，则适用于在操作描述符中用信号表示的每一操作点的缓冲期补充增强信息SEI消息及图片时序SEI消息应存在于视频流中。
34.根据权利要求29所述的装置，其中所述时序及HRD描述符为程序层级描述符，其中需要在所述数据流中存在至多一个时序及HRD描述符。
35.一种用于处理视频数据的装置，所述装置包括：
用于产生包含语法元素的阵列及多个假想参考解码器HRD参数语法结构的视频参数集合VPS的装置，其中：
所述多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，且
语法元素的所述阵列中的每一相应语法元素指定所述多个HRD参数语法结构中的HRD参数语法结构的索引；
用于产生包括指示递送进度的索引的目标进度索引语法元素的时序及HRD描述符的装置；及
用于产生包括多个基本流及所述时序及HRD描述符的数据流的装置，
其中参数的集合识别指定适用于特定基本流的特定HRD参数语法结构的索引的语法元素的所述阵列中的语法元素，所述特定HRD参数语法结构为所述多个HRD参数语法结构中的一者，所述特定基本流为操作点的一部分，且参数的所述集合包括具有值等于所述目标进度索引语法元素的值的参数，所述多个基本流包含所述特定基本流。
36.根据权利要求35所述的装置，
其中值等于所述目标进度索引语法元素的值的参数为第一参数，参数的所述集合包含第二参数，且所述数据流针对所述多个基本流的每一相应基本流包括阶层描述符或阶层延伸描述符，其包括所述相应基本流的阶层分层索引值；且
所述装置进一步包括：
用于确定具有流类型等于0×24、0×27或0×29及位于所述操作点中的所述多个基本流中的基本流的列表的装置，所述列表根据所述列表中的所述基本流的所述阶层分层索引值为递升次序；及
用于确定所述第二参数的值以使得进行以下各者的装置：
如果所述特定基本流为所述列表的成员，则所述第二参数的所述值为所述列表中的所述特定基本流的索引，且
如果所述特定基本流不为所述列表的成员，则所述第二参数的所述值为所述列表中的所述基本流中的一者的索引，其中所述特定基本流为所述列表中的所述基本流的补充时间增强。
37.根据权利要求36所述的装置，其中参数的所述集合包含第三、第四及第五参数，所述第三参数指定所述操作点的目标输出层集合索引，所述第四参数指定所述操作点的目标分割方案索引，所述第五参数指定所述操作点的最高时间识别符。
38.根据权利要求35所述的装置，其中所述数据流经受所述多个基本流中的每一者含有不超过一个层的约束条件。
39.根据权利要求35所述的装置，其中所述数据流经受约束条件，以使得如果所述时序及HRD描述符的hrd_management_valid_flag等于1，则适用于在操作描述符中用信号表示的每一操作点的缓冲期补充增强信息SEI消息及图片时序SEI消息应存在于视频流中。
40.根据权利要求35所述的装置，其中所述时序及HRD描述符为程序层级描述符，其中需要在所述数据流中存在至多一个时序及HRD描述符。
41.根据权利要求35所述的装置，其中所述数据流为运动图片专家组MPEG-2传送流。
42.一种计算机可读存储媒体，其上存储有在经执行时使得装置的一或多个处理器进行以下操作的指令：
获得包括多个基本流及时序及假想参考解码器HRD描述符的数据流，其中所述时序及HRD描述符包括指示递送进度的索引的目标进度索引语法元素；
基于参数的集合识别视频参数集合VPS中的语法元素的阵列中的语法元素，其中：
所述VPS包括多个HRD参数语法结构，其中所述多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，
语法元素的所述阵列中的每一相应语法元素指定所述多个HRD参数语法结构中的HRD参数语法结构的索引，且
参数的所述集合包括具有值等于所述目标进度索引语法元素的值的参数；及
基于通过所述经识别语法元素指定的索引将所述多个HRD参数语法结构中的特定HRD参数语法结构识别为适用于为操作点的一部分的特定基本流，所述多个基本流包含所述特定基本流。
43.根据权利要求42所述的计算机可读存储媒体，
其中值等于所述目标进度索引语法元素的值的参数为第一参数，参数的所述集合包含第二参数，且所述数据流针对所述多个基本流的每一相应基本流包括阶层描述符或阶层延伸描述符，其包括所述相应基本流的阶层分层索引值；
所述指令进一步配置所述一或多个处理器以：
确定具有流类型等于0×24、0×27或0×29及位于所述操作点中的所述多个基本流中的基本流的列表，所述列表根据所述列表中的所述基本流的所述阶层分层索引值为递升次序；及
确定所述第二参数的值，以使得：
如果所述特定基本流为所述列表的成员，则所述第二参数的所述值为所述列表中的所述特定基本流的索引，且
如果所述特定基本流不为所述列表的成员，则所述第二参数的所述值为所述列表中的所述基本流中的一者的索引，其中所述特定基本流为所述列表中的所述基本流的补充时间增强。
44.根据权利要求43所述的计算机可读存储媒体，其中参数的集合包含第三、第四及第五参数，所述第三参数指定所述操作点的目标输出层集合索引，所述第四参数指定所述操作点的目标分割方案索引，所述第五参数指定所述操作点的最高时间识别符。
45.根据权利要求42所述的计算机可读存储媒体，其中所述数据流为程序流或传送流，且受到所述多个基本流中的每一者含有不超过一个层的限制。
46.根据权利要求42所述的计算机可读存储媒体，其中所述数据流为程序流或传送流且受到限制，以使得如果所述时序及HRD描述符的hrd_management_valid_flag等于1，则适用于在操作描述符中用信号表示的每一操作点的缓冲期补充增强信息SEI消息及图片时序SEI消息应存在于视频流中。
47.根据权利要求42所述的计算机可读存储媒体，其中所述时序及HRD描述符为程序层级描述符，其中需要在所述数据流中存在至多一个时序及HRD描述符。
48.根据权利要求42所述的计算机可读存储媒体，其中所述数据流为运动图片专家组MPEG-2传送流。
49.一种计算机可读存储媒体，其上存储有在经执行时使得装置的一或多个处理器进行以下操作的指令：
产生包含语法元素的阵列及多个假想参考解码器HRD参数语法结构的视频参数集合VPS，其中：
所述多个HRD参数语法结构中的每一相应HRD参数语法结构包括HRD参数的相应集合，且
语法元素的所述阵列中的每一相应语法元素指定所述多个HRD参数语法结构中的HRD参数语法结构的索引；
产生包括指示递送进度的索引的目标进度索引语法元素的时序及HRD描述符；及
产生包括多个基本流及所述时序及HRD描述符的数据流，
其中参数的集合识别指定适用于特定基本流的特定HRD参数语法结构的索引的语法元素的所述阵列中的语法元素，所述特定HRD参数语法结构为所述多个HRD参数语法结构中的一者，所述特定基本流为操作点的一部分，参数的所述集合包括具有值等于所述目标进度索引语法元素的值的参数，且所述多个基本流包含所述特定基本流。
50.根据权利要求49所述的计算机可读存储媒体，
其中值等于所述目标进度索引语法元素的值的参数为第一参数，参数的所述集合包含第二参数，且所述数据流针对所述多个基本流的每一相应基本流包括阶层描述符或阶层延伸描述符，其包括所述相应基本流的阶层分层索引值；且
其中所述指令进一步配置所述一或多个处理器以：
确定具有流类型等于0×24、0×27或0×29及位于所述操作点中的所述多个基本流中的基本流的列表，所述列表根据所述列表中的所述基本流的所述阶层分层索引值为递升次序；及
确定所述第二参数的值，以使得：
如果所述特定基本流为所述列表的成员，则所述第二参数的所述值为所述列表中的所述特定基本流的索引，且
如果所述特定基本流不为所述列表的成员，则所述第二参数的所述值为所述列表中的所述基本流中的一者的索引，其中所述特定基本流为所述列表中的所述基本流的补充时间增强。
51.根据权利要求50所述的计算机可读存储媒体，其中参数的所述集合包含第三、第四及第五参数，所述第三参数指定所述操作点的目标输出层集合索引，所述第四参数指定所述操作点的目标分割方案索引，所述第五参数指定所述操作点的最高时间识别符。
52.根据权利要求49所述的计算机可读存储媒体，其中所述数据流经受所述多个基本流中的每一者含有不超过一个层的约束条件。
53.根据权利要求49所述的计算机可读存储媒体，其中所述数据流经受约束条件以使得如果所述时序及HRD描述符的hrd_management_valid_flag等于1，则适用于在操作描述符中用信号表示的每一操作点的缓冲期补充增强信息SEI消息及图片时序SEI消息应存在于视频流中。
54.根据权利要求49所述的计算机可读存储媒体，其中所述时序及HRD描述符为程序层级描述符，其中需要在所述数据流中存在至多一个时序及HRD描述符。
55.根据权利要求49所述的计算机可读存储媒体，其中所述数据流为运动图片专家组MPEG-2传送流。
CN201580056182.7A 2014-10-15 2015-10-15 用于hevc延伸承载的数据流的hrd描述符及缓冲器模型的设计 Active CN107079176B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462064414P 2014-10-15 2014-10-15
US62/064,414 2014-10-15
US14/883,256 2015-10-14
US14/883,256 US20160112724A1 (en) 2014-10-15 2015-10-14 Hrd descriptor and buffer model of data streams for carriage of hevc extensions
PCT/US2015/055712 WO2016061334A1 (en) 2014-10-15 2015-10-15 Design of hrd descriptor and buffer model of data streams for carriage of hevc extensions

Publications (2)

Publication Number Publication Date
CN107079176A CN107079176A (zh) 2017-08-18
CN107079176B true CN107079176B (zh) 2020-07-03

Family

ID=54366510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580056182.7A Active CN107079176B (zh) 2014-10-15 2015-10-15 用于hevc延伸承载的数据流的hrd描述符及缓冲器模型的设计

Country Status (10)

Country Link
US (2) US20160112724A1 (zh)
EP (1) EP3207710B1 (zh)
JP (1) JP6612338B2 (zh)
KR (1) KR102383621B1 (zh)
CN (1) CN107079176B (zh)
AU (1) AU2015332493B2 (zh)
CU (1) CU24676B1 (zh)
PE (1) PE20170758A1 (zh)
TW (1) TWI692242B (zh)
WO (1) WO2016061334A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160112724A1 (en) 2014-10-15 2016-04-21 Qualcomm Incorporated Hrd descriptor and buffer model of data streams for carriage of hevc extensions
JP6715467B2 (ja) * 2015-07-01 2020-07-01 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
GB201513316D0 (en) * 2015-07-29 2015-09-09 Flynn Thomas M P19-0 encoding engine
WO2017179592A1 (ja) * 2016-04-12 2017-10-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11856231B2 (en) * 2019-05-30 2023-12-26 Sharp Kabushiki Kaisha Systems and methods for signaling hypothetical reference decoder parameters in video coding
US11166033B2 (en) * 2019-06-06 2021-11-02 Qualcomm Incorporated Adaptation parameter set in access unit in video coding
MX2022003561A (es) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Gestión de mensajes de sei de anidamiento escalable.
WO2021134019A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Constraints on coding of layered video
KR20220115958A (ko) 2019-12-26 2022-08-19 바이트댄스 아이엔씨 코딩된 비트스트림들에서의 비디오 계층들의 시그널링에 대한 제약들
WO2021134055A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in parameter sets
WO2021137597A1 (ko) * 2019-12-30 2021-07-08 엘지전자 주식회사 Ols에 대한 dpb 파라미터를 사용하는 영상 디코딩 방법 및 그 장치
CN115004669A (zh) 2020-01-09 2022-09-02 字节跳动有限公司 不同sei消息的解码顺序
BR112022019382A2 (pt) 2020-03-30 2022-11-16 Lg Electronics Inc Método e aparelho de codificação/decodificação de vídeo para sinalizar parâmetro de dpb e mídia de gravação legível por computador que armazena fluxo de bits
WO2021201513A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 Sps 내 ptl, dpb 및 hrd 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
KR20220161426A (ko) * 2020-03-30 2022-12-06 엘지전자 주식회사 Dpb 파라미터의 개수 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
EP4131966A4 (en) * 2020-04-02 2024-03-06 Lg Electronics Inc IMAGE ENCODING/DECODING METHOD AND DEVICE FOR SIGNALING DPB-RELATED INFORMATION AND PTL-RELATED INFORMATION, AND COMPUTER-READABLE RECORDING MEDIUM IN WHICH BIT STREAM IS STORED
EP4128775A4 (en) * 2020-04-26 2024-03-27 Bytedance Inc CONDITIONAL SIGNALING OF SYNTAX ELEMENTS OF A VIDEO CODING
CN116057931A (zh) * 2020-06-06 2023-05-02 Lg电子株式会社 针对缩放性的基于子比特流提取的图像编码设备和方法
KR20230023721A (ko) * 2020-06-06 2023-02-17 엘지전자 주식회사 레이어 정보 시그널링 기반 영상 코딩 장치 및 방법
CN113225584B (zh) * 2021-03-24 2022-02-22 西安交通大学 一种基于编码和缓存的跨层联合的视频传输方法、系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930390A (en) 1996-03-28 1999-07-27 Intel Corporation Encoding/decoding signals using a remap table
US7343037B1 (en) * 2004-02-04 2008-03-11 Microsoft Corporation Dynamic, locally-adaptive, lossless palettization of color and grayscale images
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US10147202B2 (en) * 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
US9716899B2 (en) 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
BR112016012417B1 (pt) * 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
US10055189B2 (en) * 2014-01-02 2018-08-21 Vid Scale, Inc. Two-dimensional palette coding for screen content coding
US10567804B2 (en) * 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
KR102494913B1 (ko) * 2014-03-14 2023-02-06 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 팔레트 코딩
US10237557B2 (en) * 2014-06-20 2019-03-19 Hfi Innovation Inc. Method of run-length coding for palette predictor
US10306269B2 (en) 2014-10-10 2019-05-28 Qualcomm Incorporated Operation point for carriage of layered HEVC bitstream
US20160112724A1 (en) 2014-10-15 2016-04-21 Qualcomm Incorporated Hrd descriptor and buffer model of data streams for carriage of hevc extensions

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Information technology – Generic coding of moving pictures and associated audio information:Systems;H.222.0(10/14)";ITU;《ITU-T STANDARD》;20141030;前序、2.4.4、2.6、2.17节 *
"Study Text of ISO-IEC _13818-1_2013_PDAM7_Carriage_of_Layered_HEVC";GRUNEBERG K ET AL;《109.MPEG MEETING;MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11》;20140731;第3-5页 *
ITU."Information technology – Generic coding of moving pictures and associated audio information:Systems;H.222.0(10/14)".《ITU-T STANDARD》.2014, *

Also Published As

Publication number Publication date
CU24676B1 (es) 2023-09-07
US20180255324A1 (en) 2018-09-06
TW201620305A (zh) 2016-06-01
KR102383621B1 (ko) 2022-04-05
CU20170051A7 (es) 2017-08-08
JP2017535184A (ja) 2017-11-24
US10171842B2 (en) 2019-01-01
TWI692242B (zh) 2020-04-21
CN107079176A (zh) 2017-08-18
AU2015332493A1 (en) 2017-03-23
KR20170072201A (ko) 2017-06-26
BR112017007798A2 (pt) 2017-12-19
EP3207710B1 (en) 2021-07-14
EP3207710A1 (en) 2017-08-23
JP6612338B2 (ja) 2019-11-27
PE20170758A1 (es) 2017-07-04
AU2015332493B2 (en) 2019-06-06
WO2016061334A1 (en) 2016-04-21
US20160112724A1 (en) 2016-04-21

Similar Documents

Publication Publication Date Title
CN107079176B (zh) 用于hevc延伸承载的数据流的hrd描述符及缓冲器模型的设计
US9794626B2 (en) Partitioning schemes in multi-layer video coding
US9521393B2 (en) Non-nested SEI messages in video coding
US10567804B2 (en) Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
EP3363204B1 (en) Support of random access and switching of layers and sub-layers in multi-layer video files
US9998765B2 (en) Transport stream for carriage of video coding extensions
US20130222537A1 (en) Bitstream extraction in three-dimensional video
KR101906136B1 (ko) Hevc 확장들의 캐리지를 위한 동작 포인트들의 시그널링

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant