CN110519596B - 具有时域可缩放性的视频编码系统及其操作方法 - Google Patents

Abstract

本发明涉及具有时域可缩放性的视频编码系统及其操作方法。一种操作视频编码系统的方法包括：接收视频位流；从视频位流中提取视频语法；从视频语法中提取假设参考解码器(HRD)固定语法；从视频语法中提取HRD可变语法；基于HRD固定语法和HRD可变语法从视频位流中提取时域层；及基于时域层形成视频流，用于在设备上显示。

Description

具有时域可缩放性的视频编码系统及其操作方法

本申请是申请号为201380034961.8、申请日为2013年7月1日、名称为“具有时域可缩放性的视频编码系统及其操作方法”的发明专利申请的分案申请。更具体说，本分案申请是基于申请号为201710709615.5，申请日为2013年7月1日，发明名称为“具有时域可缩放性的视频编码系统及其操作方法”的分案申请的再次分案申请。

对相关申请的交叉引用

本申请包含涉及于2013年2月1日提交的标题为“VIDEO CODING SYSTEM WITHTEMPORAL LAYERS AND METHOD OF OPERATION THEREOF”的美国专利申请序列号13/757,624的主题。其主题通过全部引用被结合于此。

本申请包含涉及于2013年2月1日提交的标题为“VIDEO CODING SYSTEM WITH LOWDELAY AND METHOD OF OPERATION THEREOF”的美国专利申请序列号13/757,685的主题。其主题通过全部引用被结合于此。

本申请要求于2012年7月2日提交的美国临时专利申请序列号61/667,286、于2012年7月30日提交的美国临时专利申请序列号61/667,324、及于2013年2月1日提交的美国非临时专利申请序列号13/757,679的权益，并且其主题通过全部引用被结合于此。

技术领域

本发明一般而言涉及视频系统，并且更具体地，涉及用于具有时域可缩放性的视频编码的系统。

背景技术

近年来，高质量视频到智能电话、高清晰电视、汽车信息系统及其它带有屏幕的视频设备的部署出现巨大的增长。各种各样支持视频内容的信息设备需要多种类型的视频内容，以便提供给具有不同尺寸、质量和连接能力的设备。

视频已经从二维单一视图视频发展到具有高分辨率三维图像的多视图视频。为了使视频的传送更有效率，已尝试了不同的视频编码和压缩机制以便从最少的数据量中获得最佳的画面。运动图像专家组(MPEG)开发了标准，以允许基于标准化数据序列和算法的良好的视频质量。H.264(MPEG4第10部分)/高级视频编码设计在编码效率上有所提高，通常是先前MPEG-2格式的两倍。视频的质量取决于视频中数据的操作和压缩。视频可以被修改，以适应用于把视频发送到具有不同分辨率和功能集合的显示设备的不同带宽。但是，分发较大、较高质量的视频或更复杂的视频功能需要额外的带宽以及改进的视频压缩。

因此，对能够跨具有不同尺寸、分辨率和连接性的广泛范围的设备交付良好画面质量和特征的视频编码系统，仍然存在需求。鉴于对在不断增长的范围的智能设备上提供视频的需求不断增加，因此，找到这些问题的答案日益重要。鉴于日益增加的商业竞争压力，连同不断增长的消费者期望以及市场上有意义的产品差异机会的减少，因此，为这些问题找到答案至关重要。此外，节省成本、提高效率和性能并且满足竞争压力的需求为找到这些问题答案的关键必要性添加了更大的紧迫性。

一直以来都在寻找对于这些问题的解决方案，但是，此前的发展还没有教导或建议任何解决方案，因此，对于这些问题的解决方案长期以来困惑着本领域的技术人员。

发明内容

本发明提供了视频编码系统的操作方法，包括：接收视频位流；从视频位流中提取视频语法；从视频语法中提取假设参考解码器(HRD)固定语法；从视频语法中提取HRD可变语法；基于HRD固定语法和HRD可变语法从视频位流中提取时域层；及基于时域层形成视频流，用于在设备上显示。

本发明提供了视频编码系统，包括：用于接收视频位流的接收模块；耦合到接收模块的获取语法模块，用于从视频位流中提取视频语法和用于从视频语法中提取假设参考解码器(HRD)固定语法与HRD可变语法；耦合到获取语法模块的解码模块，用于基于HRD固定语法和HRD可变语法从视频位流中提取时域层；及耦合到解码模块的显示模块，用于基于时域层形成视频流，用于在设备上显示。

除了那些以上提到的或者作为替代，本发明的某些实施例还具有其它方面。通过在参考附图时阅读以下具体描述，这些方面对本领域技术人员将变得显然。

附图说明

图1是本发明实施例中视频编码系统的框图。

图2是视频位流的例子。

图3是HEVC VUI可缩放扩展语法的例子。

图4是HRD语法的例子。

图5是HRD固定语法的例子。

图6是HRD可变语法的例子。

图7是HEVC VUI第一扩展语法的例子。

图8是HEVC VUI第二扩展语法的例子。

图9是HRD基础语法的例子。

图10是HRD子层语法的例子。

图11是HRD VUI语法的例子。

图12是视频编码系统的功能框图。

图13是视频编码系统的控制流程。

图14是本发明还有的实施例中视频编码系统的操作方法流程图。

具体实施方式

以下实施例足够详细地进行描述，以便使本领域技术人员能够获得并使用本发明。应当理解，基于本公开内容，其它实施例将是显而易见的，并且在不背离本发明范围的情况下可以进行过程或机械上的变化。

在以下描述中，给出了许多具体的细节，以提供对本发明的透彻理解。但是，很显然，本发明没有这些具体细节也可以实践。为了避免模糊本发明，一些众所周知的电路、系统配置和工艺步骤没有具体地公开。

同样，示出系统实施例的附图是半图式的且不是按比例的，并且，特别地，一些维度是为了呈现清晰起见并且在附图中被非常夸大地示出。在公开和描述具有一些共同特征的多个实施例的地方，为了清晰以及易于对其说明、描述和理解起见，彼此之间类似或相同的特征将一般地用相同的标号进行描述。

术语“语法”意味着描述数据结构的元素集合。在本文中引用的术语“模块”在本发明中根据所使用的上下文可包括软件、硬件或其组合。

现在参考图1，其中示出了本发明实施例中视频编码系统100的框图。视频编码器102可以接收视频内容108并且将视频位流110发送到视频解码器104，用于解码并在显示接口120上显示。

视频编码器102可以接收并且编码视频内容108。视频编码器102用于把视频内容108编码成不同形式的单元。视频内容108定义为对象场景的数字表示。例如，视频内容108可以是一个或多个数字视频照相机的数字输出。

编码定义为计算地把视频内容108修改成不同的形式。例如，编码可以把视频内容108压缩成视频位流110，以减少传送视频位流110所需的数据量。

在另一个例子中，视频内容108可以通过被压缩、视觉强化、分隔成一个或多个视图、改变分辨率、改变纵横比或其组合进行编码。在另一个说明性例子中，视频内容108可以按照高效率视频编码(HEVC)/H.265草案标准进行编码。

视频编码器102可以编码视频内容108，以形成视频位流110。位流110定义为表示与视频内容108相关联的信息的一系列位。例如，视频位流110可以是表示视频内容108的压缩的位序列。在另一个例子中，视频位流110是表示随时间串行发送的视频内容108的一系列位。

视频编码器102可以以各种方式接收用于场景的视频内容108。例如，表示真实世界中对象的视频内容108可以用视频照相机、多个照相机捕获、用计算机生成、作为文件提供、或其组合。

视频内容108可包括各种视频特征。例如，视频内容108可包括单一视图视频、多视图视频、立体视频或其组合。在还有的例子中，视频内容108可以是四个或更多个照相机的多视图视频，用于支持三维(3D)视频观看，而无需用3D眼镜。

视频编码器102可利用视频语法114编码视频内容108以生成视频位流110。视频语法114定义为描述用于编码和解码视频内容108的编码方法的一组信息元素。视频位流110符合视频语法114，诸如高效率视频编码/H.265标准，并且可包括HEVC视频位流、超高清晰视频位流或其组合。视频位流110可包括视频语法114。

视频位流110可包括表示视频内容108的图像的信息以及关于视频内容108编码的相关联的控制信息。例如，视频位流110可包括视频语法114的实例以及视频内容108的实例。

视频编码系统100可包括视频解码器104，用于解码视频位流110。视频解码器104定义为用于接收视频位流110并修改视频位流110以形成视频流112的单元。

视频解码器104可以利用视频语法114解码视频位流110以形成视频流112。解码定义为计算地修改视频位流110以形成视频流112。例如，解码可以解压缩视频位流110以形成格式化为用于在显示接口120上显示的视频流112。

视频流112定义为视频内容108被计算地修改后的版本。例如，视频流112可包括视频内容108的具有不同分辨率的修改后的实例。视频流112可包括从视频内容108裁剪的解码的图像。

在还有的例子中，视频流112可具有与视频内容108不同的纵横比、不同的帧速率、不同的立体视图、不同的视图顺序、或其组合。视频流112可具有不同的视觉属性，包括不同的颜色参数、颜色平面、对比度、色度、或其组合。

视频编码系统100可包括显示处理器118。显示处理器118可以从视频解码器104接收视频流112，用于在显示接口120上显示。显示接口120是能够呈现视频流112的可视表示的单元。

例如，显示接口120可包括智能电话显示屏、数字投影仪、DVD播放器显示器、或其组合。虽然视频编码系统100把视频解码器104、显示处理器118和显示接口120示为单独的单元，但是应当理解，视频解码器104可包括显示处理器118和显示接口120。

视频编码器102可以通过通信路径106将视频位流110发送到视频解码器104。通信路径106可以是适于数据传输的各种网络。

在说明性例子中，视频编码系统100可包括编码的画面缓冲区(未示出)。编码的画面缓冲区可以充当包含存取单元的先进先出缓冲区，其中每个存取单元可包含视频位流110的一个帧。

在另一个说明性例子中，视频编码系统100可包括假设参考解码器(未示出)。假设参考解码器可以是用来约束视频位流110的可变性的解码器模型。

例如，通信路径106可包括无线通信、有线通信、光学、超声或其组合。卫星通信、蜂窝通信、蓝牙、红外线数据协会标准(IrDA)、无线保真(WiFi)和用于全球微波接入互操作性(WiMAX)是可包括在通信路径106中的无线通信的例子。以太网、数字用户线路(DSL)、光纤到户(FTTH)和普通旧式电话服务(POTS)是可包括在通信路径106中的有线通信的例子。

视频编码系统100可采用各种视频编码语法结构。例如，视频编码系统100可利用高效率视频编码/H.265工作草案版本编码和解码视频信息。视频编码语法在以下文档中进行描述，这些文档通过全部引用被结合：

B.Bross,W.Han,J Ohm,G.Sullivan,T.Wiegand，“High-Efficiency VideoCoding(HEVC)text specification draft 8”，JCTVC-11003d7,2012年7月(斯德哥尔摩)。

B.Bross，W.Han,J.Ohm，G.Sullivan，T.Wiegand，“High Efficiency VideoCoding(HEVC)text specification draft 7”JCTVC-11003d4，2012年5月(日内瓦)。

M.Haque，K.Sato，A.Tabatabai，T.Suzuki，“Simplification of HRD parametersfor Temporal Scalability”，JCTVC-J0272，2012年7月(斯德哥尔摩)。

M.Haque，K.Sato，A.Tabatabai，T.Suzuki，“HEVC VUI Parameters withExtension Hooks”，JCTVC-J0270，2012年7月(斯德哥尔摩)。

M.Haque，A.Tabatabai，“Extension of HEVC VUI Syntax Structure”，JCTVC-10263，2012年5月。

M.Haque，“AHG10:VUI and HRD syntax designs agreed by the BoG on VPSand NUH”，JCTVC-J0548rl，2012年7月。

现在参考图2，其中示出了视频位流110的例子。视频位流110包括图1的视频内容108的编码的实例，并且可以利用视频语法114进行解码以形成图1的视频流112，用于在图1的显示接口120上显示。

如由语法类型202所指示的，视频位流110可包括各种视频类型。语法类型202定义为用来编码和解码视频位流110的视频编码类型的指示器。例如，视频内容108可包括用于高级视频编码204(AVC)、可缩放视频编码206(SVC)、多视图视频编码208(MVC)、多视图视频加深度210(MVD)及立体视频212(SSV)的语法类型202。

高级视频编码204与可缩放视频编码206可用来编码基于单一视图的视频以形成视频位流110。基于单一视图的视频可包括从单一照相机产生的视频内容108。

多视图视频编码208、多视图视频加深度210及立体视频212可用来编码具有两个或更多个视图的视频内容108。例如，多视图视频可包括来自多个照相机的视频内容108。

视频语法114可包括条目标识符216。条目标识符216用于区分多个编码的视频序列的值。编码的视频序列可包括视频内容108的具有不同位速率、帧速率、分辨率、或用于单一视图视频、多视图视频或立体视频的可缩放层的实例。

视频语法114可包括条目计数214，用于识别视频内容108中与每个帧相关联的条目的数量。条目计数214是在视频内容108中表示的条目的最大数量。

视频语法114可包括迭代标识符218。迭代标识符218是区分视频内容108的各个迭代的值。

视频语法114可包括迭代计数220。迭代计数220是指示视频内容108的迭代的最大数量的值。

对于可缩放的视频编码，术语迭代计数可用于指示在可缩放视频编码的情况下，绑定到不同可缩放视频层的信息条目的数量。对于多视图视频编码，迭代计数可用于指示绑定到视频内容108的视图数量的操作点的数量。

例如，在可缩放视频编码中，视频内容108可被编码成包括带有附加的增强层的基础层，以形成视频位流110的多层实例。基础层可具有最低的分辨率、帧速率或质量。

增强层可包括带有用来提高视频质量的附加的剩余信息的逐步精化。可缩放视频层扩展可包括可扩展到覆盖可缩放视频编码的HEVC新基线标准。

视频语法114可包括操作标识符222。操作标识符222是区分视频内容108的各个操作点的值。操作点是用于多视图视频编码的信息条目呈现，诸如计时信息、网络抽象层(NAL)假设参考解码器(HRD)参数、视频编码层(VCL)HRD参数、pic_struct_present_flag元素或其组合。

视频语法114可包括操作计数224。操作计数224是指示视频内容108的操作的最大数量的值。

操作点绑定到从各种视图生成编码的视频序列，各种视图诸如由不同照相机，为多视图和3D视频产生的视图。对于多视图视频编码而言，取决于目标输出视图，操作点与具有目标输出视图和其它视图的视频位流110的子集相关联。

如果其它的视图是利用子位流提取过程得到的，则它们依赖于目标输出视图。多于一个的操作点可以与视频位流110的同一子集相关联。例如，解码操作点指解码视频位流的对应于该操作点的子集并且后续输出作为视频流112的一部分的目标输出视图，用于在图1的设备102上显示。

视频语法114可包括视图标识符226。视图标识符226是区分视频内容108的各个视图的值。

视频语法114可包括视图计数228。视图计数228是指示视频内容108的视图的最大数量的值。

例如，单一视图可以是由单个照相机产生的视频。多视图视频可以由位于不同位置和距场景中被观看的对象不同距离的多个照相机产生。

视频内容108可包括各种视频属性。例如，视频内容108可以是高分辨率视频，诸如超高清视频。视频内容108可具有3840×2160或更高像素的分辨率，包括7680×4320、8K x2K、4K x 2K或其组合的分辨率。虽然视频内容108支持高分辨率视频，但是应当理解，视频内容108也可以支持较低的分辨率，例如高清晰(HD)视频。视频语法114可支持视频内容108的分辨率。

视频内容108可支持各种帧速率，包括15帧每秒(fps)、24fps、25fps、30fps、50fps、60fps和120fps。虽然描述了各个帧速率，但是应当理解，视频内容108可支持零帧每秒及更高的、固定及可变的帧速率。视频语法114可支持视频内容108的帧速率。

视频位流110可包括一个或多个时域层230。时域层230定义为表示在指定的帧速率的视频流112的视频位流110的一部分。时域层230中的每一个都可以表示在以帧每秒(fps)表达的不同帧速率下的视频流112。时域层230可形成具有包括较低层的更高层的层次结构。

例如，时域层230的第一实例232可表示视频流112的15fps实例、时域层230的第二实例234可表示视频流112的30fps实例、时域层230的第三实例236可表示视频流112的60fps实例。时域层230中的每一个都包括表示视频内容108的视频帧238。

时域层230的第一实例232可表示把视频内容108编码以形成在15fps的视频流112的基础层。时域层230的第二实例234可表示诸如时域层230的第一实例232的基础层与视频内容108的在30fps的视频流112之间的不同。

第二实例234可包括表示基础层的帧与用于在30fps显示视频内容108所需的新帧之间的差异的帧。时域层230的第三实例236可表示时域层230的第二实例234与在60fps的视频内容之间的差异。

在说明性例子中，用于智能电话的图1的视频解码器104可以从视频位流110中提取在30fps的时域层230的第二实例234，其可包括来自第一实例232和第二实例234的信息。在视频位流110中来自时域层230的第三实例236的信息可被丢弃以减少视频位流110的大小。

现在参考图3，其中示出了HEVC VUI可缩放扩展语法302的例子。HEVC VUI可缩放扩展语法302提供用于图1的视频位流110中图2的时域层230的每个实例的信息。

HEVC VUI可缩放扩展语法302描述了图7的HEVC VUI可缩放扩展语法表中的元素。如在图7的HEVC VUI可缩放扩展语法表中所描述的，HEVC VUI可缩放扩展语法302的元素以层次结构布置。诸如第一或第二的术语仅用于识别的目的，并不是暗示任何次序、优先级、重要性或前后顺序。

HEVC VUI可缩放扩展语法302包括HEVC VUI可缩放扩展语法首部303，诸如vui_parameters_element。HEVC VUI可缩放扩展语法首部303是用于识别HEVC VUI可缩放扩展语法303的描述符。HEVC VUI可缩放扩展语法302用于编码和解码视频位流110。

HEVC VUI可缩放扩展语法302可包括时域层计数304，诸如vui_max_temporal_layers_minus1元素，用于识别图1的视频位流110中时域层230的数量。时域层计数304是时域层230的数量减1，以把时域层计数304映射到从0至时域层的数量减1。

HEVC VUI可缩放扩展语法302可包括字段序列标志306，诸如field_seq_flag。字段序列标志306指示编码的视频序列信息是否包括表示视频的字段。字段序列标志306可以具有值1，以指示字段的存在，以及值0，以指示没有字段存在。

HEVC VUI可缩放扩展语法302可包括计时信息存在标志308，诸如timing_info_present_flag元素，以指示视频位流110中是否包括附加的计时信息。计时信息存在标志308可具有值0，以指示没有附加的计时信息包括在视频位流110中。计时信息存在标志308可具有值1，以指示HEVC VUI可缩放扩展语法302包括滴答单元310、时间标度312和固定画面速率标志314。

HEVC VUI可缩放扩展语法302可包括滴答单元310，诸如num_units_in_tick元素。滴答单元310可以指示时钟在时间标度312的频率下操作的时间单元的数量。例如，滴答(tick)单元310可具有对应于可在视频位流110中表示的时间的最小间隔。

HEVC VUI可缩放扩展语法302可包括时间标度312，诸如time_scale元素。时间标度312是在一秒内时间单元的数量。

HEVC VUI可缩放扩展语法302可包括固定画面速率标志314，诸如fixed_pic_rate_flag元素。固定画面速率标志314可以指示在图1的视频流112的输出次序中两个连续画面之间的时域距离是否受约束。固定画面速率标志314具有值0，以指示没有应用约束，并且值1指示时域距离受约束。

HEVC VUI可缩放扩展语法302可包括NAL HRD参数存在标志316，诸如nal_hrd_parameters_present_flag元素。NAL HRD参数存在标志316可以指示NAL HRD参数信息的存在。

NAL HRD参数存在标志316可具有值1，以指示HRD参数结构318在视频位流110中存在，或者值0，以指示HRD参数结构318不存在。HRD参数结构318是在以下HRD语法部分中定义的HRD语法的实例。

HEVC VUI可缩放扩展语法302可包括VCL HRD参数存在标志320，诸如vel_hrd_parameters_present_flag元素。VCL HRD参数存在标志320可以指示VCL HRD参数信息的存在。VCL HRD参数存在标志320可具有值1，以指示HRD参数结构318在视频位流110中存在，或者值0，以指示HRD参数结构318不存在。

诸如hrd_parameters元素的HRD参数结构318包括对时域层230的每一个都变化的HRD参数。HRD参数结构318在HRD语法部分中详细定义。

如果NAL HRD参数存在标志316或VCL HRD参数存在标志320具有值1，则HEVC VUI可缩放扩展语法302可包括低延迟标志322和子画面CPB参数存在标志324。HEVC VUI可缩放扩展语法302可包括低延迟标志322，诸如low_delay_hrd_flag元素。低延迟标志322可以指示HRD操作模式。

HEVC VUI可缩放扩展语法302可包括子画面CPB参数存在标志324，诸如sub_pic_cpb_params_present_flag元素。子画面CPB参数存在标志324可以指示子画面CPB参数是否在视频位流110中存在。

如果子画面CPB参数存在标志324具有值1，则HEVC VUI可缩放扩展语法302可包括子单元滴答(subunit ticks)326，诸如num_of_units_in_sub_tick元素。子单元滴答326可以指示在去除计时辅助增强信息(SEI)消息之前等待的滴答数量。

HEVC VUI可缩放扩展语法302可包括位流限制标志328，诸如bitstream_restriction_flag元素。位流限制标志328指示编码的视频序列位流限制参数在视频位流110中存在。

如果位流限制参数包括在视频位流110中，则位流限制标志328具有值1，并且如果位流限制参数不存在于视频位流110中，则值为0。位流限制参数可包括块固定结构标志330、运动向量标志332、每画面单位(denomination)最大字节数334、每最小cu单位最大位数336、最大运动向量水平长度338、及最大运动向量垂直长度340。

诸如tiles_fixed_structure_flag元素的块固定结构标志330可以指示编码的视频序列中的每个画面具有相同数量的块。块固定结构标志330可具有值1，以指示固定的块，以及值0，以指示相反。

诸如motion_vector_over_pic_boundaries_flag元素的运动向量标志332可以指示在画面边界之外没有样本被用于预测。如果运动向量标志332具有值1，则在画面边界之外的一个或多个样本可被用于预测，否则，没有样本被用于预测。

诸如max_bytes_per_pic_denom元素的每画面单位最大字节数334是指示用于与编码的视频序列中任何编码的画面相关联的VCL NAL单元大小的总和的最大字节数的值。如果每画面单位最大字节数334具有值0，则指示没有限制。否则，它是位流一致性的要求，即，在视频位流110中不应该有编码的画面被比每画面单位最大字节数334更多的字节表示。

诸如max_bits_per_min_cu_denom元素的每最小cu单位最大位数336是指示对于编码的视频序列的任何画面中的任何编码块的用于编码单元数据的编码的位数量的上界的值。如果每最小cu单位最大位数336具有值0，则指示没有限制。否则，它是位流一致性的要求，即，编码单元在位流中不应该被多于每最小cu单位最大位数336表示。

诸如log2_max_mv_length_horizontal元素的最大运动向量水平长度338指示用于视频位流110中所有画面的解码的水平运动向量分量的最大绝对值。诸如log2_max_mv_length_vertical元素的最大运动向量垂直长度340指示用于视频位流110中所有画面的解码的垂直运动向量分量的最大绝对值。

HEVC VUI可缩放扩展语法302可包括诸如vui_extension_flag元素的VUI扩展标志342，用于指示VUI扩展信息包括在视频位流110中。VUI扩展标志342可具有值1，以指示VUI扩展信息包括在视频位流110中，并且值0指示相反。

HEVC VUI可缩放扩展语法302可包括更多RBSP数据标志344，诸如more_rbsp_data元素，用于指示附加的数据在RBSP中。当附加的数据在RBSP中时，更多RBSP数据标志344可具有值1，否则具有值0。

HEVC VUI可缩放扩展语法302可包括VUI扩展数据标志346，诸如VUI_extension_data_flag元素，用于指示VUI扩展数据包括在视频位流110中。当VUI扩展数据包括在视频位流110中时，VUI扩展数据标志346可具有值1，否则具有值0。

HEVC VUI可缩放扩展语法302可包括RBSP尾部位348，诸如rbsp_trailing_bit元素，它是用于标记RBSP数据的数据结构。RBSP尾部位348可包括RBSP数据，诸如sbsp_stop_one_bit元素，用于为RBSP指示停止位。

HEVC VUI可缩放扩展语法302可包括循环结构来表示时域层特定的信息。循环可包括迭代器，诸如[i]，用于指示从0至时域层计数304的、与时域层230的每个实例相关联的信息。例如，HEVC VUI可缩放扩展语法302循环结构可包括字段序列标志306、计时信息存在标志、滴答单元310、时间标度312、固定画面速率标志314、NAL HRD参数存在标志316、VCLHRD参数存在标志320、HRD参数结构318、低延迟标志322、子画面CPB参数存在标志324、及子单元滴答326。

研究发现，利用HEVC VUI可缩放扩展语法302编码和解码图1的视频内容108以支持时域层230的每个实例提供了对时域层230的每个实例的表示更细粒度的控制。为时域层230的每个实例提供信息提高了视频流112的显示质量。

现在参考图4，其中示出了HRD语法402的例子。HRD语法402描述与假设参考解码器相关联的参数。

HRD语法402包括如在图4的HRD基础语法表中描述的元素。如在图4的HRD基础语法表中所描述的，HRD语法402的元素用层次结构进行布置。

HRD语法402可包括HRD语法首部404，诸如hrd_parameters元素。HRD语法首部404是用于识别HRD语法402的描述符。

HRD语法402可包括CPB计数408，诸如cpb_cnt_minus1元素。CPB计数408可以指示具有受限的位速率和CPB大小值的备选交付计划的数量。

HRD语法402可包括位速率标度410，诸如bit_rate_scale元素。位速率标度410规定编码的画面缓冲区(CPB)的最大输入位速率。

HRD语法402可包括CPB大小标度412，诸如cpb_size_scale元素。CPB大小标度412用于确定编码的画面缓冲区的大小。

HRD语法402可包括循环结构，以为编码的画面缓冲区的每个实例定义一组参数。循环结构基于诸如SchedSelidx元素的计划选择索引414确定大小(dimensioned)。HRD语法402可包括用于编码的画面缓冲区的每个实例的位速率值416、CPB大小值418及CBR标志420。

HRD语法402可包括位速率值416，诸如bit_rate_value_minus1元素。位速率值416可来规定用于编码的画面缓冲区的每个实例的最大输入位速率。

HRD语法402可包括CPB大小值418，诸如cpb_size_value_minus1元素。CPB大小值418可用来确定编码的画面缓冲区的每个实例的大小。

HRD语法402可包括CBR标志420，诸如cbr_flag元素。CBR标志420指示用于为编码的画面缓冲区的每个实例解码图1的视频位流110的操作模式。如果CBR标志420具有值1，则假设的流交付计划(HSS)以恒定的位速率模式操作。否则，视频位流110以间歇性的位速率模式操作。

研究发现，通过对编码的画面缓冲区的各个实例的处理启用更细粒度的控制，利用HRD语法402提供了改进的性能。通过利用CPB的不同实例之间的各个差异，利用HRD语法402的各个实例可以提供改进的处理速度。

HRD语法402可包括初始CPB去除延迟长度422，诸如initial_cpb_removal_delay_length_minus1元素。初始CPB去除延迟长度422指示缓冲周期SEI消息的元素initial_cpb_removal_delay和initial_cpb_removal_delay_offset的位长度。

HRD语法402可包括CPB去除延迟长度424，诸如cpb_removal_delay_length_minus1元素。CPB去除延迟长度424可以规定画面计时SEI消息中元素cpb_removal_delay的位长度。

HRD语法402可包括DPB输出延迟长度426，诸如dpb_output_delay_length_minus1元素。DPB输出延迟长度426指示解码的画面缓冲区(DPB)的大小。

HRD语法402可包括时间偏移长度428，诸如time_offset_length元素。时间偏移长度428指示time_offset元素以位表示的长度。

HRD语法402可以表示一组用于视频位流110的规范要求。HRD语法402可用来控制视频位流110的位速率。例如，HRD语法402可包括用于控制可变或恒定位速率操作、低延迟行为及延迟容忍行为的参数。

在另一个例子中，利用诸如位速率标度410、CPB计数408和CPB大小标度412的参数，HRD语法402可用来控制编码的画面缓冲区性能、编码的画面缓冲区数量及编码的画面缓冲区大小。利用诸如DPB输出延迟长度426的参数，HRD语法402可用于控制解码的画面缓冲区。

视频位流110可包括NAL HRD参数和VCL HRD参数。NAL HRD参数涉及具有非VCLNAL数据单元的视频位流110。VCL HRD参数涉及具有VCL NAL数据单元的视频位流110。

图3的HRD参数结构318是描述用于假设参考解码器的参数的数据结构的实例。例如，HRD参数结构318可通过HRD语法402进行描述。

研究发现，利用HRD语法402编码和解码图1的视频内容108可以减小视频位流110的大小并且降低显示图1的视频流112所需的视频缓冲量。减小视频位流110的大小增加了功能性并且提高了视频流112的显示性能。

现在参考图5，其中示出了HRD固定语法502的例子。HRD固定语法502描述与假设参考解码器操作相关联的参数，这些参数不基于图2的时域层230、子层或CPB变化。

HRD固定语法502包括如在图5的HRD固定语法表中所描述的元素。如在图5的HRD固定语法表中所描述的，HRD固定语法502的元素用层次结构进行布置。

HRD固定语法502可包括HRD固定语法首部504，诸如hrd_parameters_fixed元素。HRD固定语法首部504是用于识别HRD固定语法502的描述符。

HRD固定语法502可包括位速率标度410，诸如bit_rate_scale元素。位速率标度410规定编码的画面缓冲区(CPB)的最大输入位速率。

HRD固定语法502可包括CPB大小标度412，诸如cpb_size_scale元素。CPB大小标度412用于确定编码的画面缓冲区的大小。

HRD固定语法502可包括初始CPB去除延迟长度422，诸如initial_cpb_removal_delay_length_minus1元素。初始CPB去除延迟长度422指示缓冲周期SEI消息的元素initial_cpb_removal_delay和initial_cpb_removal_delay_offset的位长度。

HRD固定语法502可包括CPB去除延迟长度424，诸如cpb_removal_delay_length_minus1元素。CPB去除延迟长度424可以规定元素cpb_removal_delay在画面计时SEI消息中的位长度。

HRD固定语法502可包括DPB输出延迟长度426，诸如dpb_output_delay_length_minus1元素。DPB输出延迟长度426指示解码的画面缓冲区(DPB)的大小。

HRD固定语法502可包括时间偏移长度428，诸如time_offset_length元素。时间偏移长度428指示time_offset元素以位表示的长度。

图3的HRD参数结构318是描述用于假设参考解码器的参数的数据结构的实例。例如，HRD参数结构318可通过HRD固定语法502进行描述。

研究发现，通过启用对解码过程处理的一致性控制，利用HRD固定语法502提供了简化的性能及降低的复杂性。通过在全部的时域层230上共享单一的一组用于HRD固定语法502的恒定值，利用HRD固定语法502可以降低复杂性。

现在参考图6，其中示出了HRD可变语法602的例子。HRD可变语法602描述与假设参考解码器操作相关联的可变参数。

HRD可变语法602包括如在图6的HRD可变语法表中所描述的元素。如在图6的HRD可变语法表中所描述的，HRD可变语法602的元素用层次结构进行布置。

HRD可变语法602可包括HRD可变语法首部604，诸如hrd_parameters_var元素。HRD可变语法首部604是用于识别HRD可变语法602的描述符。

HRD可变语法602可包括CPB计数408，诸如cpb_cnt_minus1元素。CPB计数408可以指示在图1的视频位流110中备选的CPB说明的数量。

HRD可变语法602可包括循环结构，以定义一组用于编码的画面缓冲区的每个实例的参数。循环结构基于诸如SchedSelidx元素的计划选择索引414确定大小。HRD可变语法602可包括用于编码的画面缓冲区的每个实例的位速率值416、CPB大小值418及CBR标志420。

HRD可变语法602可包括位速率值416，诸如bit_rate_value_minus1元素。位速率值416可来规定用于编码的画面缓冲区的每个实例的最大输入位速率。

HRD可变语法602可包括CPB大小值418，诸如cpb_size_value_minus1元素。CPB大小值418可用来确定编码的画面缓冲区的每个实例的大小。

HRD可变语法602可包括CBR标志420，诸如cbr_flag元素。CBR标志420指示用于为编码的画面缓冲区的每个实例解码视频位流110的操作模式。

HRD参数结构318是描述用于假设参考解码器的参数的数据结构的实例。例如，HRD参数结构318可通过HRD可变语法602进行描述。

研究发现，通过对时域层230的编码的画面缓冲区的处理启用更细粒度的控制，利用HRD可变语法602提供了改进的性能。通过利用时域层230的不同实例之间的各个差异，利用HRD可变语法602的各个实例可以提供改进的处理速度。

现在参考图7，其中示出了HEVC VUI第一扩展语法702的例子。HEVC VUI第一扩展语法702提供用于图1的视频位流110中图2的时域层230的每个实例的信息。

HEVC VUI第一扩展语法702描述图7的HEVC VUI第一扩展语法表中的元素。如在图7的HEVC VUI第一扩展语法表中所描述的，HEVC VUI第一扩展语法702的元素用层次结构进行布置。

图3的HEVC VUI可缩放扩展语法302可以描述图1的视频编码系统100的VUI参数。例如，HEVC VUI可缩放扩展语法302可以是HEVC VUI第一扩展语法702的实例。诸如第一或第二的术语仅用于识别的目的，并不指示任何次序、优先级、重要性或前后顺序。

HEVC VUI第一扩展语法702包括HEVC VUI第一扩展语法首部704，诸如vui_parameters元素。HEVC VUI第一扩展语法首部704是用于识别HEVC VUI第一扩展语法702的描述符。HEVC VUI第一扩展语法702用于编码和解码视频位流110。

HEVC VUI第一扩展语法702可包括HRD固定参数结构706，诸如hrd_parameters_fixed元素。HRD固定参数结构706是图5的HRD固定语法502的实例。HRD固定参数结构706包括对于全部时域层230都恒定的HRD参数。HRD固定参数结构706包括用于NAL HRD和VCL假设参考解码器两者的信息。

HEVC VUI第一扩展语法702可包括时域层计数304，诸如vui_max_temporal_layers_minus1元素，用于识别图1的视频位流110中时域层230的数量。HEVC VUI第一扩展语法702可包括字段序列标志306，诸如field_seq_flag。字段序列标志306指示编码的视频序列信息是否包括表示视频的字段。

诸如timing_info_present_flag元素的计时信息存在标志308可以指示视频位流110中是否包括附加的计时信息。计时信息存在标志308可具有值0，以指示没有附加的计时信息包括在视频位流110中。计时信息存在标志308可具有值1，以指示HEVC VUI第一扩展语法702包括滴答单元310、时间标度312及固定画面速率标志314。

HEVC VUI第一扩展语法702可包括滴答单元310，诸如num_units_in_tick元素。滴答单元310可以指示时钟在时间标度312的频率操作的时间单元数量。

HEVC VUI第一扩展语法702可包括时间标度312，诸如time_scale元素。时间标度312是在一秒内的时间单元数量。

HEVC VUI第一扩展语法702可包括固定画面速率标志314，诸如fixed_pic_rate_flag元素。固定画面速率标志314可以指示在图1的视频流112的输出次序中两个连续画面之间的时域距离是否受约束。

HEVC VUI第一扩展语法702可包括NAL HRD参数存在标志316，诸如nal_hrd_parameters_present_flag元素。NAL HRD参数存在标志316可以指示NAL HRD参数信息的存在。NAL HRD参数存在标志316可具有值1，以指示HRD可变参数结构708在视频位流110中存在，或者值0，以指示HRD可变参数结构708不存在。

HEVC VUI第一扩展语法702可包括VCL HRD参数存在标志320，诸如vel_hrd_parameters_present_flag元素。VCL HRD参数存在标志320可以指示VCL HRD参数信息的存在。VCL HRD参数存在标志320可具有值1，以指示HRD可变参数结构708在视频位流110中存在，或者值0，以指示HRD可变参数结构708不存在。

诸如hrd_parameters_var元素的HRD可变参数结构708包括对时域层230中的每一个都变化的HRD参数。HRD可变参数结构708在HRD可变语法部分中详细定义。HRD可变参数结构708包括图4的CPB计数408、图4的位速率值416、图4的CPB大小值418、及图4的CBR标志420。HRD可变参数结构708对时域层230中的每一个都可变化。

如果NAL HRD参数存在标志316或VCL HRD参数存在标志320具有值1，则HEVC VUI第一扩展语法702可包括低延迟标志322和子画面CPB参数存在标志324。HEVC VUI第一扩展语法702可包括低延迟标志322，诸如low_delay_hrd_flag元素。低延迟标志322可以指示HRD操作的模式。

HEVC VUI第一扩展语法702可包括子画面CPB参数存在标志324，诸如sub_pic_cpb_params_present_flag元素。子画面CPB参数存在标志324可以指示子画面CPB参数是否在视频位流110中存在。

如果子画面CPB参数存在标志324具有值1，则HEVC VUI第一扩展语法702可包括子单元滴答326，诸如num_of_units_in_sub_tick元素。子单元滴答326可以指示在去除计时辅助增强信息(SEI)消息之前等待的滴答数量。

HEVC VUI第一扩展语法702可包括位流限制标志328，诸如bitstream_restriction_flag元素。位流限制标志328指示编码的视频序列位流限制参数在视频位流110中存在。

如果位流限制参数包括在视频位流110中，则位流限制标志328具有值1，并且如果位流限制参数在视频位流110中不存在，则值为0。位流限制参数可包括块固定结构标志330、运动向量标志332、每画面单位最大字节数334、每最小cu单位最大位数336、最大运动向量水平长度338、及最大运动向量垂直长度340。

诸如tiles_fixed_structure_flag元素的块固定结构标志330可以指示编码的视频序列中的每个图像都具有相同数量的块。诸如motion_vector_over_pic_boundaries_flag元素的运动向量标志332可以指示在画面边界之外没有样本被用于预测。

诸如max_bytes_per_pic_denom元素的每画面单位最大字节数334是指示用于与编码的视频序列中任何编码的画面相关联的VCL NAL单元大小的总和的最大字节数的值。诸如max_bits_per_min_cu_denom元素的每最小cu单位最大位数336是指示对于编码的视频序列的任何画面中的任何编码块的用于编码单元数据的编码的位数量的上界的值。

诸如log2_max_mv_length_horizontal元素的最大运动向量水平长度338指示对于视频位流110中所有画面的用于解码的水平运动向量分量的最大绝对值。诸如log2_max_mv_length_vertical元素的最大运动向量垂直长度340指示对于视频位流110中所有画面的解码的垂直运动向量分量的最大绝对值。

HEVC VUI第一扩展语法702可包括诸如vui_extension_flag元素的VUI扩展标志342，用于指示VUI扩展信息包括在视频位流110中。VUI扩展标志342可具有值1，以指示VUI扩展信息包括在视频位流110中，并且值0指示相反。

HEVC VUI第一扩展语法702可包括更多RBSP数据标志344，诸如more_rbsp_data元素，用于指示附加的数据在RBSP中。当附加的数据在RBSP中时，更多RBSP数据标志344可具有值1，否则具有值0。

HEVC VUI第一扩展语法702可包括VUI扩展数据标志346，诸如VUI_extension_data_flag元素，用于指示VUI扩展数据包括在视频位流110中。当VUI扩展数据包括在视频位流110中时，VUI扩展数据标志346可具有值1，否则具有值0。

HEVC VUI第一扩展语法702可包括RBSP尾部位348，诸如rbsp_trailing_bit元素，它是用于标记RBSP数据的数据结构。RBSP尾部位348可包括RBSP数据，诸如sbsp_stop_one_bit元素，用于为RBSP指示停止位。

HEVC VUI第一扩展语法702可包括循环结构来表示时域层特定的信息。循环可包括迭代器，诸如[i]，用于指示从0至时域层计数304的、与时域层230的每个实例相关联的信息。例如，HEVC VUI第一扩展语法702循环结构可包括字段序列标志306、计时信息存在标志、滴答单元310、时间标度312、固定画面速率标志314、NAL HRD参数存在标志316、VCL HRD参数存在标志320、HRD可变参数结构708、低延迟标志322、子画面CPB参数存在标志324、及子单元滴答326。

HEVC VUI第一扩展语法702包括在表示时域层特定信息的循环结构之外的HRD固定参数结构706。HRD可变参数结构708是表示时域层特定信息的循环结构的一部分。HRD可变参数结构708可包括用于NAL HRD和VCL HRD两者的参数。

研究发现，利用具有对全部的时域层230都恒定的HRD固定参数结构706和对时域层230的每个都可变的HRD可变参数结构708的HEVC VUI第一扩展语法702编码和解码图1的视频内容108提供了降低的复杂性和增强的性能。通过对解码过程的处理启用一致性控制，HRD固定参数结构706提供了简化的性能和降低的复杂性。HRD可变参数结构708提供了对时域层230的每个实例的表示更细粒度的控制。

现在参考图8，其中示出了HEVC VUI第二扩展语法802的例子。HEVC VUI第二扩展语法802提供用于图1的视频位流110中

图2的时域层230的每个实例的信息。

HEVC VUI第二扩展语法802描述图8的HEVC VUI第二扩展语法表中的元素。如在图8的HEVC VUI第二扩展语法表中所描述的，HEVC VUI第二扩展语法802的元素用层次结构进行布置。

HEVC VUI第二扩展语法802包括HEVC VUI第二扩展语法首部804，诸如vui_parameters元素。HEVC VUI第二扩展语法首部804是用于识别HEVC VUI第二扩展语法802的描述符。HEVC VUI第二扩展语法802用于编码和解码视频位流110。

图3的HEVC VUI可缩放扩展语法302可描述图1的视频编码系统100的VUI参数。例如，HEVC VUI可缩放扩展语法302可以是HEVC VUI第二扩展语法802的实例。诸如第一或第二的术语仅用于识别的目的，并不指示任何次序、优先级、重要性或前后顺序。

HEVC VUI第二扩展语法802可包括时域层计数304，诸如vui_max_temporal_layers_minus1元素，用于识别图1的视频位流110中时域层230的数量。时域层计数304是时域层230的数量减1，以便从0至时域层的数量减1映射时域层计数304。

HEVC VUI第二扩展语法802可包括HRD NAL固定参数结构806，诸如hrd_parameters_fixed_nal元素。HRD NAL固定参数结构806包括用于网络抽象层的HRD参数，这些参数对于全部的时域层230恒定。

HEVC VUI第二扩展语法802可包括HRD VCL固定参数结构808，诸如hrd_parameters_fixed_vcl元素。HRD VCL固定参数结构808包括用于视频编码层的HRD参数，这些参数对于全部的时域层230恒定。

HRD NAL固定参数结构806可以指代把VCL编码器的片输出封装成适于在分组网络上传输的NAL单元的网络抽象层参数。VCL视频数据和非VCL元数据可被格式化成用于各种网络并为在各种网络类型上传输视频108提供网络友好性。

HRD VCL固定参数结构808可包括信号处理相关的参数，并且可以用有效率的方式表示视频内容108。视频编码层参数可用来编码和解码片，片是包含用于帧的部分的像素的编码块的位串。

HRD NAL固定参数结构806和HRD VCL固定参数结构808的语法结构可具有与图7的HRD固定参数结构708相同的元素。视频位流110可包括多层视频元数据信息，包括网络抽象层与视频编码层在内。HRD NAL固定参数结构806可应用到视频位流110中的网络抽象层信息。HRD VCL固定参数结构808可应用到视频位流110中的视频编码层信息。

视频位流110可包括来自图1的视频内容108的帧。帧可被划分成多个片，片可以表示帧内像素的块。

视频位流110可包括具有信息载荷的网络抽象层分组。信息载荷可包括VCL和非VCL信息，分别诸如视频信息和元数据。

HEVC VUI第二扩展语法802可包括字段序列标志306，诸如field_seq_flag。字段序列标志306指示编码的视频序列信息是否包括表示视频的字段。视频序列标志306可具有值1，以指示字段的存在，以及值0，以指示字段不存在。

诸如timing_info_present_flag元素的计时信息存在标志308可以指示附加的计时信息是否包括在视频位流110中。计时信息存在标志308可具有值0，以指示没有附加的计时信息包括在视频位流110中。计时信息存在标志308可具有值1，以指示HEVC VUI第二扩展语法802包括滴答单元310、时间标度312及固定画面速率标志314。

HEVC VUI第二扩展语法802可包括滴答单元310，诸如num_units_in_tick元素。滴答单元310可以指示时钟在时间标度312的频率操作的时间单元数量。

HEVC VUI第二扩展语法802可包括时间标度312，诸如time_scale元素。时间标度312是在一秒内时间单元的数量。

HEVC VUI第二扩展语法802可包括固定画面速率标志314，诸如fixed_pic_rate_flag元素。固定画面速率标志314可以指示在图1的视频流112的输出次序中两个连续画面之间的时域距离是否受约束。

HEVC VUI第二扩展语法802可包括NAL HRD参数存在标志316，诸如nal_hrd_parameters_present_flag元素。NAL HRD参数存在标志316可以指示NAL HRD参数信息的存在。NAL HRD参数存在标志316可具有值1，以指示HRD可变参数结构708在视频位流110中存在，或者值0，以指示HRD可变参数结构708不存在。

HEVC VUI第二扩展语法802可包括VCL HRD参数存在标志320，诸如vel_hrd_parameters_present_flag元素。VCL HRD参数存在标志320可以指示VCL HRD参数信息的存在。VCL HRD参数存在标志320可具有值1，以指示HRD可变参数结构708在视频位流110中存在，或者值0，以指示HRD可变参数结构708不存在。

诸如hrd_parameters_var元素的HRD可变参数结构708包括对时域层230的每个都变化的HRD参数。HRD可变参数结构708在HRD可变语法部分中详细定义。HRD可变参数结构708包括CPB计数408、位速率值416、CPB大小值418、及CBR标志420。HRD可变参数结构708对时域层230的每个都可变化。

如果NAL HRD参数存在标志316或VCL HRD参数存在标志320具有值1，则HEVC VUI第二扩展语法802可包括低延迟标志322和子画面CPB参数存在标志324。HEVC VUI第二扩展语法802可包括低延迟标志322，诸如low_delay_hrd_flag元素。低延迟标志322可以指示HRD操作的模式。

HEVC VUI第二扩展语法802可包括子画面CPB参数存在标志324，诸如sub_pic_cpb_params_present_flag元素。子画面CPB参数存在标志324可以指示子画面CPB参数是否在视频位流110中存在。

如果子画面CPB参数存在标志324具有值1，则HEVC VUI第二扩展语法802可包括子单元滴答326，诸如num_of_units_in_sub_tick元素。子单元滴答326可以指示在去除计时辅助增强信息(SEI)消息之前等待的滴答数量。

HEVC VUI第二扩展语法802可包括位流限制标志328，诸如bitstream_restriction_flag元素。位流限制标志328指示编码的视频序列位流限制参数在视频位流110中存在。

如果位流限制参数包括在视频位流110中，则位流限制标志328具有值1，并且如果位流限制参数在视频位流110中不存在，则值为0。位流限制参数可包括块固定结构标志330、运动向量标志332、每画面单位最大字节数334、每最小cu单位最大位数336、最大运动向量水平长度338、及最大运动向量垂直长度340。

诸如tiles_fixed_structure_flag元素的块固定结构标志330可以指示在编码的视频序列中每个图像都具有相同数量的块。诸如motion_vector_over_pic_boundaries_flag元素的运动向量标志332可以指示在画面边界之外没有样本被用于预测。

诸如max_bytes_per_pic_denom元素的每画面单位最大字节数334是指示用于与编码的视频序列中任何编码的画面相关联的VCL NAL单元大小的总和的最大字节数的值。诸如max_bits_per_min_cu_denom元素的每最小cu单位最大位数336是指示对于编码的视频序列的任何画面中的任何编码块的用于编码单元数据的编码的位数量的上界的值。

诸如log2_max_mv_length_horizontal元素的最大运动向量水平长度338指示用于视频位流110中所有画面的解码的水平运动向量分量的最大绝对值。诸如log2_max_mv_length_vertical元素的最大运动向量垂直长度340指示用于视频位流110中所有画面的解码的垂直运动向量分量的最大绝对值。

HEVC VUI第二扩展语法802可包括诸如vui_extension_flag元素的VUI扩展标志342，用于指示VUI扩展信息包括在视频位流110中。VUI扩展标志342可具有值1，以指示VUI扩展信息包括在视频位流110中，并且值0指示相反。

HEVC VUI第二扩展语法802可包括更多RBSP数据标志344，诸如more_rbsp_data元素，用于指示附加的数据在RBSP中。当附加的数据在RBSP中时，更多RBSP数据标志344可具有值1，否则具有值0。

HEVC VUI第二扩展语法802可包括VUI扩展数据标志346，诸如VUI_extension_data_flag元素，用于指示VUI扩展数据包括在视频位流110中。当VUI扩展数据包括在视频位流110中时，VUI扩展数据标志346可具有值1，否则具有值0。

HEVC VUI第二扩展语法802可包括RBSP尾部位348，诸如rbsp_trailing_bit元素，它是用于标记RBSP数据的数据结构。RBSP尾部位348可包括RBSP数据，诸如sbsp_stop_one_bit元素，用于为RBSP指示停止位。

HEVC VUI第二扩展语法802可包括循环结构来表示时域层特定的信息。循环可包括迭代器，诸如[i]，用于指示从0至时域层计数304的、与时域层230的每个实例相关联的信息。例如，HEVC VUI第二扩展语法802循环结构可包括字段序列标志306、计时信息存在标志、滴答单元310、时间标度312、固定画面速率标志314、NAL HRD参数存在标志316、VCL HRD参数存在标志320、HRD可变参数结构708、低延迟标志322、子画面CPB参数存在标志324、及子单元滴答326。

研究发现，通过从循环结构中去除HRD NAL固定参数结构806和HRD VCL固定参数结构808，利用具有HRD NAL固定参数结构806和HRD VCL可变参数结构808的HEVC VUI第二扩展语法802编码和解码图1的视频内容108提供了降低的复杂性。为全部时域层230提供恒定值简化了图1的视频编码系统100的操作。

现在参考图9，其中示出了HRD基础语法902的例子。HRD基础语法902描述了与假设参考解码器操作相关联的参数。

HRD基础语法902包括如在图9的HRD语法表中所描述的元素。如在图9的HRD语法表中所描述的，HRD基础语法902的元素用层次结构进行布置。

HRD基础语法902可包括HRD基础语法首部904，诸如hrd_parameters元素。HRD基础语法首部904是用于识别HRD基础语法902的描述符。

HRD基础语法902可包括图3的HRD参数结构318，其包括计时存在信息、NAL HRD参数、VCL HRD参数、及固定画面速率信息。计时存在信息可包括计时信息存在标志308、滴答单元310、及时间标度312。

诸如timing_info_present_flag元素的计时信息存在标志308可以指示计时信息是否包括在图1的视频位流110中。计时信息存在标志308可具有值1，以指示计时信息在视频位流110中，并且值0指示计时信息不包括在视频位流110中。

诸如num_units_in_tick元素的滴答单元310可指示时钟在时间标度312的频率操作的时间单元数量。例如，滴答单元310可具有对应于可在视频位流110中表示的时间的最小间隔。诸如time_scale元素的时间标度312是在一秒内经过的时间单元的数量。

诸如nal_hrd_parameters_present_flag元素的NAL HRD参数存在标志316可以指示NAL HRD参数信息的存在。NAL HRD参数存在标志316可具有值1，以指示HRD基础语法902存在，或者值0，以指示HRD基础语法902在视频位流110中不存在。

诸如vel_hrd_parameters_present_flag元素的VCL HRD参数存在标志320可以指示用于VCL的HRD信息的存在。VCL HRD参数存在标志320可具有值1，以指示HRD基础语法902存在，或者值0，以指示HRD基础语法902在视频位流110中不存在。

如果NAL HRD参数存在标志316或VCL HRD参数存在标志320具有值1，则HRD基础语法902可包括附加的元素。例如，HRD基础语法902可包括子画面CPB参数存在标志324、位速率标度410、CPB大小标度412、初始CPB去除延迟长度422、CPB去除延迟长度424、及DPB输出延迟长度426。

诸如sub_pic_cpb_params_present_flag元素的子画面CPB参数存在标志324可以指示子画面CPB参数是否在视频位流110中存在。如果子画面CPB参数存在标志324具有值1，则HRD基础语法902可包括滴答因子(divisor)912，诸如tick_divisor_nimus2元素，以规定可在视频位流110中表示的时间的最小间隔。

HRD基础语法902可包括位速率标度410，诸如bit_rate_scale元素。位速率标度410规定编码的画面缓冲区(CPB)的最大输入位速率。

HRD基础语法902可包括CPB大小标度412，诸如cpb_size_scale元素。CPB大小标度412用于确定CPB的大小。

HRD基础语法902可包括初始CPB去除延迟长度422，诸如initial_cpb_removal_delay_length_minus1元素。初始CPB去除延迟长度422指示缓冲周期SEI消息的元素initial_cpb_removal_delay和initial_cpb_removal_delay_offset的位长度。

HRD基础语法902可包括CPB去除延迟长度424，诸如cpb_removal_delay_length_minus1元素。CPB去除延迟长度424可以规定画面计时SEI消息中元素cpb_removal_delay的位长度。

HRD基础语法902可包括DPB输出延迟长度426，诸如dpb_output_delay_length_minus1元素。DPB输出延迟长度426指示解码的画面缓冲区(DPB)的大小。

HRD基础语法902可包括一组用于图2的时域层230的每个实例的参数。HRD基础语法902可包括利用诸如[i]的迭代器的循环结构，以描述用于时域层230的每个实例的参数。

HRD基础语法902可包括子层计数407，诸如MaxNumSubLayersMinus1元素。子层计数407指示视频位流110中子层的最大数量。

HRD基础语法902可包括固定画面速率标志314，诸如fixed_pic_rate_flag元素，以指示视频位流110中任何两个连续画面的HRD输出时间之间的时域距离是否受约束。如果固定画面速率标志314具有值1，则在任意两个连续画面之间的时域距离受约束，如果没有受约束，则值为0。

如果固定画面速率标志314具有值1，则HRD基础语法902可包括画面持续时间910，诸如pic_duration_in_tc_minus1元素。画面持续时间910可指示编码的视频序列中任意两个连续画面以输出次序在HRD输出时间之间的时域距离。

HRD基础语法902可包括低延迟标志322，诸如low_delay_hrd_flag元素。低延迟标志322可指示HRD操作的模式。

HRD基础语法902可包括CPB计数408，诸如cpb_cnt_minus1元素。CPB计数408可以指示视频位流110中备选CPB说明的数量。

如果NAL HRD参数存在标志316具有值1，则HRD基础语法902可包括HRD子层参数结构908，诸如hrd_parameters_sub_layer元素，用于时域层230的每个实例。HRD子层参数结构908可以描述关于每个子层的参数。HRD子层参数结构908可包括用于时域层230的每个子层的参数。子层可包括与时域层230的每一个相关联的VCL NAL单元及相关联的非VCL NAL单元。

如果VCL HRD参数存在标志320具有值1，则HRD基础语法902可包括HRD子层参数结构908，诸如hrd_parameters_sub_layer元素，用于时域层230的每个实例。HRD子层参数结构908可描述关于每个子层的参数。

研究发现，利用HRD基础语法902编码和解码图1的视频内容108可以减小视频位流110的大小并降低显示图1的视频流112所需的视频缓冲量。减小视频位流110的大小增加了功能性并且提高了视频流112的显示性能。

现在参考图10，其中示出了HRD子层语法1002的例子。HRD子层语法1002描述用于假设参考解码器的与图2的时域层230的子层相关联的参数。

HRD子层语法1002包括如在图10的HRD子层语法表中所描述的元素。如在图10的HRD子层语法表中所描述的，HRD子层语法1002的元素用层次结构进行布置。

HRD子层语法1002可包括HRD子层语法首部1004，诸如HRD_parameters_sub_layer元素。HRD子层语法首部1004是用于识别HRD子层语法1002的描述符。

HRD子层语法1002可包括循环结构，以定义一组用于编码的画面缓冲区的每个实例的参数。循环结构基于诸如SchedSelidx元素的计划选择索引414确定大小。

HRD子层语法1002可包括位速率值416，诸如bit_rate_value_minus1元素。位速率值416可用来规定用于编码的画面缓冲区的每个实例的最大输入位速率。

HRD子层语法1002可包括CPB大小值418，诸如cpb_size_value_minus1元素。CPB大小值418可用来确定编码的画面缓冲区的每个实例的大小。

HRD子层语法1002可包括CBR标志420，诸如cbr_flag元素。CBR标志420指示对于编码的画面缓冲区的每个实例的用于解码图1的视频位流110的操作模式。如果CBR标志420具有值1，则假设的流交付计划以恒定的位速率模式操作。否则，视频位流110包括间歇性位速率模式。

HRD子层语法1002可描述图2的时域层230的属性。时域层230也可以被指定为图1的视频位流110的子层。

HRD子层语法1002可表示视频位流110的子层或者时域层230。HRD子层语法702可用来选择子层中的一个或时域层230中的一个，并且允许从视频位流110中去除其它子层的实例。

去除子层或时域层230的实例可以减少视频位流110内总的数据量并且使得能够降低位速率或调整图1的视频内容108的大小，用于更好的传输、改进的存储带宽控制与调整。提供子层或时域层特定的HRD参数使得能够更好并且更流畅地进行位流解码，以产生图1的视频流112。

研究发现，通过对与时域层230相关联的各个子层的处理启用更细粒度的控制，利用HRD子层语法1002提供了改进的性能。通过利用不同子层之间的各个差异，利用HRD子层语法1002的各个实例可以提供提高的处理速度。

现在参考图11，其中示出了HRD VUI语法1102的例子。HRD VUI语法1102描述与假设参考解码器相关联的参数。

HRD VUI语法1102包括如在图11的HRD VUI语法表中所描述的元素。如在图11的HRD VUI语法表中所描述的，HRD VUI语法1102的元素用层次结构进行布置。

HRD VUI语法1102可包括HRD VUI语法首部1104，诸如vui_parameters元素。HRDVUI语法首部1104是用于识别HRD VUI语法1102的描述符。

HRD VUI语法1102可包括关于图1的视频内容108的长宽比的长宽比信息。HRD VUI语法1102可包括长宽比标志1106、长宽比指示器1108、长宽比宽度1110和长宽比高度1112或其组合。

HRD VUI语法1102可包括长宽比标志1106，诸如aspect_ratio_info_present_flag元素，以示出附加的长宽比信息在图1的视频位流110中被编码。长宽比标志1106可具有值0，以指示长宽比信息不在视频位流110中，并且值1指示长宽比信息包括在视频位流110中。

长宽比指示器1108是描述视频内容108的长宽比的值。例如，诸如aspect_ratio_idc元素的长宽比指示器1108可包括用于视频内容108的用于预定义的长宽比的枚举列表的索引值。在还有的例子中，长宽比指示器1108可包括指示长宽比可由用于长宽比宽度1110和长宽比高度1112的各个值描述的值。

诸如sar_width元素的长宽比宽度1110可以描述视频内容108的宽度。诸如sar_height元素的长宽比高度1112可以描述视频内容108的高度。长宽比宽度1110和长宽比高度1112可以用比率、像素、线、英寸、厘米或其组合描述视频内容的大小。

HRD VUI语法1102可包括用于视频内容108的过扫描信息。HRD VUI语法1102可包括过扫描存在标志1114和过扫描合适标志1116。

过扫描定义为其中靠近图1视频流112的裁剪的解码画面边界的一些部分在视频流112的显示区域内不可见的显示过程。欠扫描定义为其中视频流112的整个裁剪的解码画面在显示区域内都可见，但不覆盖整个显示区域的显示过程。

过扫描存在标志1114可以指示过扫描信息是否包括在视频位流110中。诸如overscan_info_present_flag的过扫描存在标志1114可具有值1，以指示过扫描信息在视频位流中存在，或者值0，以指示过扫描信息在视频位流110中不存在。

过扫描合适标志1116可指示在视频位流110中编码的视频内容108可利用过扫描进行显示。诸如overscan_appropriate_flag元素的过扫描合适标志1116可具有值1，以指示视频流112的裁剪的解码画面适于利用过扫描进行显示。过扫描合适标志1116可具有值零，以指示视频流112的裁剪的解码画面包含可视的重要信息并且不应当利用过扫描进行显示。

HRD VUI语法1102可包括用于视频内容108的视频信号类型信息。HRD VUI语法1102可包括视频信号存在标志1118、视频格式1120、视频全范围标志1122、颜色描述存在标志1124、颜色原色1126、传输特性1128及矩阵系数1130。

诸如video_signal_type_present_flag元素的视频信号存在标志1118可以指示视频信号类型信息包括在视频位流110中。视频信号存在标志1118可具有值1，以指示附加的视频信号类型信息在视频位流110中存在。视频信号存在标志1118可具有值0，以指示视频位流110中没有视频信号类型信息存在。

诸如video_format元素的视频格式1120可以指示视频的格式。诸如video_full_range_flag元素的视频全范围标志1122可以指示用于在视频位流110中编码的视频内容108的黑电平以及亮度和色度信号的范围。

诸如colour_description_present_flag元素的颜色描述存在标志1124可以指示视频位流110中颜色描述信息的存在。颜色描述存在标志1124可具有值1，以指示附加的颜色描述信息包括在视频位流110中。颜色描述存在标志1124可具有值0，以指示没有包括其它的颜色描述信息。颜色描述信息可包括颜色原色1126、传输特性1128及矩阵系数1130。

颜色原色1126可以指示在视频内容108中使用的配色方案。例如，诸如colour_primaries元素的颜色原色1126可以指示源原色的色度坐标。

传输特征1128可以指示视频内容108的光电传输特性。例如，诸如transfer_characteristics元素的传输特性1128可以是描述一组预定义的显示特性的枚举值。

矩阵系数1130可以指示用来从由颜色原色1126指示的红、绿、蓝原色中导出亮度和色度信号的系数。诸如matrix_coefficient元素的矩阵系数1130可以是用来计算地把一组红、蓝和绿颜色坐标转换到等价的亮度和色度的矩阵系数。

HRD VUI语法1102可包括用于视频内容108的色度信息。HRD VUI语法1102可包括色度位置信息存在标志1132、色度顶部域样本1134、色度底部域样本1136、及中性色度标志1138。

诸如chroma_loc_info_present_flag元素的色度位置信息存在标志1132可以指示附加的色度信息是否在视频位流110中存在。色度位置信息存在标志1132可具有值1，以指示附加的色度信息存在，或者值0，以指示没有附加的色度信息存在。附加的色度信息可包括色度顶部域样本1134和色度底部域样本1136。

诸如chroma_sample_loc_type_top_field元素的色度顶部域样本1134可以是枚举值，以规定用于视频位流110中顶部域的色度样本的位置。诸如chroma_sample_loc_type_bottom_field元素的色度底部域样本1136可以是枚举值，以规定用于视频位流110中底部域的色度样本的位置。

诸如neutral_chroma_indication_flag元素的中性色度标志1138可指示解码的色度样本是否等于一。例如，如果中性色度标志1138具有值1，则所有的解码色度样本被设置为1。如果中性色度标志1138具有值0，则解码的色度样本不限于1。

HRD VUI语法1102可包括字段序列标志306，诸如field_seq_flag。字段序列标志306可以指示编码的视频序列信息是否包括表示视频的字段。

HRD VUI语法1102可包括HRD参数结构318，诸如hrd_parameters元素。HRD参数结构318包括用于每个子层的假设参考解码器参数。

HRD VUI语法1102可包括位流限制标志328，诸如bitstream_restriction_flag。如果位流限制标志328具有值1，则HRD VUI语法1102可包括块固定结构标志330、运动向量标志332、每画面单位最大字节数334、每最小cu单位最大位数336、最大运动向量水平长度338、及最大运动向量垂直长度340。

诸如tiles_fixed_structure_flag元素的块固定结构标志330可以指示在编码的视频序列中每个画面都具有相同数量的块。诸如motion_vector_over_pic_boundaries_flag元素的运动向量标志332可以指示在画面边界之外没有样本被用于预测。

诸如max_bytes_per_pic_denom元素的每画面单位最大字节数334是指示用于与编码的视频序列中任何编码的画面相关联的VCL NAL单元大小的总和的最大字节数的值。诸如max_bits_per_min_cu_denom元素的每最小cu单位最大位数336是指示对于编码的视频序列的任何画面中的任何编码块的用于编码单元数据的编码的位数量的上界的值。

诸如log2_max_mv_length_horizontal元素的最大运动向量水平长度338指示用于视频位流110中所有画面的解码的水平运动向量分量的最大绝对值。诸如log2_max_mv_length_vertical元素的最大运动向量垂直长度340指示用于视频位流110中所有画面的解码的垂直运动向量分量的最大绝对值。

研究发现，通过启用对各个子层处理更细粒度的控制而不是利用用于所有子层的公用HRD参数，在HRD VUI语法1102中利用HRD参数结构318提供了改进的性能。通过利用不同子层之间的各个差异，利用HRD参数结构318的各个实例可以提供提高的处理速度。

现在参考图12，其中示出了视频编码系统100的功能框图。视频编码系统100可包括第一设备102、第二设备104和通信路径106。

第一设备102可以通过通信路径106与第二设备104进行通信。第一设备102可以在第一设备传输1232中通过通信路径106将信息发送到第二设备104。第二设备104可以在第二设备传输1234中通过通信路径106将信息发送到第一设备102。

虽然为了说明起见，视频编码系统100以第一设备102作为客户端设备示出，但是应当理解，视频编码系统100可以让第一设备102作为不同类型的设备。例如，第一设备可以是服务器。在还有的例子中，第一设备102可以是视频编码器102、视频解码器104、或其组合。

同样，为说明起见，视频编码系统100以第二设备104作为服务器示出，但是应当理解，视频编码系统100可以让第二设备104作为不同类型的设备。例如，第二设备104可以是客户端设备。在还有的例子中，第二设备104可以是视频编码器102、视频解码器104、或其组合。

为了使本发明的这个实施例中的描述简洁，第一设备102将描述为客户端设备，诸如视频照相机、智能电话、或其组合。本发明不限于对设备类型的这种选择。该选择是本发明的例子。

第一设备102可包括第一控制单元1208。第一控制单元1208可包括第一控制接口1214。第一控制单元1208可执行第一软件1212，以提供视频编码系统100的智能。

第一控制单元1208可以以多种不同的方式实现。例如，第一控制单元1208可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或其组合。

第一控制接口1214可用于第一设备102中的第一控制单元1208与其它功能单元之间的通信。第一控制接口1214也可用于与第一设备102外部的通信。

第一控制接口1214可以从其它功能单元或从外部源接收信息，或者可以发送信息到其它功能单元或到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。

第一控制接口1214可以以不同的方式实现，并且取决于哪些功能单元或外部单元正在与第一控制接口1214对接，可包括不同的实现。例如，第一控制接口1214可以用电子电路、微机电系统(MEMS)、光电路、无线电路、有线电路或其组合来实现。

第一设备102可包括第一存储单元1204。第一存储单元1204可以存储第一软件1212。第一存储单元1204也可以存储相关的信息，诸如图像、语法信息、视频、地图、配置文件、显示优选项、传感器数据或其任意组合。

第一存储单元1204可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如，第一存储单元1204可以是非易失性存储，诸如非易失性随机访问存储器(NVRAM)、闪存存储器、磁存储、或易失性存储，诸如静态随机访问存储器(SRAM)。

第一存储单元1204可包括第一存储接口1218。第一存储接口1218可用于第一设备102中的第一存储单元1204与其它功能单元之间的通信。第一存储接口1218也可用于与第一设备102外部的通信。

第一设备102可包括第一成像单元1206。第一成像单元1206可从真实世界中捕获图1的视频内容108。第一成像单元1206可包括数码照相机、视频照相机、光学传感器或其任意组合。

第一成像单元1206可包括第一成像接口1216。第一成像接口1216可用于第一设备102中的第一成像单元1206与其它功能单元之间的通信。

第一成像接口1216可从其它功能单元或从外部源接收信息，或者可以发送信息到其它功能单元或到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。

取决于哪些功能单元或外部单元正在与第一成像单元1206对接，第一成像接口1216可包括不同的实现。第一成像接口1216可以用类似于第一控制接口1214的实现的技术和技巧来实现。

第一存储接口1218可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。

取决于哪些功能单元或外部单元正在与第一存储单元1204对接，第一存储接口1218可包括不同的实现。第一存储接口1218可以用类似于第一控制接口1214的实现的技术和技巧来实现。

第一设备102可包括第一通信单元1210。第一通信单元1210可以是用于启用到第一设备102的和从第一设备102的外部通信。例如，第一通信单元1210可允许第一设备102与第二设备104、诸如外围设备或桌面计算机的附件、及通信路径106进行通信。

第一通信单元1210也可充当通信集线器，从而允许第一设备102充当通信路径106的一部分，并不限于是到通信路径106的终点或终端单元。第一通信单元1210可包括有源和无源组件，诸如微电子器件或天线，用于与通信路径106交互。

第一通信单元1210可包括第一通信接口1220。第一通信接口1220可用于第一设备102中第一通信单元1210与其它功能单元之间的通信。第一通信接口1220可以从其它功能单元接收信息，或者可以发送信息到其它功能单元。

取决于哪些功能单元正在与第一通信单元1210对接，第一通信接口1220可包括不同的实现。第一通信接口1220可以用类似于第一控制接口1214的实现的技术和技巧来实现。

第一设备102可包括第一用户接口1202。第一用户接口1202允许用户(未示出)与第一设备102对接和交互。第一用户接口1202可包括第一用户输入(未示出)。第一用户输入可包括触摸屏、手势、运动检测、按钮、滑块、旋钮、虚拟按钮、语音识别控制或其任意组合。

第一用户接口1202可包括第一显示接口120。第一显示接口120可允许用户与第一用户接口1202进行交互。第一显示接口120可包括显示器、视频屏幕、扬声器或其任意组合。

第一控制单元1208可与第一用户接口1202一起进行操作，以在第一显示接口120上显示由视频编码系统100产生的视频信息。第一控制单元1208也可以执行第一软件1212，用于视频编码系统100的其它功能，包括从第一存储单元1204接收视频信息用于在第一显示接口120上显示。第一控制单元1208还可执行第一软件1212，用于经第一通信单元1210与通信路径106进行交互。

虽然为说明起见，第一设备102可被划分成具有第一用户接口1202、第一存储单元1204、第一控制单元1208和第一通信单元1210，但是应当理解，第一设备102可具有不同的划分。例如，第一软件1212可进行不同地划分，使得它的一些或全部功能可在第一控制单元1208和第一通信单元1210中。同样，为简洁起见，第一设备102可包括在图12中没有示出的其它功能单元。

视频编码系统100可包括第二设备104。第二设备104可被优化成用于在带有第一设备102的多个设备实施例中实现本发明。与第一设备102相比，第二设备104可提供附加的或更高的性能处理能力。

第二设备104可包括第二控制单元1248。第二控制单元1248可包括第二控制接口1254。第二控制单元1248可以执行第二软件1252，以提供视频编码系统100的智能。

第二控制单元1208可以以多种不同的方式实现。例如，第二控制单元1248可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或其组合。

第二控制接口1254可用于第二设备104中的第二控制单元1248与其它功能单元之间的通信。第二控制接口1254也可用于与第二设备104外部的通信。

第二控制接口1254可以从其它功能单元或从外部源接收信息，或者可以发送信息到其它功能单元或到外部目的地。外部源和外部目的地指第二设备104外部的源和目的地。

第二控制接口1254可以以不同的方式实现，并且取决于哪些功能单元或外部单元正在与第二控制接口1254对接，可包括不同的实现。例如，第二控制接口1254可以用电子电路、微机电系统(MEMS)、光电路、无线电路、有线电路或其组合来实现。

第二设备104可包括第二存储单元1244。第二存储单元1244可以存储第二软件1252。第二存储单元1244也可以存储相关的信息，诸如图像、语法信息、视频、地图、配置文件、显示优选项、传感器数据或其任意组合。

第二存储单元1244可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如，第二存储单元1244可以是非易失性存储，诸如非易失性随机访问存储器(NVRAM)、闪存存储器、磁存储、或易失性存储，诸如静态随机访问存储器(SRAM)。

第二存储单元1244可包括第二存储接口1258。第二存储接口1258可用于第二设备104中的第二存储单元1244与其它功能单元之间的通信。第二存储接口1258也可用于与第二设备104外部的通信。

第二存储接口1258可从其它功能单元或从外部源接收信息，或者可以发送信息到其它功能单元或到外部目的地。外部源和外部目的地指第二设备104外部的源和目的地。

取决于哪些功能单元或外部单元正在与第二存储单元1244对接，第二存储接口1258可包括不同的实现。第二存储接口1258可以用类似于第二控制接口1254的实现的技术和技巧来实现。

第二设备104可包括第二成像单元1246。第二成像单元1246可从真实世界中捕获图1的视频内容108。第一成像单元1206可包括数码照相机、视频照相机、光学传感器或其任意组合。

第二成像单元1246可包括第二成像接口1256。第二成像接口1256可用于第二设备104中第二成像单元1246与其它功能单元之间的通信。

第二成像接口1256可从其它功能单元或从外部源接收信息，或者可以发送信息到其它功能单元或到外部目的地。外部源和外部目的地指第二设备104外部的源和目的地。

取决于哪些功能单元或外部单元正在与第二成像单元1246对接，第二成像接口1256可包括不同的实现。第二成像接口1256可以用类似于第一控制接口1214的实现的技术和技巧来实现。

第二设备104可包括第二通信单元1250。第二通信单元1250可启用到第二设备104的和从第二设备104的外部通信。例如，第二通信单元1250可允许第二设备104与第一设备102、诸如外围设备或桌面计算机的附件、及通信路径106进行通信。

第二通信单元1250也可充当通信集线器，从而允许第二设备104充当通信路径106的一部分，并不限于是到通信路径106的终点或终端单元。第二通信单元1250可包括有源和无源组件，诸如微电子器件或天线，用于与通信路径106交互。

第二通信单元1250可包括第二通信接口1260。第二通信接口1260可用于第二设备104中第二通信单元1250与其它功能单元之间的通信。第二通信接口1260可以从其它功能单元接收信息，或者可以发送信息到其它功能单元。

取决于哪些功能单元正在与第二通信单元1250对接，第二通信接口1260可包括不同的实现。第二通信接口1260可以用类似于第二控制接口1254的实现的技术和技巧来实现。

第二设备104可包括第二用户接口1242。第二用户接口1242允许用户(未示出)与第二设备104对接和交互。第二用户接口1242可包括第二用户输入(未示出)。第二用户输入可包括触摸屏、手势、运动检测、按钮、滑块、旋钮、虚拟按钮、语音识别控制或其任意组合。

第二用户接口1242可包括第二显示接口1243。第二显示接口1243可允许用户与第二用户接口1242进行交互。第二显示接口1243可包括显示器、视频屏幕、扬声器或其组合。

第二控制单元1248可与第二用户接口1242一起进行操作，以在第二显示接口1243上显示由视频编码系统100产生的视频信息。第二控制单元1248也可以执行第二软件1252，用于视频编码系统100的其它功能，包括从第二存储单元1244接收显示信息用于在第二显示接口1243上显示。第二控制单元1248还可执行第二软件1252，用于经第二通信单元1250与通信路径106进行交互。

虽然为说明起见，第二设备104可被划分成具有第二用户接口1242、第二存储单元1244、第二控制单元1248和第二通信单元1250，但是应当理解，第二设备104可具有不同的划分。例如，第二软件1252可进行不同地划分，使得它的一些或全部功能可在第二控制单元1248和第二通信单元1250中。同样，为简洁起见，第二设备104可包括在图12中没有示出的其它功能单元。

第一通信单元1210可以与通信路径106耦合，以在第一设备传输1232中向第二设备104发送信息。第二设备104可在第二通信单元1250中从通信路径106的第一设备传输1232中接收信息。

第二通信单元1250可以与通信路径106耦合，以在第二设备传输1234中向第一设备102发送视频信息。第一设备102可以在第一通信单元1210中从通信路径106的第二设备传输1234中接收视频信息。视频编码系统100可以由第一控制单元1208、第二控制单元1248或其组合来执行。

第一设备102中的功能单元可以单独地和独立于其它功能单元工作。为说明起见，视频编码系统100通过第一设备102的操作进行描述。应当理解，第一设备102可以操作视频编码系统100的任何模块和功能。例如，第一设备102可描述为操作第一控制单元1208。

第二设备104中的功能单元可以单独地和独立于其它功能单元工作。为说明起见，视频编码系统100可通过第二设备104的操作进行描述。应当理解，第二设备104可以操作视频编码系统100的任何模块和功能。例如，第二设备104可描述为操作第二控制单元1248。

为说明起见，视频编码系统100通过第一设备102和第二设备104的操作进行描述。应当理解，第一设备102和第二设备104可操作视频编码系统100的任何模块和功能。例如，虽然第一设备102被描述为操作第一控制单元1208，但是应当理解，第二设备104也可以操作第一控制单元1208。

现在参考图13，其中示出了图1的视频编码系统100的控制流程1300。控制流程1300描述通过接收视频位流110、提取图1的视频语法114、解码视频位流110及显示图1的视频流112来解码图1的视频位流110。

视频编码系统100可包括接收模块1302。接收模块1302可接收通过图1的视频编码器102编码的视频位流110。

视频位流110可以以各种方式接收。例如，视频位流110可以从图1的视频解码器102中作为流动串行位流、预编码的视频文件(未示出)、用经过图1的通信路径106的数字消息(未示出)或其组合来接收。

视频位流110可包括用于表示在不同帧速率的图1的视频内容108的图2的一个或多个时域层230。接收模块1302可以选择性地过滤时域层230，以减小视频位流110的大小。

例如，接收模块1302可接收具有用于三个不同帧速率，诸如60fps，30fps和15fps的时域层230的视频位流110。接收模块1302可过滤视频位流110，以去除时域层230的60fps和30fps实例并且只处理时域层230的15fps实例。

视频编码系统100可包括获取语法模块1304。获取语法模块1304可识别并提取视频位流110的视频语法114。

获取语法模块1304可包括获取时域层模块1308和解码时域层模块1310。

获取语法模块1304可以以各种方式提取用于视频位流110的视频语法114。例如，获取语法模块1304可以通过在视频位流110中查找指示视频语法114存在的视频可用性信息首部来提取视频语法114。在另一个例子中，可以利用解复用器(未示出)把视频语法114从视频位流110的视频图像数据中分离来从视频位流110中提取视频语法114。

在还有的另一个例子中，可以通过提取序列参数集合原始字节序列负荷(RBSP)语法来从视频位流110中提取视频语法114。序列参数集合RBSP是包含在网络抽象层单元中封装的整数数量字节的语法结构。RBSP可以是空或者具有后面跟着RBSP停止位并且随后跟着零个或更多个等于0的附加位的包含语法元素的数据位的串形式。

由于元素在视频位流110中可以以时间顺序得到，因此视频语法114可以从串行位流中以时间顺序的方式通过提取各个元素进行提取。视频编码系统100可基于之前提取的元素的值选择性地提取和处理后面的元素。例如，获取语法模块1304可以基于之前接收到的图3的低延迟标志322的值处理图3的HRD参数结构318。

在另一个例子中，如果视频位流110在文件中接收，则可以通过检查包含视频位流110的文件的文件扩展类型检测视频语法114。在还有的另一个例子中，如果视频位流110作为经过图1的通信路径106的数字消息接收，则视频语法114可提供为数字消息结构的一部分。

研究发现，基于之前提取的低延迟标志322的实例，通过利用HRD参数结构318动态地解码视频位流110，获取语法模块1304可以提高性能。例如，当应用HRD参数结构318时，通过改变在CPB中允许的延迟水平，接收低延迟标志322增加了解码性能。

获取语法模块1304可以基于图2的语法类型202提取视频语法114的各个元素。语法类型202可包括AVC视频、SVC视频、MVC视频、MVD视频、SSV视频或其组合。

获取语法模块1304可提取具有视频可用性信息的视频语法114。视频语法114可包括图3的HEVC VUI可缩放扩展语法302、图7的HEVC VUI第一扩展语法702、图8的HEVC VUI第二扩展语法802、图11的HRD VUI语法1102或其组合。

获取语法模块1304可提取具有假设参考解码器信息的视频语法114。视频语法114可包括图12的HRD基本语法902、图4的HRD语法402、图5的HRD固定语法502、图6的HRD可变语法602、图10的HRD子层语法1002或其组合。获取语法模块1304可提取表示hrd_parameters_fixed_nal元素和the hrd_parameters_fixed_vel元素的视频语法114。

视频语法114可具有各种配置。例如，HEVC VUI可缩放扩展语法302可包括HRD语法402的一个实例，用于时域层230的所有实例。

HRD语法402可包括图4的CPB计数408、图4的位速率标度410、图4的CPB大小标度412、图4的初始CPB去除延迟长度422、图4的CPB去除延迟长度424、图4的DPB输出延迟长度426、及图4的时间偏移长度428的单个实例。HRD语法402可包括具有图4的位速率值416、图4的CPB大小值418及图4的CBR标志420的多个实例的循环结构，用于如通过CPB计数408指示的每个编码的画面缓冲区。

在另一个例子中，获取语法模块1304可从视频位流110中提取视频语法114，诸如HEVC VUI第一扩展语法702。HEVC VUI第一扩展语法702可包括HRD固定语法502的单个实例。HRD固定语法502可包括位速率标度410、CPB大小标度412、初始CPB去除延迟长度422、CPB去除延迟长度424、DPB输出延迟长度426及时间偏移长度428的单个实例。

HEVC VUI第一扩展语法702可包括HRD可变语法602的实例，用于时域层230的每个单独实例。HRD可变语法602可包括CPB计数408的单个实例，以指示编码的画面缓冲区的总数量。HRD可变语法602包括具有位速率值416、CPB大小值418及CBR标志420的多个实例的循环结构，用于如通过CPB计数408指示的每个编码的画面缓冲区。

在还有的另一个例子中，获取语法模块1304可从视频位流110中提取视频语法114，诸如HEVC VUI第二扩展语法802。HEVC VUI第二扩展语法802可包括图8的HRD NAL固定参数结构806和图8的HRD VCL固定参数结构808的单个实例。

HEVC VUI第二扩展语法802可包括HRD可变语法602的实例，用于时域层230的每个单独实例。HRD可变语法602可包括CPB计数408的单个实例，以指示编码的画面缓冲区的总数量。HRD可变语法602包括具有位速率值416、CPB大小值418及CBR标志420的多个实例的循环结构，用于如通过CPB计数408指示的每个编码的画面缓冲区。

在说明性例子中，获取语法模块1304可以通过解析视频语法114从视频位流110中提取HRD固定语法502。在另一个说明性例子中，提取HRD固定语法502可包括提取HRD NAL固定参数结构806和HRD VCL固定参数结构808。

视频编码系统100可包括解码模块1306。解码模块1306可利用视频语法114解码视频位流110以形成视频流112。解码模块1306可包括获取时域层模块1308和解码时域层模块1310。

解码模块1306可利用视频语法114解码视频位流110，诸如HEVC VUI可缩放扩展语法302、HEVC VUI第一扩展语法702、HEVC VUI第二扩展语法802、HRD VUI语法1102或其组合。解码模块1306可利用HRD语法402、HRD固定语法502、HRD可变语法602、HRD基础语法902、HRD子层语法1002或其组合来识别和提取时域层。

获取时域层模块1308可以识别时域层230，以从视频位流110中提取来形成视频流112。获取时域层模块1308可以以各种方式识别时域层230。

例如，获取时域层模块1308可以通过从诸如HEVC VUI第一扩展语法702或HEVCVUI第二扩展语法802的视频语法114中提取图3的时域层计数304来识别时域层230。时域层计数304指示视频位流110中时域层230的总数量。

获取时域层模块1308可利用视频语法114从视频位流110中提取时域层230。视频语法114可包括固定和可变的假设参考解码器参数结构，诸如图7的HRD固定参数结构706、HRD NAL固定参数结构806、HRD VCL固定参数结构808和图7的HRD可变参数结构708。

获取时域层模块1308可以通过基于视频语法114解析视频位流110中的数据来提取时域层230。视频语法114可以定义时域层230的数量和配置。

例如，获取时域层模块1308可以使用时域层计数304来确定将从视频位流110中提取的时域层230的总数量。图11的视频格式1120可从视频位流110中提取，以确定视频内容108的视频系统的类型。

在另一个例子中，CPB计数408可用来确定将用于提取时域层230的编码的画面缓冲区数量。位速率标度410可用来确定用于编码的画面缓冲区的最大输入位速率。CPB大小标度412可用来确定编码的画面缓冲区的大小。对于每个编码的画面缓冲区，位速率值416和CPB大小值418。

在说明性的例子中，获取时域层模块1308可基于HRD固定语法502和HRD可变语法602从视频位流110中提取时域层230的图2的第一实例232和图2的第二实例234。HRD固定语法502对于所有的时域层230公用。HRD可变语法602包括用于时域层230中每一个的单独的实例。

时域层230的第一实例232可利用HRD可变语法602的第一实例来提取。时域层230的第二实例234可利用HRD可变语法602的第二实例来提取。

解码时域层模块1310可以从获取时域层模块1308接收时域层230并且解码时域层230以形成视频流112。解码时域层模块1310可以以各种方式解码时域层230。

例如，解码时域层模块1310可以利用HRD基础语法902来解码时域层230。在另一个例子中，解码时域层模块1310可以利用HRD子层语法1002来解码时域层230。解码时域层模块1310可以解码时域层230并且选择时域层230中的一个来形成视频流112。

视频编码系统110可包括显示模块1312。显示模块1312可以从解码模块1306接收视频流112并且在图1的显示接口120上显示。视频流112可包括时域层230的一个或多个实例。

从视频内容108的物理对象的光图像到在图1的显示接口120的像素元件上显示视频流112的物理转换导致在物理世界中对显示接口120的像素元件的物理变化，诸如像素元件电气状态的变化，基于视频编码系统100的操作。随着在物理世界中发生的变化，诸如在视频内容108中捕获的对象的运动，移动本身建立的附加的信息，诸如对视频内容108的更新，这些信息转换回显示接口120的像素元件中的变化，以用于视频编码系统100的继续操作。

第一设备102的图12的第一软件1212可包括视频编码系统100。例如，第一软件1212可包括接收模块1302、获取语法模块1304、解码模块1306和显示模块1312。

图12的第一控制单元1208可以执行第一软件1212，用于接收模块1302接收视频位流110。第一控制单元1208可以执行第一软件1212，用于获取语法模块1304从视频位流110中识别和提取视频语法114。第一控制单元1208可以执行第一软件1212，用于解码模块1306形成视频流112。第一控制单元1208可以执行第一软件1212，用于显示模块1312显示视频流112。

图1的第二设备104的图12的第二软件1252可包括视频编码系统100。例如，第二软件1252可包括接收模块1302、获取语法模块1304和解码模块1306。

图12的第二控制单元1248可以执行第二软件1252，用于接收模块1302接收视频位流110。第二控制单元1248可以执行第二软件1252，用于获取语法模块1304从视频位流110中识别和提取视频语法114。第二控制单元1248可以执行第二软件1252，用于解码模块1306形成图1的视频流112。第二控制单元1248可以执行第二软件，用于显示模块1312显示视频流112。

视频编码系统100可以在第一软件1212和第二软件1252之间进行划分。例如，第二软件1252可包括获取语法模块1304、解码模块1306和显示模块1312。如前面所描述的，第二控制单元1248可以执行在第二软件1252上划分的模块。

在说明性的例子中，视频编码系统100可包括第一设备102上的视频编码器102和第二设备104上的视频解码器104。视频解码器104可包括图1的显示处理器118和显示接口120。

第一软件1212可包括接收模块1302和获取语法模块1304。取决于图12的第一存储单元1204的大小，第一软件1212可包括视频编码系统100的附加模块。如前面所描述的，第一控制单元1208可执行在第一软件1212上划分的模块。

第一控制单元1208可操作图12的第一通信单元1210，以向第二设备104发送视频位流110。第一控制单元1208可操作第一软件1212，以操作图12的第一成像单元1206。图12的第二通信单元1250可通过通信路径106向第一设备102发送视频流112。

视频编码系统100描述了作为例子的模块功能或次序。模块可进行不同的划分。例如，获取语法模块1304和解码模块1306可以合并。每个模块可以单独地和独立于其它模块来操作。

而且，在一个模块产生的数据可以被另一个模块使用，而不用彼此间直接地耦合。例如，解码模块1306可以从接收模块1302接收视频位流110。

模块可以以各种方式来实现。接收模块1302、获取语法模块1304、解码模块1306和显示模块1312可以用第一控制单元1208或第二控制单元1248内的硬件加速器(未示出)实现，或者可以用第一设备102或第二设备104中的第一控制单元1208或第二控制单元1248之外的硬件加速器(未示出)实现。

现在参考图14，其中示出了在本发明还有的实施例中图1的视频编码系统100的操作方法1400的流程图。方法1400包括：在块1402接收视频位流；在块1404从视频位流中提取视频语法；在块1406从视频语法中提取假设参考解码器(HRD)固定语法；在块1408从视频语法中提取HRD可变语法；在块1410基于HRD固定语法和HRD可变语法从视频位流提取时域层；及在块1412基于时域层形成视频流，用于在设备上显示。

研究发现，本发明因此具有许多方面。本发明有价值地支持并服务于降低成本、简化系统和提高性能的历史趋势。本发明的这些和其它有价值的方面因此使技术状态前进到至少新的水平。

因此，研究发现，本发明的视频编码系统提供了重要的并且迄今未知和不可用的解决方案、能力及功能方面，用于有效地为高清晰应用编码和解码的视频内容。结果得到的过程和配置直接明了、具有成本效益、不复杂、高通用性和高效、能够令人惊叹地和不明显地通过采用已知的技术来实现、并因此很容易地适于有效率地和经济地制造与传统制造工艺和技术完全兼容的视频编码设备。结果得到的过程和配置直接明了、具有成本效益、不复杂、高通用性、精确、灵敏且高效，并且能够通过采用已知的组件来实现，便于容易、有效率且经济地制造、应用和利用。

虽然本发明已经结合特定的最佳模式进行了描述，但是应当理解，鉴于前面的描述，许多替代、修改和变化对本领域技术人员来说将是显然的。因此，属于所附权利要求范围之内的所有这些替代，修改和变化都要包括在内。至此，在附图中阐述或示出的所有事项都要以说明性和非限制性的意义进行解释。

Claims (14)

1.一种解码装置，包括：

解码部，根据假设参考解码器HRD固定语法中包括的第一参数以及HRD可变语法中包括的第二参数来指定编码位流的子层的编码画面缓冲区CPB的最大输入位速率或者CPB大小，对包括所述子层的所述编码位流进行解码，其中，所述HRD固定语法包括多个子层公用的HRD参数，所述HRD可变语法包括各子层固有的HRD参数。

2.根据权利要求1所述的解码装置，其中，

所述第一参数是bit_rate_scale，

所述第二参数是bit_rate_value_minus1，

所述解码部根据所述第一参数以及所述第二参数来指定所述最大输入位速率。

3.根据权利要求1所述的解码装置，其中，

所述第一参数是cpb_size_scale，

所述第二参数是cpb_size_value_minus1，

所述解码部根据所述第一参数以及所述第二参数来指定所述CPB大小。

4.根据权利要求1所述的解码装置，其中，所述HRD固定语法包括initial_cpb_removal_delay_length_minus1。

5.根据权利要求1所述的解码装置，其中，所述HRD固定语法包括cpb_removal_delay_length_minus1。

6.根据权利要求1所述的解码装置，其中，所述HRD固定语法包括dpb_output_delay_length_minus1。

7.根据权利要求1所述的解码装置，其中，所述HRD固定语法包括全部子层公用的HRD参数。

8.一种由解码装置执行的解码方法，包括：

根据假设参考解码器HRD固定语法中包括的第一参数以及HRD可变语法中包括的第二参数来指定编码位流的子层的编码画面缓冲区CPB的最大输入位速率或者CPB大小，对包括所述子层的所述编码位流进行解码，其中，所述HRD固定语法包括多个子层公用的HRD参数，所述HRD可变语法包括各子层固有的HRD参数。

9.根据权利要求8所述的解码方法，其中，

所述第一参数是bit_rate_scale，

所述第二参数是bit_rate_value_minus1，

根据所述第一参数以及所述第二参数来指定所述最大输入位速率。

10.根据权利要求8所述的解码方法，其中，

所述第一参数是cpb_size_scale，

所述第二参数是cpb_size_value_minus1，

根据所述第一参数以及所述第二参数来指定所述CPB大小。

11.根据权利要求8所述的解码方法，其中，所述HRD固定语法包括initial_cpb_removal_delay_length_minus1。

12.根据权利要求8所述的解码方法，其中，所述HRD固定语法包括cpb_removal_delay_length_minus1。

13.根据权利要求8所述的解码方法，其中，所述HRD固定语法包括dpb_0utput_delay_length_minus1。

14.根据权利要求8所述的解码方法，其中，所述HRD固定语法包括全部子层公用的HRD参数。

Images