CN104396260B

CN104396260B - 具有时域层的视频编码系统及其操作方法

Info

Publication number: CN104396260B
Application number: CN201380034953.3A
Authority: CN
Inventors: M·哈奎; 佐藤�志; 佐藤一志; A·塔巴塔贝; 铃木辉彦
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-07-02
Filing date: 2013-07-01
Publication date: 2018-05-04
Anticipated expiration: 2033-07-01
Also published as: KR20170081279A; JP6128261B2; WO2014008170A1; US10659799B2; KR20170081280A; CN108235006A; EP2853091B1; US20180063542A1; KR20150024863A; JP2015529033A; CN104396260A; JP2016181912A; JP5950039B2; EP2853091A1; US20140003487A1; EP2853091A4; US10327005B2; US9912941B2; KR101756615B1; JP2017153112A

Abstract

一种视频编码系统的操作方法，包括：接收视频位流；从视频位流中提取视频语法；基于视频语法从视频位流中提取时域层；以及基于时域层形成视频流，用于在设备上显示。

Description

具有时域层的视频编码系统及其操作方法

对相关申请的交叉引用

本申请包含关于于2013年2月1日提交且标题为“VIDEO CODING SYSTEM WITHTEMPORAL SCALABILITY AND METHOD OF OPERATION THEREOF”的美国专利申请序列号13/757,679的主题。其全部主题通过引用被结合于此。

本申请包含关于于2013年2月1日提交且标题为“VIDEO CODING SYSTEM WITH LOWDELAY AND METHOD OF OPERATION THEREOF”的美国专利申请序列号13/757,685的主题。其全部主题通过引用被结合于此。

本申请要求于2012年7月2日提交的美国临时专利申请序列号61/667,269、于2012年7月30日提交的美国临时专利申请序列号61/677,302以及于2013年2月1日提交的美国非临时申请序列号13/757,624的权益，这些申请的主题通过引用被全部结合于此。

技术领域

本发明一般而言涉及视频系统，并且更具体而言涉及用于视频编码的系统。

背景技术

高质量视频向智能电话、高清晰电视、汽车信息系统以及其它具有屏幕的视频设备的部署在近年来大幅增长。支持视频内容的各种各样的信息设备需要多种类型的视频内容，以便向具有不同尺寸、质量和连接能力的设备提供。

视频已经从二维单视图视频发展到具有高分辨率三维成像的多视图视频。为了使视频的传送更有效，已经尝试了不同的视频编码和压缩方案，以便从最少量的数据获得最好的画面。运动图像专家组(MPEG)开发出了允许基于标准化的数据序列和算法的良好视频质量的标准。H.264(MPEG4第10部分)/高级视频编码设计的编码效率比现有的MPEG-2格式提高了两倍。视频的质量依赖于视频中数据的操纵和压缩。视频可以被修改成适应于用来向具有不同分辨率和功能集的显示设备发送视频的不同带宽。但是，分发更大、更高质量的视频或者更复杂的视频功能需要附加的带宽和改进的视频压缩。

因而，仍然存在对能够跨具有不同大小、分辨率和连接性的各种设备交付良好画面质量和特征的视频编码系统的需求。鉴于在不断增长的范围的智能设备上提供视频的需求不断增加，找出对这些问题的答案日益关键。鉴于日益增加的商业竞争压力，连同日益增长的消费者期望和市场上有意义的产品差异化的机会逐渐减少，找出对这些问题的答案很关键。此外，节约成本、提高效率和性能以及满足竞争压力的需求都对找出对这些问题的答案的关键必要性添加了更大的紧迫性。

对这些问题的解决办法长期以来一直在寻找，但是此前的发展还没有教导或建议任何解决办法，因此，对这些问题的解决办法长期以来一直困扰着本领域技术人员。

发明内容

本发明提供了一种视频编码系统的操作方法，包括：接收视频位流；从视频位流提取视频语法；基于视频语法从视频位流提取时域层(temporal layer)；以及基于时域层形成视频流，用于在设备上显示。

本发明提供了一种视频编码系统，包括：用于接收视频位流的接收模块；耦合到接收模块的获取语法模块，用于从视频位流提取视频语法；耦合到获取语法模块的解码模块，用于基于视频语法从视频位流提取时域层；以及耦合到解码模块的显示模块，用于基于时域层形成视频流，用于在设备上显示。

除以上提到的那些之外或者代替其，本发明的某些实施例还具有其它方面。当参考附图理解时，通过阅读以下具体描述，这些方面将对本领域技术人员变得显然。

附图说明

图1是本发明实施例中视频编码系统的框图。

图2是视频位流的例子。

图3是高效率视频编码(HEVC)视频可用性信息(VUI)语法的例子。

图4是HEVC VUI第一扩展语法的例子。

图5是HEVC VUI第二扩展语法的例子。

图6是HRD语法的例子。

图7是HRD子层语法的例子。

图8是HRD VUI语法的例子。

图9是视频编码系统的功能框图。

图10是视频编码系统的控制流。

图11是本发明另一种实施例中视频编码系统的操作方法的流程图。

具体实施方式

以下实施例被足够详细地进行描述，以便使本领域技术人员能够获得并使用本发明。应当理解，基于本公开内容，其它实施例将是显而易见的，并且在不背离本发明范围的情况下可以进行过程或机械上的变化。

在以下描述中，给出了许多具体的细节，以提供对本发明的透彻理解。但是，很显然，本发明没有这些具体细节也可以实践。为了避免模糊本发明，一些众所周知的电路、系统配置和过程步骤没有具体地公开。

同样，示出系统实施例的附图是半图式的且不是按比例的，并且，特别地，一些维度是为了呈现清晰起见并且在附图中被非常夸大地示出。在公开和描述具有一些共同特征的多个实施例的地方，为了清晰以及易于对其说明、描述和理解起见，彼此之间类似或相同的特征将一般地用相同的标号进行描述。

术语“语法”指描述数据结构的元素集合。在本文中提到的术语“模块”在本发明中根据所使用的上下文可以包括软件、硬件或其组合。

现在参考图1，其中示出了本发明实施例中视频编码系统100的框图。视频编码器102可以接收视频内容108并且将视频位流110发送到视频解码器104，用于解码并在显示接口120上显示。

视频编码器102可以接收并编码视频内容108。视频编码器102是用于把视频内容108编码成不同形式的单元。视频内容108被定义为对象场景的数字表示。例如，视频内容108可以是一个或多个数码摄像机的数字输出。

编码被定义为计算地把视频内容108修改成不同的形式。例如，编码可以把视频内容108压缩成视频位流110，以减少传送视频位流110所需的数据量。

在另一个例子中，视频内容108可以通过被压缩、视觉强化、分隔成一个或多个视图、改变分辨率、改变纵横比或其组合来进行编码。在另一个说明性例子中，视频内容108可以根据高效率视频编码(HEVC)/H.265草案标准进行编码。

视频编码器102可以编码视频内容108，以形成视频位流110。视频位流110定义为表示与视频内容108相关联的信息的位序列。例如，视频位流110可以是表示视频内容108的压缩的位序列。在另一个例子中，视频位流110是表示随时间串行发送的视频内容108的位串。

视频编码器102可以以各种方式接收用于场景的视频内容108。例如，表示现实世界中的对象的视频内容108可以用摄像机、多个照相机捕获、用计算机生成、作为文件提供、或是其组合。

视频内容108可包括各种视频特征。例如，视频内容108可以包括单一视图视频、多视图视频、立体视频或其组合。在另一个例子中，视频内容108可以是四个或更多个照相机的多视图视频，用于支持三维(3D)视频观看，而无需用3D眼镜。

视频编码器102可以利用视频语法114编码视频内容108，以生成视频位流110。视频语法114定义为描述用于编码和解码视频内容108的编码方法的一组信息元素。视频位流110符合视频语法114，诸如高效率视频编码/H.265标准，并且可以包括HEVC视频位流、超高清晰视频位流或其组合。视频位流110可包括视频语法114。

视频位流110可包括表示视频内容108的图像的信息以及相关联的关于视频内容108的编码的控制信息。例如，视频位流110可以包括视频语法114的实例以及视频内容108的实例。

视频编码系统100可以包括用于解码视频位流110的视频解码器104。视频解码器104定义为用于接收视频位流110并修改视频位流110以形成视频流112的单元。

视频解码器104可以利用视频语法114解码视频位流110以形成视频流112。解码定义为计算地修改视频位流110以形成视频流112。例如，解码可以解压缩视频位流110，以形成格式化为用于在显示接口120上显示的视频流112。

视频流112定义为视频内容108被计算地修改后的版本。例如，视频流112可以包括具有不同分辨率的视频内容108修改后的实例。视频流112可以包括从视频内容108裁剪的解码的图像。

在另一个例子中，视频流112可以具有与视频内容108不同的纵横比、不同的帧速率、不同的立体视图、不同的视图顺序、或其组合。视频流112可以具有不同的视觉属性，包括不同的颜色参数、颜色平面、对比度、色调、或其组合。

视频编码系统100可以包括显示处理器118。显示处理器118可以从视频解码器104接收视频流112，用于在显示接口120上显示。显示接口120是能够呈现视频流112的可视表示的单元。

例如，显示接口120可以包括智能电话显示器、数字投影仪、DVD播放器显示器、或其组合。虽然视频编码系统100把视频解码器104、显示处理器118和显示接口120示为单独的单元，但是应当理解，视频解码器104可以包括显示处理器118和显示接口120。

视频编码器102可以经通信路径106将视频位流110发送到视频解码器104。通信路径106可以是适于数据传输的各种网络。

例如，通信路径106可以包括无线通信、有线通信、光学、超声或其组合。卫星通信、蜂窝通信、蓝牙、红外线数据协会标准(IrDA)、无线保真(WiFi)和全球微波接入互操作性(WiMAX)是可以包括在通信路径106中的无线通信的例子。以太网、数字用户线路(DSL)、光纤到户(FTTH)和普通旧式电话服务(POTS)是可以包括在通信路径106中的有线通信的例子。

视频编码系统100可以采用各种视频编码语法结构。例如，视频编码系统100可以利用高效率视频编码/H.265工作草案版本编码和解码视频信息。在通过引用全部结合于此的文档中描述了HEVC工作草案版本。通过引用全部结合于此的文档包括：

B.Bross,W.Han,JOhm,G.Sullivan,T.Wiegand，“High-EfficiencyVideoCoding(HEVC)textspecification draft 8”，JCTVC-11003d7,2012年7月(斯德哥尔摩)。

B.Bross，W.Han,J.Ohm，G.Sullivan，T.Wiegand，“HighEfficiencyVideoCoding(HEVC)text specification draft 7“JCTVC-11003d4，2012年5月(日内瓦)。

M.Haque，K.Sato，A.Tabatabai，T.Suzuki，“SimplificationofHRD parametersfor Temporal Scalability”，JCTVC-J0272，2012年7月(斯德哥尔摩)。

M.Haque，K.Sato，A.Tabatabai，T.Suzuki，“HEVCVUIParameterswithExtensionHooks”，JCTVC-J0270，2012年7月(斯德哥尔摩)。

M.Haque，A.Tabatabai，“ExtensionofHEVCVUISyntaxStructure”，JCTVC-10263，2012年5月。

M.Haque，“AHG10:VUI and HRD syntax designs agreed by the BoG on VPSandNUH”，JCTVC-J0548rl，2012年7月。

现在参考图2，其中示出了视频位流110的例子。视频位流110包括图1视频内容108的编码的实例，并且可以利用视频语法114进行解码以形成图1的视频流112，用于在图1的显示接口120上显示。

如由语法类型202所指示的，视频位流110可以包括各种视频类型。语法类型202定义为用来编码和解码视频位流110的视频编码类型的指示器。例如，视频内容108可包括用于高级视频编码204(AVC)、可缩放视频编码206(SVC)、多视图视频编码208(MVC)、多视图视频加深度210(MVD)及立体视频212(SSV)的语法类型202。

高级视频编码204与可缩放视频编码206可以用来编码基于单一视图的视频以形成视频位流110。基于单一视图的视频可以包括从单一照相机产生的视频内容108。

多视图视频编码208、多视图视频加深度210及立体视频212可以用来编码具有两个或更多个视图的视频内容108。例如，多视图视频可包括来自多个照相机的视频内容108。

视频语法114可以包括条目标识符216。条目标识符216是用于区分多个编码的视频序列的值。编码的视频序列可以包括对于单一视图视频、多视图视频或立体视频具有不同位速率、帧速率、分辨率、或可缩放层的视频内容108的实例。

视频语法114可以包括条目计数214，用于识别与视频内容108中每个帧相关联的条目的数量。条目计数214是在视频内容108中表示的条目的最大数量。

视频语法114可以包括迭代标识符218。迭代标识符218是区分视频内容108的各个迭代的值。

视频语法114可以包括迭代计数220。迭代计数220是指示视频内容108的迭代的最大数量的值。

对于可缩放的视频编码，术语迭代计数可用来指示在可缩放视频编码的情况下绑定到不同可缩放视频层的信息条目的数量。对于多视图视频编码，迭代计数可用来指示绑定到视频内容108的视图数量的操作点的数量。

例如，在可缩放视频编码中，视频内容108可以被编码成包括带附加增强层的基础层，以形成视频位流110的多层实例。基础层可具有最低的分辨率、帧速率或质量。

增强层可以包括带用来提高视频质量的附加剩余信息的逐步精炼。可缩放视频层扩展可包括可扩展到覆盖可缩放视频编码的HEVC新基线标准。

视频语法114可以包括操作标识符222。操作标识符222是区分视频内容108的各个操作点的值。操作点是为多视图视频编码呈现的信息条目，诸如计时信息、网络抽象层(NAL)假设参考解码器(HRD)参数、视频编码层(VCL)HRD参数、pic_struct_present_flag元素或其组合。

视频语法114可以包括操作计数224。操作计数224是指示视频内容108的操作的最大数量的值。

操作点绑定到从各种视图中编码的视频序列的生成，各种视图诸如由不同照相机，为多视图和3D视频产生的视图。对于多视图视频编码而言，取决于目标输出视图，操作点与具有目标输出视图和其它视图的视频位流110的子集相关联。如果其它的视图是利用子位流提取过程得到的，则它们依赖于目标输出视图。多于一个的操作点可以与视频位流110的同一子集相关联。例如，解码操作点指解码对应于该操作点的视频位流的子集并且后续输出作为用于在图1的设备102上显示的视频流112的一部分的目标输出视图。

视频语法114可以包括视图标识符226。视图标识符226是区分视频内容108的各个视图的值。

视频语法114可以包括视图计数228。视图计数228是指示视频内容108的视图的最大数量的值。

例如，单一视图可以是由单个照相机产生的视频。多视图视频可以由位于不同位置和距场景中被观看的对象不同距离的多个照相机产生。

视频内容108可以包括各种视频属性。例如，视频内容108可以是高分辨率视频，诸如超高清视频。视频内容108可以具有3840×2160或更高的像素分辨率，包括7680×4320、8K x 2K、4K x 2K或其组合的分辨率。虽然视频内容108支持高分辨率视频，但是应当理解，视频内容108也可以支持较低的分辨率，例如高清晰(HD)视频。视频语法114可以支持视频内容108的分辨率。

视频内容108可以支持各种帧速率，包括15帧每秒(fps)、24fps、25fps、30fps、50fps、60fps和120fps。虽然描述了各个帧速率，但是应当理解，视频内容108可以支持零帧每秒及更高的、固定及可变的帧速率。视频语法114可以支持视频内容108的帧速率。

视频位流110可以包括一个或多个时域层230。时域层230定义为表示指定的帧速率的视频流112的、视频位流110的部分。每一个时域层230都可以表示在以帧每秒(fps)表达的不同帧速率下的视频流112。时域层230可以构成具有包括较低层的更高层的层次结构。

例如，时域层230的第一实例232可以表示视频流112的15fps实例、时域层230的第二实例234可以表示视频流112的30fps实例、时域层230的第三实例236可以表示视频流112的60fps实例。每一个时域层230都可以包括表示视频内容108的视频帧238。

时域层230的第一实例232可以表示把视频内容108编码以形成在15fps的视频流112的基础层。时域层230的第二实例234可以表示诸如时域层230第一实例232的基础层与视频内容108在30fps的视频流112之间的差异。

第二实例234可以包括表示基础层的帧与用于在30fps显示视频内容108所需的新帧之间的差异的帧。时域层230的第三实例236可以表示时域层230的第二实例234与在60fps的视频内容之间的差异。

在说明性例子中，用于智能电话的图1的视频解码器104可以从视频位流110中提取在30fps的时域层230的第二实例234，这可以包括来自第一实例232和第二实例234的信息。在视频位流110中来自时域层230的第三实例236的信息可以被丢弃，以减小视频位流110的大小。

现在参考图3，其中示出了高效率视频编码(HEVC)视频可用性信息(VUI)语法302的例子。HEVC VUI语法302包括关于图1的视频流110的信息，以允许用于图1视频内容108的附加应用可用性特征。

HEVC VUI语法302描述图3的HEVC VUI语法表中的元素。HEVC VUI语法302的元素如图3的HEVC VUI语法表中所描述的那样以层次结构布置。

HEVC VUI语法302包括HEVC VUI语法首部303，诸如vui_parameters元素。HEVCVUI语法首部303是用于识别HEVC VUI语法302的描述符。HEVC VUI语法302用来编码和解码视频位流110。

HEVC VUI语法302可以包括关于视频位流110的各种信息。HEVC VUI语法302可以包括关于视频内容108的纵横比、过扫描、视频信号类型、色度、NAL HRD值、位流限制或者其组合的信息。

HEVC VUI语法302可以包括关于视频内容108的纵横比的纵横比信息。HEVC VUI语法302可以包括纵横比标志304、纵横比指示器306、纵横比宽度308以及纵横比高度310，或者其组合。

HEVC VUI语法302可以包括纵横比标志304，诸如aspect_ratio_info_present_flag元素，以示出附加的纵横比信息在视频位流110中被编码。纵横比标志304可以具有指示纵横比信息不在视频位流110中的值0和指示纵横比信息包括在视频位流110中的值1。

纵横比指示符306是描述视频内容108的纵横比的值。例如，纵横比指示符306，诸如aspect_ratio_idc元素，可以包括用于视频内容108的预定义纵横比的枚举列表的索引值。在另一个例子中，纵横比指示符306可以包括值，该值指示纵横比可以由用于纵横比宽度308和纵横比高度310的独立值来描述。

纵横比宽度308，诸如sar_width元素，可以描述视频内容108的宽度。纵横比高度310，诸如sar_height元素，可以描述视频内容108的高度。纵横比宽度308和纵横比高度310可以以比率、像素、行、英寸、厘米或者其组合来描述视频内容的大小。

HEVC VUI语法302可以包括用于视频内容108的过扫描信息。HEVC VUI语法302可以包括过扫描存在标志312和过扫描合适标志314。

过扫描定义为其中靠近图1视频流112的裁剪的解码画面边界的一些部分在视频流112的显示区域内不可见的显示过程。欠扫描定义为其中视频流112的整个裁剪的解码画面在显示区域内都可见但不覆盖整个显示区域的显示过程。

过扫描存在标志312可以指示过扫描信息是否包括在视频位流110中。诸如overscan_info_present_flag的过扫描存在标志312可以具有指示过扫描信息在视频位流中存在的值1或者指示过扫描信息在视频位流110中不存在的值0。

过扫描合适标志314可以指示在视频位流110中编码的视频内容108可利用过扫描进行显示。诸如overscan_appropriate_flag元素的过扫描合适标志314可以具有值1，以指示视频流112的裁剪的解码画面适于利用过扫描进行显示。过扫描合适标志314可以具有值零，以指示视频流112的裁剪的解码画面包含可视的重要信息并且不应当利用过扫描进行显示。

HEVC VUI语法302可以包括用于视频内容108的视频信号类型信息。HEVC VUI语法302可以包括视频信号存在标志316、视频格式317、视频全范围标志318、颜色描述存在标志320、颜色原色322、传输特性324及矩阵系数326。

诸如video_signal_type_present_flag元素的视频信号存在标志316可以指示视频信号类型信息包括在视频位流110中。视频信号存在标志316可以具有值1，以指示附加的视频信号类型信息在视频位流110中存在。视频信号存在标志316可以具有值0，以指示视频位流110中没有视频信号类型信息存在。

诸如video_format元素的视频格式317可以指示视频的格式。诸如video_full_range_flag元素的视频全范围标志318可以指示用于在视频位流110中编码的视频内容108的黑电平以及亮度和色度信号的范围。

诸如colour_description_present_flag元素的颜色描述存在标志320可以指示视频位流110中颜色描述信息的存在。颜色描述存在标志320可以具有值1，以指示附加的颜色描述信息包括在视频位流110中。颜色描述存在标志320可以具有值0，以指示没有包括其它的颜色描述信息。颜色描述信息可包括颜色原色322、传输特性324及矩阵系数326。

颜色原色322可以指示在视频内容108中使用的配色方案。例如，诸如colour_primaries元素的颜色原色322可以指示源原色的色度坐标。

传输特性324可以指示视频内容108的光电传输特性。例如，诸如transfer_characteristics元素的传输特性324可以是描述一组预定义的显示特性的枚举值。

矩阵系数326可以指示用来从由颜色原色322指示的红、绿、蓝原色中导出亮度和色度信号的系数。诸如matrix_coefficient元素的矩阵系数326可以是用来计算地把一组红、蓝和绿颜色坐标变换成等价的亮度和色度的矩阵系数。

HEVC VUI语法302可以包括用于视频内容108的色度信息。HEVC VUI语法302可以包括色度位置信息存在标志328、色度顶部域样本330、色度底部域样本332、及中性色度标志334。

诸如chroma_loc_info_present_flag元素的色度位置信息存在标志328可以指示附加的色度信息是否在视频位流110中存在。色度位置信息存在标志328可以具有指示附加的色度信息存在的值1或者指示没有附加的色度信息存在的值0。附加的色度信息可包括色度顶部域样本330和色度底部域样本332。

诸如chroma_sample_loc_type_top_field元素的色度顶部域样本330可以是枚举值，以规定用于视频位流110中顶部域的色度样本的位置。诸如chroma_sample_loc_type_bottom_field元素的色度底部域样本332可以是枚举值，以规定用于视频位流110中底部域的色度样本的位置。

诸如neutral_chroma_indication_flag元素的中性色度标志334可以指示解码的色度样本是否等于一。例如，如果中性色度标志334具有值1，则所有的解码色度样本被设置为1。如果中性色度标志334具有值0，则解码的色度样本不限于1。

HEVC VUI语法302可以包括关于视频位流110的字段序列信息。HEVC VUI语法302可以包括字段序列标志336、计时信息存在标志338、滴答单元340、时间标度344和固定画面速率标志346。

字段序列标志336，诸如field_seq_flag，可以指示编码的视频序列信息是否包括视频表示字段。字段序列标志336可以具有指示字段存在的值1和指示没有字段存在的值0。

计时信息存在标志338，诸如timing_info_present_flag元素，可以指示计时信息是否包括在视频位流110中。计时信息存在标志338可以具有指示计时信息在视频位流110中的值1和指示计时信息不在视频位流110中的值0。

滴答单元340，诸如num_units_in_tick元素，可以指示时钟在时间标度344的频率下操作的时间单元的数量。例如，滴答单元340可以具有对应于可在视频位流110中表示的时间的最小间隔。时间标度344，诸如time_scale元素，是在一秒内经过时间单元的数量。

固定画面速率标志346，诸如fixed_pic_rate_flag元素，可以指示在视频流112的输出次序中两个连续画面之间的时域距离是否受约束。固定画面速率标志346具有指示没有应用约束的值0和指示时域距离受约束的值1。

HEVC VUI语法302可以包括关于假设参考解码器参数的信息。HEVC VUI语法302可以包括NAL HRD参数存在标志348、VCL HRD参数存在标志352和HRD参数结构350。

NAL HRD参数存在标志348，诸如nal_hrd_parameters_present_flag元素，可以指示NAL HRD参数信息的存在。NAL HRD参数存在标志348可以具有指示HRD参数结构350在HEVC VUI语法302中存在的值1或者指示HRD参数结构350不存在的值0。

VCL HRD参数存在标志352，诸如vcl_hrd_parameters_present_flag元素，可以指示用于VCL的HRD信息的存在。VCL HRD参数存在标志352可以具有指示HRD参数结构350在HEVC VUI语法302中存在的值1或者指示HRD参数结构350不存在的值0。

HRD参数结构350可以包括用于VCL的假设参考解码器参数。HRD参数结构350在以下的HRD语法部分中具体描述。HRD参数结构350是HRD语法的实例。

如果NAL HRD参数存在标志348或VCL HRD参数存在标志352具有值1，则HEVC VUI语法302可以包括附加的HRD参数和位流参数。HEVC VUI语法302可以包括低延迟HRD标志354、子画面编码的画面缓冲区(CPB)参数存在标志356以及子单元滴答(subunit ticks)358。

HEVC VUI语法302可以包括低延迟HRD标志354，诸如low_delay_hrd_flag元素。低延迟HRD标志354可以指示HRD操作模式。

HEVC VUI语法302可以包括子画面CPB参数存在标志356，诸如sub_pic_cpb_params_present_flag元素。子画面CPB参数存在标志356可以指示子画面CPB参数是否在视频位流110中存在。

如果子画面CPB参数存在标志356具有值1，则HEVC VUI语法302可以包括子单元滴答358，诸如num_of_units_in_sub_tick元素。子单元滴答358可以指示在去除计时辅助增强信息(SEI)消息之前等待的滴答数量。

如果NAL HRD参数存在标志348或VCL HRD参数存在标志352具有值1，则HEVC VUI语法302可以包括位流参数。HEVC VUI语法302可以包括关于视频位流110的位流限制信息。HEVC VUI语法302可以包括位流限制标志360、块固定结构标志362、运动向量标志364、每画面单位(denomination)最大字节数336、每最小cu单位最大位数368、最大运动向量水平长度370、及最大运动向量垂直长度372。

位流限制标志360，诸如bitstream_restriction_flag元素，指示编码的视频序列位流限制参数在视频位流110中存在。如果位流限制参数在视频位流110中存在，则位流限制标志360具有值1，并且如果位流限制参数不存在，则位流限制标志360具有值0。位流限制参数可以包括块固定结构标志362、运动向量标志364、每画面单位最大字节数366、每最小cu单位最大位数368、最大运动向量水平长度370、及最大运动向量垂直长度372。

诸如tiles_fixed_structure_flag元素的块固定结构标志362可以指示在编码的视频序列中每个画面都具有相同数量的块。块固定结构标志362可以具有指示固定块的值1和指示其它的值0。

诸如motion_vector_over_pic_boundaries_flag元素的运动向量标志364可以指示在画面边界之外没有样本用于预测。如果运动向量标志364具有值1，则画面边界之外的一个或多个样本可用于预测，否则没有样本被用于预测。

诸如max_bytes_per_pic_denom元素的每画面单位最大字节数366是指示用于与编码的视频序列中任何编码的画面相关联的VCLNAL单元的大小的总和的最大字节数的值。如果每画面单位最大字节数366具有值0，则没有指示限制。否则，位流一致性要求编码的画面不应当在视频位流110中由多于每画面单位最大字节数366的字节表示。

对于编码的视频序列的任何画面中的任何编码块，诸如max_bits_per_min_cu_denom元素的每最小cu单位最大位数368是指示用于编码单元数据的编码的位的数量的上界的值。如果每最小cu单位最大位数368具有值0，则没有指示限制。否则，位流一致性要求编码单元在视频位流110中不应当由多于每最小cu单位最大位数368的位表示。

诸如log2_max_mv_length_horizontal元素的最大运动向量水平长度370指示用于视频位流110中所有画面的解码的水平运动向量分量的最大绝对值。诸如log2_max_mv_length_vertical元素的最大运动向量垂直长度372指示用于视频位流110中所有画面的解码的垂直运动向量分量的最大绝对值。

现在参考图4，其中示出了HEVC VUI第一扩展语法402的例子。HEVC VUI第一扩展语法402提供用于图1的视频位流110中图2时域层230的每个实例的单独计时信息。

HEVC VUI第一扩展语法402描述图4的HEVC VUI第一扩展语法表中的元素。如在图4的HEVC VUI第一扩展语法表中所描述的，HEVC VUI第一扩展语法402的元素以层次结构进行布置。例如，HEVC VUI第一扩展语法402可以是图3的HEVC VUI语法302的扩展。

HEVC VUI第一扩展语法402包括HEVC VUI第一扩展语法首部404，诸如vui_parameters元素。HEVC VUI第一扩展语法首部404是用于识别HEVC VUI第一扩展语法402的描述符。HEVC VUI第一扩展语法402用来编码和解码视频位流110。

对于视频位流110中每个时域层，HEVC VUI第一扩展语法402可以包括关于字段序列标志336和计时信息存在标志338的VUI参数的子集。诸如第一或第二的术语仅仅用于识别而不是要指示任何次序、优先级、重要性或前后顺序。

HEVC VUI第一扩展语法402可以包括时域层计数406，诸如vui_max_temporal_layers_minus1元素，用于识别与图1的视频位流110中每一帧关联的时域层的最大数量。时域层计数406指示条目数减1，以便从0到时域层数减1映射时域层计数406。

HEVC VUI第一扩展语法402可以包括循环结构来表示特定于时域层的信息。循环可包括迭代器，诸如[i]，用于指示从0至时域层计数406的、与时域层230的每个实例相关联的信息。HEVC VUI第一扩展语法402支持用于等于时域层计数406的多个时域层230实例的单独语法元素。

HEVC VUI第一扩展语法402包括如在图4的HEVC VUI第一扩展语法表中所描述的元素。如在图4的HEVC VUI第一扩展语法表中所描述的，HEVC VUI第一扩展语法402的元素以层次结构进行布置。

HEVC VUI第一扩展语法402包括诸如字段序列标志336、计时信息存在标志338、滴答单元340、时间标度344以及固定画面速率标志346的计时信息。HEVC VUI第一扩展语法402可以包括NALHRD信息，诸如NAL HRD参数存在标志348、HRD参数结构350、VCL HRD参数存在标志352、低延迟HRD标志354、子画面CPB参数存在标志356以及子单元滴答358。

HEVC VUI第一扩展语法402可以包括用于时域层230的每个实例的字段序列信息。HEVC VUI第一扩展语法402可以包括字段序列标志336、计时信息存在标志338、滴答单元340、时间标度344以及固定画面速率标志346。

HEVC VUI第一扩展语法402可以包括用于时域层230的每个实例的假设参考解码器参数。HEVC VUI第一扩展语法402可以包括NAL HRD参数存在标志348、VCL HRD参数存在标志352和HRD参数结构350。

NAL HRD参数存在标志348，诸如nal_hrd_parameters_present_flag元素，可以指示NAL HRD参数信息的存在。NAL HRD参数存在标志348可以具有指示HRD参数结构350在视频位流110中存在的值1或者指示HRD参数结构350不存在的值0。

VCL HRD参数存在标志352，诸如vcl_hrd_parameters_present_flag元素，可以指示用于VCL的HRD信息的存在。VCL HRD参数存在标志352可以具有指示HRD参数结构350在视频位流110中存在的值1或者指示HRD参数结构350不存在的值0。

HEVC VUI第一扩展语法402可以包括HRD参数结构350。HRD参数结构350可以包括描述假设参考解码器的参数。HRD参数结构350在以下的部分中进一步定义。

如果NAL HRD参数存在标志348或VCL HRD参数存在标志352具有值1，则HEVC VUI第一扩展语法402可以包括低延迟HRD标志354、子画面CPB参数存在标志356以及子单元滴答358。

HEVC VUI第一扩展语法402可包括关于位流、VUI扩展，以及循环结构之外的RBSP信息的信息。位流、VUI扩展和RBSP信息对所有时域层都是恒定的。

HEVC VUI第一扩展语法402可包括VUI扩展标志408，诸如vui_extension_flag元素，用于指示VUI扩展信息包括在视频位流110中。VUI扩展标志408可以具有指示VUI扩展信息包括在视频位流110中的值1和指示其它的值0。

HEVC VUI第一扩展语法402可以包括更多RBSP数据标志410，诸如more_rbsp_data元素，用于指示附加的数据在RBSP中。当附加的数据在RBSP中时，更多RBSP数据标志410可以具有值1，否则具有值0。

HEVC VUI第一扩展语法402可以包括VUI扩展数据标志412，诸如VUI_extension_data_flag元素，用于指示VUI扩展数据包括在视频位流110中。当VUI扩展数据标志412包括在视频位流110中时，VUI扩展数据标志412可以具有值1，否则具有值0。

HEVC VUI第一扩展语法402可以包括RBSP尾随位414，诸如rbsp_trailing_bits元素，它是用于标记RBSP数据的数据结构。RBSP尾随位414可以包括RBSP数据，诸如sbsp_stop_one_bit元素，用于为RBSP指示停止位。

研究发现，利用HEVC VUI第一扩展语法402编码和解码图1的视频内容108以支持时域层的每个实例提供了对时域层230的每个实例的表示的更细粒度控制。为时域层230的每个实例提供信息提高了图1视频流112的显示质量。

现在参考图5，其中示出了HEVC VUI第二扩展语法502的例子。HEVC VUI第二扩展语法502包括用于图1的视频位流110中所有时域层的关于字段序列标志336和计时信息存在标志338的VUI参数的单个实例。

HEVC VUI第二扩展语法502描述图5的HEVC VUI第二扩展语法表中的元素。如在图5的HEVC VUI第二扩展语法表中所描述的，HEVC VUI第二扩展语法502的元素以层次结构进行布置。例如，HEVC VUI第二扩展语法502可以是图3的HEVC VUI语法302的扩展。

HEVC VUI第二扩展语法502包括HEVC VUI第二扩展语法首部504，诸如vui_parameters元素。HEVC VUI第二扩展语法首部504是用于识别HEVC VUI第二扩展语法502的描述符。

HEVC VUI第二扩展语法502包括用于图2的每个时域层230的具有HRD参数结构350的循环。诸如第一或第二的术语仅用于识别，而不指示任何次序、优先级、重要性或前后顺序。

HEVC VUI第二扩展语法502可以包括诸如字段序列标志336、计时信息存在标志338、滴答单元340、时间标度344和固定画面速率标志346的公共计时信息集合。公共计时信息集合跨时域层230的所有实例都是恒定的。

HEVC VUI第二扩展语法502可以包括时域层计数406，诸如vui_max_temporal_layers_minus1元素，用于识别与视频位流110中每一帧关联的时域层230的最大数量。时域层计数406指示从0到时域层数减1映射时域层计数406。

HEVC VUI第二扩展语法502可以包括循环结构来表示特定于时域层的的信息。循环可包括迭代器，诸如[i]，用于指示从0至时域层计数406的、与时域层230的每个实例相关联的信息。HEVC VUI第二扩展语法502支持用于等于时域层计数406的多个时域层230的实例的单独语法元素。

HEVC VUI第二扩展语法502包括如在图5的HEVC VUI第二扩展语法表中所描述的元素。如图5的HEVC VUI第二扩展语法表中所描述的，HEVC VUI第二扩展语法502的元素是以层次结构进行布置的。

HEVC VUI第二扩展语法502可以包括用于时域层230的每个实例的假设参考解码器参数。HEVC VUI第二扩展语法502可以包括NAL HRD参数存在标志348、VCL HRD参数存在标志352和HRD参数结构350。

HEVC VUI第二扩展语法502可以包括HRD参数结构350。HRD参数结构350可以包括描述假设参考解码器的参数。HRD参数结构350在以下的部分中进一步定义。

如果NAL HRD参数存在标志348或VCL HRD参数存在标志352具有值1，则HEVC VUI第二扩展语法502可以包括低延迟HRD标志354和子画面CPB参数存在标志356。如果子画面CPB参数存在标志356是1，则HEVC VUI第二扩展语法502可以包括子单元滴答358，诸如num_units_in_sub_tick元素。

HEVC VUI第二扩展语法502可以包括关于位流、VUI扩展，以及循环结构之外的RBSP信息的信息。位流、VUI扩展和RBSP信息对所有时域层都是恒定的。

HEVC VUI第二扩展语法502可以包括VUI扩展标志408，诸如vui_extension_flag元素，用于指示VUI扩展信息包括在视频位流110中。VUI扩展标志408可以具有指示VUI扩展信息包括在视频位流110中的值1和指示其它的值0。

HEVC VUI第二扩展语法502可以包括更多RBSP数据标志410，诸如more_rbsp_data元素，用于指示附加的数据在RBSP中。当附加的数据在RBSP中时，更多RBSP数据标志410可以具有值1，否则具有值0。

HEVC VUI第二扩展语法502可以包括VUI扩展数据标志412，诸如VUI_extension_data_flag元素，用于指示VUI扩展数据包括在视频位流110中。当VUI扩展数据标志412包括在视频位流110中时，VUI扩展数据标志412可以具有值1，否则具有值0。

HEVC VUI第二扩展语法502可以包括RBSP尾随位414，诸如rbsp_trailing_bits元素，它是用于标记RBSP数据的数据结构。RBSP尾随位414可包括RBSP数据，诸如sbsp_stop_one_bit元素，用于为RBSP指示停止位。

研究发现，利用HEVC VUI第二扩展语法502编码和解码图1的视频内容108以支持时域缩放减小了视频位流110的大小并且减小了对视频缓冲的需求。减小视频位流110的大小增加功能性并且提高图1视频流112的显示性能。

研究发现，利用HEVC VUI第二扩展语法502编码和解码图1的视频内容108以便对时域层230的每个实例分别支持时域缩放减小了视频位流110的大小并且减小了对视频缓冲的需求。减小视频位流110的大小增加功能性并且提高图1视频流112的显示性能。

现在参考图6，其中示出了HRD语法602的例子。HRD语法602描述与假设参考解码器相关联的参数。

HRD语法602包括如在图6的HRD语法表中描述的元素。如在图6的HRD语法表中所描述的，HRD语法602的元素以层次结构进行布置。

HRD语法602可以包括HRD语法首部604，诸如hrd_parameters元素。HRD语法首部604是用于识别HRD语法602的描述符。

HRD语法602可以包括图3的HRD参数结构350，包括计时存在信息、NAL HRD参数、VCL HRD参数以及固定画面速率信息。计时存在信息可以包括计时信息存在标志338、滴答单元340和时间标度344。

计时信息存在标志338，诸如timing_info_present_flag元素，可以指示计时信息是否包括在图1的视频位流110中。计时信息存在标志338可以具有指示计时信息在视频位流110中的值1和指示计时信息不包括在视频位流110中的值0。

滴答单元340，诸如num_units_in_tick元素，可以指示时钟在时间标度344的频率下操作的时间单元的数量。例如，滴答单元340可以具有对应于可在视频位流110中表示的时间的最小间隔。时间标度344，诸如time_scale元素，是在一秒内时间单元的数量。

VCL HRD参数存在标志352，诸如vcl_hrd_parameters_present_flag元素，可以指示用于VCL的HRD参数信息的存在。VCL HRD参数存在标志352可以具有指示HRD参数结构350在视频位流110中存在的值1或者指示HRD参数结构350不存在的值0。

如果NAL HRD参数存在标志348或VCL HRD参数存在标志352具有值1，则HRD参数结构350可以包括附加的元素。例如，HRD参数结构350可以包括子画面CPB参数存在标志356、位速率标度612、CPB大小标度614、初始CPB去除延迟长度616、CPB去除延迟长度618和DPB输出延迟长度620。

子画面CPB参数存在标志356，诸如sub_pic_cpb_params_present_flag元素，可以指示子画面CPB参数是否在视频位流110中存在。如果子画面CPB参数存在标志356具有值1，则HRD参数结构350可以包括滴答除数(divisor)610，诸如tick_divisor_minus2元素，以规定可在视频位流110中表示的时间的最小间隔。

HRD参数结构350可以包括位速率标度612，诸如bit_rate_scale元素。位速率标度612规定编码的画面缓冲区的最大输入位速率。

HRD参数结构350可以包括CPB大小标度614，诸如cpb_size_scale元素。CPB大小标度614用于确定CPB的大小。

HRD参数结构350可以包括初始CPB去除延迟长度616，诸如initial_cpb_removal_delay_length_minus1元素。初始CPB去除延迟长度616指示缓冲周期SEI消息的元素initial_cpb_removal_delay和initial_cpb_removal_delay_offset的位长度。

HRD参数结构350可以包括CPB去除延迟长度618，诸如cpb_removal_delay_length_minus1元素。CPB去除延迟长度618可以规定画面计时SEI消息中元素cpb_removal_delay的位长度。

HRD参数结构350可以包括DPB输出延迟长度620，诸如dpb_output_delay_length_minus1元素。DPB输出延迟长度620指示解码的画面缓冲区(DPB)的大小。

HRD参数结构350可以包括一组用于图2时域层230的每个实例的参数。HRD参数结构350可以包括利用诸如[i]的迭代器的循环结构，以描述用于时域层230的每个实例的参数。

HRD参数结构350可以包括子层计数630，诸如MaxNumSubLayersMinus1元素。子层计数630指示视频位流110中子层的最大数量。HRD参数结构350可以包括公共信息存在标志603，诸如commoninfPresentFlag元素，该标志指示是否存在公共HRD信息。

HRD参数结构350可以包括固定画面速率标志346，诸如fixed_pic_rate_flag元素，以指示视频位流110中任何两个连续画面的HRD输出时间之间的时域距离是否受约束。如果固定画面速率标志346具有值1，则在任意两个连续画面之间的时域距离受约束，如果不受约束，则值为0。

如果固定画面速率标志346具有值1，则HRD参数结构350可以包括画面持续时间622，诸如pic_duration_in_tc_minus1元素。画面持续时间622可以指示编码的视频序列中任意两个连续画面以输出次序的HRD输出时间之间的时域距离。

HRD参数结构350可以包括低延迟HRD标志354，诸如low_delay_hrd_flag元素。低延迟HRD标志354可以指示HRD操作模式。

HRD参数结构350可以包括CPB计数626，诸如cpb_cnt_minus1元素。CPB计数626可以指示视频位流110中备选CPB说明的数量。

如果NAL HRD参数存在标志348或VCL HRD参数存在标志352具有值1，则对于时域层230的每个实例，HRD参数结构350可以包括HRD参数子层628，诸如hrd_parameters_sub_layer元素。HRD参数子层628可以描述关于每个子层的参数。

研究发现，利用HRD语法602编码和解码图1的视频内容108可以减小视频位流110的大小并减少显示图1的视频流112所需的视频缓冲量。减小视频位流110的大小增加功能性并且提高视频流112的显示性能。

现在参考图7，其中示出了HRD子层语法702的例子。HRD子层语法702描述与假设参考解码器子层相关联的参数。

HRD子层语法702包括如在图7的HRD子层语法表中描述的元素。如在图7的HRD子层语法表中所描述的，HRD子层语法702的元素以层次结构进行布置。

HRD子层语法702可以包括HRD子层语法首部704，诸如hrd_parameters_sub_layer元素。HRD子层语法首部704是用于识别HRD子层语法702的描述符。

HRD子层语法702可以包括循环结构，以定义用于编码的画面缓冲区的每个实例的一组参数。循环结构基于诸如SchedSelidx元素的计划选择索引确定维数。

HRD子层语法702可以描述图2的时域层230的属性。时域层230也可指定为图1的视频位流110的子层。

HRD子层语法702可以包括位速率值706，诸如bit_rate_value_minus1元素。位速率值706可用来规定用于编码的画面缓冲区的每个实例的最大输入位速率。

HRD子层语法702可以包括CPB大小值708，诸如cpb_size_value_minus1元素。CPB大小值708可用来确定编码的画面缓冲区的每个实例的大小。

HRD子层语法702可以包括CBR标志710，诸如cbr_flag元素。CBR标志710指示用于为编码的画面缓冲区的每个实例解码视频位流110的操作模式。如果CBR标志710具有值1，则假设的流交付计划(HSS)以恒定的位速率模式操作。否则，视频位流110以间歇性位速率模式操作。

HRD子层语法702可以表示视频位流110的子层或者时域层230。HRD子层语法702可用来选择一个子层或一个时域层230，并且允许从视频位流110中去除其它子层的实例。

去除子层或时域层230的实例可以减少视频位流110内总的数据量并且使得能够降低位速率或调整图1的视频内容108的大小，用于更好的传输、改进的存储带宽控制与调整。提供特定于子层或时域层的HRD参数使得能够更好并且更流畅地进行位流解码，以产生图1的视频流112。

研究发现，通过对与各个子层的处理启用更细粒度的控制，利用HRD子层语法702提供了改进的性能。通过利用不同子层之间的各个差异，利用HRD子层语法702的各个实例可以提供提高的处理速度。

现在参考图8，其中示出了HRD VUI语法802的例子。HRDVUI语法802描述与假设参考解码器相关联的参数。

HRD VUI语法802包括如在图8的HRD VUI语法表中所描述的元素。如在图8的HRDVUI语法表中所描述的，HRD VUI语法802的元素以层次结构进行布置。例如，HRD VUI语法802可以是图3的HEVC VUI语法302的扩展。

HRD VUI语法802可以包括HRD VUI语法首部804，诸如vui_parameters元素。HRDVUI语法首部804是用于识别HRD VUI语法802的描述符。

HRD VUI语法802可以包括HRD参数结构350，诸如hrd_parameters元素。HRD参数结构350包括用于图2的每个子层或每个时域层230的假设参考解码器参数。

HRD VUI语法802用HRD参数结构350替代HRD相关的参数，包括计时存在信息、NALHRD参数、VCL HRD参数及固定画面速率信息。HRD参数结构350为每个子层或每个时域层230提供一组HRD参数。

HRD VUI语法802可以包括图6的子层计数630，它可以根据sps_max_sub_layers_minus1元素分配值。sps_max_sub_layers_minus1元素可以在序列参数集(SPS)语法中定义。HRD VUI语法802可以包括公用信息存在标志603，以指示公用HRD信息的存在。

子层可以表示时域层230或图1的视频位流110中其它类型的视频层。时域层230的总数可以由子层计数630来表示。

HRD VUI语法802中的字段序列标志336可以支持隔行画面编码。通过简化由视频内容108使用的视频系统的确定，在HRD VUI语法802中提供视频格式317可提供增强的功能性。

视频全范围标志318可以指示黑电平以及亮度和色度信号的范围。颜色描述存在标志320可以指示视频位流110中颜色描述信息的存在，诸如，颜色原色322、传输特性324及矩阵系数326。

HRD VUI语法802可以包括用于增强视频位流110解码的元数据。位流限制标志360、块固定结构标志362、运动向量标志364、每画面单位最大字节数366、每最小cu单位最大位数368、最大运动向量水平长度370、及最大运动向量垂直长度372可用来控制视频位流110的解码。

研究发现，通过启用对各个子层处理更细粒度的控制而不是利用对所有子层公用的HRD参数，在HRD VUI语法802中利用HRD参数结构350提供了改进的性能。通过利用不同子层之间的各个差异，利用HRD参数结构350的各个实例可以提供提高的处理速度。

现在参考图9，其中示出了视频编码系统100的功能框图。视频编码系统100可以包括第一设备102、第二设备104和通信路径106。

第一设备102可以经通信路径106与第二设备104进行通信。第一设备102可以在第一设备传输932中经通信路径106将信息发送到第二设备104。第二设备104可以在第二设备传输934中经通信路径106将信息发送到第一设备102。

为了说明起见，视频编码系统100把第一设备102作为客户端设备示出，但是应当理解，视频编码系统100可以让第一设备102作为不同类型的设备。例如，第一设备可以是服务器。在另一个例子中，第一设备102可以是视频编码器102、视频解码器104、或其组合。

同样，为了说明起见，视频编码系统100把第二设备104作为服务器示出，但是应当理解，视频编码系统100可以让第二设备104作为不同类型的设备。例如，第二设备104可以是客户端设备。在另一个例子中，第二设备104可以是视频编码器102、视频解码器104、或其组合。

为了使本发明这个实施例中的描述简洁，第一设备102将被描述为客户端设备，诸如视频照相机、智能电话、或其组合。本发明不限于对设备类型的这种选择。该选择是本发明的例子。

第一设备102可以包括第一控制单元908。第一控制单元908可包括第一控制接口914。第一控制单元908可以执行第一软件912，以提供视频编码系统100的智能。

第一控制单元908可以以多种不同方式实现。例如，第一控制单元908可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或其组合。

第一控制接口914可用于第一设备102中的第一控制单元908与其它功能单元之间的通信。第一控制接口914也可用于在第一设备102外部的通信。

第一控制接口914可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。

第一控制接口914可以以不同的方式实现，并且，依赖于哪些功能单元或外部单元正在与第一控制接口914相接口，可包括不同的实现。例如，第一控制接口914可以用电子电路、微机电系统(MEMS)、光学电路系统、无线电路系统、有线电路系统或其组合来实现。

第一设备102可以包括第一存储单元904。第一存储单元904可以存储第一软件912。第一存储单元904也可以存储相关的信息，诸如图像、语法信息、视频、地图、配置文件、显示优选项、传感器数据或其任意组合。

第一存储单元904可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如，第一存储单元904可以是非易失性储存器，诸如非易失性随机访问存储器(NVRAM)、闪存存储器、磁存储、或易失性储存器，诸如静态随机访问存储器(SRAM)。

第一存储单元904可以包括第一存储接口918。第一存储接口918可用于第一设备102中的第一存储单元904与其它功能单元之间的通信。第一存储接口918也可用于在第一设备102外部的通信。

第一设备102可以包括第一成像单元906。第一成像单元906可以从现实世界中捕获图1的视频内容108。第一成像单元906可以包括数码照相机、摄像机、光学传感器或其任意组合。

第一成像单元906可以包括第一成像接口916。第一成像接口916可用于第一设备102中的第一成像单元906与其它功能单元之间的通信。

第一成像接口916可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。

取决于哪些功能单元或外部单元正在与第一成像单元906相接口，第一成像接口916可包括不同的实现。第一成像接口916可以用类似于第一控制接口914的实现的技术和技巧来实现。

第一存储接口918可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。

依赖于哪些功能单元或外部单元正在与第一存储单元904相接口，第一存储接口918可包括不同的实现。第一存储接口918可以用类似于第一控制接口914的实现的技术和技巧来实现。

第一设备102可以包括第一通信单元910。第一通信单元910可以用于启用到第一设备102和来自第一设备102的外部通信。例如，第一通信单元910可以允许第一设备102与第二设备104、诸如外围设备或桌面计算机的附件、及通信路径106进行通信。

第一通信单元910也可充当通信集线器，从而允许第一设备102充当通信路径106的一部分，并且不限于是到通信路径106的终点或终端单元。第一通信单元910可以包括有源和无源组件，诸如微电子器件或天线，用于与通信路径106交互。

第一通信单元910可以包括第一通信接口920。第一通信接口920可用于第一设备102中第一通信单元910与其它功能单元之间的通信。第一通信接口920可以从其它功能单元接收信息，或者可以发送信息到其它功能单元。

依赖于哪些功能单元正在与第一通信单元910相接口，第一通信接口920可包括不同的实现。第一通信接口920可以用类似于第一控制接口914的实现的技术和技巧来实现。

第一设备102可以包括第一用户接口902。第一用户接口902允许用户(未示出)与第一设备102相接口和交互。第一用户接口902可包括第一用户输入(未示出)。第一用户输入可以包括触摸屏、手势、运动检测、按钮、滑块、旋钮、虚拟按钮、语音识别控制或其任意组合。

第一用户接口902可以包括第一显示接口120。第一显示接口120可以允许用户与第一用户接口902进行交互。第一显示接口120可以包括显示器、视频屏幕、扬声器或其任意组合。

第一控制单元908可以利用第一用户接口902进行操作，以便在第一显示接口120上显示由视频编码系统100产生的视频信息。第一控制单元908也可以执行第一软件912，用于视频编码系统100的其它功能，包括从第一存储单元904接收视频信息用于在第一显示接口120上显示。第一控制单元908还可执行第一软件912，用于经第一通信单元910与通信路径106进行交互。

为说明起见，第一设备102可被划分成具有第一用户接口902、第一存储单元904、第一控制单元908和第一通信单元910，但是应当理解，第一设备102可以具有不同的划分。例如，第一软件912可进行不同地划分，使得它的一些或全部功能可在第一控制单元908和第一通信单元910中。同样，第一设备102可以包括为简洁起见而在图10中没有示出的其它功能单元。

视频编码系统100可以包括第二设备104。第二设备104可被优化成用于在带有第一设备102的多设备实施例中实现本发明。与第一设备102相比，第二设备104可以提供附加的或更高性能的处理能力。

第二设备104可以包括第二控制单元948。第二控制单元948可以包括第二控制接口954。第二控制单元948可以执行第二软件952，以提供视频编码系统100的智能。

第二控制单元948可以以多种不同方式实现。例如，第二控制单元948可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机、数字信号处理器或其组合。

第二控制接口954可用于第二设备104中的第二控制单元948与其它功能单元之间的通信。第二控制接口954也可用于在第二设备104外部的通信。

第二控制接口954可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第二设备104外部的源和目的地。

第二控制接口954可以以不同的方式实现，并且，依赖于哪些功能单元或外部单元正在与第二控制接口954相接口，可包括不同的实现。例如，第二控制接口954可以用电子电路、微机电系统(MEMS)、光学电路系统、无线电路系统、有线电路系统或其组合来实现。

第二设备104可以包括第二存储单元944。第二存储单元944可以存储第二软件952。第二存储单元944也可以存储相关的信息，诸如图像、语法信息、视频、地图、配置文件、显示优选项、传感器数据或其任意组合。

第二存储单元944可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如，第二存储单元944可以是非易失性储存器，诸如非易失性随机访问存储器(NVRAM)、闪存存储器、磁存储、或易失性储存器，诸如静态随机访问存储器(SRAM)。

第二存储单元944可以包括第二存储接口958。第二存储接口958可用于第二设备104中的第二存储单元944与其它功能单元之间的通信。第二存储接口958也可用于在第二设备104外部的通信。

第二存储接口958可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第二设备104外部的源和目的地。

依赖于哪些功能单元或外部单元正在与第二存储单元944相接口，第二存储接口958可包括不同的实现。第二存储接口958可以用类似于第二控制接口954的实现的技术和技巧来实现。

第二设备104可以包括第二成像单元946。第二成像单元946可从现实世界中捕获视频内容108。第二成像单元946可以包括数码照相机、摄像机、光学传感器或其任意组合。

第二成像单元946可以包括第二成像接口956。第二成像接口956可用于第二设备104中第二成像单元946与其它功能单元之间的通信。

第二成像接口956可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第二设备104外部的源和目的地。

依赖于哪些功能单元或外部单元正在与第二成像单元946相接口，第二成像接口956可包括不同的实现。第二成像接口956可以用类似于第一控制接口914的实现的技术和技巧来实现。

第二设备104可以包括第二通信单元950。第二通信单元950可以启用到第二设备104和来自第二设备104的外部通信。例如，第二通信单元950可以允许第二设备104与第一设备102、诸如外围设备或桌面计算机的附件、及通信路径106进行通信。

第二通信单元950也可充当通信集线器，从而允许第二设备104充当通信路径106的一部分，并且不限于是到通信路径106的终点或终端单元。第二通信单元950可以包括有源和无源组件，诸如微电子器件或天线，用于与通信路径106交互。

第二通信单元950可以包括第二通信接口960。第二通信接口960可用于第二设备104中第二通信单元950与其它功能单元之间的通信。第二通信接口960可以从其它功能单元接收信息，或者可以发送信息到其它功能单元。

依赖于哪些功能单元正在与第二通信单元950相接口，第二通信接口960可包括不同的实现。第二通信接口960可以用类似于第二控制接口954的实现的技术和技巧来实现。

第二设备104可以包括第二用户接口942。第二用户接口942允许用户(未示出)与第二设备104相接口和交互。第二用户接口942可以包括第二用户输入(未示出)。第二用户输入可以包括触摸屏、手势、运动检测、按钮、滑块、旋钮、虚拟按钮、语音识别控制或其任意组合。

第二用户接口942可以包括第二显示接口943。第二显示接口943可以允许用户与第二用户接口942进行交互。第二显示接口943可包括显示器、视频屏幕、扬声器或其组合。

第二控制单元948可以利用第二用户接口942进行操作，以便在第二显示接口943上显示由视频编码系统100产生的视频信息。第二控制单元948也可以执行第二软件952，用于视频编码系统100的其它功能，包括从第二存储单元944接收显示信息用于在第二显示接口943上显示。第二控制单元948还可执行第二软件952，用于经第二通信单元950与通信路径106进行交互。

为说明起见，第二设备104可被划分成具有第二用户接口942、第二存储单元944、第二控制单元948和第二通信单元950，但是应当理解，第二设备104可以具有不同的划分。例如，第二软件952可以进行不同地划分，使得它的一些或全部功能可在第二控制单元948和第二通信单元950中。同样，第二设备104可以包括为简洁起见而在图10中没有示出的其它功能单元。

第一通信单元910可以与通信路径106耦合，以便在第一设备传输932中向第二设备104发送信息。第二设备104可以在第二通信单元950中从通信路径106的第一设备传输932中接收信息。

第二通信单元950可以与通信路径106耦合，以便在第二设备传输934中向第一设备102发送视频信息。第一设备102可以在第一通信单元910中从通信路径106的第二设备传输934中接收视频信息。视频编码系统100可以由第一控制单元908、第二控制单元948或其组合来执行。

第一设备102中的功能单元可以单独且独立于其它功能单元工作。为说明起见，视频编码系统100通过第一设备102的操作进行描述。应当理解，第一设备102可以操作视频编码系统100的任何模块和功能。例如，第一设备102可描述为操作第一控制单元908。

第二设备104中的功能单元可以单独且独立于其它功能单元工作。为说明起见，视频编码系统100可通过第二设备104的操作进行描述。应当理解，第二设备104可以操作视频编码系统100的任何模块和功能。例如，第二设备104可描述为操作第二控制单元948。

为说明起见，视频编码系统100通过第一设备102和第二设备104的操作进行描述。应当理解，第一设备102和第二设备104可以操作视频编码系统100的任何模块和功能。例如，第一设备102被描述为操作第一控制单元908，但是应当理解，第二设备104也可以操作第一控制单元908。

现在参考图10，其中示出了图1的视频编码系统100的控制流1000。控制流1000描述通过接收视频位流110解码图1的视频位流110、提取图1的视频语法114、解码视频位流110及显示图1的视频流112来解码图1的视频位流110。

视频编码系统100可以包括接收模块1002。接收模块1002可以接收由图1的视频编码器102编码的视频位流110。

视频位流110可以以各种方式被接收。例如，视频位流110可以从图1的视频编码器102中作为流化串行位流、预编码的视频文件(未示出)、以经由图1的通信路径106的数字消息(未示出)或其组合来接收。

视频位流110可以包括一个或多个图2的时域层230，用于表示在不同帧速率的图1的视频内容108。接收模块1002可以选择性地过滤时域层230，以减小视频位流110的大小。

例如，接收模块1002可以接收具有用于三个不同帧速率，诸如60fps，30fps和15fps，的时域层230的视频位流110。接收模块1002可以过滤视频位流110，以去除时域层230的60fps和30fps实例并且只处理时域层230的15fps实例。

视频编码系统100可以包括获取语法模块1004。获取语法模块1004可以识别并提取视频位流110的视频语法114。

获取语法模块1004可以以各种方式提取用于视频位流110的视频语法114。例如，获取语法模块1004可以通过在视频位流110中查找指示视频语法114存在的视频可用性信息首部来提取视频语法114。在另一个例子中，可以利用解复用器(未示出)从视频位流110的视频图像数据分离视频语法114来从视频位流110中提取视频语法114。

在还有另一个例子中，可以通过提取序列参数集原始字节序列负荷(RBSP)语法来从视频位流110中提取视频语法114。序列参数集RBSP是包含封装在网络抽象层单元中的整数个字节的语法结构。RBSP可以为空或者具有数据位的串形式，其包含语法元素，后面跟着RBSP停止位的并且随后跟着零个或多个等于0的附加位。

在还有另一个例子中，当元素在串行位流中变得可用时，可以通过提取各个元素从视频位流110的串行位流中以时间顺序的方式来提取视频语法114。视频编码系统100可以基于之前提取的元素的值选择性地提取和处理后面的元素。视频编码系统100可以基于之前接收到的图3的低延迟HRD标志354的值处理图3的HRD参数结构350。

研究发现，基于之前提取的低延迟HRD标志354的实例，通过利用HRD参数结构350动态地解码视频位流110，获取语法模块1004可以提高性能。当应用HRD参数结构350时，通过改变在CPB中允许的延迟水平，接收低延迟HRD标志354提高解码性能。

在另一个例子中，如果视频位流110在文件中接收，则可以通过检查包含视频位流110的文件的文件扩展名来检测视频语法114。在还有另一个例子中，如果视频位流110经图1的通信路径106作为数字消息接收，则视频语法114可以作为数字消息结构的一部分提供。

获取语法模块1004可以基于图2的语法类型202提取视频语法114的各个元素。语法类型202可以包括AVC视频、SVC视频、MVC视频、MVD视频、SSV视频或其组合。

例如，获取语法模块1004可以提取视频语法114，诸如图3的HEVC VUI语法302、图4的HEVC VUI第一扩展语法402、图5的HEVC VUI第二扩展语法502、或其组合。获取语法模块1004可以提取包括图6的HRD语法602、图7的HRD子层语法702或其组合的视频语法114。

获取语法模块1004可以以各种方式提取视频语法114。例如，获取语法模块1004可以从视频位流110提取诸如HEVC VUI语法302的视频语法114。HEVC VUI语法302可以包括用于时域层230的所有实例的HRD语法602的一个实例。HEVC VUI语法302可以包括用于时域层230的所有实例的HEVC VUI语法302的元素的一个实例。

在另一个例子中，获取语法模块1004可以从视频位流110中提取视频语法114，诸如HEVC VUI第一扩展语法402。HEVC VUI第一扩展语法402可以包括用于时域层230的每个单独实例的HRD语法602的实例。

HEVC VUI第一扩展语法402可以包括用于时域层230的每个单独实例的图3的字段序列标志336、图3的计时信息存在标志338、图3的滴答单元340、图3的时间标度344以及图3的固定画面速率标志346的单独实例。HEVC VUI第一扩展语法402可以包括用于时域层230的每个单独实例的图3的NAL HRD参数存在标志348、图3的VCL HRD参数存在标志352、图3的低延迟HRD标志354、图3的子画面CPB参数存在标志356以及图3的子单元滴答358。

在还有另一个例子中，获取语法模块1004可以从视频位流110中提取视频语法114，诸如HEVC VUI第二扩展语法502。HEVCVUI第二扩展语法502可以包括用于时域层230的所有实例的字段序列标志336、计时信息存在标志338、滴答单元340、时间标度344和固定画面速率标志346的一个实例。HEVC VUI第二扩展语法502可以包括用于时域层230的每个单独实例的NAL HRD参数存在标志348、VCL HRD参数存在标志352、低延迟HRD标志354、子画面CPB参数存在标志356和子单元滴答358。

视频编码系统100可以包括解码模块1006。解码模块1006可以利用视频语法114解码视频位流110，以形成视频流112。解码模块1006可以包括获取时域层模块1008和解码时域层模块1010。

解码模块1006可以利用HEVC VUI语法302、HEVC VUI第一扩展语法402、HEVC VUI第二扩展语法502或其组合解码视频位流110。解码模块1006可以利用HRD语法602、HRD子层语法702、图8的HRD VUI语法802或其组合来识别和提取时域层230。

获取时域层模块1008可以识别时域层230，以便从视频位流110中提取来形成视频流112。获取时域层模块1008可以以各种方式识别时域层230。

例如，获取时域层模块1008可以通过从HEVC VUI第一扩展语法402或HEVC VUI第二扩展语法502提取图4的时域层计数406来识别时域层230。时域层计数406指示视频位流110中时域层230的总数。在另一个例子中，获取时域层模块1008可以通过从HEVCVUI语法302提取适用于视频位流110中所有时域层230的HRD语法602的单个实例来识别时域层。

解码时域层模块1010可以从获取时域层模块1008接收时域层230并且解码时域层230，以形成视频流112。解码时域层模块1010可以以各种方式解码时域层230。

例如，解码时域层模块1010可以利用HRD语法602来解码时域层230。在另一个例子中，解码时域层模块1010可以利用HRD子层语法702来解码时域层230。解码时域层模块1010可以解码时域层230并且选择一个时域层230来形成视频流112。

HRD语法602的参数可以用来管理视频位流110的流畅解码，包括控制编码的画面缓冲区中的数据缓冲速率。计时信息存在标志338、子画面CPB参数存在标志356、位速率标度612、CPB大小标度614、CPB去除延迟长度618以及DPB输出延迟长度620可以用来把数据流调控到编码的画面缓冲区和解码的画面缓冲区中。

视频编码系统110可以包括显示模块1012。显示模块1012可以从解码模块1006接收视频流112并且在图1的显示接口120上显示。视频流112可包括时域层230的一个或多个实例。

从视频内容108的物理对象的光图像到在图9的显示接口120的像素元件上显示视频流112的物理变换导致对物理世界中显示接口120的像素元件的物理变化，诸如像素元件电气状态的变化，其基于视频编码系统100的操作。当在物理世界中发生变化时，诸如在视频内容108中捕获的对象的运动，移动本身产生附加的信息，诸如对视频内容108的更新，这些信息转换回显示接口120的像素元件中的变化，用于视频编码系统100的继续操作。

第一设备102的图9的第一软件912可以包括视频编码系统100例如，第一软件912可以包括接收模块1002、获取语法模块1004、解码模块1006和显示模块1012。

图9的第一控制单元908可以执行第一软件912，以便让接收模块1002接收视频位流110。第一控制单元908可以执行第一软件912，以便让获取语法模块1004从视频位流110中识别和提取视频语法114。第一控制单元908可以执行第一软件912，以便让解码模块1006形成视频流112。第一控制单元908可以执行第一软件912，以便让显示模块1012显示视频流112。

图1的第二设备104的图9的第二软件952可以包括视频编码系统100。例如，第二软件952可以包括接收模块1002、获取语法模块1004和解码模块1006。

图9的第二控制单元948可以执行第二软件952，以便让接收模块1002接收视频位流110。第二控制单元948可以执行第二软件952，以便让获取语法模块1004从视频位流110中识别和提取视频语法114。第二控制单元948可以执行第二软件952，以便让解码模块1006形成图1的视频流112。第二控制单元948可以执行第二软件，以便让显示模块1012显示视频流112。

视频编码系统100可以在第一软件912和第二软件952之间进行划分。例如，第二软件952可以包括获取语法模块1004、解码模块1006和显示模块1012。如前面所描述的，第二控制单元948可以执行在第二软件952上划分的模块。

在说明性例子中，视频编码系统100可以包括第一设备102上的视频编码器102和第二设备104上的视频解码器104。视频解码器104可以包括图1的显示处理器118和显示接口120。

第一软件912可以包括接收模块1002和获取语法模块1004。依赖于图9的第一存储单元904的大小，第一软件912可以包括视频编码系统100的附加模块。如前面所描述的，第一控制单元908可以执行在第一软件912上划分的模块。

第一控制单元908可以操作图9的第一通信单元910，以便向第二设备104发送视频位流110。第一控制单元908可以操作第一软件912，以操作图9的第一成像单元906。图9的第二通信单元950可以经通信路径106向第一设备102发送视频流112。

视频编码系统100描述了作为例子的模块功能或次序。模块可进行不同的划分。例如，获取语法模块1004和解码模块1006可以合并。每个模块可以单独且独立于其它模块来操作。

此外，在一个模块中产生的数据可以被另一个模块使用，而不用彼此间直接耦合。例如，获取语法模块1004可以从接收模块1002接收视频位流110。

模块可以以各种方式来实现。接收模块1002、获取语法模块1004、解码模块1006和显示模块1012可以用第一控制单元908或第二控制单元948内的硬件加速器(未示出)实现，或者可以用第一控制单元908或第二控制单元948之外的第一设备102或第二设备104中的硬件加速器(未示出)实现。

现在参考图11，其中示出了在本发明的另一实施例中图1视频编码系统100的操作方法1100的流程图。方法1100包括：在块1102接收视频位流；在块1104从视频位流中提取视频语法；在块1106基于视频语法从视频位流中提取时域层；以及在块1108基于时域层形成视频流，用于在设备上显示。

研究发现，本发明因此具有许多方面。本发明有价值地支持并服务于降低成本、简化系统和提高性能的历史趋势。因此，本发明的这些和其它有价值的方面使技术状态前进到至少更高的水平。

因此，研究发现，本发明的视频编码系统提供了重要的并且迄今为止未知和不可用的解决方案、能力及功能方面，用于有效地为高清晰应用编码和解码视频内容。结果产生的过程和配置直接明了、成本有效、不复杂、高通用性和高效、能够不可思议地并且不明显地通过采用已知的技术来实现，并且因此很容易适于高效且经济地制造与传统制造工艺和技术完全兼容的视频编码设备。结果产生的过程和配置直接明了、成本有效、不复杂、高通用性、准确、灵敏且高效，并且能够通过采用已知的组件来实现，便于容易、高效且经济地制造、应用和利用。

虽然本发明已经结合具体的最佳模式进行了描述，但是应当理解，鉴于前面的描述，许多备选方案、修改和变化将对本领域技术人员显而易见。因此，属于所附权利要求范围之内的所有此类备选方案，修改和变化都要包括在内。至此在本文中阐述或在附图中示出的所有内容都要在说明性和非限制性的意义上进行解释。

Claims

1.一种视频解码方法，包括：

从编码的位流中提取视频可用性信息语法，其中，所述视频可用性信息语法包括field_seq_flag，其中所述field_seq_flag指示视频流是否包括视频表示字段，并且所述field_seq_flag对于多个子层是公用的；

基于提取的视频可用性信息语法从所述编码的位流中提取子层；及

基于提取的子层解码所述编码的位流，并且生成所述视频流。

2.如权利要求1所述的方法，其中，所述field_seq_flag对于所有所述多个子层都是恒定的。

3.如权利要求1所述的方法，其中，所述视频可用性信息语法还包括timing_info_present_flag，所述timing_info_present_flag指示计时信息是否包括在所述视频流中。

4.如权利要求1所述的方法，还包括：从所述编码的位流中提取对于所有所述多个子层都是公用的假设参考解码器语法。

5.如权利要求1所述的方法，还包括：从所述编码的位流中提取用于所述多个子层中的每一个的假设参考解码器语法。

6.如权利要求3所述的方法，其中，与timing_info_present_flag相关的所有视频可用性信息语法对于所述多个子层是公用的。

7.如权利要求3所述的方法，其中，与timing_info_present-flag相关的所有视频可用性信息语法对于所述多个子层是恒定的。

8.一种视频解码系统，包括：

获取语法模块，耦合到接收模块，用于从编码的位流中提取视频可用性信息语法，其中，所述视频可用性信息语法包括field_seq_flag，其中所述field_seq_flag指示视频流是否包括视频表示字段，并且所述field_seq_flag对于多个子层是公用的；

解码模块，耦合到获取语法模块，用于基于提取的视频可用性信息语法从所述编码的位流中提取子层，以及用于基于提取的子层解码所述编码的位流并且生成所述视频流。

9.如权利要求8所述的系统，其中，所述field_seq_flag对于所有所述多个子层都是恒定的。

10.如权利要求8所述的系统，其中，所述视频可用性信息语法还包括timing_info_present_flag，所述timing_info_present_flag指示计时信息是否包括在所述视频流中。

11.如权利要求8所述的系统，其中，获取语法模块用于从所述编码的位流中提取对于所有所述多个子层都是公用的假设参考解码器语法。

12.如权利要求8所述的系统，其中获取语法模块用于从所述编码的位流中提取用于所述多个子层中的每一个的假设参考解码器语法。

13.如权利要求10所述的系统，其中，与timing_info_present_flag相关的所有视频可用性信息语法对于所述多个子层是公用的。

14.如权利要求10所述的系统，其中，与timing_info_present_flag相关的所有视频可用性信息语法对于所述多个子层是恒定的。