CN109462764B

CN109462764B - 支持多层的用于画面编解码的方法、计算机可读记录介质

Info

Publication number: CN109462764B
Application number: CN201811094074.0A
Authority: CN
Inventors: 姜晶媛; 李河贤; 李镇浩; 崔振秀; 金镇雄
Original assignee: Electronics and Telecommunications Research Institute ETRI
Current assignee: Electronics and Telecommunications Research Institute ETRI
Priority date: 2013-01-07
Filing date: 2014-01-06
Publication date: 2021-06-11
Anticipated expiration: 2034-01-06
Also published as: KR20230104574A; EP4274232A3; JP7125520B2; US20180063535A1; US20150365686A1; US10116946B2; US9843814B2; US10841598B2; JP6578417B2; EP4274232A2; JP2016503268A; US20200007876A1; WO2014107069A1; US10455241B2; JP2018164286A; KR20140092198A; EP2942964A1; JP2022160676A; JP7521093B2; EP2942964B1

Abstract

公开了一种支持多层的用于画面解码/编码的方法和存储比特流的非暂时性计算机可读记录介质。所述支持多层的用于画面解码的方法包括：接收包括多层的比特流；和通过解码该比特流获取关于所述多层的每一层的子层的最大数目的信息，其中层的子层的最大数目指示该层中包括的时间子层的最大数目，其中所述关于所述多层的每一层的子层的最大数目的信息被包括在视频参数集扩展信息中并用信号通知，其中视频参数集包括关于子层的最大数目的信息，并且当视频参数集扩展信息不包括关于所述多层之中的层的子层的最大数目的信息时，基于视频参数集中包括的信息导出该层的子层的最大数目。

Description

支持多层的用于画面编解码的方法、计算机可读记录介质

本申请是申请日为2014年1月6日、申请号为201480007888.X、发明名称为“图像编码/解码方法和装置”的发明专利申请的分案申请。

技术领域

本发明涉及画面编码和解码，并更具体地，涉及基于可伸缩视频编码(SVC)的画面编码和解码。

背景技术

最近几年，在已构造多媒体环境的同时，已使用各种终端和网络，并且结果使用需求已被多样化。

例如，当终端的性能和计算能力已被多样化时，支持的性能对于每一设备也已被多样化。此外，在其中传送信息的网络的情况下，传送信息的图案、信息量、和传送速度、以及诸如有线和无线网的外部结构已对于每一功能被多样化。用户已根据期望的功能选择了要使用的终端和网络，并且此外，企业向用户提供的终端和网络的范围(spectrum)已被多样化。

在这方面，最近几年，当具有高清晰度(HD)分辨率的广播已被扩展并且在全世界以及全国服务时，许多用户已熟悉高清晰度画面。结果，许多与画面服务关联的组织已进行很多努力来开发下一代画面设备。

此外，随着对于具有比HDTV的分辨率高四倍的分辨率的超高清晰度(UHD)以及HDTV的兴趣的增加，对于压缩和处理更高分辨率和更高清晰度画面的技术的需求已进一步增加。

为了压缩和处理画面，可使用根据时间上在前和/或在后的画面来预测当前画面中包括的像素值的帧间预测技术、使用当前画面中的像素信息来预测当前画面中包括的另一像素值的帧内预测技术、以及向其中出现频率高的码元分配短符号并向其中出现频率低的码元分配长符号的熵编码技术等。

如上所述，当考虑具有不同支持的功能、以及多样化用户需求的各个终端和网络时，所支持画面的质量、尺寸、帧等因此需要多样化。

这样，由于异类通信网络、以及具有各种功能的终端和各类终端，所以不同地支持画面的质量、分辨率、尺寸、帧频等的可伸缩性成为视频格式的主要功能。

因此，必须提供可伸缩性功能从而在时间、空间、画面质量等方面实现视频编码和解码，以便基于高效率视频编码方法来提供在各种环境下用户所需要的服务。

发明内容

【技术问题】

本发明的目的是提供能改进编码/解码效率的、用于画面编码/解码的方法和设备。

本发明的另一目的是提供能改进编码/解码效率的、在可伸缩视频编码中执行层间切换的方法和设备。

本发明的另一目的是提供能改进编码/解码效率的、表达并用信号通知可伸缩比特流的可伸缩性信息的方法和设备。

本发明的另一目的是提供能改进编码/解码效率的、表达并用信号通知可伸缩层的子层信息的方法和设备。

【技术方案】

根据本发明的一个方面，提供一种支持多层的用于画面解码的方法，该方法包括：接收包括多层的比特流；和通过解码该比特流获取关于所述多层的每一层的子层的最大数目的信息，其中层的子层的最大数目指示该层中包括的时间子层的最大数目，其中所述关于所述多层的每一层的子层的最大数目的信息被包括在视频参数集扩展信息中并用信号通知，其中视频参数集包括关于子层的最大数目的信息，并且当视频参数集扩展信息不包括关于所述多层之中的层的子层的最大数目的信息时，基于视频参数集中包括的信息导出该层的子层的最大数目。

根据本发明的一个方面，提供一种支持多层的用于画面编码的方法，该方法包括：获取关于所述多层的每一层的子层的最大数目的信息；和通过编码关于所述多层的每一层的子层的最大数目的信息，来传送包括关于子层的最大数目的信息的比特流，其中层的子层的最大数目指示该层中包括的时间子层的最大数目，其中所述关于所述多层的每一层的子层的最大数目的信息被包括在视频参数集扩展信息中并用信号通知，其中视频参数集包括关于子层的最大数目的信息，并且当视频参数集扩展信息不包括关于所述多层之中的层的子层的最大数目的信息时，基于视频参数集中包括的信息导出该层的子层的最大数目。

根据本发明的一个方面，提供一种存储比特流的非暂时性计算机可读记录介质，其中通过支持多层的用于画面编码的方法生成所述比特流，所述方法包括：获取关于所述多层的每一层的子层的最大数目的信息；和通过编码关于所述多层的每一层的子层的最大数目的信息，来传送包括关于子层的最大数目的信息的比特流，其中层的子层的最大数目指示该层中包括的时间子层的最大数目，其中所述关于所述多层的每一层的子层的最大数目的信息被包括在视频参数集扩展信息中并用信号通知，其中视频参数集包括关于子层的最大数目的信息，并且当视频参数集扩展信息不包括关于所述多层之中的层的子层的最大数目的信息时，基于视频参数集中包括的信息导出该层的子层的最大数目。

根据本发明的一个方面，提供一种支持多层的用于画面解码的方法。所述支持多层的用于画面解码的方法包括：接收包括多层的比特流；和通过解码该比特流获取关于所述多层的每一层的子层的最大数目的信息。

根据本发明的另一方面，提供一种支持多层的用于画面编码的方法。所述支持多层的用于画面编码的方法包括：获取关于所述多层的每一层的子层的最大数目的信息；和通过编码所述关于子层的最大数目的信息，来传送包括关于子层的最大数目的信息的比特流。

根据本发明的另一方面，提供一种支持多层的用于画面解码的设备。所述支持多层的用于画面解码的设备包括：解码单元，用于接收包括多层的比特流，并解码该比特流以获取关于所述多层的每一层的子层的最大数目的信息。

根据本发明的另一方面，提供一种支持多层的用于画面编码的设备。所述支持多层的用于画面编码的设备包括：编码单元，用于判断关于所述多层的每一层的子层的最大数目的信息，并编码所述关于子层的最大数目的信息，以传送包括所述关于子层的最大数目的信息的比特流。

【有利效果】

提供描述分级比特流和可伸缩性信息中的提取的方法，以灵活表达比特流的各类可伸缩性信息，并使能分组级别的有效自适应变换。

此外，有效表达通过使用分级画面编码所编码的比特流的各种可伸缩性信息，以允许比特流提取器容易地提取期望层。

附图说明

图1是图示了根据本发明实施例的画面解码设备的配置的框图。

图2是图示了根据本发明实施例的画面解码设备的配置的框图。

图3是示意性图示了根据本发明的使用多层的可伸缩视频编码结构的一个示例的概念图。

图4是示意性图示了根据本发明实施例的支持可伸缩比特流(分级比特流)的用于画面编码的方法的流程图。

图5是示意性图示了根据本发明实施例的支持可伸缩比特流(分级比特流)的用于画面解码的方法的流程图。

图6是示意性图示了根据本发明实施例的支持可伸缩比特流(分级比特流)的、用于在画面编码/解码结构中用信号通知可伸缩层的子层信息的方法的流程图。

具体实施方式

其后，将参考附图来详细描述本发明的实施例。在描述当前说明书的实施例时，当确定与本发明相关的现有技术的详细描述可使得本发明的要义模糊时，可省略其对应描述。

将理解的是，当在当前描述中元件被简称为“连接到”或“耦接到”另一元件而不是“直接连接到”或“直接耦接到”另一元件时，该元件可“直接连接到”或“直接耦接到”另一元件，或者连接到或耦接到另一元件，其间插入其他元件。此外，说明书中描述“包括”特定组件的内容不排除除了对应组件之外的组件，而是意味着附加组件可被包括在本发明的实施例中或本发明的技术精神的范围中。

可使用诸如第一、第二等的术语来描述各种组件，但是这些组件不受到这些术语的限制。使用以上术语仅区分一个组件与另一组件。例如，在不脱离本发明的范围的情况下，第一组件也可被称为第二组件，并且类似地，第二组件可被称为第一组件。

此外，独立图示出本发明的实施例中描述的组件，以便示出不同特性功能，并且每一组件不由单独硬件或一个软件构成单元构成。即，每一组件包括为了易于描述而安排的各个组件，并且各个组件中的至少两个组件可构成一个组件，或者一个组件可被划分为可执行它们的功能的多个组件。甚至每一组件的集成实施例和分离实施例也被包括在本发明的范围中，而不脱离本发明的精神。

此外，在本发明中，一些组件不是执行必要功能的必需组件，而是仅用于改进性能的选择组件。本发明可利用用于实现本发明的精神的必需组件而不是仅改进性能所使用的组件来实现，并且仅包括这些必需组件而不是仅改进性能所使用的选择组件的结构也被包括在本发明的范围中。

用于可伸缩视频编码/解码的方法或设备可通过不提供可伸缩性的一般画面编码/解码方法或设备的扩展实现，并且图1的框图图示了可作为可伸缩视频编码设备的基础的画面编码设备的实施例。

参考图1，该画面编码设备100包括运动估计模块111、运动补偿模块112、帧内预测模块120、开关115、减法模块125、变换模块130、量化模块140、熵编码模块150、反量化模块160、逆变换模块170、加法器175、滤波模块180、和解码画面缓冲器190。

画面编码设备100可按照帧内模式或帧间模式来对输入画面进行编码，并输出比特流。在帧内模式中，开关115可切换到帧内，而在帧间模式中，开关115可切换到帧间。帧内预测意味着帧之内的预测，而帧间预测意味着帧之间的预测。画面编码设备100可生成用于输入画面的输入块的预测块，并其后可对输入块和预测块之间的残差进行编码。在该情况下，输入画面可意味着原始画面。

在帧内模式中，帧内预测模块120可通过使用与当前块相邻的已编码/解码块的像素值执行空间预测，来生成预测块。

在帧间模式中，运动估计模块111可通过在运动估计处理期间找到解码画面缓冲器190中存储的参考画面中、与输入块最匹配的区域，来获取运动向量。运动补偿模块112通过使用运动向量来补偿运动，以生成预测块。这里，运动向量是在帧间预测中使用的2D向量，并且可表示在当前编码/解码目标画面和参考画面之间的偏移。

减法器125可通过输入块和生成的预测块之间的差，来生成残差块。

变换模块130对于残差块执行变换，以输出变换系数。这里，变换系数可意味着通过转换残差块和/或残差信号所生成的系数值。其后，在该说明书中，变换系数被量化，并且量化后变换系数电平也可被称为变换系数。

量化模块140根据量化参数对输入的变换系数进行量化，以输出量化后系数。量化后系数可被称为量化后变换系数电平。在该情况下，量化模块140可通过使用量化矩阵来对输入变换系数进行量化。

熵编码模块150基于量化模块140计算的值或在编码期间计算的编码后参数值来执行熵编码，以输出比特流。当应用熵编码时，通过向具有高生成概率的码元分配少数目比特并向具有低生成概率的码元分配大数目比特，来表达码元，并且结果，可降低用于要编码的码元的比特流的尺寸。因此，可通过熵编码增强视频编码的压缩性能。熵编码模块150可使用诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)、和上下文自适应二进制算术编码(CABAC)的编码方法用于熵编码。

由于根据图1的实施例的画面编码设备100执行帧间预测编码，即，帧之间的预测编码，所以当前编码的画面需要被解码和存储，以用作参考画面。因此，量化后系数由反量化模块160逆量化并由逆变换模块170逆变换。逆量化和逆变换的系数由加法器175添加到预测块，并生成重构块。

重构块经过滤波模块180，并且滤波模块180可向重构块或重构画面应用解块滤波、样本自适应偏移(SAO)、和自适应环路滤波(ALF)中的至少一个。滤波模块180可被称为自适应内环滤波器。解块滤波器可去除在块之间的边界处出现的块失真。SAO可向像素值添加适当偏移值，以便补偿编码误差。ALF可基于通过比较重构画面和原始画面所获取的值，来执行滤波。经过滤波模块180的重构块可被存储在解码画面缓冲器190中。

如图1中详细描述的，用于可伸缩视频编码/解码的方法或设备可通过扩展不提供可伸缩性的一般画面编码/解码方法或设备来实现，并且图2的框图图示了可作为可伸缩视频解码设备的基础的画面解码设备的实施例。

参考图2，画面解码设备200包括熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、加法器255、滤波模块260、和解码画面缓冲器270。

画面解码设备200可接收编码器所输出的比特流，按照帧内模式或帧间模式对接收的比特流进行解码，并输出恢复画面，即重构的画面。在帧内模式中，开关可切换到“帧内”，而在帧间模式中，开关切换到“帧间”。

画面解码设备200可从接收的比特流获取重构的残差块，并生成通过在生成预测块之后向预测块添加重构的残差块而重构的块，即重构的块。

熵解码模块210根据概率分布对输入比特流进行熵解码，以生成包括具有量化后系数形式的码元的码元。

当应用熵解码时，通过向具有高生成概率的码元分配少数目比特并向具有低生成概率的码元分配大数目比特，来表达码元，并且结果，可降低用于每一码元的比特流的尺寸。

量化后系数由反量化模块220逆量化并由逆变换模块230逆变换，并且量化后系数被逆量化/逆变换，并且结果，可生成重构的残差块。在该情况下，反量化模块220可向量化后系数应用量化矩阵。

在帧内模式中，帧内预测模块240可通过使用与当前块相邻的已解码块的像素值执行空间预测，来生成预测块。在帧间模式中，运动补偿模块250使用运动向量和解码画面缓冲器270中存储的参考画面来补偿运动，以生成预测块。

残差块和预测块通过加法器255相加，并且相加的块可经过滤波模块260。滤波模块260可向重构的块或重构的画面应用解块滤波、SAO、和ALF中的至少一个。滤波模块260可输出重构的画面，即恢复画面。重构的画面被存储在参考画面缓冲器270中，以在帧间预测中使用。

在视频解码设备200中包括的熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、滤波模块260、和解码画面缓冲器270之中，与视频解码直接相关的构成元件，诸如熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、滤波模块260等与解码单元所要表达的其它构成元件不同。

此外，视频解码设备200可进一步包括解析单元(未图示)，用于解析关于比特流中包括的编码后视频的信息。解析单元可包括熵解码模块210，并且也可被包括在熵解码模块210中。解析单元也可被实现为解码单元的一个构成元件。

图3是示意性图示了根据本发明的使用多层的可伸缩视频编码结构的一个示例的概念图。在图3中，一组画面(GOP)表示画面组，即，一组画面。

需要传送介质来传送画面数据，并且其性能根据各种网络环境对于每一传送介质不同。可提供可伸缩视频编码方法，以应用到各种传送介质或网络环境。

支持可伸缩性的视频编码方法(其后，称为“可伸缩编码”或“可伸缩视频编码”)是这样的编码方法，其通过利用层间纹理信息、运动信息、残差信号等去除层间冗余，来增加编码和解码性能。可伸缩视频编码方法可根据诸如传送比特率、传送误差率、系统资源等的周围条件，在空间、时间、质量、和视图方面，提供各种可伸缩性。

可利用多层结构来执行可伸缩视频编码，以便提供可向各种网络环境应用的比特流。例如，可伸缩视频编码结构可包括使用一般画面解码方法来压缩和处理画面数据的基本层，并且可包括使用基本层的解码信息和一般解码方法两者来压缩和处理画面数据的增强层。

这里，层意味着基于空间(例如，画面尺寸)、时间(例如，解码顺序、画面输出顺序、和帧频)、质量、复杂度、视图等而区分的画面的集合和比特流。

基本层可被称为基本层或较低层。增强层可被指定为增强层或较高层。在该情况下，较低层可表示比特定层支持更低可伸缩性的层，而较高层可表示比特定层支持更高可伸缩性的层。特定层在编码或解码中参考的层可被称为参考层(作为选择，参考层)。

参考图3，例如，基本层可通过标准清晰度(SD)、15Hz帧频、以及1Mbps比特率来定义，第一增强层可通过高清晰度(HD)、30Hz帧频、和3.9Mbps比特率来定义，并且第二增强层可通过4K-超高清晰度(UHD)、60Hz帧频、和27.2Mbps来定义。

可在必要时不同地判断作为一个实施例的格式、帧频、比特率等。此外，使用的层的数目不限于该实施例，并且可根据情况而不同地判断。例如，如果传送带宽是4Mbps，则可通过降低第一增强层的HD的帧频，按照15Hz或更少来传送数据。

可伸缩视频编码方法可通过在图3的实施例中描述的方法，来提供时间、空间、质量、和视图可伸缩性。

在该说明书中，可伸缩视频编码在编码方面和可伸缩视频编码相同，并且在解码方面和可伸缩视频解码相同。

如上所述，由于异类通信网络和各种终端，所以可伸缩性充当当前视频格式的主要功能。比特流的可伸缩性信息非常重要，以便所有节点有效和高效变换内容传递路径上的比特流。现在，与高效视频编码(HEVC)标准中的比特流关联的重要信息在视频参数集(VPS)中描述。此外，非常重要的是，描述与比特流关联的重要信息，例如，提取信息、以及用于提供可伸缩性的甚至延伸HEVC的视频标准中的可伸缩性信息。

其后，本发明提供这样的方法，其有效表达通过使用可伸缩性视频编码所编码的比特流的各种可伸缩性信息，并且允许比特流提取器通过其提取期望层。

比特流特性的表示

HEVC标准中定义了用于示出可伸缩比特流的特性的描述，并且在本发明中，可伸缩比特流的特性的表示意欲如下增强，以便应用到可伸缩视频编码结构。

1)最大比特率定义的时间窗

当前可伸缩表示(表示可伸缩地可解码的重构画面)中的最大比特率表示1秒的时间窗中的比特率的上限。

然而，可需要取决于应用的时标中的峰值比特率或画面速率信息。例如，某一应用可需要仅30秒的时间窗中的信息，而某一应用可需要10秒的时间窗中的峰值比特率或最大脉冲信息。所以，为了这样的目的如下呈现表示至少一个(一个或多个)时间窗的方案。

表格1图示了表示一个或多个时间窗中的比特率信息的语法的实施例。

[表格1]

如下描述图1中图示的语法的含义。

-num_max_bit_rate_windows_minus1+1表示计算最大比特率所使用的时间窗的数目。

-num_max_pic_rate_windows_minus1+1表示计算最大画面速率所使用的时间窗的数目。

-max_bit_rate_calc_window[j]通过1/100秒的单位表示计算用于子层的表示的比特率的上限所使用的第j时间窗的尺寸。max_bit_rate_calc_window[0]的缺省值是100。

-max_bit_rate_calc_window[j]通过1/100秒的单位表示计算用于子层的表示的画面速率的上限所使用的第j时间窗的尺寸。max_pic_rate_calc_window[0]的缺省值是25600。

-其中bit_rate_info_present_flag[i]为“1”的情况表示存在第i子层的比特率的描述，并且其中bit_rate_info_present_flag[i]为“0”的情况表示不存在第i子层的比特率的描述。bit_rate_info_present_flag[i]的缺省值是“1”。

-其中pic_rate_info_present_flag[i]为“1”的情况表示存在第i子层的画面速率的描述，并且其中pic_rate_info_present_flag[i]为“0”的情况表示不存在第i子层的画面速率的描述。pic_rate_info_present_flag[i]的缺省值为“1”。

-avg_bit_rate[i]表示第i子层的表示的平均比特率。avg_bit_rate[i]与SVC标准中描述的内容类似。

-max_pic_rate[i][j]表示作为通过使用max_bit_rate_calc_window[j]所表示的时间窗、如同SVC标准中描述的那样计算的值的、第i子层的表示的比特率的上限。

-avg_pic_rate[i]表示第i子层的表示的平均画面速率(256秒的画面单位)。avg_pic_rate[i]与SVC标准中描述的内容类似。

-max_pic_rate[i][j]表示作为通过使用max_pic_rate_calc_window[j]所表示的时间窗、如同SVC标准中描述的那样计算的值的、第i子层的表示的画面速率的上限。

2)最大比特率定义的桶尺寸

描述比特率信息的另一方法可使用漏桶模型。漏桶模型是通过使用固定数据量代替固定时间间隔、来计算相应比特率值的模型。下表2中图示了在使用这样的模型的情况下的实施例。

[表2]

下面描述图2中图示的语法的含义。

-num_max_bit_rate_values_minus1+1意味着对应语法结构中阐明的最大比特率的数目。

-max_pic_rate_calc_bucket_size[j]通过千比特的单位阐明为了计算子层的表示的比特率的上限而使用的第j漏桶的尺寸。

-当不定义子层的比特率信息时，num_max_pic_rate_windows_minus1具有值0。

-max_pic_rate_calc_window[j]通过1/100秒的单位表示为了计算子层的表示的比特率的上限而使用的第j时间窗的尺寸。max_pic_rate_calc_window[0]的缺省值为25600。

-其中bit_rate_info_present_flag[i]为“1”的情况表示存在第i子层的比特率的描述，并且其中bit_rate_info_present_flag[i]为“0”的情况表示不存在第i子层的比特率的描述。bit_rate_info_present_flag[i]的缺省值为“1”。

-max_bit_rate[i][j]表示第i子层的表示的比特率的上限。max_pic_rate[i][j]表示作为通过使用max_pic_rate_calc_bucket_size[j]所表示的时间窗、如同SVC标准中描述的那样计算的值的、第i子层的表示的比特率的上限。可如下计算最大比特率。

max_bit_rate[i][j]＝max_bit_rate_calc_bucket_size[j]/SmallestInterval[i][j]

以上表格1和2中图示的语法可被添加到视频参数集(其后，VPS)的扩展，并按照补充增强信息(SEI)消息的形式定义。

表格3图示了其中将比特率信息定义为SEI消息的形式的语法的实施例。

[表格3]

在表格3中，same_max_sub_layers_flag[i]和max_sub_layers_minus1[i]可以和下面要描述的具有相同名称的语法具有相同含义。

same_max_sub_layers_flag[i]可以是表示第i子层的最大数目是否等于VPS中定义的第i子层的最大数目的信息。

max_sub_layers_minus1[i]+1表示第i层的子层的数目。

3)用于不同时间段的比特率和画面速率信息

当前比特率和画面速率信息仅在VPS中描述。然而，编码的视频信号可在不同时间段处具有不同比特率和画面速率。所以，本发明提出了用于时间段的比特率和画面速率的技术方案。下表4中提出的附加信息可被用来表示视频内容的部分特性。然而，VPS中的比特率和画面速率仅对于完全编码的序列是有效的。

为了这样的目的，表格4图示了通过使用新SEI消息(例如，“period_characteristics”)来描述用于不同时间段的比特率和帧频的语法。

[表格4]

作为表格4中新定义的SEI消息的“period_characteristics”表示视频序列的时间段的特性，并且“period_characteristics”SEI消息需要按照对应SEI消息所应用到的时段的解码顺序、被包括在第一访问单元(AU)中。

下面描述表格4中的新定义的SEI消息的含义。

-其中duration_flag为“0”的情况意味着不描述目标时间段的长度。

-period_duration通过90-KHz时钟的时钟周期(tick)的单位来表示目标时间段的长度。

层参考

现在，HEVC中描述的层参考方法被配置为描述特定层直接参考的所有层。然而，可显而易见的是，在(多个)特定维度或层中，特定层(例如，质量层“3”)直接参考较低层(例如，质量层“2”)，而没有延迟。

为了这样的目的，本发明提出了这样的方案，其描述具有缺省直接从属性的(多个)维度，并仅对于不具有缺省直接从属性的(多个)维度在可伸缩层的描述环中分开描述层从属性。

表格5图示了其中在根据本发明的VPS_extension中描述层从属性方案的语法的一个示例。

[表格5]

表格5中新定义或修改的语法元素具有下述含义。

-其中default_dependency_flag[i]具有“1”的情况表示可伸缩性维度或可伸缩性层)i具有缺省从属性。这意味着其中具有维度或层dimension_id[i]＝n的层直接参考层dimension_id[i]＝n–1。在非缺省从属性的情况下，参考层可通过specific_dependency_flag来用信号通知。

-其中default_temp_dependency_flag具有“1”的情况表示时间维度具有缺省从属性。

-其中specific_dependency_flag[i]具有“1”的情况表示下面要描述参考(层)关系。其中specific_dependency_flag[i]具有“0”的情况表示层(维度)I具有缺省从属性，具有间接从属性，或者不具有从属层。

-num_direct_ref_layers[i]规定第i层直接参考的层的数目。该情况表示没有规定的层具有缺省从属性，具有间接从属性，或者不具有从属层。

-其中temporal_dim_description_flag[i][j]具有“1”的情况意味着关于可伸缩层的ref_layer_id[i][j]的时间子层的详细从属性关系。

-num_unref_temp_layers[i][j]表示没有被用作可伸缩层i的从属层的时间子层的数目。

-unref_temp_layer_id[i][j][k]表示没有被用作可伸缩层i的从属层的时间子层的id值。

这里，层C直接参考层B意味着解码器需要使用层B的(未解码或解码)数据以便解码层C。此外，当层B直接使用层A的数据时，层C不直接参考层A。

上面提出的方法难以表示在各个时间级别(即，子层)的不同从属层结构。需要表示从属层来实现各个时间级别的不同从属层结构。

下面的表格6图示了描述从属层的语法的一个示例，以实现时间级别的不同从属层结构。每一可伸缩层通过layer_id和temporal_id值来标识。

[表格6]

参考表格6，num_direct_ref_scal_layers[i][t]规定当前可伸缩层(由layer_id＝I和temporal_id＝t标识)直接参考的从属层的数目。这里没有规定的层可具有缺省从属性或间接从属层。

ref_layer_id[i][t][j]和ref_temporal_id[i][t][j]表示当前层直接参考的可伸缩层(layer_id＝ref_layer_id[i][t][j]和temporal_id＝ref_layer_id[i][t][j])。

当HEVC版本1的VPS中定义的所有操作点中规定的所有层(具有唯一层id)具有彼此直接或间接从属性关系时，direct_dependency_flag所描述的内容被包括在操作点中，并且结果，可省略通过direct_dependency_flag的信令，并且layer_dependency_info_flag可知道该信令的省略。

表格7图示了表示根据本发明的在VPS扩展中用信号通知是否存在层间从属性关系的方法的语法的一个示例。

[表格7]

参考表格7，其中layer_dependency_info_flag为1的情况表示在VPS扩展中描述与层从属性关联的信息，并且其中layer_dependency_info_flag为0的情况表示在VPS扩展中不描述与层从属性关联的信息。

此外，可向目前描述的可伸缩性维度的缺省类型添加特定可伸缩性维度。即，如表格8中图示的，可向可伸缩性维度的缺省类型添加使能根据编码中或编码后选择的优先级顺序来提取和消耗内容的优先级ID、以及使能提取和观看仅特定区域的区域ID。

[表格8]

可伸缩性-掩模	可伸缩性维度
		0	无(基本HEVC)
1	空间
		2	质量
3	深度
		4	多视图
5	优先级ID
		6	区域ID
7..15	保留

分布图等级级别(表示关于层的分布图、等级、和级别信息)

目前，在VPS的扩展部分中，profile_tier_level(分布图、等级、和级别信息)被配置为用信号通知和各层(具有layer_id值的层)的比特流中的最大子层(作为选择，时间子层)的数目(即，vps_max_sub_layers_minus1+1)一样多。然而，各层可具有不同数目子层，并且可优选描述用于中间盒(middle box)的每一层中的子层的数目。所以，可如同以上表格5中描述的vps_extension()的语法中的阴影所显示的部分那样修改profile_tier_level的信令，并且下面描述修改的语法元素的含义。

参考表格5，其中same_max_sub_layers_flag[i]为“1”的情况表示第i层的时间子层的最大子层值是vps_max_sub_layers_minus1+1。

max_sub_layers_minusl[i]+1表示第i层的最大时间子层的最大子层值。

same_max_sub_layers_flag[i]和max_sub_layers_minus1[i]可以连同如以上表格5的实施例中描述的profile_tier_level一起用信号通知，并且可以如以下表格9的实施例中描述的分开用信号通知。

[表格9]

如详细描述的，对于每一层用信号通知子层的最大数目(时间子层的最大数目)，以帮助性能协商或提取器。

此外，在其中层具有不同帧频的情况下，并且在其中max_one_active_ref_layer_flag为1、NumDirectRefLayers[nuh_layer_id]为1、或者all_ref_layers_active_flag为1的情况下，解码器可以不区分下面要描述的两种情况。

i)以下情况，其中由于访问单元(AU)是比特流中不存在的画面(例如，由于具有不同帧频的从属层)，所以AU不具有用于当前层直接参考的从属层的编码(编码/解码)画面

ii)以下情况，其中用于当前层直接参考的从属层的编码(编码/解码)画面在传送的同时丢失

本发明提出了用于区分前述情况i)和ii)的方法。即，在本发明中，可通过在VPS中用信号通知用于每一层的子层的最大数目，来判断用于较高子层AU的较低层画面是否在解码器中或中间盒中被故意遗漏或丢失。

在描述用于每一增强层(即，layer_id>0的层)的子层的最大数目(数目)的方法中，存在这样的方案，其仅对于具有在上面呈现的视频参数集(VPS)中用信号通知的除了vps_max_sub_layers_minus1+1之外的、子层的最大值的层，用信号通知对应层的子层的最大值，或者可存在与下面要描述的实施例类似的方案。

A.对于与每一增强层(即，layer_id>0的层)对应的每一序列参数集(SPS)用信号通知对应层的子层的最大值的方案

表格10图示了表示在SPS中用信号通知对应层的子层的最大值的方法的语法的一个示例。

[表格10]

B.在视频参数集(VPS)扩展中用信号通知每一增强层(即，layer_id>0的层)的子层的数目的方案

表格11图示了表示在VPS扩展中用信号通知时间子层的最大数目的方法的语法的一个示例。

[表格11]

参考表格11，max_sub_layers_minus1[i]+1表示具有第i层的子层的最大值(时间子层的最大数目)。

C.仅当在VPS中用信号通知的vps_max_sub_layers_minus1+1与特定层的子层的最大值彼此不同时、在对应层的SPS中用信号通知子层的最大值的方案

一般VPS语法通过使用下表12中图示的vps_max_sub_layers_minus1的值，来在所有比特流中用信号通知子层的最大值。

[表格12]

在该情况下，当存在层(其具有与在VPS中用信号通知的vps_max_sub_layers_minus1+1的值不相等的最大子层值)时，可如表格13中图示的那样在增强层的SPS中用信号通知最大子层值。

[表格13]

参考表格13，当nuh_layer_id的值大于0时(即，在增强层的情况下)，用信号通知max_sub_layers_predict_flag。当max_sub_layers_predict_flag的值为1时，sps_max_sub_layers_minus1可被推断为vps_max_sub_layers_minus1，并且当max_sub_layers_predict_flag的值为0时，将sps_max_sub_layers_minus用信号显式通知到SPS。

当在对应于用于每一层的对应层的SPS中用信号通知最大子层值时，可在SPS中用信号通知根据最大子层值用信号通知的最大DPB尺寸和最大等待时间信息。作为选择，当在每一层的VPS扩展中用信号通知最大子层值时，可不在SPS中而在VPS扩展中用信号通知作为在SPS中用信号通知的最大DPB尺寸和最大等待时间信息的sps_max_dec_pic_buffering_minus1、sps_max_num_reorder_pics和sps_max_latency_increase_plus1的值，以便去除VPS和SPS之间的解析从属性。

A.在用信号通知与每一增强层(即，layer_id>0的层)对应的每一序列参数集(SPS)的对应层的最大子层值的方案中，可如表格14中图示的在SPS中用信号通知最大DPB尺寸和最大等待时间信息。

[表格14]

B.在视频参数集(VPS)扩展中独立用信号通知每一增强层(即，layer_id>0的层)的最大子层值的方案中，可如表格15和16中图示的那样在VPS扩展中用信号通知最大DPB尺寸和最大等待时间信息。

[表格15]

[表格16]

C.在仅当视频参数集(VPS)扩展中每一增强层(即，layer_id>0的层)的最大子层值与vps_max_sub_layers_minus1+1不同时、用信号通知最大子层值的方案中，可如随后示例C-1到C-4中图示的那样在VPS扩展中用信号通知最大DPB尺寸和最大等待时间信息。

示例C-1和C2描述了在VPS扩展中用信号通知所有层的最大DPB尺寸和最大等待时间信息的方案。

示例C-3和C4描述了仅当最大子层值与vps_max_sub_layers_minus1+1的值彼此不同、或者最大子层值和vps_max_sub_layers_minus1+1的值彼此相同但是VPS中用信号通知的所有比特流的最大DPB尺寸和最大等待时间信息彼此不相同时、在VPS扩展中用信号通知对应层的最大DPB尺寸和最大等待时间信息的方案。

示例C-1

[表格17]

示例C-2

[表格18]

示例C-3

表格19图示了在VPS中用信号通知最大DPB尺寸和最大等待时间信息，而表格20图示了在VPS扩展中用信号通知最大DPB尺寸和最大等待时间信息。

[表格19]

[表格20]

参考表格20，sub_layer_vps_buf_ordering_info_predict_flag[i]表示当第i层的最大子层值与vps_max_sub_layers_minus1+1相等时、第i层的最大DPB尺寸和最大等待时间信息是否与在VPS中用信号通知的所有比特流的最大DPB尺寸和最大等待时间信息相同。

其中sub_layer_vps_buf_ordering_info_predict_flag[i]具有“1”的情况表示第i层的最大DPB尺寸和最大等待时间信息与在VPS中用信号通知的所有比特流的最大DPB尺寸和最大等待时间信息相同，并且其中sub_layer_vps_buf_ordering_info_predict_flag[i]具有“0”的情况表示第i层的最大DPB尺寸和最大等待时间信息与在VPS中用信号通知的所有比特流的最大DPB尺寸和最大等待时间信息不相同。

仅当sub_layer_vps_buf_ordering_info_predict_flag[i]具有“0”或者最大子层值与vps_max_sub_layers_minus1+1不相等时，可用信号通知最大DPB尺寸和最大等待时间信息。当不用信号通知sub_layer_vps_buf_ordering_info_predict_flag[i]时，sub_layer_vps_buf_ordering_info_predict_flag[i]的值被设置为“0”。

示例C-3.1

示例C-3.1不同地表达以上示例C-3，并且表格21图示了在VPS中用信号通知最大DPB尺寸和最大等待时间信息，而表格22图示了在VPS扩展中用信号通知最大DPB尺寸和最大等待时间信息。

[表格21]

[表格22]

表格22中添加的语法的含义与具有相同名称的语法的含义相同。例如参考表格20来描述sub_layer_vps_buf_ordering_info_predict_flag[i]。

示例C-4

[表格23]

参考表格23，sub_layer_vps_buf_ordering_info_predict_flag[i]表示当第i层的最大子层值与vps_max_sub_layers_minus1+1相等时、第i层的最大DPB尺寸和最大等待时间信息是否与在VPS中用信号通知的所有比特流的最大DPB尺寸和最大等待时间信息相同。

仅当sub_layer_vps_buf_ordering_info_predict_flag[i]具有“0”或者最大子层值与vps_max_sub_layers_minus1+1不相等时，可用信号通知对应层的最大DPB尺寸和最大等待时间信息。当不用信号通知sub_layer_vps_buf_ordering_info_predict_flag[i]时，sub_layer_vps_buf_ordering_info_predict_flag[i]的值被设置为“0”。

示例C-4.1

示例C-4.1不同地表达以上示例C-4。

[表格24]

表格24中添加的语法的含义与具有相同名称的语法的含义相同。例如参考表格23来描述sub_layer_vps_buf_ordering_info_predict_flag[i]。

D.在仅当在VPS中用信号通知的vps_max_sub_layers_minus1+1与特定层的最大子层值彼此不同时、在SPS中用信号通知对应层的最大数目子层的方案中，可如下面示例D-1到D-3中描述的那样在SPS或VPS扩展中用信号通知最大DPB尺寸和最大等待时间信息。

一般VPS语法通过使用以下表格25中图示的vps_max_sub_layers_minus1的值，来用信号通知所有比特流中的子层的最大值。

[表格25]

在该情况下，在其中当对应层的最大子层值与vps_max_sub_layers_minus1+1不彼此相等时、在增强层的SPS中用信号通知最大子层值的情况下，将在下面的表格26中描述其中在SPS中用信号通知对应层的最大DPB尺寸和最大等待时间信息的示例。

示例D-1

[表格26]

下面两个示例是其中用信号通知增强层之中、具有等于vps_max_sub_layers_minus1+1的最大子层值的层的最大DPB尺寸和最大等待时间信息的示例。

示例D-2是其中用信号通知具有等于vps_max_sub_layers_minus1+1的最大子层值的所有层的最大DPB尺寸和最大等待时间信息的示例。

示例D-3描述了仅当整个比特流中的最大DPB尺寸和最大等待时间信息与在VPS中用信号通知的具有等于vps_max_sub_layers_minus1+1的最大子层值的层的最大DPB尺寸和最大等待时间信息相同时、在VPS扩展中用信号通知对应层的最大DPB尺寸和最大等待时间信息的方案。

示例D-2

[表格27]

参考表格27，其中max_sub_layers_vps_predict_flag[i]具有“1”的情况表示第i层的最大(时间)子层值是vps_max_sub_layers_minus1+1，并且其中max_sub_layers_vps_predict_flag[i]具有“0”的情况表示第i层的最大(时间)子层值具有对应层的在SPS(和对应层具有相同nuh_layer_id值的SPS)中用信号通知的sps_max_sub_layers_minus1+1的值。

具有等于vps_max_sub_layers_minus1+1的最大(时间)子层值的层的最大DPB尺寸和等待时间关联信息在vps_extension中用信号通知，并且具有与vps_max_sub_layers_minus1+1不同的最大(时间)子层值的层的最大DPB尺寸和等待时间关联信息如同示例D-1中描述的那样用信号通知。

示例D-3

[表格28]

参考表格28，其中max_sub_layers_vps_predict_flag[i]具有“1”的情况表示第i层的最大(时间)子层值是vps_max_sub_layers_minus1+1，并且其中max_sub_layers_vps_predict_flag[i]具有“0”的情况表示第i层的最大(时间)子层值具有在对应层的SPS(具有和对应层相同的nuh_layer_id值的SPS)中用信号通知的sps_max_sub_layers_minus1+1的值。

sub_layer_vps_buf_ordering_info_predict_flag[i]表示当最大子层值等于vps_max_sub_layers_minus1+1时、第i层的最大DPB尺寸和最大等待时间信息是否与在VPS中用信号通知的所有比特流的最大DPB尺寸和最大等待时间信息相同。

其中sub_layer_vps_buf_ordering_info_predict_flag[i]具有“1”的情况表示第i层的最大DPB尺寸和最大等待时间信息与在VPS中用信号通知的所有比特流的最大DPB尺寸和最大等待时间信息相同，而其中sub_layer_vps_buf_ordering_info_predict_flag[i]具有“0”的情况表示第i层的最大DPB尺寸和最大等待时间信息与在VPS中用信号通知的所有比特流的最大DPB尺寸和最大等待时间信息不相同。仅在其中sub_layer_vps_buf_ordering_info_predict_flag[i]具有“0”的情况下，用信号通知对应层的最大DPB尺寸和最大等待时间信息。

在所有情况下，max_dec_pic_buffering_minus1[0][j]、max_num_reorder_pics[0][j]、和max_latency_increase_plus1[0][j]使用在具有nuh_layer_id＝0的基本层的SPS中用信号通知的sps_max_dec_pic_buffering_minus1[j]、max_num_reorder_pics[j]和max_latency_increase_plus1[j]的值。

可通过使用前述用信号通知的DPB关联语法信息，来对于每一层管理DPB。

(1)在其中特定层的解码画面由解码器输出并显示的层的情况下(即，其中在VPS扩展中用信号通知的layer_output_flag为“1”的层)，可确定对应层的最大DPB尺寸。

MaxDPBsize[i][j]表示当第i层解码直到其中temporal_id为j的时间子层时的最大DPB尺寸。

在其中要解码的所有比特流中的最大(时间)子层值或向解码器中的显示器输出的层的最大(时间)子层值为HighestTid的情况下，第i层(在该情况下，i可以在1<＝i<＝vps_max_layers_minus1的范围中)的最大(时间)子层值是A，并且在其中A<HighestTid的情况下，对应层的max_dec_pic_buffering_minus1[i][j]的值可采用max_dec_pic_buffering_minus1[i][A]的值，其中A<j<＝HighestTid。类似地，max_num_reorder_pics[i][j]和max_latency_incresase_plus1[i][j]可采用max_num_reorder_pics[i][A]和max_latency_increase_plus1[i][A]的值，其中A<j<＝HighestTid。

此外，在其中将具有特定时间子层的第i层(在该情况下，i可以在1<＝i<＝vps_max_layers_minus1的范围中)用作另一层的从属层的情况下(在以下语法表中，max_tid_il_ref_pics_plus1[i]表示其中将表示时间子层的temporal_id的值等于或小于max_tid_il_ref_pics_plus1[i]-1的值的第i层用作另一层的从属层)，MaxDPBsize[i][j]的值可采用max_dec_pic_buffering_minus1[i][max_tid_il_ref_pics_plus1[i]-1]+1的值，其中j属于max_tid_il_ref_pics_plus1[i]-1<j<＝HighestTid的范围。在0<＝j<＝max_tid_il_ref_pics_plus1[i]-1的情况下的MaxDPBsize[i][j]的值可采用max_dec_pic_buffering_minus1[i][j]+1的值。

类似地，MaxReorderPics[i][j]和MaxLatencyIncreasePlus1[i][j]也可采用max_num_reorder_pics[i][max_tid_il_ref_pics_plus1[i]-1]和max_latency_increase_plus1[i][max_tid_il_ref_pics_plus1[i]-1]的值，其中j属于max_tid_il_ref_pics_plus1-1[i]<j<＝HighestTid的范围，并且在0<＝j<＝max_tid_il_ref_pics_plus1[i]-1的情况下采用max_num_reorder_pics[i][j]和max_latency_increase_plus1[i][j]的值。作为选择，在0<＝j<＝HighestTid的情况下的MaxReorderPics[i][j]和MaxLatencyIncreasePlus1[i][j]也可以采用max_num_reorder_pics[i][j]和max_latency_increase_plus1[i][j]的值。

表格29图示了通过使用前述语法信息来管理用于每一层的DPB的VPS扩展的一个示例。

[表格29]

(2)在其中特定层的解码画面没有由解码器输出并显示的层的情况下(即，其中在VPS扩展中用信号通知的layer_output_flag为“0”的层)，可确定对应层的最大DPB尺寸。

在0<＝j<＝HighestTid的情况下的MaxDPBsize[i][j]的值可采用max_dec_pic_buffering_minus1[i][j]+1的值。在0<＝j<＝HighestTid的情况下的MaxReorderPics[i][j]和MaxLatencyIncreasePlus1[i][j]也可采用max_num_reorder_pics[i][j]和max_latency_increase_plus1[i][j]的值。

(3)与上述类似，但是也可如下管理最大DPB尺寸。

MaxDecPicbuffering[i][j][k]表示当第i输出层集合中包括的nuh_layer_id的值为j并且解码的最大temporal_id值为k时的、最大DPB尺寸。

可通过使用MaxDecPicbuffering[i][j][k]如表格30中描述的那样来判断最大DPB尺寸。

[表格30]

参考表格30，numOutputLayerSets表示比特流可支持的输出层集合的数目。

output_layer_set_idx_minus1[i]+1表示指示与第i输出层集合对应的层集合的索引值。

层集合表示通过子比特流提取处理所生成的比特流中包括的层的集合。

LayerSetLayerIdList[IsIdx][j]表示第i层集合中包括的第j层的nuh_layer_id。

LayerIdxInVps[layer_id_in_nuh[i]]可等于i，其中0<＝i<＝vps_max_layers_minus1。在该情况下，layer_id_in_nuh[i]表示在第i层的VCL NAL单元中用信号通知的nuh_layer_id的值。

max_sub_layers_vps_minus1[m]表示temporal_id的值，即第m层的最大时间子层，-1。

max_tid_il_ref_pics_plus1[m]表示当将第m层用作上层的从属层时、仅当temporal_id的值等于或小于m层之中的max_tid_il_ref_pics_plus1[i]-1的值时、将第m层的画面用作从属画面。

作为选择，语法可如同表格31和32中描述的那样用信号通知，以便如上所述管理参数。

[表格31]

[表格32]

优先级信息的表示

提出了用于表示每一比特流的可伸缩层的优先级的方法。如上所述，优先级可通过VPS或SEI消息(例如，通过如下描述的layer_priority_info_message)描述，并且作为一个示例，可如下面表格33和34中描述的那样用信号通知用于层的优先级。

[表格33]

[表格34]

表格33和34中重新定义或修改的语法元素具有下述含义。

-其中priority_description_flag为“1”的情况表示提供了可伸缩层的优先级信息。

-num_priority_policies_minus1+1表示优先级设置政策的数目。

-priority_id[i][j]表示其中layer_id为i并且temporal_id为j的层的优先级值。priority_id[i][j]表示元素的值越小，优先级越高。

-priority_id_setting_uri[PriorityIdSettingUriIdx]表示描述用于计算在目标访问单元集的NAL单元报头中的priority_id值的方法的统一资源标识符(URI)。

当存在layer_priority_info消息时，该消息需要被包括在按照该消息所应用到的周期的解码顺序的第一访问单元中。

图4是示意性图示了根据本发明实施例的支持可伸缩比特流(分级比特流)的用于画面编码的方法的流程图。图4的方法可由图1的画面编码设备执行。

参考图4，编码设备编码比特流的可伸缩性信息(S400)。

比特流的可伸缩性信息表示在支持可伸缩比特流(可伸缩层)的视频编码结构中有效编码(编码/解码)比特流的可伸缩特性所需的信息。

例如，如上所述，比特流的可伸缩特性信息可包括比特流的特性信息、关于比特流中包括的层的层从属性信息、关于比特流中包括的层的分布图、等级、和级别信息、以及关于比特流中包括的层的优先级信息。

比特流的特性信息可包括关于通过使用固定时间间隔(例如，时间窗)或固定数据量(例如，桶尺寸)计算的比特率或画面速率的信息、以及关于通过使用不同时间间隔计算的比特率或画面速率的信息。

层从属性信息可包括关于比特流中包括的每一层的从属性关系信息(取决于是否具有缺省从属性关系的层从属性信息)、以及关于时间子层的从属性关系信息。

分布图、等级、和级别信息表示诸如比特流中包括的每一层的分布图、等级、和级别的信息，并可用信号通知和每一层的子层的最大数目一样多。

优先级信息可包括用于向比特流中包括的层应用优先级政策的、每一层的优先级信息。优先级信息可例如包括优先级ID信息以根据优先级来提取和消耗内容，或者可包括区域ID信息以提取和观看特定区域。

此外，比特流的可伸缩性信息可包括关于比特流中包括的层的子层信息。即，可伸缩性信息可包括关于每一层可具有的子层的最大数目的信息。此外，可伸缩性信息可包括关于每一层或每一子层的最大DPB尺寸和最大等待时间信息。

编码设备可通过包括VPS、VPS扩展、SPS、SEI消息等的语法来描述比特流的可伸缩性信息，并编码所描述的语法信息。

这里，已参考表格1到34详细描述了通过包括VPS、VPS扩展、SPS、SEI消息等的语法来描述可伸缩性信息的方法，并且结果，将在实施例中省略其描述。

编码设备传送包括编码的可伸缩性信息的比特流(S410)。

图5是示意性图示了根据本发明实施例的支持可伸缩比特流(分级比特流)的用于画面解码的方法的流程图。图5的方法可由图2的画面解码设备执行。

参考图5，解码设备接收包括可伸缩性信息的比特流(S500)。

解码设备解码所接收的比特流以获取关于该比特流的可伸缩性信息(S510)。

在该情况下，通过解码比特流来获取关于比特流的可伸缩性信息的处理可被看作熵解码或解析处理，并且可通过该处理来输出可伸缩性信息的语法元素值。

比特流的可伸缩性信息可包括比特流的特性信息、关于比特流中包括的层的层从属性信息、关于比特流中包括的层的分布图、等级、和级别信息、以及关于比特流中包括的层的优先级信息，如上所述。

其间，解码设备可通过包括VPS、VPS扩展、SPS、SEI消息等的语法来描述比特流的可伸缩性信息，并如上面详细描述的那样编码和用信号通知所描述的语法信息。

所以，解码设备可通过解码包括VPS、VPS扩展、SPS、SEI消息等的语法元素，来获取关于比特流的可伸缩性信息。

图6的方法可由图1的画面编码设备或图2的画面解码设备执行。在图6中，为了易于描述而描述了解码设备所执行的用信号通知关于可伸缩层的子层信息的处理。

参考图6，解码设备接收包括多个层的比特流(S600)。

在该情况下，所述多个层可包括基本层和至少一个增强层。

解码设备通过解码所接收的比特流，来获取关于所述多个相应层的子层的最大数目的信息(S610)。

关于子层的最大数目的信息被包括在视频参数集扩展信息、视频参数集、和序列参数集的至少一个中以便用信号通知。视频参数集扩展信息可以是VPS扩展语法。

已参考表格5和表格9到13详细描述了通过使用视频参数集扩展信息、视频参数集、和序列参数集来用信号通知关于子层的最大数目的信息的方法。

作为一个示例，解码设备可从视频参数集扩展信息获取关于所述多层中的每一层的子层的最大数目的信息。在该情况下，解码设备获取表示在视频参数集扩展信息中是否存在关于子层的最大数目的信息的标志信息，以发现所述多层中的每一层的子层的最大数目。

作为另一示例，解码设备可对于其中在视频参数集扩展信息中用信号通知的子层的最大数目与在视频参数集中用信号通知的子层的最大数目不同的层，从视频参数集扩展信息获取关于对应层的子层的最大数目的信息。在该情况下，解码设备获取表示在视频参数集扩展信息中用信号通知的子层的最大数目与在视频参数集中用信号通知的子层的最大数目是否相等的标志信息，以确定对应层的子层的最大数目。

作为另一示例，解码设备可从序列参数集获取关于所述多层中的每一层的子层的最大数目的信息。即，解码设备可从与基本层或增强层的每一个对应的序列参数集获取关于对应层的子层的最大数目的信息。

作为另一示例，当在视频参数集中用信号通知的子层的最大数目不等于在所述多层(基本层或增强层)的每一个的序列参数集中用信号通知的子层的最大数目时，解码设备可从序列参数集获取关于对应层的子层的最大数目的信息。在该情况下，解码设备获取表示在视频参数集中用信号通知的子层的最大数目与在序列参数集中用信号通知的子层的最大数目是否相等的标志信息，以确定对应层的子层的最大数目。在增强层的情况下可用信号通知该标志信息。

例如，当标志信息表示在视频参数集中用信号通知的子层的最大数目与在序列参数集中用信号通知的子层的最大数目相等时，对应层(增强层)的子层的最大数目可被判断为视频参数集中用信号通知的子层的最大数目。相反，当标志信息表示在视频参数集中用信号通知的子层的最大数目与在序列参数集中用信号通知的子层的最大数目不相等时，对应层(增强层)的子层的最大数目可被判断为在序列参数集中用信号通知的信息。

详细描述的步骤S600到S610可由解码设备的熵解码单元、解析单元或解码单元执行。

此外，当通过支持可伸缩比特流(分级比特流)的画面编码/解码结构中的编码设备执行用信号通知可伸缩层的子层信息的方法时，该方法可按照与解码设备执行的过程相反的过程来执行。

例如，编码设备可判断和编码关于所述多层的每一层的子层的最大数目的信息，并传送包括所编码的子层的最大数目的比特流。在该情况下，如上所述，关于子层的最大数目的信息被存储在视频参数集扩展信息、视频参数集、和序列参数集的至少一个中。关于子层的最大数目的信息由编码设备的熵编码单元或编码单元编码，以传送到解码设备。

如本发明的实施例中描述的，关于子层的最大数目的信息对于每一层用信号通知，以改进中间盒的性能和效率，并帮助性能协商或比特流提取处理。

在前述实施例中，已基于作为一连串步骤或块的流程图描述了方法，但是这些方法不限于本发明的步骤的顺序，并且可按照与前述步骤或顺序不同的或同时的步骤或顺序出现任何步骤。此外，本领域技术人员能理解的是，流程图中示出的步骤不是排他性的，并且可包括其他步骤，或者一个或多个步骤不影响本发明的范围，并且可删除。

将理解的是，这里已为了图示的目的描述了本发明的各个实施例，并且本领域技术人员可进行各种修改、改变、子替换，而不脱离本发明的范围和精神。因此，这里公开的各个实施例不意欲限制技术精神，而是描述具有以下权利要求指示的真实范围和精神。本发明的范围可通过所附权利要求解释，并且等效范围中的技术精神意欲由本发明包含。

Claims

1.一种图像解码的方法，该方法包括：

接收比特流；

通过解码该比特流获取指示时间子层的最大数目的第一视频信息；和

当用于第二视频信息的多个时间子层的数目被确定为等于由所述第一视频信息指示的用于视频的多个时间子层的最大数目时，通过解码所述比特流获取所述第二视频信息，所述第二视频信息包括根据所述第一视频信息应用于所述视频的最大DPB尺寸信息和最大等待时间信息，

其中所述第一视频信息被包括在视频参数集中。

2.根据权利要求1所述的方法，其中根据表示是否存在第一视频的信息的标志信息来获取所述第一视频信息。

3.根据权利要求1所述的方法，其中：

在所述获取所述第一视频信息的过程中，

对于其中在视频参数集扩展信息中用信号通知的子层的最大数目与在视频参数集中用信号通知的子层的最大数目不同的层，获取所述第一视频信息。

4.根据权利要求3所述的方法，其中：

在所述获取第一视频信息的过程中，

基于表示在视频参数集扩展信息中用信号通知的子层的最大数目与在视频参数集中用信号通知的子层的最大数目是否相等的标志信息，来获取所述第一视频信息。

5.一种视频编码的方法，该方法包括：

确定指示时间子层的最大数目的第一视频信息；

当用于第二视频信息的多个时间子层的数目被确定为等于由所述第一视频信息指示的用于视频的多个时间子层的最大数目时，确定所述第二视频信息,所述第二视频信息包括根据所述第一视频信息应用于所述视频的最大DPB尺寸信息和最大等待时间信息；和

通过编码所述第一视频信息和所述第二视频信息，来传送包括所述第一视频信息和所述第二视频信息的比特流。

6.根据权利要求5所述的方法，进一步包括：判断表示是否存在所述第一视频信息的标志信息。

7.根据权利要求5所述的方法，其中：

在所述获取所述第一视频信息的过程中，

对于其中视频参数集扩展信息中用信号通知的子层的最大数目与视频参数集中用信号通知的子层的最大数目不同的层，确定所述第一视频信息。

8.一种存储比特流的非暂时性计算机可读记录介质，其中通过视频编码的方法生成所述比特流，所述方法包括：

确定指示时间子层的最大数目的第一视频信息；

当用于第二视频信息的多个时间子层的数目被确定为等于由所述第一视频信息指示的用于视频的多个时间子层的最大数目时，确定所述第二视频信息，所述第二视频信息包括根据所述第一视频信息应用于所述视频的最大DPB尺寸信息和最大等待时间信息；和