CN117221559A - 用于指定层的可伸缩嵌套式sei消息 - Google Patents

Abstract

本发明公开了一种视频译码机制。所述机制包括对包括一个或多个层的码流进行编码。当前SEI网络抽象层(network abstraction layer，NAL)单元中的可伸缩嵌套式补充增强信息(supplemental enhancement information，SEI)消息被编码到所述码流中。所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层标识符(identifier，Id)，所述一个或多个可伸缩嵌套的层Id表示所述伸缩嵌套的SEI消息应用于的所述层的层Id值，但所述当前SEI NAL单元的层Id值除外。根据所述伸缩嵌套的SEI消息，对所述层执行一组码流符合性测试。所述码流被存储，以发送给解码器。

Description

用于指定层的可伸缩嵌套式SEI消息

相关申请交叉引用

本申请要求王业奎于2019年9月24日提交的标题为“用于层的SEI消息的可伸缩嵌套(Scalable Nesting of SEI Messages for Layers)”的美国临时专利申请第62/905,144号的权益，该美国临时专利申请通过引用的方式并入本文中。

技术领域

本发明大体上涉及一种视频译码，并且具体涉及用于支持对多层码流中的层进行编码的可伸缩嵌套式补充增强信息(supplemental enhancement information，SEI)消息。

背景技术

即使视频相对较短，也需要大量的视频数据来描述，当数据要在带宽容量有限的通信网络中流式传输或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩，然后通过现代电信网络进行传输。由于内存资源可能有限，当在存储设备中存储视频时，该视频的大小也可能是一个问题。视频压缩设备通常在源侧使用软件和/或硬件对视频数据进行编码，然后进行传输或存储，从而减少表示数字视频图像所需的数据量。然后，由对视频数据进行解码的视频解压缩设备在目的地侧接收压缩数据。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术在几乎不影响图像质量的情况下能够提高压缩比。

发明内容

在一个实施例中，本发明包括一种在解码器中实现的方法，所述方法包括：所述解码器的接收器接收包括一个或多个层和当前补充增强信息(supplemental enhancementinformation，SEI)网络抽象层(network abstraction layer，NAL)单元中的可伸缩嵌套式SEI消息的码流，其中，所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层标识符(identifier，Id)，所述可伸缩嵌套的层Id表示所述伸缩嵌套的SEI消息应用于的所述层的层Id值，所述当前SEI NAL单元的层Id值除外；所述解码器的处理器对来自所述一个或多个层的编码图像进行解码，以产生解码图像；所述处理器转发所述解码图像，以作为解码视频序列的一部分显示。

一些视频译码系统使用SEI消息。SEI消息包括解码过程不需要的信息，以确定解码图像中样本的值。例如，SEI消息可以包括用于检查码流是否符合标准的参数。在一些情况下，视频被编码到使用多个层的码流中。可伸缩嵌套式SEI消息可用于包括用于多个层的SEI消息。例如，可伸缩嵌套式SEI消息包括伸缩嵌套的SEI消息。当可伸缩嵌套式SEI消息中包括层Id列表以指示伸缩嵌套的SEI消息与层之间的对应关系时，可能会出现问题。可伸缩嵌套式SEI消息包括在SEI NAL单元中，为了便于讨论，该SEI NAL单元可以表示为当前SEINAL单元。当前SEI NAL单元与层Id相关联。可伸缩嵌套式SEI消息始终和与当前SEI NAL单元相关联的层相关。这会导致冗余指示，因为当前SEI NAL单元的层Id包括在当前SEI NAL单元中，并且也包括在当前NAL单元中包括的可伸缩嵌套式SEI消息中。

本示例包括对可伸缩嵌套式SEI消息的改进，以便与指定层结合使用。具体地，层Id可以称为NAL单元头层Id(nuh_layer_id)。当前SEI NAL单元的nuh_layer_id被排除在可伸缩嵌套式SEI消息外。这可以通过使用可伸缩嵌套的层Id(layer_id[i])语法元素来实现，该语法元素表示伸缩嵌套的SEI消息应用于的每个层的nuh_layer_id。scalablenesting layer_id[i]被约束为仅包括nuh_layer_id，该nuh_layer_id大于当前SEI NAL单元的nuh_layer_id。因此，当前SEI NAL单元的nuh_layer_id被从可伸缩嵌套式SEI消息中省略，并从当前SEI NAL单元推断。这通过省略冗余Id来改进可伸缩嵌套式SEI消息。例如，编码/解码scalable nesting layer_id[i]的循环少执行一次，这在编码和/或解码期间减少了处理器资源使用。此外，这减小了码流中每个可伸缩嵌套式SEI消息的经编码码流的大小。结果，提高了译码效率，从而减少了编码器和解码器处的处理器、内存和/或网络指示资源的使用。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，当可伸缩嵌套的所有层标记(all_layers_flag)等于0时，所述可伸缩嵌套的层Id是scalable nestinglayer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示所述伸缩嵌套的SEI消息应用于的第i层的nuh_layer_id值。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，scalable nestinglayer_id[i]的每个值大于所述当前SEI NAL单元的nuh_layer_id值。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，还包括由所述处理器推导嵌套层数量(nestingNumLayers)变量，所述nestingNumLayers变量表示所述伸缩嵌套的SEI消息应用于的层的数量。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，还包括由所述处理器推导嵌套层Id列表(NestingLayerId[i])，所述NestingLayerId[i]表示所述伸缩嵌套的SEI消息应用于的所述层的nuh_layer_id值的列表，其中，i在0到nestingNumLayers-1的范围内，包括端值。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述nestingNumLayers和所述NestingLayerId[i]推导如下：

其中，scalable nesting all_layers_flag表示所述伸缩嵌套的SEI消息是否应用于所有层，vps_max_layers_minus1+1表示由视频参数集(video parameter set，VPS)指定的层的数量，GeneralLayerIdx是表示nuh_layer_id等于vps_layer_id[i]的层的层索引的变量，vps_layer_id[i]表示第i层的nuh_layer_id值，scalable nesting num_layers_minus1+1表示所述伸缩嵌套的SEI消息应用于的层的数量。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，scalable nestingnum_layers_minus 1在0到vps_max_layers_minus 1-GeneralLayerIdx[nuh_layer_id]的范围内，包括端值，其中，nuh_layer_id是所述当前SEI NAL单元的所述nuh_layer_id。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述编码图像是基于所述伸缩嵌套的SEI消息进行解码的。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述可伸缩嵌套式SEI消息包括应用于所述当前SEI NAL单元的层的至少一个伸缩嵌套的SEI消息。

在一个实施例中，本发明包括一种在编码器中实现的方法，所述方法包括：所述编码器的处理器对包括一个或多个层的码流进行编码；所述处理器将当前SEI NAL单元中的可伸缩嵌套式SEI消息编码到所述码流中，其中，所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层Id，所述可伸缩嵌套的层Id表示所述伸缩嵌套的SEI消息应用于的所述层的层Id值，同时施加约束以省略所述当前SEI NAL单元的层Id值；所述处理器根据所述伸缩嵌套的SEI消息对所述层执行一组码流符合性测试；耦合到所述处理器的存储器存储所述码流，以发送给解码器。

一些视频译码系统使用SEI消息。SEI消息包括解码过程不需要的信息，以确定解码图像中样本的值。例如，SEI消息可以包括用于检查码流是否符合标准的参数。在一些情况下，视频被编码到使用多个层的码流中。可伸缩嵌套式SEI消息可用于包括用于多个层的SEI消息。例如，可伸缩嵌套式SEI消息包括伸缩嵌套的SEI消息。当可伸缩嵌套式SEI消息中包括层Id列表以指示伸缩嵌套的SEI消息与层之间的对应关系时，可能会出现问题。可伸缩嵌套式SEI消息包括在SEI NAL单元中，为了便于讨论，该SEI NAL单元可以表示为当前SEINAL单元。当前SEI NAL单元与层Id相关联。可伸缩嵌套式SEI消息始终和与当前SEI NAL单元相关联的层相关。这会导致冗余指示，因为当前SEI NAL单元的层Id包括在当前SEI NAL单元中，并且也包括在当前NAL单元中包括的可伸缩嵌套式SEI消息中。

本示例包括对可伸缩嵌套式SEI消息的改进，以便与指定层结合使用。具体地，层Id可以称为nuh_layer_id。当前SEI NAL单元的nuh_layer_id被排除在可伸缩嵌套式SEI消息外。这可以通过使用scalable nesting layer_id[i]语法元素来实现，该scalablenesting layer_id[i]语法元素表示伸缩嵌套的SEI消息应用于的每个层的nuh_layer_id。scalable nesting layer_id[i]被约束为仅包括nuh_layer_id，该nuh_layer_id大于当前SEI NAL单元的nuh_layer_id。因此，当前SEI NAL单元的nuh_layer_id被从可伸缩嵌套式SEI消息中省略，并从当前SEI NAL单元推断。这通过省略冗余Id来改进可伸缩嵌套式SEI消息。例如，编码/解码scalable nesting layer_id[i]的循环少执行一次，这在编码和/或解码期间减少了处理器资源使用。此外，这减小了码流中每个可伸缩嵌套式SEI消息的经编码码流的大小。结果，提高了译码效率，从而减少了编码器和解码器处的处理器、内存和/或网络指示资源的使用。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，当scalablenesting all_layers_flag等于0时，所述可伸缩嵌套的层Id是scalable nesting layer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示所述伸缩嵌套的SEI消息应用于的第i层的nuh_layer_id值。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，scalable nestinglayer_id[i]的每个值大于所述当前SEI NAL单元的nuh_layer_id值。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，执行所述一组码流符合性测试还包括推导嵌套层数量(nestingNumLayers)变量，所述nestingNumLayers变量表示所述伸缩嵌套的SEI消息应用于的层的数量。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，执行所述一组码流符合性测试还包括推导嵌套层Id列表(NestingLayerId[i])，所述NestingLayerId[i]表示所述伸缩嵌套的SEI消息应用于的所述层的nuh_layer_id值的列表，其中，i在0到nestingNumLayers-1的范围内，包括端值。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述nestingNumLayers和所述NestingLayerId[i]推导如下：

其中，scalable nesting all_layers_flag表示所述伸缩嵌套的SEI消息是否应用于所有层，vps_max_layers_minus1+1表示由视频参数集(video parameter set，VPS)指定的层的数量，GeneralLayerIdx是表示nuh_layer_id等于vps_layer_id[i]的层的层索引的变量，vps_layer_id[i]表示第i层的nuh_layer_id值，scalable nesting num_layers_minus1+1表示所述伸缩嵌套的SEI消息应用于的层的数量。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，scalable nestingnum_layers_minus 1在0到vps_max_layers_minus1-GeneralLayerIdx[nuh_layer_id]的范围内，包括端值，其中，nuh_layer_id是所述当前SEI NAL单元的所述nuh_layer_id。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述可伸缩嵌套式SEI消息包括应用于所述当前SEI NAL单元的层的至少一个伸缩嵌套的SEI消息。

在一个实施例中，本发明包括一种视频译码设备，所述视频译码设备包括：处理器、与所述处理器耦合的接收器、与所述处理器耦合的存储器和与所述处理器耦合的发送器，其中，所述处理器、所述接收器、所述存储器和所述发送器用于执行根据上述任一方面所述的方法。

在一个实施例中，本发明包括一种非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括供视频译码设备使用的计算机程序产品，其中，所述计算机程序产品包括存储在所述非瞬时性计算机可读介质中的计算机可执行指令，所述计算机可执行指令在由处理器执行时，使所述视频译码设备执行根据上述任一方面所述的方法。

在一个实施例中，本发明包括一种解码器，所述解码器包括：接收模块，用于接收包括一个或多个层和SEI NAL单元中的可伸缩嵌套式SEI消息的码流，其中，所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层Id，所述可伸缩嵌套的层Id表示所述伸缩嵌套的SEI消息应用于的所述层的层Id值，所述当前SEI NAL单元的层Id值除外；解码模块，用于对来自所述一个或多个层的编码图像进行解码，以产生解码图像；转发模块，用于转发所述解码图像，以作为解码视频序列的一部分显示。

一些视频译码系统使用SEI消息。SEI消息包括解码过程不需要的信息，以确定解码图像中样本的值。例如，SEI消息可以包括用于检查码流是否符合标准的参数。在一些情况下，视频被编码到使用多个层的码流中。可伸缩嵌套式SEI消息可用于包括用于多个层的SEI消息。例如，可伸缩嵌套式SEI消息包括伸缩嵌套的SEI消息。当可伸缩嵌套式SEI消息中包括层Id列表以指示伸缩嵌套的SEI消息与层之间的对应关系时，可能会出现问题。可伸缩嵌套式SEI消息包括在SEI NAL单元中，为了便于讨论，该SEI NAL单元可以表示为当前SEINAL单元。当前SEI NAL单元与层Id相关联。可伸缩嵌套式SEI消息始终和与当前SEI NAL单元相关联的层相关。这会导致冗余指示，因为当前SEI NAL单元的层Id包括在当前SEI NAL单元中，并且也包括在当前NAL单元中包括的可伸缩嵌套式SEI消息中。

本示例包括对可伸缩嵌套式SEI消息的改进，以便与指定层结合使用。具体地，层Id可以称为nuh_layer_id。当前SEI NAL单元的nuh_layer_id被排除在可伸缩嵌套式SEI消息外。这可以通过使用scalable nesting layer_id[i]语法元素来实现，该scalablenesting_layer_id[i]语法元素表示伸缩嵌套的SEI消息应用于的每个层的nuh_layer_id。scalable nesting layer_id[i]被约束为仅包括nuh_layer_id，该nuh_layer_id大于当前SEI NAL单元的nuh_layer_id。因此，当前SEI NAL单元的nuh_layer_id被从可伸缩嵌套式SEI消息中省略，并从当前SEI NAL单元推断。这通过省略冗余Id来改进可伸缩嵌套式SEI消息。例如，编码/解码scalable nesting layer_id[i]的循环少执行一次，这在编码和/或解码期间减少了处理器资源使用。此外，这减小了码流中每个可伸缩嵌套式SEI消息的经编码码流的大小。结果，提高了译码效率，从而减少了编码器和解码器处的处理器、内存和/或网络指示资源的使用。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述解码器还用于执行根据上述任一方面所述的方法。

在一个实施例中，本发明包括一种编码器，所述编码器包括：编码模块，用于：对包括一个或多个层的码流进行编码，将当前SEI NAL单元中的可伸缩嵌套式SEI消息编码到所述码流中，其中，所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层Id，所述可伸缩嵌套的层Id表示所述伸缩嵌套的SEI消息应用于的所述层的层Id值，同时施加约束以省略所述当前SEI NAL单元的层Id值；HRD模块，用于根据所述伸缩嵌套的SEI消息对所述层执行一组码流符合性测试；存储模块，用于存储所述码流，以发送给解码器。

一些视频译码系统使用SEI消息。SEI消息包括解码过程不需要的信息，以确定解码图像中样本的值。例如，SEI消息可以包括用于检查码流是否符合标准的参数。在一些情况下，视频被编码到使用多个层的码流中。可伸缩嵌套式SEI消息可用于包括用于多个层的SEI消息。例如，可伸缩嵌套式SEI消息包括伸缩嵌套的SEI消息。当可伸缩嵌套式SEI消息中包括层Id列表以指示伸缩嵌套的SEI消息与层之间的对应关系时，可能会出现问题。可伸缩嵌套式SEI消息包括在SEI NAL单元中，为了便于讨论，该SEI NAL单元可以表示为当前SEINAL单元。当前SEI NAL单元与层Id相关联。可伸缩嵌套式SEI消息始终和与当前SEI NAL单元相关联的层相关。这会导致冗余指示，因为当前SEI NAL单元的层Id包括在当前SEI NAL单元中，并且也包括在当前NAL单元中包括的可伸缩嵌套式SEI消息中。

本示例包括对可伸缩嵌套式SEI消息的改进，以便与指定层结合使用。具体地，层Id可以称为nuh_layer_id。当前SEI NAL单元的nuh_layer_id被排除在可伸缩嵌套式SEI消息外。这可以通过使用scalable nesting layer_id[i]语法元素来实现，该scalablenesting layer_id[i]语法元素表示伸缩嵌套的SEI消息应用于的每个层的nuh_layer_id。scalable nesting layer_id[i]被约束为仅包括nuh_layer_id，该nuh_layer_id大于当前SEI NAL单元的nuh_layer_id。因此，当前SEI NAL单元的nuh_layer_id被从可伸缩嵌套式SEI消息中省略，并从当前SEI NAL单元推断。这通过省略冗余Id来改进可伸缩嵌套式SEI消息。例如，编码/解码scalable nesting layer id[i]的循环少执行一次，这在编码和/或解码期间减少了处理器资源使用。此外，这减小了码流中每个可伸缩嵌套式SEI消息的经编码码流的大小。结果，提高了译码效率，从而减少了编码器和解码器处的处理器、内存和/或网络指示资源的使用。

可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述编码器还用于执行根据上述任一方面所述的方法。

为了清楚起见，上述任一实施例可以与上述其它实施例中任何一个或多个组合以创建本发明范围内的新实施例。

从结合附图和权利要求书的以下详细描述中，将更清楚地理解这些和其它特征。

附图说明

为了更全面地理解本发明，现在参考以下结合附图和具体实施方式进行的简要描述，其中，相似的附图标记表示相似的部件。

图1是对视频信号进行译码的示例性方法的流程图。

图2是用于视频译码的示例性编码和解码(编解码)系统的示意图。

图3是示例性视频编码器的示意图。

图4是示例性视频解码器的示意图。

图5是示例性假设参考解码器(hypothetical reference decoder，HRD)的示意图。

图6是用于层间预测的示例性多层视频序列的示意图。

图7是示例性码流的示意图。

图8是示例性视频译码设备的示意图。

图9是将视频序列编码到包括应用于层的可伸缩嵌套式SEI消息的码流中的示例性方法的流程图。

图10是从包括应用于层的可伸缩嵌套式SEI消息的码流中解码视频序列的示例性方法的流程图。

图11是用于使用包括应用于层的可伸缩嵌套式SEI消息的码流对视频序列进行译码的示例性系统的示意图。

具体实施方式

首先应当理解，尽管下文提供一个或多个实施例的说明性实现方式，但所公开的系统和/或方法可以使用任意数量的技术来实现，无论这些技术是当前已知的还是现有的。本发明决不应限于下文所说明的所述说明性实施方案、图式和技术，包括本文所说明并描述的示范性设计和实施方案，而是可以在所附权利要求书的范围以及其均等物的完整范围内修改。

以下术语的定义如下所述，除非在本文相反的上下文中使用。具体地，以下定义旨在更加清晰地描述本发明。但是，术语在不同的上下文中可能会有不同的描述。因此，以下定义应当视为补充信息，而不应当视为对此处为这些术语提供的描述的任何其它定义进行限制。

码流可以是包括视频数据的一系列比特，这些视频数据会进行压缩以在编码器与解码器之间传输。编码器可以是一种用于通过编码过程将视频数据压缩为码流的设备。解码器可以是一种用于通过解码过程从码流中重建视频数据以进行显示的设备。图像可以是创建帧或帧场的亮度样本的阵列和/或色度样本的阵列。为了清楚讨论，正在被编码或解码的图像可以称为当前图像。编码图像可以是图像的编码表示，在接入单元(access unit，AU)内包括具有NAL单元头层标识符(nuh_layer_id)的特定值的视频编码层(video codinglayer，VCL)网络抽象层(network abstraction layer，NAL)单元，并且包括图像的所有编码树单元(coding tree unit，CTU)。解码图像可以是通过对编码图像应用解码过程而产生的图像。AU可以是编码图像集合，这些编码图像包括在不同层中，并与用于从解码图像缓冲区(decoded picture buffer，DPB)输出的相同时间相关联。NAL单元可以是一种语法结构，包括原始字节序列载荷(raw byte sequence payload，RBSP)(表示数据类型)形式的数据，并根据需要散布预防混淆字节。VCL NAL单元可以是编码为包括视频数据的NAL单元，视频数据例如图像的编码条带。非VCL NAL单元可以是包括非视频数据的NAL单元，非视频数据例如支持解码视频数据、执行符合性检查或其它操作的语法和/或参数。层可以是共享由层标识符(identifier，Id)表示的指定特性(例如，共同分辨率、帧率、图像大小等)的VCL NAL单元和相关联的非VCL NAL单元的集合。NAL单元头层标识符(nuh_layer_id)可以是表示包括NAL单元的层的标识符的语法元素。视频参数集(video parameter set，VPS)可以是包括与整个视频相关的参数的数据单元。编码视频序列可以是一个或多个编码图像的集合。解码视频序列可以是一个或多个解码图像的集合。

假设参考解码器(hypothetical reference decoder，HRD)可以是在编码器上运行的解码器模型，用于检查编码过程产生的码流的可变性，以验证是否符合指定约束条件。码流符合性测试可以是确定经编码码流是否符合标准(如通用视频编码(versatile videocoding，VVC))的测试。HRD参数是初始化和/或定义HRD运行条件的语法元素。HRD参数可以包括在补充增强信息(supplemental enhancement information，SEI)消息中。SEI消息可以是语法结构，具有传达解码过程不需要的信息，以确定解码图像中的样本的值的指定语义。SEI NAL单元可以是包括一个或多个SEI消息的NAL单元。特定的SEI NAL单元可以称为当前SEI NAL单元。可伸缩嵌套式SEI消息可以是一种消息，包括对应于一个或多个输出层集(output layer set，OLS)或一个或多个层的多个SEI消息。缓冲周期(bufferingperiod，BP)SEI消息可以是一种SEI消息，包括用于初始化HRD以管理编码图像缓冲区(coded picture buffer，CPB)的HRD参数。图像时序(picture timing，PT)SEI消息可以是一种SEI消息，包括用于管理CPB和/或解码图像缓冲区(decoded picture buffer，DPB)处的接入单元(access unit，AU)的传输信息的HRD参数。解码单元信息(decoding unitinformation，DUI)SEI消息可以是一种SEI消息，包括用于管理CPB和/或DPB处的DU的传输信息的HRD参数。

可伸缩嵌套式SEI消息可以包括一组伸缩嵌套的SEI消息。伸缩嵌套的SEI消息可以是嵌套在可伸缩嵌套式SEI消息中的SEI消息。可伸缩嵌套的层id(layer_id[i])可以是可伸缩嵌套式SEI消息中的一个语法元素，用于表示伸缩嵌套的SEI消息应用于的第i层的nuh_layer_id值。可伸缩嵌套的所有层标志(all_layers_flag)可以是可伸缩嵌套式SEI消息中的一个语法元素，用于表示可伸缩嵌套式SEI消息中的伸缩嵌套的SEI消息是否应用于所有层。可伸缩嵌套的层的数量减1(num_layers_minus1)可以是可伸缩嵌套式SEI消息中的一个语法元素，用于表示伸缩嵌套的SEI消息应用于的层的数量。VPS最大层数减1(vps_max_layers_minus1)可以是VPS中的一个语法元素，用于表示VPS指定的层的数量。VPS层Id(vps_layer_id[i])可以是VPS中的一个语法元素，用于表示第i层的nuh_layer_id值。嵌套层数量(nestingNumLayers)可以是一个变量，该变量被设置为基于码流中的数据伸缩嵌套的SEI消息应用于的层的数量。嵌套层Id列表(NestingLayerId[i])可以是一个变量，该变量被设置为表示基于码流中的数据，对于每个层i，伸缩嵌套的SEI消息应用于的层的nuh_layer_id值的列表。通用层索引(GeneralLayerIdx)可以是一个变量，该变量被设置为表示基于码流中的数据具有nuh_layer_id的每一层的层索引。

本文中使用以下首字母缩略词，接入单元(access unit，AU)、编码树块(codingtree block，CTB)、编码树单元(coding tree unit，CTU)、编码单元(coding unit，CU)、编码层视频序列(coded layer video sequence，CLVS)、编码层视频序列开始(coded layervideo sequence start，CLVSS)、编码视频序列(coded video sequence，CVS)、编码视频序列开始(coded video sequence start，CVSS)、联合视频专家组(joint video expertsteam，JVET)、运动约束分块集(motion constrained tile set，MCTS)、最大传输单元(maximum transfer unit，MTU)、网络抽象层(network abstraction layer，NAL)、输出层集(output layer set，OLS)、图像顺序编号(picture order count，POC)、随机接入点(random access point，RAP)、原始字节序列载荷(raw byte sequence payload，RBSP)、序列参数集(sequence parameter set，SPS)、视频参数集(video parameter set，VPS)、通用视频编码(versatile video coding，VVC)。

许多视频压缩技术可以用来减小视频文件的大小，同时最大限度地减少数据丢失。例如，视频压缩技术可以包括执行空间(例如，帧内)预测和/或时间(例如，帧间)预测来减少或去除视频序列中的数据冗余。对于基于块的视频译码，视频条带(例如，视频图像或视频图像的一部分)可以被分割成视频块，这些视频块还可以称为树块(treeblock)、编码树块(coding tree block，CTB)、编码树单元(coding tree unit，CTU)、编码单元(codingunit，CU)和/或编码节点。图像中的经帧内编码(I)条带中的视频块是针对同一图像中的相邻块中的参考样本使用空间预测进行编码的。图像中的经帧间编码的单向预测(P)或双向预测(B)条带中的视频块可以是针对同一图像中的相邻块中的参考样本使用空间预测进行译码的，也可以是针对其它参考图像中的参考样本使用时间预测进行编码的。图像(picture/image)可以称为帧(frame)，参考图像可以称为参考帧。空间预测或时间预测会产生表示图像块的预测块。残差数据表示原始图像块与预测块之间的像素差。因此，根据指向构成预测块的参考样本的块的运动矢量和表示编码块与预测块之间的差的残差数据，对经帧间编码块进行编码。经帧内编码块是根据帧内编码模式和所述残差数据进行编码的。为了进一步压缩，残差数据可以从像素域变换到变换域。这些产生可以量化的残差变换系数。量化变换系数最初可以排列为二维阵列。可以扫描量化变换系数，以产生变换系数的一维矢量。熵编码可以用于实现进一步压缩。下文更详细地论述了这些视频压缩技术。

为了确保经编码视频能够被准确地解码，视频根据对应的视频编码标准进行编码和解码。视频编码标准包括国际电信联盟(international telecommunication union，ITU)标准化部门(ITU standardization sector，ITU-T)H.261、国际标准化组织/国际电工委员会(international organization for standardization/internationalelectrotechnical commission，ISO/IEC)运动图像专家组(motion picture expertsgroup，MPEG)-1第2部分、ITU-T H.262或ISO/IEC MPEG-2第2部分、ITU-T H.263、ISO/IECMPEG-4第2部分、高级视频编码(advanced video coding，AVC)(还称为ITU-T H.264或ISO/IEC MPEG-4第10部分)以及高效视频编码(high efficiency video coding，HEVC)(还称为ITU-T H.265或MPEG-H第2部分)。AVC包括可适性视频编码(scalable video coding，SVC)、多视图视频编码(multiview video coding，MVC)和多视图视频编码加深度(multiviewvideo coding plus depth，MVC+D)、三维(three dimension，3D)AVC(three dimensionalAVC，3D-AVC)等扩展版本。HEVC包括可适性HEVC(scalable HEVC，SHVC)、多视图HEVC(multiview HEVC，MV-HEVC)、3D HEVC(3D-HEVC)等扩展版本。ITU-T和ISO/IEC的联合视频专家组(joint video experts team，JVET)已经着手开发一种称为通用视频编码(versatile video coding，VVC)的视频编码标准。VVC包括在工作草案(working draft，WD)中，该WD包括JVET-O2001-v14。

一些视频译码系统使用补充增强信息(supplemental enhancementinformation，SEI)消息。SEI消息包括解码过程不需要的信息，以确定解码图像中样本的值。例如，SEI消息可以包括用于检查码流是否符合标准的参数。在一些情况下，视频被编码到使用多个层的码流中。可伸缩嵌套式SEI消息可用于包括用于多个层的SEI消息。例如，可伸缩嵌套式SEI消息包括伸缩嵌套的SEI消息。

当层标识符(identifier，Id)列表包括在可伸缩嵌套式SEI消息中以指示伸缩嵌套的SEI消息与层之间的对应关系时，可能会出现第一个问题。可伸缩嵌套式SEI消息包括在SEI网络抽象层(network abstraction layer，NAL)单元中，为了便于讨论，该SEI NAL单元可以表示为当前SEI NAL单元。当前SEI NAL单元与层Id相关联。可伸缩嵌套式SEI消息始终和与当前SEI NAL单元相关联的层相关。这会导致冗余指示，因为当前SEI NAL单元的层Id包括在当前SEI NAL单元中，并且也包括在当前NAL单元中包括的可伸缩嵌套式SEI消息中。

在第一个示例中，本文公开了对可伸缩嵌套式SEI消息的改进，以便与指定层结合使用。具体地，层Id可以称为NAL单元头层Id(nuh_layer_id)。当前SEI NAL单元的nuh_layer_id被排除在可伸缩嵌套式SEI消息外。这可以通过使用可伸缩嵌套的层Id(layer_id[i])语法元素来实现，该语法元素表示伸缩嵌套的SEI消息应用于的每个层的nuh_layer_id。scalable nesting layer_id[i]被约束为仅包括nuh_layer_id，该nuh_layer_id大于当前SEI NAL单元的nuh_layer_id。因此，当前SEI NAL单元的nuh_layer_id被从可伸缩嵌套式SEI消息中省略，并从当前SEI NAL单元推断。这通过省略冗余Id来改进可伸缩嵌套式SEI消息。例如，编码/解码scalable nesting layer_id[i]的循环少执行一次，这在编码和/或解码期间减少了处理器资源使用。此外，这减小了码流中每个可伸缩嵌套式SEI消息的经编码码流的大小。结果，提高了译码效率，从而减少了编码器和解码器处的处理器、内存和/或网络指示资源的使用。

当标志用于表示可伸缩嵌套式SEI消息中的伸缩嵌套的SEI消息应用于接入单元(access unit，AU)中的所有层时，会出现第二个问题。AU是编码图像的集合，这些图像包括在不同的层中，并与相同的输出时间相关联。当所有AU都包括所有层的图像时，此方法有效。但是，在一些情况下，图像可能在一些层中出现一段输出时间，而在其它层中则被省略。例如，高帧率层可以包括每个AU处的图像，而低帧率层省略了被高帧率层占用的许多AU中的图像。结果是，该标志导致SEI消息仅应用于包括当前AU中的图像的层。这将导致符合性测试错误，因为假设参考解码器(hypothetical reference decoder，HRD)可能无法将伸缩嵌套的SEI消息与省略当前AU中的图像的层相关联。例如，这些层可以包括当前AU之后的后续AU中的图像。在这种情况下，当测试后续AU的符合性时，HRD不会将伸缩嵌套的SEI消息识别为应用于这些层。因此，当所有层的标志用于不完整的AU时，HRD可能无法正确测试后续AU处的这些层的符合性。

在第二个示例中，本文公开了可伸缩嵌套的所有层标志(all_layers_flag)，以纠正上述错误。scalable nesting all_layers_flag可被设置为表示可伸缩嵌套式SEI消息中的伸缩嵌套的SEI消息应用于视频参数集(video parameter set，VPS)中指定的所有层。VPS列出所有层。因此，这种方法使编码器能够清楚地表示伸缩嵌套的SEI消息何时全局地应用于所有层。然后，HRD符合性测试过程可以检查码流的符合性，而不会在与可伸缩嵌套式SEI消息相关联的不完整的AU之后的AU上返回不可预测的错误。因此，scalable nestingall_layers_flag通过在存在不完整的AU时正确检查码流的符合性来增加编码器和/或解码器的功能。此外，scalable nesting all_layers_flag通过在伸缩嵌套的SEI消息应用于所有层时省略伸缩嵌套的SEI消息的显式层指示来减小经编码码流的大小。结果，提高了译码效率，从而减少了编码器和解码器处的处理器、内存和/或网络指示资源的使用。

图1是对视频信号进行译码的示例性操作方法100的流程图。具体地，视频信号是在编码器侧编码的。编码过程通过使用各种机制来压缩视频信号，以减小视频文件大小。文件较小使得压缩视频文件可以发送给用户，同时降低相关带宽开销。然后，解码器对压缩视频文件进行解码，以重建原始视频信号，用于向终端用户显示。解码过程通常与编码过程对应，便于解码器一致地重建视频信号。

在步骤101中，将视频信号输入到编码器中。例如，视频信号可以是存储在存储器中的未压缩视频文件。又例如，视频文件可以由视频捕获设备(例如，摄像机)捕获，并且进行编码以支持视频的直播流传输。视频文件可以包括音频分量和视频分量。视频分量包括一系列图像帧。这些图像帧按顺序观看时，给人以运动的视觉效果。这些帧包括以光表示的像素，在本文中称为亮度分量(或亮度样本)，还包括以颜色表示的像素，称为色度分量(或色度样本)。在一些示例中，这些帧还可以包括深度值，以支持三维观看。

在步骤103中，将视频分割成块。分割包括将每一帧中的像素细分成正方形块和/或矩形块进行压缩。例如，在高效视频编码(high efficiency video coding，HEVC)(还称为H.265和MPEG-H第2部分)中，可以先将帧划分成编码树单元(coding tree unit，CTU)，这些CTU是预定义大小(例如64×64个像素)的块。这些CTU包括亮度样本和色度样本。编码树可以用于将CTU划分成块，然后重复细分这些块，直到获得支持进一步编码的配置。例如，帧的亮度分量可以被细分，直到各个块包括相对均匀的亮度值。此外，帧的色度分量可以被细分，直到各个块包括相对均匀的色值。因此，分割机制因视频帧的内容而异。

在步骤105中，使用各种压缩机制对在步骤103中分割得到的图像块进行压缩。例如，可以使用帧间预测和/或帧内预测。帧间预测是为了利用一般场景中的对象往往出现在连续帧中这一事实而设计的。因此，描述参考帧中的对象的块不需要在相邻帧中进行重复描述。具体地，一个对象(例如一张桌子)可以在多个帧中保持在固定位置上。因此，该桌子被描述一次，而且相邻帧可以重新参考该参考帧。模式匹配机制可以用于在多个帧上匹配对象。此外，由于对象移动或相机移动等原因，移动对象可以跨多个帧表示。在一个具体示例中，视频可以在多个帧上显示跨屏幕移动的汽车。运动矢量可以用于描述这种移动。运动矢量是一个二维矢量，提供对象在一个帧中的坐标到该对象在参考帧中的坐标的偏移。因此，帧间预测可以将当前帧中的图像块编码为运动矢量集，表示当前帧中的图像块与参考帧中的对应块的偏移。

帧内预测对公共帧中的块进行编码。帧内预测利用亮度分量和色度分量往往聚集在一个帧中这一事实。例如，一棵树某个部分的一片绿色往往与类似的几片绿色相邻。帧内预测使用多种方向性预测模式(例如，HEVC中有33种)、平面模式和直流(direct current，DC)模式。这些方向性模式表示当前块的样本与对应方向上的相邻块的样本相似/相同。平面模式表示一行/列(例如平面)上的一系列块可以根据该行的边缘上的相邻块进行插值。平面模式实际上通过使用变化值的相对恒定的斜率表示光/颜色跨行/列的平稳过渡。DC模式用于边界平滑，并表示块与所有相邻块的样本的平均值相似/相同，这些相邻块与方向性预测模式的角度方向相关。因此，帧内预测块可以将图像块表示为各种关系预测模式值而不是表示为实际值。此外，帧间预测块可以将图像块表示为运动矢量值而不是表示为实际值。在任一种情况下，预测块在一些情况下可能都无法准确表示图像块。所有差值都存储在残差块中。变换可以应用于残差块以进一步压缩文件。

在步骤107中，可以应用各种滤波技术。在HEVC中，滤波器是根据环内滤波方案应用的。上文描述的基于块的预测可能会在解码器侧产生块状图像。此外，基于块的预测方案可以对块进行编码，然后重建经编码块，以便后续用作参考块。环内滤波方案迭代地将噪声抑制滤波器、去块效应滤波器、自适应环路滤波器和样本自适应偏移(sample adaptiveoffset，SAO)滤波器应用于块/帧。这些滤波器减少了块伪影，从而可以准确地重建经编码文件。此外，这些滤波器减少了重建参考块中的伪影，使得伪影不太可能在根据重建参考块编码的后续块中产生其它伪影。

一旦视频信号完成分割、压缩和滤波，则在步骤109中，将所得数据编码到码流中。码流包括上文描述的数据以及支持在解码器侧进行适当的视频信号重建所需要的任何指示数据。例如，这些数据可以包括分割数据、预测数据、残差块和提供译码指令给解码器的各种标志。码流可以存储在存储器中，以便在请求时发送给解码器。码流还可以广播和/或组播到多个解码器。创建码流是一个迭代过程。因此，步骤101、步骤103、步骤105、步骤107和步骤109可以在多个帧和块中连续和/或同时执行。图1所示的顺序是为了清楚和便于描述而呈现的，并非旨在将视频译码过程限制于特定顺序。

在步骤111中，解码器接收码流并开始解码过程。具体地，解码器使用熵解码方案将码流转换为对应的语法数据和视频数据。在步骤111中，解码器使用码流中的语法数据来确定帧的分割部分。分割应该与步骤103中的块分割的结果匹配。下面描述在步骤111中使用的熵编码/解码。编码器在压缩过程中做出许多选择，例如，根据一个或多个输入图像中的值的空间定位从几个可能选择中选择块分割方案。指示确切的选择可能会使用大量的位元(bin)。本文所使用的“位元”是一个作为变量的二进制值(例如，可能因内容而异的比特值)。熵编码使得编码器丢弃任何明显不适合特定情况的选项，从而留后一组可用选项。然后，为每个可用选项分配一个码字。码字的长度取决于可用选项的数量(例如，一个二元符号对应两个选项，两个二元符号对应三到四个选项，以此类推)。然后，编码器对所选选项的码字进行编码。这种方案减小了码字，这是因为码字与预期的一样大，从而唯一地指示从可允许选项的小子集中进行选择，而不是唯一地指示从所有可能选项的可能大集合中进行选择。然后，解码器通过以与编码器类似的方式确定可允许选项集对该选择进行解码。通过确定可允许选项集，解码器可以读取码字并确定编码器做出的选择。

在步骤113中，解码器执行块解码。具体地，解码器使用逆变换，以生成残差块。然后，解码器使用残差块和对应的预测块，以根据分割来重建图像块。预测块可以包括编码器在步骤105中生成的帧内预测块和帧间预测块。接着，根据在步骤111中确定的分割数据将重建图像块放置在重建视频信号的帧中。还可以通过上文描述的熵编码在码流中指示用于步骤113的语法。

在步骤115中，以类似于编码器处的步骤107的方式对重建视频信号的帧执行滤波。例如，噪声抑制滤波器、去块效应滤波器、自适应环路滤波器和SAO滤波器可以应用于帧，以去除块伪影。一旦对帧进行了滤波，则在步骤117中，可以将视频信号输出到显示器，以供终端用户观看。

图2是用于视频译码的示例性编码和解码(编解码)系统200的示意图。具体地，编解码系统200提供支持实现操作方法100的功能。编解码系统200广义地用于描述编码器和解码器侧都使用的组件。编解码系统200接收视频信号并对视频信号进行分割，如结合操作方法100中的步骤101和步骤103所述，得到分割后的视频信号201。然后，编解码系统200在充当编码器时将分割后的视频信号201压缩到经编码码流中，如结合方法100中的步骤105、步骤107和步骤109所述。编解码系统200在充当解码器时从码流中生成输出视频信号，如结合操作方法100中的步骤111、步骤113、步骤115和步骤117所述。编解码系统200包括通用译码器控制组件211、变换缩放和量化组件213、帧内估计组件215、帧内预测组件217、运动补偿组件219、运动估计组件221、缩放和逆变换组件229、滤波器控制分析组件227、环内滤波器组件225、解码图像缓冲区组件223以及标头格式和上下文自适应二进制算术编码(context adaptive binary arithmetic coding，CABAC)组件231。这些组件如图所示耦合。在图2中，黑线表示待编码/解码数据的移动，而虚线表示控制其它组件操作的控制数据的移动。编解码系统200中的组件都可以存在于编码器中。解码器可以包括编解码系统200中的组件的子集。例如，解码器可以包括帧内预测组件217、运动补偿组件219、缩放和逆变换组件229、环内滤波器组件225以及解码图像缓冲区组件223。下面对这些组件进行描述。

分割后的视频信号201是捕获到的已经通过编码树分割成像素块的视频序列。编码树使用各种划分模式将像素块细分成较小的像素块。然后，这些块可以进一步细分成较小的块。这些块可以称为编码树上的节点。较大的父节点划分成较小的子节点。节点进行细分的次数称为节点/编码树的深度。在一些情况下，划分得到的块可以包括在编码单元(coding unit，CU)中。例如，CU可以是CTU的子部分，包括亮度块、一个或多个红色差色度(Cr)块和一个或多个蓝色差色度(Cb)块以及CU的对应语法指令。划分模式可以包括二叉树(binary tree，BT)、三叉树(triple tree，TT)和四叉树(quad tree，QT)，它们用于根据所使用的划分模式将节点分别分割成不同形状的2个、3个或4个子节点。将分割后的视频信号201转发给通用译码器控制组件211、变换缩放和量化组件213、帧内估计组件215、滤波器控制分析组件227和运动估计组件221进行压缩。

通用译码器控制组件211用于根据应用约束条件做出与将视频序列中的图像编码到码流中相关的决策。例如，通用译码器控制组件211管理码率/码流大小相对于重建质量的优化。这些决定可以根据存储空间/带宽可用性和图像分辨率请求做出。通用译码器控制组件211还根据传输速度来管理缓冲区利用率，以缓解缓存欠载和超载问题。为了解决这些问题，通用译码器控制组件211管理由其它组件进行的分割、预测和滤波。例如，通用译码器控制组件211可以动态提高压缩复杂度以提高分辨率和增加带宽利用率，或者降低压缩复杂度以降低分辨率和带宽利用率。因此，通用译码器控制组件211控制编解码系统200中的其它组件来平衡视频信号重建质量与码率问题。通用译码器控制组件211生成控制数据，这些控制数据用于控制其它组件的操作。还将控制数据转发给标头格式和CABAC组件231，以编码到码流中，从而指示解码器进行解码使用的参数。

还将分割后的视频信号201发送给运动估计组件221和运动补偿组件219进行帧间预测。分割后的视频信号201的帧或条带可以分成多个视频块。运动估计组件221和运动补偿组件219相对于一个或多个参考帧中的一个或多个块对所接收到的视频块执行帧间预测译码，以提供时间预测。编解码系统200可以执行多个译码回合，以便为每个视频数据块选择合适的译码模式，等等。

运动估计组件221和运动补偿组件219可以高度集成，但出于概念目的，单独说明。由运动估计组件221执行的运动估计是生成运动矢量的过程，其中，这些运动矢量用于估计视频块的运动。例如，运动矢量可以表示经译码对象相对于预测块的位移。预测块是被发现在像素差方面与待译码块高度匹配的块。预测块还可以称为参考块。这种像素差可以通过绝对差异和(sum of absolute difference，SAD)、平方差异和(sum of squaredifference，SSD)或其它差异度量来确定。HEVC使用若干编码对象，包括CTU、编码树块(coding tree block，CTB)和CU。例如，CTU可以分成CTB，CTB然后分成CB，CB包括在CU中。CU可以被编码为包括预测数据的预测单元(prediction unit，PU)和/或包括CU的变换残差数据的变换单元(transform unit，TU)。运动估计组件221使用率失真分析作为率失真优化过程的一部分来生成运动矢量、PU和TU。例如，运动估计组件221可以确定当前块/帧的多个参考块、多个运动矢量等，并且可以选择具有最佳率失真特性的参考块、运动矢量等。最佳率失真特性平衡了视频重建的质量(例如，压缩造成的数据丢失量)和译码效率(例如，最终编码的大小)。

在一些示例中，编解码系统200可以计算存储在解码图像缓冲区组件223中的参考图像的子整数像素位置的值。例如，视频编解码系统200可以对参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值进行插值。因此，运动估计组件221可以相对于整像素位置和分数像素位置执行运动搜索，并输出具有分数像素精度的运动矢量。运动估计组件221通过将PU的位置与参考图像的预测块的位置进行比较，计算经帧间编码条带中的视频块的PU的运动矢量。运动估计组件221将计算到的运动矢量作为运动数据输出到标头格式和CABAC组件231进行编码，并作为运动数据输出到运动补偿组件219。

运动补偿组件219执行的运动补偿可以涉及根据运动估计组件221所确定的运动矢量获取或生成预测块。同样，在一些示例中，运动估计组件221和运动补偿组件219可以在功能上集成。在接收到当前视频块的PU的运动矢量时，运动补偿组件219可以定位运动矢量指向的预测块。然后，从正被译码的当前视频块的像素值中减去预测块的像素值，得到像素差，从而形成残差视频块。一般而言，运动估计组件221相对于亮度分量执行运动估计，运动补偿组件219将根据亮度分量计算得到的运动矢量用于色度分量和亮度分量。将预测块和残差块转发到变换缩放和量化组件213。

还将分割后的视频信号201发送给帧内估计组件215和帧内预测组件217。与运动估计组件221和运动补偿组件219一样，帧内估计组件215和帧内预测组件217可以高度集成，但出于概念目的，单独说明。帧内估计组件215和帧内预测组件217相对于当前帧中的各块对当前块进行帧内预测，以替代如上所述的由运动估计组件221和运动补偿组件219在各帧之间执行的帧间预测。具体地，帧内估计组件215确定帧内预测模式对当前块进行编码。在一些示例中，帧内估计组件215从多个测试的帧内预测模式中选择合适的帧内预测模式来对当前块进行编码。然后，将选定的帧内预测模式转发给标头格式和CABAC组件231进行编码。

例如，帧内估计组件215对各种测试的帧内预测模式进行率失真分析来计算率失真值，并在测试的模式中选择具有最佳率失真特性的帧内预测模式。率失真分析通常确定经编码块与经编码以产生经编码块的原始未编码块之间的失真(或误差)量，以及确定用于产生经编码块的码率(例如，比特数)。帧内估计组件215根据各种经编码块的失真和速率计算比率，以确定表现出块的最佳率失真值的帧内预测模式。另外，帧内估计组件215可以用于根据率失真优化(rate-distortion optimization，RDO)，使用深度建模模式(depthmodeling mode，DMM)对深度图像的深度块进行译码。

帧内预测组件217在编码器上实现时可以根据由帧内估计组件215确定的选定帧内预测模式从预测块中生成残差块，或者在解码器上实现时，可以从码流中读取残差块。残差块包括预测块与原始块之间的差值，表示为矩阵。然后，将残差块转发给变换缩放和量化组件213。帧内估计组件215和帧内预测组件217可以对亮度分量和色度分量进行操作。

变换缩放和量化组件213用于进一步压缩残差块。变换缩放和量化组件213将离散余弦变换(discrete cosine transform，DCT)、离散正弦变换(discrete sine transform，DST)等变换或者进行概念上类似的变换应用于残差块，从而产生包括残差变换系数值的视频块。还可以使用小波变换、整数变换、子频带变换或其它类型的变换。变换可以将残差信息从像素值域转换到变换域，例如频域。变换缩放和量化组件213还用于根据频率等对变换残差信息进行缩放。这种缩放涉及将缩放因子应用于残差信息，以便在不同的粒度下量化不同的频率信息，这可能会影响重建视频的最终视觉质量。变换缩放和量化组件213还用于量化变换系数以进一步降低码率。量化过程可以减小与部分或全部系数关联的位深度。量化程度可以通过调整量化参数来修改。在一些示例中，变换缩放和量化组件213随后可以对包括量化变换系数的矩阵执行扫描。将量化变换系数转发给标头格式和CABAC组件231，以编码到码流中。

缩放和逆变换组件229进行与变换缩放和量化组件213相反的操作以支持运动估计。缩放和逆变换组件229应用逆缩放、逆变换和/或反量化以重建像素域中的残差块，例如，后续用作参考块。该参考块可以成为另一当前块的预测块。运动估计组件221和/或运动补偿组件219可以通过将残差块添加回对应的预测块来计算参考块，以用于后续块/帧的运动估计。将滤波器应用于重建参考块，以减少在缩放、量化和变换期间产生的伪影。当预测后续块时，这些伪影可能会使预测不准确(并产生额外的伪影)。

滤波器控制分析组件227和环内滤波器组件225将滤波器应用于残差块和/或重建图像块。例如，可以将来自缩放和逆变换组件229的变换残差块与来自帧内预测组件217和/或运动补偿组件219的对应预测块组合以重建原始图像块。然后，可以将滤波器应用于重建图像块。在一些示例中，滤波器可以转而应用于残差块。与图2中的其它组件一样，滤波器控制分析组件227和环内滤波器组件225高度集成且可以一起实现，但出于概念目的单独描述。将应用于重建参考块的滤波器应用于特定空间区域，这些滤波器包括多个参数以调整使用这些滤波器的方式。滤波器控制分析组件227对重建参考块进行分析，以确定需要使用这些滤波器的位置并设置对应的参数。将这些数据作为滤波器控制数据转发给标头格式和CABAC组件231进行编码。环内滤波器组件225根据滤波器控制数据应用这些滤波器。这些滤波器可以包括去块效应滤波器、噪声抑制滤波器、SAO滤波器和自适应环路滤波器。这些滤波器可以根据示例应用于空域/像素域(例如，针对重建像素块)或频域中。

当作为编码器操作时，将经滤波的重建图像块、残差块和/或预测块存储在解码图像缓冲区组件223中，以供后续用于运动估计，如上所述。当作为解码器操作时，解码图像缓冲区组件223存储经重建和经滤波的块并将其作为输出视频信号的一部分转发给显示器。解码图像缓冲区组件223可以是任何能够存储预测块、残差块和/或重建图像块的存储设备。

标头格式和CABAC组件231从编解码系统200的各种组件接收数据，并将这些数据编码到经编码码流中，以发送给解码器。具体地，标头格式和CABAC组件231生成各种标头以对控制数据(例如，通用控制数据和滤波器控制数据)进行编码。此外，将预测数据(包括帧内预测数据和运动数据)以及量化变换系数数据形式的残差数据都编码到码流中。最终的码流包括解码器重建原始分割后的视频信号201所需要的所有信息。这些信息还可以包括帧内预测模式索引表(还称为码字映射表)、各种块的编码上下文的定义、最可能帧内预测模式的指示、分割信息的指示等。这些数据可以采用熵编码进行编码。例如，这些信息可以通过上下文自适应可变长度编码(context adaptive variable length coding，CAVLC)、CABAC、基于语法的上下文自适应二进制算术编码(syntax-based context-adaptivebinary arithmetic coding，SBAC)、概率区间分割熵(probability intervalpartitioning entropy，PIPE)编码或另一熵编码技术来编码。在熵编码之后，可以将经编码码流发送给另一设备(例如，视频解码器)或存档以供后续发送或检索。

图3是示例性视频编码器300的框图。视频编码器300可以用于实现编解码系统200的编码功能和/或实现操作方法100中的步骤101、步骤103、步骤105、步骤107和/或步骤109。编码器300对输入视频信号进行分割，得到分割后的视频信号301，其基本上类似于分割后的视频信号201。然后，通过编码器300中的组件压缩分割后的视频信号301并编码到码流中。

具体地，将分割后的视频信号301转发给帧内预测组件317进行帧内预测。帧内预测组件317可以基本上类似于帧内估计组件215和帧内预测组件217。还将分割后的视频信号301转发给运动补偿组件321，以根据解码图像缓冲区组件323中的参考块进行帧间预测。运动补偿组件321可以基本上类似于运动估计组件221和运动补偿组件219。将来自帧内预测组件317和运动补偿组件321的预测块和残差块转发给变换和量化组件313进行残差块的变换和量化。变换和量化组件313可以基本上类似于变换缩放和量化组件213。将经变换和量化的残差块和对应的预测块(与相关的控制数据一起)转发给熵编码组件331，以编码在码流中。熵编码组件331可以基本上类似于标头格式和CABAC组件231。

还将经变换和量化的残差块和/或对应的预测块从变换和量化组件313转发给逆变换和反量化组件329，以重建为参考块，供运动补偿组件321使用。逆变换和反量化组件329可以基本上类似于缩放和逆变换组件229。根据示例，环内滤波器组件325中的环内滤波器还应用于残差块和/或重建参考块。环内滤波器组件325可以基本上类似于滤波器控制分析组件227和环内滤波器组件225。环内滤波器组件325可以包括多个滤波器，如结合环内滤波器组件225所述。然后，将经滤波的块存储在解码图像缓冲区组件323中，以作为参考块供运动补偿组件321使用。解码图像缓冲区组件323可以基本上类似于解码图像缓冲区组件223。

图4是示例性视频解码器400的框图。视频解码器400可以用于实现编解码系统200的解码功能和/或实现操作方法100中的步骤111、步骤113、步骤115和/或步骤117。例如，解码器400从编码器300接收码流，并根据所述码流生成重建输出视频信号，以向终端用户显示。

码流由熵解码组件433接收。熵解码组件433用于执行熵解码方案，例如CAVLC、CABAC、SBAC、PIPE解码或其它熵解码技术。例如，熵解码组件433可以使用头信息来提供上下文以解析在码流中编码为码字的附加数据。解码信息包括对视频信号进行解码所需的任何信息，例如，通用控制数据、滤波器控制数据、分割信息、运动数据、预测数据和残差块中的量化变换系数。将量化变换系数转发给逆变换和反量化组件429，以重建成残差块。逆变换和反量化组件429可以类似于逆变换和反量化组件329。

将重建残差块和/或预测块转发给帧内预测组件417，以根据帧内预测操作重建为图像块。帧内预测组件417可以类似于帧内估计组件215和帧内预测组件217。具体地，帧内预测组件417使用预测模式来定位帧中的参考块，并将残差块添加到上述结果中以重建帧内预测图像块。将重建帧内预测图像块和/或残差块以及对应的帧间预测数据通过环内滤波器组件425转发给解码图像缓冲区组件423。解码图像缓冲区组件423和环内滤波器组件425可以基本上分别类似于解码图像缓冲区组件223和环内滤波器组件225。环内滤波器组件425对重建图像块、残差块和/或预测块进行滤波。这些信息存储在解码图像缓冲区组件423中。将来自解码图像缓冲区组件423的重建图像块转发给运动补偿组件421进行帧间预测。运动补偿组件421可以基本上类似于运动估计组件221和/或运动补偿组件219。具体地，运动补偿组件421使用参考块的运动矢量来生成预测块，并将残差块应用于上述结果以重建图像块。还可以通过环内滤波器组件425将所得到的重建块转发给解码图像缓冲区组件423。解码图像缓冲区组件423继续存储其它重建图像块。这些重建图像块可以通过分割信息重建为帧。这些帧还可以放置在一个序列中。该序列作为重建输出视频信号输出到显示器。

图5是示例性HRD 500的示意图。HRD 500可用于编码器中，例如编解码系统200和/或编码器300中。HRD 500可以在码流被转发到解码器(例如解码器400)之前检查在方法100的步骤109中创建的码流。在一些示例中，当对码流进行编码时，码流可以不断地通过HRD500转发。如果码流的一部分不符合相关约束条件，则HRD 500会向编码器指示这种不符合情况，从而使编码器使用不同的机制对码流的对应部分进行重新编码。

HRD 500包括假设流调度器(hypothetical stream scheduler，HSS)541。HSS 541是用于执行假设传输机制的组件。假设传输机制用于检查码流或解码器在输入到HRD 500中的码流551的时序和数据流方面的符合性。例如，HSS 541可以接收从编码器输出的码流551，并管理对码流551的符合性测试过程。在特定示例中，HSS 541可以控制编码图像移动通过HRD 500的速率，并验证码流551不包括不符合标准的数据。

HSS 541可以按预定义的速率将码流551转发给CPB 543。HRD 500可以管理解码单元(decoding unit，DU)553中的数据。DU 553是接入单元(access unit，AU)或AU的子集以及相关联的非视频编码层(video coding layer，VCL)网络抽象层(network abstractionlayer，NAL)单元。具体地，AU包括与输出时间相关联的一个或多个图像。例如，AU可以包括单层码流中的单个图像，并且可以包括多层码流中每个层的图像。AU的每个图像可以被划分为条带，每个条带包括在对应的VCL NAL单元中。因此，DU 553可以包括一个或多个图像、图像的一个或多个条带或其组合。此外，用于解码AU、图像和/或条带的参数可以包括在非VCL NAL单元中。因此，DU 553包括非VCL NAL单元，非VCL NAL单元包括支持解码DU 553中的VCL NAL单元所需的数据。CPB 543是HRD 500中的先入先出缓冲区。CPB 543包括DU 553，DU 553包括按解码顺序的视频数据。CPB 543存储视频数据，以供在码流符合性验证期间使用。

CPB 543将DU 553转发到解码过程组件545。解码过程组件545是符合VVC标准的组件。例如，解码过程组件545可以模拟终端用户使用的解码器400。解码过程组件545以可由示例性终端用户解码器实现的速率对DU 553进行解码。如果解码过程组件545不能足够快地对DU 553进行解码以防止CPB 543溢出，则码流551不符合标准，应对该码流进行重新编码。

解码过程组件545对DU 553进行解码，以创建解码DU 555。解码DU 555包括解码图像。解码DU 555被转发到DPB 547。DPB 547可以基本上类似于解码图像缓冲区组件223、323和/或423。为了支持帧间预测，将经标识以用作从解码DU 555中获得的参考图像556的图像返回到解码过程组件545，以支持进一步解码。DPB 547将解码视频序列输出为一系列图像557。图像557是重建图像，通常与由编码器编码到码流551中的图像是镜像图像。

图像557被转发到输出裁剪(cropping)组件549。输出裁剪组件549用于将符合性裁剪窗口应用于图像557。这样得到输出裁剪图像559。输出裁剪图像559是完全重建图像。因此，输出裁剪图像559模拟终端用户在对码流551进行解码时将看到的内容。因此，编码器可以检查输出裁剪图像559，以确保编码是令人满意的。

根据码流551中的HRD参数初始化HRD 500。例如，HRD 500可以从VPS、SPS和/或SEI消息中读取HRD参数。然后，HRD 500可以根据这些HRD参数中的信息对码流551执行符合性测试操作。在具体示例中，HRD 500可以根据HRD参数确定一个或多个CPB传输机制。传输机制指定了向和/或从存储器位置(例如CPB和/或DPB)传输视频数据的时序。因此，CPB传输机制指定了向/从CPB 543传输AU、DU 553和/或图像的时序。需要说明的是，HRD 500可以针对DPB 547使用类似于CPB传输机制的DPB传输机制。

视频可以被编码到不同的层和/或OLS中，以供具有不同硬件能力级别的解码器以及针对不同的网络条件使用。选择CPB传输机制以反映这些问题。因此，高层子码流被指定用于最佳硬件和网络条件，因此，高层可以接收在向DPB 547传输DU 553时在CPB 543中使用大量内存但具有短延迟的一个或多个CPB传输机制。同样，低层子码流被指定用于有限的解码器硬件能力和/或不良的网络条件。因此，低层可以接收在向DPB 547传输DU 553时在CPB 543中使用少量内存但具有较长延迟的一个或多个CPB传输机制。然后，可以根据对应的传输机制测试OLS、层、子层或其组合，以确保得到的子码流可以在针对子码流预期的条件下被正确解码。因此，码流551中的HRD参数可以表示CPB传输机制，并且包括足够的数据，以使HRD 500能够确定CPB传输机制，并将CPB传输机制与对应的OLS、层，和/或子层相关联。

图6是用于层间预测621的示例性多层视频序列600的示意图。例如根据方法100，多层视频序列600可以由编码器(例如编解码系统200和/或编码器300)编码，并由解码器(例如编解码系统200和/或解码器400)解码。此外，多层视频序列600可以由HRD(例如HRD500)检查标准符合性。包括多层视频序列600以描述编码视频序列中的层的示例性应用。多层视频序列600是使用多个层(例如层N 631和层N+1 632)的任何视频序列。

在一个示例中，多层视频序列600可以使用层间预测621。层间预测621应用于不同层中的图像611、612、613和614与图像615、616、617和618之间。在所示的示例中，图像611、612、613和614是层N+1 632的一部分，图像615、616、617和618是层N 631的一部分。层(例如层N 631和/或层N+1 632)是一组图像，这些图像都与类似的特性值(例如类似的大小、质量、分辨率、信噪比、能力等)相关联。层可以正式定义为VCL NAL单元和相关联的非VCL NAL单元的集合。VCL NAL单元是编码为包括视频数据的NAL单元，视频数据例如图像的编码条带。非VCL NAL单元是包括非视频数据的NAL单元，非视频数据例如支持解码视频数据、执行符合性检查或其它操作的语法和/或参数。

在示例性图示中，层N+1 632与比层N 631更大的图像大小相关联。因此，在本示例中，层N+1 632中的图像611、612、613和614的图像大小比层N 631中的图像615、616、617和618的图像大小大(例如，高度和宽度更大，因此样本更多)。但是，这些图像可以通过其它特性划分为层N+1 632和层N 631。虽然仅示出两个层：层N+1 632和层N 631，但一组图像可以根据相关联的特性划分为任意数量的层。层N+1 632和层N 631也可以用层Id表示。层Id是与图像相关联的数据项，并表示图像是所指示层的一部分。因此，图像611至618中的每个图像可以与对应的层Id相关联，以表示层N+1 632或层N 631中的哪个层包括对应的图像。例如，层Id可以包括NAL单元头层标识符(nuh_layer_id)，该NAL单元头层标识符是一个语法元素，表示包括NAL单元(例如，包括层中图像的条带和/或参数)的层的标识符。与较低质量/码流大小相关联的层(例如层N 631)通常被分配低层Id，并被称为低层。此外，与较高质量/码流大小相关联的层(例如层N+1 632)通常被分配高层ID，并被称为高层。

不同层631和632中的图像611至618用于交替显示。在具体示例中，如果需要较小的图像，则解码器可以在当前显示时间解码并显示图像615，或者如果需要较大的图像，则解码器可以在当前显示时间解码并显示图像611。因此，高层N+1 632中的图像611至614包括与低层N 631中的对应图像615至618包括基本上相同的图像数据(尽管图像大小不同)。具体地，图像611与图像615包括基本上相同的图像数据，图像612与图像616包括基本上相同的图像数据，以此类推。

图像611至618可以参考同一层N 631或N+1 632中的其它图像611至618进行译码。参考同一层中的另一个图像对图像进行译码会产生帧间预测623。帧间预测623由实线箭头表示。例如，图像613可以通过将层N+1 632中的图像611、612和/或614中的一个或两个图像作为参考的帧间预测623来译码，其中，单向帧间预测使用一个图像作为参考，和/或双向帧间预测使用两个图像作为参考。此外，图像617可以通过将层N 631中的图像615、616和/或618中的一个或两个图像作为参考的帧间预测623来译码，其中，单向帧间预测使用一个图像作为参考，和/或双向帧间预测使用两个图像作为参考。当在执行帧间预测623时，将一个图像作为同一层中另一个图像的参考时，该图像可以被称为参考图像。例如，图像612可以是用于根据帧间预测623对图像613进行译码的参考图像。在多层上下文中，帧间预测623也可以被称为层内预测。因此，帧间预测623是通过参考与当前图像不同的参考图像中的指示样本对当前图像的样本进行译码的机制，其中，参考图像和当前图像位于同一层中。

图像611至618也可以通过参考不同层中的其它图像611至618进行译码。这个过程称为层间预测621，由虚线箭头表示。层间预测621是通过参考一个参考图像中的指示样本对当前图像的样本进行译码的机制，其中，当前图像和参考图像在不同的层中，因此具有不同的层ID。例如，低层N 631中的图像可以作为对高层N+1 632中的对应图像进行译码的参考图像。在具体示例中，图像611可以根据层间预测621通过参考图像615进行译码。在这种情况下，图像615被用作层间参考图像。层间参考图像是用于层间预测621的参考图像。在大多数情况下，对层间预测621进行了约束，使得当前图像(例如，图像611)只能使用同一AU中包括的且位于低层的一个或多个层间参考图像，例如，图像615。当多个层(例如，多于两个层)可用时，层间预测621可以根据层级比当前图像低的多个层间参考图像对当前图像进行编码/解码。

视频编码器可以使用多层视频序列600来通过帧间预测623和层间预测621的许多不同组合和/或排列对图像611至618进行编码。例如，图像615可以根据帧内预测进行译码。然后，通过将图像615作为参考图像，图像616至618可以根据帧间预测623进行译码。此外，通过将图像615作为层间参考图像，图像611可以根据层间预测621进行译码。然后，通过将图像611作为参考图像，图像612至614可以根据帧间预测623进行译码。因此，参考图像可以作为不同译码机制的单层参考图像和层间参考图像。通过根据低层N 631图像对高层N+1632图像进行译码，高层N+i 632可以避免使用帧内预测，帧内预测的译码效率比帧间预测623和层间预测621的译码效率低得多。因此，译码效率低的帧内预测只限于最小/最低质量的图像，因此只限于对最少量的视频数据进行译码。用作参考图像和/或层间参考图像的图像可以在参考图像列表结构中包括的一个或多个参考图像列表的条目中指示。

图像611至618也可以包括在接入单元(access unit，AU)627和628中。AU 627至628是编码图像的集合，这些图像包括在不同的层中，并在解码期间与相同的输出时间相关联。因此，同一AU 627至628中的编码图像被调度以同时在解码器处从DPB输出。例如，图像614和618在同一AU 628中。图像613和617与图像614和618在不同的AU 627中。同一AU 628中的图像614和618可以在替代方案中显示。例如，当需要小图像尺寸时，可以显示图像618，当需要大图像尺寸时，可以显示图像614。当需要大图像尺寸时，输出图像614，并且图像618仅用于层间预测621。在这种情况下，一旦层间预测621完成，图像618就被丢弃而不被输出。包括所有层的图像的AU 627可以称为完整的AU 627。不包括所有层的图像的AU 628可以被称为不完整的AU 628。

包括层N-1 633以描述AU 628不完整的场景。层N-1 633包括图像625和626，该图像625和626分别与图像615和617基本相同。但是，层N-1 633不包括对应于图像616和618的图像。因此，层N-1 633基本上类似于层N 631，但包括较低的帧率。因此，包括图像611、615和625的AU 627是完整的。但是，包括图像612和616的AU 628是不完整的AU 628，因为该AU628缺少层N-1 633中的图像。

编码不完整的AU 628是有用的，因为这使多层视频序列600能够以不同的帧率传输给不同的用户。但是，在检查编码视频序列的符合性时，不完整的AU 628可能会产生挑战。例如，当检查多层视频序列600是否符合标准时，SEI消息可以用于传输HRD(例如，HRD500)使用的参数。一些视频译码系统支持SEI消息应用于AU 627至628中的所有层。问题是，这种SEI消息可能在多个AU 627至628上持久存在。当SEI消息应用于不完整的AU 628中的所有层时，这种SEI消息不应用于N-1 633层，因为N-1 633层不包括在不完整的AU 628中。因此，SEI消息不应用于在不完整的AU 628之后的完整的AU 627中的层N-1 633。这可能导致不可预测的错误，因为当SEI消息恰好与完整的AU 627相关联时，SEI消息被正确地应用于层N-1 633，而当这些消息恰好与不完整的AU 628相关联时，SEI消息不应用于层N-1633。这个问题和其它问题由下面描述的指示方案解决。

图7是示例性码流700的示意图。例如，码流700可以由编解码系统200和/或编码器300生成，以供编解码系统200和/或解码器400根据方法100进行解码。此外，码流700可以包括多层视频序列600。此外，码流700可以包括用于控制HRD(例如HRD 500)的操作的各种参数。基于这些参数，HRD 500可以在向解码器传输码流700用于解码之前检查码流700的标准符合性。

码流700包括VPS 711、一个或多个SPS 713、多个图像参数集(picture parameterset，PPS)715、多个条带头717、图像数据720和SEI消息719。VPS 711包括与整个码流700相关的数据。例如，VPS 711可以包括码流700中使用的数据相关的OLS、层和/或子层。SPS 713包括码流700中包括的编码视频序列中的所有图像共有的序列数据。例如，每个层可以包括一个或多个编码视频序列，并且每个编码视频序列可以参考SPS 713以获取对应的参数。SPS 713中的参数可以包括图像大小、位深度、编码工具参数、码率限制等。需要说明的是，虽然每个序列参考SPS 713，但是在一些示例中，单个SPS 713可以包括用于多个序列的数据。PPS 715包括应用于整个图像的参数。因此，视频序列中的每个图像可以参考PPS 715。需要说明的是，虽然每个图像参考PPS 715，但是在一些示例中，单个PPS 715可以包括用于多个图像的数据。例如，可以根据类似的参数对多个类似的图像进行译码。在这种情况下，单个PPS 715可以包括用于这些类似图像的数据。PPS 715可以表示可用于对应图像中的条带的编码工具、量化参数、偏移等。

条带头717包括图像中每个条带的特定参数。因此，视频序列中的每个条带可以有一个条带头717。条带头717可以包括条带类型信息、POC、参考图像列表、预测权重、分块入口点、去块效应滤波参数等。需要说明的是，在一些示例中，码流700还可以包括图像头，图像头是一个语法结构，包括应用于单个图像中所有条带的参数。因此，图像头和条带头717可以在某些上下文中互换使用。例如，某些参数可以在条带头717与图像头之间移动，这取决于这些参数是否对图像中的所有条带是共有的。

图像数据720包括根据帧间预测和/或帧内预测编码的视频数据以及对应的经变换和量化的残差数据。例如，图像数据720可以包括层723、图像725和/或条带727。层723是共享由层ID(例如nuh_layer_id 729)表示的指定特性(例如，共同分辨率、帧率、图像大小等)的VCL NAL单元和相关联的非VCL NAL单元的集合。例如，层723可以包括共享同一nuh_layer_id的一组图像725。层723可以基本上类似于层631、632和/或633。nuh_layer_id 729是一个语法元素，用于表示包括至少一个NAL单元的层723的标识符。例如，最低质量层723(被称为基本层)可以包括nuh_layer_id 729的最低值，对于具有更高质量的层723，nuh_layer_id 729的值增大。因此，低层是具有nuh_layer_id 729的较小值的层723，而高层是具有nuh_layer_id 729的较大值的层723。

图像725是创建帧或帧场的亮度样本的阵列和/或色度样本的阵列。例如，图像725是编码图像，其可以被输出以用于显示或用于支持一个或多个其它图像725的编码以用于输出。图像725包括一个或多个条带727。条带727可以被定义为图像725的独占地包括在单个NAL单元中的整数个完整分块或整数个连续完整的编码树单元(coding tree unit，CTU)行(例如，在一个分块内)。条带727被进一步划分为CTU和/或编码树块(coding treeblock，CTB)。CTU是一组预定义大小的样本，可以通过编码树进行分割。CTB是CTU的子集，并且包括CTU的亮度分量或色度分量。CTU/CTB根据编码树被进一步划分为编码块。然后可以根据预测机制对编码块进行编码/解码。

码流700可以编码为NAL单元的序列。NAL单元是视频数据和/或支持语法的容器。NAL单元可以是VCL NAL单元或非VCL NAL单元。VCL NAL单元是编码为包括视频数据的NAL单元，视频数据例如图像数据720和相关联的条带头717。非VCL NAL单元是包括非视频数据的NAL单元，非视频数据例如支持解码视频数据、执行符合性检查或其它操作的语法和/或参数。例如，非VCL NAL单元可以包括VPS 711、SPS 713、PPS 715、SEI消息719或其它支持语法。

SEI消息719是语法结构，具有传达解码过程不需要的信息，以确定解码图像中的样本的值的指定语义。例如，SEI消息719可以包括支持HRD过程的数据或与在解码器处解码码流700不直接相关的其它支持数据。一组SEI消息719可以实现为可伸缩嵌套式SEI消息741。可伸缩嵌套式SEI消息741提供了将SEI消息719与特定层723相关联的机制。可伸缩嵌套式SEI消息741是包括多个伸缩嵌套的SEI消息742的消息。伸缩嵌套的SEI消息742是对应于一个或多个OLS或一个或多个层723的SEI消息719。OLS是层723的集合，其中，层723中的至少一个是输出层。因此，可以称可伸缩嵌套式SEI消息741包括一组伸缩嵌套的SEI消息742，或者包括一组SEI消息719，这取决于上下文。此外，可伸缩嵌套式SEI消息741包括一组具有相同类型的伸缩嵌套的SEI消息742。SEI消息719可以包括BP SEI消息，该BP SEI消息包括用于初始化HRD以管理CPB以测试对应的OLS和/或层723的HRD参数。SEI消息719还可以包括PT SEI消息，该PT SEI消息包括用于管理CPB和/或DPB处的AU的传输信息以测试对应的OLS和/或层723的HRD参数。SEI消息719还可以包括DUI SEI消息，该DUI SEI消息包括用于管理CPB和/或DPB处的DU的传输信息以测试对应的OLS和/或层723的HRD参数。

如上所述，SEI消息719可以包括在非VCL NAL单元中。例如，可伸缩嵌套式SEI消息741可以包括在SEI NAL单元743中。SEI NAL单元743是具有表示SEI NAL单元743包括SEI数据的类型数据的NAL单元。可伸缩嵌套式SEI消息74l的好处之一是，可伸缩嵌套式SEI消息741支持一组伸缩嵌套的SEI消息742包括在单个SEI NAL单元743中。当不使用可伸缩嵌套式SEI消息741时，每个SEI消息719包括在单独的SEI NAL单元743中。为了清楚讨论起见，特定的SEI NAL单元743可以被称为当前SEI NAL单元743。

可伸缩嵌套式SEI消息741的问题之一是，整组伸缩嵌套的SEI消息742包括在单个SEI NAL单元743中。但是，一组伸缩嵌套的SEI消息742可以以许多方式与对应的层723相关。例如，一组伸缩嵌套的SEI消息742中的每个伸缩嵌套的SEI消息可以与所有层723相关。在另一个示例中，一组伸缩嵌套的SEI消息742中的每个伸缩嵌套的SEI消息可以与层723中的一个或多个层相关。可以使用各种标志来表示伸缩嵌套的SEI消息742与层723之间的相关性。如上所述，伸缩嵌套的SEI消息742标志的一个问题是，当视频序列包括不完整的AU时，表示伸缩嵌套的SEI消息742应用于AU中的所有层的标志可能会导致错误。另一个问题是，包括可伸缩嵌套式SEI消息741的SEI NAL单元743总是与层723相关联，例如具有最低nuh_layer_id 729的层723。当伸缩嵌套的SEI消息742应用于与SEI NAL单元743相关联的层723时，该关联在SEI NAL单元743中和可伸缩嵌套式SEI消息741中指示。这是冗余的并且浪费位。

码流700包括各种标志，以指示SEI消息719的配置，同时解决上述问题。例如，可伸缩嵌套式SEI消息741可以包括可伸缩嵌套的所有层标志(all_layers_flag)735。scalablenesting all_layers_flag 735语法元素表示可伸缩嵌套式SEI消息741中的伸缩嵌套的SEI消息742是否应用于所有层723，例如如VPS 711中指定的层。通过使用不指示AU的scalable nesting all_layers_flag 735，避免了不完整的AU问题。因此，当设置scalablenesting all_layers_flag 735时，可伸缩嵌套式SEI消息741中包括的伸缩嵌套的SEI消息742应用于所有层723，而不管可伸缩嵌套式SEI消息741应用于的包括在AU中的层723的数量。在具体示例中，当表示伸缩嵌套的SEI消息742应用于nuh_layer_id 729大于或等于当前SEI NAL单元743的nuh_layer_id 729的所有层723时，scalable nesting all_layers_flag 735被设置为1。此外，当表示伸缩嵌套的SEI消息742可能应用或可能不应用于nuh_layer_id 729大于或等于当前SEI NAL单元743的nuh_layer_id 729的所有层723时，scalable nesting all_layers_flag 735可被设置为0。因此，scalable nesting all_layers_flag 735通过在存在不完整的AU时正确检查码流700的符合性来增加编码器和/或解码器的功能。此外，scalable nesting all_layers_flag 735通过在伸缩嵌套的SEI消息742应用于所有层723时省略伸缩嵌套的SEI消息742的显式层指示来减小经编码码流700的大小。结果，提高了译码效率，从而减少了编码器和解码器处的处理器、内存和/或网络指示资源的使用。

为了解决冗余指示问题，可伸缩嵌套式SEI消息741可以包括可伸缩嵌套的层id(layer_id[i])739。scalable nesting layer_id[i]739是一个语法元素，用于表示伸缩嵌套的SEI消息742应用于的第i层的nuh_layer_id 729值。当scalable nesting all_layers_flag 735被设置为0时，可以使用scalable nesting layer_id[i]739。因此，layer_id[i]739可用于将每个伸缩嵌套的SEI消息742与对应的层723关联。此外，scalablenesting layer_id[i]739用于指示对应于伸缩嵌套的SEI消息742的所有层723的nuh_layer_id 729，对应于SEI NAL单元743的层723的nuh_layer_id 729除外。当伸缩嵌套的SEI消息742不与scalable nesting layer_id[i]739中的nuh layer_id 729值相关联时，伸缩嵌套的SEI消息742可以推断为与SEI NAL单元743相关联的层723相关。例如，SEI NAL单元743可以与nuh_layer_id 729的最低值相关联。因此，scalable nesting layer_id[i]739可以被约束，使得对于每个层i，scalable nesting layer_id[i]739的值必须大于当前SEI NAL单元743的nuh_layer_id 729。这确保了当前SEI NAL单元743的nuh_layer_id 729在当前SEI NAL单元743中指示，但在可伸缩嵌套式SEI消息741中的scalable nestinglayer_id[i]739中不重复。这通过省略冗余Id来改进可伸缩嵌套式SEI消息741。例如，编码/解码scalable nesting layer_id[i]739的循环少执行一次，这在编码和/或解码期间减少了处理器资源使用。此外，这减小了码流700中每个可伸缩嵌套式SEI消息741的经编码码流700的大小。结果，提高了译码效率，从而减少了编码器和解码器处的处理器、内存和/或网络指示资源的使用。

HRD和/或解码器可以使用scalable nesting layer_id[i]739和scalablenesting all_layers_flag735将伸缩嵌套的SEI消息742与层723相关，例如基于码流700中的其它语法元素。例如，HRD和/或解码器可以使用嵌套层数量(nestingNumLayers)变量和嵌套层Id列表(NestingLayerId[i])变量。关于命名问题，具有下划线的语法元素可以由编码器在码流700中指示，而没有下划线或空格的语法元素可以是当从码流700(例如，在HRD和/或解码器处)读取数据时确定的变量。nestingNumLayers变量表示基于码流700中的数据伸缩嵌套的SEI消息742应用于的层723的数量。NestingLayerId[i]变量是一个变量，该变量被设置为表示基于码流700中的数据，对于在0到nestingNumLayers-1的范围内(包括端值)的每个层i，伸缩嵌套的SEI消息742应用于的层723的nuh_layer_id值的列表。nestingNumLayers和NestingLayerId[i]可以如下确定：

/>

上述代码依赖于VPS最大层数减1(vps_max_layers_minus1)731。vps_max_layers_minus1731是VPS 711中携带的语法元素，该语法元素表示码流700中的层723的数量。上述代码还依赖于VPS层Id(vps_layer_id[i])733。vps_layer_id[i]733是VPS 733中携带的语法元素，该语法元素表示第i层的nuh_layer_id 729值。因此，vps_layer_id[i]733表示每个层723的nuh_layer_id 729，使得nuh_layer_id 729可以通过层索引i访问。

上述代码还依赖于通用层索引(GeneralLayerIdx)变量。GeneralLayerIdx是由HRD和/或解码器确定的变量，该变量表示nuh_layer_id等于vps_layer_id[i]733的层723的层索引。上述代码还依赖于可伸缩嵌套的层数量减1(num_layers_minus1)737语法元素。scalable nesting num_layers_minus1 737是可伸缩嵌套式SEI消息741中携带的语法元素，该语法元素表示可伸缩嵌套式SEI消息741中的伸缩嵌套的SEI消息742应用于的层723的数量。scalable nesting num_layers_minus1 737使用减1的格式，因此包括比实际值小1。例如，如果可伸缩嵌套式SEI消息741包括与五个层723相关的伸缩嵌套的SEI消息742，则scalable nesting num_layers_minus1 737被设置为值4。在一些示例中，scalablenesting num_layers_minus1 737被约束为在0到vps_max_layers_minus1 731-GeneralLayerIdx[nuh_layer_id]的范围内，包括端值，其中，nuh_layer_id 729是当前SEINAL单元743的nuh_layer_id 729。

下面更详细地描述上述信息。分层视频编码也被称为可适性视频编码或具有可适性的视频编码。视频编码的可适性通常通过使用多层编码技术来支持。多层码流包括基本层(base layer，BL)和一个或多个增强层(enhancement layer，EL)。可适性的示例包括空间可适性、质量可适性/信噪比(signal to noise ratio，SNR)可适性、多视图可适性、帧率可适性等。当使用多层译码技术时，图像或其一部分可以不使用参考图像(帧内预测)进行编码，可以通过参考同一层中的参考图像(帧间预测)进行编码，和/或可以通过参考一个或多个其它层中的参考图像(层间预测)进行编码。用于当前图像的层间预测的参考图像被称为层间参考图像(inter-layer reference picture，ILRP)。图6示出了用于空间可适性的多层译码的示例，其中，不同层中的图像具有不同的分辨率。

一些视频编码系列支持根据用于单层译码的一个或多个档次(profile)实现一个或多个单独档次中的可适性。可适性视频编码(scalable video coding，SVC)是高级视频编码(advanced video coding，AVC)的可扩展版，支持空间可适性、时间可适性和质量可适性。对于SVC，在EL图像中的每个宏块(macroblock，MB)中指示了一个标志，以表示EL MB是否使用低层中的并置块进行预测。基于并置块的预测可以包括纹理、运动矢量和/或译码模式。实现SVC时，不能在SVC的实现设计中直接重用未经修改的AVC实现。SVC EL宏块语法和解码过程与AVC语法和解码过程不同。

可适性HEVC(scalable HEVC，SHVC)是HEVC的扩展，为空间可适性和质量可适性提供了支持。多视图HEVC(multiview HEVC，MV-HEVC)是HEVC的扩展，为多视图可适性提供了支持。3D HEVC(3D-HEVC)是HEVC的扩展，为比MV-HEVC更高级、更高效的3D视频译码提供了支持。时间可适性可以包括为单层HEVC编解码的组成部分。在HEVC的多层扩展中，用于层间预测的解码图像仅来自同一AU，并被视为长期参考图像(long-term reference picture，LTRP)。这种图像与当前层中的其它时间参考图像一起被分配一个或多个参考图像列表中的参考索引。层间预测(inter-layer prediction，ILP)是通过将参考索引的值设置为参考一个或多个参考图像列表中的一个或多个层间参考图像而在预测单元(prediction unit，PU)级实现。当ILRP具有与正在编码或解码的当前图像不同的空间分辨率时，空间可适性会重采样参考图像或其部分。参考图像重采样可以在图像级或编码块级实现。

VVC还可以支持分层视频编码。VVC码流可以包括多个层。这些层可以都相互独立。例如，可以在不使用层间预测的情况下对每个层进行译码。在这种情况下，这些层也被称为同播层。在某些情况下，这些层中的某些层使用ILP进行译码。VPS中的标志可以表示这些层是否为同播层，或者某些层是否使用ILP。当某些层使用ILP时，层之间的层依赖关系也会在VPS中指示。与SHVC和MV-HEVC不同，VVC可能不指定OLS。OLS包括指定层集，其中，层集中的一个或多个层被指定为输出层。输出层是OLS中用于输出的层。在VVC的某些实现方式中，当层是同播层时，只能选择一个层进行解码和输出。在VVC的某些实现方式中，当任一层使用ILP时，指定对包括所有层的整个码流进行解码。此外，层中的某些层被指定为输出层。输出层可以被指定为仅最高层、所有层或最高层加上一组指定的低层。

上述方面存在一定的问题。一些视频译码系统规定用于将SEI消息与码流子集相关联的可伸缩嵌套式SEI消息对应于具有特定层和/或子层的各种操作点。当使用具有nuhLayerId的特定nuh_layer_id值的SEI NAL单元中包括的可伸缩嵌套式SEI消息为特定层嵌套SEI消息时，会出现第一个问题。在这种情况下，当嵌套的SEI消息不应用于所有层时，nuh_layer_id等于nuhLayerId的适用层也被显式地指示。但是，nuh_layer_id等于nuhLayerId的适用层始终是适用层。因此，SEI NAL单元的nuh_layer_id的指示是不必要的(例如，冗余)，并且浪费位。

当嵌套的SEI消息应用于所有层时，会出现第二个问题。语义可以说明all_layers_flag被设置为1，以表示列表nestingLayerIdList[0]包括当前接入单元中存在的大于或等于当前SEI NAL单元的nuh_layer_id的nuh_layer_id的所有值，值呈递增顺序。但是，当前AU可能是不完整的AU。当AU不具有所有层的图像时，可能会发生这种情况。嵌套的SEI消息的持久范围可以包括其它AU，这些AU包括比当前AU更多层的图像。因此，当前AU(包括可伸缩嵌套式SEI消息的AU)中缺少的层没有被指定为适用。当嵌套的SEI消息的持久范围中的其它一些AU确实具有当前AU中缺少的层的图像时，嵌套的SEI消息中携带的信息被解释为不适用于这些图像。因此，可能会发生错误。例如，如果封装SEI消息的帧包括在嵌套的SEI消息中，则呈现的图像可能包括导致用户体验不佳的伪影。

通常，本发明描述了用于多层视频码流中层的SEI消息的伸缩嵌套的方法。这些技术的描述基于VVC。但是，这些技术也应用于基于其它视频编解码规范的分层视频编码。

上述问题中的一个或多个可以如下解决。具体地，本发明包括用于高效地嵌套SEI消息以结合不完整的AU与层一起使用的方法，如上所述。首先，层Id等于包括可伸缩嵌套式SEI消息的SEI NAL单元的层Id的层被推断为嵌套的SEI消息应用于的层，而非被显式地指示。其次，当嵌套的SEI消息应用于所有层时，嵌套的SEI消息应用于VPS指定的所有层，这些层是码流中可能存在的所有层，而不是当前AU中存在的所有层。

上述机制的示例性实现方式如下。示例性可伸缩嵌套式SEI消息语法如下：

/>

在另一个示例中，语法元素nesting_layer_id[i]是VPS指定的各层之间的层索引的ue(v)编码。在另一个替代示例中，语法元素nesting_layer_id[i]是VPS指定的各层之间层索引的增量的ue(v)编码。在另一个替代示例中，语法元素nesting_layer_id[i]是nuh_layer_id的增量的ue(v)编码。

可伸缩嵌套式SEI消息语义示例如下。可伸缩嵌套式SEI消息提供了一种机制，用于将SEI消息与在特定OLS上下文中的特定层或与不在OLS上下文中的特定层相关联。可伸缩嵌套式SEI消息包括一个或多个SEI消息。可伸缩嵌套式SEI消息中包括的SEI消息也被称为伸缩嵌套的SEI消息。当SEI消息包括在可伸缩嵌套式SEI消息中时，码流符合性可要求应用以下限制。

payloadType等于132(解码图像哈希)或133(可伸缩嵌套)的SEI消息不应包括在可伸缩嵌套式SEI消息中。当可伸缩嵌套式SEI消息包括缓冲周期、图像时序或解码单元信息SEI消息时，可伸缩嵌套式SEI消息不应包括payloadType不等于0(缓冲周期)、1(图像时序)或130(解码单元信息)的任何其它SEI消息。

码流符合性还可要求对包括可伸缩嵌套式SEI消息的SEI NAL单元的nal_unit_type的值应用以下限制。当可伸缩嵌套式SEI消息包括payloadType等于0(缓冲周期)、1(图像时序)、130(解码单元信息)、145(从属RAP指示)或168(帧字段信息)的SEI消息时，包括可伸缩嵌套式SEI消息的SEI NAL单元应具有被设置为等于PREFIX_SEI_NUT的nal_unit_type。当可伸缩嵌套式SEI消息包括payloadType等于132(解码图像哈希)的SEI消息时，包括可伸缩嵌套式SEI消息的SEI NAL单元应具有被设置为等于SUFFIX_SEI_NUT的nal_unit_type。

nesting_ols_flag可以被设置为1，以表示伸缩嵌套的SEI消息应用于在特定OLS上下文中的特定层。nesting_ols_flag可以被设置为0，以表示伸缩嵌套的SEI消息通常应用于特定层(例如，不在OLS的上下文中)。

码流符合性可要求对nesting_ols_flag的值应用以下限制。当可伸缩嵌套式SEI消息包括payloadType等于0(缓冲周期)、1(图像时序)或130(解码单元信息)的SEI消息时，nesting_ols_flag的值应等于1。当可伸缩嵌套式SEI消息包括payloadType等于VclAssociatedSeiList中的值的SEI消息时，nesting_ols_flag的值应等于0。

nesting_num_olss_minus1+1表示伸缩嵌套的SEI消息应用于的OLS的数量。nesting_num_olss_minus1的值应在0到TotalNumOlss-1的范围内，包括端值。当nesting_ols_flag等于1时，nesting_ols_idx_delta_minus1[i]用于推导变量NestingOlsIdx[i]，该变量NestingOlsIdx[i]表示伸缩嵌套的SEI消息应用于的第i个OLS的OLS索引。nesting_ols_idx delta_minus1[i]的值应在0到TotalNumOlss-2的范围内，包括端值。变量NestingOlsIdx[i]可以推导如下：

nesting_num_ols_layers_minus1[i]+1表示在第NestingOlsIdx[i]个OLS的上下文中伸缩嵌套的SEI消息应用于的层的数量。nesting_num_ols_layers_minus1[i]的值应在0到NumLayersInOls[NestingOlsIdx[i]]-1的范围内，包括端值。

当nesting_ols_flag等于1时，nesting_ols_layer_idx_delta_minus1[i][j]用于推导变量NestingOlsLayerIdx[i][j]，该变量表示在第NestingOlsIdx[i]个OLS的上下文中伸缩嵌套的SEI消息应用于的第j个层的OLS层索引。nesting ols_layer_idx_delta_minus1[i]的值应在0到NumLayersInOls[nestingOlsIdx[i]]-2的范围内，包括端值。

变量NestingOlsLayerIdx[i][j]可以推导如下：

/>

LayerIdInOls[NestingOlsIdx[i]][NestingOlsLayerIdx[i][0]](其中，i在0到nesting_num_olss_minus1的范围内，包括端值)的所有值中的最小值应等于当前SEI NAL单元(例如，包括可伸缩嵌套式SEI消息的SEI NAL单元)的nuh_layer_id。nesting_all_layers_flag可以被设置为1，以表示伸缩嵌套的SEI消息通常应用于nuh_layer_id大于或等于当前SEI NAL单元的nuh_layer_id的所有层。nesting_all_layers_flag可以被设置为0，以表示伸缩嵌套的SEI消息通常可以或可以不应用于nuh_layer_id大于或等于当前SEINAL单元的nuh_layer_id的所有层。

nesting_num_layers_minus1+1表示伸缩嵌套的SEI消息通常应用于的层的数量。nesting_num_layers_minus1的值应在0到vps_max_layers_minus1-GeneralLayerIdx[nuh_layer_id]的范围内，包括端值，其中，nuh_layer_id是当前SEI NAL单元的nuh_layer_id。当nesting_all_layers_flag等于0时，nesting_layer_id[i]表示伸缩嵌套的SEI消息通常应用于的第i层的nuh_layer_id值。nesting_layer_id[i]的值应大于nuh_layer_id，其中，nuh_layer_id是当前SEI NAL单元的nuh_layer_id。

当nesting_ols_flag等于1时，表示伸缩嵌套的SEI消息通常应用于的层的数量的变量NestingNumLayers和表示伸缩嵌套的SEI消息通常应用于的层的nuh_layer_id值的列表的列表NestingLayerId[i](其中，i在0到NestingNumLayers-1的范围内，包括端值)推导如下，其中，nuh_layer_id是当前SEI NAL单元的nuh_layer_id：

nesting_Bum_seis_minus1+1表示伸缩嵌套的SEI消息的数量。nesting_num_seis_minus1的值应在0到63的范围内，包括端值。nesting_zero_bit应被设置为0。

图8是示例性视频译码设备800的示意图。视频译码设备800适用于实现本文描述的公开示例/实施例。视频译码设备800包括下行端口820、上行端口850和/或收发单元(Tx/Rx)810，收发单元(Tx/Rx)810包括发送器和/或接收器，用于通过网络向上游和/或下游发送数据。视频译码设备800还包括：处理器830，包括用于处理数据的逻辑单元和/或中央处理单元(central processing unit，CPU)；和用于存储数据的存储器832。视频译码设备800还可以包括与上行端口850和/或下行端口820耦合的电子组件、光电(optical-to-electrical，OE)组件、电光(electrical-to-optical，EO)组件，和/或无线通信组件，用于通过电、光或无线通信网络发送数据。视频译码设备800还可以包括输入和/或输出(input/output，I/O)设备860，用于与用户进行数据通信。I/O设备860可以包括输出设备，如用于显示视频数据的显示器、用于输出音频数据的扬声器等。I/O设备860还可以包括输入设备，如键盘、鼠标、轨迹球等，和/或用于与此类输出设备交互的对应接口。

处理器830通过硬件和软件来实现。处理器830可以实现为一个或多个CPU芯片、核(例如，多核处理器)、现场可编程门阵列(field-programmable gate array，FPGA)、专用集成电路(application specific integrated circuit，ASIC)以及数字信号处理器(digital signal processor，DSP)。处理器830与下行端口820、Tx/Rx 810、上行端口850和存储器832通信。处理器830包括译码模块814。译码模块814实现本文描述的公开实施例，例如方法100、900和1000，其可以使用多层视频序列600和/或码流700。译码模块814还可以实现本文描述的任何其它方法/机制。此外，译码模块814可以实现编解码系统200、编码器300、解码器400和/或HRD 500。例如，译码模块814可以用于实现HRD。此外，译码模块814可用于编码具有对应标志的可伸缩嵌套式SEI消息，以支持可伸缩嵌套式SEI消息中的伸缩嵌套的SEI消息与对应层之间的相关性的清晰且简明的指示。因此，译码模块814可以用于执行解决上述一个或多个问题的机制。因此，译码模块814使视频译码设备800在译码视频数据时提供其它功能和/或译码效率。因此，译码模块814改进了视频译码设备800的功能，并解决了视频编码领域特有的问题。此外，译码模块814可以将视频译码设备800变换到不同的状态。或者，译码模块814可以实现为存储在存储器832中并由处理器830执行的指令(例如，实现为存储在非瞬时性介质上的计算机程序产品)。

存储器832包括一种或多种存储器类型，例如磁盘、磁带机、固态硬盘、只读存储器(read onlymemory，ROM)、随机存取存储器(random access memory，RAM)、闪存、三态内容寻址存储器(temary content-addressable memory，TCAM)、静态随机存取存储器(staticrandom-access memory，SRAM)等。存储器832可以用作溢出数据存储设备，以在选择程序来执行时存储这些程序以及存储在执行程序过程中读取的指令和数据。

图9是将视频序列编码到包括应用于层的可伸缩嵌套式SEI消息的码流(例如，码流700)中的示例性方法900的流程图。编码器(例如，编解码系统200、编码器300和/或视频译码设备800)在执行方法100时可以使用方法900。此外，方法900可以在HRD 500上操作，因此可以对多层视频序列600执行符合性测试。

方法900可以开始于：编码器接收视频序列，并例如根据用户输入确定将该视频序列编码到多层码流中。在步骤901中，编码器将视频序列编码到一个或多个层中，并将这些层编码到多层码流中。因此，码流包括一个或多个层。层可以包括具有相同层Id的VCL NAL单元和相关联的非VCL NAL单元的集合。例如，层可以是包括编码图像的视频数据的VCLNAL单元的集合以及用于对这些图像进行解码的任何参数集。其中一个或多个层可以是输出层。不是输出层的层被编码以支持重建一个或多个输出层，但此类支持层并不预期在解码器处输出。以此方式，编码器可以根据请求对层的各种组合进行编码以发送给解码器。该层可以视需要传输，以使解码器能够根据网络条件、硬件能力和/或用户设置获得视频序列的不同表示。

在步骤903中，编码器将当前SEI NAL单元中的一个或多个可伸缩嵌套式SEI消息编码到码流中。SEI消息是一种语法结构，包括不用于解码的数据。例如，SEI消息可以包括支持符合性测试的数据，以确保码流符合标准。为了支持与多层码流结合使用时的简化指示，SEI消息被编码为可伸缩嵌套式SEI消息。可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息。伸缩嵌套的SEI消息可以各自应用于一个或多个OLS和/或一个或多个层。为了支持简化指示，可伸缩嵌套式SEI消息包括一个或多个可伸缩嵌套的层Id，所述一个或多个可伸缩嵌套的层Id表示伸缩嵌套的SEI消息应用于的层的层Id值，但当前SEI NAL单元的层Id值除外。此例外防止了当前SEI NAL单元的层Id的冗余指示，因为当前SEI NAL单元也包括对应的层Id。需要说明的是，即使当可伸缩嵌套式SEI消息包括应用于当前SEI NAL单元的层的至少一个伸缩嵌套的SEI消息时，可伸缩嵌套式SEI消息也省略了当前SEI NAL单元的层Id。

在一些示例中，当scalable nesting all_layers_flag等于0时，所述可伸缩嵌套的层Id是scalable nesting layer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示伸缩嵌套的SEI消息应用于的第i层的nuh_layer_id值。在一些示例中，scalable nesting layer_id[i]的每个值被约束为大于当前SEI NAL单元的nuh_layer_id值。需要说明的是，本文描述为包括下划线的语法元素可以包括在码流中，同时可以推导没有空格的语法元素。上述约束和/或要求确保码流符合例如VVC或如本文所示修改的一些其它标准。但是，编码器也可以能够在其不受如此约束的其它模式下操作，例如在不同标准或同一标准的不同版本下操作时。

在步骤905中，在编码器处操作的HRD可以基于可伸缩嵌套式SEI消息对层执行一组码流符合性测试。例如，HRD可以读取可伸缩嵌套式SEI消息中的标志，以确定如何解释可伸缩嵌套式SEI消息中包括的伸缩嵌套的SEI消息。然后，HRD可以读取伸缩嵌套的SEI消息，以确定如何检查层是否符合标准。然后，HRD可以基于可伸缩嵌套式SEI消息中的伸缩嵌套的SEI消息和/或对应标志对层执行符合性测试。

在一些示例中，HRD可以使用nestingNumLayers变量和NestingLayerId[i]变量来确定伸缩嵌套的SEI消息与层之间的相关性。nestingNumLayers变量表示伸缩嵌套的SEI消息应用于的层的数量。NestingLayerId[i]变量表示伸缩嵌套的SEI消息应用于的层的nuh_layer_id值列表，其中，i在0到nestingNumLayers-1的范围内，包括端值。nestingNumLayers和NestingLayerId[i]可以由HRD基于码流的数据推导。然后，HRD可以视需要使用nestingNumLayers变量和NestingLayerId[i]变量来支持符合性测试。在一些示例中，nestingNumLayers和NestingLayerId[i]推导如下：

其中，scalable nesting all_layers_flag表示所述伸缩嵌套的SEI消息是否应用于所有层，vps_max_layers_minus1+1表示由VPS指定的层的数量，GeneralLayerIdx是表示nuh_layer_id等于vps_layer_id[i]的层的层索引的变量，vps_layer_id[i]表示第i层的nuh_layer_id值，scalable nesting num_layers_minus1+1表示所述伸缩嵌套的SEI消息应用于的层的数量。在一些示例中，scalable nesting num_layers_minus1被约束为保持在0到vps_max_layers_minus1-GeneralLayerIdx[nuh_layer_id]的范围内，包括端值，其中，nuh_layer_id是当前SEI NAL单元的nuh_layer_id。需要说明的是，本文描述为包括下划线的语法元素可以包括在码流中，同时可以推导没有空格的语法元素。

在步骤907中，编码器可以存储码流，以根据请求发送给解码器。编码器还可以视需要向编码器发送码流。

图10是从包括应用于层的可伸缩嵌套式SEI消息的码流(例如，码流700)中解码视频序列的示例性方法1000的流程图。解码器(例如，编解码系统200、解码器400和/或视频译码设备800)在执行方法100时可以使用方法1000。此外，可以对已由HRD(例如，HRD 500)进行符合性检查的多层视频序列600使用方法1000。

例如，在方法900结束之后，方法1000可以开始于：解码器开始接收表示多层视频序列的译码数据的码流。在步骤1001中，解码器接收包括一个或多个层的码流。层可以包括具有相同层Id的VCL NAL单元和相关联的非VCL NAL单元的集合。例如，层可以是包括编码图像的视频数据的VCL NAL单元的集合以及用于对这些图像进行解码的任何参数集。其中一个或多个层可以是输出层。不是输出层的层被解码以支持解码一个或多个输出层，但此类支持层不输出。

码流还包括一个或多个伸缩嵌套的SEI消息。SEI消息是一种语法结构，包括不用于解码的数据。例如，SEI消息可以包括支持符合性测试的数据，以确保码流符合标准。为了支持与多层码流结合使用时的简化指示，SEI消息在可伸缩嵌套式SEI消息中编码。可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息。指定的可伸缩嵌套式SEI消息可以包括在当前SEI NAL单元中，该当前SEI NAL单元是包括一个或多个SEI消息的非VCL NAL单元。伸缩嵌套的SEI消息可以各自应用于一个或多个OLS和/或一个或多个层。为了支持简化指示，可伸缩嵌套式SEI消息包括一个或多个可伸缩嵌套的层Id，所述一个或多个可伸缩嵌套的层Id表示伸缩嵌套的SEI消息应用于的层的层Id值，但当前SEI NAL单元的层Id值除外。此例外防止了当前SEI NAL单元的层Id的冗余指示，因为当前SEI NAL单元也包括对应的层Id。需要说明的是，即使当可伸缩嵌套式SEI消息包括应用于当前SEI NAL单元的层的至少一个伸缩嵌套的SEI消息时，可伸缩嵌套式SEI消息也省略了当前SEI NAL单元的层Id。

在一些示例中，当scalable nesting all_layers_flag等于0时，所述可伸缩嵌套的层Id是scalable nesting layer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示伸缩嵌套的SEI消息应用于的第i层的nuh_layer_id值。在一些示例中，scalable nesting layer_id[i]的每个值被约束为大于当前SEI NAL单元的nuh_layer_id值。

在一些示例中，解码器可以使用nestingNumLayers变量和NestingLayerId[i]变量来确定伸缩嵌套的SEI消息与层之间的相关性。nestingNumLayers变量表示伸缩嵌套的SEI消息应用于的层的数量。NestingLayerId[i]变量表示伸缩嵌套的SEI消息应用于的层的nuh_layer_id值列表，其中，i在0到nestingNumLayers-1的范围内，包括端值。nestingNumLayers和NestingLayerId[i]可以由解码器基于码流的数据推导。然后，解码器可以视需要使用nestingNumLayers变量和NestingLayerId[i]变量来支持解码和/或显示。在一些示例中，nestingNumLayers和NestingLayerId[i]推导如下：

其中，scalable nesting all_layers_flag表示所述伸缩嵌套的SEI消息是否应用于所有层，vps_max_layers_minus1+1表示由VPS指定的层的数量，GeneralLayerIdx是表示nuh_layer_id等于vps_layer_id[i]的层的层索引的变量，vps_layer_id[i]表示第i层的nuh_layer_id值，scalable nesting num_layers_minus1+1表示所述伸缩嵌套的SEI消息应用于的层的数量。在一些示例中，scalable nesting num_layers_minus1被约束为保持在0到vps_max_layers_minus1-GeneralLayerIdx[nuh_layer_id]的范围内，包括端值，其中，nuh_layer id是当前SEI NAL单元的nuh_layer_id。

在一个实施例中，视频解码器期望可伸缩嵌套式SEI消息省略如上所述基于VVC或一些其它标准的当前SEI NAL单元的层Id。但是，如果解码器确定此条件不成立，则解码器可以检测到错误、指示错误、请求重新发送修订后的码流(或其一部分)，或采取一些其它纠正措施以确保接收到符合的码流。

在步骤1003中，解码器可以对来自一个或多个层的编码图像进行解码，以产生解码图像。例如，可伸缩嵌套式SEI消息的存在可以表示码流已在编码器处由HRD检查，因此符合标准。因此，可伸缩嵌套式SEI消息的存在表示码流可以被解码。在步骤1005中，解码器可以转发解码图像，以作为解码视频序列的一部分显示。例如，解码的图像和/或视频序列可以在电子设备(例如，智能手机、平板电脑、笔记本电脑、个人计算机等)的显示器或屏幕上显示给用户。

图11是用于使用包括应用于层的可伸缩嵌套式SEI消息的码流对视频序列进行译码的示例性系统1100的示意图。系统1100可以由编码器和解码器实现，如编解码系统200、编码器300、解码器400和/或视频译码设备800。此外，系统1100可以使用HRD 500对多层视频序列600和/或码流700执行符合性测试。此外，当实现方法100、900和/或1000时，可以使用系统1100。

系统1100包括视频编码器1102。视频编码器1102包括编码模块1103，用于编码包括一个或多个层的码流。编码模块1103还用于将当前SEI NAL单元中的可伸缩嵌套式SEI消息编码到码流中，其中，可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层Id，所述可伸缩嵌套的层Id表示伸缩嵌套的SEI消息应用于的层的层Id值，当前SEI NAL单元的层Id值除外。视频编码器1102还包括HRD模块1105，用于基于伸缩嵌套的SEI消息对层执行一组码流符合性测试。视频编码器1102还包括存储模块1106，该存储模块1106用于存储码流，以发送给解码器。视频编码器1102还包括发送模块1107，该发送模块1107用于将码流发送给视频解码器1110。视频编码器1102还可以用于执行方法900的步骤中的任一步骤。

系统1100还包括视频解码器1110。视频解码器1110包括接收模块1111，该接收模块1111用于接收包括一个或多个层和当前SEI NAL单元中的可伸缩嵌套式SEI消息的码流，其中，所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层Id，所述可伸缩嵌套的层Id表示所述伸缩嵌套的SEI消息应用于的所述层的层Id值，所述当前SEI NAL单元的层Id值除外。视频解码器1110还包括解码模块1113，该解码模块1113用于对来自一个或多个层的编码图像进行解码，以产生解码图像。视频解码器1110还包括转发模块1115，该转发模块1115用于转发解码图像，以作为解码视频序列一部分显示。视频解码器1110还可以用于执行方法1000的步骤中的任一步骤。

当第一组件与第二组件之间除线、迹线或其它介质之外不存在中间组件时，第一组件与第二组件直接耦合。当第一组件与第二组件之间除线、迹线或其它介质之外还存在中间组件时，第一组件与第二组件间接耦合。术语“耦合”及其变型包括直接耦合和间接耦合。除非另有说明，否则使用术语“约”意指包括后续数字±10％的范围。

还应当理解，本文中阐述的示例性方法的步骤不一定需要按照所描述的顺序执行，并且这些方法的步骤的顺序应当理解为仅仅是示例性的。同样地，在与本发明各种实施例相一致的方法中，这些方法可以包括其它步骤，并且某些步骤可以省略或合并。

虽然本发明提供了若干个实施例，但应当理解，在不脱离本发明的精神或范围的情况下，所公开的系统和方法可以通过其它多种具体形式体现。本发明的示例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或组件可以在另一系统中组合或集成，或者某些特征可以省略或不实现。

此外，在各种实施例中描述和示出为分立的或单独的技术、系统、子系统和方法，在不背离本发明的范围的情况下，可以与其它系统、组件、技术或方法组合或集成。其它变更、替换、更改示例能够由本领域技术人员确定，并且可以在不脱离本文公开的精神和范围的情况下进行。

Claims (22)

1.一种在解码器中实现的方法，其特征在于，所述方法包括：

所述解码器接收包括一个或多个层和当前补充增强信息SEI网络抽象层NAL单元中的可伸缩嵌套式SEI消息的码流，其中，所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层标识符Id，当可伸缩嵌套的所有层标记scalablenesting all_layers_flag等于0时，所述可伸缩嵌套的层Id是scalable nesting layer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示所述伸缩嵌套的SEI消息应用于的第i层的NAL单元头层Id nuh_layer_id值，当前SEI NAL单元的层Id值除外；

所述解码器对来自所述一个或多个层的编码图像进行解码，以产生解码图像。

2.根据权利要求1所述的方法，其特征在于，当可伸缩嵌套的所有层标记scalablenesting all_layers_flag等于0时，所述可伸缩嵌套的层Id是scalable nesting layer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示所述伸缩嵌套的SEI消息应用于的第i层的NAL单元头层Id(nuh_layer_id)值。

3.根据权利要求1或2所述的方法，其特征在于，scalable nesting layer_id[i]的每个值大于所述当前SEI NAL单元的nuh_layer_id值。

4.根据权利要求1至3中任一项所述的方法，其特征在于，还包括推导嵌套层数量(nestingNumLayers)变量，所述nestingNumLayers变量表示所述伸缩嵌套的SEI消息应用于的层的数量。

5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括推导嵌套层Id列表(NestingLayerId[i])，所述NestingLayerId[i]表示所述伸缩嵌套的SEI消息应用于的所述层的nuh_layer_id值的列表，其中，i在0到nestingNumLayers–1的范围内，包括端值。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述nestingNumLayers和所述NestingLayerId[i]推导如下：

if(scalable nesting all_layers_flag){

nestingNumLayers＝vps_max_layers_minus1+1–GeneralLayerIdx[nuh_layer_id]

for(i＝0；i<nestingNumLayers；i++)

NestingLayerId[i]＝vps_layer_id[GeneralLayerIdx[nuh_layer_id]+i]

}else{

nestingNumLayers＝scalable nesting num_layers_minus1+1

for(i＝0；i<nestingNumLayers；i++)

NestingLayerId[i]＝(i＝＝0)？nuh_layer_id:scalable nesting layer_id[i]

}

其中，scalable nesting all_layers_flag表示所述伸缩嵌套的SEI消息是否应用于所有层，vps_max_layers_minus1+1表示由视频参数集(video parameter set，VPS)指定的层的数量，GeneralLayerIdx是表示nuh_layer_id等于vps_layer_id[i]的层的层索引的变量，vps_layer_id[i]表示第i层的nuh_layer_id值，scalable nesting num_layers_minus1+1表示所述伸缩嵌套的SEI消息应用于的层的数量。

7.根据权利要求1至6中任一项所述的方法，其特征在于，scalable nesting num_layers_minus1在0到vps_max_layers_minus1–GeneralLayerIdx[nuh_layer_id]的范围内，包括端值，其中，nuh_layer_id是所述当前SEI NAL单元的所述nuh_layer_id。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述编码图像是基于所述伸缩嵌套的SEI消息进行解码的。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述可伸缩嵌套式SEI消息包括应用于所述当前SEI NAL单元的层的至少一个伸缩嵌套的SEI消息。

10.一种在编码器中实现的方法，其特征在于，所述方法包括：

所述编码器将当前补充增强信息SEI网络抽象层NAL单元中的可伸缩嵌套式SEI消息编码到所述码流中，其中，所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层标识符Id，当可伸缩嵌套的所有层标记scalable nestingall_layers_flag等于0时，所述可伸缩嵌套的层Id是scalable nesting layer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示所述伸缩嵌套的SEI消息应用于的第i层的NAL单元头层Id nuh_layer_id值，当前SEI NAL单元的层Id值除外。

11.根据权利要求10所述的方法，其特征在于，当可伸缩嵌套的所有层标记scalablenesting all_layers_flag等于0时，所述可伸缩嵌套的层Id是scalable nesting layer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示所述伸缩嵌套的SEI消息应用于的第i层的NAL单元头层Id(nuh_layer_id)值。

12.根据权利要求10或11所述的方法，其特征在于，scalable nesting layer_id[i]的每个值大于所述当前SEI NAL单元的nuh_layer_id值。

13.根据权利要求10至12中任一项所述的方法，其特征在于，所述nestingNumLayers和所述NestingLayerId[i]推导如下：

if(scalable nesting all_layers_flag){

nestingNumLayers＝vps_max_layers_minus1+1–GeneralLayerIdx[nuh_layer_id]

for(i＝0；i<nestingNumLayers；i++)

NestingLayerId[i]＝vps_layer_id[GeneralLayerIdx[nuh_layer_id]+i]

}else{

nestingNumLayers＝scalable nesting num_layers_minus1+1

for(i＝0；i<nestingNumLayers；i++)

NestingLayerId[i]＝(i＝＝0)？nuh_layer_id:scalable nesting layer_id[i]

}

其中，scalable nesting all_layers_flag表示所述伸缩嵌套的SEI消息是否应用于所有层，vps_max_layers_minus1+1表示由视频参数集(video parameter set，VPS)指定的层的数量，GeneralLayerIdx是表示nuh_layer_id等于vps_layer_id[i]的层的层索引的变量，vps_layer_id[i]表示第i层的nuh_layer_id值，scalable nesting num_layers_minus1+1表示所述伸缩嵌套的SEI消息应用于的层的数量。

14.根据权利要求10至13中任一项所述的方法，其特征在于，scalable nesting num_layers_minus1在0到vps_max_layers_minus1–GeneralLayerIdx[nuh_layer_id]的范围内，包括端值，其中，nuh_layer_id是所述当前SEI NAL单元的所述nuh_layer_id。

15.根据权利要求10至14中任一项所述的方法，其特征在于，所述可伸缩嵌套式SEI消息包括应用于所述当前SEI NAL单元的层的至少一个伸缩嵌套的SEI消息。

16.一种视频译码设备，其特征在于，包括：

处理器、耦合到所述处理器的接收器、耦合到所述处理器的存储器和耦合到所述处理器的发送器，其中，所述处理器、所述接收器、所述存储器和所述发送器用于执行根据权利要求1至15中任一项所述的方法。

17.一种非瞬时性计算机可读介质，其特征在于，包括供视频译码设备使用的计算机程序产品；所述计算机程序产品包括存储在所述非瞬时性计算机可读介质中的计算机可执行指令；在处理器执行所述计算机可执行指令时，使所述视频译码设备执行根据权利要求1至15中任一项所述的方法。

18.一种解码器，其特征在于，包括：

接收模块，用于接收包括一个或多个层和当前补充增强信息SEI网络抽象层NAL单元中的可伸缩嵌套式SEI消息的码流，其中，所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层标识符Id，当可伸缩嵌套的所有层标记scalable nesting all_layers_flag等于0时，所述可伸缩嵌套的层Id是scalablenesting layer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示所述伸缩嵌套的SEI消息应用于的第i层的NAL单元头层Id nuh_layer_id值，当前SEI NAL单元的层Id值除外；

解码模块，用于对来自所述一个或多个层的编码图像进行解码，以产生解码图像。

19.根据权利要求18所述的解码器，其特征在于，所述解码器还用于执行根据权利要求1至9中任一项所述的方法。

20.一种编码器，其特征在于，包括：

编码模块，用于：

将当前补充增强信息SEI网络抽象层NAL单元中的可伸缩嵌套式SEI消息编码到所述码流中，其中，所述可伸缩嵌套式SEI消息包括一个或多个伸缩嵌套的SEI消息和一个或多个可伸缩嵌套的层标识符(identifier，Id)，当可伸缩嵌套的所有层标记scalable nestingall_layers_flag等于0时，所述可伸缩嵌套的层Id是scalable nesting layer_id[i]语法元素，所述scalable nesting layer_id[i]语法元素表示所述伸缩嵌套的SEI消息应用于的第i层的NAL单元头层Id nuh_layer_id值，当前SEI NAL单元的层Id值除外。

21.根据权利要求20所述的编码器，其特征在于，所述编码器还用于执行根据权利要求10至17中任一项所述的方法。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有由一个或多个处理器执行的如权利要求10至15中的任一项所述方法得到的视频码流。