CN118285105A - 用于多层编码和解码的alf aps - Google Patents

Abstract

多层视频编码方案中每层的受限语法范围会防止层间冲突。在一个实施方案中，自适应参数集中所定义的自适应环路滤波集在多个层中是不同的。在另一个实施方案中，还使用层标识来唯一地识别自适应参数集。在相关实施方案中，高级语法标志指示层是否独立于其他层。

Description

用于多层编码和解码的ALF APS

技术领域

本实施方案中的至少一个实施方案通常涉及一种用于视频编码或解码、压缩或解压缩的方法或装置。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用包括运动矢量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。通用视频编码(VVC)是用于视频序列的压缩的视频编码标准。

发明内容

本实施方案中的至少一个实施方案整体涉及一种用于视频编码或解码的方法或装置，并且更具体地涉及一种在多层编码中(如在VVC(通用视频编码或H.266)标准中)使用自适应环路滤波器(ALF)的自适应参数集(APS)的方法或装置。

根据第一方面，提供了一种方法。该方法包括以下步骤：将值范围分配给与包括视频数据的多个层相对应的语法元素；以及使用所述分配的值范围对多层视频数据进行编码。

根据第二方面，提供了一种方法。该方法包括以下步骤：确定与包括视频数据的多个层相对应的语法元素的值范围；以及使用所述确定的值范围对多层视频数据进行解码。

根据另一方面，提供了一种装置。该装置包括处理器。该处理器可以被配置为通过执行前述方法中的任一种来对视频块进行编码或对比特流进行解码。

根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收的信号限制为包括该视频块的频带；和(iii)显示器，该显示器被配置为显示表示视频块的输出。

根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一者生成的视频数据。

根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当由计算机执行程序时，该指令使计算机执行所描述的解码实施方案或变体中的任一者。

通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其他方面、特征和优点将变得显而易见。

附图说明

图1例示了多层VTM编码器的概述。

图2例示了对称滤波器(左)和滤波器旋转(右)。

图3例示了ALF和CC-ALF滤波器。

图4例示了总体ALF和CC-ALF过程。

图5例示了比特流的示例性结构。

图6例示了用于选择alf_aps_ids来用于当前图片亮度分量的示例性过程。

图7例示了多层比特流的示例性结构。

图8例示了以layer_id作为APS标识符的ALF参数的示例性解码过程。

图9例示了按照一般描述方面的方法的一个实施方案。

图10示出了按照一般描述方面的方法的另一个实施方案。

图11示出了按照所描述的方面的示例性装置。

图12示出了标准的通用视频压缩方案。

图13示出了标准的通用视频解压缩方案。

图14示出了按照一般描述方面的用于编码/解码的基于处理器的系统。

具体实施方式

此处描述的实施方案属于视频压缩领域，并且整体涉及视频压缩以及视频编码和解码，更具体地涉及使用自适应环路滤波器(ALF)自适应参数集(APS)来进行多层编码和解码。

为了实现高压缩效率，图像和视频编码方案通常采用包括运动矢量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

VVC支持多层编码、具有多层配置文件，以实现可扩展性用例、多视图用例或360°用例。与源相对应的每个层被单独编码或具有层间依赖性，然后比特流被合并为具有层信息的单个比特流。

图1示出了VTM(通用测试模型)的多层具体实施概述。为每个层创建单独的编码器实例。每个分层编码器对其源进行编码(例如在空间可扩展性用例中，每个源对应于不同分辨率的相同视频序列)。层间预测是可能的。对于每个图片，从最低层ID开始，按顺序启动分层编码器处理。编码器共享层无关变量(诸如APS ID)。对于每个图片，将输出比特流多路复用到公共比特流中，其中它们的对应层ID(标识号)信息是例如在NAL(网络抽象层)单元标头处发信号通知。

在VVC中，存在4个环内滤波器：亮度映射色度缩放(LMCS)、解块滤波器(DBF)、样本自适应偏移(SAO)和ALF(自适应环路滤波器)。环内ALF滤波器是线性滤波器，其目的是与原始图片相比减少失真。

ALF滤波器的系数“c_n”被确定为使得通过使用基于维纳的自适应滤波器技术来最小化原始样本“s(r)”与经滤波样本“t(r)”之间的均方误差。

其中：

r＝(x,y)是属于待经滤波区域“R”的样本位置。

原始样本：s(r)

待经滤波样本：t(r)

具有N个系数的FIR滤波器：c＝[c₀,…c_N-1]^T

滤波器抽头位置偏移：{p₀，p₁，…p_N-1}，其中p_n表示第n个滤波器抽头对r的样本位置偏移。在下文中，我们还将该组抽头位置称为滤波器“形状”。

经滤波样本：f(r)

为了求出s(r)与f(r)之间的最小误差平方和(SSE)，设SSE相对于c_n的导数等于零。然后，通过求解以下等式来获得系数值“c”(320,330)：

[Tc].c^T＝v^T (等式3)

其中：

在VVC(通用视频编码)中，经重建的亮度样本“t(r)”被分类(310)为K个类别(对于亮度样本，K＝25，对于色度样本，K＝1)，并且利用每个类别的样本来确定K个不同的滤波器。分类是用局部梯度导出的方向性和活动性值进行的。

在VVC中，可在比特流中对ALF的系数进行编码，使得其可动态地适应于视频内容。还存在一些默认系数。编码器选择并指示每个CTU(编码树单元)要使用哪个系数集合(340)。

在VVC中，使用对称滤波器，并且一些滤波器可以通过旋转从其它滤波器获得(图2)。

在VVC中，除了存储于APS中的估计滤波器之外，还存在具有硬编码系数的16个固定滤波器集合。

附加的交叉分量滤波器(CC-ALF)可校正色度样本(图3)。校正是作为位于同一位置的经重建亮度样本的线性组合进行的。在(等式2、等式3)中，s(r)的值为目标(原始)色度样本值，t(r)为亮度样本值，并且f(r)为色度校正。

图4中描绘了整个ALF(自适应环路滤波器)和CC-ALF(交叉分量ALF)编码器过程。基于经重建的图像，首先对亮度样本进行分类(310)，然后导出ALF滤波器系数(320)。还导出色度系数(330)。然后，针对每个CTU选择最佳系数集合(340)并将其应用于亮度和色度分量(350)。然后通过导出CC-ALF系数(360)、选择每个CTU的最佳系数集合(370)以及它们的应用(380)来运行CC-ALF。然后获得经滤波的图片。

对于给定图片，可将ALF系数编码在一个APS NAL单元中。存在以下约束：即使存在具有相同ID的多个APS(例如，在图片被划分为多个子图片的情况下)，针对同一图片具有给定ID的ALF APS的内容也必须相同。在CTU层级，可从先前APS或从一些默认值检索ALF系数。ALF过程以CTU为基础进行。ALF参数有三个方面：

·Alf_ph_param：在图片或切片标头中。包含指示是否针对每个分量激活ALF和CC-ALF的五个标志：sh_alf_enabled[i＝0,1,2]、sh_alf_cc_cb_enabled_flag、sh_alf_cc_cr_enabled_flag，以及APS标识：所使用的APS ID的数目、用于每个所使用的APS的APSID以及用于色度的类似信令。

·Alf_aps_param：在APS中：一些ALF和CC-ALF系数滤波器被编码：alf_data()

·Alf_ctu_param：对于每个CTU，在CTU标头(经编码图片)中，针对每个分量发信号通知：

如果ALF被启用：alf_ctb_flag[i＝0,1,2][ctu]。

并且如果是，则针对每个分量使用哪个滤波器索引：alf_luma_fixed_filter_idx(luma)、alf_ctb_filter_alt_idx[0,1][ctu]、alf_ctb_cc_cb_idc[ctu]、alf_ctb_cc_cr_idc[ctu]

在VVC中，Alf_ph_param和Alf_aps_param使用可变长度编码(VLC)编码，而Alf_ctu_param使用熵编码(CABAC)。

最低滤波器索引[0,15]是指固定滤波器，而较高索引[16,23]是指存储于APS中的估计滤波器。所使用的APS ID在切片标头中发信号通知。

为了选择最佳系数(340)，ALF过程可以在系数集合之间进行选择。每个系数集合被存储在APS中。如果APS可用，则可再使用针对先前编码的帧使用的系数。

如果满足以下条件，则ALF APS可用于特定图片：

-其尚未被重写。

-其与低于或等于正被编码的当前图片的时间层的时间层相关联。时间层取决于可以是分等级的GOP(图片组)结构。

-APS层ID小于或等于当前图片的层ID，并且APS层ID被正确地定义为参考层，即，由包含当前图片的层ID的VPS(视频参数集)指定的所有OLS(输出层集)也包含APS层ID。

图6示出了用于选择APS ID来用于编码器ALF过程的过程。如果不使用新的滤波器集合，则使用存储于先前APS中的先前定义的滤波器集合来生成ALF APS列表。不传输新的ALF APS，从而节省了比特，但是系数对于当前图片的优化程度可能较低。

否则，如果使用新ALF APS，则生成将存储ALF系数的新APS ID(编码器ALF过程将计算最佳系数以与当前图片一起使用)。对于ALS APS，ID在0至7的范围内，包括0和7。VTM编码器以alf_aps_id 7开始，并且每当需要新ID时递减1。如果该值为负，则再次将其设置为7，并且重写具有相同ID的先前APS。

然后，生成要使用的ALF APS列表。如果使用新的alf_aps_id，则alf_aps_id必须指代新的估计系数，因为存储于该APS中的先前系数将被重写。

如果针对亮度分量没有使用新系数集合，则在使用新色度滤波器集合的情况下，备用/空闲alf_aps_id仍必须可用于色度ALF编码器。

图7示出了多层比特流的示例。比特流被划分为NALU(网络抽象层单元)，每个NALU具有若干参数，诸如类型(APS、VLC、SPS等)和层。

子图片是VVC中允许将图片细分为若干矩形形状且仅解码子图片中的一些子图片的工具。该工具可以用于例如对360°视频内容进行编码，其中可以使用多个编码器将大图片并行地编码成若干子图片，可以根据解码器的需要对流进行部分多路复用，并且解码器仅对出现在向观看者示出的视口中的子图片进行解码。在该上下文中，因为对于给定图片，具有相同ID的APS必须具有相同内容，所以编码器需要彼此通信以使用适当的APS ID，使得它们使用具有给定APS ID的相同APS，或针对每个子图片使用不同APS ID。

在现有方法中，提出了若干解决方案来修改编码器以允许在该上下文下使用ALF。原初解决方案是以大量编码效率损失为代价来禁用ALF(即，固定ALF和ALF APS两者)。另一解决方案是保持启用预定义固定ALF，同时以丢弃ALF APS的参数自适应的益处为代价停用ALF APS使用。在编码效率方面更有效的解决方案是除了固定ALF之外还以受限方式启用ALFAPS滤波器，使得子比特流的任何聚集产生一致比特流，而无任何alf_aps_id标识符冲突。

在现有方法中，提出了将图片中允许的ALF APS的最大数目定义为编码器配置参数。所定义的配置参数可以采取{0,…,8}范围内的值。为了管理alf_aps_id标识符向在切换点处被多路复用到单个比特流中的子流的分配，定义了alf_aps_id标识符的偏移值。该分配以如下方式执行：使得将alf_aps_id标识符的唯一范围分配给每个子流。

该解决方案适用于使用被多路复用到单个比特流中的子图片的独立编码器。

当使用多个层进行编码时，针对所有层使用单个alf_aps_id空间。用于一个层的ALF编码器可以使用另一个层的编码器正在使用的alf_aps_ids，所述另一个层编码器不能将相关联的ALF系数再用于下一个图片并且ALF的性能降低。在一个层的图片可被分割成若干子图片的情况下，该事件更加复杂。

一般描述方面涉及如何在VVC(通用视频编解码器)编码器中定义和使用限定ALF(自适应环路滤波)的滤波器的APS(自适应参数集)。特别地，在多层上下文中提出了编码器的改进。提出了针对每层定义和使用受限的alf_aps_id空间，使得不会发生层间冲突。

另一个实施方案(规范性)在于添加layer_id以唯一地识别APS。

每层alf_aps_id空间约束

该解决方案在于根据层将待限制的alf_aps_ids约束为特定值。对于每个层，定义alf_aps_ids的范围。如果范围不重叠，则在编码器ALF过程中不发生冲突。每层alf_aps_id范围可重叠，但是这将产生冲突。

该解决方案指的是图6中描绘的生成新alf_aps_id的过程。对于每个层，如图1所示那样实例化编码器。当前alf_aps_id变量不再在编码器之间进行共享。每个编码器用alf_aps_id_start和alf_aps_id_end参数来实例化。

如果使用新的ALF APS，则可如下生成将存储ALF系数的新APS ID：ID现在在alf_aps_id_start至alf_aps_id_end的范围内，包括alf_aps_id_start和alf_aps_id_end。编码器以等于alf_aps_id_end的alf_aps_id开始，并且每当需要新ID时递减1。如果该值低于alf_aps_id_start，则再次将其设置为alf_aps_id_end。如果alf_aps_id_start高于alf_aps_id_end，则不能定义alf_aps_id，仅使用固定滤波器。

alf_aps_id_start和alf_aps_id_end可以被自动地并且最优地定义如下：

alf_aps_id_start＝int((i*ALF_CTB_MAX_NUM_APS)/nb_layersalf_aps_id_end＝int(((f+1)*ALF_CTB_MAX_NUM_APS)/nb_layers

其中ALF_CTB_MAX_NUM_APS＝8定义总的可用alf_aps_id范围，nb_layers是要编码的层的总数，i是要编码的层索引，对于第一层(可缩放上下文中的基本层)从0开始，并且int()是向下舍入到最接近整数的整数部分运算符。

在变型中，alf_aps_id_start和alf_aps_id_end可被手动定义为输入配置参数。

使用layer_id来唯一地识别ALF APS

提出了使用对(layer_id,alf_aps_id)来作为多层配置文件的ALF APS的标识符。alf_aps_id不足以唯一地识别APS。因此，如果具有相同alf_aps_id的两个或更多个ALFAPS具有不同layer_id，则它们可共存。

如在以上解决方案中，当前alf_aps_id变量不再在编码器之间进行共享，但每个编码器实例具有其自己的值，如当前在VVC中那样，范围从0至ALF_CTB_MAX_NUM_APS＝8。

改变一些ALF参数以实施改变：Alf_ph_param和Alf_aps_param不变，Alf_ctu_param改变。

高级语法

该实施方案要么总是被启用，要么仅当配置文件是多层配置文件时才启用。在图8中描绘的变型中，例如，在VPS(视频参数集)或SPS(序列参数集)中，高级语法标志layer_dependent_aps_flag指示是否实施该实施方案。如果比特流是单层序列，则layer_dependent_aps_flag应当被推断为假。表1中给出了VPS中所添加的标志的示例。该标志可仅在扩展标志被启用(vps_extension_flag)的情况下使用，以仅在大于版本1的VVC版本(例如VVC v2)中使用。vps_extension_flag可例如在VVC v2中被启用。还可在SPS处发信号通知扩展标志。在这种情况下，layer_dependent_aps_flag将在SPS中发信号通知，并且针对每个层重复。layer_dependent_aps_flag也可在SPS或PPS中发信号通知，但由扩展标志(例如，vps_extension_flag或sps_extension_flag)门控。

该高级语法标志还可用于其它类型的APS，诸如LMCS APS或缩放矩阵APS。

表1.高级语法自适应

图片或切片级语法

添加标识符，该标识符指定ALF APS的layer_id，以识别待使用的ALF滤波器集合。这能够以在更高级别(例如VPS或PPS)定义的range_extension标志的值为条件，使得其仅可用于例如VVC的未来版本。Alf_ph_param对于每个切片如下发信号通知，在图片或切片标头(经编码图片)中，如果如表2中所示那样启用ALF，则按分量发信号通知：

·sh_alf_enabled_flag。

·sh_alf_enabled_flag为接通

о哪些APS从以下项导出滤波器系数：alf_aps_id_luma[i]、alf_aps_id_chroma、alf_cc_cb_aps_id alf_cc_cr_aps_id，

о如果当前图片层不是独立的，哪个layer_id定义APS：alf_aps_luma_layer_idx[i]、alf_aps_chroma_layer_idx、alf_cc_cb_aps_chroma_layer_idx、alf_cc_cr_aps_chroma_layer_idx

о如果layer_dependent_aps_flag为假，则alf_aps_luma_layer_idx[i]、alf_aps_chroma_layer_idx、alf_cc_cb_aps_chroma_layer_idx、alf_cc_cr_aps_chroma_layer_idx被推断为等于APS的layer_id。

о否则，(层是独立的)alf_aps_luma_layer_idx[i]、alf_aps_chroma_layer_idx、alf_cc_cb_aps_chroma_layer_idx、alf_cc_cr_aps_chroma_layer_idx被推断为等于当前图片的层ID。

表2.图片或切片语法自适应

在另一个实施方案中，上文所描述的ALF滤波器描述数据可在不同层级处发信号通知。例如，为了有更大的灵活性，可按CTU或独立于CTU的给定大小的块来发信号通知。

图9中示出了按照本文所述的一般方面的方法900的一个实施方案。该方法在开始框901处开始，并且控制进行到框910，以将值范围分配给与包括视频数据的多个层相对应的语法元素。从框910控制进行到框920，以使用所述分配的值范围对多层视频数据进行编码。

图10中示出了按照本文所述的一般方面的方法1000的一个实施方案。该方法在开始框1001处开始，并且控制进行到框1010，以确定与包括视频数据的多个层相对应的语法元素的值范围。从框1010控制进行到框1020，以使用所述确定的值范围对多层视频数据进行解码。

图11示出了用于在多层视频系统中使用每层的受限语法值范围来编码、解码、压缩或解压缩视频数据以防止层间冲突的装置1100的一个实施方案。该装置包括处理器1110并且可通过至少一个端口互连到存储器1120。处理器1110和存储器1120两者还可具有与外部连接的一个或多个附加的互连件。

处理器1110还被配置为在比特流中插入或接收信息，并且使用所述方面中的任一方面来进行压缩、编码或解码。

本文所述的实施方案包括各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出各个特性，通常以可能听起来具有限制性的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。

本申请中描述和设想的方面可以许多不同的形式实现。图12、图13和图14提供了一些实施方案，但是设想了其他实施方案，并且图12、图13和图14的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及传输生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不必然，术语“重建”在编码器侧使用，而“解码”在解码器侧使用。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。

本专利申请中所述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，帧内预测、熵编码和/或解码模块(160,360,145,330))，如图12和图13所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。

图12示出了编码器100。设想了该编码器100的变型，但是为了清楚起见，下文描述了编码器100而没有描述所有预期的变型。

在经过编码之前，视频序列可经过预编码处理(101)，例如，将颜色变换应用于输入的彩色图片(例如，从RGB 4:4:4转换到YCbCr 4:2:0)，或执行输入图片分量的重新映射，以便获取更能弹性应对压缩的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附接到比特流。

在编码器100中，图片由如下文所述的编码器元件进行编码。要被编码的图片在例如CU的单元中进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(160)。以帧间模式执行运动估计(175)和补偿(170)。编码器决定(105)要使用帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如预测模式标志来指示帧内/帧间决策。预测残差例如通过从原始图像块中减去(110)预测的块进行计算。

然后，对预测残差进行变换(125)和量化(130)。对经量化的变换系数以及运动矢量和其它语法元素进行熵编码(145)以输出比特流。编码器可以跳过变换，并将量化直接应用于未变换的残差信号。编码器可以绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

编码器对编码块进行解码，以提供进一步预测的参考。对经量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。通过将经解码的预测残差和预测块进行组合(155)来重建图像块。将环内滤波器(165)应用于重建的图片以执行例如，解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。经滤波的图像被存储在参考图片缓冲器(180)处。

图13示出了视频解码器200的框图。在解码器200中，比特流由如下文所述的解码器元件进行解码。视频解码器200通常执行与如图12所述的编码道次互逆的解码道次。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可以由视频编码器100生成。首先，对比特流进行熵解码(230)以获得变换系数、运动矢量和其它编码信息。图片分区信息指示如何对图片进行分区。因此，解码器可以根据解码图片分区信息来划分(235)图片。对变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。通过将经解码的预测残差和预测块进行组合(255)来重建图像块。预测的块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于经重建的图像。经滤波的图像存储在参考图片缓冲器(280)处。

经解码的图片还可经过解码后处理(285)，例如，逆颜色变换(例如，从YcbCr 4:2:0到RGB 4:4:4的变换)或执行在预编码过程(101)中执行的重新映射的逆过程的逆重新映射。解码后处理可以使用在预编码处理中导出并在比特流中发信号通知的元数据。

图14示出了在其中实现各个方面和实施方案的系统的示例的框图。系统1000可具体体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立的部件中。例如，在至少一个实施方案中，系统1000的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统1000经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其它系统或其它电子设备。在各种实施方案中，系统1000被配置为实现本文档中所述的方面中的一个或多个方面。

系统1000包括至少一个处理器1010，该至少一个处理器被配置为执行加载在其中的指令以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口以及如本领域所已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的一个或多个模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外地，编码器/解码器模块1030可实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域的技术人员已知的硬件和软件的组合。

待加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可存储在存储设备1040中，并且随后被加载到存储器1020上以供处理器1010执行。根据各种实施方案，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述的过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施方案中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其它实施方案中，处理设备(例如，处理设备可以是处理器1010或编码器/解码器模块1030)外部的存储器用于这些功能中的一个或多个功能。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。

可通过如框1130中所指示的各种输入设备来提供对系统1000的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图14中未示出的其他示例包括复合视频。

在各种实施方案中，框1130的输入设备具有如本领域中已知的相关联的相应输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上面所描述的(和其它)元件的顺序，移除这些元件中的一些元件，和/或添加执行相似或不同功能的其它元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。

另外地，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统1000连接到其它电子设备的相应的接口处理器。应当理解，输入处理的各个方面(例如，Reed-Solomon错误校正)可在必要时例如在独立的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各个方面可以根据需要在单独的接口IC内或在处理器1010内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010和编码器/解码器1030，它们与存储器和存储元件结合操作以根据需要处理数据流以供在输出设备上呈现。

系统1000的各种元件可设置在集成外壳内，在该集成外壳内，各种元件可使用合适的连接布置(例如，如本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在其间发射数据。

系统1000包括通信接口1050，该通信接口使得能够经由通信信道1060与其它设备通信。通信接口1050可包括但不限于收发器，该收发器被配置为通过通信信道1060发射和接收数据。通信接口1050可包括但不限于调制解调器或网卡，并且通信信道1060可例如在有线和/或无线介质内实现。

在各种实施方案中，使用诸如Wi-Fi网络(例如IEEE 802.11(IEEE是指电气和电子工程师协会))的无线网络来将数据流式发射或以其它方式提供给系统1000。这些实施方案的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050接收。这些实施方案的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对外部网络(包括互联网)的访问，以允许流式传输应用和其它越过运营商的通信。其它实施方案使用机顶盒向系统1000提供流式传输的数据，该机顶盒通过输入框1130的HDMI连接来递送数据。还有其它实施方案使用输入框1130的RF连接向系统1000提供流式传输的数据。如上所述，各种实施方案以非流式传输方式提供数据。另外地，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统1000可向各种输出设备(包括显示器1100、扬声器1110和其它外围设备1120)提供输出信号。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器1100可用于电视机、平板电脑、笔记本电脑、蜂窝电话(移动电话)或另外的设备。显示器1100还可以与其它部件集成(例如，如在智能电话中)，或者是独立的(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其它外围设备1120包括独立数字视频光盘(或数字多功能光盘)(DVR，用于这两个术语)、光盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备1120，该一个或多个外围设备基于系统1000的输出来提供功能。例如，光盘播放器执行播放系统1000的输出的功能。

在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或允许带有或不带有用户干预的设备到设备控制的其它通信协议，在系统1000与显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。可通过相应的接口1070、1080和1090经由专用连接将输出设备通信地耦接到系统1000。另选地，可经由通信接口1050使用通信信道1060将输出设备连接到系统1000。在电子设备(诸如例如电视机)中，显示器1100和扬声器1110可与系统1000的其它部件集成在单个单元中。在各种实施方案中，显示器接口1070包括显示驱动器，诸如例如定时控制器(T Con)芯片。

例如，如果输入1130的RF部分是独立机顶盒的一部分，则显示器1100和扬声器1110可另选地相对于其它部件中的一个或多个部件而独立。在其中显示器1100和扬声器1110为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。

这些实施方案可以由通过处理器1010实现的计算机软件，或由硬件，或由硬件与软件的组合进行。作为非限制性示例，这些实施方案可以由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适合的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可以涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。

各种具体实施涉及解码。如本申请中所用，“解码”可包括例如对所接收的编码序列执行以产生适于显示的最终输出的过程的全部或部分。在各种实施方案中，此类过程包括典型地由解码器执行的一个或多个过程，例如，熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的解码器执行的过程。

作为进一步的示例，在一个实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又另一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施涉及编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以产生编码比特流的过程的全部或部分。在各种实施方案中，此类过程包括典型地由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的编码器执行的过程。

作为进一步的示例，在一个实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

各种实施方案可以指参数模型或速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。可以通过速率失真优化(RDO)度量或通过最小均方(LMS)、绝对误差平均值(MAE)或其他此类测量值来测量。速率失真优化通常表述为使速率失真函数最小化，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其它形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如通常是指处理设备的处理器中实现，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如，计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及有利于最终用户之间信息的通信的其他设备。

对“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”的引用以及它们的其它变型，意味着结合实施方案所描述的特定的特征、结构、特性等被包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其它变型不一定都是指相同的实施方案。

另外地，本申请可以涉及“确定”各种信息片段。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外地，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器向多个变换、编码模式或标志中的特定一者发信号通知。这样，在一个实施方案中，在编码器侧和解码器侧均使用相同的变换、参数或模式。因此，例如，编码器可将特定参数传输(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他参数，则可在不传输(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“发信号通知”的动词形式，但是词语“信号”在本文也可用作名词。

对于本领域的普通技术人员而言将显而易见的是，具体实施可以产生格式化为携带例如可存储或可传输的信息的各种信号。信息可以包括例如用于执行方法的指令或由所描述的具体实施中的一个具体实施产生的数据。例如，信号可以可格式化为携带所描述的实施方案的比特流。这样的信号可以可格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流编码，并且用经编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。

我们描述了多个实施方案，跨各种权利要求类别和类型。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一者或多者，单独地或以任何组合，跨各种权利要求类别和类型：

·多层视频编码方案中每层的受限语法范围。

·自适应参数集中所定义的自适应环路滤波集在多个层中是不同的。

·层标识，该层标识用于唯一地识别自适应参数集。

·高级语法标志，该高级语法标志指示自适应参数集是否由它们的层识别。

·比特流或信号，包括传递根据所述实施方案中任一个实施方案生成的信息的语法。

·根据所述实施方案中任一个实施方案所述的创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一个实施方案所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·在信令中插入语法元素，该语法元素使得解码器能够以与编码器所使用的方式相对应的方式确定解码信息。

·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。

·根据所描述的实施方案中的任一实施方案执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所描述的实施方案中的任一实施方案执行变换方法确定并显示所得图像(例如，使用监视器、屏幕或其他类型的显示器)的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所描述的实施方案中的任一实施方案选择、频带限制或调谐(例如，使用调谐器)信道以接收包括编码图像的信号并执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·通过空中接收(例如，使用天线)包括编码图像的信号并且执行变换方法的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims (15)

1.一种方法，所述方法包括：

将值范围分配给与包括视频数据的多个层相对应的语法元素；以及

使用所述分配的值范围对所述多层视频数据进行编码。

2.一种装置，所述装置包括：

处理器，所述处理器被配置为执行：

将值范围分配给与包括视频数据的多个层相对应的语法元素；以及

使用所述分配的值范围对所述多层视频数据进行编码。

3.一种方法，所述方法包括：

确定与包括视频数据的多个层相对应的语法元素的值范围；以及

使用所述确定的值范围对所述多层视频数据进行解码。

4.一种装置，所述装置包括：

处理器，所述处理器被配置为执行：

确定与包括视频数据的多个层相对应的语法元素的值范围；以及

使用所述确定的值范围对所述多层视频数据进行解码。

5.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中层标识与所述语法元素一起使用以识别用于层的自适应环路滤波自适应参数集。

6.根据权利要求1或3或5所述的方法，或者根据权利要求2或4或5所述的装置，其中所述语法元素范围针对所添加的每一层递减。

7.根据权利要求1或3或5所述的方法，或者根据权利要求2或4或5所述的装置，其中所述值范围被定义为输入参数。

8.根据权利要求1或3或5所述的方法，或者根据权利要求2或4或5所述的装置，其中高级语法标志指示自适应参数集是否由它们的层识别。

9.根据权利要求8所述的方法或装置，其中所述高级语法标志位于“视频参数集”或“序列参数集”中。

10.根据权利要求1或3或5所述的方法，或者根据权利要求2或4或5所述的装置，其中所述语法元素是alf_aps_ids。

11.根据权利要求1或3或5所述的方法，或者根据权利要求2或4或5所述的装置，其中使用标识符来识别所使用的“自适应环路滤波器”集合。

12.一种设备，所述设备包括：

根据权利要求1所述的装置；和

以下项中的至少一者：(i)天线，所述天线被配置为接收信号，所述信号包括视频块；(ii)频带限制器，所述频带限制器被配置为将所接收的信号限制为包括所述视频块的频带；和(iii)显示器，所述显示器被配置为显示表示视频块的输出。

13.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含根据权利要求1中的任一项所述的方法或者由根据权利要求2所述的装置生成的用于使用处理器回放的数据内容。

14.一种信号，所述信号包括根据权利要求1所述的方法或者由根据权利要求2所述的装置生成的用于使用处理器回放的视频数据。

15.一种计算机程序产品，所述计算机程序产品包括指令，当程序由计算机执行时，所述指令使得所述计算机执行根据权利要求1所述的方法。