CN116438795A

CN116438795A - 使用元数据的压缩视频的环路内滤波和后滤波的空间分辨率适配

Info

Publication number: CN116438795A
Application number: CN202180074419.XA
Authority: CN
Inventors: E·弗朗索瓦; C·沙马雷; E·赖因哈德
Original assignee: Interactive Digital Vc Holdings France Ltd
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2020-10-06
Filing date: 2021-09-29
Publication date: 2023-07-14
Also published as: MX2023004120A; US20230379482A1; EP4226610A1; WO2022073811A1; JP2023544711A

Abstract

一种用于视频解码图片的方法，该方法包括：以第一空间分辨率重构(701)图片；以及，获得(702)与所述图片相关联的元数据，该元数据表示指定允许以不同于第一分辨率的第二空间分辨率对所述重构图片的至少一部分应用至少一次环路内滤波和/或至少一次后滤波的信息。

Description

使用元数据的压缩视频的环路内滤波和后滤波的空间分辨率适配

1.技术领域

本发明实施方案中的至少一个实施方案整体涉及一种用于控制在视频编码和解码应用中执行环路内滤波和环路外后滤波所使用的分辨率的方法和装置。

2.背景技术

为了实现高压缩效率，视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。在编码期间，将视频内容的图像划分为样本块(即像素)，然后将这些块分区为一个或多个子块，在下文称为原始子块。然后对每个子块应用帧内或帧间预测以利用帧内或帧间图像相关性。无论使用何种预测方法(帧内或帧间)，都针对每个原始子块确定预测值子块。然后，对表示原始子块与预测值子块之间的差的子块(通常表示为预测误差子块、预测残差子块或简单地表示为残差块)进行变换、量化和熵编码，以生成编码视频流。为了重构视频，通过对应于变换、量化和熵编码的逆过程来解码压缩数据。

上一代视频压缩标准，例如MPEG-4/AVC(ISO/CEI 14496-10)、HEVC(ISO/IEC23008-2-MPEG-H Part 2，高效视频编码/ITU-T H.265)或由ITU-T和ISO/IEC专家组成的联合协作团队(称为联合视频专家团队(JVET))正在开发的名为通用视频编码(VVC)的国际标准均包含环路内滤波工具，并且通过经适配的元数据的定义来支持后滤波的使用。环路内滤波工具包括解块滤波(DBF)、样本自适应偏移(SAO)和自适应环路滤波器(ALF)。例如，ALF参数由VVC中的自适应参数集(APS)传送。补充增强信息(SEI)消息用于传送一些后滤波参数。在这些元数据容器中通过发信号通知其参数的滤波器通常被设计为以特定空间分辨率应用。然而，它们实际应用的空间分辨率不一定是它们所设计的空间分辨率。例如，在流传输应用中对内容进行下采样以适应网络约束的情况下，解码视频的分辨率会降低，可能不是分辨率适应过程之前的原始视频的分辨率，或者目标的显示渲染分辨率。

一种称为参考图片重采样(RPR)的工具允许动态更改编码图片的分辨率。图片以其实际编码/解码分辨率存储在解码图片缓冲区(通常称为解码图片缓冲区(DPB))中，该实际编码/解码分辨率可能低于比特流的高级语法(HLS)中发信号通知的视频空间分辨率。当以给定分辨率编码的图片使用不处于相同分辨率的参考图片用于时间或层间预测时，应用纹理的参考图片重采样，使得预测图片和参考图片具有相同分辨率。需注意，根据具体实施，重采样过程不一定应用于整个参考图片(整个参考图片重采样)，而是可以仅应用于当执行当前图片的解码和重构时被识别为参考块的块(基于块的参考图片重采样)。在这种情况下，在当前图片中的当前块使用具有与当前图片不同的分辨率的参考图片时，根据计算为当前图片分辨率和参考图片分辨率之间的比率的重采样比率，对参考图片中用于当前块的时间预测的样本进行重采样。在本文档下文中，用于描述本发明的具体实施对应于整个参考图片重采样的解决方案，但是本发明可以自然地扩展到基于块的参考图片重采样的解决方案。

在一些具体实施中，RPR和运动补偿的步骤被组合在一个单样本插值步骤中。

图1表示RPR工具的应用。在图1中，图片4由对图片3进行时间预测得出。图片3由对图片2进行时间预测得出。图片2由对图片1进行时间预测得出。由于图片4和图片3具有不同的分辨率，因此图片3被上采样到图片4的分辨率。图片3和图片2具有相同的分辨率。不对图片2应用上采样或下采样以进行时间预测。图片1大于图片2。对图片1应用下采样以对图片2进行时间预测。在任何情况下，以相同分辨率对所有图片进行上采样或下采样以供显示。

在使用RPR的情况下，这种设计的问题在于环路内滤波和后滤波可能以与显示或渲染分辨率不同或与用于时间预测的分辨率不同的不适当的分辨率来应用。这可能导致潜在的质量损失。例如，当图片被上采样以用于时间预测和/或显示时，所述图像已经以初始分辨率被环路内滤波和后滤波，然后被上采样。对环路内滤波或后滤波图片应用上采样会减少由环路内滤波和后滤波带来的益处。实际上，上采样对对象边缘具有模糊效应，而例如，SAO边缘偏移试图增强已经受量化影响的边缘。如果在上采样之后应用SAO边缘偏移，则边缘将被更好地保留。对于后滤波可以说明类似的问题，该后滤波包括将噪声添加到表示图片胶片颗粒的解码图片，以便例如掩蔽编码伪像。胶片颗粒通常基于具有相关参数的噪声模型。如果针对降低的分辨率计算参数，则在解码分辨率下添加到解码图片的合成胶片颗粒的伪像掩蔽益处可能不如针对显示或渲染分辨率导出和添加的那样好。

希望提出允许克服上述问题的解决方案。尤其是希望更好地定义应当在何种分辨率下应用环路内滤波和后滤波。

3.发明内容

在第一方面，本发明实施方案中的一个或多个实施方案提供了一种用于视频编码图片的方法，该方法包括：

以第一空间分辨率重构图片；以及，

将元数据与所述图片进行关联，该元数据表示指定允许以不同于第一分辨率的第二空间分辨率对该重构图片的至少一部分应用至少一次环路内滤波和/或至少一次后滤波的信息。

在第二方面，本发明实施方案中的一个或多个实施方案提供了一种用于视频解码图片的方法，该方法包括：

以第一空间分辨率重构图片；以及，

获得与所述图片相关联的元数据，该元数据表示指定允许以不同于第一分辨率的第二空间分辨率对所述重构图片的至少一部分应用至少一次环路内滤波和/或至少一次后滤波的信息。

在第三方面，本发明实施方案中的一个或多个实施方案提供了一种用于视频编码图片的设备，该设备包括电子电路，该电子电路适于：

以第一空间分辨率重构图片；以及，

在第四方面，本发明实施方案中的一个或多个实施方案提供了一种用于视频解码图片的设备，该设备包括电子电路，该电子电路适于：

以第一空间分辨率重构图片；以及，

在第五方面，本发明实施方案中的一个或多个实施方案提供了一种装置，该装置包括根据第三方面和第四方面所述的设备。

在第六方面，本发明实施方案中的一个或多个实施方案提供了一种信号，该信号包括根据第一方面所述的方法、由根据第三方面所述的设备或由根据第五方面所述的装置生成的数据。

在第七方面，本发明实施方案中的一个或多个实施方案提供了一种计算机程序，包括用于实现根据第一方面所述的方法或用于实现根据第二方面所述的方法的程序代码指令。

在第八方面，本发明实施方案中的一个或多个实施方案提供了一种信息存储介质，存储用于实现根据第一方面所述的方法或用于实现根据第二方面所述的方法的程序代码指令。

在一个实施方案中，元数据指定至少一个空间分辨率，推荐以该空间分辨率对所述重构图片应用至少一次环路内滤波和/或至少一次后滤波。

在一个实施方案中，元数据指定至少一个空间分辨率范围，推荐以该空间分辨率范围对所述重构图片应用至少一次环路内滤波和/或至少一次后滤波。

在一个实施方案中，当元数据指定多个空间分辨率或多个空间分辨率范围时，元数据还指定与每个空间分辨率或每个分辨率范围相对应的环路内滤波器和/或后滤波器。

在一个实施方案中，元数据还针对每个指定的空间分辨率或空间分辨率范围指定表示以所述指定的空间分辨率或空间分辨率范围应用环路内滤波或后滤波的质量影响和/或复杂度影响和/或能量影响的信息。

4.附图说明

图1表示参考图片重采样工具的应用；

图2示意性地示出了原始视频的像素图片所经历的分区的示例；

图3示意性地描绘了用于对视频流进行编码的方法；

图4示意性地描绘了用于对编码视频流进行解码的方法；

图5A示意性地示出了其中实现实施方案的视频流系统的示例；

图5B示意性地示出了能够实现编码模块或解码模块的处理模块的硬件架构的示例，其中实现了各个方面和实施方案；

图5C示出了在其中实现各个方面和实施方案的第一系统的示例的框图；

图5D示出了在其中实现各个方面和实施方案的第二系统的示例的框图；

图6示意性地示出了用于在解码器侧适配环路内滤波和后滤波的空间分辨率的方法的示例；并且，

图7示意性地表示了在编码器侧使用包含在SEI消息中的信息来控制解码和/或显示过程的方法。

图8示意性地示出了图6中的方法的细节。

图9示意性地示出了图7中的方法的细节。

5.具体实施方式

在类似于VVC的视频格式的上下文中描述实施方案的以下示例。然而，这些实施方案不限于对应于VVC的视频编码/解码方法。这些实施方案特别适用于允许生成包括具有不同分辨率的图片的视频流的任何视频格式，并且其中图片的重构分辨率可以不同于其显示分辨率或用于时间预测的分辨率。这样的格式包括例如标准HEVC、AVC、EVC(基本视频编码/MPEG-5)、AV1和VP9。

图2、图3和图4介绍了视频格式的示例。

图2示出了原始视频20的像素图片21所经历的分区的示例。在此认为像素由三个分量组成：一个亮度分量和两个色度分量。然而，其它类型的像素可能包括更少或更多分量(例如，仅亮度分量或额外的深度分量)。

将图片划分为多个编码实体。首先，如图2中的参考标号23所表示，将图片划分为称为编码树单元(CTU)的块的网格。CTU由N×N个亮度样本块以及两个对应的色度样本块组成。N通常是二的幂，例如最大值为“128”。其次，将图片划分为一个或多个CTU组。例如，可将该图片划分为一个或多个图块行和图块列，图块是覆盖图片的矩形区域的CTU序列。在一些情况下，可将图块划分为一个或多个砖块，每个砖块由图块内的至少一个CTU行组成。在图块和砖块的概念之上，存在另一编码实体，称为切片，其可包含图片的至少一个图块或图块的至少一个砖块。

在图2的示例中，如参考标号22所表示，将图片21划分为光栅扫描切片模式的三个切片S1、S2和S3，每个切片包括多个图块(未示出)，每个图块仅包括一个砖块。

如图1中的参考标号24所表示，CTU可分区为称为编码单元(CU)的一个或多个子块的分层树的形式。CTU是分层树的根(即，父节点)，并且可分区为多个CU(即，子节点)。如果每个CU未进一步分区为较小CU，则每个CU成为分层树的叶；或者如果每个CU进一步分区为较小CU(即，子节点)，则每个CU成为较小CU的父节点。

在图1的示例中，首先，使用四叉树类型分区将CTU 14分区为“4”个正方形CU。左上角的CU是分层树的叶，因为其未进一步分区，即其并非任何其他CU的父节点。再次使用四叉树类型分区将右上角的CU进一步分区为“4”个较小正方形CU。使用二叉树类型分区将右下角的CU竖直地分区为“2”个矩形CU。使用三叉树类型分区将左下角的CU竖直地分区为“3”个矩形CU。

在图片编码期间，分区是自适应的，每个CTU均被分区以便优化CTU准则的压缩效率。

HEVC中出现了预测单元(PU)和变换单元(TU)的概念。实际上，在HEVC中，用于预测的编码实体(即PU)和用于变换的编码实体(即TU)可以是CU的子划分。例如，如图1所表示，大小为2N×2N的CU可划分为大小为N×2N或大小为2N×N的PU 2411。另外，所述CU可划分为大小为N×N的“4”个TU 2412或大小为(N/2)×(N/2)的“16”个TU。

可以注意到，在VVC中，除某些特殊情况外，TU和PU的边界在CU的边界上对准。因此，CU一般包括一个TU和一个PU。

在本申请中，术语“块”或“图片块”可用于指CTU、CU、PU和TU中的任一者。另外，术语“块”或“图片块”可用于指H.264/AVC或其他视频编码标准中所指定的宏块、分区和子块，并且更一般地指众多大小的样本的阵列。

在本申请中，术语“重构”和“解码”可互换使用，术语“像素”和“样本”可互换使用，术语“图像”、“图片”、“子图片”、“切片”和“帧”可互换使用。通常，但不必然，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。

图3示意性地描绘了由编码模块执行的用于对视频流进行编码的方法。设想了该用于编码的方法的变型，但是为了清楚起见，以下描述了图3的用于编码的方法，而未描述所有预期变型。

在编码之前，原始视频序列的当前原始图像可经过预处理。例如，在步骤301中，对当前原始图片应用颜色变换(例如，从RGB 4:4:4到YCbCr4:2:0的转换)，或者对当前原始图片分量应用重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。另外，预处理301可以包括重采样(下采样或上采样)。可将重采样应用于一些图片，使得所产生的比特流可包括原始分辨率的图片和其他分辨率的图片。重采样通常包括下采样，并且用于降低所生成的比特流的比特率。然而，上采样也是可能的。通过预处理获得的图片在下文中被称为预处理图片。

预处理图片的编码在步骤302期间以预处理图片的分区开始，如关于图1所描述的。因此，预处理图片分区为CTU、CU、PU、TU等。对于每个块，编码模块确定在帧内预测与帧间预测之间的编码模式。

帧内预测包括在步骤303期间根据帧内预测方法从预测块预测当前块的像素，该预测块从位于要编码的当前块的因果关系附近的重构块的像素导出。帧内预测的结果是指示使用附近块的哪些像素的预测方向，以及通过计算当前块与预测块之间的差而得到的残差块。

帧间预测包括从当前图片(该图片被称为参考图片)之前或之后的图片的像素块(称为参考块)预测当前块的像素。在根据帧间预测方法对当前块进行编码期间，由运动估计步骤304根据相似度准则确定参考图片的最接近当前块的块。在步骤304期间，确定指示参考图片中的参考块的位置的运动矢量。所述运动矢量在运动补偿步骤305期间使用，在该运动补偿步骤期间以当前块与参考块之间的差的形式计算残差块。在第一视频压缩标准中，上述单向帧间预测模式是唯一可用的帧间模式。随着视频压缩标准的演进，帧间模式族已显著增长并且现在包括许多不同的帧间模式。

在选择步骤306期间，由编码模块在所测试的预测模式(帧内预测模式、帧间预测模式)中根据速率/失真优化准则(即，RDO准则)选择优化压缩性能的预测模式。

当选择预测模式时，在步骤307期间变换残差块，并且在步骤309期间量化残差块。需注意，编码模块可跳过变换，并对未变换的残差信号直接应用量化。当根据帧内预测模式对当前块进行编码时，在步骤310期间，由熵编码器对预测方向以及变换和量化的残差块进行编码。当根据帧间预测对当前块进行编码时，在适当时根据从与位于待编码块附近的重构块相对应的运动矢量的集合中选择的预测矢量来预测块的运动矢量。接下来，在步骤310期间，由熵编码器以运动残差和用于识别预测矢量的索引的形式对运动信息进行编码。在步骤310期间，由熵编码器对所变换和量化的残差块进行编码。需注意，编码模块可绕过变换和量化，即，对残差应用熵编码，而不应用变换或量化过程。熵编码的结果插入到编码视频流311中。

诸如SEI(补充增强信息)消息的元数据可以被附加到编码视频流311。例如在诸如AVC、HEVC或VVC的标准中定义的SEI(补充增强信息)消息是与视频流相关联并且包括提供与视频流相关的信息的元数据的数据容器。

一些SEI消息被定义为传输后滤波信息。表TAB1中描绘了这种SEI消息的示例。

表TAB1

所述SEI消息允许定义用于后滤波图片的滤波器。

在其他示例中，在文件JVET-R0190(2020年4月15日至24日，Han Boon Teo、HaiWei Sun、Chong Soon Lim、ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG-11的联合视频专家组(JVET)第18次会议：通过电话会议，基于ALF分类的后滤波提示)中，提议将ALF从环路内滤波工具组中移动到后滤波工具。因此，提出描述ALF参数的称为adaptive_loop_filter_control的SEI消息，并在表TAB2中表示：

表TAB2

如上面已经提到的，当联合使用后滤波和RPR或者后滤波和下采样/上采样作为预处理时的一个问题是：没有指示执行后滤波应该或应当使用的分辨率。

类似地，在VVC和其它编解码器中定义胶片颗粒SEI。其目的在于重新合成解码图片中的噪声，例如接近原始图片中存在的噪声，该噪声可能已经通过预编码处理步骤去除。胶片颗粒SEI不包含关于胶片颗粒合成应该或应当使用的分辨率的信息。

在量化步骤309之后，重构当前块，使得对应于该块的像素可用于将来预测。该重构阶段也称为预测环路。因此，在步骤312期间将逆量化应用于所变换和量化的残差块，并且在步骤313期间应用逆变换。根据用于在步骤314期间获得的块的预测模式，重构块的预测块。如果根据帧间预测模式对当前块进行编码，则编码模块在适当时在步骤316期间应用使用当前块的运动矢量的运动补偿，以便识别当前块的参考块。如果根据帧内预测模式对当前块进行编码，则在步骤315期间，使用与当前块相对应的预测方向来重构当前块的参考块。将参考块和重构的残差块相加，以便获得重构的当前块。

在重构后，在步骤317期间，将旨在减少编码伪像的环路内滤波应用于重构块。该滤波称为环路内滤波，因为该滤波发生在预测环路中，以在解码器处获得与编码器相同的参考图像，从而避免编码过程与解码过程之间的漂移。如先前所提及，环路内滤波工具包含解块滤波、SAO及ALF。

解块滤波的目的是衰减由于块之间的量化差异而导致的块边界处的不连续性。它是自适应滤波，其可以被激活或停用，并且当其被激活时，其可以采取基于具有包括六个滤波器系数的维度的可分离滤波器的高复杂性解块滤波的形式，其在下文中被称为强解块滤波器(SDBF)，以及基于具有包括四个系数的维度的可分离滤波器的低复杂性解块滤波的形式，其在下文中被称为弱解块滤波器(WDBF)。SDBF极大地衰减了块边界处的不连续性，这可能损坏原始图片中存在的空间高频。WDBF微弱地衰减块边界处的不连续性，这使得有可能保留存在于原始图片中的高空间频率，但是这对于由量化人工创建的不连续性将不太有效。滤波或不滤波的决定以及在滤波事件中使用的滤波器的形式尤其取决于要滤波的块的边界处的像素的值。然而，该决定没有考虑重构图片的潜在重采样。可能想知道为什么在块边界上应用SDBF，如果该滤波器之后接着在解码器侧上进行上采样，其进一步衰减空间高频。

在熵编码步骤310期间，在编码视频流311中引入表示解块滤波器的参数。

SAO滤波采用具有两个不同目标的两种形式。被称为边缘偏移的第一形式的目的是补偿量化对块中的边缘的影响。通过边缘偏移的SAO滤波包括根据对应于四种相应类型的边缘的四个类别对重构图像的像素进行分类。通过根据四个滤波器进行滤波来完成像素的分类，每个滤波器使得可以获得滤波梯度。使分类准则最大化的滤波梯度指示对应于像素的边缘的类型。每一类型的边缘都与在SAO滤波期间添加到像素的偏移值相关联。再次，如果在该滤波器之后接着在解码器侧上进行上采样(其影响增强的边缘)，则可能想知道在图像上应用SAO边缘偏移是否明智。

SAO的第二种形式被称为频带偏移，其目的是补偿属于值的特定范围(即频带)的像素的量化效应。在频带偏移滤波中，像素的所有可能值(对于8位视频流最常见地位于“0”与“255”之间)划分为三十二个频带(每个频带包含八个值)。在这三十二个频带中，选择四个连续的频带进行偏移。当像素具有位于待偏移的四个值频带中的一个值频带中的值时，将偏移值与像素的值相加。

使用SAO滤波的决定以及当使用SAO滤波时，SAO滤波的形式和偏移值通过在编码过程期间借助于速率/失真优化针对每个CTU确定。

表示SAO的激活或去激活以及当被激活时表示SAO的特性的参数在熵编码步骤310期间在切片和块级别被引入编码视频流311中。

ALF的目的是通过使用基于维纳的自适应滤波器来最小化原始样本与经解码样本之间的均方误差(需注意，ALF可用于其它目的，但通常由编码器调谐以最小化均方误差)。ALF位于每一图片的最后处理级处，且可被视为捕捉并修复来自先前级的假象的工具。ALF过程在于为图像的每个4x4块从“25”个滤波器中选择一个滤波器。为此，基于局部梯度的方向和活动性将每个块分类为“25”个类别中的一个类别。每个滤波器源自菱形滤波器。在自适应参数集(APS)中发信号通知ALF滤波器参数。在一个APS中，可用信号通知多达“25”组的亮度滤波器系数和裁剪值索引，以及多达八组的色度滤波器系数和裁剪值索引。为了减少比特开销，可合并亮度分量的不同分类的滤波器系数。在切片标头中，用信号通知用于当前切片的APS的索引。

在切片标头中，可用信号通知多达“7”个APS索引以指定用于当前切片的亮度滤波器组。可以在块级别处进一步控制滤波处理。可以始终发信号通知标记以指示是否可以将ALF应用到亮度块。亮度块可在“16”个固定滤波器组中选择滤波器组且该滤波器组来自APS。针对亮度块用信号通知滤波器组索引以指示应用哪一滤波器组。“16”个固定滤波器组在编码器和解码器两者中被预定义和硬编码。

对于色度分量，在切片标头中用信号通知APS索引以指示用于当前切片的色度滤波器组。在块层级处，如果在APS中存在一个以上色度滤波器组，那么针对每一色度块发信号通知滤波器索引。

再次，如果伪像随后被重采样级引入，则可能想知道为什么应用ALF来减少伪像。

当重构块时，在步骤318期间将块插入到存储在DPB对应的重构图像的存储器319中的重构图片中。然后，这样存储的重构图像可用作待编码的其他图像的参考图像。

当RPR被激活时，来自存储在DPB中的图片(即，至少一部分)的样本在用于运动估计和补偿时在步骤320中被重新采样。在一些具体实施中，重采样步骤(320)和运动补偿步骤(304)可以组合在一个单样本插值步骤中。需注意，实际上使用运动补偿的运动估计步骤(304)在这种情况下也将使用单样本插值步骤。如上面已经提到的，当联合使用环路内/后滤波和RPR时的一个问题是，没有指示执行环路内滤波/后滤波应该或应当使用的分辨率。然而，通常，以重构的分辨率执行环路内滤波，这可能妨碍获得由环路内滤波提供的全部改进。

图4示意性地描绘了由解码模块执行的用于对根据关于图3描述的方法编码的编码视频流311进行解码的方法。设想了该用于解码的方法的变型，但是为了清楚起见，以下描述了图4的用于解码的方法，而未描述所有预期变型。

解码是逐块进行的。对于当前块，其在步骤410期间以当前块的熵解码开始。熵解码允许获得块的预测模式。

如果已根据帧间预测模式对块进行了编码，则熵解码允许在适当时获得预测矢量索引、运动残差和残差块。在步骤408期间，使用预测矢量索引和运动残差来重构当前块的运动矢量。

如果已根据帧内预测模式对块进行了编码，则熵解码允许获得预测方向和残差块。由解码模块实现的步骤412、413、414、415、416和417分别在所有方面都与由编码模块实现的步骤412、413、414、415、416和417相同。在步骤418中，将解码块保存在解码图片中并将解码图片存储在DPB 419中。当解码模块对给定图片进行解码时，存储在DPB 419中的图片与由编码模块在所述给定图像的编码期间存储在DPB 319中的图片相同。也可由解码模块输出解码的图片，以例如进行显示。当RPR被激活时，用作参考图片的图片的样本(即至少一部分)在步骤420中被重采样到预测图片的分辨率，其问题与编码器侧的步骤320中相同。在一些具体实施中，重采样步骤(420)和运动补偿步骤(416)可以组合在一个单样本插值步骤中。

在步骤421中，解码图像可以进一步经过后处理。后处理可以包括逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)、执行在步骤301的预处理中执行的重新映射过程的逆的逆映射、用于基于例如在SEI消息中提供的滤波器参数来改善重构的图片的后滤波和/或例如用于将输出图像调整到显示约束的重采样。此重采样是衰减由环路内滤波和后滤波提供的改进的另一种情况。

图5A描述了其中可以实现以下实施方案的上下文的示例。

在图4A中，可以是相机、存储设备、计算机、服务器或能够递送视频流的任何设备的装置51使用通信信道52将视频流传输到系统53。视频流或者由装置51编码和传输，或者由装置51接收和/或存储，然后传输。通信信道52是有线(例如，互联网或以太网)或无线(例如WiFi、3G、4G或5G)网络链路。

例如可以是机顶盒的系统53接收并解码视频流以生成解码图片序列。

然后，使用可以是有线或无线网络的通信信道54将所获得的解码图片序列传输到显示系统55。显示系统55然后显示所述图片。

在一个实施方案中，系统53被包括在显示系统55中。在这种情况下，系统53和显示器55被包括在TV、计算机、平板计算机、智能电话、头戴式显示器等中。

图5B示意性地示出根据不同方面和实施方案修改的能够实现编码模块或解码模块的处理模块500的硬件架构的示例，该编码模块或解码模块能够分别实现图3的用于编码的方法和图4的用于解码的方法。当装置51负责对视频流进行编码时，编码模块例如被包括在该装置中。解码模块例如被包括在系统53中。作为非限制性示例，处理模块500包括由通信总线5005连接的以下项：包含一个或多个微处理器的处理器或CPU(中央处理单元)5000、通用计算机、专用计算机和基于多核心架构的处理器；随机存取存储器(RAM)5001；只读存储器(ROM)5002；存储单元5003，该存储单元可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器，或者存储介质读取器，诸如SD(安全数字)卡读取器和/或硬盘驱动器(HDD)和/或网络可访问存储设备；至少一个通信接口5004，该至少一个通信接口用于与其他模块、设备或装备交换数据。通信接口5004可包括但不限于被配置为通过通信信道传输和接收数据的收发器。通信接口5004可包括但不限于调制解调器或网卡。

如果处理模块500实现解码模块，则通信接口5004使得例如处理模块500能够接收编码视频流并提供解码图片序列。如果处理模块500实现编码模块，则通信接口5004使得例如处理模块500能够接收要编码的原始图片数据序列并提供编码视频流。

处理器5000能够执行从ROM 5002、外部存储器(未示出)、存储介质或通信网络加载到RAM 5001中的指令。当处理模块500上电时，处理器5000能够从RAM 5001读取指令并执行这些指令。这些指令形成计算机程序，该计算机程序使得例如由处理器5000实现关于图4描述的解码方法或关于图3描述的编码方法，该解码和编码方法包括以下在本文档中描述的各个方面和实施方案。

该编码或解码方法的全部或部分算法和步骤可通过由诸如DSP(数字信号处理器)或微控制器的可编程机器执行一组指令而以软件形式实现，或者可通过诸如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的机器或专用部件而以硬件形式实现。

图5D示出了其中实现各个方面和实施方案的系统53的示例的框图。系统53可体现为包括以下描述的各种部件的设备，并且被配置为执行本文档描述的一个或多个方面和实施方案。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和头戴式显示器。系统53的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统53包括实现解码模块的一个处理模块500。在各种实施方案中，系统53经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统53被配置为实现本文档中所述的一个或多个方面。

对处理模块500的输入可通过如框531中所示的各种输入模块提供。此类输入模块包括但不限于：(i)射频(RF)模块，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入模块(或一组COMP输入模块)；(iii)通用串行总线(USB)输入模块；和/或(iv)高清晰度多媒体接口(HDMI)输入模块。图5D中未示出的其他示例包括复合视频。

在各种实施方案中，框531的输入模块具有如本领域中已知的相关联的相应输入处理元件。例如，RF模块可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF模块包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF模块及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF模块包括天线。

另外，USB和/或HDMI模块可包括用于跨USB和/或HDMI连接将系统53连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各种方面可根据需要例如在独立的输入处理IC内或在处理模块500内实现。类似地，USB或HDMI接口处理的各方面可根据需要在独立的接口IC内或在处理模块500内实现。解调、纠错和解复用的流被提供给处理模块500。

系统53的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在这些元件之间传输数据。例如，在系统53中，处理模块500通过总线5005与所述系统53的其他元件互连。

处理模块500的通信接口5004允许系统53在通信信道52上通信。如上面已经提到的，通信信道52可以例如在有线介质和/或无线介质内实现。

在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式传输或以其他方式提供给系统53。这些实施方案中的Wi-Fi信号通过适于Wi-Fi通信的通信信道52和通信接口5004进行接收。这些实施方案的通信信道52通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流传输应用程序和其他越过运营商的通信。其他实施方案使用输入框531的RF连接向系统53提供流传输数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统53可向各种输出设备(包括显示系统55、扬声器56和其他外围设备57)提供输出信号。各种实施方案的显示系统55包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器55可用于电视机、平板计算机、膝上型计算机、蜂窝电话(移动电话)、头戴式显示器或其他设备。显示系统55还可与其他部件集成(例如，如在智能电话中)，或可为独立的(例如，膝上型计算机的外部监视器)。在实施方案的各种示例中，其他外围设备57包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用基于系统53的输出提供功能的一个或多个外围设备57。例如，碟片播放器执行播放系统53的输出的功能。

在各种实施方案中，控制信号使用诸如AV.Link、消费电子产品控制(CEC)或其他通信协议的信令在系统53与显示系统55、扬声器56或其他外围设备57之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口532、533和534经由专用连接通信地耦接到系统53。可替换地，输出设备可使用通信信道52经由通信接口5004连接到系统53，或者使用图5A中该通信信道54对应的专用通信信道经由通信接口5004连接到该系统。显示系统55和扬声器56可与电子设备(诸如例如电视机)中的系统53的其他部件集成在单个单元中。在各种实施方案中，显示器接口532包括显示驱动器，诸如例如定时控制器(T Con)芯片。

显示系统55和扬声器56可替换地与其他部件中的一个或多个部件分离。在显示系统55和扬声器56为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)提供输出信号。

图5C示出了其中实现各个方面和实施方案的系统51的示例的框图。系统51与系统53非常类似。系统51可体现为包括以下描述的各种部件的设备，并且被配置为执行本文档描述的一个或多个方面和实施方案。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、相机和服务器。系统51的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统51包括实现编码模块的一个处理模块500。在各种实施方案中，系统51经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统51被配置为实现本文档中所述的一个或多个方面。

对处理模块500的输入可通过如关于图5D已经描述的框531中所示的各种输入模块来提供。

系统51的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在这些元件之间传输数据。例如，在系统51中，处理模块500通过总线5005与所述系统51的其他元件互连。

处理模块500的通信接口5004允许系统500在通信信道52上通信。

在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式传输或以其他方式提供给系统51。这些实施方案中的Wi-Fi信号通过适于Wi-Fi通信的通信信道52和通信接口5004进行接收。这些实施方案的通信信道52通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流传输应用程序和其他越过运营商的通信。其他实施方案使用输入框531的RF连接向系统51提供流传输数据。

如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

提供给系统51的数据可以不同的格式来提供。在各种实施方案中，这些数据被编码并符合已知的视频压缩格式，例如AV1、VP9、VVC、HEVC、AVC等。在各种实施方案中，这些数据是由连接到系统51或包括在系统51中的图片和/或音频获取模块提供的原始数据。在这种情况下，处理模块负责这些数据的编码。

系统51可以向能够存储和/或解码输出信号的各种输出设备(诸如系统53)提供输出信号。

各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码视频流执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和预测。在各种实施方案中，此类过程还包括或者另选地包括由本申请中描述的各种具体实施的解码器执行的过程，例如用于确定在何种分辨率下应用环路内滤波或后滤波。

作为进一步的示例，在一个实施方案中，“解码”仅指步骤417的环路内滤波和/或步骤421的后处理。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码视频流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、预测、变换、量化和熵编码。在各种实施方案中，此类过程还包括或者另选地包括由本申请中所描述的各种具体实施的编码器执行的过程，例如用于提供允许解码器确定以何种分辨率执行环路内滤波或后滤波的信息。

作为进一步的示例，在一个实施方案中，“编码”是指量化(209)和/或变换(207)和/或环路内滤波(步骤217)。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

需注意，本文所使用的语法元素名称是描述性术语。因此，它们不排除使用其他语法元素名称。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息、从存储器检索信息或例如从另一设备、模块或从用户获得信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”、“A和B中的一者或多者”的情况下，使用以下“/”、“和/或”以及“至少一种”、“一者或多者”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”、“A、B和C中的一者或多者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器发信号通知一些编码工具的使用。这样，在一个实施方案中，在编码器侧和解码器侧两者均可使用相同的参数。因此，例如，编码器可将特定参数传输(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不传输(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的编码视频流和SEI消息。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对编码视频流进行编码以及使用编码视频流调制载波。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路传输。信号可存储在处理器可读介质上。

图6示意性地示出了用于在编码器侧适配环路内滤波和后滤波的空间分辨率的方法的示例。

当处理模块500被嵌入在系统51中时，图6描述的方法由该处理模块执行。

在步骤601中，处理模块500应用步骤301至310和步骤312至316来将当前图片编码为编码视频流311的一部分，并且在步骤317获得所述当前图片的重构版本，称为重构的当前图片。以第一空间分辨率重构该重构的当前图片。在与运动补偿联合实现的RPR的情况下，步骤316可以被认为是在一个单样本插值步骤中实现的联合重采样和运动补偿。

在步骤602中，处理模块500将以下被称为滤波分辨率元数据的元数据关联到当前图片，该元数据表示指定允许以与第一空间分辨率不同的第二空间分辨率对所述重构的当前图片的至少一部分应用至少一个环路内滤波和/或至少一个后滤波的信息。

如上所示，滤波分辨率元数据涉及环路内滤波、后滤波或两者。当滤波分辨率元数据涉及环路内滤波时，在编码器侧出现一个特殊情况。实际上，在这种情况下，为了确保编码和解码过程之间的对称性，编码器必须应用与解码器相同的环路内滤波。因此，当考虑环路内滤波时，应用环路内滤波的空间分辨率取决于滤波分辨率元数据的值。如果滤波分辨率元数据指示允许以第二分辨率应用至少一次环路内滤波，则图6的方法包括附加步骤603，在该步骤期间，处理模块500以至少一个第二空间分辨率应用环路内滤波。该步骤可以在重采样步骤之后和运动补偿步骤之前应用，或者在分别应用的重采样和运动补偿步骤之后应用，或者在组合重采样和运动补偿步骤的单样本插值步骤之后应用。参照图3，该单样本插值步骤因此将刚好在步骤305之后且在步骤308之前应用。

在步骤602的第一实施方案中，将信息插入环路内或后滤波器元数据中以指示可在不同于第一空间分辨率的至少一个第二空间分辨率下执行滤波过程，但不指定任何第二空间分辨率。

例如，在步骤602的第一实施方案的第一变型中，基于表TAB1中所描绘的SEI消息，如表TAB3中所描绘的那样插入语法元素filter_hint_decoded_resolution_recommended_flag。

表TAB3

filter_hint_decoded_resolution_recommended_flag等于“1”指示在SEI消息中指定的后滤波器被推荐应用于宽度等于pic_width_in_luma_samples且高度等于pic_height_in_luma_samples的未经重采样的经解码图片。pic_width_in_luma_samples指定如HEVC中所定义的以亮度样本为单位的经解码图片的宽度。pic_height_in_luma_samples指定如HEVC中所定义的以亮度样本为单位的经解码图片的高度。

filter_hint_decoded_resolution_recommended_flag等于“0”指示不特别推荐将后滤波器应用于未经重采样的经解码图片，且可应用于经重采样到具有不同于pic_width_in_luma_samples的宽度和/或不同于pic_height_in_luma_samples的高度的图片的经解码图片的版本。

在步骤602的第一实施方案的第二变型中，所述信息被包括在现有语法元素filter_hint_type中。Filter_hint_type，如HEVC识别所传送的滤波提示的类型。例如，可如表TAB4中所示扩展filter_hint_type值(当前在HEVC中定义为从“0”到“2”)。

表TAB4

新值以粗体表示。已添加指定是否推荐将后滤波应用于未经重采样的经解码图片的左列。

在步骤602的第一实施方案的第三变型中，所述信息被包括在文档JVET-R0190中提出的SEI消息adaptive_loop_filter_control中。如表TAB5中所描绘，插入新语法元素alf_filter_decoded_resolution_recommended_flag：

表TAB5

alf_filter_decoded_resolution_recommended_flag等于“1”指示在SEI消息中指定的ALF滤波器被推荐应用于宽度等于pic_width_in_luma_samples且高度等于pic_height_in_luma_samples的未经重采样的经解码图片。

alf_filter_decoded_resolution_recommended_flag等于“0”指示不特别推荐将ALF滤波器应用于未经重采样的经解码图片，且可应用于经重采样到具有不同于pic_width_in_luma_samples的宽度和/或不同于pic_height_in_luma_samples的高度的图片的经解码图片的版本。

在步骤602的第一实施方案的第四变型中，所述信息被包括在AVC和HEVC中指定的SEI消息film_grain_characteristics中。如表TAB6中所描绘，插入新语法元素film_grain_decoded_resolution_recommended_flag：

表TAB6

film_grain_decoded_resolution_recommended_flag等于“1”指示在SEI消息中指定的胶片颗粒被推荐应用于宽度等于pic_width_in_luma_samples且高度等于pic_height_in_luma_samples的未经重采样的经解码图片。

film_grain_decoded_resolution_recommended_flag等于“0”指示不特别推荐将胶片颗粒应用于未经重采样的经解码图片，且可应用于经重采样到具有不同于pic_width_in_luma_samples的宽度和/或不同于pic_height_in_luma_samples的高度的图片的经解码图片的版本。

在步骤602的第一实施方案的第五变型中，所述信息被包括在序列报头中，在AVC、HEVC和VVC术语中被称为序列参数集(SPS)。在SPS中插入新的语法元素sps_decoded_resolution_recommended_for_ilf_flag。可替换地，当APS是环路内滤波器参数的容器时，可以在APS中添加该信息。

sps_decoded_resolution_recommended_for_ilf_flag等于“1”指示推荐将环路内滤波器应用于宽度等于pic_width_in_luma_samples且高度等于pic_height_in_luma_samples的未经重采样的经解码图片。

sps_decoded_resolution_recommended_for_ilf_flag等于“0”指示不特别推荐将环路内滤波器应用于未经重采样的经解码图片，且可应用于经重采样到具有不同于pic_width_in_luma_samples的宽度和/或不同于pic_height_in_luma_samples的高度的图片的经解码图片的版本。

类似语法元素也可经界定以分别针对每一环路内滤波器。例如，在SPS中插入新的语法元素sps_decoded_resolution_recommended_for_DBF_flag(分别为sps_decoded_resolution_recommended_for_SAO_flag和sps_decoded_resolution_recommended_for_ALF_flag)。

sps_decoded_resolution_recommended_for_DBF_flag(分别为sps_decoded_resolution_recommended_for_SAO_flag和sps_decoded_resolution_recommended_for_ALF_flag)等于“1”指示解块滤波器(分别为SAO和ALF)被推荐应用于宽度等于pic_width_in_luma_samples并且高度等于pic_height_in_luma_samples的未经重采样的经解码图片。

sps_decoded_resolution_recommended_for_DBF_flag(分别为sps_decoded_resolution_recommended_for_SAO_flag和sps_decoded_resolution_recommended_for_ALF_flag)等于“0”指示不特别推荐将解块滤波器(分别为SAO和ALF)应用于未经重采样的经解码图片，且可应用于经重采样到具有不同于pic_width_in_luma_samples的宽度和/或不同于pic_height_in_luma_samples的高度的图片的解码图片的版本。

因此，在不同于第一分辨率的第二分辨率下的环路内滤波可被允许用于一个环路滤波器但被禁止用于另一个环路滤波器。

基于这些语法元素中的至少一者的值( sps_decoded_resolution_recommended_for_ilf_flag 、sps_decoded_resolution_recommended_for_DBF_flag 、sps_decoded_resolution_recommended_for_SOA_flag 或sps_decoded_resolution_recommended_for_ALF_flag)，如下简称为recommended_decoded_resolution_for_ilf，在步骤603期间，处理模块500决定以何种分辨率执行环路内滤波。

图8示意性地示出了步骤603的实施方案的示例。

在此示例中，经重构的当前图片为环路内滤波之前的当前图片的经重构版本。因此，在步骤316/315和步骤317之间执行步骤603。

在步骤6031中，处理模块500检查语法元素recommended_decoded_resolution_for_ilf的值。

如果语法元素recommended_decoded_resolution_for_ilf等于true，则处理模块500执行步骤6034，在该步骤期间以第一空间分辨率对重构的当前图片应用环路内滤波。然后将环路内滤波重构的当前图片存储在DPB中。

在步骤6035中，当环路内滤波重构的当前图片被用作时间预测的参考图片时，处理模块500将目标分辨率下的重采样应用于环路内滤波重构的当前图片。目标分辨率对应于从存储在DPB 319中的环路内滤波重构的当前图片时间预测的图片的空间分辨率。仅当目标分辨率不同于环路内滤波重构的当前图片的空间分辨率时，才应用步骤6035。可以在整个图片上实现重采样，或者仅对当前图片的块的运动补偿所需的采样使用这些采样作为参考来实现重采样。在一些具体实施中，在一个单样本插值步骤中联合应用重采样和运动补偿。

如果recommended_decoded_resolution_for_ilf等于false，则在步骤6032中，处理模块500确定以哪个或哪些空间分辨率应用环路内滤波。

在步骤6033期间，对于不同于第一分辨率的每个确定的空间分辨率，处理模块500以所述空间分辨率对重构的当前图片进行重采样，以获得经重采样的重构的当前图片。所确定的空间分辨率包括不同于第一空间分辨率的至少一个第二空间分辨率。

在步骤6034中，至少对于每个确定的第二空间分辨率，处理模块将环路内滤波应用于对应于所述第二空间分辨率的图片。然后，将每个环路内滤波图片存储在DPB中。

在步骤6035期间，当在步骤6034期间生成的环路内滤波图片中的一个图片被用作时间预测的参考图片时，处理模块500将目标分辨率下的重采样应用于所述环路内滤波重构的当前图片的采样。再次，仅当目标分辨率不同于环路内滤波重构的当前图片的空间分辨率时，才应用步骤6035。可以在整个图片上实现重采样，或者仅对当前图片的块的运动补偿所需的采样使用这些采样作为参考来实现重采样。在一些具体实施中，在一个单样本插值步骤中联合应用重采样和运动补偿。

在一些具体实施中，不必在DPB中存储用作时间预测的参考图片的每个环路内滤波图片，并且可以在重采样步骤之后、或者在运动补偿步骤之后、或者当将重采样和运动补偿联合实现为一个单样本插值步骤时在单样本插值步骤之后动态地应用环路滤波器。

从上面可以看出，当recommended_decoded_resolution_for_ilf等于false时，即，当允许以不同于第一空间分辨率的第二空间分辨率应用环路内滤波器时，处理模块500可针对同一当前图片产生若干环路内滤波重构图片。每个经环路内滤波的重构的当前图片与它自己的环路滤波器参数(解块滤波器参数、SAO参数、ALF参数)相关联。因此，编码视频流311包括几组环路内滤波器参数，使得解码器可以在其自己的DPB中重构完全相同的图片。可替换地，代替以不同分辨率存储多个图片，可以存储以解码分辨率的单个图片，并且当存储在DPB中的图片被用作参考图片时，可以动态应用以各种分辨率的重采样和环路内滤波器。在重采样和运动补偿被组合在一个单样本插值步骤中的具体实施中，优选地在一个单样本插值步骤之后应用环路内滤波。

在一实例中，语法元素recommended_decoded_resolution_for_ilf对应于语法元素sps_decoded_resolution_recommended_for_ilf_flag。sps_decoded_resolution_recommended_for_ilf_flag在视频序列用第一分辨率的图片和第二分辨率的图片编码并且RPR被启用时被设置为“0”。

在这种情况下，步骤6031之后进入步骤6032。

在步骤6032期间，假设处理模块500在对当前图片进行编码时不知道该当前图片是否将被另一图片用作参考图片，并且如果是，则使用当前图片作为参考图片的图片的分辨率将是什么，当前图片可以潜在地以第一或第二空间分辨率用作参考图片。因此，处理模块500确定其需要以第二分辨率但也以第一分辨率对重构的当前图片应用环路内滤波器。为此，在步骤6033中以第二空间分辨率重采样重构的当前图片。在一些具体实施中，该步骤可以与运动补偿步骤组合成单样本插值步骤。在步骤6034中，以第一分辨率对重构的当前图片以及以第二分辨率对经重采样的重构的当前图片应用环路内滤波。在DPB 319中存储用于当前图片的两个图片，一个对应于第一空间分辨率下的经环路内滤波的重构的当前图片，且第二个对应于第二空间分辨率下的经环路内滤波的重构的当前图片。可替换地，代替以第一和第二空间分辨率存储多个图片，可以存储以第一空间分辨率的单个图片，并且当存储在DPB中的图片被用作具有等于第二空间分辨率的分辨率的当前图片的参考图片时，可以动态地应用以第二空间分辨率的重采样和环路内滤波器。在重采样和运动补偿被组合在一个单样本插值步骤中的具体实施中，优选地在一个单样本插值步骤之后应用第二空间分辨率的环路内滤波。然后获得两组环路内滤波参数，并在当前图片的编码视频流中发信号通知。当第一空间分辨率下的下一图片使用当前图片作为参考图片时，使用存储在DPB319中的第一空间分辨率下的环路内滤波重构的当前图片。当第二空间分辨率下的下一图片使用当前图片作为参考图片时，使用存储在DPB 319中的第二空间分辨率下的环路内滤波重构的当前图片。

在一个实施方案中，为了避免在DPB中存储相同当前图片的若干版本，处理模块500仅在执行运动估计(步骤304)和运动补偿(步骤305)步骤期间执行步骤6033(重采样)和步骤6034(环路内滤波)，其中下一图片的块参考当前图片的块。在一些具体实施中，重采样(6033)的步骤和运动补偿的步骤可以组合成单样本插值步骤。在这种情况下，步骤6034(环路内滤波)在该单样本插值步骤之后应用。

在步骤6032的实施方案中，处理模块500根据系统53上的信息确定应用于环路内滤波的空间分辨率。该信息包括例如表示系统53的可用计算资源、系统53的可用存储资源、系统53的电池能量水平、连接或嵌入在系统53中的显示器的空间分辨率、系统53上的可用带宽等的信息。

在步骤602的第二实施方案中，将表示用于应用环路内滤波和/或后滤波的推荐分辨率的信息插入到环路内滤波和/或后滤波元数据中。例如，语法元素filter_hint_recommended_width和filter_hint_recommended_height被插入在如表TAB6中所表示的post_filter_hintSEI消息中。

表TAB6

filter_hint_recommended_width指定推荐应用后滤波器的图片宽度。

filter_hint_recommended_height指定推荐应用后滤波器的图片高度。

如果解码图片宽度不等于filter_hint_recommended_width或者解码图片高度不等于filter_hint_recommended_height，则推荐在将后滤波应用于所述图片之前对解码图片进行重采样以产生宽度等于filter_hint_recommended_width并且高度等于filter_hint_recommended_height的重采样图片。

在步骤602的第三实施方案中，代替推荐一个分辨率，将表示用于应用环路内滤波和/或后滤波的推荐分辨率范围的信息插入到环路内滤波和/或后滤波元数据中。例如，语法元素filter_hint_recommended_width[]和filter_hint_recommended_height[]被插入post_filter_hintSEI消息中，如表TAB7中所表示的。

表TAB7

在步骤602的该第三实施方案中，推荐以由大于或等于filter_hint_recommended_width[0]且小于或等于filter_hint_recommended_width[1]的宽度和大于或等于filter_hint_recommended_height[0]且小于或等于filter_hint_recommended_height[1]的高度表征的分辨率将后滤波应用于解码图片。

在步骤602的第四实施方案中，将表示多个推荐分辨率或分辨率范围以及对应的环路内滤波器(由环路内滤波器参数表示)和/或后滤波器的信息插入到环路内滤波和/或后滤波元数据中。例如，在步骤602的第四实施方案的第一变型中，语法元素filter_hint_number_filters_minus1、filter_hint_recommended_width[]和filter_hint_recommended_height[]被插入post_filter_hintSEI消息中，如表TAB8中所表示的。

/>

表TAB8

filter_hint_number_filters_minus1指定在post_filter_hintSEI消息中用信号通知的滤波器的数量。滤波器的数量被导出为(filter_hint_number_filters_minus1+1)。

filter_hint_recommended_width[fidx]指定推荐应用索引fidx的后滤波器的图片宽度。

filter_hint_recommended_height[fidx]指定推荐应用索引fidx的后滤波器的图片高度。

在一个实施方案中，强制性的是，filter_hint_recommended_width[fidx]和filter_hint_recommended_height[fidx]以递增的顺序被发信号通知，以增加fidx的值。

在步骤602的第四实施方案的第二变型中，为每个滤波器fidx定义分辨率范围如下：

对于fIdx＝0至filter_hint_number_filters_minus1-1，推荐分别对范围[filter_hint_recommended_width[fidx] 、filter_hint_recommended_width[fidx+1][和[filter_hint_recommended_height[fidx] 、filter_hint_recommended_height[fidx+1][中的宽度和高度应用滤波器fIdx。

对于fIdx＝filter_hint_number_filters_minus1，推荐分别对大于或等于filter_hint_recommended_width[fIdx]和[filter_hint_recommended_height[fIdx]的宽度和高度应用滤波器fIdx。

在步骤602的第五实施方案中，如在环路内滤波和/或后滤波元数据中那样，添加表示以指定的空间分辨率或空间分辨率范围应用环路内滤波或后滤波的质量影响和/或复杂度影响和/或能量影响的信息。当针对若干分辨率用信号通知若干滤波器时，针对每一滤波器用信号通知表示质量影响和/或复杂性影响和/或能量影响的信息。

举例来说，将语法元素filter_hint_delta_quality、filter_hint_delta_complexity和filter_hint_delta_energy插入表TAB8的post_filter_hintSEI消息中，如表TAB9中所表示。

表TAB9

参数filter_hint_delta_quality[fIdx]用于评估在应用索引fIdx的滤波器之后获得的质量度量，命名为final_quality，作为应用滤波器之前的初始质量度量initial_quality和命名为delta_quality的质量变化的函数f(.)(或者在以上示例中的filter_hint_delta_quality):final_quality＝f(initial_quality,delta_quality)

下面给出函数f(.)的示例：

·加法函数：final_quality＝initial_quality+delta_quality.

·乘法函数：final_quality＝initial_quality×delta_quality.

类似的过程可以应用于复杂度和能量度量。

在步骤602的第五实施方案的变型中，当用信号通知一个单个滤波器时，针对不同的图片分辨率用信号通知不同的质量、复杂度、能量信息。

关于步骤602的第二、第三、第四和第五实施方案描述的语法元素仅涉及后滤波。在步骤602的第六实施方案中，可导出类似语法元素以用于环路内滤波。例如，新的APS类型ILF_RES_APS被定义用于传送指定如下的语法元素：

·表示用于应用环路内滤波的推荐分辨率的信息；

·表示用于应用环路内滤波的分辨率的推荐范围的信息；

·表示多个推荐分辨率或分辨率范围和相应滤波器的信息；或者

·表示以给定分辨率应用环路内滤波器的质量影响和/或复杂度影响和/或能量影响的信息。

另外，定义语法元素ilf_res_data。表TAB10表示当类型ILF_RES_APS的APS提供表示用于应用环路内滤波的推荐分辨率的信息时的语法元素ilf_res_data的实例。

表TAB10

ilf_filter_recommended_width指定推荐应用环路内滤波器的图片宽度。

ilf_filter_recommended_height指定推荐应用环路内滤波器的图片高度。

在步骤602的第六实施方案中，ILF_RES_APS类型的APS相同地寻址所有环路内滤波器。在一变型中，可针对每一环路内滤波器单独界定APS。

图8的方法的具体实施与第六实施方案略微不同，尤其是与步骤6032略微不同。

例如，当由类型ILF_RES_APS的APS传送的语法元素指定推荐应用环路内滤波器的图片宽度和图片高度时，在步骤6032中，如果重构的当前图片的空间分辨率不对应于在类型ILF_REC_APS的APS中指定的空间分辨率，则处理模块500可以决定需要重采样重构的当前图片。在步骤6033中以推荐分辨率对所述重构的当前图片进行重采样，然后在步骤6034中进行环路内滤波。需注意，在一些具体实施中，步骤6033可以将重采样步骤和运动补偿步骤组合为一个单样本插值步骤。

当由类型ILF_RES_APS的APS传送的语法元素指定推荐应用环路内滤波器的图片宽度范围和图片高度范围时，在步骤6032中，如果重构的当前图片的空间分辨率不符合在ILF_REC_APS类型的APS中指定的空间分辨率范围，则处理模块500可以决定需要重采样重构的当前图片。在步骤6033中，以符合推荐分辨率范围的分辨率对所述重构的当前图片进行重采样，然后在步骤6034中进行环路内滤波。

当由类型ILF_RES_APS的APS传送的语法元素指定推荐应用环路内滤波器的多个图片宽度或图片宽度范围以及图片高度或图片高度范围时，在步骤6032中，处理模块500可以决定需要重采样重构的当前图片。在步骤6033中，以每个推荐分辨率或以符合每个推荐分辨率范围的多个分辨率来重采样所述重构的当前图片。然后，在步骤6034，将环路内滤波应用于每个经重采样的重构的当前图片。

图7示意性地示出了用于在解码器侧适配环路内滤波和后滤波的空间分辨率的方法的示例。

当处理模块500被嵌入在系统53中时，图7描述的方法由该处理模块执行。

在步骤701中，处理模块500将步骤410至416应用于编码视频流311的一部分，并且在步骤317中获得所述当前图片的重构版本，称为重构的当前图片。以第一空间分辨率重构该重构的当前图片。

在步骤702中，处理模块500从编码视频流获得被称为滤波分辨率元数据的元数据，该元数据表示指定允许以与第一空间分辨率不同的第二空间分辨率对所述重构图片的至少一部分应用至少一个环路内滤波和/或至少一个后滤波的信息。

在步骤703中，处理模块根据所述滤波分辨率元数据应用环路内滤波和/或后滤波。

在步骤702的第一实施方案中，从环路内或后滤波器元数据获得信息以指示可在不同于第一空间分辨率的至少一个第二空间分辨率下执行滤波过程，但不指定任何第二空间分辨率。

在步骤702的第一实施方案的第一变型中，该信息是关于步骤602的第一实施方案的第一变型所描述的语法元素filter_hint_decoded_resolution_recommended_flag。

在步骤702的第一实施方案的第二变型中，从如步骤702的第一实施方案的第二变型中所述的语法元素filter_hint_type获得所述信息。

在步骤702的第一实施方案的第三变型中，如关于步骤602的第一实施方案的第三变型所描述的，从在文献JVET-R0190中提出的SEI消息adaptive_loop_filter_control获得所述信息。

在步骤702的第一实施方案的第四变型中，根据语法元素sps_decoded_resolution_recommended_for_ilf_flag 或sps_decoded_resolution_recommended_for_DBF_flag 或sps_decoded_resolution_recommended_for_SAO_flag从SPS中获得所述信息。

sps_decoded_resolution_recommended_for_ALF_flag，如关于步骤602的第一实施方案的第四变型所描述的。

基于关于步骤702的第一实施方案的四个变型所描述的语法元素中的至少一个的值，在步骤703中，处理模块500根据recommended_decoded_resolution的值来应用环路内滤波和/或后滤波，所述四个变体在下面被标注为用于符号简化的recommended_decoded_resolution。

图9示意性地示出了步骤703的实施方案的示例。

在步骤7031中，处理模块500检查语法元素recommended_decoded_resolution的值。

如果语法元素recommended_decoded_resolution等于true，则处理模块500执行步骤7037，在该步骤期间，以第一空间分辨率对重构的当前图片应用环路内滤波和后滤波。将环路内滤波重构的当前图片存储在DPB中。后滤波被应用于经环路内滤波重构的当前图片。

在步骤7038中，当环路内滤波重构的当前图片被用作时间预测的参考图片时，处理模块500将目标分辨率下的重采样应用于环路内滤波重构的当前图片。目标分辨率对应于从存储在DPB 419中的环路内滤波重构的当前图片时间预测的图片的空间分辨率。仅当目标分辨率不同于环路内滤波重构的当前图片的空间分辨率时，才应用步骤7038。例如，如果所述图片的空间分辨率不对应于显示器所接受的分辨率，则对目标分辨率的重采样也可以应用于从环路内滤波重构的当前图片的后处理得到的图片。

从上面可以看出，当recommended_decoded_resolution等于true时，处理模块500应用通常的解码处理。步骤7037对应于图4中的步骤417和421。

如果recommended_decoded_resolution等于false，则在步骤7032中，处理模块500确定以哪个或哪些空间分辨率应用环路内滤波和后滤波。所确定的空间分辨率包括不同于第一空间分辨率的至少一个第二空间分辨率。

在步骤7033期间，对于为环路内滤波确定的每个第二空间分辨率，处理模块500以所述第二空间分辨率对重构的当前图片进行重采样，以获得经重采样的重构的当前图片。可以在整个图片上实现重采样，或者仅对当前图片的块的运动补偿所需的采样使用这些采样作为参考来实现重采样。在一些具体实施中，在一个单样本插值步骤中联合应用重采样和运动补偿。

在步骤7034中，至少对于为环路内滤波确定的每个第二空间分辨率，处理模块使用在编码视频流311中用信号通知的环路内参数将环路内滤波应用于对应于所述第二空间分辨率的图片。然后将每个环路内滤波图片存储在DPB 419中。存储在DPB 419中用于当前图片的经环路内滤波重构的当前图片与存储在DPB 319中用于相同当前图片的经环路内滤波重构的当前图片相同。在一些具体实施中，不必在DPB中存储用作时间预测的参考图片的每个环路内滤波图片，并且可以在重采样步骤之后、或者在运动补偿步骤之后、或者当将重采样和运动补偿联合实现为一个单样本插值步骤时在单样本插值步骤之后动态地应用环路滤波器。

在步骤7035中，如果在步骤7034期间生成的环路内滤波重构的当前图片中没有一个具有与为应用步骤7032中的后滤波而确定的第二空间分辨率相对应的空间分辨率，则在步骤7035中，对后滤波重构的当前图片中的一个图片应用对所述第二空间分辨率的重采样。例如，将重采样应用于空间分辨率最接近于为应用后滤波而确定的第二空间分辨率的后滤波重构的当前图片。

在步骤7036中，如果在步骤7034中生成的经环路内滤波重构的当前图片中的一个图片具有与被确定用于应用后滤波的第二空间分辨率相对应的空间分辨率，则将后滤波应用于该一个图片，否则应用于在步骤7035中生成的图片。

在步骤7038期间，如果必要的话，可以将重采样应用于从步骤7034得到的环路内滤波重构的当前图片或者从步骤7036得到的后滤波图片中的任一者。如果当前图片被用作用于下一图片的时间预测的参考图片，但是存储在DPB 419中的环路内滤波重构的当前图片中没有一个具有对应于下一图片的空间分辨率的空间分辨率，则对环路内滤波重构的当前图片的重采样可能是必要的。例如，如果所述后滤波图片的空间分辨率不对应于显示器所允许的分辨率，则后滤波图片的重采样可能是必要的。

从上面可以看出，当recommended_decoded_resolution等于false时，步骤7032、7033和7034代替步骤417，并且步骤7035和7036代替步骤421。

在一示例中，语法元素recommended_decoded_resolution指定对于所有环路内滤波工具及后滤波工具允许以不同于第一分辨率的第二分辨率对经重构图片应用环路内滤波及后滤波。另外，为了简单起见，在编码视频序列311中使用时间预测编码的所有图片是仅从按照显示顺序的紧接在前图片时间预测的P个图片。此外，以第一空间分辨率对每个第二图像进行编码，并且以第二空间分辨率对其他图像进行编码，第二空间分辨率大于第一空间分辨率。最后，假设解码器知道编码视频序列311的上述特性。因此，当对编码视频序列311的当前图片进行解码时，解码器(即，实现解码器的处理模块500)使用该当前图片作为用于时间预测的参考图片来准确地知道图片的空间分辨率。

在这种情况下，步骤7031之后进入步骤7032。

在步骤7032期间，处理模块500知道重构的当前图片的空间分辨率不同于从重构的当前图片预测的下一图片的空间分辨率。如果重构的当前图片处于第一空间分辨率，则处理模块500确定重构的当前图片需要被上采样到第二空间分辨率以用于环路内滤波。如果重构的当前图片处于第二空间分辨率，则处理模块500确定重构的当前图片需要被下采样到第一空间分辨率以用于环路内滤波。

在步骤7033中，根据在步骤7032中确定的重采样空间分辨率来重采样重构的当前图片。

在步骤7034中，将所有环路内滤波器应用于经重采样的重构的当前图片。然后将所获得的环路内滤波重构的当前图片存储在DPB 419中。

对于步骤7035和7036，假设处理模块500知道总是以第二空间分辨率应用后滤波。因此，仅当经环路内滤波重构的当前图片处于第一分辨率时，才在步骤7035中应用上采样。

在步骤7036中，处理模块500以第二空间分辨率对经环路内滤波重构的当前图片进行后滤波。

在步骤7032的实施方案中，处理模块500根据系统53上的信息确定应用于环路内滤波和后滤波的空间分辨率。该信息包括例如表示系统53的可用计算资源、系统53的可用存储资源、系统53的电池能量水平、连接或嵌入在系统53中的显示器的空间分辨率、系统53上的可用带宽等的信息。

在步骤702的第二实施方案中，由处理模块500获得嵌入在环路内滤波和/或后滤波元数据中的、表示用于应用环路内滤波和/或后滤波的推荐分辨率的信息。所述信息包括如关于步骤602的第二实施方案所描述的语法元素filter_hint_recommended_width和filter_hint_recommended_height。

在步骤702的第三实施方案中，代替一个推荐分辨率，处理模块从环路内滤波和/或后滤波元数据获得表示用于应用环路内滤波和/或后滤波的推荐分辨率范围的信息。所述信息包括如在步骤602的第三实施方案中描述的语法元素filter_hint_recommended_width[]和filter_hint_recommended_height[]。

在步骤702的第四实施方案中，处理模块从环路内滤波和/或后滤波元数据获得表示多个推荐分辨率或分辨率范围和对应滤波器的信息。例如，在步骤702的第四实施方案的第一变型中，所述信息包括如关于步骤602的第四实施方案所描述的语法元素filter_hint_number_filters_minus1、filter_hint_recommended_width[]和filter_hint_recommended_height[]。

在步骤702的第四实施方案的第二变型中，处理模块500获得针对每个滤波器fIdx的分辨率范围，如关于步骤602的第四实施方案的第二变型所描述的。

在步骤702的第五实施方案中，处理模块500从环路内滤波和/或后滤波元数据获得表示应用滤波器的质量影响和/或复杂度影响和/或能量影响的信息。所述信息包括如步骤602的第五实施方案中所述的语法元素filter_hint_delta_quality、filter_hint_delta_complexity和filter_hint_delta_energy。

在步骤702的第六实施方案中，处理模块500获得指定以下内容的信息：

·表示用于应用环路内滤波的推荐分辨率的信息；

·表示用于应用环路内滤波的分辨率的推荐范围的信息；

·表示多个推荐分辨率或分辨率范围和相应滤波器的信息；或者，

·表示以给定分辨率应用环路内滤波器的质量影响和/或复杂度影响和/或能量影响的信息，对于环路内滤波可以导出类似的语法元素；

对应于关于步骤702的第六实施方案描述的信息。

类似于适用于步骤602的各种实施方案的步骤603，关于图9描述的步骤703的具体实施适用于步骤702的各种实施方案。特别地，在步骤7032中，处理模块500考虑在步骤702中获得的表示推荐用于环路内滤波和/或后滤波的空间分辨率的信息，以可能决定以用于环路内滤波和/或后滤波的至少一个第二空间分辨率重采样重构的当前图片。可以在整个图片上实现重采样，或者仅对当前图片的块的运动补偿所需的采样使用这些采样作为参考来实现重采样。在一些具体实施中，在一个单样本插值步骤中联合应用重采样和运动补偿。

以上描述了多个实施方案。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：

·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。

·创建和/或传输和/或接收和/或解码包括一个或多个所述语法元素或其变型的比特流或信号。

·执行所描述的实施方案中的至少一个实施方案的电视机、机顶

盒、移动电话、平板计算机或其他电子设备。

·执行所描述的实施方案中的至少一个实施方案并(例如，使用监

视器、屏幕或其他类型的显示器)显示所得图像的电视机、机顶盒、移动电话、平板计算机或其他电子设备。

·调谐(例如，使用调谐器)信道以接收包括编码视频流的信号并

执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、移动电话、平板计算机或其他电子设备。

·通过空中(例如，使用天线)接收包括编码视频流的信号并执行

所描述的实施方案中的至少一个实施方案的电视机、机顶盒、移动电话、平板计算机或其他电子设备。

Claims

1.一种用于视频编码图片的方法，所述方法包括：

以第一空间分辨率重构(601)图片；以及，

将元数据与所述图片进行关联(602)，所述元数据表示允许以第二空间分辨率对所述重构图片的至少一部分进行至少环路内滤波和/或后滤波的信息。

2.一种用于视频解码图片的方法，所述方法包括：

以第一空间分辨率重构(701)图片；以及，

获得(702)与所述图片相关联的元数据，所述元数据表示允许以第二空间分辨率对所述重构图片的至少一部分进行至少环路内滤波和/或后滤波的信息。

3.根据权利要求1或2所述的方法，其中，所述元数据指定至少一个空间分辨率，推荐以所述空间分辨率对所述重构图片的至少一部分应用所述至少环路内滤波和/或后滤波。

4.根据权利要求1或2所述的方法，其中，所述元数据指定至少一个空间分辨率范围，推荐以所述空间分辨率范围对所述重构图片的至少一部分应用所述至少环路内滤波和/或后滤波。

5.根据权利要求3或4所述的方法，其中，当所述元数据指定多个空间分辨率或多个空间分辨率范围时，所述元数据还指定与每个空间分辨率或每个分辨率范围相对应的环路内滤波器和/或后滤波器。

6.根据权利要求3、4或5所述的方法，其中，所述元数据还针对每个指定的空间分辨率或空间分辨率范围指定表示以所述指定的空间分辨率或空间分辨率范围应用环路内滤波或后滤波的质量影响和/或复杂度影响和/或能量影响的信息。

7.一种用于视频编码图片的设备，所述设备包括电子电路，所述电子电路适于：

以第一空间分辨率重构(601)图片；以及，

8.一种用于视频解码图片的设备，所述设备包括电子电路，所述电子电路适于：

以第一空间分辨率重构(701)图片；以及，

9.根据权利要求8或9所述的设备，其中，所述元数据指定至少一个空间分辨率，推荐以所述空间分辨率对所述重构图片的至少一部分应用所述至少环路内滤波和/或后滤波。

10.根据权利要求8或9所述的设备，其中，所述元数据指定至少一个空间分辨率范围，推荐以所述空间分辨率范围对所述重构图片的至少一部分应用所述至少环路内滤波和/或后滤波。

11.根据权利要求9或10所述的设备，其中，当所述元数据指定多个空间分辨率或多个空间分辨率范围时，所述元数据还指定与每个空间分辨率或每个分辨率范围相对应的环路内滤波器和/或后滤波器。

12.根据权利要求9、10或11所述的设备，其中，所述元数据还针对每个指定的空间分辨率或空间分辨率范围指定表示以所述指定的空间分辨率或空间分辨率范围应用环路内滤波或后滤波的质量影响和/或复杂度影响和/或能量影响的信息。

13.一种装置，所述装置包括根据权利要求7至12中任一前述权利要求所述的设备。

14.一种信号，所述信号通过根据权利要求1或权利要求3至6中任一前述权利要求所述的用于视频编码图片的方法生成，或者所述信号通过根据权利要求7或权利要求9至12中任一前述权利要求所述的用于视频编码图片的设备生成，或者所述信号通过根据权利要求13所述的包括用于视频编码图片的设备的装置生成。

15.一种计算机程序，所述计算机程序包括用于实现根据权利要求1至12中任一前述权利要求所述的方法的程序代码指令。

16.一种非暂态信息存储介质，所述非暂态信息存储介质存储用于实现根据权利要求1至12中任一前述权利要求所述的方法的程序代码指令。