CN117083853A - 用于对视频进行编码/解码的方法和装置 - Google Patents

Abstract

提供了一种用于对视频进行编码的方法，其中对视频进行编码包括：对第一图片的样本进行分类；针对第一图片的至少一部分，基于所述分类确定第一滤波器，所述第一滤波器用于第一图片或第二图片的第一编码操作；基于所述分类确定第二滤波器，所述第二滤波器用于第一图片或第二图片的第二编码操作。还提供了一种用于对视频进行编码的装置、解码方法及装置。

Description

用于对视频进行编码/解码的方法和装置

技术领域

本发明实施方案整体涉及一种用于视频编码或解码的方法和装置。一些实施方案涉及用于视频编码或解码的方法和装置，其中原始图片和重建图片被动态地重新缩放以进行编码。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用图像内或图像间相关性，然后对在原始块与预测块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

发明内容

根据一个方面，提供了一种用于对视频进行编码的方法，其中对视频进行编码包括：对第一图片的样本进行分类；针对第一图片的至少一部分，基于所述分类确定第一滤波器，所述第一滤波器用于使用第一图片的所述至少一部分进行的第一编码操作；提供第一图片的第一经修改部分；基于所述分类确定第二滤波器，所述第二滤波器用于使用第一图片的所述第一经修改部分进行的第二编码操作。

提供了一种用于对视频进行编码的装置。该装置包括一个或多个处理器，其中所述一个或多个处理器被配置为通过以下方式来对视频进行编码：对第一图片的样本进行分类；针对第一图片的至少一部分，基于所述分类确定第一滤波器，所述第一滤波器用于使用第一图片的所述至少一部分进行的第一编码操作；提供第一图片的第一经修改部分；基于所述分类确定第二滤波器，所述第二滤波器用于使用第一图片的所述第一经修改部分进行的第二编码操作。

根据另一方面，提供了一种用于对视频进行解码的方法，其中对视频进行解码包括：对第一图片的样本进行分类；针对第一图片的至少一部分，基于所述分类确定第一滤波器，所述第一滤波器用于使用第一图片的所述至少一部分进行的第一解码操作；提供第一图片的第一经修改部分；基于所述分类确定第二滤波器，所述第二滤波器用于使用第一图片的所述第一经修改部分进行的第二解码操作。

提供了一种用于对视频进行解码的装置。该装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：对视频进行解码，其中对视频进行解码包括对第一图片的样本进行分类；针对第一图片的至少一部分，基于所述分类确定第一滤波器，所述第一滤波器用于使用第一图片的所述至少一部分进行的第一解码操作；提供第一图片的第一经修改部分；基于所述分类确定第二滤波器，所述第二滤波器用于使用第一图片的所述第一经修改部分进行的第二解码操作。

根据上述方面中的任一方面的实施方案，分类被存储在存储着参考图片的经解码图片缓冲器中，即，与第一图片的每个样本相关联的索引被存储在经解码图片缓冲器中。

根据另一方面，提供了用于对视频进行编码的另一一种方法，其中对视频进行编码包括：对参考图片的样本进行分类；以及针对视频的至少一个块，使用该至少一个块的至少一个运动向量来确定该参考图片的至少一部分；针对参考图片的至少一部分，基于所述分类来确定至少一个插值滤波器；基于使用所确定的所述至少一个插值滤波器对参考图片的所述至少一部分进行滤波来确定针对所述块的预测；基于所述预测来对所述块进行编码。

提供了一种用于对视频进行编码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置为通过以下方式来对视频进行编码：对参考图片的样本进行分类；以及针对视频的至少一个块：使用该至少一个块的至少一个运动向量来确定该参考图片的至少一部分；针对参考图片的至少一部分，基于所述分类来确定至少一个插值滤波器；基于使用所确定的所述至少一个插值滤波器对参考图片的所述至少一部分进行滤波来确定针对所述块的预测；基于所述预测来对所述块进行编码。

根据另一方面，用于对视频进行解码的另一种方法包括：对参考图片的样本进行分类；以及针对视频的至少一个块：使用该至少一个块的至少一个运动向量来确定该参考图片的至少一部分；针对参考图片的至少一部分，基于所述分类来确定至少一个插值滤波器；基于使用所确定的所述至少一个插值滤波器对参考图片的所述至少一部分进行滤波来确定针对所述块的预测；基于所述预测来对所述块进行解码。

提供了一种用于对视频进行解码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置为通过以下方式来对视频进行解码：对参考图片的样本进行分类；以及针对视频的至少一个块：使用该至少一个块的至少一个运动向量来确定该参考图片的至少一部分；针对参考图片的至少一部分，基于所述分类来确定至少一个插值滤波器；基于使用所确定的所述至少一个插值滤波器对参考图片的所述至少一部分进行滤波来确定针对所述块的预测；基于所述预测来对所述块进行解码。

根据另一方面，提供了一种用于从第二图片的至少一部分重建第一图片的至少一部分的方法，其中所述第一图片和所述第二图片具有不同大小，并且所述重建包括：从比特流中解码所述第二图片；使用应用于经解码的第二图片的所述至少一部分的至少一个第二样本的至少一个重采样滤波器来确定第一图片的所述至少一部分的至少一个第一样本。

根据另一个实施方案，提供了一种用于从第二图片的至少一部分重建第一图片的至少一部分的装置，该装置包括一个或多个处理器，其中该一个或多个处理器被配置为：从比特流中解码所述第二图片；使用应用于经解码的第二图片的所述至少一部分的至少一个第二样本的至少一个重采样滤波器来确定第一图片的所述至少一部分的至少一个第一样本，所述第一图片和所述第二图片具有不同大小。

根据另一方面，提供了一种视频编码方法，该方法包括：在比特流中对第二图片进行编码，所述第二图片是第一图片的缩小图片；在该比特流中对第三图片进行编码，该第三图片具有与第一图片相同的大小，其中对第三图片进行编码包括：通过在解码之后对第二图片的至少一部分进行上采样来重建第一图片的至少一部分，所述上采样包括：使用应用于经解码的第二图片的所述至少一部分的至少一个第二样本的至少一个上采样滤波器来确定第一图片的所述至少一部分的至少一个第一样本。

根据另一个实施方案，提供了一种用于视频编码的装置，该装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：在比特流中对第二图片进行编码，所述第二图片是第一图片的缩小图片；在该比特流中对第三图片进行编码，该第三图片具有与第一图片相同的大小，其中对第三图片进行编码包括：通过在解码之后对第二图片的至少一部分进行上采样来重建第一图片的至少一部分，所述上采样包括：使用应用于经解码的第二图片的所述至少一部分的至少一个第二样本的至少一个上采样滤波器来确定第一图片的所述至少一部分的至少一个第一样本。

根据另一个实施方案，提供了一种视频解码方法，该方法包括：在比特流中对第二图片进行解码，所述第二图片是第一图片的缩小图片；在该比特流中对第三图片进行解码，该第三图片具有与第一图片相同的大小，其中对第三图片进行解码包括：通过在解码之后对第二图片的至少一部分进行上采样来重建第一图片的至少一部分，所述上采样包括：使用应用于经解码的第二图片的所述至少一部分的至少一个第二样本的至少一个上采样滤波器来确定第一图片的所述至少一部分的至少一个第一样本。

根据另一个实施方案，提供一种用于视频解码的装置，该装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：在比特流中对第二图片进行解码，所述第二图片是第一图片的缩小图片；在该比特流中对第三图片进行解码，该第三图片具有与第一图片相同的大小，其中对第三图片进行解码包括：通过在解码之后对第二图片的至少一部分进行上采样来重建第一图片的至少一部分，所述上采样包括：使用应用于经解码的第二图片的所述至少一部分的至少一个第二样本的至少一个上采样滤波器来确定第一图片的所述至少一部分的至少一个第一样本。

在变体中，用于对视频进行编码/解码的方法包括：将第一图片的所述至少一个经重建部分存储在经解码图片缓冲器中，该经解码图片缓冲器存储用于对第三图片进行编码的参考图片。

一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，这些指令在由一个或多个处理器执行时使该一个或多个处理器执行根据本文所述的实施方案中任一项的重建方法、或编码方法或解码方法。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据上述方法重建图片的一部分、对视频数据进行编码或解码的指令。一个或多个本发明实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流。一个或多个本发明实施方案还提供了一种用于发送或接收根据上述方法生成的比特流的方法和装置。

附图说明

图1示出了其中可实现本发明实施方案的各方面的系统的框图。

图2示出了视频编码器的实施方案的框图。

图3示出了视频解码器的实施方案的框图。

图4示出了根据实施方案的用于对视频进行编码的示例性方法。

图5示出了根据实施方案的用于重建视频的示例性方法。

图6示出了根据实施方案的当参考图片具有与当前图片不同的分辨率时在参考图片中对当前图片中的当前块进行运动补偿的示例。

图7示出了根据实施方案的根据样本的相位来确定滤波器系数值的示例。

图8示出了根据实施方案的双阶段运动补充滤波的示例。

图9示出了根据实施方案的运动补偿滤波的第一阶段中的水平滤波的示例。

图10示出了根据实施方案的运动补偿滤波的第二阶段中的垂直滤波的示例。

图11示出了对称滤波器和滤波器旋转的示例。

图12示出了根据实施方案的用于确定上采样滤波器的方法的示例。

图13示出了根据实施方案的用于对图片进行编码/解码的方法的示例。

图14A示出了根据实施方案的对应于在水平方向和垂直方向上进行的两次上采样的不同相位的示例。

图14B至图14I示出了根据实施方案的上采样滤波器的不同形状的示例。

图15示出了根据实施方案的用于确定上采样滤波器系数的方法的示例。

图16示出了根据实施方案的用于对视频进行编码的方法的示例。

图17示出了根据实施方案的用于对视频进行解码的方法的示例。

图18示出了根据实施方案的用于对视频进行编码/解码的方法的示例，

图19示出了根据另一个实施方案的用于对视频进行编码/解码的方法的示例，

图20示出了根据另一个实施方案的用于对视频进行编码/解码的方法的示例，

图21示出了根据另一个实施方案的用于对视频进行解码的方法的示例。图22示出了根据本原理的示例的通过通信网络进行通信的两个远程设备。

图23示出了根据本原理的示例的信号的语法。

具体实施方式

本申请描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。

本专利申请中描述和设想的方面可以许多不同的形式实现。下面的图1、图2和图3提供了一些实施方案，但是设想了其他实施方案，并且图1、图2和图3的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。

本申请中所述的各种方法和其他方面可用于修改模块，例如，视频编码器200和解码器300的运动补偿模块(270,375)，如图2和图3所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

图1示出了其中可实现各种方面和实施方案的系统的示例的框图。系统100可体现为一种设备，该设备包括下文所述的各种部件，并且被配置为执行本申请所述各方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和服务器。系统100的元件可单独地或组合地体现在单个集成电路、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统100的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统100经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其他系统或其他电子设备。在各种实施方案中，系统100被配置为实现本申请所述的方面的一个或多个方面。

系统100包括至少一个处理器110，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本申请所述的各个方面。处理器110可包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统100包括至少一个存储器120(例如，易失性存储器设备和/或非易失性存储器设备)。系统100包括存储设备140，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备140可包括内部存储设备、附接存储设备和/或网络可访问的存储设备。

系统100包括编码器/解码器模块130，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块130可包括其自身的处理器和存储器。编码器/解码器模块130表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块130可被实现为系统100的独立元件，或可被结合在处理器110内作为本领域技术人员已知的硬件和软件的组合。

要加载到处理器110或编码器/解码器130上以执行本申请中所述的各个方面的程序代码可存储在存储设备140中，并且随后加载到存储器120上以供处理器110执行。根据各种实施方案，处理器110、存储器120、存储设备140和编码器/解码器模块130中的一者或多者可在本申请中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施方案中，在处理器110和/或编码器/解码器模块130内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其他实施方案中，在处理设备外部的存储器(例如，处理设备可以是处理器110或编码器/解码器模块130)用于这些功能中的一个或多个功能。外部存储器可以是存储器120和/或存储设备140，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。

如框105中所指示，可通过各种输入设备提供对系统100的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中发射的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图1中未示出的其他示例包括复合视频。

在各种实施方案中，块105的输入设备具有如在本领域中是已知的相关联的相应的输入处理元件。例如，RF部分可与适合于以下各项的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制到一个频带)；(ii)下变频所选的信号；(iii)再次将频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带；(iv)解调经下变频和频带限制的信号；(v)执行纠错；以及(vi)解复用以选择期望的数据分组流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包含执行这些功能中的各种功能的调谐器，这些功能包含例如下变频接收的信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至期望的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模拟-数字转换器。在各种实施方案中，RF部分包括天线。

另外，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统100连接到其它电子设备的相应接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各个方面可根据需要在单独的输入处理IC内或在处理器110等内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理器110内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器110和编码器/解码器130，该编码器/解码器与存储器和存储元件结合操作以根据需要处理数据流以供在输出设备上呈现。

系统100的各种元件可设置在集成外壳内。在集成外壳内，各种元件可使用合适的连接布置115(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)进行互连并在其间发射数据。

系统100包括通信接口150，该通信接口允许经由通信信道190与其它设备的通信。通信接口150可包括但不限于被配置为通过通信信道190传输和接收数据的收发器。通信接口150可包括但不限于调制解调器或网卡，并且通信信道190可在有线和/或无线介质等内实现。

在各种实施方案中，使用Wi-Fi网络(诸如IEEE 802.11(IEEE是指电气与电子工程师协会))将数据流传输给系统100。这些实施方案的Wi-Fi信号是通过适于Wi-Fi通信的通信信道190和通信接口150接收的。这些实施方案中的通信信道190通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式应用和其它OTT通信。其它实施方案使用机顶盒向系统100提供流式传输的数据，该机顶盒通过输入块105的HDMI连接来递送数据。还有其它实施方案使用输入块105的RF连接向系统100提供流式传输的数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统100可向各种输出设备(包括显示器165、扬声器175和其它外围设备185)提供输出信号。各种实施方案的显示器165包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个显示器。显示器165可用于电视、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器165还可与其他部件集成(例如，如在智能电话中)，或可以是独立的显示器(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备185包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备185，该一个或多个外围设备基于系统100的输出来提供功能。例如，碟片播放器执行播放系统100的输出的功能。

在各种实施方案中，控制信号使用信令(诸如AV.Link、CEC或能够在有或没有用户干预的情况下实现设备到设备控制的其它通信协议)在系统100与显示器165、扬声器175或其它外围设备185之间传达。这些输出设备可通过相应的接口160、接口170和接口180经由专用连接通信地耦接到系统100。或者，输出设备可使用通信信道190经由通信接口150连接到系统100。显示器165和扬声器175可与电子设备(例如，电视机)中的系统100的其他部件集成在单个单元中。在各种实施方案中，显示器接口160包括显示器驱动器，例如，定时控制器(T Con)芯片。

或者，例如，如果输入105的RF部分是单独机顶盒的一部分，则显示器165和扬声器175可与其它部件中的一个或多个部件分开。在显示器165和扬声器175为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供。

该实施方案可由由处理器110实现的计算机软件，或由硬件，或由硬件和软件的组合来进行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器120可以是适于技术环境的任何类型，并且可使用任何适当的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器110可以是适于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。

图2示出了编码器200。设想了该编码器200的变型，但是为了清楚起见，下文描述了编码器200而不描述所有预期的变型。

在一些实施方案中，图2还示出了在其中对HEVC标准进行改进的编码器，或采用类似于HEVC的技术的编码器，诸如由JVET(联合视频探索团队)开发的VVC(多功能视频编码)编码器。

在进行编码之前，视频序列可经过预编码处理(201)，例如，将颜色变换应用于输入彩色图片(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对于压缩更弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。

在编码器200中，由编码器元件对图片进行编码，如下所述。在例如CU的单元中对待编码的图片进行分区(202)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当在帧内模式下对单元进行编码时，该编码器执行帧内预测(260)。在帧间模式中，执行运动估计(275)和运动补偿(270)。编码器决定(205)使用帧内模式或帧间模式中的哪一个模式对该单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。编码器还可以混合(263)帧内预测结果和帧间预测结果，或混合来自不同帧内/帧间预测方法的结果。例如，通过从初始图像块减去(210)经预测的块来计算预测残差。

运动修正模块(272)使用已经可用的参考图片，以便在不参考原始块的情况下修正块的运动场。区域的运动场可以被认为是关于该区域的所有像素的运动向量的集合。如果运动向量基于子块，则运动场也可以表示为区域中的所有子块运动向量的集合(子块内的所有像素具有相同的运动向量，并且子块与子块之间的运动向量可能不同)。如果单个运动向量用于该区域，则该区域的运动场也可以由单个运动向量(针对区域中的所有像素的相同运动向量)表示。

然后，对预测残差进行变换(225)和量化(230)。对量化的变换系数以及运动向量和其他语法元素进行熵编码(245)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对量化的变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和经预测的块，重建图像块。将环内滤波器(265)应用于重建的图片以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。将经滤波的图像存储在参考图片缓冲器(280)处。

图3示出了视频解码器300的框图。在解码器300中，由解码器元件对比特流进行解码，如下所述。视频解码器300一般执行与图2中所述的编码过程相反的解码过程。编码器200通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器200生成。首先，对比特流进行熵解码(330)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据经解码的图片分区信息来划分(335)图片。对变换系数进行解量化(340)和逆变换(350)以对预测残差进行解码。组合(355)经解码的预测残差和预测块，重建图像块。

可从帧内预测(360)或运动补偿预测(即，帧间预测)(375)获得(370)经预测的块。解码器可以混合(373)帧内预测结果和帧间预测结果，或混合来自多个帧内/帧间预测方法的结果。在运动补偿之前，可通过使用已经可用的参考图片来修正(372)运动场。将环内滤波器(365)应用于重建的图像。将滤波的图像存储在参考图片缓冲器(380)处。

经解码的图片可进一步经过解码后处理(385)，例如，逆颜色变换(例如，从YCbCr4:2:0到RGB 4:4:4的转换)，或执行在预编码处理(201)中执行的重新映射过程的逆的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。

参考图片重采样

在低比特率下和/或当图片具有较少的高频时，为了更好地权衡编码效率，可对大小缩小的图片进行编码，而不是对全分辨率的图像进行编码，通常是在4K或8K帧的情况下。负责解码器在显示之前按比例放大经解码图片。参考图片重采样(RPR)的原理是为了更好地权衡编码效率，以图片为基础动态地重新缩放视频序列的图像。

图4和图5分别示出了根据实施方案的用于对视频进行编码(400)和解码(500)的方法的示例，其中要编码的图像可被重新缩放以用于编码。例如，此类编码器和解码器可符合VVC标准。

给定由大小为(图片宽度x图片高度)的图片组成的原始视频序列，编码器针对每个原始图片选择用于对帧进行编码的分辨率(即，图片大小)。不同的PPS(用于图片参数集)在比特流中以图片的大小进行编码，并且要解码的图片的切片/图片标头指示在解码器侧使用哪个PPS来对图片进行解码。

该标准没有规定分别用作预处理或后处理的下采样器(440)和上采样器(540)功能。

对于每个帧，编码器选择是以原始分辨率还是缩小的分辨率(例如：图片宽度/高度除以2)进行编码。可通过编码或考虑原始图片中的空间和时间活动的两个过程来进行选择。

当编码器选择以缩小的分辨率对原始图片进行编码时，原始图片在被输入到核心编码器(410)之前被缩小(440)以产生比特流。然后，将在缩小的分辨率下重建的图片存储(420)在经解码图片缓冲器(DPB)中以用于对后续图片进行编码。因此，经解码图片缓冲器(DPB)可包含具有与当前图片大小不同的大小的图片。

在解码器处，从比特流中解码(510)图片，并且将在缩小分辨率下重建的图片存储(520)在经解码图片缓冲器(DPB)中以用于对后续图片进行解码。根据实施方案，重建的图片被上采样(540)到其原始分辨率并且例如被传输到显示器。

根据实施方案，在要被编码的当前图片使用来自DPB的大小与当前图片不同的参考图片的情况下，在运动补偿过程期间利用单独的(水平和垂直)插值滤波器和适当采样来(在运行中)进行对参考块的重新缩放(430/530)(放大或缩小)以构建预测块。图6示出了具有隐式块重采样的运动补偿的示例，其可在上述编码方法和解码方法的重新缩放(430/530)中实现。滤波器系数的选择取决于相位(θ_x,θ_y)(要插值的样本在参考图片中的位置)，在这种情况下，该相位既取决于运动向量，又取决于参考图片(图6中的620)(SXref,SYref)和当前图片(图6中的610)(SXcur,SYcur)的大小(等式1)(图6)。

为了预测大小为(SXcur,SYcur)的当前块预测P(610)，对于P的每个样本Xcur，确定其在参考图片中的位置(Xref,Yref)。(Xref,Yref)的值是当前块的运动向量(MVx,MVy)以及当前块大小与参考图片(SXref,SYref)(620)中的对应区域之间的缩放比的函数。

如图6所示，令(θx,θy)表示作为参考图片中的运动补偿点(Xref,Yref)的非整数部分的相位。位置(Xref,Yref)和相位(θx,θy)由以下等式给出：

其中int(x)给出x的整数部分。

在实施方案中，运动补偿(MC)使用两个单独的1D滤波器来减少计算量(图7)。如图8、图9和图10所示，MC过程在两个阶段中被执行：首先是水平运动补偿滤波(820,900)并且接着是垂直运动补偿滤波(840,1000)，或者在变体中，可首先执行垂直运动补偿滤波，接着执行水平运动补偿滤波。

图8示出了根据实施方案的双阶段运动补充滤波的示例。参考图片中的块位置(Xref,Yref)和相位(θx,θy)是根据当前图片中的块位置(XCur,YCur)和当前块的运动向量(MVx,MVy)而确定(810)的。根据实施方案，执行(820,940)利用1D滤波器的水平滤波(在图9上示出)以确定沿着水平方向放大的运动补偿样本。

在实施方案中，由于运动向量具有子像素精度，所以存在与子像素位置(相位)的数量一样多的1D滤波器。图7描绘了如何根据运动补偿样本Xcur的相位来确定滤波器的系数w(i)。重建的样本“rec”利用1D滤波被计算为：

将重建的样本存储(830)到相同大小(SXcur,SYref)的临时缓冲器(图9中的930)中。然后，利用1D滤波器执行(840)垂直滤波，如图10所示，使用临时缓冲器作为输入来确定沿着垂直方向放大的运动补偿样本。

注意，也可首先进行垂直滤波并且接着进行水平滤波，因为它们是单独的滤波器。

所得预测样本被存储(850)到大小为(SXcur,SYcur)的块(1050)中。

在以上描述中，认为当前图片和参考图片对应于同一窗口。这意味着如果运动为零，则两个图片的左上角样本和右下角样本对应于两个相同的场景点。如果不是这种情况，则应当向(Xref,Yref)添加偏移窗口参数。

上述具有隐式重采样的运动补偿允许重新使用为经典运动补偿设计的插值滤波器，例如在VVC标准中使用的插值滤波器。而且，该过程避免了以若干分辨率存储参考图片的必要性。然而，上采样滤波器的简单性限制了编码器的压缩效率。因此，需要改进。

在实施方案中，提供了一种用于从第二图片的至少一部分重建第一图片的至少一部分的方法，其中第一图片和第二图片具有不同大小。例如，第二图片具有比第一图片更小的分辨率。根据该实施方案，重建第一图片的该部分包括：从比特流中解码第二图片；以及使用应用于经解码的第二图片的所述至少一部分的至少一个第二样本的至少一个上采样滤波器来确定第一图片的所述至少一部分的至少一个第一样本。

在实施方案中，用于重建的方法包括将第一图片的所述至少一个经重建部分传输到显示器。在实施方案中，下面提供的重建方法的步骤可在参考图5描述的用于解码的方法(510,540)中实现。

根据实施方案，用于重建的方法可在编码方法或解码方法中实现。如下所述，通过对第二图片进行解码并对第二图片的至少一部分进行上采样来获得第一图片的至少一部分。然后，将第一图片的经重建的至少一部分存储在经解码图片缓冲器中，以供将来在对与第一图片相同大小或不同大小的后续图片进行编码/解码时用作参考图片。

在下文中，提供了其中确定滤波器参数的一些实施方案。滤波器参数包括上采样滤波器系数、相关联的抽头位置(形状)以及可能的用于标识滤波器的索引。在上面提供的用于重建图片的方法、用于编码的方法和/或用于解码的方法中，下面提供的实施方案中的任一个实施方案可单独实施或者与其他实施方案中的任何一个或多个实施方案组合实施。

根据实施方案，上采样滤波器是不可分离的。在该实施方案中，上采样滤波器不能通过利用1D滤波器的两步上采样来处理。F滤波器可以是线性或非线性的。

根据另一个实施方案，上采样滤波器系数在比特流中被编码。在变体中，即使参考图片和当前图片具有相同大小，上采样滤波器系数也可被编码。在比特流中，对原始图片(上采样之后)的大小进行编码。原始图片的大小可以是与上采样滤波器相关联的参数。上采样滤波器系数和/或原始大小可在例如APS(自适应参数集，例如在VVC标准中用于传输自适应环路滤波器系数)、切片标头、图片标头或PPS中被编码。可能存在未在比特流中被编码的上采样滤波器系数的默认值。

滤波器系数可按图片、按一个图片中的区域、按不同图片中的若干图片或若干区域组成的组来导出。

图12示出了根据实施方案的用于确定上采样滤波器的方法1200的示例。可使用若干上采样滤波器。可通过分类过程来控制对要使用的上采样滤波器的选择。

根据变体，当上采样处于用于预测当前图片的运动补偿的环内时，对要由当前图片使用的参考图片的上采样是响应于确定(1210)参考图片分辨率小于当前图片来执行。

分类过程确定(1220)每个参考样本或参考样本组(例如一组4x4个样本)的类别索引。一个滤波器与一个类别索引相关联。在图14A的示例中，示出了要插值的区域，黑色样本示出了已经确定了类别索引的参考样本，以及要被插值的样本的示例(1,2,3)。

对于要在上采样的图片中插值的每个样本，确定一组对应的共址参考样本。例如，图14A示出了与要被插值的样本3相关联的共置参考样本(虚线框中的黑色样本)的示例。与要插值的样本的共址参考样本相关联的类别索引允许导出用于要插值的样本的一个单一类别索引值。例如，其可以是与要插值的当前样本最接近的共址参考样本的类别索引值，或者是在预定相对位置处的类别索引值，或者是若干共址参考样本的类别索引值的平均值/中值。

对于要插值的每个样本，基于为要插值的样本导出的类别索引来选择(1230)上采样滤波器。由于分类是对要上采样的参考图片的参考样本执行或者在上采样以供显示的情况下对经解码图片执行，因此不需要对用于确定每个要插值的样本的上采样滤波器的类别索引值进行编码。

然后将上采样滤波器应用(1240)于确定要插值的样本的值。

根据实施方案，分类过程(1220)可类似于在VVC标准中的自适应环路滤波器(ALF)中使用的分类过程。重建的样本“t(r)”被分类为K个类别(对于亮度样本，K＝25，对于色度样本，K＝8)，并且利用每个类别的样本来确定K个不同的滤波器。分类是用局部梯度导出的方向性和活动性值进行的。

例如，当图片以缩小版本进行编码、以缩小版本进行解码并被上采样以用于输出(例如用于传输到显示器)时，可应用上述方法1200。

根据另一个实施方案，方法1200还可用于确定可用于对图片进行下采样的下采样滤波器。例如，当要以缩小版本对图片进行编码时，可在其编码之前执行图片的下采样。

图13示出了根据实施方案的用于对图片进行编码/解码的方法的示例。根据该实施方案，确定当前图片是要使用帧间预测来编码还是解码(1305)。

当不使用帧间预测对当前图片进行编码/解码时，例如使用帧内预测对图片进行编码/解码(1340)。

当使用帧间预测对当前图片进行编码/解码时，确定参考图片分辨率是否小于当前图片的分辨率(1310)。如果否，则使用存储在DPB中的参考图片对当前图片进行编码/解码(1340)。当参考图片具有比当前图片大的大小时，在对当前图片进行编码/解码时，利用来自VVC标准的常规RPR(参考图片重采样)运动插值过程来执行缩小。

当参考图片具有比当前图片更小的大小时(1310)，利用根据本文提出的实施方案中的任一个实施方案确定的上采样滤波器来执行放大(1320)。在对当前图片进行编码/解码时(1340)，可在运动补偿过程内动态地进行利用滤波器的上采样，或者可在对当前帧进行编码/解码(1340)并将其存储在DPB中(1330)之前，对DPB的参考图片进行放大(1320)。

在后一种情况下，DPB可包含不同分辨率的参考图片的几个实例，并且与没有RPR的编码/解码(1340)相比，运动补偿没有改变。

根据实施方案，上采样滤波器是基于维纳的自适应滤波器(WF)。例如，系数是以与VVC标准中的ALF的系数类似的方式而确定的。

在VVC中，环内ALF滤波器(自适应环路滤波)是线性滤波器，其目的是减少重建的样本上的编码伪影。滤波器的系数c_n被确定为使得通过使用基于维纳的自适应滤波器技术来最小化原始样本s(r)与经滤波样本t(r)之间的均方误差。

其中：

r＝(x,y)是属于待经滤波区域“R”的样本位置。

原始样本：s(r)

待经滤波样本：t(r)

具有N个系数的FIR滤波器：c＝[c₀,…c_N-1]^T

滤波器抽头位置偏移：{p₀,p₁,…p_N-1}，其中p_n表示第n个滤波器抽头对r的样本位置偏移。该组抽头位置也可被称为滤波器“形状”。

经滤波样本：f(r)

为了求出s(r)和f(r)之间的最小误差平方和(SSE)，可确定SSE关于c_n的导数并且令导数等于零。然后，通过求解以下等式来获得系数值“c”：

[Tc].c^T＝v^T (等式3)

其中：

在VVC中，可在比特流中对ALF的系数进行编码，使得其可动态地适应于视频内容。还存在一些默认系数，并且编码器指示每个CTU将使用哪一组系数。

在VVC中，使用对称滤波器，如图11的上部部分所示，并且一些滤波器可通过旋转从其他滤波器获得，如图11的下部部分所示。图11的上部部分所示的滤波器中的每个系数与一个或两个位置p(x,y)相关联。例如，令p9(0,0)和p3(0,-1)或p3(0,1)表示c9和c3的位置。在对角线变换的情况下，位置p(x,y)移动到p(y,x)，在垂直翻转变换的情况下，位置p(x,y)移动到p(-x,y)，并且在旋转的情况下，位置p(x,y)移动到p(y,-x)。

根据实施方案，用于确定ALF系数的上述方法被用于确定上采样滤波器系数。

根据实施方案，每个上采样阶段可具有至少一个WF。要插值的样本的相位允许确定要使用的上采样滤波器(1230)。图14A中所描绘的示例对应于在水平方向和垂直方向上进行的2次上采样。黑点是经解码图片(参考图片或要向上采样以供显示的解码图片)的重建样本t(r)，并且白点对应于待经插值样本f(r’)(缺失的样本)。于是，“r’”可不同于“r”。在该示例中，存在3个相位{0,1,2,3}。相位0具有与重建样本相同的位置(r'＝r)。对应于相位-0的WF可被省略(推断为相同)。

(等式2)被修改如下(1240)：

在(等式3)中，“v”的表达式被修改如下：

其中r’＝(x,y)是属于待经插值区域“R'”的样本位置。

根据变体，仅对经放大的图片中的缺失点r(x,y)(即，在缩小图片中具有非共址点的点)进行插值。在另一变体中，对所有位置r(x,y)进行插值，即，对缺失点和在缩小图片中具有共址点的点进行插值。

在变体中，对应于一些相位子集的一些样本仅利用WF滤波器来进行插值，而其他相位则利用常规可分离1D滤波器来进行插值。例如，在图14A中，在第一步骤中利用WF对相位0和1进行插值，并且使用相位0和1的经滤波样本利用水平1D滤波器对接下来的相位2、3进行插值。或者相反地，相位0和2利用WF来进行插值，并且接下来的相位1、3利用1D垂直滤波器来进行插值。

在图14A中，示出了大小为4×4的正方形滤波器形状，但是其可具有不同的形状。图14B-E示出了可用于对具有相位3的样本进行插值的不同形状，滤波器形状由黑色样本示出，黑色样本表示要用于对具有相位3的样本进行插值的重建样本。

图14F和图14G示出了可用于对具有相位2的样本进行插值的水平滤波器形状的其他示例。图14H示出了可用于对具有相位1的样本进行插值的垂直滤波器形状的另一示例。图14I示出了可用于对具有相位3的样本进行插值的中心滤波器形状的另一示例。

形状可取决于类别和/或相位。类似于ALF，一些形状/类别的系数可与其他类别/形状相同，但通过旋转获得，并且一种形状的系数可通过对称获得。例如，在90°旋转之后，图14B的形状的系数可与图14C的形状相同。

在变体中，进行参考样本的分类(1220)。对于每个类别，使用不同的上采样WF。在另一变体中，分类可与ALF所使用的分类相同。

图15示出了根据实施方案的用于确定在编码器侧使用的上采样滤波器系数的方法1500的示例。

原始图片被缩小(1510)和编码(1520)。来自经编码图片的重建样本按类别进行分类(1530)。针对重建图片的区域R(例如针对CTU或一组CTU)确定(1540)滤波器系数集合F0。滤波器系数集合F0包括用于每个类别和相位的上采样滤波器，其中F0＝{g₀₀,g₀₁,…,g_0M}，其中M是类别或相位的数量或者类别和相位的组合的数量，在每个类别和相位关联一个滤波器的情况下。如上所述，集合F0的滤波器是由(等式3、等式5)确定。

所确定的上采样滤波器F0被应用(1550)于使用等式4来获得重建图片的区域R的经上采样区域R^up的样本f0(r’)。

其他上采样滤波器Fi类似地被应用(1555)于确定重建图片的区域R的经上采样区域R^up的样本fi(r’)，其中Fi＝{g_i0,g_i1,…,g_iM}并且i＝{1,…L}，其中L是已经被解码器传输或已知的每个类别和/或相位的可能滤波器的数量。有利地，失真可直接从系数和原始样本s(r’)的值导出。

对用于类别/阶段的滤波器的选择可通过找出对新的上采样滤波器g_0s进行编码与针对每个类别/相位s重新使用默认的或先前传输的滤波器值g_is(i＝{1,…L})之间的最佳权衡(1560)(例如，使用速率失真拉格朗日成本)来确定。失真是经上采样的重建区域与原始图片中的对应区域之间的差(例如：L1或L2范数)。

如果针对类别/相位s所确定的滤波器g_0s的速率失真成本低于滤波器g_is的速率失真成本中的任一者，则在比特流中对滤波器g_0s的系数进行编码(1570)。

对于每个类别/阶段s，在用于区域R的比特流中对提供最低速率失真成本的滤波器的索引I(其中i＝0…L)进行编码(1580)。

在一些实施方案中，区域R可以是重建图片中的区域，是整个图片，是不同图片中的一组若干图片或一组若干区域。

上面在每个类别和/或相位存在一个滤波器的情况下描述了用于确定要用于区域R的滤波器的方法。在F0和Fi分别包括单个滤波器的情况下，可应用类似的方法。

在变体中，可使用迭代优化算法(例如：利用梯度下降)通过机器学习来完成对滤波器系数的确定。当R较大时，这可能具有在Tc和v没有数值限制的情况下学习大量样本/图像的优点。

根据实施方案，即使经编码图片对应于如图16和图17所示的经下采样的图片，重建的上采样图片也被存储在DPB中。根据该实施方案，DPB仅包括高分辨率的参考图片。

图16和图17分别示出了根据实施方案的用于对视频进行编码的方法1600和用于对视频进行解码的方法1700。原始图片可以较低分辨率或高分辨率来编码。

原始高分辨率图片在编码(1610)之前由编码器进行下采样(1660)。上采样滤波器系数可如上所述那样被导出(1640)，并且重建的图片在存储在DPB(1620)中之前被上采样(1650)。然后应用常规RPR运动补偿(参考图片是高分辨率，当前图片是低分辨率)(1630)。

在解码阶段，从比特流中解码缩小图片(1710)，并且如果在比特流中存在上采样滤波器系数，则对上采样滤波器系数进行解码(1740)。对低分辨率解码图片进行上采样(1750)并存储在DPB中(1720)。然后应用常规RPR运动补偿(参考图片是高分辨率，当前图片是低分辨率)(1730)。在变体中，低分辨率解码图片被存储在DPB中，并且上采样的解码图片仅用于显示。

如果以高分辨率对原始图片进行编码，则绕过下采样(1660)和上采样(1650,1750)。

注意，在变体中，上采样滤波器具有预定的默认系数，并且不存在/绕过步骤1640和1740。

用于图像恢复的后滤波

在视频标准(例如，HEVC、VVC)中，对重建图片应用恢复滤波器以减少编码伪影。例如，已在HEVC中引入样本自适应偏移(SAO)滤波器以减少重建图片中的振铃和条带伪影，从而补充去块滤波器(DBF)，去块滤波器(DBF)专门减少块边界处的伪影。在VVC中，附加自适应环路滤波器(ALF)尝试使用基于维纳的自适应滤波器系数来最小化原始样本与重建样本之间的均方误差。SAO和ALF采用重建样本的分类来选择要应用的滤波器。

ALF分类

如上所述，ALF是用于重建图像恢复的特定后滤波器。ALF将样本分类成K个类别(作为示例：对于亮度样本，K＝25)或K个区域(作为示例：对于色度样本，K＝8)，并且利用每个类别或区域的样本来确定K个不同滤波器。在类别的情况下，亮度样本的分类是用局部梯度导出的方向性和活动性值进行的。

在VVC中，可在比特流中对ALF的系数进行编码，使得其可动态地适应于视频内容。这些系数可被存储以重新用于其他图片。还存在一些默认系数，并且编码器指示每个CTU将使用哪一组系数。

在VVC中，使用对称滤波器(如图11的顶部部分所示)，并且一些滤波器系数可通过旋转从其他滤波器系数获得(如图11的底部部分所示)。

运动补偿滤波和SIF

在混合视频编码中，帧间预测利用从先前重建的参考图片提取的参考块的运动补偿来预测当前块。当前块和参考块之间的位置差是运动向量。

运动向量可具有子像素精度(例如：VVC中的1/16)，并且运动补偿过程选择具有参考图片中的对应子像素位置(θ_x,θ_y)的插值滤波器，如图6所示。传统上，为了降低实施复杂性，利用可分离的滤波器来执行运动补偿插值滤波：一个水平滤波器和一个垂直滤波器。

为了提高编码效率，对于一些子像素位置，编码器可在若干滤波器中进行选择并且在比特流中用信号通知。例如，在VVC标准中，对于1/2子像素位置，可在两个插值滤波器(正则滤波器或高斯滤波器)之间进行选择。此类工具也被称为切换插值滤波器(SIF工具)。高斯滤波器是一种低通滤波器，与正则滤波器相比，其能平滑高频。

根据ALF后滤波，当待被滤波的样本(或样本组)被预分类并且该分类用于为每个样本(或样本组)选择一个特定滤波器系数集合时，在滤波过程中获得更好的效率。在编码器侧，分类可用于确定滤波器的系数，这些系数通过使用基于维纳的自适应滤波器技术来最小化原始样本“s(r)”与经滤波样本“t(r)”之间的均方误差(如在例如C.Tsai等人的以下文章中所述，“Adaptive Loop Filtering for Video Coding(用于视频编码的自适应环路滤波)”，IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING(IEEE信号处理专题期刊)，第7卷，第6期，2013年12月)。

然而，样本的分类显著增加了每个样本的操作次数。

在VVC中，只有ALF使用分类。SIF工具发信号通知每个CU针对运动补偿要使用哪个滤波器，但是相同的滤波器用于构建预测单元的所有预测样本。对于RPR，以参考块大小和当前块大小之间的比率为每个图片选择单组重新缩放插值滤波器，并且利用该单一滤波器对所有样本进行滤波。一组重新缩放滤波器针对每个相位包含要使用的滤波器的系数。

根据本原理的一个方面，提供了一种用于对视频进行编码/解码的方法，其中参考图片的样本分类用于在预测视频的图片的块时选择至少一个运动补偿插值滤波器。

根据实施方案，对于来自需要被插值的参考图片的每个样本或样本组，确定样本所属的类别(根据对参考图片执行的分类)。然后，选择与该类别相关联的插值滤波器，并且使用所选择的滤波器的系数对样本进行滤波。

根据本原理的另一方面，提供了一种用于对视频进行编码/解码的方法，其中重建图片的样本分类在编码器/解码器的不同编码/解码模块之间进行共享。例如，对参考图片进行分类，并且然后使用该分类来选择在使用参考图片的新图片的编码/解码操作(诸如重采样滤波或运动补偿插值滤波)期间使用的至少一个滤波器。

根据另一示例，对重建图片进行分类，并且然后使用该分类来选择至少一个滤波器，该至少一个滤波器在对重建图片的编码/解码操作(诸如后滤波和/或用于显示的重采样)期间和/或在将重建图片用作参考图片的新图片的编码/解码操作(诸如重采样滤波或运动补偿插值滤波)期间使用。例如，这可对每个样本(或样本组)进行，样本(或样本组)分类允许选择要与该样本(或样本组)一起使用的滤波器。

传统上，滤波器包括若干系数，每个系数被应用于正被滤波的当前样本的相邻样本，相邻样本是根据所选择的滤波器形状而确定的，滤波器形状的示例在图11中给出。

根据实施方案，为了在任何编码/解码模块之间共享分类，分类的结果被存储在可由编码/解码模块中的任何一者访问的公共空间中，诸如存储参考图片的经解码图片缓冲器(DPB)。

根据本原理，样本分类对滤波器选择的能力被用于运动补偿插值滤波器和重采样滤波器，同时保持相对小的复杂性。这是通过共享用于若干滤波目的的样本分类来完成的：恢复滤波器(例如：ALF或双边滤波器)、MC滤波、重采样滤波器。在实施方案中，分类可被存储在DPB中。

在编码器处，重建样本的分类允许为每个样本类别导出专用滤波器。这可通过使用例如基于维纳的自适应滤波器系数来最小化属于一个类别的原始样本和重建样本之间的均方误差来完成。

接着，在解码器侧，通过分类过程来控制对要使用的滤波器的选择。例如，分类过程确定每个样本的类别索引，并且一个滤波器与一个类别索引相关联。

在一些变体中，分类是按样本组而不是按样本进行的。例如，样本组是2×2区域。

插值滤波器的分类

图18示出了根据实施方案的用于对视频进行编码或解码的方法1800。根据该实施方案，定义了一组插值滤波器，包括用于每个类别索引的插值滤波器。插值滤波器可按与ALF滤波器相同的方式来确定，并且当需要适应内容时，可将新的插值滤波器的系数传输到解码器。

参考图片被输入到该过程。参考图片的样本被分类(1810)。然后，在1820处，执行块的运动补偿，以确定对要编码或要解码的当前块的预测。

对于要编码或要解码的视频块，获得运动向量。该运动向量允许确定用于预测该块的参考图片的一部分或块。

当运动向量指向子样本位置时，如图6所示，必须对参考图片的运动补偿部分的样本进行插值，以确定用于预测的块样本。根据本原理，基于分类来确定用于每个子样本的插值滤波器(1830)。

因此，块的预测被确定(1840)为参考图片的插值样本。

根据实施方案，为了确定插值滤波器(1830)，对于参考图片的运动补偿部分的每个样本，例如根据与参考图片中的样本位置处的一个或多个相邻样本相关联的一个或多个类别索引来确定类别索引。然后，使用针对子样本确定的类别索引来为要插值的每个子样本选择插值滤波器。然后，通过利用为该子样本选择的插值滤波器对参考图片的运动补偿部分的每个子样本进行插值来生成(1840)对块的预测。最后，使用该预测来对块进行编码或解码(取决于该方法是在编码器处还是在解码器处实现)(1850)。在编码时，确定原始块与其预测之间的残差，并对其进行编码。在解码时，残差被解码并被添加到预测中以重建块，对块的预测是利用与编码器相同的过程来生成。

根据本原理的另一方面，在编码器或解码器的编码/解码模块之间共享相同的样本分类。针对使用滤波器的每一种编码或解码操作(诸如，运动补偿插值、重采样、ALF)定义一组滤波器。

用于插值和重采样滤波器的相同分类

图19示出了根据另一个实施方案的用于对视频进行编码或解码的方法1800的示例。为了针对运动补偿(MC)插值(1940)滤波器和重采样(1930)滤波器两者利用样本分类对滤波器选择的能力，可执行并使用参考图片(19810)的共同分类。

有利地，对整个重建图片进行分类，并且存储(1920)每个样本的分类，使得该分类可由运动补偿插值滤波器和重采样滤波器过程使用。在重采样是在MC过程(1950)内隐式地完成的情况下，分类被直接输入到MC。

根据实施方案，分类与参考图片一起被存储在DPB中，使得其可被其他过程重新使用。

用于插值、重采样滤波器和后滤波的相同分类

图20示出了根据另一个实施方案的用于对视频进行编码或解码的方法2000的示例。在该变体中，在应用恢复滤波器(也称为后滤波器，PF)(例如：ALF)(2050)之前对重建图片执行分类(2030)。然后，编码器可使用该分类来导出后滤波器(例如/ALF)的滤波器系数(2040)。该分类用于选择要由后滤波(2050)使用的滤波器。有利地，该分类也被重采样滤波或运动补偿插值滤波使用，使得仅执行一个单一分类阶段(2030)。注意，在该变体中，其他过程(例如：重采样滤波或运动补偿插值滤波)使用在应用恢复滤波器(后滤波)之前进行的分类，而其他过程使用恢复的图片样本(在应用后滤波之后)。

根据实施方案，分类可被存储在DPB中(2020)，使得其可被其他过程重新使用。在变体中，如果图片仅用作参考(2060)，则进行DPB中的存储。

回路外重采样

在RPR的情况下，可不指定经解码图片的重采样过程(图5：540)。图21示出了根据另一个实施方案的用于对视频进行解码的方法2100的示例。对图片进行解码(2110)，并且对经解码图片的样本进行分类(2130)。基于分类来应用后滤波器(2150)，并且最终将分类存储在DPB中，使得该分类可用于将经解码图片用作参考图片的其他过程。

对要使用的重采样滤波器(例如：上采样)的选择可由分类过程(2130)控制。分类过程确定每个样本(或样本群组)的类别索引，并且一个滤波器与一个类别索引相关联。滤波器索引允许选择重采样滤波器(2160)。

应当理解，上述编码方法或解码方法可在关于图2和图3描述的编码器200或解码器300中实现，用于在/从比特流中对视频进行编码或解码。

在实施方案中，在图22中所示，在两个远程设备A与B通过通信网络NET进行传输的环境中，设备A包括与存储器RAM和ROM相关的处理器，该存储器被配置为实现根据与图1至图21一起描述的实施方案中的任一个实施方案的用于对视频进行编码的方法，并且设备B包括与存储器RAM和ROM相关的处理器，该存储器被配置为实现根据关于图1至图21所描述的实施方案中的任一个实施方案的用于对视频进行解码的方法。

根据示例，网络是广播网络，适于将表示视频的经编码的数据从设备A广播/传输到包括设备B的解码设备。

旨在待由设备A发射的信号携带至少一个包括表示视频的经编码的数据的比特流。可从本发明原理的任何实施方案生成比特流。

图23示出了通过基于分组的传输协议发射的此类信号的语法的示例。每个已传输的分组P包括报头H和有效载荷PAYLOAD。在一些实施方案中，有效载荷PAYLOAD可包括根据上述实施方案中的任一个实施方案进行编码的已编码视频数据。在一些实施方案中，信号包括如上确定的滤波器(上采样、插值)系数。

各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本申请中描述的各种具体实施的解码器执行的过程，例如，对上采样滤波器系数进行解码、对经解码图片进行上采样。

作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本申请中描述的各种具体实施的编码器执行的过程，例如，确定上采样滤波器系数、对经解码图片进行上采样。

作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

注意，本文所使用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

本公开已描述了例如可被传输或存储的各种信息，诸如例如语法。此信息能够以多种方式封装或布置，包括例如视频标准中常见的方式，诸如将信息放入SPS、PPS、NAL单元、标头(例如，NAL单元标头或切片标头)或SEI消息中。其他方式也是可用的，包括例如用于系统级或应用级标准的通用方式，诸如将信息放入以下中的一者或多者：

a.SDP(会话描述协议)，其为用于描述多媒体通信会话以用于会话通知和会话邀请的一种格式，例如，如在RFC中所述并与RTP(实时传输协议)传输结合使用。

b.DASH MPD(媒体展示描述)描述符，例如如在DASH中使用并且通过HTTP传输，一种与表示或表示的集合相关联以向内容表示提供附加的特性的描述符。

c.RTP标头扩展，例如，如在RTP流式传输期间使用。

d.ISO基础媒体文件格式，例如，如在OMAF中使用并且使用box，该box是由唯一类型标识符和长度定义的面向对象的构建块，在某些规范中也称为“atom”。

e.通过HTTP传输的HLS(HTTP实时流式传输)清单。例如，清单可与内容的版本或版本集合相关联，以提供版本或版本集合的特性。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

一些实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，

该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器发信号通知多个上采样滤波器系数中的特定一个系数。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。

我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：

·根据所述实施方案中任一项，对视频进行编码/解码，其中原始图片能够以高分辨率或低分辨率进行编码。

·根据所述实施方案中任一项，根据缩小的解码图片重建图片。

·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。

·包括传递根据所述实施方案中任一项生成的信息的语法的比特流或信号。

·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一项所述的创建和/或发射和/或接收和/或解码。

·根据所述实施方案中任一项所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·根据所述实施方案中任一项利用上采样对图片执行重建的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所述实施方案中任一项利用上采样对图片执行重建并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的电视机、机顶盒、移动电话、平板电脑或其他电子设备。

·选择(例如，使用调谐器)信道以接收包括编码图像的信号并且根据所述实施方案中任一项利用上采样对图片执行重建的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·通过空中接收(例如，使用天线)包括编码图像的信号并且根据所述实施方案中任一项利用上采样对图片执行重建的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所述实施方案中任一项，对视频进行编码/解码，其中在编码过程或解码过程中共享图片的相同分类。

·根据所述实施方案中任一项，对视频进行编码/解码，其中当要对子样本进行插值时，使用分类来选择插值滤波器。

·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。

·包括传递根据所述实施方案中任一项生成的信息的语法的比特流或信号。

·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一项所述的创建和/或发射和/或接收和/或解码。

·根据所述实施方案中任一项所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·根据所述实施方案中任一项对图片执行重建的电视机、机顶盒、移动电话、平板电脑或其他电子设备。

·根据所述实施方案中任一项对图片执行重建并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·选择(例如，使用调谐器)信道以接收包括编码图像的信号并且根据所述实施方案中任一项对图片执行重建的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·通过空中接收(例如，使用天线)包括编码图像的信号并且根据所述实施方案中任一项对图片执行重建的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims (31)

1.一种包括对视频进行编码的方法，其中对所述视频进行编码包括：

-对第一图片的样本进行分类，

-针对所述第一图片的至少一部分，基于所述分类来确定第一滤波器，所述第一滤波器用于所述第一图片或第二图片的第一编码操作，

-基于所述分类来确定第二滤波器，所述第二滤波器用于所述第一图片或所述第二图片的第二编码操作。

2.一种装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为对视频进行编码，其中对所述视频进行编码包括：

-对第一图片的样本进行分类，

-针对所述第一图片的至少一部分，基于所述分类来确定第一滤波器，所述第一滤波器用于所述第一图片或第二图片的第一编码操作，

-基于所述分类来确定第二滤波器，所述第二滤波器用于所述第一图片或所述第二图片的第二编码操作。

3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述分类被存储在存储着参考图片的经解码图片缓冲器中。

4.根据权利要求1或3所述的方法或根据权利要求2或3所述的装置，其中所述第一图片是经编码-经解码图片。

5.根据权利要求1或3至4中任一项所述的方法或根据权利要求2至4中任一项所述的装置，其中所述第一图片是参考图片。

6.根据权利要求1或3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中所述第一编码操作，相应地所述第二编码操作，至少是以下项中的操作：

-图片重采样，

-运动补偿插值滤波，

-后滤波。

7.根据权利要求1或3至6中任一项所述的方法或根据权利要求2至6中任一项所述的装置，其中所述第一滤波器和所述第二滤波器是基于所述分类分别从为所述第一编码操作定义的第一组滤波器和为所述第二编码操作定义的第二组滤波器中选择的。

8.根据权利要求1或3至7中任一项所述的方法或根据权利要求2至7中任一项所述的装置，其中所述第二编码操作提供所述第一图片或所述第二图片的修改部分，所述方法还包括或所述一个或多个处理器被进一步配置用于：

-使用所述修改部分来确定对第三图片的至少一个块的预测，

-使用所述预测对所述至少一个块进行编码。

9.一种包括对视频进行解码的方法，其中对所述视频进行解码包括：

-对第一图片的样本进行分类，

-针对所述第一图片的至少一部分，基于所述分类来确定第一滤波器，所述第一滤波器用于所述第一图片或第二图片的第一解码操作，

-基于所述分类来确定第二滤波器，所述第二滤波器用于所述第一图片或所述第二图片的第二解码操作。

10.一种装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为对视频进行解码，其中对所述视频进行解码包括：

-对第一图片的样本进行分类，

-针对所述第一图片的至少一部分，基于所述分类来确定第一滤波器，所述第一滤波器用于所述第一图片或第二图片的第一解码操作，

-基于所述分类来确定第二滤波器，所述第二滤波器用于所述第一图片或所述第二图片的第二解码操作。

11.根据权利要求9所述的方法或根据权利要求10所述的装置，其中所述分类被存储在存储着参考图片的经解码图片缓冲器中。

12.根据权利要求9或11所述的方法或根据权利要求10或11所述的装置，其中所述第一图片是经解码图片。

13.根据权利要求9或11至12中任一项所述的方法或根据权利要求10至12中任一项所述的装置，其中所述第一图片是参考图片。

14.根据权利要求9或11至13中任一项所述的方法或根据权利要求10至13中任一项所述的装置，其中所述第一解码操作，相应地所述第二解码操作，至少是以下项中的操作：

-图片重采样，

-运动补偿插值滤波，

-后滤波。

15.根据权利要求9或10至14中任一项所述的方法或根据权利要求10至14中任一项所述的装置，其中所述第一滤波器和所述第二滤波器是基于所述分类分别从为所述第一解码操作定义的第一组滤波器和为所述第二解码操作定义的第二组滤波器中选择的。

16.根据权利要求9或10至15中任一项所述的方法或根据权利要求10至15中任一项所述的装置，其中所述第二编码操作提供所述第一图片或所述第二图片的修改部分，所述方法还包括或所述一个或多个处理器被进一步配置用于：

-使用所述修改部分来确定对第三图片的至少一个块的预测，

-使用所述预测对所述至少一个块进行解码。

17.根据权利要求9或10至16中任一项所述的方法或根据权利要求10至16中任一项所述的装置，其中所述第一编码操作提供所述第一图片或所述第二图片的修改部分，所述方法还包括或所述一个或多个处理器被进一步配置用于：

-使用基于所述分类而确定的至少一个滤波器来对所述修改部分进行重采样，

-将所述重采样的修改部分传输到显示器。

18.一种包括对视频进行编码或解码的方法，其中针对所述视频的至少一个块，对所述视频进行编码或解码包括：

-对参考图片的样本进行分类，

-基于所述分类来选择至少一个运动补偿插值滤波器以用于预测所述视频的所述块，

-基于所述预测对所述块进行编码或解码。

19.一种装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为对视频进行编码或解码，其中针对所述视频的至少一个块，对所述视频进行编码或解码包括：

-对参考图片的样本进行分类，

-基于所述分类来选择至少一个运动补偿插值滤波器以用于预测所述视频的所述块，

-基于所述预测对所述块进行编码或解码。

20.根据权利要求18所述的方法或根据权利要求19所述的装置，其中基于所述分类来选择至少一个运动补偿插值滤波器以用于预测所述视频的所述块包括：

-使用所述至少一个块的至少一个运动向量来确定所述参考图片的至少一部分，

-针对所述参考图片的所述至少一部分，基于与所述参考图片的所述至少一部分中的样本相关联的类别索引来确定至少一个插值滤波器，

-基于使用所确定的所述至少一个插值滤波器对所述参考图片的所述至少一部分的样本进行滤波来确定针对所述块的预测。

21.根据权利要求18或20所述的方法或根据权利要求19或20所述的装置，其中针对所述参考图片的所述至少一部分，基于所述分类来确定至少一个插值滤波器包括：

-根据与所述参考图片的所述至少一部分中的至少一个相邻样本相关联的至少一个类别索引来确定所述参考图片的所述至少一部分的至少一个子样本的类别索引，

-响应于所确定的类别索引从一组插值滤波器为所述至少一个子样本选择插值滤波器。

22.根据权利要求21所述的方法或装置，其中不同的插值滤波器与每个类别相关联。

23.根据权利要求18、20或21至22中任一项所述的方法或根据权利要求19、21至22中任一项所述的装置，还包括对比特流中的所述一组滤波器中的至少一个插值滤波器的系数进行编码或解码。

24.一种包括具有表示视频的编码数据的比特流的信号，所述信号通过执行根据权利要求1、3至8、18或20至23中任一项所述的方法形成。

25.一种计算机可读介质，所述计算机可读介质包括根据权利要求24所述的比特流。

26.一种计算机可读存储介质，所述计算机可读存储介质具有存储在其上的指令，所述指令用于致使一个或多个处理器执行根据权利要求1、3至8、18或20至23中任一项所述的方法。

27.一种计算机程序产品，所述计算机程序产品包括指令，当所述程序由一个或多个处理器执行时，所述指令致使所述一个或多个处理器执行根据权利要求1、3至8、18或20至23中任一项所述的方法。

28.一种设备，所述设备包括：

-根据权利要求10至17或19至23中任一项所述的装置；以及

-以下各项中的至少一者：(i)天线，所述天线被配置为接收信号，所述信号包括表示视频的数据；(ii)频带限制器，所述频带限制器被配置为将所接收的信号限制为包括表示视频的所述数据的频带；或(iii)显示器，所述显示器被配置为显示所述经解码的视频。

-

29.根据权利要求28所述的设备，所述设备包括电视机、蜂窝电话、平板电脑或机顶盒。

30.一种装置，所述装置包括：

○访问单元，所述访问单元被配置为访问包括根据权利要求24所述的信号的数据，

○发射器，所述发射器被配置为传输所访问的数据。

31.一种方法，所述方法包括：访问包括根据权利要求24所述的信号的数据，以及传输所访问的数据。