CN117813817A - 用于对视频进行编码/解码的方法和装置 - Google Patents

Abstract

提供了用于对视频进行编码/解码的方法和装置。从比特流中对来自视频的图片进行解码，该图片在该比特流中在低于该图片的原始分辨率的分辨率下进行编码。对该图片进行解码还包括将该经解码图片上采样到该原始分辨率，以及将自适应滤波器应用到该经上采样的经解码图片的至少一个分量。根据一些实施方案，该自适应滤波器可在解码/编码过程的环路内或环路外执行。

Description

用于对视频进行编码/解码的方法和装置

技术领域

本发明实施方案整体涉及一种用于视频编码或解码的方法和装置。一些实施方案涉及用于视频编码或解码的方法和装置，其中原始图片和重建图片被动态地重新缩放以进行编码。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用图像内或图像间相关性，然后对在原始块与预测块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

发明内容

根据一个方面，提供了一种用于在第一分辨率下对来自视频的第一图片进行解码的方法，其中对该第一图片进行解码包括：将经解码图片上采样到该第一分辨率，该经解码图片在第二分辨率下进行编码，该第二分辨率低于该第一分辨率；以及将自适应滤波器应用到该经上采样的经解码图片的至少一个分量。

根据另一方面，提供了一种用于对视频进行解码的装置，其中该装置包括一个或多个处理器，其中所述一个或多个处理器被配置用于在第一分辨率下对来自视频的第一图片进行解码，其中对该第一图片进行解码包括：将经解码图片上采样到该第一分辨率，该经解码图片在第二分辨率下进行编码，该第二分辨率低于该第一分辨率；以及将自适应滤波器应用到该经上采样的经解码图片的至少一个分量。

根据另一方面，提供了一种用于对视频的第一图片进行编码的方法，该第一图片具有第一分辨率，对该第一图片进行编码包括：将该第一图片下采样到低于该第一分辨率的第二分辨率；对该经下采样的图片进行编码和重建；将该重建图片上采样到该第一分辨率；以及将自适应滤波器应用到该经上采样的经解码图片的至少一个分量。

根据另一方面，提供了一种用于对视频进行编码的装置，其中该装置包括一个或多个处理器，其中所述一个或多个处理器被配置用于对该视频的第一图片进行编码，该第一图片具有第一分辨率，对该第一图片进行编码包括将该第一图片下采样到低于该第一分辨率的第二分辨率；对该经下采样图片进行编码和重建；将该重建图片上采样到该第一分辨率；以及将自适应滤波器应用到该经上采样的经解码图片的至少一个分量。

根据一个实施方案，将该经滤波的经解码/重建图片存储在该第一分辨率下的经解码图片缓冲器中。

一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，这些指令在由一个或多个处理器执行时使该一个或多个处理器执行根据本文所述的任一实施方案所述的编码方法或解码方法。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据上述方法对视频数据进行编码或解码的指令。一个或多个本发明实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流。一个或多个本发明实施方案还提供了一种用于发送或接收根据上述方法生成的比特流的方法和装置。

附图说明

图1示出了其中可实现本发明实施方案的各方面的系统的框图。

图2示出了视频编码器的实施方案的框图。

图3示出了视频解码器的实施方案的框图。

图4示出了根据一个实施方案的用于对视频进行编码的示例性方法。

图5示出了根据一个实施方案的用于重建视频的示例性方法。

图6示出了与重采样滤波器相关联的采样位置(相位)的示例。

图7示出了根据一个实施方案的解码器的示例。

图8示出了对称滤波器和滤波器旋转的示例。

图9示出了根据一个实施方案的用于对重建图片进行滤波的方法的示例。

图10示出了根据一个实施方案的用于发射ALF滤波器参数的比特流的结构的示例。

图11示出了根据一个实施方案的其中启用了RPR并且对低分辨率图片应用了ALF的解码器的示例。

图12示出了根据一个实施方案的用于对视频进行解码/编码的方法的框图。

图13示出了根据一个实施方案的其中启用了RPR并且在上采样之后对高分辨率图片应用了ALF的解码器的示例。

图14示出了根据一个实施方案的其中启用了RPR并且对低分辨率图片和高分辨率图片应用了ALF的解码器的示例。

图15示出了高分辨率图片的块中的采样位置(相位)的示例。

图16示出了根据一个实施方案的在上采样之前应用相位0的低分辨率ALF以及在上采样之后应用高分辨率ALF的示例。

图17示出了根据一个实施方案的针对虚拟边界处的亮度分量的经修改的ALF滤波的示例。

图18示出了根据本发明原理的示例的通过通信网络进行通信的两个远程设备。

图19示出了根据本发明原理的示例的信号的语法。

具体实施方式

本申请描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。

本申请中描述和设想的方面可以许多不同的形式实现。下面的图1、图2和图3提供了一些实施方案，但是设想了其他实施方案，并且图1、图2和图3的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及传输生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。

如图2和图3所示，本申请中所述的各种方法和其他方面可用于修改视频编码器200和解码器300的模块。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

图1示出了其中可实现各种方面和实施方案的系统的示例的框图。系统100可体现为一种设备，该设备包括下文所述的各种部件，并且被配置为执行本申请所述各方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和服务器。系统100的元件可单独地或组合地体现在单个集成电路、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统100的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统100经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其他系统或其他电子设备。在各种实施方案中，系统100被配置为实现本申请所述的方面的一个或多个方面。

系统100包括至少一个处理器110，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本申请所述的各个方面。处理器110可包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统100包括至少一个存储器120(例如，易失性存储器设备和/或非易失性存储器设备)。系统100包括存储设备140，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备140可包括内部存储设备、附接存储设备和/或网络可访问的存储设备。

系统100包括编码器/解码器模块130，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块130可包括其自身的处理器和存储器。编码器/解码器模块130表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。附加地，编码器/解码器模块130可被实现为系统100的独立元件，或可被结合在处理器110内作为本领域技术人员已知的硬件和软件的组合。

要加载到处理器110或编码器/解码器130上以执行本申请中所述的各个方面的程序代码可存储在存储设备140中，并且随后加载到存储器120上以供处理器110执行。根据各种实施方案，处理器110、存储器120、存储设备140和编码器/解码器模块130中的一者或多者可在本申请中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施方案中，在处理器110和/或编码器/解码器模块130内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其他实施方案中，在处理设备外部的存储器(例如，处理设备可以是处理器110或编码器/解码器模块130)用于这些功能中的一个或多个功能。外部存储器可以是存储器120和/或存储设备140，例如，动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器(诸如RAM)用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。

对系统100的元件的输入可通过如块105中所指示的各种输入设备来提供。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图1中未示出的其他示例包括复合视频。

在各种实施方案中，块105的输入设备具有如在本领域中是已知的相关联的相应的输入处理元件。例如，RF部分可与适合于以下各项的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制到一个频带)；(ii)下变频所选的信号；(iii)再次将频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带；(iv)解调经下变频和频带限制的信号；(v)执行纠错；以及(vi)解复用以选择期望的数据分组流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包含执行这些功能中的各种功能的调谐器，这些功能包含例如下变频接收的信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至期望的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模拟-数字转换器。在各种实施方案中，RF部分包括天线。

另外，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统100连接到其它电子设备的相应接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各个方面可根据需要例如，在单独的输入处理IC内或在处理器110内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理器110内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如，处理器110和编码器/解码器130，该编码器/解码器与存储器和存储元件结合操作以根据需要处理数据流以供在输出设备上呈现。

系统100的各种元件可设置在集成外壳内。在集成外壳内，各种元件可使用合适的连接布置115(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)进行互连并在其间发射数据。

系统100包括通信接口150，该通信接口允许经由通信信道190与其他设备的通信。通信接口150可包括但不限于被配置为通过通信信道190传输和接收数据的收发器。通信接口150可包括但不限于调制解调器或网卡，并且通信信道190可在有线和/或无线介质等内实现。

在各种实施方案中，使用Wi-Fi网络(诸如IEEE 802.11(IEEE是指电气与电子工程师协会))将数据流传输给系统100。这些实施方案的Wi-Fi信号是通过适于Wi-Fi通信的通信信道190和通信接口150来接收。这些实施方案中的通信信道190通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式应用和其它OTT通信。其他实施方案使用机顶盒向系统100提供流式传输的数据，该机顶盒通过输入块105的HDMI连接来递送数据。还有其他实施方案使用输入块105的RF连接向系统100提供流式传输的数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统100可向各种输出设备(包括显示器165、扬声器175和其它外围设备185)提供输出信号。各种实施方案的显示器165包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个显示器。显示器165可以用于电视机、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器165还可与其他部件集成(例如，如在智能电话中)，或可以是独立的显示器(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备185包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备185，该一个或多个外围设备基于系统100的输出来提供功能。例如，碟片播放器执行播放系统100的输出的功能。

在各种实施方案中，控制信号使用信令(诸如AV.Link、CEC或能够在有或没有用户干预的情况下实现设备到设备控制的其它通信协议)在系统100与显示器165、扬声器175或其它外围设备185之间传达。这些输出设备可通过相应的接口160、接口170和接口180经由专用连接通信地耦合到系统100。另选地，输出设备可使用通信信道190经由通信接口150连接到系统100。显示器165和扬声器175可与电子设备(例如，电视机)中的系统100的其他部件集成在单个单元中。在各种实施方案中，显示器接口160包括显示器驱动器，例如，定时控制器(T Con)芯片。

或者，例如，如果输入105的RF部分是单独机顶盒的一部分，则显示器165和扬声器175可与其它部件中的一个或多个部件分开。在显示器165和扬声器175为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供。

该实施方案可通过由处理器110实现的计算机软件，或由硬件，或由硬件和软件的组合来进行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器120可以是适于技术环境的任何类型，并且可使用任何适当的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器110可以是适于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。

根据一个方面，公开了一种用于对视频进行编码/解码的方法，其中为了更好地权衡编码效率，可以动态地重新缩放要编码的原始图片和解码获得的图片。图4和图5示出了根据一个实施方案的用于分别对视频进行编码(400)和解码(500)的示例性方法，其中可对要编码的图像重新缩放以用于诸如在VVC的RPR(用于参考图片重采样)工具中进行编码。例如，此类编码器和解码器可符合VVC标准。

给定由大小为(图片宽度x图片高度)的图片组成的原始视频序列，编码器针对每个原始图片选择用于对帧进行编码的分辨率(即，图片大小)。不同的PPS(用于图片参数集)在比特流中以图片的大小进行编码，并且要解码的图片的切片/图片标头指示在解码器侧使用哪个PPS来对图片进行解码。

诸如HEVC或VVC的一些现有标准未规定分别用作预处理或后处理的下采样器(440)和上采样器(540)功能。

对于每个帧，编码器选择是以原始分辨率还是缩小的分辨率(例如：图片宽度/高度除以2)进行编码。可通过编码或考虑原始图片中的空间和时间活动的两个过程来进行选择。

当编码器选择以缩小的分辨率对原始图片进行编码时，原始图片在被输入到核心编码器(410)之前被缩小(440)以产生比特流。根据一个实施方案，然后，将在缩小的分辨率下重建的图片存储(420)在经解码图片缓冲器(DPB)中以用于对后续图片进行编码。因此，经解码图片缓冲器(DPB)可包含具有与当前图片大小不同的大小的图片。

在解码器处，从比特流中解码(510)图片，并且将在缩小分辨率下重建的图片存储(520)在经解码图片缓冲器(DPB)中以用于对后续图片进行解码。根据实施方案，重建的图片被上采样(540)到其原始分辨率并且例如被传输到显示器。

根据一个实施方案，在要被编码的当前图片使用来自DPB的大小与当前图片不同的参考图片的情况下，在运动补偿过程期间显式地(在运动补偿之前)或隐式地进行参考块的重缩放(430/530)(上缩放或下缩放)以构建预测块。

上采样和下采样滤波器

在传统视频编解码器中，使用线性滤波器来执行重采样过程(下采样和上采样)。优选地，滤波器由连续应用的两个1D重采样滤波器(水平和垂直)组成，以降低复杂度。

重采样滤波器系数取决于经重采样图片中的重建样本位置(也称为样本相位)。例如，图6描绘了水平上采样滤波器的两个相位，而下采样具有一个相位：原始样本在顶线上显示为正方形，其上面显示了应用于原始样本的滤波器系数的示例，经重采样的样本在底线上显示，里面的数字指示样本的相位0、1。一般而言，为了避免混叠，优选在原始采样位置之间选择下采样位置，而一些上采样位置可能与原始样本位于同一位置以避免过度平滑。

系数集与每个采样相位相关联。可能发生重采样值与输入样本相同的情况。这对于上采样通常可能发生。在图6中，描绘了在VVC参考软件的示例中用于下采样和上采样情况的每个相位的系数。在该示例中，相位0上采样与输入相同。

下采样系数：ph0＝{2，-3，-9，6，39，58，39，6，-9，-3，2，0}

上采样系数：ph0＝{0，0，0，64，0，0，0，0}

ph1＝{-1，4，-11，40，40，-11，4，-1}

在VVC中，存在4个环路内滤波器：亮度映射色度缩放(LMCS)、解块滤波器(DBF)、样本自适应偏移(SAO)和ALF(自适应环路滤波)。

图7示出了解码器的示例，其示出了将这些环路内滤波器应用于在对比特流进行熵解码、逆量化(invQ-)、逆变换-T^-1(提供经重建残差、经重建残差的帧内预测或帧间预测以及相加)之后获得的重建图片。

环路内ALF滤波器(自适应环路滤波)是线性滤波器，其目的是减少经重建样本上的编码伪影。

图9示出了根据一个实施方案的用于对重建图片进行滤波的方法900的示例。在编码器侧确定滤波器的系数“cn”(对于亮度分量为920，对于色度分量为930)，以便通过使用基于维纳的自适应滤波器技术来最小化原始样本“s(r)”和滤波样本“f(r))”之间的均方误差。

其中：

r＝(x,y)是属于待经滤波区域“R”的样本位置。

原始样本：s(r)

待经滤波样本：t(r)

具有N个系数的FIR滤波器：c＝[c₀,…c_N-1]^T

滤波器抽头位置偏移：{p₀，p₁，…p_N-1}，其中p_n表示第n个滤波器抽头对r的样本位置偏移。在下文中，抽头位置集也可被称为滤波器“形状”。

经滤波样本：f(r)

为了求出s(r)与f(r)之间的最小误差平方和(SSE)，可计算SSE相对于c_n的导数并将该导数设置为等于零。然后，通过求解以下等式(来自图9的920、930)来获得系数值“c”：

[Tc].c^T＝v^T (等式2)

其中：

根据VVC标准，经重建的色度样本“t(r)”被分类(910)为K个类别(例如，对于亮度样本，K＝25，对于色度样本，K＝1)，并且利用每个类别的样本来确定K个不同的滤波器。分类是用局部梯度导出的方向性和活动性值进行的。

在VVC中，可在比特流中对ALF的系数进行编码，使得其可动态地适应于视频内容。还存在一些默认系数。在940处，编码器选择并指示在920、930处导出的系数与默认系数之间每个CTU要使用哪个系数集，或者CTU是否未被滤波。在950处，将所选择的系数应用于经重建的图片。

在VVC中，可使用对称滤波器(图8的顶部部分)，并且可通过旋转从其他滤波器获得一些滤波器(图8的底部部分)。

CC-ALF

根据一个实施方案，附加的交叉分量滤波器(CC-ALF)可校正色度样本。在960处，确定校正CC-ALF系数。校正是作为位于同一位置的经重建亮度样本的线性组合进行的。在(等式1、等式2)中，s(r)的值为目标(原始)色度样本值，t(r)为ALF(901)之前的亮度样本值，并且f(r)为色度校正。在一个变型中，t(r)为ALF(902)之后的亮度样本值。至于ALF系数，在970处，编码器例如基于速率失真标准来选择CC-ALF系数，然后在980处将这些CC-ALF系数应用于色度分量。

因此在990处获得经滤波的图片。

在编码器侧，在比特流中发射系数选择的信息，必要时还发射滤波器系数。在解码器侧，对重建图片进行滤波的方法最终对应于步骤910、950和980。使用从比特流发射的信息来获得系数。

ALF参数

根据VVC标准，对于给定图片，可将ALF系数编码在一个APS nal单元中。在CTU层级，可从先前APS(自适应参数集)或从一些默认值检索ALF系数。ALF过程以CTU为基础进行。ALF参数有三重(图10示出ALF参数的比特流结构的示例)：

-Alf_ph_param：在图片或切片标头中：指示是否针对每个分量激活ALF和CC-ALF的5个标志：sh_alf_enabled[i＝0,1,2]、sh_alf_cc_cb_enabled_flag、sh_alf_cc_cr_enabled_flag。

-Alf_aps_param：在APS中：一些ALF和CC-ALF系数滤波器被编码：alf_data()

-Alf_ctu_param：对于每个CTU，在CTU标头(经编码图片)中，针对每个分量发信号通知：

ο如果ALF被启用：alf_ctb_flag[i＝0,1,2][ctu]。

ο并且如果是，则针对每个分量使用哪个滤波器索引：alf_luma_fixed_filter_idx(luma)、alf_ctb_filter_alt_idx[0,1][ctu]、alf_ctb_cc_cb_idc[ctu]、alf_ctb_cc_cr_idc[ctu]

还可发信号通知其他参数/语法元素。

在VVC中，Alf_ph_param和Alf_aps_param使用可变长度编码(VLC)编码，而Alf_ctu_param使用熵编码(CABAC)。

VVC中已采用ALF滤波器的设计，以减少用作目标参考的编码器输入图片(也称为原始图片)与经重建/经解码图片之间的编码失真。然而，当RPR被启用时，输入图片是高分辨率(high-res)(用于高分辨率(high resolution))原始图片的缩小版本(低分辨率(low-res)用于低分辨率(low resolution))，而用于显示的期望目标仍然是高分辨率图片。

因此，根据上述实施方案，ALF系数经优化以减少低分辨率图片中的编码伪影，而如图11所示，被传输用于显示的重建图片是经上采样(高分辨率)图片。如图11所示，使用所发射的ALF数据将“常规”ALF应用于经重建的经缩小图片，然后将经滤波的低分辨率图片上采样到高分辨率图片以供显示。

在当前VVC设计中，当针对一些图片启用了RPR时，根据是否针对这些图片激活RPR，经重建的图片可处于较低的空间分辨率(以下为低分辨率)或者处于高空间分辨率(以下为高分辨率)。然而，无论重建图片的分辨率如何，都会对重建图片应用相同的ALF系数。

因此，需要改进现有技术。

提供了一种用于对自适应滤波器参数进行信号通知和编码以减少经上采样的经重建帧的失真的方法。此外，还提供了一些利用自适应后置滤波器进行上采样的方法。

提供了用于对视频进行编码/解码的方法和装置。从比特流中对来自视频的图片进行解码，该图片在该比特流中在低于该图片的原始分辨率的分辨率下进行编码。换句话说，在编码之前已对图片进行了下采样。对该图片进行解码还包括将该经解码图片上采样到该原始分辨率，以及将自适应滤波器应用到该经上采样的经解码图片的至少一个第一分量。在一些实施方案中，自适应滤波器可在解码/编码过程的环路内或环路外执行。

图12示出了根据一个实施方案的用于分别对视频进行解码、编码的方法1200的框图。将重建图片作为输入。在用于对视频进行解码的方法中，从接收到的比特流对视频的当前图片的解码获得重建图片。在用于对视频进行编码的方法中，从视频的当前图片的编码获得重建图片。重建图片已以原始图片分辨率的缩小版本编码在比特流中。换句话说，在编码之前，具有第一空间分辨率的当前图片(高分辨率)图片被下采样到第二空间分辨率，第二空间分辨率低于第一空间分辨率。然后，例如根据来自VVC标准的RPR技术，将缩小的(低分辨率)图片编码在比特流中或者从比特流中解码。

在1210处，将重建图片上采样到第一分辨率，并且在1220处，将自适应滤波器应用到经上采样的重建图片的至少一个分量(亮度、色度)。

在一些实施方案中，可将经上采样的重建图片存储在经解码图片缓冲器中以供将来对其他图片进行编码/解码时用于帧间预测，和/或可将经上采样的重建图片可发射到显示器。

在下文中，“常规ALF”将表示如VVC中所描述的常规ALF(自适应环路滤波器)和CC-ALF(交叉分量自适应环路滤波器)过程，其应用经重建的图片，无论它们的分辨率如何。

在下文中，在使用如VVC标准中所描述的ALF和CC-ALF的上下文中描述了实施方案，应当理解，当与图片的编码组合时，本文描述的原理适用于重建图片的后处理中的环路内或环路外的任何种类的自适应滤波，其中当前图片可按缩小版本进行编码。

在下文中，仅描述解码方法。在编码方法中实现类似的过程，因为编码包括解码的一些部分(用于环路内过程的图片重建)。

上采样滤波器下一ALF

在一个实施方案中，为了改善经上采样的重建图片，可在上采样过程之后应用ALF过程(高分辨率ALF)，如图13所示。图13示出了根据一个实施方案的用于对视频进行解码的方法1300的框图。如图13所示，使用所发射的ALF数据将“常规”(1310)应用于经重建的缩小图片，然后将经滤波的低分辨率图片上采样(1320)到高分辨率图片以供显示。将ALF或自适应滤波器应用于经上采样图片(1330)。在一个变型中，由“常规”ALF滤波的低分辨率图片被存储在DPB中以用于后续图片帧间预测。

在另一变型中，这是在1330处滤波的高分辨率图片，其被存储在DPB中(由图13中的虚线表示)以用于后续图片帧间预测。

在一个变型中，在编码侧，以原始高分辨率图片为目标选择了用于对高分辨率图片进行滤波的系数和滤波器索引。

根据一个变型，可使用用常规ALF过程校正的亮度样本(在图9的990处获得的经滤波图片)来执行另一分类(图9中的910)。或者，在另一变型中，重新使用由常规ALF过程进行的分类(910)来降低复杂度。

上采样过程(上采样滤波器)可由规范指定，也可不由规范指定。根据上述变型，上采样可在环路内执行，也可在编码环路外执行。

可重新使用常规ALF参数的一部分(例如：alf_ctb_flag)，并对其他高分辨率ALF参数进行编码或者对全高分辨率ALF参数进行编码(如以下将进一步解释的)。

alf_ctu_param是基于CTU的。可选择不同于常规CTU大小的CTU大小。其可从以与放大过程相同的比例重新缩放的常规CTU大小中导出。

如果高分辨率ALF具有其自己的参数，则可选择以适当的语法分别启用或禁用常规ALF和高分辨率ALF。在一个变型中，常规ALF过程和高分辨率ALF过程是互斥的(对于同一切片或图片，常规ALF和高分辨率ALF不能同时激活)。在这种情况下，可最大程度地重新使用ALF参数的常规语法，并且比特流中仅存在一个ALF参数集。

在另一变型中，高分辨率图片被存储在DPB中，使得DPB可包含上采样之后的高分辨率图片以及可能的高分辨率ALF。在另一变型中，标志是按图片编码的并且指示高分辨率图片是否应存储在DPB中。

在另一变型中，对上采样模块的输入是在常规ALF之前的经重建样本。然后，低分辨率图片将与常规ALF一起显示，而高分辨率图片将与高分辨率ALF一起显示，但仅应用一个层级的ALF滤波器。

仅单相ALF校正，下一上采样

实验结果表明，常规RPR方案的性能可能较低，特别是对于色度而言。

在另一实施方案中，高分辨率自适应滤波仅为CC-ALF。图14示出了根据一个实施方案的用于对视频进行解码的方法1400的框图。

在一个变型中，在上采样(1430)之前、在常规ALF之后或在常规ALF(1410)之前对经重建的低分辨率图片(1420)执行ALF，并且在上采样(1430)之后对高分辨率图片执行CC-ALF(1440)。在该变型中，低分辨率ALF(1420)不同于常规ALF(1410)，因为其使用不同的目标样本来导出系数，因此低分辨率ALF和常规ALF的系数可能不同。常规ALF使用原始图片的经下采样版本来导出系数。同时，例如，可以高分辨率原始图片样本的一个特定相位X(例如，图15中示出为灰色正方形的相位0样本)为目标来导出低分辨率ALF系数。如图16所示，将低分辨率ALF应用于低分辨率重建样本。有利地，上采样过程将用低分辨率ALF校正的低分辨率样本用于相位X样本，并且用该经校正的(经低分辨率ALF滤波的)相位X样本(利用水平和垂直滤波)导出其他相位样本，从而提供高分辨率图片。接下来，对经上采样(高分辨率)图片应用高分辨率CC-ALF。

在一个变型中，在1440处，可执行ALF加CC-ALF。

在另一变型中，可不执行1410处的常规ALF。

虚拟边界

在VVC标准中，ALF过程适用于虚拟边界。虚拟边界对应于切片或图块边界。出于并行性的原因，不访问虚拟边界之外的样本。在ALF滤波的情况下，为了保持滤波器模式的对称性，不使用与虚拟边界前沿样本对称的样本，如图17中所描绘。

然而，在上采样图片未被存储在DPB中的情况下，上采样过程是任选的(非规范性的)，则其可由外部模块执行。在解码器侧，如以上实施方案中的任一实施方案中所描述的在ALF滤波过程之后的上采样过程对计算能力的要求较低并且可能不再需要并行性。因此，根据另一实施方案，对于本文提供的高分辨率自适应滤波过程，禁用虚拟边界限制过程。

高级语法(HLS)

在一个实施方案中，附加的语法元素允许对所提出的高分辨率(或低分辨率)ALF参数进行信号通知和编码。

例如，创建新的APS类型“ALF_RPR_APS”(如下表1和2的示例所示)。相关联的ALF数据alf_data_rpr()的类型和语法与alf_data()相同，不同之处在于它们分别指代新的高分辨率(或低分辨率)ALF和常规ALF参数。

在一个变型中，不创建新的APS类型，VVC标准中用于ALF参数的“ALF_APS”的类型仍用于高分辨率ALF，但常规ALF使用aps_id的一些值(aps_adaptation_parameter_set_id)，而高分辨率ALF可使用其他值。

表1：支持高分辨率ALF的APS修改语法的示例。

表2：aps_param_type名称的示例

aps_params_type	aps_params_type的名称	APS参数的类型
			0	ALF_APS	ALF参数
1	LMCS_APS	LMCS参数
			2	SCALING_APS	缩放列表参数
3	ALF_RPR_APS	高分辨率ALF参数

在SPS中，添加附加的语法元素sps_alf_rpr_enabled_flag(如下表3所示)，指示当使用RPR对图片进行编码时是否在序列层级上启用高分辨率ALF。在一个变型中，还添加语法元素sps_ccalf_rpr_enabled_flag，以表示当使用RPR对图片进行编码时是否在高分辨率图片上启用CC_ALF，如以下关于图14至图16所解释的。

表3：支持高分辨率ALF的SPS修改语法的示例。

与SPS类似，在Alf_ph_param的切片或图片标头中和在Alf_ctu_param的CTU标头中，可添加附加的语法元素以对高分辨率ALF参数进行编码。

HLS与VVC兼容

在另一实施方案中，定义了与当前VVC兼容的HLS，用于信令和编码新的APS。新APS类型“ALF_RPR_APS”的使用具有与VVC兼容的优点，因为它将被常规VVC解码器丢弃。在一个变型中，除了Alf_aps_param之外，APS还可包括一些Alf_ph_param或Alf_ctu_param参数。

在另一变型中，如果APS类型“ALF_APS”被重新用于高分辨率ALF但具有不同的aps_id值，则常规VVC解码器将不使用具有对应于高分辨率ALF的aps_id的APS，因为该aps_id未被Alf_ph_param引用，也未被Alf_ctu_param参数引用(诸如通过sh_alf_aps_id_luma和sh_alf_aps_id_chroma语法元素，其指示要用于块的aps_id)。

在另一变型中，还可设计携带Alf_ph_param和lf_ctu_param(以及如果不在ALF_RPR_APS或ALF_APS中则携带Alf_aps_param)的专用新SEI NAL单元标签(SEI_RPR_ALF)。其可对用于相关联图片的对应ALF参数或用于以图片POC参考的若干图片的ALF参数列表进行分组。该SEI将被常规VVC解码器丢弃。

在一些变型中，这些APS和SEI可被分组为SEI嵌套消息或单个SEI。

下表4描绘了支持用于RPR编码图片的高分辨率ALF并且包含Alf_ph_param和Alf_ctu_param中的一些以及一些附加的有用参数的SEI语法的示例。在该示例中，SEI包含与若干图片相关的信息，但在一个变型中，SEI可包含仅关于一个图片的信息。可通过重新布置、删除或添加一些参数来导出其他示例。

表4：支持高分辨率ALF的SEI的示例。

在该示例中，Alf_ctu_param的编码使用熵编码(CABAC)。在一个变型中，它们使用可变长度编码(VLC)编码。

语法元素XXXX[h]与具有索引h和poc[h]的图片相关联。

语法元素的语义如下：

alf_rpr_enabled_flag和ccalf_rpr_enabled_flag分别与VVC规范中应用于高分辨率ALF的sps_alf_enabled_flag和sps_ccalf_enabled_flag具有相同的语义。

log2_ctu_size_minus5加5允许在上采样后导出ALF块大小alfCtbSizeY。log2_ctu_size_minus5的值应在0至2的范围内(包括端值在内)。变量alfCtbLog2SizeY和alfCtbSizeY的推导如下：

alfCtbLog2SizeY＝log2_ctu_size_minus5+5

alfCtbSizeY＝1<<alfCtbLog2SizeY

nb_rpr_ctu_x_minus1加1和nb_rpr_ctu_y_minus1加1分别指定上采样之后水平和垂直的ALF块大小的数量。

num_alf_rpr_param_minus1加1指定SEI中包含的基于图片的alf参数的数量。

pocBase和delta_poc[h]允许如下推导与索引h相关联的图片的poc[h]：

poc[h]＝pocBase+delta_poc[h]

其他语法元素XXXX[h]使用与VVC规范中的对应符号XXXX相同的语义，但当使用RPR对图片进行编码时，其应用于本文提出的高分辨率ALF过程。

根据另一实施方案，可利用VVC可缩放语法来模拟放大图片的后滤波。在该实施方案中，增强层(EL)具有分别包含最大图片大小和当前图片大小的SPS和PPS，其可等于高分辨率图片。当基层(BL)图片以低分辨率进行编码时，当前图片的EL解码在运动补偿阶段期间经由RPR过程使用隐式上采样，当CU在帧间预测中被编码并且使用层间参考图片(ILRP)作为运动为零的单向参考图片时，层间参考图片是从基层重建的低分辨率图片。

因此，在所有CU都用ILRP预测并且残差等于零的特定情况下(例如：CU以跳跃模式编码，cu_skip_flag＝1)，EL中CU的重建包括隐式RPR上采样加上后滤波过程。然后，如果EL中的ALF参数已如上述实施方案中的任一实施方案中所解释的那样被确定，则将ALF应用于经上采样的经重建的低分辨率(基层图片)。

然而，这种重新使用现有VVC语法的方法的一个缺点是，解码设备应实例化两个解码器(每层一个解码器)和相关联资源(存储器等)，而仅增强层的分辨率才是需要显示的。另外，解码实际上只需要运行上采样(利用RPR进行的运动补偿)和后滤波级。

在一个实施方案中，这些缺点可通过高级语法来利用，该高级语法发信号通知EL编码层视频序列(CLVS)中使用的编码模式的一些限制，诸如所有CU都用编码模式的子集(例如：帧间跳跃模式)进行编码。可在切片或图片层级(例如：在图片标头、切片标头中)或在指示下一图片(图片单元、PU)或图片组或该层的所有图片以一个特定编码模式(例如：“跳跃模式”)进行编码的特定NAL单元(例如：SEI、VPS)中执行信令，但可启用后滤波。其他限制可能适用于此信令，诸如禁用DBF(解块滤波器)或SAO。在一个变型中，SPS和PPS的无用语法元素不存在(例如：未使用的其他编码模式参数)。

在上文中，在图片层级描述了各种方法和语法，例如，利用VVC语法(与可缩放性相关)来模拟放大图片的后滤波。更一般地，可在区域层级应用所提出的信令，其中区域由一个或多个块组成，例如，一个或多个子图片、图块和切片。

另外，上文针对ALF滤波器描述了各种方法和语法。更一般地，这些方法和语法可应用于例如其他后置滤波器(诸如SAO滤波器和解块滤波器)，包括附加的SAO参数以便对经重新缩放图片应用SAO滤波。

图2示出了编码器200，其中实现了上述实施方案中的任一实施方案。设想了这一编码器200的变型，但为了清楚起见，下文描述了编码器200而不描述所有预期的变型。

在一些实施方案中，图2还示出了在其中对HEVC标准进行改进的编码器，或采用类似于HEVC的技术的编码器，诸如由JVET(联合视频探索团队)开发的VVC(多功能视频编码)编码器。

在经过编码之前，视频序列可经过预编码处理(201)，例如，将颜色变换应用于输入的彩色图片(例如，从RGB 4:4:4转换到YCbCr 4:2:0)，或执行输入图片分量的重新映射，以便获取更能弹性应对压缩的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。

根据一个实施方案，预编码处理(201)包括对输入图片进行下采样以用于诸如在VVC标准的RPR过程中进行编码。

元数据可与预处理相关联并且附加到比特流(290)。此类元数据可包括用于后处理的参数，诸如例如SEI或APS Nal单元中的上述高分辨率ALF参数。

在编码器200中，如下所述，图片由编码器元件进行编码。在例如CU的单元中对待编码的图片进行分区(202)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(260)。在帧间模式中，执行运动估计(275)和补偿(270)。编码器决定(205)使用帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如，预测模式标志来指示帧内/帧间决策。编码器还可以混合(263)帧内预测结果和帧间预测结果，或混合来自不同帧内/帧间预测方法的结果。例如，通过从初始图像块减去(210)预测块来计算预测残差。

运动修正模块(272)使用已经可用的参考图片，以便在不参考原始块的情况下修正块的运动场。区域的运动场可以被认为是关于该区域的所有像素的运动向量的集合。如果运动向量基于子块，则运动场也可以表示为区域中的所有子块运动向量的集合(子块内的所有像素具有相同的运动向量，并且子块与子块之间的运动向量可能不同)。如果单个运动向量用于该区域，则该区域的运动场也可以由单个运动向量(针对区域中的所有像素的相同运动向量)表示。

然后，对预测残差进行变换(225)和量化(230)。对经量化变换系数以及运动向量和其他语法元素进行熵编码(245)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对经量化变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块，重建图像块。将环路内滤波器(265)应用于重建图片以执行例如解块/SAO(样本自适应偏移)或ALF(自适应环路滤波器)滤波，从而减少编码伪影。将经滤波图像存储在参考图片缓冲器(280)处。

在一个变型中，当在编码之前已对输入图片进行了下采样时，编码器(200)包括如以上在一个实施方案中描述的经重建图像的上采样。对经下采样的重建图片应用环路内滤波(诸如解块、SAO(或ALF))，可将ALF应用于经上采样图片并可能存储在DPB中。

在另一变型中，当在编码之前已对输入图片进行了下采样时，对重建图片的下采样版本执行自适应滤波，然后将重建图片以低分辨率版本存储在DPB中。

图3示出了视频解码器300的框图，其中实现了上述实施方案中的任一施方案。在解码器300中，由解码器元件对比特流进行解码，如下所述。视频解码器300一般执行与图2中所述的编码过程相反的解码过程。编码器200通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器200生成。

根据一个实施方案，比特流包括与在编码之前对图片执行的预处理相关联的元数据。此类元数据包括(301)用于后处理的参数，诸如上述高分辨率ALF参数。

首先，对比特流进行熵解码(330)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据经解码的图片分区信息来划分(335)图片。对变换系数进行解量化(340)和逆变换(350)以对预测残差进行解码。组合(355)经解码的预测残差和预测块，重建图像块。

可从帧内预测(360)或运动补偿预测(即，帧间预测)(375)获得(370)预测块。解码器可以混合(373)帧内预测结果和帧间预测结果，或混合来自多个帧内/帧间预测方法的结果。在运动补偿之前，可通过使用已经可用的参考图片来修正(372)运动场。将环内滤波器(365)应用于重建的图像。将经滤波的图像存储在参考图片缓冲器(380)处。

经解码的图片还可经过解码后处理(385)，例如，逆颜色变换(例如，从YCbCr 4:2:0转换到RGB 4:4:4)或执行与在预编码处理(201)中执行的重新映射过程相逆的逆重新映射，或者经解码图片的上采样。解码后处理可使用在预编码处理中导出并且在比特流中发信号通知的元数据(301)。

在一个变型中，当从在编码之前已被下采样的输入图片的编码获得经解码图片时，解码器(300)包括如以上在一个实施方案中描述的经解码图像的上采样。然后将环路内滤波(诸如解块、SAO或ALF)应用到经下采样和/或经上采样图片并且可能存储在DPB中。

在另一变型中，当从在编码之前已被下采样的输入图片的编码获得经解码图片时，对重建图片的经下采样版本执行自适应滤波，然后可能将该重建图片以低分辨率版本存储在DPB中。

在图18所示的一个实施方案中，在经通信网络NET的两个远程设备A与B之间的传输上下文中，设备A包括与存储器RAM和ROM相关的处理器，该存储器RAM和ROM被配置为实现用于对视频进行编码的方法，如图1至图17所述，并且设备B包括与存储器RAM和ROM相关的处理器，该存储器RAM和ROM被配置为实现用于对视频进行解码的方法，如关于图1至图17所述。

根据示例，网络是广播网络，适于将表示视频的经编码的数据从设备A广播/传输到包括设备B的解码设备。

旨在待由设备A发射的信号携带至少一个包括表示视频的经编码的数据的比特流。可从本发明原理的任何实施方案生成比特流。

图19示出了通过基于分组的传输协议传输的此类信号的语法的示例。每个已传输的分组P包括报头H和有效载荷PAYLOAD。在一些实施方案中，有效载荷PAYLOAD可包括根据上述实施方案中的任一个实施方案进行编码的已编码视频数据。在一些实施方案中，信号包括如上确定的上采样滤波器系数。

各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本申请中描述的各种具体实施的解码器执行的过程，例如，对上采样滤波器系数进行解码、对经解码图片进行上采样。

作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本申请中描述的各种具体实施的编码器执行的过程，例如，对输入图片进行下采样、确定上采样滤波器系数、对经解码图片进行上采样。

作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

注意，本文所使用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

本公开已描述了例如可被传输或存储的各种信息，诸如例如语法。此信息能够以多种方式封装或布置，包括例如视频标准中常见的方式，诸如将信息放入SPS、PPS、NAL单元、标头(例如，NAL单元标头或切片标头)或SEI消息中。其他方式也是可用的，包括例如用于系统级或应用级标准的通用方式，诸如将信息放入以下中的一者或多者：

a.SDP(会话描述协议)，其为用于描述多媒体通信会话以用于会话通知和会话邀请的一种格式，例如，如在RFC中所述并与RTP(实时传输协议)传输结合使用。

b.DASH MPD(媒体展示描述)描述符，例如如在DASH中使用并且通过HTTP传输，一种与表示或表示的集合相关联以向内容表示提供附加的特性的描述符。

c.RTP标头扩展，例如，如在RTP流式传输期间使用。

d.ISO基础媒体文件格式，例如，如在OMAF中使用并且使用box，该box是由唯一类型标识符和长度定义的面向对象的构建块，在某些规范中也称为“atom”。

e.通过HTTP传输的HLS(HTTP实时流式传输)清单。例如，清单可与内容的版本或版本集合相关联，以提供版本或版本集合的特性。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

一些实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，

该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器发信号通知与重建图片的自适应滤波相关的一个或多个语法元素。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可通过各种不同的有线或无线链路传输。信号可存储在处理器可读介质上。

我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：

·根据所述实施方案中任一个实施方案，对视频进行编码/解码，其中原始图片/区域能够以高分辨率或低分辨率进行编码。

·根据所述实施方案中任一个实施方案，根据缩小的经解码图片/区域重建图片/区域。

·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。

·包括传递根据所述实施方案中任一个实施方案生成的信息的语法的比特流或信号。

·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一个实施方案所述的创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一个实施方案所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·根据所述实施方案中任一个实施方案对视频执行解码的电视机、机顶盒、移动电话、平板电脑或其他电子设备。

·根据所述实施方案中任一个实施方案对视频执行解码并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·选择(例如，使用调谐器)信道以接收包括编码图像的信号并且根据所述实施方案中任一个实施方案对视频执行解码的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·通过空中接收(例如，使用天线)包括编码图像的信号并且根据所述实施方案中任一个实施方案对视频执行解码的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims (33)

1.一种方法，所述方法包括在第一分辨率下对来自视频的第一图片进行解码，其中对所述第一图片进行解码包括：

-将经解码图片上采样到所述第一分辨率，所述经解码图片在第二分辨率下进行编码，所述第二分辨率低于所述第一分辨率，

-将自适应滤波器应用到所述经上采样解码图片的至少一个分量。

2.一种装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置用于在第一分辨率下对来自视频的第一图片进行解码，其中对所述第一图片进行解码包括：

-将经解码图片上采样到所述第一分辨率，所述经解码图片在第二分辨率下进行编码，所述第二分辨率低于所述第一分辨率，

-将自适应滤波器应用到所述经上采样解码图片的至少一个分量。

3.根据权利要求1所述的方法，所述方法还包括，或根据权利要求2所述的装置，其中所述一个或多个处理器还被配置用于：

-当自适应环路滤波器的应用被启用时，将所述自适应环路滤波器应用到所述第二分辨率下所述经解码图片的至少一个分量。

4.根据权利要求3所述的方法，所述方法还包括，或根据权利要求3所述的装置，其中所述一个或多个处理器还被配置用于：

-当所述自适应环路滤波器的所述应用被启用时，将所述第二分辨率下所述经滤波的经解码图片存储在经解码图片缓冲器中。

5.根据权利要求1或权利要求3至4中任一项所述的方法或根据权利要求2至4中任一项所述的装置，其中基于所述第一分辨率下的所述第一图片来确定所述自适应滤波器的系数。

6.根据权利要求1或权利要求3至5中任一项所述的方法或根据权利要求2至5中任一项所述装置，其中基于对所述经上采样的经解码图片执行的分类，在一组自适应滤波器中选择所述自适应滤波器。

7.根据权利要求3至6中任一项所述的方法或根据权利要求3至6中任一项所述的装置，其中基于在所述第二分辨率下对所述经滤波的经解码图片执行的分类，从一组自适应滤波器中选择所述自适应滤波器。

8.根据权利要求3至7中任一项所述的方法或根据权利要求3至7中任一项所述的装置，其中：

-所述自适应环路滤波器到所述第二分辨率下所述经解码图片的所述应用的启用禁用所述自适应滤波器到所述第一分辨率下所述经上采样的经解码图片的所述应用，或者

-所述自适应滤波器到所述第一分辨率下所述经上采样的经解码图片的所述应用的启用禁用所述自适应环路滤波器到所述第二分辨率下所述经解码图片的所述应用。

9.根据权利要求1或权利要求3至8中任一项所述的方法，所述方法还包括，或根据权利要求2至8中任一项所述的装置，其中所述一个或多个处理器还被配置用于：

-将所述第一分辨率下所述经滤波的经上采样的经解码图片存储在经解码图片缓冲器中。

10.根据权利要求9所述的方法，所述方法还包括，或根据权利要求9所述的装置，其中所述一个或多个处理器还被配置用于：

-对指示符进行解码，所述指示符指示所述第一分辨率下所述经滤波的经上采样的经解码图片是否存储在所述经解码图片缓冲器中。

11.根据权利要求3至9中任一项所述的方法或装置，其中仅对色度分量执行所述自适应滤波器到所述第一分辨率下所述经上采样的经解码图片的应用。

12.根据权利要求11所述的方法或装置，其中仅对亮度分量执行自适应环路滤波器到所述第二分辨率下所述经解码图片的应用。

13.根据权利要求12所述的方法或装置，其中在将所述经解码图片上采样到所述第一分辨率之前，执行所述自适应环路滤波器到所述第二分辨率下所述经解码图片的应用。

14.根据权利要求11至13中任一项所述的方法，所述方法还包括，或根据权利要求11至13中任一项所述的装置，其中所述一个或多个处理器还被配置用于：

-在将所述自适应滤波器应用到所述第一分辨率下的所述经上采样的经解码图片以及在将自适应环路滤波器应用到所述第二分辨率下的所述经解码图片之前，将第二自适应环路滤波器应用到所述第二分辨率下的所述经解码图片。

15.根据权利要求12至14中任一项所述的方法或装置，其中基于所述第一分辨率下所述第一图片的样本来确定所述自适应环路滤波器的系数，所述第一分辨率下所述第一图片的所述样本对应于所述第二分辨率下所述第一图片的样本。

16.根据权利要求1或权利要求3至15中任一项所述的方法或根据权利要求2至15中任一项所述的装置，其中从比特流中获得所述自适应滤波器的参数。

17.一种比特流，包括：

-表示视频的第一图片的经编码数据，所述第一图片具有第一分辨率，所述第一图片在第二分辨率下进行编码，所述第二分辨率低于所述第一分辨，

-自适应滤波器的至少一个参数，所述自适应滤波器用于对从所述经编码数据解码的经上采样图片的至少一个分量进行滤波。

18.根据权利要求16所述的方法或装置或根据权利要求17所述的比特流，其中所述自适应滤波器的至少一个参数被编码在用于所述自适应环路滤波器的相同语法元素中。

19.根据权利要求16或18中任一项所述的方法或装置或根据权利要求17至18中任一项所述的比特流，其中用于所述自适应滤波器的参数包括以下参数中的至少一者：

-至少一个第一指示符，所述至少一个第一指示符用于针对至少一个分量启用或禁用所述自适应滤波器，

-至少一个滤波器系数，

-至少一个第二指示符，所述至少一个第二指示符用于针对所述第一图片的块启用或禁用所述自适应滤波器，

-至少一个第三指示符，所述至少一个第三指示符指示针对所述第一图片的块的滤波器索引。

20.根据权利要求19所述的方法或装置或比特流，其中所述至少一个第二指示符和/或所述至少一个第三指示符针对所述第二分辨率下的所述经解码图片的块或者针对所述第一分辨率下的所述第一图片的块进行编码。

21.根据权利要求16或权利要求18至20中任一项所述的方法或装置或者根据权利要求17至20中任一项所述的比特流，其中所述参数的至少一部分被编码为专用自适应参数集NAL单元或专用SEI NAL单元。

22.根据权利要求1至21中任一项所述的方法或装置或者根据权利要求17至21中任一项所述的比特流，其中在序列参数集中发信号通知启用所述自适应滤波器。

23.根据权利要求19至22中任一项所述的方法或装置或比特流，其中在切片或图片标头中发信号通知所述至少一个第一指示符。

24.根据权利要求20至23中任一项所述的方法或装置或比特流，其中在所述经解码图片的块标头中发信号通知所述至少一个第二指示符和/或所述至少一个第三指示符。

25.根据权利要求1或权利要求3至18或权利要求20至24中任一项所述的方法，所述方法还包括解码，或者根据权利要求2至18或权利要求20至24中任一项所述的装置，其中所述一个或多个处理器还被配置用于解码，或者根据权利要求19至24中任一项所述的比特流，所述比特流还包括：

语法元素，所述语法元素指示第一图片的所有块被编码为跳跃块并且通过层间预测从在所述第二分辨率下编码的所述图片来预测。

26.一种信号，所述信号包括根据权利要求17至25中任一项所述的比特流。

27.一种计算机可读介质，所述计算机可读介质包括根据权利要求26所述的比特流。

28.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有指令，所述指令用于致使一个或多个处理器执行根据权利要求1或权利要求3至25中任一项所述的方法。

29.一种计算机程序产品，所述计算机程序产品包括指令，当程序由一个或多个处理器执行时，致使所述一个或多个处理器执行根据权利要求1或权利要求3至25中任一项所述的方法。

30.一种设备，所述设备包括：

-根据权利要求2至25中任一项所述的装置；和

-以下各项中的至少一者：(i)天线，所述天线被配置为接收信号，所述信号包括表示视频的数据；(ii)频带限制器，所述频带限制器被配置为将所接收的信号限制为包括表示视频的所述数据的频带；或(iii)显示器，所述显示器被配置为显示至少一个第一图像的至少一部分。

-

31.根据权利要求30所述的设备，所述设备包括电视机、蜂窝电话、平板电脑或机顶盒。

32.一种装置，所述装置包括：

○访问单元，所述访问单元被配置为访问包括根据权利要求26所述的信号的数据，

○发射器，所述发射器被配置为传输所访问的数据。

33.一种方法，所述方法包括：访问包括根据权利要求26所述的信号的数据，以及发射所访问的数据。