CN112385237A

CN112385237A - 具有多个区域的环路滤波器

Info

Publication number: CN112385237A
Application number: CN201980045556.3A
Authority: CN
Inventors: F.拉卡普; P.博德斯; E.弗朗索瓦
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2018-07-11
Filing date: 2019-07-10
Publication date: 2021-02-19
Also published as: AU2019301656A1; US11758197B2; JP2021532622A; AU2019301656B2; US20230370645A1; KR20210028645A; EP3821609A1; WO2020014316A1; US20210297706A1; AU2024200480A1; MX2021000273A

Abstract

用于在编码器或解码器中执行环路滤波的方法和装置，其提供使用公共滤波器参数集的区域。可以将索引从编码器发送到解码器，该索引指示将哪个滤波器参数集用于特定区域。环路滤波器可以是样点自适应偏移、自适应环路滤波器，或任何其他此类滤波器。编码器根据使用公共的滤波器参数集的块对图片的区域进行分类。分类可以以图的形式。滤波块将公共滤波器参数集用于区域。解码器解析比特流以获得滤波器参数集和表示被解码区域的滤波器参数集的索引。

Description

具有多个区域的环路滤波器

技术领域

本实施例中的至少一个通常涉及用于视频编码或解码的方法或装置。

背景技术

为了获得高压缩效率，图像和视频编码方案通常采用预测，包括运动矢量预测和变换，以平衡视频内容中的空间和时间冗余。通常，帧内或帧间预测被用于发掘帧内帧或帧间帧的相关性，然后对原始图像和预测图像之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过与熵编码、量化、变换和预测相对应的逆过程对压缩数据进行解码。

环路滤波器允许对重构图片进行后置滤波以减少编码伪影。例如，样点自适应偏移(SAO)滤波允许向重构样点的某些类别(或类)添加偏移以减少编码伪影。另一个例子是自适应环路滤波器(ALF)，它实现了对重构样点的维纳(Wiener)线性后置滤波。另一个例子是去方块滤波器(DBF)，它通过块边界平滑来减少块伪影。

发明内容

通过本文描述的一般方面来解决现有技术的缺点和劣势，这些方面指向解码和编码中的块形状自适应帧内预测方向。

根据第一方面，提供了一种方法。该方法包括以下步骤：确定其中要使用公共滤波器参数集对图片中的至少一个重构块进行滤波的图片的区域；获得多个滤波器参数集；用所述区域内的块的公共滤波器参数集对包括所述至少一个重构块的所述图片的区域进行滤波；以及在比特流中编码信息和所述区域的编码版本，所述信息包括指示用于对所述区域进行滤波的滤波器参数集的语法。

根据另一方面，提供了第二种方法。该方法包括以下步骤：从比特流解码语法，所述语法指示用于对图片的区域进行滤波的多个滤波器参数集；使用用于对所述图片的至少一个重构块进行滤波的公共滤波器参数集从所述比特流中确定所述图片的区域；使用与包含所述至少一个重构块的所述区域相关联的所述滤波器参数集对所述至少一个重构块进行滤波；以及对所述图片的所述滤波后的重构块进行解码。

根据另一方面，提供了一种装置。该装置包括处理器。所述处理器可以被配置成通过执行上述任何方法来编码视频块或解码比特流。

根据至少一个实施例的另一个一般方面，提供了一种设备，所述设备包括：根据任一解码实施例所述的装置；以及以下中的至少一个：(i)天线，其被配置为接收信号，所述信号包括所述视频块，(ii)频带限制器，其被配置为将所接收到的信号限制到包括所述视频块的频带，以及(iii)显示器，其被配置为显示表示所述视频块的输出。

根据至少一个实施例的另一个一般方面，提供了一种非暂时性计算机可读介质，其包括根据所述编码实施例或变体中的任何一个生成的数据内容。

根据至少一个实施例的另一个一般方面，提供了一种信号，其包括根据所述编码实施例或变体中的任何一个生成的视频数据。

根据至少一个实施例的另一个一般方面，形成了一种比特流，其包括根据所述编码实施例或变体中的任何一个生成的数据内容。

根据至少一个实施例的另一个一般方面，提供了一种计算机程序产品，其包括当由计算机执行程序时使计算机执行所述解码实施例或变体中的任何一个的指令。

这些和其他方面、这些一般方面的特征和优点将从下面的应结合附图阅读的示例性实施例的详细描述中变得显而易见。

附图说明

图1示出了标准的通用视频解码器(左)和编码器(右)。

图2示出了在EO模式的情况下的重构样点类别的确定。

图3示出了在BO模式的情况下，从0到255(8位)的像素范围被均匀地分成32个带。

图4示出了称为每个样点组的“SAO滤波处理”的基于图片的SAO滤波(左)和“SAO滤波处理”(右)。

图5示出了ALF的编码器决策的流程图(左)和ALF滤波器形状的示例(右)。

图6示出了参考先前编码的(新)SAO参数的列表的CTU。

图7示出了提出的SAO滤波器的解码和重构处理的示例。

图8示出了相对于CTU尺寸定义的SAO块尺寸的示例。

图9示出了当前SAO块可以从左侧或上方的邻居继承参数。

图10示出了滤波器区域可以是矩形的，也可以是一行/一列的滤波块。

图11示出了编码sao_palette_index和new_flag的示例。

图12示出了当前SAO块可以从SAO区域之外的左侧或上方邻居继承参数。

图13示出了(左)针对所有块按光栅扫描顺序对滤波器参数进行解析并对每个区域进行滤波，以及(右)解析和滤波都是基于区域的。

图14示出了几个后置滤波器可以共享同一个区域。

图15示出了通用的标准编码方案。

图16示出了通用的标准解码方案。

图17示出了可在其中实现所述实施例的典型处理器布置。

图18示出了使用具有多个区域的环路滤波进行编码的方法的实施例。

图19示出了使用具有多个区域的环路滤波进行解码的另一方法的实施例。

图20示出了使用具有多个区域的环路滤波进行编码或解码的装置的实施例。

具体实施方式

这里描述的一般方面是在视频压缩领域。一般方面涉及环路滤波，例如使用采用“高级合并”技术的样点自适应偏移(SAO)(也称为SAO调色板)，如以下常见EP申请中所述，其教义通过引用被明确地并入本文中：

(1)EP申请号17305626.8，题为“一种用于图片编码和解码的方法和设备”(代理案卷号：PF170034)，

(2)EP申请号18305736.3，题为“高级合并可并行SAO”(代理案卷号：PF180072)，

(3)EP申请号17305033.7，题为“一种用于图像编码和解码的方法和设备”(代理案卷号：PF160213)，以及

(4)EP申请号17305627.6，题为“一种用于图片编码和解码的方法和设备”(代理案卷号：PF170089)。

环路滤波器允许对重构图片进行后置滤波以减少编码伪影(参见图1的经典解码器和编码器方案中的块265和465)。例如，SAO允许向重构样点的某些类别(或类)添加偏移量，以减少编码伪影。另一个例子是自适应环路滤波器(ALF)，它实现了重构样点的维纳线性后置滤波。另一个例子是去方块滤波器(DBF)，它通过块边界平滑来减少块伪影。

通常，环路滤波器(k)处理(解码器侧)包括以下步骤：

1)解析C(k)个滤波器参数集P(c)；c＝0…C(k)

2)将重构样点类为C(k)个类

3)用参数P(c)滤波属于c类的重构样点

通常，环路滤波器(k)处理(编码器侧)包括以下步骤：

1)将重构样点类为C(k)个类

2)推导C(k)个滤波器参数集P(c)；c＝0…C(k)

3)用参数P(c)滤波属于c类的重构样点

本文所描述各方面的目的是通过使用基于区域的后置滤波来改进环路滤波器的性能。

在HEVC(高效视频编码)中，当启用时，编码树单元(CTU)可以用3种SAO模式(SaoTypeIdx)进行编码：非活动(OFF)、边缘偏移(EO)或带偏移(BO)。在EO或BO模式下，逐个通道(Y、U、V)地对一组参数进行编码，可能与相邻CTU共享(参见SAO合并标志)。对于Cb和Cr元件，SAO模式相同。

在EO的情况下，取决于局部梯度，每个重构样点被分为NC＝5个类(sao_eo_class)，如图2所示。对(NC-1)个偏移值进行编码，每个类别一个(一个类别的偏移量等于零)。

在BO的情况下，值的像素范围(例如：从0到255，8位)被均匀地分成32个带，并且通过添加偏移量off(n)来修改属于(NC-1)＝4个连续带的样点值。图3示出了4个连续带的示例。(NC-1)个偏移值被编码，(NC-1)个带的每一个各一个(其余带偏移量等于零)。

在EO或BO的情况下下，偏移量可能不被编码，而是从相邻的上方或左侧CTU复制(合并模式)。图4描述了在图片上处理SAO的方式(左)和每个CTU的SAO滤波处理自身(右)。

在题为“用于图片编码和解码的方法和设备”的EP申请号17305627.6中，提出了通过使用或共享相同的SAO参数来收集重构图片的所有样点，以导出最优SAO参数集。

ALF滤波器

在JEM软件中，基于其方向性和其活动性，使用局部梯度将每个2×2块其分为25个类。接下来，对于整个图片，导出每个类的ALF滤波器系数。

对于每个CTU(滤波器块)的亮度样点，编码器决定是否应用ALF，并在条带标头中包括适当的信令标志。对于色度样点，应用滤波器的决策是基于图片级别而不是CTU级别做出的。

可以在第一个CTU或条带标头中信令通知ALF滤波器参数集。最多可信令通知25个亮度滤波器系数集。为了减少开销位，可以合并不同类的滤波器系数。此外，参考图片的ALF系数被储存并允许将其重新用作当前图片的ALF系数(ALF时域预测)。

为了支持ALF时域预测，维护ALF滤波器集的候选列表。在开始解码新序列时，候选列表为空。在解码一个图片之后，相应的滤波器组可以被添加到候选列表中。ALF系数的时域预测提高了帧间编码帧的编码效率。为了提高在时域预测不可用(帧内帧)时的编码效率，还为每个类分配了一组16个固定滤波器。

高级合并SAO和其他特征

特征1：

在题为“一种用于图片编码和解码的方法和设备”的EP申请号17305626.8中，首先对所有SAO参数(SAO参数候选列表)进行编码(例如在条带标头中或在第一个CTU中)，然后对SAO块进行编码，所述SAO块包括(合并/候选)索引，该索引参考之前已经定义和编码的该SAO参数列表(新候选)，如图6所示。

SAO候选的数量(nb_SAO_cand)和SAO参数列表的编码顺序与使用顺序相同。在编码器处，在对每个候选索引进行编码后对SAO参数候选列表进行重新排序，将最新使用的参数放在列表的顶部。更准确地说，对候选列表进行重新排序，使得首先对空间上最近的使用的候选进行排序。这可以通过构建最后使用的候选的图来实现。

OFF(所有分量的所有偏移量均为零)候选被隐式地放在列表中，而不是显式地编码在距顶部不太远的位置(例如：位置<＝2)。

特征2：

在题为“高级合并可并行SAO”的EP申请号18305736.3中，扩展了题为“用于图片编码和解码的方法和设备”的EP申请号17305626.8的原理，使得当前SAO块可以从其他SAO块继承参数的区域被限制为：

-在波前平行因果区，

-和/或使重新排序的SAO候选列表中的候选数目低于预定义值(参见PF180072中的“list_reordered_size”)，

-和/或使候选的数目受候选到当前SAO块的最大距离(dist_max)的限制。

特征3：

在题为“用于图像编码和解码的方法和设备”的EP申请号17305033.7和题为“用于图片编码和解码的方法和设备”的EP申请号17305626.8中，SAO块的尺寸(即应用SAO参数的尺寸)被编码在条带标头中。在题为“用于图像编码和解码的方法和设备”的EP申请号17305626.8中，SAO块的宽度和/或高度是CTU尺寸的N倍，其中N＝1、2或1/2(参见图8)。

在题为“Qualcomm和Technicolor提出的SDR、HDR和360°视频编码技术提案的描述-低复杂度和高复杂度版本”(JVET-J0021，2018年4月，USA,加利福尼亚州，圣地亚哥，第10届JVET会议)的文章中，以及在A.Gadde、D.Rusanovskyy、M.Karczevicz的题为“CE2：对来自JVET-J0021(CE2.3.2)的SAO设计的测试”(JVET-K0324，2018年7月10-18日，SI，卢布尔雅那，第11届JVET会议)的文章中，提出对两个标志进行编码(merge_left_flag和merge_above_flag)，以指示当前SAO块是否从左侧或者上方或者其他邻居继承(见图9)。在解析阶段，检查左侧和上方的SAO参数是否相同，当判断为“否”时则不解析上方的标志。在其他情况下，当前SAO块被标记为“活动(active)”，并且SAO参数不被继承，而是被编码/解码。

所有的信息都在条带或图片的开头被解码。在解析所有SAO块的合并标志之后，对标记为“活动”的SAO块的SAO参数进行解码。

在P.Bordes，F.Racapé撰写的题为“CE2-3.3SAO_Palette结果与讨论”(JVET-K0192，2018年7月10日至18日，SI，路易斯安那，第11届JVET会议)的文章中，据报道，通过使用JVET参考软件(VTM1.0)，使用通用测试条件(CTC)，上述技术的组合分别提供了AI中0.17％的BD速率增益、RA中0.38％的BD速率增益、以及LDB中0.52％的BD速率增益。

在JVET-K0324中，据报道，在相同条件下，AI的BD速率增益为0.11％，RA为0.30％，并且LDB为0.43％。

在本文描述的至少一些实施例中，所描述的一般方面的目的是：

-结合这两种方法来均衡这两种技术的编码增益。

-避免在条带/图片开始时解析所有滤波器参数的问题，其引入单帧延迟。

-潜在地共享用于几个(多于一个)环路滤波器的重构样点组(区域)，用于后置滤波器参数推导。

在至少一个实施例中，题为“用于图像编码和解码的方法和设备”的EP申请号17305626.8中的SAO或ALF之类的环路后置滤波器的一般方面(参见特征1、2、3：首先信令通知SAO或ALF参数集，并使用索引来参考它们，启用/禁用针对当前块的滤波器，等等)分别被扩展到条带或图片内的多个区域。这些特征可以与适应每个条带或图片的后置滤波块尺寸相结合。几个不同的后置滤波器可以共享同一区域。例如，编码器中的另一个概念是计算每个区域的后置滤波器参数。

在第一实施例中，定义了滤波器区域与每个滤波块相关联。滤波块是对其滤波器参数集相同的尺寸。然后每个滤波块属于一个滤波器区域。滤波器区域是条带或图片的子部分(滤波块的子集)。滤波器区域可以是图10所示的矩形(例如：片)，也可以是一行/一列的滤波器块。滤波器区域也可以对应于整个条带或图片。滤波器区域的尺寸或形状(例如编码为图)通常在条带、图片或序列标头中进行编码。

对于SAO滤波器，属于一个区域的当前滤波器块可以从与同一区域内的SAO块对应的候选SAO参数中继承SAO参数。

在第二实施例中，对于SAO滤波器，语法改变如下：

-首先为每个SAO块解析sao_palette_index

-如果sao_palette_index等于值idx_new(例如：idx_new＝3)，则SAO块被标记为新(NEW)(new_flag＝true)，这意味着这是该SAO参数第一次在当前滤波器区域中使用。

在解析阶段，如果sao_palette_index＝idx_new，则在解析sao_palette_index后解析SAO参数，并在滤波阶段使其对该区域的其它SAO块可用。在滤波阶段，SAO参数被添加到当前SAO区域的其他候选的合并(继承)SAO参数列表中。

在该第二实施例的变体中，idx_new的值可以随条带或区域改变。它可以在条带标头中编码或与第一SAO块编码，或者可以从其他参数导出，诸如作为量化参数(QP)的函数。

在第二实施例的另一变体中，对于ALF滤波器，ALF滤波器参数集可以在区域的第一滤波器块中、或者在区域标头(例如，如果区域是HEVC中定义的片)或条带/图片标头中被信令通知。对于该区域中的所有滤波器块，ALF滤波器参数集保持不变。

在另一变体中，当滤波器支持时域预测(例如ALF时域预测)时，按照区域维护滤波器参数集的列表，并且当前区域的滤波器块可以使用与参考图片中的共位区域相对应的滤波器参数。

在第二实施例的另一个变体中，在区域的开始处(例如，与区域的第一SAO块一起)对区域中标记为NEW的SAO块的数量进行编码。

在第三实施例中，sao_palette_index的值用n1+1+n2位编码，并且new_flag是第n1位(idx_new_bit)，如图11所示，其中n1和n2是重定义的参数，或者是根据上下文自适应地、有条件地变化的参数。

在本实施例的变体中，n1<＝2并且两个n1位是merge_left_flags和merge_above_flag。有利的是，如果上方和左侧的参数相同，则merge_above_flag的编码与JVET-J0021和JVET-K0324不同。

在第四实施例中，对于SAO区域的第一列中的SAO块(或SAO区域的第一行中的SAO块)，可用于合并的SAO参数列表还包括SAO区域之外的左(或上方)SAO块参数。

有利的是，在对区域的第一SAO块进行解码时，将当前区域之外的左列和SAO块参数的上方行添加到当前SAO区域的列表中。

在第五实施例中，滤波器块尺寸可根据区域改变。基于预定义的表或推导规则，针对每个区域对滤波器块尺寸进行编码，或者可以从诸如量化参数(QP)之类的其他编码参数中推断。

例如，在SPS、PPS或条带标头(例如128x128)中定义基本块尺寸，并且使用QP表指示要应用于滤波器块宽度和高度的缩放因子。下面给出此类表的示例。

QP范围	1-25	26-35	36-45	46-51
					缩放	x0.5	x1	x2	x2

在第六实施例中，可以在条带中以经典光栅扫描顺序解析滤波器块参数。接下来，逐区域执行滤波阶段(参见图13左侧)。SAO滤波阶段对SAO候选列表进行分组，以重新排序SAO参数与每个SAO块的关联、样点的类和SAO偏移量的应用以校正重构的样点。

ALF滤波阶段将样点的类和重构样点的滤波分组。

或者，滤波块参数可以被逐区域解析(通常在滤波器区域中使用滤波块的光栅扫描)，然后滤波阶段逐区域进行(参见图13右侧)。

在第七实施例中，几个不同的环路滤波器k(k＝0，…，N)可以共享相同的滤波器区域，使得多个滤波器基于区域进行解析和滤波处理。解析/分类/滤波的顺序可以交错在一个区域内的滤波器之间，如图14所示。

在第八实施例中，有利地是，几个不同的后置滤波器可以共享相同的分类处理，使得c(k1)＝c(k2)，其中k1不同于k2。这意味着属于滤波器k1的一个类别的样点集与属于滤波器k2的一个类别的样点集相同。在这种情况下，对这个类进行一次分类。可以使用共享同一分类处理的不同滤波器的其他变体。

所提出的技术允许改进整个视频压缩处理。这些技术在内存访问方面是轻量级的。该技术通过基于区域对不同的滤波阶段区域进行分组并且使后置滤波处理可并行化，从而改进后置滤波处理。这是通过改进环路滤波来实现的。

对现有技术的SAO滤波器(现有的标准化HEVC)或ALF提出的修改重复使用了大多数传统的SAO或ALF块级逻辑/操作。因此，使用后置滤波器的HEVC或JEM编解码器的现有设计可以被最大限度地重用，从而降低所提出技术的实现成本。

本文描述了各种方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多是以特定的方式描述的，并且，至少是为了显示个体特性，通常是以一种听起来有局限性的方式来描述的。然而，这是为了清楚地描述，并且不限制这些方面的应用或范围。实际上，所有不同的方面都可以组合和交换，以提供更多的方面。此外，这些方面也可以与先前文件中描述的方面相结合和交换。

本文档中描述和考虑的方面可以以许多不同的形式实现。下面的图15、16和17提供了一些实施例，但是考虑了其他实施例，并且图15、16和17中的讨论并不限制实现的广度。至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及传输生成或编码的比特流。这些和其他方面可以实现为方法、装置、在其上存储根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质和/或在其上存储根据所描述的任何方法生成的比特流的计算机可读存储介质。

在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样点”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不一定，术语“重构”用于编码器侧，而“解码”用于解码器侧。

本文描述了各种方法，并且每个方法包括用于实现所述方法的一个或多个步骤或动作。除非正确操作方法需要特定的步骤或动作顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。

本文中描述的各种方法和其他方面可用于修改模块，例如，如图15和图16所示的视频编码器100和解码器200的帧内预测、熵编码和/或解码模块(160、360、145、330)。此外，本方面并不局限于VVC或HEVC，并且可以应用于其他标准和提案(无论是预先存在的还是将来制定的)，以及任何此类标准和提案(包括VVC和HEVC)的扩展。除非另有说明或技术上排除，否则本文件中描述的方面可以单独使用或组合使用。

在本文档中使用了各种数值，例如，{{1,0}，{3,1}，{1,1}}。具体值是用于示例目的，并且所描述的方面不限于这些具体值。

图15示出了编码器100。考虑该编码器100的变化，但是为了清楚起见，下面描述编码器100，而不描述所有预期的变化。

在被编码之前，视频序列可以经过预编码处理(101)，例如，对输入的彩色图片应用颜色变换(例如，从RGB4:4:4到YCbCr 4:2:0的变换)，或者执行输入图片分量的重新映射以获得对压缩更具弹性的信号分布(例如使用一个颜色分量的直方图均衡化)。元数据可以与预处理相关联并附加到比特流。

在编码器100中，由如下所述的编码器元件对图片进行编码。对要编码的图片进行分割(102)并以例如CU为单位进行处理。每个单元使用例如帧内或帧间模式进行编码。当以帧内模式编码单元时，它执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)将帧内模式或帧间模式中的哪一个用于对单元进行编码，并且例如通过预测模式标志来指示帧内/帧间决策。例如通过从原始图像块减去(110)预测块来计算预测残差。

然后对预测残差进行变换(125)和量化(130)。量化后的变换系数以及运动矢量和其他语法元素被熵编码(145)以输出比特流。编码器可以跳过变换，并且直接对未经变换的残差信号进行量化。编码器可以旁路变换和量化，也就是说，在不应用变换或量化处理的情况下直接对残差进行编码。

编码器解码编码块以提供对进一步预测的参考。量化后的变换系数被去量化(140)和逆变换(150)以解码预测残差。将解码的预测残差与预测块相结合(155)以重构图像块。环路滤波器(165)被应用于重构图片以执行例如去方块/SAO(样点自适应偏移)滤波，以减少编码伪影。滤波后的图像存储在参考图片缓冲区(180)中。

图16示出了视频解码器200的框图。在解码器200中，比特流由如下所述的解码器元件解码。视频解码器200通常执行与如图15所述的编码通路相反的解码通路。编码器100通常也执行视频解码，作为编码视频数据的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可以由视频编码器100生成。首先对比特流进行熵解码(230)，以获得变换系数、运动矢量和其它编码信息。图片分割信息指示如何对图片进行分割。因此，解码器可以根据解码的图片分割信息来分割(235)图片。对变换系数进行逆量化(240)和逆变换(250)以解码预测残差。将解码后的预测残差和预测块相结合(255)以重构图像块。预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环路滤波器(265)被应用于重构图像。滤波后的图像被存储在参考图片缓冲区(280)中。

解码后的图片可以进一步通过解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的重映射处理的反转的逆重映射。解码后处理可以使用在预编码处理中导出并在比特流中信令通知的元数据。

图17示出了其中实现各种方面和实施例的系统的示例的框图。系统1000可以具体化为包括下面描述的各种组件的设备，并且被配置成执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，例如个人计算机、笔记本电脑、智能手机、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器和服务器。系统1000的元件)单独或组合)可以实施在单个集成电路、多个IC和/或分立元件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或离散元件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其他类似系统或其他电子设备。在各种实施例中，系统1000被配置成实现本文中描述的一个或多个方面。

系统1000包括至少一个处理器1010，该处理器1010被配置为执行其中加载的指令，以实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、连接的存储设备和/或网络可访问存储设备。

系统1000包括编码器/解码器模块1030，所述编码器/解码器模块1030被配置为处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可以包括其自身的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可以包括编码和解码模块中的一个或两个。另外，如本领域技术人员所知，编码器/解码器模块1030可以实现为系统1000的独立元件，或者可以作为硬件和软件的组合而并入处理器1010中。

要加载到处理器1010或编码器/解码器1030上以执行本文中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文中描述的处理期间存储各种项目中的一个或多个。这样的存储项可以包括但不限于输入视频、解码视频或解码视频的一部分、比特流、矩阵、变量以及来自处理等式、公式、运算和运算逻辑的中间或最终结果。

在几个实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令并提供用于编码或解码期间所需的处理的工作存储器。然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可以是处理器1010或编码器/解码器模块1030)被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，使用外部非易失性闪存来存储电视的操作系统。在至少一个实施例中，诸如RAM之类的快速外部动态易失性存储器被用作用于视频编码和解码操作的工作存储器，例如用于MPEG-2、HEVC或VVC(多功能视频编码)。

如方框1130所示，可以通过各种输入设备来提供对系统1000的元件的输入。此类输入设备包括但不限于：(i)接收例如通过广播通过空中传输的RF信号的RF部分，(ii)复合输入终端，(iii)USB输入终端，和/或(iv)HDMI输入终端。

在各种实施例中，块1130的输入设备具有各自的本领域已知的相关联的输入处理元件。例如，RF部分可以与如下操作所需的元件相关联：(i)选择期望频率(也称为选择信号，或将信号限带到频带)，(ii)将所选信号降频转换，(iii)在某些实施例中再次将频带限制为更窄的频带以选择(例如)可以被称为信道的信号频带，(iv)解调降频转换和频带限制后的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据分组流。各种实施例的RF部分包括用于执行这些功能的一个或多个元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、降频转换器、解调器、纠错器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器，例如包括将接收到的信号降频转换到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发送的RF信号，并且通过滤波、降频转换和再次滤波到期望频带来执行频率选择。各种实施例重新排列上述(和其他)元件的顺序，移除其中一些元件，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如，插入放大器和模数转换器。在各种实施例中，RF部分包括天线。

另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如，Reed-Solomon纠错，可以例如在单独的输入处理IC中或者在处理器1010中根据需要实现。类似地，USB或HDMI接口处理的方面可以根据需要在单独的接口IC中或在处理器1010中实现。将经解调、纠错和解复用的流提供给各种处理元件，所述处理元件包括例如处理器1010和编码器/解码器1030，所述处理器1010和编码器/解码器1030与存储器和存储元件相结合以处理在输出设备上呈现所需的数据流。

系统1000的各种元件可以设置在集成外壳内。在集成外壳内，各种元件可以使用合适的连接布置1140(例如，本领域已知的内部总线)互连并在它们之间传输数据，连接布置1140包括I2C总线、接线和印刷电路板。

系统1000包括能够经由通信信道1060与其它设备通信的通信接口1050。通信接口1050可以包括但不限于被配置成通过通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质中实现。

在各种实施例中，使用诸如IEEE 802.11的无线网络将数据流传输到系统1000。这些实施例的无线信号通过例如适于Wi-Fi通信的通信信道1060和通信接口1050接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括因特网在内的外部网络的接入，以允许流式应用和其他顶层通信。其他实施例使用通过输入块1130的HDMI连接传送数据的机顶盒向系统1000提供流数据。还有其他实施例使用输入块1130的RF连接向系统1000提供流数据。

系统1000可以向包括显示器1100、扬声器1110和其他外围设备1120的各种输出设备提供输出信号。其他外围设备1120在实施例的各种示例中包括独立DVR、磁盘播放器、立体声系统、照明系统和基于系统1000的输出提供功能的其他设备中的一个或多个。在各种实施例中，在系统1000和显示器1100、扬声器1110或其他外围设备1120之间使用诸如AV.Link、CEC或其他通信协议，允许在有或无用户干预的情况下进行设备到设备的控制。输出设备可以通过各自的接口1070、1080和1090经由专用连接以通信方式耦合到系统1000。或者，可以使用通信信道1060经由通信接口1050将输出设备连接到系统1000。显示器1100和扬声器1110可以与电子设备(例如电视)中的系统1000的其他组件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器(T Con)芯片。

例如，如果输入1130的RF部分是单独的机顶盒的一部分，则显示器1100和扬声器1110可以替代地与一个或多个其他组件分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以通过专用输出连接来提供输出信号，例如，包括HDMI端口、USB端口或COMP输出。

实施例可以通过由处理器1010实现的计算机软件或通过硬件，或通过硬件和软件的组合来执行。作为非限制性示例，实施例可以由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，例如光存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可以包括微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。

各种实现涉及解码。在本申请中使用的“解码”可以包括例如对接收到的编码序列执行的所有或部分处理，以便产生适于显示的最终输出。在各种实施例中，此类处理包括通常由解码器执行的一个或多个处理，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类处理还包括或可选地包括由本申请中描述的各种实现的解码器执行的处理，例如，提取要用于各种帧内预测参考阵列的权重索引。

作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码处理”是意欲具体地指代操作的子集还是一般地指代更广泛的解码处理将基于具体描述的上下文而清楚，并且相信本领域技术人员能很好地理解。

各种实现都涉及编码。与上述关于“解码”的讨论类似，本申请中使用的“编码”可以包括例如对输入视频序列执行的所有或部分处理，以产生编码比特流。在各种实施例中，此类处理包括通常由编码器执行的一个或多个处理，例如，分割、差分编码、变换、量化和熵编码。在各种实施例中，此类处理还包括或可选地包括由本申请中描述的各种实现的编码器执行的处理，例如帧内预测参考阵列的加权。

作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码处理”是意欲具体地指代操作的子集还是一般地指代更广泛的编码处理将基于具体描述的上下文而清楚，并且相信本领域技术人员能很好地理解。

注意，这里使用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

当图形被表示为流程图时，应当理解，它还提供了相应装置的框图。类似地，当图形被表示为框图时，应该理解它还提供了相应方法/处理的流程图。

各种实施例引用了速率失真计算或速率失真优化。特别地，在编码处理中，通常考虑速率和失真之间的平衡或折衷，通常给定计算复杂度的限制。率失真优化通常被描述为最小化率失真函数，它是速率和失真的加权和。速率失真优化问题有不同的求解方法。例如，这些方法可以基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，以及对其编码成本和编码和解码后重构信号的相关失真的完整评估。还可以使用更快的方法，以节省编码复杂性，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。也可以使用这两种方法的混合，例如仅对一些可能的编码选项使用近似失真，对其他编码选项使用完全失真。其他方法只评估可能的编码选项的子集。更一般地说，许多方法使用各种技术中的任何一种来执行优化，但是优化不一定是对编码成本和相关失真的全面评估。

本文描述的实现和方面可以例如在方法或处理、装置、软件程序、数据流或信号中实现。即使仅在单一实现形式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以其它形式(例如，装置或程序)来实现。装置可以例如在适当的硬件、软件和固件中实现。所述方法可以例如在处理器中实现，所述处理器通常指的是处理设备，所述处理设备包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，例如，计算机、手机、便携式/个人数字助理(“PDA”)和其他有助于终端用户之间信息通信的设备。

提及“一个实施例”或“实施例”或“一个实现”或“实现”及其其他变体，意味着结合该实施例描述的特定特征、结构、特性等包括在至少一个实施例中。因此，在本文的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任何其他变体的出现不一定都指同一实施例。

此外，本文可提及“确定”各种信息。确定信息可以包括，例如，估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。

此外，本文可提及“访问”各种信息。访问信息可以包括，例如，接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。

此外，本文可提及“接收”各种信息。与“访问”一样，接收是一个宽泛的术语。接收信息可以以下包括一个或多个，例如，访问信息或检索信息(例如，从存储器)。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息，或估计信息等操作期间，通常以一种或另一种方式涉及“接收”。

应当理解的是，例如，在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下，使用“/”、“和/或”和“至少一个”的任何一个，意在仅包括选择第一个列出的选项(A)，或仅包括选择第二个列出的选项(B)，或者选择两个选项(A和B)。作为另一个例子，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措辞意在包括仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或仅选择第一个和第三个列出的选项(A和C)，或仅选择第二个和第三个列出的选项(B和C)，或选择所有三个选项(A和B和C)。如本领域及相关领域的普通技术人员所明白的，这一点可以扩展到所列的任意多个项目上。

此外，如本文所使用的，“信令通知”一词除其他外是指向相应解码器指示某事。例如，在某些实施例中，编码器信令通知要用于帧内预测参考阵列的多个权重中的特定一个。这样，在实施例中，在编码器侧和解码器侧使用相同的参数。因此，例如，编码器可以向解码器发送(显式信令通知)特定参数，以便解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以使用信令而不发送(隐式信令通知)，以简单地允许解码器知道并选择特定参数。通过避免任何实际函数的传输，在各种实施例中实现比特节省。应当理解的是，信令可以以多种方式实现。例如，在各种实施例中，使用一个或多个语法元素、标志等来向对应的解码器信令通知信息。虽然前面提到的是“信令通知”一词的动词形式，“信令通知”一词在这里也可以用作名词。

如对本领域技术人员显而易见的，实现可产生格式化为携带可存储或传输的信息的各种信号。该信息可以包括，例如，用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，可以格式化信号以携带所述实施例的比特流。这种信号可以例如被格式化为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括，例如，对数据流进行编码并用编码的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如众所周知的，信号可以通过各种不同的有线或无线链路传输。该信号可以存储在处理器可读介质上。

实施例可包括跨越各种不同权利要求类别和类型的单独或组合的以下一个或多个特征或实体：

·修改解码器和/或编码器中应用的环路滤波器处理。

·在解码器和/或编码器中启用多个滤波参数集和区域。

·在信令中插入语法元素，该语法元素使解码器能够识别滤波器参数集将应用于环路滤波的区域。

·基于这些语法元素，选择滤波器参数集以应用于解码器。

·在解码器上应用环路滤波，如自适应环路滤波和样点自适应偏移滤波。

·根据所讨论的任何实施例，在编码器处执行环路滤波。

·比特流或信号，其包括一个或多个所描述的语法元素或其变体。

·创建和/或发送和/或接收和/或解码比特流或信号，所述比特流或信号包括所述语法元素中的一个或多个或其变体。

·根据所描述的任何实施例的执行环路滤波的电视、机顶盒、手机、平板电脑或其他电子设备。

·电视、机顶盒、手机、平板电脑或其他电子设备，其根据所述的任何实施例执行环路滤波，并且显示(例如，使用监视器、屏幕或其他类型的显示器)结果图像。

·电视、机顶盒、手机、平板电脑或其它电子设备，其调谐(例如使用调谐器)频道以接收包括编码图像的信号，并根据所描述的任何实施例执行环路滤波。

·电视、机顶盒、手机、平板电脑或其他电子设备，其在空中接收(例如使用天线)包括编码图像的信号，并根据所描述的任何实施例执行环路滤波。

在本公开的整个处理中，还支持和考虑各种其他一般化和特殊化的发明和权利要求。

图18示出了用于使用这里描述的一般方面对视频数据块进行编码的方法1800的一个实施例。该方法从开始块1801开始，并且控制进行到功能块1810，以确定在其中使用公共滤波器参数集来滤波图片的至少一个重构块的图片的区域。然后，控制从块1810前进到块1920，以获得多个滤波器参数。控制从块1820前进到块1830，以用区域内的块的公共滤波器参数集对包括至少一个重构块的图片的区域进行滤波。然后，控制从块1830前进到块1840，以在比特流中编码信息和区域的编码版本，所述信息包括指示用于对所述区域进行滤波的滤波器参数集的语法。

图19示出了用于使用这里描述的一般方面对视频数据块进行解码的方法1900的一个实施例。该方法从开始块1901开始，并且控制进行到功能块1910，以从比特流解码语法，所述语法指示用于对图片的区域进行滤波的多个滤波器参数集。然后控制从块1910进行到块1920，以使用用于对所述图片的至少一个重构块进行滤波的公共滤波器参数集从所述比特流中确定所述图片的区域。控制从块1920进行到块1930，以使用与包含所述至少一个重构块的所述区域相关联的所述滤波器参数集对所述至少一个重构块进行滤波。然后，控制从块1930进行到块1940，以对所述图片的所述滤波后的重构块进行解码。

图20示出了用于编码或解码视频数据块的装置2000的一个实施例。该装置包括处理器2010，并且可以通过至少一个端口互连到存储器2020。处理器2010和存储器2020还可以具有一个或多个与外部连接的附加互连。

处理器2010被配置成通过从视频数据块的重构样点形成多个参考阵列来对视频数据进行编码或解码，通过将从多个权重集中选择的权重集分别应用于多个参考阵列中的一个或多个，来预测视频数据块的目标像素，将视频块的目标像素的最终预测计算为分别来自一个或多个参考阵列的预测的函数，并且使用最终预测对视频块进行编码或解码。

Claims

1.一种方法，包括：

确定其中要使用公共滤波器参数集对图片中的至少一个重构块进行滤波的图片的区域；

获得多个滤波器参数集；

用所述区域内的块的公共滤波器参数集对包括所述至少一个重构块的所述图片的区域进行滤波；以及

在比特流中编码信息和所述区域的编码版本，所述信息包括指示用于对所述区域进行滤波的滤波器参数集的语法。

2.一种装置，包括：

处理器，其被配置为：

获得多个滤波器参数集；

3.一种方法，包括：

从比特流解码语法，所述语法指示用于对图片的区域进行滤波的多个滤波器参数集；

使用用于对所述图片的至少一个重构块进行滤波的公共滤波器参数集从所述比特流中确定所述图片的区域；

使用与包含所述至少一个重构块的所述区域相关联的所述滤波器参数集对所述至少一个重构块进行滤波；以及

对所述图片的所述滤波后的重构块进行解码。

4.一种装置，包括：

处理器，其被配置为：

对所述图片的所述滤波后的重构块进行解码。

5.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中所述语法是指示所述滤波器参数集的索引。

6.根据权利要求1或3所述方法，或根据权利要求2或4所述的装置，其中针对样点自适应偏移滤波器执行滤波并且索引适用于SAO块。

7.根据权利要求1或3所述方法，或根据权利要求2或4所述的装置，其中SAO滤波器的滤波器参数集可用于对SAO区域中的其它块进行滤波。

8.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中在区域的第一滤波器块中信令通知自适应环路滤波器的滤波器参数集。

9.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，对于自适应环路滤波器时域预测，当前区域的滤波器块使用与参考图片中的共位区域相对应的滤波器参数集。

10.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，对于SAO区域的第一列或第一行中的SAO块，可用于合并的样点自适应偏移滤波器参数包括所述SAO区域之外的左侧或上方SAO块的滤波器参数。

11.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中滤波器块尺寸随区域改变。

12.一种设备，包括：

根据权利要求4至11中任一项所述的装置；以及

以下中的至少一个：

(i)天线，其被配置为接收信号，所述信号包括所述视频块，

(ii)频带限制器，其被配置为将所接收到的信号限制到包括所述视频块的频带，以及

(iii)显示器，其被配置为显示表示所述视频块的输出。

13.一种非暂时性计算机可读介质，其包含根据权利要求1和5-11中任一项所述的方法或由权利要求2和5-11中任一项所述的装置生成的用于使用处理器播放的数据内容。

14.一种信号，其包含根据权利要求1和5-11中任一项所述的方法或由权利要求2和5-11中任一项所述的装置生成的用于使用处理器播放的视频数据。

15.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令使所述计算机执行权利要求1、3和5-11中任一项所述的方法。