CN104702963A - 一种自适应环路滤波的边界处理方法及装置 - Google Patents

Abstract

本发明公开了一种自适应环路滤波的边界处理方法及装置，所述边界处理方法包括：根据序列的当前最大编码单元的上边界和下边界，确定滤波区域；以及确定所述滤波区域的左边界外和右边界外的像素是否可用，且在自适应环路滤波ALF过程中，对于不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。本发明解决了ALF滤波过程中的边界处理问题，充分利用了像素之间的相关性，以微小的编码性能损失为代价，降低了自适应环路滤波器实现过程中的硬件成本。

Description

一种自适应环路滤波的边界处理方法及装置

技术领域

本发明涉及数字信号处理领域，具体地，涉及一种图像/视频编解码领域中的自适应环路滤波的边界处理方法及装置。

背景技术

自适应环路滤波器(Adaptive Loop Filter,ALF)是视频编解码的重要技术之一。该技术通过编码滤波系数，在解码端对重构图像进行滤波，降低解码图像中的压缩失真，并为后续编解码图像提供高质量的预测参考图像，从而进一步提高压缩效率。ALF的系数一般通过最小化编码重构图像和其对应的未压缩图像间的失真训练得到，该系数即维纳滤波系数。

新型的编码标准技术中，通常包括三类环内滤波技术：去块滤波(De-Blocking,DB)、自适应采样偏移技术(Sample Adaptive Offset,SAO)和自适应环路滤波器(ALF)。其中DB使用预先定义好的系数进行滤波，SAO和ALF利用待编码的原始像素样本训练出滤波系数以减少原始像素样本与失真像素样本之间的均方误差。如图1所示，ALF通常位于整个编码环路的最后一个阶段，对SAO输出得到的像素样本进行处理，降低上一个视频编解码阶段的图像失真。使用ALF对视频/图像编码主要有两点好处：一是减少原始信号与失真信号之间的误差；二是执行滤波之后可以提高后续编码参考图像的质量，进而提高整体编码效率。

现有的ALF技术根据滤波器控制方式可以被划分为三类：基于整帧的ALF、基于区域的ALF和基于四叉树划分的ALF。基于整帧的ALF通常会对于某些图像区块有较大的质量损失，而基于四叉树划分的ALF划分方式较为复杂，编码复杂度大。因此目前通常使用的是基于区域的ALF。基于区域的ALF方法，将图像固定划分为近似等大的16个区域，每个区域计算一组滤波器系数，并根据编码的率失真性能进行区域间的自适应合并，从而降低了算法复杂度。为了充分挖掘ALF性能，可利用时域相邻编码帧间的相关性，将编码顺序前一帧的滤波器系数进行缓存，缓存系数参与当前帧ALF性能的率失真决策，如果前一帧ALF参数对于编码的率失代价更小，则只需编码一个标识位即可，从而降低编码开销和解码复杂度。

如图2所示，在AVS2中自适应环路滤波器滤波形状为7x7十字+3x3方形对称形状，水平方向有7个系数，垂直方向也有7个系数，整套滤波共有17个系数。对当前最大编码单元做自适应环路滤波时，由于当前最大编码单元下方的像素尚未解码，不能做自适应环路滤波，此时需要缓存不能做滤波的像素样本。在硬件实现上额外缓存样本像素行数占用极大的芯片空间，尤其是高清视频序列。为了解决额外缓存边界像素样本行数的问题，引入了虚拟边界的概念，如图3所示，滤波过程中使用滤波中心点像素值代替边界外及其对称位置的像素值，对于图3中所述示例，滤波中心样本像素点的C₀和C₁在虚拟边界下方，则使用中心像素点C₈代替虚拟边界下方的C₀、C₁和其对称位置的像素样本。这种解决方法的局限性在于如果中心点像素距离越界像素较远，中心点像素与越界像素相关性较弱，并且越界像素对称位置的像素并没有越界，同样使用中线点像素代替越界像素不合理。

因此，目前的ALF技术并没有合理的解决滤波过程中边界问题处理，现有的解决方案仍存在一定的局限性。

发明内容

本发明的目的是提供一种自适应环路滤波的边界处理方法及装置，用于解决ALF滤波过程中的边界处理问题。

为了实现上述目的，本发明提供一种自适应环路滤波的边界处理方法，包括：根据序列的当前最大编码单元的上边界和下边界，确定滤波区域；以及确定所述滤波区域的左边界外和右边界外的像素是否可用，且在自适应环路滤波ALF过程中，对于不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。

优选地，还包括：在序列的序列头上添加标志位，该标志位用于控制ALF是否允许跨条带边界滤波。

优选地，所述确定滤波区域，具体包括：对当前最大编码单元的上边界进行判断，基于亮度分量，将当前最大编码单元所在区域C向上移N个样本单位，再基于色度分量，将最大编码单元所在的区域向上移M个样本单位，得到区域D，其中，N和M均小于等于4；若区域D超出图像边界，或区域D超出条带边界且所述标志位不允许ALF跨条带边界滤波，则将超出部分移除，得到区域E，否则区域E等于区域D；对当前最大编码单元的下边界进行判断，若当前最大编码单元的下边界为图像边界，则对于亮度分量的区域E最下方补入N行样本，对于色度分量的区域E的最下方补入M行样本，得到区域F；将区域F作为ALF的滤波区域。

优选地，确定所述滤波区域的左边界外像素是否可用，具体包括：若所述滤波区域的左边界为图像边界，或者所述滤波区域的左边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的左边界外的像素样本不可用。

优选地，确定所述滤波区域的右边界外像素是否可用，具体包括：若所述滤波区域的右边界为图像边界，或者所述滤波区域的右边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的右边界外的像素样本不可用。

优选地，将所述标志位记作cross_slice_loopfilter_enable。

本发明的技术方案还包括一种自适应环路滤波的边界处理装置，包括：滤波区域确定模块，其用于根据序列的当前最大编码单元的上边界和下边界，确定滤波区域；以及边界处理模块，其用于确定所述滤波区域的左边界外和右边界外的像素是否可用，且在自适应环路滤波ALF过程中，对于不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。

优选地，还包括标志位设置模块，其用于在序列的序列头上添加标志位，该标志位用于控制ALF是否允许跨条带边界滤波。

优选地，所述滤波区域确定模块包括：上边界判断模块，其用于对当前最大编码单元的上边界进行判断，基于亮度分量，将当前最大编码单元所在区域C向上移N个样本单位，再基于色度分量，将最大编码单元所在的区域向上移M个样本单位，得到区域D，其中，N和M均小于等于4；若区域D超出图像边界，或区域D超出条带边界且所述标志位不允许ALF跨条带边界滤波，则将超出部分移除，得到区域E，否则区域E等于区域D；以及下边界判断模块，其用于对当前最大编码单元的下边界进行判断，若当前最大编码单元的下边界为图像边界，则对于亮度分量的区域E最下方补入N行样本，对于色度分量的区域E的最下方补入M行样本，得到区域F；将区域F作为ALF的滤波区域。

优选地，所述边界处理模块包括：左边界处理模块，其用于确定所述滤波区域的左边界外像素是否可用，若所述滤波区域的左边界为图像边界，或者所述滤波区域的左边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的左边界外的像素样本不可用；右边界处理模块，其用于确定所述滤波区域的右边界外像素是否可用，若所述滤波区域的右边界为图像边界，或者所述滤波区域的右边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的右边界外的像素样本不可用；以及像素替换模块，其用于对不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。

通过上述技术方案，本发明的有益效果是：本发明充分利用了像素之间的相关性，以微小的编码性能损失为代价，降低了自适应环路滤波器实现过程中的硬件成本。并且，本发明提出的处理滤波边界像素的方法，更加便于并行编解码的实现。

本发明的其他有益效果在具体实施方式中说明。

附图说明

图1是现有技术中ALF滤波器在编解环路中的位置示意图；

图2是ALF滤波器分量滤波器形状示意图；

图3是现有技术中使用中心点像素代替越界像素的处理方法的原理示意图；

图4是本发明实施例中所述自适应环路滤波的边界处理方法的流程示意图；

图5是本发明实施例中在当前最大编码单元的基础上上移四个像素单位的示意图；

图6是本发明实施例中使用边界内最近像素代替越界像素的原理示意图；

图7是本发明实施例中所述自适应环路滤波的边界处理装置的结构示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

在本发明中，在未作相反说明的情况下，使用的方位词如“上、下、左、右”通常是指相应物体轮廓的上、下、左和右，“内、外”是指相近物体轮廓的内和外，“远、近”是指距离相应物体轮廓的远和近。

在介绍本发明的实施例之前，先给出如下的术语解释。

1、最大编码单元：包括一个L×L的亮度样值块和对应的色度样值块。最大编码单元由图像划分得到。

2、条带：按光栅扫描顺序排列的若干连续最大编码单元行。

实施例一

如图4所示，本实施例给出了一种自适应环路滤波的边界处理方法，包括：根据序列的当前最大编码单元LCU的上边界和下边界，确定滤波区域；以及确定所述滤波区域的左边界外和右边界外的像素是否可用，且在自适应环路滤波ALF过程中，对于不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。

此外，考虑到跨条带边界滤波的问题，该方法还包括：在序列的序列头上添加标志位，该标志位用于控制ALF是否允许跨条带边界滤波。在具体实践中，可将所述标志位记作cross_slice_loopfilter_enable，通过对cross_slice_loopfilter_enable的数值进行设置来表示是否允许跨条带边界滤波，例如其值为1时表示允许跨条带边界滤波，值为0时表示不允许跨条带边界滤波；或者其值为0时表示允许跨条带边界滤波，其值为1时表示不允许跨条带边界滤波。

其中，所述确定滤波区域，具体包括针对LCU的上边界和下边界的判断，具体如下：

一、对当前最大编码单元的上边界进行判断。

基于亮度分量，将当前最大编码单元所在区域C向上移N个样本单位，再基于色度分量，将最大编码单元所在的区域向上移M个样本单位，得到区域D，其中，N和M均小于等于4。如图5所示，即示意了上移四个像素单元。

若区域D超出图像边界，或区域D超出条带边界且所述标志位不允许ALF跨条带边界滤波，则将超出部分移除，得到区域E，否则区域E等于区域D。

二、对当前最大编码单元的下边界进行判断。

若当前最大编码单元的下边界为图像边界，则对于亮度分量的区域E最下方补入N行样本，对于色度分量的区域E的最下方补入M行样本，得到区域F，将区域F作为ALF的滤波区域。同样地，N和M均小于等于4。

确定滤波区域后，需要进一步判断所述滤波区域的左边界外及右边界外的像素是否可用，具体如下：

三、判断滤波区域的左边界外的像素是否可用。

若所述滤波区域的左边界为图像边界，或者所述滤波区域的左边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的左边界外的像素样本不可用。

四、判断滤波区域的右边界外的像素是否可用。

若所述滤波区域的右边界为图像边界，或者所述滤波区域的右边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的右边界外的像素样本不可用。

最后，在ALF过程中，对于不可用的像素样本，如图6所示，使用所述滤波区域内距离该像素样本最近的像素样本代替，对于图6中所述示例，滤波中心样本像素点的C₁₅和C₁₆在虚拟边界下方，则使用中心像素点C₈代替虚拟边界下方的C₁₅和C₁₆像素样本，其余位置的像素样本不替换。

实施例二

对应实施例一的自适应环路滤波的边界处理方法，本实施例给出了一种自适应环路滤波的边界处理装置，如图7所示，包括：滤波区域确定模块，其用于根据序列的当前最大编码单元的上边界和下边界，确定滤波区域；以及边界处理模块，其用于确定所述滤波区域的左边界外和右边界外的像素是否可用，且在自适应环路滤波ALF过程中，对于不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。

另外，该边界处理装置还包括标志位设置模块，其用于在序列的序列头上添加标志位，该标志位用于控制ALF是否允许跨条带边界滤波。标志位的设置参考实施例一。

其中，所述滤波区域确定模块包括：上边界判断模块，其用于对当前最大编码单元的上边界进行判断，基于亮度分量，将当前最大编码单元所在区域C向上移N个样本单位，再基于色度分量，将最大编码单元所在的区域向上移M个样本单位，得到区域D，其中，N和M均小于等于4；若区域D超出图像边界，或区域D超出条带边界且所述标志位不允许ALF跨条带边界滤波，则将超出部分移除，得到区域E，否则区域E等于区域D；以及下边界判断模块，其用于对当前最大编码单元的下边界进行判断，则对于亮度分量的区域E最下方补入N行样本，对于色度分量的区域E的最下方补入M行样本，得到区域F；将区域F作为ALF的滤波区域。

其中，所述边界处理模块包括：左边界处理模块，其用于确定所述滤波区域的左边界外像素是否可用，若所述滤波区域的左边界为图像边界，或者所述滤波区域的左边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的左边界外的像素样本不可用；右边界处理模块，其用于确定所述滤波区域的右边界外像素是否可用，若所述滤波区域的右边界为图像边界，或者所述滤波区域的右边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的右边界外的像素样本不可用；以及像素替换模块，其用于对不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。

对于上述两个实施例，进行完边界处理后，可对最终确定的滤波区域进行滤波操作。

自适应环路滤波操作如下：

$\mathrm{ptmp}=\mathrm{alf}\_\mathrm{coeff}\left[8\right]\×p(x,y)+\underset{j=0}{\overset{7}{\mathrm{\Σ}}}\mathrm{alf}\_\mathrm{coeff}\left[j\right]\×(p(x-\mathrm{Hor}[j],y-\mathrm{Ver}[j\left]\right)+p(x+\mathrm{Hor}[j],y+\mathrm{Ver}[j\left]\right))$

p_tmp＝(t_tmp+32)>>6

p′(x,y)＝max(0,min(p_tmp,255))

其中p(x,y)是进行滤波处理的像素，p′(x,y)表示滤波之后得到的像素值，Hor[j]和Ver[j]分别表示水平坐标偏移量和垂直坐标偏移量，其值见表1，alf_coeff[i]表示对应的滤波器系数。

表1样本补偿滤波坐标偏移量

j	0	1	2	3	4	5	6	7
									Hor	0	0	1	0	1	3	2	1
Ver	3	2	1	1	-1	0	0	0

在AVS2参考软件RD9.2版本上不使用边界处理方法进行自适应环路滤波和使用两个实施例涉及的边界处理方法进行自适应环路滤波的性能比较如表2、表3和表4所示。

表2.RD9.0 AI配置下不使用边界处理和使用边界处理的自适应环路滤波性能对比

表3 RD9.0 LD配置下不使用边界处理和使用边界处理的自适应环路滤波性能对比

表4 RD9.0 RA配置下不使用边界处理和使用边界处理的自适应环路滤波性能对比

根据表2、表3、表4可知，在AVS2标准的三种测试条件下，即全I帧配置、IPPP配置和IBBBP配置，平均仅有0.07％、0.07％和0.05％的编码性能损失，由此可知本发明对编码带来的性能损失可以忽略不计。

上述实施例充分利用了像素之间的相关性，以微小的编码性能损失为代价，降低了自适应环路滤波器实现过程中的硬件成本。并且，这种处理滤波边界像素的方法及装置，更加便于并行编解码的实现。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种自适应环路滤波的边界处理方法，其特征在于，包括：

根据序列的当前最大编码单元的上边界和下边界，确定滤波区域；以及

确定所述滤波区域的左边界外和右边界外的像素是否可用，且在自适应环路滤波ALF过程中，对于不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。

2.根据权利要求1所述的自适应环路滤波的边界处理方法，其特征在于，还包括：在序列的序列头上添加标志位，该标志位用于控制ALF是否允许跨条带边界滤波。

3.根据权利要求2所述的自适应环路滤波的边界处理方法，其特征在于，所述确定滤波区域，具体包括：

对当前最大编码单元的上边界进行判断，基于亮度分量，将当前最大编码单元所在区域C向上移N个样本单位，再基于色度分量，将最大编码单元所在的区域向上移M个样本单位，得到区域D，其中，N和M均小于等于4；

若区域D超出图像边界，或区域D超出条带边界且所述标志位不允许ALF跨条带边界滤波，则将超出部分移除，得到区域E，否则区域E等于区域D；

对当前最大编码单元的下边界进行判断，若当前最大编码单元的下边界为图像边界，则对于亮度分量的区域E最下方补入N行样本，对于色度分量的区域E的最下方补入M行样本，得到区域F；

将区域F作为ALF的滤波区域。

4.根据权利要求2所述的自适应环路滤波的边界处理方法，其特征在于，确定所述滤波区域的左边界外像素是否可用，具体包括：若所述滤波区域的左边界为图像边界，或者所述滤波区域的左边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的左边界外的像素样本不可用。

5.根据权利要求2所述的自适应环路滤波的边界处理方法，其特征在于，确定所述滤波区域的右边界外像素是否可用，具体包括：若所述滤波区域的右边界为图像边界，或者所述滤波区域的右边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的右边界外的像素样本不可用。

6.根据权利要求2所述的自适应环路滤波的边界处理方法，其特征在于，将所述标志位记作cross_slice_loopfilter_enable。

7.一种自适应环路滤波的边界处理装置，其特征在于，包括：

滤波区域确定模块，其用于根据序列的当前最大编码单元的上边界和下边界，确定滤波区域；以及

边界处理模块，其用于确定所述滤波区域的左边界外和右边界外的像素是否可用，且在自适应环路滤波ALF过程中，对于不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。

8.根据权利要求7所述的自适应环路滤波的边界处理装置，其特征在于，还包括标志位设置模块，其用于在序列的序列头上添加标志位，该标志位用于控制ALF是否允许跨条带边界滤波。

9.根据权利要求8所述的自适应环路滤波的边界处理装置，其特征在于，所述滤波区域确定模块包括：

上边界判断模块，其用于对当前最大编码单元的上边界进行判断，基于亮度分量，将当前最大编码单元所在区域C向上移N个样本单位，再基于色度分量，将最大编码单元所在的区域向上移M个样本单位，得到区域D，其中，N和M均小于等于4；若区域D超出图像边界，或区域D超出条带边界且所述标志位不允许ALF跨条带边界滤波，则将超出部分移除，得到区域E，否则区域E等于区域D；以及

下边界判断模块，其用于对当前最大编码单元的下边界进行判断，若当前最大编码单元的下边界为图像边界，则对于亮度分量的区域E最下方补入N行样本，对于色度分量的区域E的最下方补入M行样本，得到区域F；将区域F作为ALF的滤波区域。

10.根据权利要求8所述的自适应环路滤波的边界处理装置，其特征在于，所述边界处理模块包括：

左边界处理模块，其用于确定所述滤波区域的左边界外像素是否可用，若所述滤波区域的左边界为图像边界，或者所述滤波区域的左边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的左边界外的像素样本不可用；

右边界处理模块，其用于确定所述滤波区域的右边界外像素是否可用，若所述滤波区域的右边界为图像边界，或者所述滤波区域的右边界为条带边界且所述标志位不允许ALF跨条带边界滤波，则所述滤波区域的右边界外的像素样本不可用；以及

像素替换模块，其用于对不可用的像素样本，使用所述滤波区域内距离该像素样本最近的像素样本代替。