CN111314711A - 一种基于自适应自导向滤波的环路滤波方法 - Google Patents

Abstract

本发明属于视频编解码技术领域，具体涉及一种基于自适应自导向滤波的环路滤波方法。本发明的方法主要是考虑图像的局部结构信息的自适应自导向滤波技术，通过计算正则化系数的权重系数，对正则化系数进行调整，实现自适应自导向滤波，然后对每个区域实施的区域级子空间映射迭代优化，使每个区域的映射结果达到最优，使得整幅图像的映射结果更加接近原始图像。本发明的有益效果为，能提高环路滤波的滤波效果，减少重建图像的失真效应，提高视频帧的重建质量，使得重建图像更有利于后续参考，进一步提高视频的主客观质量。

Description

一种基于自适应自导向滤波的环路滤波方法

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于自适应自导向滤波的环路滤波方法。

背景技术

主流视频编码标准中基于块的混合编码框架会导致重建图像中存在方块效应、振铃效应以及图像模糊等失真效应，环路滤波技术对已编码重建图像进行滤波，一定程度上可以降低这些失真效应对视频重建质量的影响，提升视频的主客观质量。重建图像在滤波后不仅提升当前重建图像的质量，还为后续编码图像提供参考，相比滤波前的图像，滤波后的重建图像更有利于参考，可以进一步缩小后续编码的预测残差，提高编码效率。

对于失真图像，可以将其看成原始图像与噪声的叠加，而滤波的目的是将噪声从失真图像中剔除，从而得到原始图像。由于自然图像是由平缓区域和纹理细节共同组成，在滤波器平滑图像中的噪声的同时，会将失真图像中较为重要的纹理细节一并平滑，基于该问题研究人员提出多个保边滤波器，如双边滤波器(Bilateral Filter，BF)、维纳滤波器(Wiener Filter，WF)，以及导向滤波器(Guided Filter，GF)等。

导向滤波器中的导向一词是指对待滤波图像p进行滤波得到输出图像q的过程中,需要利用一个引导图像I，对于自导向滤波器，引导图像即为待滤波图像本身。导向滤波器的一个重要假设是引导图像I与输出图像q在滤波窗口呈现局部线性关系,即在像素i处的输出可用下式表示：

由于待滤波图像p可视作输出图像q受噪声污染产生的退化图像，假设噪声为n，则存在q_i＝p_i-n_i。

通过求解minn²,可以计算得到滤波窗口(2r+1)×(2r+1)内的局部线性模型的系数a_k和截距b_k:

b_k＝(1-a_k)μ_k (0.3)

和μ_k是滤波窗口ω_k内引导图像像素的方差和均值,ε是正则化系数，用于惩罚较大的系数a_k。

当ε＝0，a_k＝1并且b_k＝0，此时输出图像像素等于引导图像像素；当ε>0时，有以下两种情况。

情况1：

较大的区域，图片在滤波窗口ω_k中变化剧烈。此时有

故a_k≈1，b_k≈0，q≈p，图像边缘被保留。

情况2：

较小的区域，图片在滤波窗口ω_k中几乎不变。此时有

故a_k≈1，b_k≈μ_k，q≈μ_k，图像区域被平滑。

AV1视频编码标准制定过程中引入了基于子空间投影的双自导向滤波技术，进一步提升编码效率。该技术提出使用两组自导向滤波器对重建图像X滤波，得到两个滤波图像X₁和X₂，通过将真实图像Y与重建图像X的差值矢量投影到X₁与X的差值矢量(X₁-X)和X₂与X的差值矢量(X₂-X)所生成的子空间，所得到的投影X_r与真实图像Y更接近。X_r-X可用X₁-X和X₂-X线性表出，故X_r可表示为：

X_r＝X+α(X₁-X)+β(X₂-X) (0.4)

当编码器给出原始图像Y、待滤波重建图像X以及滤波图像X₁、X₂，便可以根据矩阵方程的最小二乘解计算出参数α、β：

{α,β}^T＝(A^TA)^-1A^Tb (0.5)

其中A＝{X₁-X,X₂-X}，b＝Y-X，公式(1.5)中的图像矩阵均表示为列向量。

子空间映射示意图如图1所示。将自导向滤波器参数以及映射系数传输至解码端，便可在解码端对重建图像进行滤波。

相较于HEVC，JVET向正在研制的最新视频编码标准VVC中添加了ALF技术，获取了较大的编码效率的提升，但重建图像中的各种失真效应依然没有被完全去除，因而进一步降低重建图像中的失真依然是视频编码技术发展过程中的重要需求。同时，原始的双自导向滤波技术并不适用于针对高清、超高清视频的VVC标准。

发明内容

针对上述问题，本发明通过对双自导向滤波技术进行改进，进一步提升视频质量。本发明基于自适应自导向滤波的环路滤波方法主要包括实现自导向滤波器的正则化系数ε自适应调整以及区域级映射迭代优化。

本发明采用的技术方案是，一种基于自适应自导向滤波的环路滤波方法，自适应的自导向滤波器能利用重建图像的局部结构信息在避免图像边缘被过度平滑的同时有效地去除量化噪声，同时迭代优化的子空间映射保证了子空间映射的滤波结果足够接近原始图像，包括以下步骤：

一、对重建图像实施自适应自导向滤波操作:

现有的技术对整幅重建图像使用较为原始的自导向滤波器进行滤波，采用这种滤波策略增强重建图像质量非常低效，导致后续使用子空间映射得到的映射结果也不理想，如果可以对自导向滤波器进行改进，使滤波结果更加接近原始图像，那么最终映射得到的滤波结果也将更接近原始图像，滤波效果也会进一步提升。由于自导向滤波器仅决定于两个参数{r,ε}，滤波半径r增大只会使得滤波结果更加平滑，而通常需要的是突出图像纹理细节，因此可以考虑优化正则化系数ε。现有技术使用的自导向滤波器的ε对于一张图像中的所有像素是固定不变的，若采用较高的ε会导致纹理区域过度平滑，而较低的ε难以保证平坦区域足够平滑，因此固定的ε难以平衡这两个问题。因此本发明提出考虑图像的局部结构信息的自适应自导向滤波技术。

在编码端和解码端设置自导向滤波参数表存放32组两两一组的自导向滤波参数{r₁,ε₁,r₂,ε₂}，将图像级滤波标志初始化为1，使用每一组自导向滤波参数对重建图像进行滤波得到两个滤波结果X₁、X₂，在滤波时编码器首先利用Sobel算子计算当前待滤波重建图像的局部结构信息，将3×3的Sobel算子与重建图像卷积，分别计算出横向和纵向的像素梯度，估计当前重建图像的边缘信息：

将横向梯度和纵向梯度结合：

对于滤波参数表中的一组滤波参数{r₁,ε₁}、{r₂,ε₂}，使用表征边缘信息的G对正则化系数ε自适应调整。

s是像素i处的正则化系数的权重系数，ω_i是以像素i为中心的滤波窗口，γ是取值为0.01的常数。如果像素i处于图像的强边缘处，则s总是大于1，若像素i处于图像的平坦区域，则s总是小于1。通过使用参数s对正则化系数ε进行调整后的自适应自导向滤波器具有以下特点：在强边缘处，ε会变小，a_k更接近1，更多的纹理会被保留；在平坦区域，ε会变大，a_k更接近0，b_k更接近滤波窗口像素均值μ_k，使得平坦区域更加平滑。

本发明提出的自适应自导向滤波器对重建图像进行滤波能有效提高两个滤波图像X₁、X₂的质量，更有利于后续子空间映射，使得映射系数的值会变小，有利于降低编码端传输映射系数时所需比特数，提高编码效率。

二、区域级子空间映射迭代优化：

现有的AV1视频编码标准中的双自导向滤波技术对整幅重建图像仅使用一对映射系数{α,β}，然而对于高分辨率视频例如4K视频，视频尺寸较大，视频内容变化较大，仅依靠一对映射系数{α,β}的映射结果并不足够接近原始图像。如果可以将一幅较大尺寸的图像分割成多个不重叠的区域，对每个区域采用不同的映射系数，并且使用区域级的滤波标志记录是否对当前区域进行滤波，将使得各个区域的映射效果更好，从而提高整幅图片的滤波效率，因此本发明提出区域级子空间迭代优化技术。

对每个区域实施的区域级子空间映射迭代优化步骤如下：

S1、将图像分割为多个大小相等互不重叠的区域，区域的边界与CTU的边界对齐，将区域级滤波标志均初始化为1；

S2、将每个区域中CTU的CTU级滤波标志初始化为1，并根据公式(1.5)计算每个区域的映射系数。

S3、将S2得到的映射系数{α,β}代入公式(1.4)得到映射结果X_r。仅对区域中的每个滤波标志为1的CTU进行子空间映射操作，根据RDO对当前区域中的CTU逐个决定是否使用滤波器，若决定不使用滤波器，则将该CTU的CTU级滤波标志设置为0；

S4、判断区域中是否存在CTU的CTU级滤波标志从1置为0，若是，则对该区域剩余CTU级滤波标志为1的CTU重新计算区域级映射系数{α,β}，并回到步骤S3，直至该区域中CTU的滤波器标志不再改变或迭代次数达到5次，{α,β}确定，否则进入步骤S5；

S5、根据迭代优化后得到的最终的映射系数{α,β}对区域中滤波标志为1的CTU进行映射，通过比较使用自适应自导向滤波器以及区域级子空间映射迭代优化前后的率失真代价决定是否对当前区域使用滤波操作，对当前区域进行滤波时设置区域级滤波标志为1，否则设置区域级滤波标志为0。

在对每个区域实施区域级子空间映射迭代优化后，每个区域的映射结果达到最优，使得整幅图像的映射结果更加接近原始图像，特别是针对大尺寸重建图像，进一步提升重建图像质量，也因此带来大量附加的滤波信息，需要有效的方式进行编码。

三、滤波附加信息熵编码：

若遍历自导向滤波器参数表中的32组滤波参数进行自适应自导向滤波和区域级子空间迭代优化得到的最优率失真代价RDCost1依然高于不使用滤波器时的率失真代价RDCost0，则将该重建图像的图像级滤波标志设置为0，否则图像级滤波标志设置为1，并传输滤波器的相关信息至解码端。

判断图像级滤波标志是否为0，若是，则传输一个为0的码字至解码端，告知解码端不需对当前重建图像实施滤波操作。否则，传输一个为1的码字至解码端，同时传输滤波器的相关信息：包括根据RDO遍历滤波参数表得到的最优滤波参数索引、每个区域的区域级滤波标志、区域内的每个CTU的CTU级滤波标志以及所有区域的区域级映射系数{α,β}。

每个区域的映射系数{α,β}基本分布于[-5,+5]。故对于系数的整数部分，直接采用0阶指数哥伦布编码；对于系数的小数部分，使用6比特精度表示，即对小数部分左移6位后取整，并使用0阶指数哥伦布编码，因此编码一个映射系数最多需要9bit码字。

所述自导向滤波的具体方法是对自导向滤波器的决定性参数正则化系数进行自适应调整，实现基于重建图像的局部结构信息的自适应自导向滤波器，对自适应自导向滤波器的滤波结果采用子空间映射迭代优化进一步减小滤波图像与原始图像之间的差距，提高重建图像质量。

解码端对编码图像进行重建时，先解码出当前重建图像的图像级滤波标志位，若图像级滤波标志为0，则表示当前重建图像不需要进行滤波，此时不对重建图像做任何操作；若帧级滤波标志为1，则还需要继续解码自导向滤波参数索引，在自导向滤波参数表中找到解码出的索引对应的滤波参数，使用该滤波参数进行自适应自导向滤波，得到两个滤波结果X₁、X₂。与编码端一样，将重建图像划分为多个大小一致的区域，继续解码每个区域的区域级滤波标志位以及区域级映射系数，对于区域级滤波标志为1的区域需进一步解码CTU级滤波标志位，若存在CTU的滤波标志为0，则该CTU的重建像素使用滤波前的重建像素，若CTU的滤波标志为1，则对该CTU的两组自适应自导向滤波结果使用对应的区域级映射系数实现子空间映射，将该CTU最终的重建像素使用滤波后的重建像素替代。

率失真代价计算公式为RDCost＝D+λR，其中D表示当前编码单元的失真，R表示编码对当前编码单元实施本发明技术中的滤波操作所需信息消耗的比特数，λ是拉格朗日乘子，由编码器决定。

本发明的有益效果为，本发明能提高环路滤波的滤波效果，减少重建图像的失真效应，提高视频帧的重建质量，使得重建图像更有利于后续参考，进一步提高视频的主客观质量。

附图说明

图1为可操作率失真曲线

图2为LD结构下时域失真传播链的构造示意图

图3为LD编码结构示意图

图4为Fourpeople序列的率失真曲线图。

具体实施方式

下面使用仿真示例说明本发明方案的有效性：

以VTM3.0为实验平台，在环路滤波模块中的SAO和ALF之间加入本章提出的基于VVC优化的双自导向滤波算法，并在AI、LD和RA配置下进行验证，测试条件为VTM的通用测试条件(Common Test Conditions，CTC)，包括Class A～Class F共22个序列，测试结果展示每个测试序列的编码性能、每个Class的性能均值以及所有测试序列的性能均值，测试的量化参数QP为22，27，32，37。

将实验结果与原始的参考软件VTM3.0对比，使用BD-Rate作为比较标准，表示在相同重建质量下码率的变化。当BD-Rate为负值时，代表相同重建质量下码率减少，技术具有增益，当BD-Rate为正值时，代表相同重建质量下码率增加，技术存在损失。表1给出了相比与VTM3.0，本发明分别在AI、LB和RA三种编码配置下的亮度Y分量的BD-Rate，可明显看出本发明在AI、LB和RA编码配置下其编码性能均取得了提升，在AI编码结构下，亮度分量平均有0.23％的码率节省；在LDB编码结构下，对于亮度分量平均有0.16％的码率节省；在RA编码结构下，对于亮度分量平均有0.23％的码率节省。

表1相比于VTM3.0本发明的码率节省

如图4所示的BQSquare序列的率失真曲线，横坐标表示编码该视频序列所需码率，纵坐标表示压缩后的视频序列Y分量的PSNR，蓝色的线表示引入本节提出的环路滤波算法后编码BQSquare序列的率失真曲线，放形标记曲线表示原始VTM3.0的编码BQSquare序列的率失真曲线。由图4可看出该算法在亮度分量带来了一定的编码提升。

在编码复杂度方面，使用编码时间增加百分比衡量：

表2相比于VTM3.0本发明的编码时间增加百分比

该算法在AI、RA、LDB编码结构下编码复杂度分别增加7％、4％、4％，并且随着视频尺寸的增加，编码时间增加的越多，这是由于自导向滤波器需要对每个重建像素进行滤波，较大的视频尺寸有更多的重建像素，导致时间开销增大。

Claims (1)

1.一种基于自适应自导向滤波的环路滤波方法，其特征在于，包括以下步骤：

S1、对重建图像进行自适应自导向滤波，具体为：

在编码端和解码端设置自导向滤波参数表存放32组两两一组的自导向滤波参数{r₁,ε₁,r₂,ε₂}，将图像级滤波标志初始化为1，使用每一组自导向滤波参数对重建图像X进行自适应自导向滤波得到两个滤波结果X₁、X₂，在滤波时编码器首先利用Sobel算子计算当前待滤波重建图像的局部结构信息，将3×3的Sobel算子与重建图像卷积，分别计算出横向和纵向的像素梯度：

将横向梯度和纵向梯度结合，估计当前重建图像的边缘信息：

对于滤波参数表中的一组滤波参数{r₁,ε₁}、{r₂,ε₂}，使用表征边缘信息的G对正则化系数ε自适应调整：

s是像素i处的正则化系数的权重系数，ω_i是以像素i为中心的滤波窗口，γ是取值为0.01的常数；如果像素i处于图像的强边缘处，则s总是大于1，若像素i处于图像的平坦区域，则s总是小于1，通过使用参数s对正则化系数ε进行调整后的自适应自导向滤波器具有以下特点：在强边缘处，ε会变小，a_k更接近1，更多的纹理会被保留；在平坦区域，ε会变大，a_k更接近0，b_k＝(1-a_k)μ_k，即b_k更接近滤波窗口像素均值μ_k，使得平坦区域更加平滑；a_k是滤波窗口内的局部线性模型的系数，b_k是滤波窗口内的局部线性模型的截距，在滤波窗口内的待滤波像素与输出像素存在以下局部线性模型，根据该局部线性模型即可求得像素i处的输出像素q_i：

I_i为引导图像；

S2、对每个区域实施区域级子空间映射迭代，具体包括：

S21、将图像分割为多个大小相等互不重叠的区域，区域的边界与CTU的边界对齐，将区域级滤波标志均初始化为1；

S22、将每个区域中CTU的CTU级滤波标志初始化为1，并根据如下公式计算每个区域的映射系数：

{α,β}^T＝(A^TA)^-1A^Tb

其中A＝{X₁-X,X₂-X}，b＝Y-X，公式中的图像矩阵均为列向量，Y为原始图像；

S23、将S22得到的映射系数{α,β}代入公式

X_r＝X+α(X₁-X)+β(X₂-X)

得到映射结果X_r，仅对区域中的每个滤波标志为1的CTU进行子空间映射操作，根据RDO对当前区域中的CTU逐个决定是否使用滤波器，若决定不使用滤波器，则将该CTU的CTU级滤波标志设置为0；

S24、判断区域中是否存在CTU的CTU级滤波标志从1置为0，若是，则对该区域剩余CTU级滤波标志为1的CTU重新计算区域级映射系数{α,β}，并回到步骤S23，直至该区域中CTU的滤波器标志不再改变或迭代次数达到5次，{α,β}确定，否则进入步骤S25；

S25、根据迭代优化后得到的最终的映射系数{α,β}对区域中滤波标志为1的CTU进行映射，通过比较使用自适应自导向滤波器以及区域级子空间映射迭代优化前后的率失真代价决定是否对当前区域使用滤波操作，对当前区域进行滤波时设置区域级滤波标志为1，否则设置区域级滤波标志为0；率失真代价计算公式为RDCost＝D+λR，其中D表示当前编码单元的失真，R表示编码对当前编码单元实施滤波操作所需信息消耗的比特数，λ是拉格朗日乘子，由编码器决定；

S3、滤波附加信息熵编码：

S31、若遍历自导向滤波器参数表中的32组滤波参数进行自适应自导向滤波和区域级子空间映射优化得到的最优率失真代价RDCost1高于不使用滤波器时的率失真代价RDCost0，则将该重建图像的图像级滤波标志设置为0，否则图像级滤波标志设置为1；

S32、判断图像级滤波标志是否为0，若是，则传输一个为0的码字至解码端，告知解码端不需对当前重建图像实施滤波操作；否则，传输一个为1的码字至解码端，同时传输滤波器的信息，包括：根据RDO遍历滤波参数表得到的最优滤波参数索引、每个区域的区域级滤波标志、区域内的每个CTU的CTU级滤波标志以及所有区域的区域级映射系数{α,β}；

S4、解码端对编码图像进行重建时，先解码出当前重建图像的图像级滤波标志位，若图像级滤波标志为0，则表示当前重建图像不需要进行滤波，此时不对重建图像做任何操作；若图像级滤波标志为1，则还需要继续解码自导向滤波参数索引，在自导向滤波参数表中找到解码出的索引对应的滤波参数，使用该滤波参数进行自适应自导向滤波，得到两个滤波结果X₁、X₂；与编码端一样，将重建图像划分为多个大小一致的区域，继续解码每个区域的区域级滤波标志位以及区域级映射系数，对于区域级滤波标志为1的区域需进一步解码CTU级滤波标志位，若存在CTU的滤波标志为0，则该CTU的重建像素使用滤波前的重建像素，若CTU的滤波标志为1，则对该CTU的两组自适应自导向滤波结果使用对应的区域级映射系数实现子空间映射，将该CTU最终的重建像素使用滤波后的重建像素替代。

Images