CN100581255C - 一种像素级环路滤波方法和滤波器 - Google Patents

Abstract

本发明公开了一种像素级环路滤波方法和滤波器，滤波方法包括如下步骤：步骤(1)判断是否进行滤波：如果边界左第一像素和右第一像素的差值小于预先设定的第一阈值并且大于预先设定的第二阈值，则进行下面的步骤；否则，终止；步骤步骤(2)确定边界强度；步骤(3)修正边界强度；步骤(4)滤波。该环路滤波器包括滤波判断区和执行区域；前者包括图像储存单元、阈值确定单元、像素差值单元和边界强度判断单元；执行区域包括：激发单元、滤波器选择单元、滤波单元。本发明可有效去除块效应，提高图像的主观质量。

Description

一种像素级环路滤波方法和滤波器

技术领域

本发明属于视频编解码技术领域，具体为一种环路滤波方法和环路滤波器。

背景技术

在视频编码中，图像都作分块处理，每块在变换及量化之后都会不同程度的出现块效应和振铃效应。块效应的典型后果是出现格形噪声和梯形噪声。此类噪声将使图像边缘明显甚至出现块状区域。振铃噪声会导致图像从块的左上角到块的右下角出现环状效应，使得多个被显示的图像重叠起来。

块效应的出现主要是由于量化时分块处理造成的量化误差引起的，它随分块范围内图像内容的不同，有两种不同的表现形式，主要为梯形噪声和格形噪声。

梯形噪声：出现在图像的强边缘处。由于DCT(离散余弦变换)的许多高频系数被量化为零，使得强边缘在变换域内不能被完全数字化，又由于图像的分块处理，使得块边界的强边缘的连续性不能得到保证，从而在图像强边缘处出现锯齿状噪声，使得视觉上有不自然的数据块边缘，称为梯形噪声。

格形噪声：出现在图像的平坦区域。在图像的平坦区域，亮度有递增或者递减的情况下，由于量化取整时进行了四舍五入，可能导致变换域的DC(直流)系数越过了相邻量化级的判决门限，造成在重建图像中相邻两个块出现亮度突变，使得视觉上出现片状轮廓，称之为格形噪声。

为了避免块效应和振铃效应，在图像编码完，存储起来作为后一帧的参考帧之前，需要对图像做去方块效应的处理。环路滤波器的目的在于降低图像编码中产生的块效应和振铃效应。它可以减小块效应，部分消除振铃效应。它对块边界两边相邻相邻像素的像素值进行平滑滤波，达到该目的。

1997年，由SAMSUNG公司提出了一种环路滤波算法，并被加入到H.264最新的国际编码标准之中。由SAMSUNG公司提出的方法仅适用于低码率标准下，不适合于高清电视标准，其结构也不适合于当前的AVS(中国数字视音频编码标准)编码器。

现有的所有环路滤波方法和装置，都是基于宏块级别。这些宏块级的滤波方法和装置，不能很好的分析宏块内的不同情况，自适应性较差。同时，由于滤波器的设计不当，主客观性能指标不能完全满足要求。为此，本专利提出一种基于像素级别的环路滤波方法和滤波器。

发明内容

本发明的目的是克服现有技术中基于宏块级别环路滤波的不足，提供一种像素级环路滤波方法和滤波器。

为了达到上述目的，本发明采取如下技术方案：

一种像素级环路滤波方法，包括如下步骤：

步骤(1)判断是否进行滤波；

从块边界开始向一侧的像素按顺序分别定义为左第一像素、左第二像素、左第三像素，以此顺序下去；从上述块边界开始向另一侧的像素按顺序分别定义为右第一像素、右第二像素、右第三像素，并以此顺序下去；

如果左第一像素和右第一像素的差值小于预先设定的第一阈值并且大于预先设定的第二阈值，则进行下面的步骤；否则，终止，不进行下面的任何一个步骤；

步骤(2)确定边界强度；该步骤包括：

1)如果左一像素等于左二像素，并且左一像素和左三像素的差值小于预定的第三阈值，并且右一像素等于右二像素，并且右一像素和右三像素的差值小于预定的第三阈值，则边界强度等于4；

2)如果左一像素和左二像素的差值小于第三阈值且大于0，并且左一像素和左三像素的差值小于预定的第三阈值，并且右一像素和右二像素的差值小于第三阈值且大于0，并且右一像素和右三像素的差值小于第三阈值，则边界强度等于3；

3)如果左一像素和左二像素的差值小于第三阈值，并且右一像素和右二像素的差值小于第三阈值，并且左一像素和左三像素的差值与右一像素和右三像素的差值有一个小于第三阈值，另外一个不小于第三阈值，则边界强度等于2；

4)如果左一像素和左二像素的差值小于第三阈值，并且右一像素和右二像素的差值小于第三阈值，并且左一像素和左三像素的差值不小于第三阈值，并且右一像素和右三像素的差值不小于第三阈值，则边界强度等于2；

5)如果左一像素和左二像素的差值小于第三阈值，并且左一像素和左三像素的差值小于第三阈值，并且右一像素和右二像素的差值不小于第三阈值，并且右一像素和右三像素的差值不小于第三阈值，并且左二像素和右二像素的差值小于预定的第四阈值，则边界强度等于2；

6)如果右一像素和右二像素的差值小于第三阈值，并且右一像素和右三像素的差值小于第三阈值，并且左一像素和左二像素的差值不小于第三阈值，并且左一像素和左三像素的差值不小于第三阈值，并且左二像素和右二像素的差值小于预定的第四阈值，则边界强度等于2；

7)如果左一像素和左二像素的差值小于第三阈值，并且左一像素和左三像素的差值小于第三阈值，并且右一像素和右三像素的差值小于第三阈值，并且右一像素和右二像素的差值不小于第三阈值，则边界强度等于1；

8)如果右一像素和右二像素的差值小于第三阈值，并且右一像素和右三像素的差值小于第三阈值，并且左一像素和左三像素的差值小于第三阈值，并且左一像素和左二像素的差值不小于第三阈值，则边界强度等于1；

9)其他情况下，边界强度等于0；

步骤(3)修正边界强度；其中，若边界强度大于0，则修正边界强度，否则不进行修正；

步骤(4)滤波；

根据步骤(2)和步骤(3)中得到的边界强度，进行滤波，在滤波过程中选择滤波器系数使得等效低通滤波器的幅值频率响应的所有零点中至少有一个是小于归一化频率最大值的一半。

在上述技术方案中，进一步地，所述第二阈值为大于或等于0的实数。

在上述技术方案中，进一步地，在所述步骤(4)中，滤波器的系数为(3，3，3，5，4，5，3，3，3)，或(1，2，3，4，3，2，1)，或(3，8，10，8，3)，或(1，4，6，4，1)，或(6，8，6，1，1)，或(3，10，3)，或(1，6，1)。

在上述技术方案中，进一步地，在所述步骤(4)中，对于要滤波的像素点，默认其左侧、右侧、上侧或下侧相邻的像素点具有相同的值，得到相同滤波效果的滤波器系数，进行滤波。

一种实现上述方法的像素级环路滤波器，包括判断区域和执行区域；判断区域用于判断边界两边的平坦程度，并根据此平坦程度确定边界强度，它包括图像储存单元、阈值确定单元、像素差值单元和边界强度判断单元；图像储存单元用于缓存输入图像的编码信息，并分别传送给阈值确定单元和像素差值单元；阈值确定单元根据图像的编码信息，决定判断平坦度所需的各个阈值，并将结果传给边界强度判断单元；像素差值单元计算不同像素之间的差值，并将结果传送给边界强度判断单元；边界强度判断单元根据所得到的阈值和像素差值，确定边界强度；

执行区域包括激发单元、滤波器选择单元和滤波单元；激发单元根据得到的边界强度，仅将需要进行滤波的信号传送给滤波器选择单元；滤波器选择单元将根据得到的信号，对每个不同的像素点选择一个滤波器，并把选择结果传送给滤波单元；滤波单元根据选择的滤波器和图像信号，进行滤波运算。

与现有技术相比，本发明的优点在于：

本发明根据块内临近像素的平坦程度，和块间相邻像素点的差值确定边界强度，并根据边界强度选择相应的滤波器，该环路滤波方法可有效去除块效应，提高图像的主观质量。

附图说明

图1为整个编码器的结构示意图；

图2为一次滤波像素的分布图，图中，a为当前滤波操作方块的相邻块，b为垂直边界上某一行滤波的像素窗口，c为当前滤波操作的8×8方块，d为当前滤波处理的一条垂直边界；

图3为本发明一实施例中边界两侧一行像素的示意图；

图4为本发明滤波器结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述：

为更清楚地描述环路滤波方法的步骤和环路滤波器的结构，先对环路滤波器在整个编码器中的位置以及作用加以说明。

如图1所示，一视频信号输入到减法器100，第一开关105和预测编码器145。该减法器100从该输入视频信号中减去前向预测值(即运动估算误差信号)，得到预测误差，并将此预测误差提供给第一开关。第一开关105根据编码控制器120选择该输入信号，要么为预测误差，要么为原视频信号。第一开关的输出进入离散余弦变换器110(DCT)，DCT负责对信号进行离散余弦变换，这是在图像编码中运用最多的编码方式。经离散余弦变换的信号在量化器115中量化变成编码端输出信号。编码信号经逆量化器125后通过逆余弦变换器130(IDCT)。由IDCT输出的信号和由第二开关150所转换得前向预测值在加法器135相加即恢复出了原输入信号。此信号将作为环路滤波器140的输入，环路滤波器消除了信号的块效应和振铃效应，被滤噪后的信号将经过预测编码器执行前向预测估计。

该预测编码器145的输入信号被提供给减法器100和第二开关150。第二开关150由控制器120控制。编码控制器120控制第二开关150使得通过该预测编码器145所处理的信号的应用不是以内部编码模式提供给加法器135，而是以中间编码模式提供给加法器135。编码控制器120产生一信息标志位P，一量化特征标志位qz，一控制传送或非传送的标志位t，还有控制量化器115的量化等级的一变换系数信号q，其中标志位P表示是执行帧内编码还是帧间编码。

本发明所要处理的图像宏块如图2所示。下边以8x8方块为例，对本发明作进一步的详细说明。

如图2所示，a和c分别为左右两个宏块，d为宏块边界。黑色区域b为要进行滤波的某一行像素。

如图3所示，对边界两侧某一行像素进行像素级环路滤波，包括如下步骤：

步骤(1)判断是否进行滤波；

图1中的竖直黑色粗线条表示块边界，从块边界开始向一侧的像素分别定义为左第一像素p0、左第二像素p1、左第三像素p2，以此顺序下去定义p2以后的像素；从上述块边界开始向另一侧的像素分别定义为右第一像素q0、右第二像素q1、右第三像素q2，并以此顺序下去定义q2以后的像素；

如果左第一像素p0和右第一像素q0的差值小于预先设定的第一阈值Alpha并且大于预先设定的第二阈值T1，即abs(p0-q0)＜Alpha，并且abs(p0-q0)＞T1，则进行下面的步骤；否则，终止，不进行下面的任何一个步骤；此处T1为大于等于0的实数，比如T1＝0.5或1等，设定的依据是因为边界两边像素差值足够小的时候，滤波的结果将等于滤波前的原始像素值。根据现有技术，Alpha可以通过查表得到。

步骤(2)计算边界强度Bs；

1)如果左一像素等于左二像素，并且左一像素和左三像素的差值小于预定的第三阈值Beta，并且右一像素等于右二像素，并且右一像素和右三像素的差值小于预定的第三阈值，则边界强度等于4。Beta可查表得到。

2)如果左一像素和左二像素的差值小于第三阈值且大于0，并且左一像素和左三像素的差值小于预定的第三阈值，并且右一像素和右二像素的差值小于第三阈值且大于0，并且右一像素和右三像素的差值小于第三阈值，则边界强度等于3。

3)如果左一像素和左二像素的差值小于第三阈值，并且右一像素和右二像素的差值小于第三阈值，并且左一像素和左三像素的差值与右一像素和右三像素的差值有一个小于第三阈值，另外一个不小于第三阈值，则边界强度等于2。

4)如果左一像素和左二像素的差值小于第三阈值，并且右一像素和右二像素的差值小于第三阈值，并且左一像素和左三像素的差值不小于第三阈值，并且右一像素和右三像素的差值不小于第三阈值，则边界强度等于2。

5)如果左一像素和左二像素的差值小于第三阈值，并且左一像素和左三像素的差值小于第三阈值，并且右一像素和右二像素的差值不小于第三阈值，并且右一像素和右三像素的差值不小于第三阈值，并且左二像素和右二像素的差值小于预定的第四阈值Gamma，则边界强度等于2。Gamma可以查表得到。

6)如果右一像素和右二像素的差值小于第三阈值，并且右一像素和右三像素的差值小于第三阈值，并且左一像素和左二像素的差值不小于第三阈值，并且左一像素和左三像素的差值不小于第三阈值，并且左二像素和右二像素的差值小于预定的第四阈值，则边界强度等于2。

7)如果左一像素和左二像素的差值小于第三阈值，并且左一像素和左三像素的差值小于第三阈值，并且右一像素和右三像素的差值小于第三阈值，并且右一像素和右二像素的差值不小于第三阈值，则边界强度等于1。

8)如果右一像素和右二像素的差值小于第三阈值，并且右一像素和右三像素的差值小于第三阈值，并且左一像素和左三像素的差值小于第三阈值，并且左一像素和左二像素的差值不小于第三阈值，则边界强度等于1。

9)其他情况下，边界强度等于0。

步骤(3)修正边界强度；

若步骤(2)中得到的BS大于0(这里以4:2:0格式的图像为例，对于其他各式的图像，可以根据图像格式进行相应的调整)，修正步骤如下：

1)若按照帧模式进行编码，并对色度分量进行滤波，BS减1。

2)若按照场模式进行编码，并满足下列条件之一，BS减1：

i.对亮度分量在垂直方向上进行滤波；

ii.对色度分量进行滤波。

3)若按照MBAFF模式进行编码，并且满足下列条件之一，BS减1：

i.对亮度分量在垂直方向进行滤波，并且边界两边的两个亮度块都是按照场模式进行编码。

ii.对色度分量进行滤波。

上述修正步骤是针对4:2:0格式的图像，对于其他格式的图像情况，本领域技术人员可以对修正过程进行调整。

步骤(4)滤波；

根据步骤(2)和步骤(3)中得到的边界强度，进行滤波；进行滤波选用的滤波器系数使得等效低通滤波器的幅值频率响应的所有零点中至少有一个是小于归一化频率最大值的一半；比如若归一化频率的取值范围为0～0.5，则等效低通滤波器的幅值频率响应的所有零点中至少有一个小于归一化频率0.25；若归一化频率取值范围为0～1，则等效低通滤波器的幅值频率响应的所有零点中至少有一个小于0.5；具体地，作为举例，滤波器的系数可以为：

a)3，3，3，5，4，5，3，3，3；或

b)1，2，3，4，3，2，1；或

c)3，8，10，8，3；或

d)1，4，6，4，1；或

e)6，8，6，1，1；或

f)3，10，3；或

g)1，6，1。

此处需要说明的是，此处对滤波器系数的限制是对于等效低通滤波器，因为通过对高通滤波器的结果和原始输入数据做一些运算，可以得到一个和一个低通滤波器相同的输出结果。

另外，在上述步骤(4)中，对于要滤波的像素点，默认其临近的像素点具有相同的值，可以得到相同滤波效果的不同的滤波器系数，进行滤波。例如，对p0进行滤波的时候，认为p0＝p1，q0＝q1，p2左边的所有像素点的值都为p2，q2右边的所有像素点都为q2，并采用上述系数a)，从而得到滤波器系数909806，并进行如下计算(p2*9+p0*9+q0*8+q2*6+16)/32而得到与采用第a)组系数(3，3，3，5，4，5，3，3，3)相同的结果。

如图4所示，实现上述方法的像素级环路滤波器，包括判断区域和执行区域；判断区域用于判断边界两边的平坦程度，并根据此平坦程度确定边界强度，它包括图像储存单元401、阈值确定单元402、像素差值单元403和边界强度判断单元404；图像储存单元401用于缓存输入图像的编码信息，并分别传送给阈值确定单元402和像素差值单元403；阈值确定单元402根据图像的编码信息，决定判断平坦度所需的各个阈值，并将结果传给边界强度判断单元404；像素差值单元403计算不同像素之间的差值，并将结果传送给边界强度判断单元404；边界强度判断单元404根据所得到的阈值和像素差值，确定边界强度；

执行区域包括激发单元405、滤波器选择单元406和滤波单元407；激发单元405根据得到的边界强度，仅将需要进行滤波的信号传送给滤波器选择单元406；滤波器选择单元406将根据得到的信号，对每个不同的像素点选择一个滤波器，并把选择结果传送给滤波单元407；滤波单元407根据选择的滤波器和图像信号，进行滤波运算。

本发明根据块内相邻像素的平坦程度，和块间相邻像素点的差值确定边界强度，并根据边界强度选择相应的滤波器，该环路滤波方法可有效去除块效应，提高图像的主观质量。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1、一种像素级环路滤波方法，包括如下步骤：

步骤一  判断是否进行滤波；

从块边界开始向一侧的像素按顺序分别定义为左第一像素、左第二像素、左第三像素，以此顺序下去；从上述块边界开始向另一侧的像素按顺序分别定义为右第一像素、右第二像素、右第三像素，并以此顺序下去；

如果左第一像素和右第一像素的差值小于预先设定的第一阈值，并且该差值大于预先设定的第二阈值，则进行下面的步骤；否则，终止，不进行下面的任何一个步骤；

步骤二  确定边界强度；该步骤包括：

1)如果左一像素等于左二像素，并且左一像素和左三像素的差值小于预定的第三阈值，并且右一像素等于右二像素，并且右一像素和右三像素的差值小于预定的第三阈值，则边界强度等于4；

2)如果左一像素和左二像素的差值小于第三阈值且大于0，并且左一像素和左三像素的差值小于预定的第三阈值，并且右一像素和右二像素的差值小于第三阈值且大于0，并且右一像素和右三像素的差值小于第三阈值，则边界强度等于3；

3)如果左一像素和左二像素的差值小于第三阈值，并且右一像素和右二像素的差值小于第三阈值，并且左一像素和左三像素的差值与右一像素和右三像素的差值有一个小于第三阈值，另外一个不小于第三阈值，则边界强度等于2；

4)如果左一像素和左二像素的差值小于第三阈值，并且右一像素和右二像素的差值小于第三阈值，并且左一像素和左三像素的差值不小于第三阈值，并且右一像素和右三像素的差值不小于第三阈值，则边界强度等于2；

5)如果左一像素和左二像素的差值小于第三阈值，并且左一像素和左三像素的差值小于第三阈值，并且右一像素和右二像素的差值不小于第三阈值，并且右一像素和右三像素的差值不小于第三阈值，并且左二像素和右二像素的差值小于预定的第四阈值，则边界强度等于2；

6)如果右一像素和右二像素的差值小于第三阈值，并且右一像素和右三像素的差值小于第三阈值，并且左一像素和左二像素的差值不小于第三阈值，并且左一像素和左三像素的差值不小于第三阈值，并且左二像素和右二像素的差值小于预定的第四阈值，则边界强度等于2；

7)如果左一像素和左二像素的差值小于第三阈值，并且左一像素和左三像素的差值小于第三阈值，并且右一像素和右三像素的差值小于第三阈值，并且右一像素和右二像素的差值不小于第三阈值，则边界强度等于1；

8)如果右一像素和右二像素的差值小于第三阈值，并且右一像素和右三像素的差值小于第三阈值，并且左一像素和左三像素的差值小于第三阈值，并且左一像素和左二像素的差值不小于第三阈值，则边界强度等于1；

9)其他情况下，边界强度等于0；

步骤三  修正边界强度；其中，若边界强度大于0，则修正边界强度，否则不进行修正；

步骤四  滤波；根据步骤二和步骤三中得到的边界强度，进行滤波，在滤波过程中选择滤波器系数使得等效低通滤波器的幅值频率响应的所有零点中至少有一个是小于归一化频率最大值的一半。

2、根据权利要求1所述像素级环路滤波方法，其特征是，在所述步骤一中，所述第二阈值为大于或等于0的实数。

3、根据权利要求1所述像素级环路滤波方法，其特征是，在所述步骤四中，选用滤波器的系数为(3，3，3，5，4，5，3，3，3)，或(1，2，3，4，3，2，1)，或(3，8，10，8，3)，或(1，4，6，4，1)，或(6，8，6，1，1)，或(3，10，3)，或(1，6，1)。

4、根据权利要求1所述像素级环路滤波方法，其特征是，在所述步骤四中，对于要滤波的像素点，默认其临近的像素点具有相同的值，得到相同滤波效果的滤波器系数。

5、一种实现权利要求1所述方法的环路滤波器，其特征在于，包括判断区域和执行区域；判断区域用于判断边界两边的平坦程度，并根据此平坦程度确定边界强度，它包括图像储存单元(401)、阈值确定单元(402)、像素差值单元(403)和边界强度判断单元(404)；图像储存单元(401)用于缓存输入图像的编码信息，并分别传送给阈值确定单元(402)和像素差值单元(403)；阈值确定单元(402)根据图像的编码信息，决定判断边界强度所需的各个阈值，并将结果传给边界强度判断单元(404)；像素差值单元(403)计算不同像素之间的差值，并将结果传送给边界强度判断单元(404)；边界强度判断单元(404)根据所得到的阈值和像素差值确定边界强度；

执行区域包括激发单元(405)、滤波器选择单元(406)和滤波单元(407)；激发单元(405)根据得到的边界强度，仅将需要进行滤波的信号传送给滤波器选择单元(406)；滤波器选择单元(406)将根据得到的信号，对每个不同的像素点选择一个滤波器，并把选择结果传送给滤波单元(407)；滤波单元(407)根据选择的滤波器和图像信号，进行滤波运算。

Images