CN103491372B - 一种适用于hevc标准的去方块滤波器的滤波方法 - Google Patents

Abstract

本发明属于高清数字视频压缩编解码技术领域，具体为一种适用于HEVC标准的去方块滤波器的滤波方法。设每幅图像包括一个亮度分量Y，应两个色度分量Cb、Cr；在去方块滤波器模块中，基于一个quarter‑LCU单元进行处理；设需要处理的quarter‑LCU的像素点块有垂直边和水平边；本发明方法的滤波顺序为：先对垂直边进行滤波，然后对水平边进行滤波；对于各条垂直边，自左至右依次进行滤波，对于每条垂直边两侧的像素点块，自上而下依次进行滤波；对于各条水平边，自上而下依次进行滤波，对于每条水平边两侧的像素点块，自左至右依次进行滤波。本发明可以有效地减小对于外部存储器的读取次数，减小处理时间，提高芯片处理能力，从而高效的实现高清视频的实时编码。

Description

一种适用于HEVC标准的去方块滤波器的滤波方法

技术领域

本发明属于高清数字视频压缩编解码技术领域，针对HEVC视频编解码标准，具体涉及一种适用于HEVC视频编码标准的、去方块滤波器的滤波方法。

背景技术

HEVC(High Efficiency Video Coding)是由国际电信组织（ITU）和运动图像专家组（MPEG）联合成立的组织JCTVC提出的下一代视频编解码标准。目标是在相同的视觉效果的前提下，相比于上一代标准H.264/AVC，压缩率提高一倍。

基于HEVC的视频编码器，其结构图如图1所示，主要由以下几个模块组成：帧内预测、帧间预测、变换、量化、反量化、反变换、重建、去方块滤波器、自适应样点补偿等模块组成。视频压缩编码的基本过程可以概括如下：1.利用帧内预测或帧间预测方式对当前原始视频流像素进行预测；2.将原始的像素值与预测出来的像素值相减得到残差值；3.将残差进行变换及量化处理，得到输出的残差系数再进过CABAC（Context-based AdaptiveBinary Arithmetic Coding）熵编码形成最后的压缩输出码流；4.残差系数经过反量化及反变换处理，再与之前得到的预测像素相加得到重建像素，存储作为预测的参考帧像素。

HEVC中的处理单元块引入了四叉树的结构，图像处理块的大小最大为64×64，它还可以继续递归地划分为32×32、16×16、8×8、4×4的小块组合，并分别进行处理。编码端要对块的所有划分情况进行一次遍历，以确定哪种划分情况的处理为最佳。

去方块滤波器模块如图1中所示，该模块主要判断PU（预测单元）和TU（变换单元）边界两边像素值的特征，对边界两边的像素点进行滤波，以消除由于块编码方式所导致的一些边框效应，使重建图像具有更好的质量和PSNR值（峰值信噪比）。

在标准参考软件HM9.0中，该模块先对整幅图像落在8x8边界的垂直边进行处理，再对整幅图像落在8x8边界的水平边进行处理。若使用这种滤波顺序进行硬件实现的话，会导致多次从外部存储器读取数据，同时增加了处理时间。

发明内容

本发明的目的在于提出一种可以克服现有技术不足、有效的适用于HEVC标准的去方块滤波器的滤波顺序方法。

在平常的原始视频流里，每幅图像包括一个亮度分量，记为Y，每个亮度分量对应两个色度分量，分别记为Cb、Cr。在去方块滤波器模块中，本发明基于一个quarter-LCU（Y分量为32x32大小的像素点块，Cb和Cr分量为16x16大小的像素点块）进行处理。

设当前需要处理的quarter-LCU的像素点块表示为C，则Y分量当前需要处理的quarter-LCU的像素点块共64个，构成一个8×8方阵；Cb和Cr分量当前需要处理的quarter-LCU的像素点块分别为16个，构成一个4×4 方阵；这些方阵左边一列quarter-LCU的像素点块记为L（Y分量中，L为8个；Cb和Cr分量中，L为4个），这些方阵上方一行quarter-LCU的像素点块记为T（Y分量中，T为8个；Cb和Cr分量中，T为4个），这些方阵左上角一个quarter-LCU的像素点块记为LT；需要进行滤波的边为：C的2×2方阵左侧的边（垂直边）和上方的边（水平边），其中，水平边延伸至左边像素点块L。在Y分量中，垂直边自左至右依次记为v1,v2,v3,v4, 水平边自上至下依次记为h1,h2,h3, h4；Cb分量中，垂直边自左至右依次记为,v5,v6，水平边自上至下依次记为h5,h6，Cr分量中，垂直边自左至右依次记为v7,v8，水平边自上至下依次记为,h7,h8。具体见图2中所示，其中每一个虚线小方框为一个4x4的像素点块。

每次滤波是以一个4x4的像素点块的边为处理单元，如图3所示，其中黑色粗线为需要进行滤波的4x4像素点块的边，记P块和Q块是该边两侧相邻的4x4像素点块；若当前边为垂直边，则P块和Q块分别为该边的左侧和右侧相邻的4x4像素点块，若当前边为水平边，则P块和Q块分别为该边上侧和下侧相邻的4x4像素点块。

本发明进行滤波的具体顺序如下：先对垂直边进行滤波，然后对水平边进行滤波；对于各条垂直边，自左至右依次进行滤波，对于每条垂直边两侧的像素点块，自上而下依次进行滤波；对于各条水平边，自上而下依次进行滤波，对于每条水平边两侧的像素点块，自左至右依次进行滤波。例如，对于Y分量，滤波的顺序为：v1,v2,v3,v4,然后是：h1,h2,h3,h4；对于Cb分量，滤波的顺序为：v5,v6,然后是：h5,h6；对于Cr分量，滤波的顺序为：v7,v8,然后是：h7,h8；见图4所示。

本发明采用适用于HEVC标准的去方块滤波器的滤波方法，可以有效地减小对于外部存储器的读取次数，减小处理时间，提高芯片处理能力。

附图说明

图1：HEVC视频编码器结构图。

图2：去方块滤波器处理单元。其中，（a）为Y分量，（b）为Cb分量，（c）为Cr分量。

图3：需要滤波的4x4块边。

图4：去方块滤波器滤波顺序图示。其中，（a）为Y分量，（b）为Cb分量，（c）为Cr分量。

具体实施方式

下面通过实例并结合附图，进一步具体描述本发明方法。

根据图3所示，设：

p 3,0，p2,0， p1,0， p0,0，q0,0， q1,0， q2,0， q3,0，

p 3,1，p2,1， p1,1， p0,1，q0,1， q1,1， q2,1， q3,1，

p 3,2，p2,2， p1,2， p0,2，q0,2， q1,2， q2,2， q3,2，

p 3,3，p2,3， p1,3， p0,3，q0,3， q1,3， q2,3， q3,3，

左侧方阵为4x4的P块中16个相应位置像素点的值；右侧方阵为4x4的Q块中16个相应位置像素点的值；两个方阵中，第一行的8个像素点为第一组，第二行的8个像素点为第二组，第三行的8个像素点为第三组，第四行的8个像素点为第四组；

1. 对Y分量进行滤波

如图4中所示，以1,2,……67,68为顺序进行滤波，若当前quarter-LCU不是位于该图像的最右边，则Y分量的41,50,59,68所处的4x4块边不作处理。对其每一个4x4块边以如下步骤进行处理。

（1）判断当前边是不是预测单元或者变换单元的边界，是的话，进行步骤（2），不是的话，当前边相邻的P块和Q块不处理。

（2）计算当前边的BS值，BS值的取值方式如表1所示。如果BS>0，进行步骤（3），不是的话，当前边相邻的P块和Q块不处理。

表1 BS值的取法

BS值	条件
		2	P块和Q块中至少有一个是帧内预测
1	P块和Q块中至少有一个块有非零的残差变换系数，同时该边为变换单元的边
		1	P块和Q块的运动矢量差的绝对值大于等于一个整像素点
1	P块和Q块的帧间预测参考的是不一样的参考帧，或者两者之间的运动矢量数目不一样
		0	其它情况

（3）公式（1）是否满足条件，如果满足，进行步骤（4），不是的话，当前边相邻的P和Q块不处理。式（1）中的β为一常数，dp0，dp3，dq0，dq3的值可由式（2），（3），（4），（5）得到，其中p2,0，p1,0，p0,0，p2,3，p1,3，p0,3，q2,0，q1,0，q0,0，q2,3，q1,3，q0,3为图3中相应位置像素点的值。

（1）

（2）

（3）

（4）

（5）

（4）公式（6），（7），（8）是否满足条件，如果全部满足进行步骤（5），对P和Q块进行强滤波，如果有一个条件未满足的话就进行步骤（6），对P和Q块进行弱滤波。式（6）中dp0，dq0，dp3，dq3可由式（2），（3），（4），（5）得到。式（7），（8）中p3,0，p0,0，q0,0，q3,0，p3,3，p0,3，q0,3，q3,3为图3中相应位置像素点的值，tc为一常数。

（6）

（7）

（8）

（5）对P和Q块进行强滤波

这里以图3所示第1组8个像素点的处理方法为例说明强滤波的处理过程，用p0，q0，p1，q1，p2，q2的值替换原来p0,0，q0,0，p1,0，q1,0，p2,0，q2,0的值，p0，q0，p1，q1，p2，q2的值可由式（9），（10），（11），（12），（13），（14）得到。

（9）

（10）

（11）

（12）

（13）

（14）

P和Q块的第2,3,4组的8个像素点的强滤波处理方法与此类似。

（6）对P和Q块进行弱滤波

这里以图3所示第1组8个像素点的处理方法为例说明弱滤波的处理过程。

如果式（15）成立，则用p0，q0的值替换原来p0,0，q0,0的值。式（15）中的的值可由式（16）得到，p0，q0的值可由式（17），（18）得到，Clip1运算代表若表达式中的值小于0，则该值等于0，若大于255，则等于255，否则等于原值。 ₁可由式（19）得到，Clip3运算代表式括号中第三个值小于第一个值，则等于第一个值，若大于第二个值，则等于第二个值，否则等于第三个值。

（15）

（16）

（17）

（18）

（19）

如果式（15）和（20）同时成立，则用p1的值替换原来p1,0的值。式（20）中的dp0，dp3可由式（2），（3）得到。p1的值可由式（21）得到，其中p可由式（22）获得。

（20）

（21）

（22）

如果式（15）和（23）同时成立，则用q1的值替换原来q1,0的值。式（23）中的dq0，dq3可由式（4），（5）得到。q1的值可由式（25）得到，其中q可由式（24）获得。

（23）

（24）

（25）

P和Q块的第2,3,4组的8个像素点的弱滤波处理方法与此类似。

2. 对Cb分量进行滤波

如图4中所示，以1,2,……17,18为顺序进行滤波，若当前quarter-LCU不是位于该图像的最右边，则Cb分量的13,18所处的4x4块边不作处理。对其每一个4x4块边以如下步骤进行处理。

（1）判断当前边是不是预测单元或者变换单元的边界，是的话，进行步骤（2），不是的话，当前边相邻的P和Q块不处理。

（2）Cb分量当前4x4块边的BS值为对应的Y分量的4x4块边的值，若BS等于2则进行步骤（3），否则，当前边相邻的P和Q块不处理。

（3）这里以图3所示第1组8个像素点的处理方法为例进行说明。用p0，q0的值替换原来p0,0，q0,0的值。P0，q0的值可由式（26），（27）得到，其中Δp可由式（28）得到。

（26）

（27）

（28）

P和Q块的第2,3,4组的8个像素点的处理方法与此类似。

3.对Cr分量进行滤波

Cr分量滤波的过程与Cb分量滤波过程类似。

Claims (1)

1.一种适用于HEVC标准的去方块滤波器的滤波方法，设在原始视频流里，每幅图像包括一个亮度分量，记为Y，每个亮度分量对应两个色度分量，分别记为Cb、Cr；在去方块滤波器模块中，基于一个quarter-LCU单元进行处理；quarter-LCU包含Y分量、Cb分量以及Cr分量，Y分量为32×32的像素点块，Cb分量和Cr分量为16×16的像素点块；

设当前需要处理的quarter-LCU的像素点块表示为C，则Y分量当前需要处理的quarter-LCU的4×4的像素点块共64个，构成一个8×8方阵；Cb和Cr分量当前需要处理的quarter-LCU的4×4的像素点块分别为16个，构成一个4×4方阵；同时，当前quarter-LCU左侧相邻的4×4像素点块记为L，当前quarter-LCU上侧相邻的4×4像素点块记为T，当前quarter-LCU左上角相邻的4×4像素点块记为LT；每个quarter-LCU的Y分量分为16个4×4的像素点块的2×2方阵，quarter-LCU的Cb和Cr分量分别分为4个4×4的像素点块的2×2方阵，其中需要进行滤波的边为：Y、Cb和Cr的2×2方阵左侧的边，即垂直边，Y、Cb和Cr的2×2方阵上方的边，即水平边；其中，水平边延伸至左边像素点块L；

每次滤波是以一个4×4的像素点块的边为处理单元，即需要进行滤波的边为4×4像素点块的边，记P块和Q块是该边两侧相邻的4×4像素点块；若当前边为垂直边，则P块和Q块分别为该边的左侧和右侧相邻的4×4像素点块，若当前边为水平边，则P块和Q块分别为该边上侧和下侧相邻的4×4像素点块；其特征在于，进行滤波的具体顺序如下：

先对垂直边进行滤波，然后对水平边进行滤波；对于各条垂直边，自左至右依次进行滤波，对于每条垂直边两侧的像素点块，自上而下依次进行滤波；对于各条水平边，自上而下依次进行滤波，对于每条水平边两侧的像素点块，自左至右依次进行滤波；

在Y分量中，垂直边自左至右依次记为v1,v2,v3,v4,水平边自上至下依次记为h1,h2,h3,h4；Cb分量中，垂直边自左至右依次记为v5,v6，水平边自上至下依次记为h5,h6；Cr分量中，垂直边自左至右依次记为v7,v8，水平边自上至下依次记为h7,h8；设：

左侧方阵为4×4的P块中16个相应位置像素点的值；右侧方阵为4×4的Q块中16个相应位置像素点的值；两个方阵中，第一行的8个像素点为第一组，第二行的8个像素点为第二组，第三行的8个像素点为第三组，第四行的8个像素点为第四组；

(一)对Y分量，每一个4×4像素点块的边的处理步骤如下：

(1)判断当前边是不是预测单元或者变换单元的边界，是的话，进行步骤(2)，不是的话，当前边相邻的P和Q块不处理；

(2)计算当前边的BS值，BS值的取值方式如表1所示；如果BS>0，进行步骤(3)，不是的话，当前边相邻的P和Q块不处理；

(3)判定公式(1)是否成立，如果成立，进行步骤(4)，否则，当前边相邻的P和Q块不处理；

式(1)中，β为一常数，dp0，dp3，dq0，dq3的值由式(2)，(3)，(4)，(5)得到；

(4)判定公式(6)，(7)，(8)是否成立，如果全部成立，进行步骤(5)，对P和Q块进行强滤波，如果有一个公式未成立，进行步骤(6)，对P和Q块进行弱滤波；

式(6)中dp0，dq0，dp3，dq3由式(2)，(3)，(4)，(5)得到；tc为一常数；

(5)对P和Q块进行强滤波

P和Q块的第1组的8个像素点强滤波处理过程为：用p0，q0，p1，q1，p2，q2的值替换原来p0,0，q0,0，p1,0，q1,0，p2,0，q2,0的值，p0，q0，p1，q1，p2，q2的值由式(9)，(10)，(11)，(12)，(13)，(14)得到；

P和Q块的第2,3,4组的8个像素点的强滤波处理过程与此类似；

(6)对P和Q块进行弱滤波

P和Q块的第1组的8个像素点弱滤波处理过程为：

①如果式(15)成立，则用p0，q0的值替换原来p0,0，q0,0的值；式(15)中的△的值由式(16)得到，p0，q0的值由式(17)、式(18)得到，Clip1运算代表若括号中的值小于0，则表达式的值等于0，若括号中的值大于255，则表达式的值等于255，否则表达式的值等于原值；△1由式(19)得到，Clip3运算代表若括号中第三个值小于第一个值，则表达式的值等于第一个值，若括号中第三个值大于第二个值，则表达式的值等于第二个值，否则表达式的值等于第三个值；

②如果式(15)和(20)同时成立，则用p1的值替换原来p1,0的值；式(20)中的dp0，dp3由式(2)，(3)得到，p1的值由式(21)得到，其中△p由式(22)获得；

③如果式(15)和(23)同时成立，则用q1的值替换原来q1,0的值；式(23)中的dq0，dq3由式(4)，(5)得到；q1的值由式(25)得到，其中△q由式(24)获得；

P和Q块的第2,3,4组的8个像素点的弱滤波处理方法与此类似；

(二)对Cb分量，每一个4×4像素点块的边的处理步骤如下：

(1)判断当前边是不是预测单元或者变换单元的边界，是的话，进行步骤(2)，不是的话，当前边相邻的P和Q块不处理；

(2)Cb分量当前4×4块边的BS值为对应的Y分量的4×4块边的值，若BS等于2则进行步骤(3)，否则，当前边相邻的P和Q块不处理；

(3)对于第1组8个像素点，用p0，q0的值替换原来p0,0，q0,0的值；P0，q0的值由式(26)，(27)得到，其中△₂可由式(28)得到；

P和Q块的第2,3,4组的8个像素点的处理方法与此类似；

(三)对Cr分量，每一个4×4像素点块的边的处理步骤与Cb分量滤波过程类似；

dp0+dp3+dq0+dq3<β (1)

dp0＝|p_2,0-2p_1,0+p_0,0| (2)

dp3＝|p_2,3-2p_1,3+p_0,3| (3)

dq0＝|q_2,0-2q_1,0+q_0,0| (4)

dq3＝|q_2,3-2q_1,3+q_0,3| (5)

dp0+dq0<β/8,dp3+dq3<β/8 (6)

|p_3,0-p_0,0|+|q_0,0-q_3,0|<β/8,|p_3,3-p_0,3|+|q_0,3-q_3,3|<β/8 (7)

|p_0,0-q_0,0|<2.5t_c,|p_0,3-q_0,3|<2.5t_c (8)

p₀＝(p_2,0+2p_1,0+2p_0,0+2q_0,0+q_1,0+4)>>3 (9)

q₀＝(p_1,0+2p_0,0+2q_0,0+2q_1,0+q_2,0+4)>>3 (10)

p₁＝(p_2,0+p_1,0+p_0,0+q_0,0+2)>>2 (11)

q₁＝(p_0,0+q_0,0+q_1,0+q_2,0+2)>>2 (12)

p₂＝(2p_3,0+3p_2,0+p_1,0+p_0,0+q_0,0+4)>>3 (13)

q₂＝(p_0,0+q_0,0+q_1,0+3q_2,0+2q_3,0+4)>>3 (14)

|△|<10*t_c (15)

△＝(9*(q_0,0-p_0,0)-3*(q_1,0-p_1,0)+4)>>4 (16)

p₀＝Clip1(p_0,0+△₁) (17)

q₀＝Clip1(q_0,0+△₁) (18)

△₁＝Clip3(-t_c,t_c,△) (19)

dp0+dp3<(β+(β>>1))>>3 (20)

p₁＝Clip1(p_1,0+△p) (21)

△_p＝Clip3(-(t_c>>1),t_c>>1,(((p_2,0+p_0,0+1)>>1-p_1,0+△)>>1) (22)

dq0+dq3<(β+(β>>1))>>3 (23)

△_q＝Clip3(-(t_c>>1),t_c>>1,(((q_2,0+q_0,0+1)>>1-q_1,0+△)>>1) (24)

q₁＝Clip1(q_1,0+△q) (25)

p₀＝Clip1(p_0,0+△₂) (26)

q₀＝Clip1(q_0,0+△₂) (27)

△₂＝Clip3(-t_c,t_c,((((q_0,0-p_0,0+1)<<2+p_1,0+q_1,0+4)>>3)) (28)

表1