CN103404147B - 去区块滤波器方法及装置 - Google Patents

Abstract

本发明提供一种去区块方法及装置，其中，去区块方法用于视频编码系统中的重构视频，且该去区块方法包括：接收两个区块之间的区块边界所对应的像素数据；仅当该区块边界为变换单元边界时，确定是否该两个区块的其中一个具有非零变换系数；如果该两个区块的其中一个具有非零变换系数且该区块边界为该变换单元边界时，为该区块边界的边界强度分配第一值；如果该区块边界为仅预测单元边界时，为该区块边界的该边界强度分配第二值；以及根据该边界强度，将去区块运用于该区块边界。本发明提供的去区块滤波方法可实现更恰当地运用去区块滤波器以达到改善的性能。

Description

去区块滤波器方法及装置

相关申请的交叉引用

本申请的权利要求范围要求如下申请的优先权：2011年3月10日递交的申请号为61/451,289，标题为「Improved Deblocking Filter」的美国临时案。在此合并参考该申请案的全部内容。

技术领域

本发明有关于视频编码。更具体地，有关于去区块方法及去区块滤波器（deblocking filter）。

背景技术

运动补偿变换编码（motion compensated transform coding）已广泛运用于各种编码标准中，其中，区块变换（block transform）运用于运动补偿残差（motion-compensated residue）。运动补偿帧间（inter-frame）编码系统也周期性或自适应（adaptively）地使用帧内（intra-frame）模式。在编码过程中，对变换系数进行量化以减少比特率，也因此同时引入了失真（artifact）。失真更多见于变换区块周围的边界（boundary）。为了缓解对编码失真，一种称为去区块的技术已发展起来，去区块自适应地对区块边界进行滤波。在视频编码领域，去区块技术也称为去区块滤波器。

尽管传统的去区块滤波器已显示出减少编码失真的能力，但在一些情况中并不必要运用该过程。此外，去区块滤波器可根据特性进行设计以改善其性能。相应地，需要设计一种新型去区块滤波器以避免不必要地运用去区块滤波器并由此达到改善的性能。

发明内容

本发明提供一种去区块方法和装置，用于视频编码系统中的重构视频。根据本发明的一个实施例，用于视频编码系统中的重构视频的去区块方法和装置对于仅预测单元边界跳过确定非零变换系数的存在。该方法可向仅预测单元边界分配较小的区块强度。使用零值区块强度以禁能对仅预测单元的去区块。在本发明的另一个实施例中，确定两个像素行的三个梯度，且根据该两个像素行的三个梯度做出滤波开启/关闭的决定。将梯度的绝对值与各自的阈值进行比较以用于确定滤波开启/关闭。本发明的一个方面有关于强和弱滤波器之间的滤波强度选择。在本发明的一个实施例中，滤波强度选择是基于跨区块边界的两个第一边界像素之间的梯度、对应于该区块边界一边上的第一和第二边界像素、第一和第三边界像素、以及第一和第四边界像素的三个梯度，以及对应于该区块边界另一边上的另外三个梯度。本发明的另一方面有关于弱滤波器。当选择弱滤波器时，为了保持边缘锐度，根据本发明的一个实施例，有条件地对区边边界每一边上的第二边界像素运用弱滤波器。该条件基于区块边界的每一边上的第一和第三边界像素。

本发明提供的去区块滤波方法可实现更恰当地运用去区块滤波器以达到改善的性能。

附图说明

图1为在两个区块区块A110和区块B120之间过滤垂直边界的示例示意图。

图2为依据量化参数的阈值αi和βi以及切变量tc的示意图。

具体实施方式

对于数字视频压缩，运动补偿帧间编码是有效的压缩技术并已广泛运用在各种编码标准中，例如MPEG-12/4以及H.261/H.263/H.264/AVC。在运动补偿系统中，运动估计/补偿以及随后的压缩通常是在逐个区块的基础上执行的。在压缩过程中，由于有损操作（lossy operation）（例如量化），编码噪声（coding noise）可能会产生。编码失真可能在重构（reconstructed）视频数据中变得明显，尤其是在基于区块变换的区块边界或其附近。为了缓解可见的编码失真，在更新的编码系统中已开始使用一种称为去区块的技术。其中，该更新的编码系统可例如H.264/AVC和高效视频编码（High Efficiency Video Coding，HEVC)系统。此外，HEVC对基于区块的预测（block-based prediction）采用独立的单元，称之为预测单元（prediction unit，PU），预测单元可能不同于变换单元（transform unit，TU）。因此，PU的边界可能并不与TU的边界对齐。在HEVC中，对于亮度（luma）和色度（chroma）分量，去区块过程都是基于8X8的区块。

图1为在两个区块区块A110和区块B120之间进行滤波的如图1中的粗框所示的垂直边界的示例示意图，其中每个区块由8X8个像素组成。如图1所示，对应于两个相邻区块的八个像素行标记为131至138。垂直边界每一边上的四个像素标记为(p3_i，p2_i，p1_i，p0_i，q0_i，q1_i，q2_i，q3_i)，其中，i为像素行的索引，且i=0,…,7。将紧邻区块边界的像素（即p0_i和q0_i）命名为第一边界像素。类似地，将p1_i和q1_i命名为第二边界像素，将p2_i和q2_i命名为第三边界像素，以及将p3_i和q3_i命名为第四边界像素。在此实例中，区块A110和区块B120可为两个PU或TU。去区块过程包括以下步骤：确定滤波开启/关闭（ON/OFF），确定滤波强度（filterstrength）以及运用去区块滤波器。滤波开启/关闭决定检查在边界处的过渡（transition）为自然边缘或是由编码失真导致的。如果为自然边缘，关闭滤波器以保持对应各自边界的图像锐度（sharpness）。否则，开启滤波器以减少失真。首先对待滤波的图像区域的所有区块边界执行滤波开启/关闭决定。如果将对边界进行滤波，则将确定滤波强度的决定，即选择强（strong）或弱（weak）滤波器。然后，对待滤波的边界运用具有确定的滤波强度的去区块滤波器。在本发明的揭露书中，为简洁，将去区块过程称为去区块。在视频编码领域，去区块过程也称为去区块。用于去区块的滤波器也称为去区块滤波器。因此，根据上下文，名称去区块滤波器可指代去区块过程或用于去区块的滤波器。

为保持计算复杂度低，根据传统HEVC的滤波开启/关闭决定仅基于两个像素行。例如，在HM-3.0中，使用行2和行5。对于边缘活动测量（Edge activity measure），d是根据行2和行5中的像素计算的：

d=|p2₂-2p1₂+p0₂|+|q2₂-2q1₂+q0₂|+|p2₅-2p1₅+p0₅|+|q2₅-2q1₅+q0₅|. (1)

如果边缘活动测量d小于预定义阈值（pre-defined threshold）β,将对对应的块边界进行滤波。预定义阈值β有关于量化参数（quantization parameter，QP）。如果确定对区块边界进行滤波，则根据条件执行执行弱/强滤波器决定：

d<β>>2， (2)

|p3_i-p0_i|+|q3_i-q0_i|<β>>3，以及 (3)

|p0_i-q0_i|<5·tc+1 (4)

其中，tc为关于QP的预定义阈值，tc用于避免对像素过度过滤（over-filtering）。如果满足所有以上三个条件，则选择强滤波器。否则，选择弱滤波器。

用于色度分量的去区块滤波器与用于亮度分量的去区块滤波器类似，但其仅用于内部区块边界。尽管用于传统HEVC的去区块滤波器具有低计算复杂度的优点，但仍可对其性能进行改善。例如，基于单边缘活动测量d和单阈值β的滤波开/关决定可能并不能产生适当的边缘活动测量。此外，基于第四边界像素(p3/q3)与第一边界像素(p0/q0)之间的梯度（gradient）可能并不能反应真实的边缘梯度。而且，边界强度（boundary strength，BS）推导（derivation）和弱滤波操作也需要相应地进行细化（refine）。在传统HEVC中，如果两个相邻区块的其中一个具有非零变换系数（non-zero transform coefficient），则考量对区块边界进行去区块滤波。此决定无关于边界是PU边界还是TU边界。上述去区块滤波做法继承于H.264标准，其中，变换大小（transform size）总是等于或小于预测分区（partition）大小。此外，如果边界强度大于0，对边界运用去区块滤波器，以及当边界强度为0时禁能（disable）去区块滤波器。表格1中所示的为根据HEVC测试模型版本3.0（HM-3.0）的边界强度分配。

表格1

区块模式和条件	边界强度(BS)
		其中一个区块为内部（区块）	3或4
其中一个区块具有非零变换系数	2
		区块运动向量的差值>=1整数亮度样本距离	1
来自不同参考帧的运动补偿	1
		其他	0

根据表格1，依据边界是否为最大编码单元（largest coding unit，LCU），当多个区块的其中至少一个的预测模式为内部模式时，边界强度为3或4，且当至少一个区块具有非零变换系数时，边界强度为2。边界强度分配更检查是否区块使用不同的参考帧或不同数目的运动矢量。在HM-3.0中，TU可覆盖若干个PU，这样PU边界可能并不总是TU边界。如表格1所示，如果多个区块的其中一个具有非零变换系数，仅PU边界（PU-only boundary）（在一个TU内部）的BS值将等于2。相应地，将对仅PU边界运用BS等于2的去区块滤波器，其中，由于并不存在基于块变换的失真，因此对仅PU边界运用BS等于2的去区块滤波器并非所希望的。相应地，本发明的一个实施例将对仅PU边界跳过（skip）确定非零变换系数的存在，且因此如果BS等于1的其他条件，即运动矢量差值和参考帧并未得到满足，则通过将边界强度降低至0来排除对仅PU边界的去区块滤波。而HM-3.0对于两相邻区块的其中一个具有非零变换系数的仅PU亮度边界，将边界强度（BS）分配为2。表格2中所示的为根据本发明一个实施例的边界强度分配。

表格2

在最近的HM-6.0中，进一步对BS值分配进行了精简，其中，仅使用3个BS值，即0，1，2。因此，本发明也相应地进行改变。对比表格2，当多个区块的其中至少一个为内部模式时，BS值变为2，以及当边界为TU边界且至少一个区块具有非零变换系数时，BS值变为1。在此情形中，如果并未运动矢量差值和参考帧的条件仍未得到满足，则仍不对仅PU边界进行滤波。

本发明的一个方面为处理去区块滤波的决定。根据本发明在一个实施例中，滤波开启/关闭决定基于下列条件：

|p0_i-q0_i|<Tα, (5)

|p1_i-p0_i|<Tβ,以及 (6)

|q1_i-q0_i|<Tβ, (7)

其中，阈值α和β的推导是根据：

图2为依据量化参数的阈值αi和βi以及切变量tc的示意图。其中，α_i和β_i依据如图2所示的亮度分量的QP。如果对于i=2和5，方程式(5)、(6)和(7)都可得到满足，则对区块边界（8个像素行）进行滤波。在此实施例中，接收跨第一区块与第二区块之间的区块边界的像素行所对应的像素数据以确定该像素行的第一梯度（如方程式（5）中所示）、第二梯度（如方程式（6）中所示）以及第三梯度（如方程式（7）中所示）。在第一区块的第一边界像素和第二区块的第一边界像素之间测量第一梯度。在第一区块的第二边界像素和第二区块的第一边界像素之间测量第二梯度。在第二区块的第一边界像素和第二区块的第二边界像素之间测量第三梯度。同时也接收跨相同区块边界的另一像素行所对应的像素数据以确定该像素行的第一梯度、第二梯度以及第三梯度。在此实施例中，该两个像素行为像素行2和像素行5。根据像素行2的三个梯度和像素行5的三个梯度来确定滤波开启/关闭的决定，即，如果对于两个像素行而言方程式(5),(6)和(7)都得到满足，则对区块边界（8个像素行）进行滤波。

在确定做出对区块A和B之间区块边界的滤波开启/关闭决定之后，如果确定对区块边界开启滤波，则对每个像素行选择两个滤波器（强/弱滤波器）中的一个。根据本发明的一个实施例使用不同像素位置之间的更多个梯度以提供对边缘梯度（edge gradient）的更佳测量，其中边缘梯度的测量是根据：

|p0_i-q0_i|<(α>>2)-(α_i>>4)，以及 (10)

|q1_i-q0_i|+|q2_i-q0_i|+|q3_i-q0_i|+|p1_i-p0_i|+|p2_i-p0_i|+|p3_i-p0_i|<((β_i-4)<<2). (11)

对于每个像素行，如果方程式(10)和(11)中的两个条件同时得到满足，则选择强滤波器。否则，选择弱滤波器。具体地，接收跨第一区块与第二区块之间区块边界的像素行所对应的像素数据。在第一区块的第一边界像素和第二区块的第一边界像素之间测量第一梯度，如方程式(10)所示。同时也确定第一区块中像素行的第二梯度、第三梯度、第四梯度。在第一区块的第一边界像素和第二边界像素之间测量第二梯度；在第一区块的第一边界像素和第三边界像素之间测量第三梯度；在第一区块的第一边界像素和第四边界像素之间测量第四梯度。类似地，也确定第二区块中像素行的第二梯度、第三梯度及第四梯度。根据第一区块的第二梯度、第三梯度及第四梯度，第二区块的第二梯度、第三梯度及第四梯度与第一梯度来确定区块边界的滤波强度。例如，将这些梯度与多个阈值进行比较以决定滤波强度，并根据滤波强度将去区块滤波器运用于区块边界。

本发明的另一个方面为处理弱滤波器的设计。在HM-3.0中，总是对第二边界像素（即p1和q1）运用亮度弱滤波器。为避免破坏跨第二边界像素的边缘，根据本发明的一个实施例将有条件地执行弱滤波器。将执行测试以确定是否对像素进行滤波。此外，根据本发明将使用具有修正系数（modified coefficient）的弱滤波器。具体地，对过滤值p0’和q0’计算是根据：

Δ₀=clip(-tc,tc,(12(q0-p0)-3(q1-p1)+16)>>5)， (12)

p0'=p0+Δ₀，以及 (13)

q0'=q0-Δ₀ (14)

对p1的值进行修正的情形只适用于

|p0-p2|<β_i-4， (15)

为真时，且对p1的过滤值p1’的计算是根据：

Δ_p1=clip(-tc,tc,(12(p0-p1)-3(q0-p2)+16)>>5)，以及 (16)

p1'=p1+(Δ_p1>>1) (17)

类似地，对q1的值进行修正的情形只适用于

|q0-q2|<β_i-4， (18)

为真时，且对q1的过滤值q1’的计算是根据：

Δ_q1=clip(-tc,tc,(12(q0-q1)-3(p0-q2)+16)>>5)，以及 (19)

q1'=q1+(Δ_q1>>1) (20)

其中，在图2中可发现切变量（clipping variable）tc。

在传统d的HEVC中，单调整值（adjustment value）用于推导过滤值p0’,q0’,p1’及q1’。根据本发明的一个实施例，使用(12)、(16)和(19)中定义的三个短抽头滤波器（short-tap filter）分别计算Δ₀,Δ_p1,及Δ_q1。由于，根据本发明的弱去区块滤波可根据像素的各自特性进行调整（tailor），因此各自的调整值Δ₀,Δ_p1,及Δ_q1可产生更好的滤波效果。此外，根据具有不同参数的相同公式来推导p0’,q0’,p1’和q1’。因此，可以相同的装置实现弱滤波器并降低硬件复杂度。

在上述揭露书中，描述了用于垂直区块边界的滤波开启/关闭决定、滤波强度决定以及弱滤波器修正的推导。可类似地进行用于水平边界的推导。根据本发明的去区块技术可运用于亮度分量以及色度分量。

上述的根据本发明的包括去区块滤波的编码和解码的视频系统的实施例可在不同硬件、软件、软件或二者的组合中实施。例如，本发明的一个实施例可为集成在视频压缩芯片中的电路或集成在视频压缩软件中的程序代码以执行实施例中所述的处理。本发明的一个实施例也可为数字信号处理机（Digital Signal Processor，DSP）上执行的程序代码以执行实施例中所述的处理。本发明也关于由计算机处理器、DSP、微处理器或场可编码门阵列（field programmable gate array，FPGA）执行的多个功能。根据本发明，通过执行定义本发明所包括的特定方法的机器可读软件代码或固件代码，可配置这些处理器执行特定任务。可在不同程序语言和不同格式或风格中开发软件代码或固件代码。也可对不同目标平台编译软件代码。然而，根据本发明不同编码格式、风格和软件代码语言以及为执行任务的配置代码的其他方式都不得脱离本发明的精神与范围。

本发明也可包括不脱离本发明精神或本质特征的其他特定形式。前述的实例仅用作说明之目的从各方面进行考虑，但并非用于限制。因此，本发明的范围应由后附的权利要求项所指示，而并非根据前面的描述。在权利要求项的相等意义和范围内的所有变化都包括在本发明的范围之内。

Claims (3)

1.一种去区块方法，用于视频编码系统中的重构视频，其中，将该去区块适应性地运用于该重构视频的多个区块边界，且每个区块对应于预测单元或变换单元，且该去区块方法包括：

接收两个区块之间的区块边界所对应的像素数据；

仅当该区块边界为变换单元边界时，确定是否该两个区块的其中一个具有非零变换系数；

如果该两个区块的其中一个具有非零变换系数且该区块边界为该变换单元边界时，为该区块边界的边界强度分配第一值；

如果该区块边界仅为预测单元边界时，为该区块边界的该边界强度分配第二值；其中，该第二值小于或等于该第一值；以及

根据该边界强度，将该去区块运用于该区块边界，且其中该去区块的滤波强度有关于该边界强度。

2.如权利要求1所述的去区块方法，其特征在于，对于仅预测单元边界跳过该确定是否该两个区块的其中一个具有非零变换系数。

3.一种去区块装置，用于视频编码系统中的重构视频，其中，将该去区块适应性地运用于该重构视频的多个区块边界，且每个区块对应于预测单元或变换单元，且该去区块装置包括：

用于接收两个区块之间的区块边界所对应的像素数据的装置；

用于仅当该区块边界为变换单元边界时，确定是否该两个区块的其中一个具有非零变换系数的装置；

用于如果该两个区块的其中一个具有非零变换系数且该区块边界为该变换单元边界时，为该区块边界的边界强度分配第一值的装置；

用于如果该区块边界仅为预测单元边界时，为该区块边界的该边界强度分配第二值的装置；其中，该第二值小于或等于该第一值；以及

用于根据该边界强度，将该去区块运用于该区块边界的装置，且其中该去区块的滤波强度有关于该边界强度。