CN111800643A - 一种用于视频编码的去方块滤波器及其滤波方法 - Google Patents

Abstract

本发明公开了一种用于视频编码的去方块滤波器，包括：并行执行的第一部分电路和第二部分电路，第一部分电路用于实现对图像块的亮度分量进行滤波，第二部分电路用于实现对图像块的色度分量进行滤波；第一部分电路包括依次顺序连接的第一边界检测模块、第一开关决策模块、第一边界强度计算模块、第一边界滤波模块；第二部分电路包括依次顺序连接的第二边界检测模块、第二开关决策模块、第二边界强度计算模块、第二边界滤波模块。与软件实现方案相比，由硬件结构实现去方块滤波，滤波速度快，并且通过设置两部分并行执行的电路结构，一个用于实现亮度分量滤波，另一个用于实现色度分量滤波，以进一步减少图像块滤波的总体时间，进而满足编码器滤波实时性的要求。

Description

一种用于视频编码的去方块滤波器及其滤波方法

技术领域

本发明涉及视频编码技术领域，具体涉及一种用于视频编码的去方块滤波器及其滤波方法。

背景技术

现有视频编码通常是基于图像块进行编码，这种方式在一个图像块内部的数据会有很好的处理效果，但是对于不同图像块边界数据的压缩，由于内容和压缩程度不同，会产生解码后的不连续，即产生“块效应”。

为了去除“块效应”的影响，目前均采用在编码过程中进行软件去方块滤波，但是软件去方块滤波一般需要缓存连续几帧视频序列才进行编码滤波，滤波速度不高，无法满足编码器去方块滤波的实时性要求。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种用于视频编码的去方块滤波器及其滤波方法，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种用于视频编码的去方块滤波器，包括：并行执行的第一部分电路和第二部分电路，所述第一部分电路用于实现对图像块的亮度分量进行滤波，所述第二部分电路用于实现对图像块的色度分量进行滤波；

其中，所述第一部分电路包括依次顺序连接的第一边界检测模块、第一开关决策模块、第一边界强度计算模块、第一边界滤波模块；

所述第二部分电路包括依次顺序连接的第二边界检测模块、第二开关决策模块、第二边界强度计算模块、第二边界滤波模块。

本发明的第二方面提出了一种应用如上述第一方面所述的用于视频编码的去方块滤波器的滤波方法，所述方法包括：

通过第一边界检测模块检测图像块的滤波边界，通过第一开关决策模块判定是否要对检测到的滤波边界进行滤波，如果判定为是，则通过第一边界强度计算模块计算所述滤波边界周围像素的亮度分量强度；通过第一边界滤波模块根据所述亮度分量强度对所述滤波边界周围像素的亮度分量进行滤波；

通过第二边界检测模块检测图像块的滤波边界，通过第二开关决策模块判定是否要对检测到的滤波边界进行滤波，如果判定为是，则通过第二边界强度计算模块计算所述滤波边界周围像素的色度分量强度；通过第二边界滤波模块根据所述色度分量强度对所述滤波边界周围像素的色度分量进行滤波。

基于上述第一方面所述的用于视频编码的去方块滤波器，与现有的软件实现方案相比，由硬件结构实现去方块滤波，滤波速度快，并且通过设置两部分并行执行的电路结构，一个用于实现亮度分量的去方块滤波，另一个用于实现色度分量的去方块滤波，以进一步减少图像块去方块滤波的总体时间，进而满足编码器滤波实时性的要求。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明根据一示例性实施例示出的一种用于视频编码的去方块滤波器的结构示意图；

图2为本发明根据一示例性实施例示出的垂直滤波边界和水平滤波边界的示意图；

图3为本发明根据一示例性实施例示出的一种图像块中滤波边界示意图；

图4为本发明根据一示例性实施例示出的一种水平边界和垂直边界滤波示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了解决单纯利用软件方案进行去方块滤波带来的无法满足编码器滤波实时性的问题，本发明根据去方块滤波原理设计了一种利用硬件结构进行快速的去方块滤波，以满足编码器滤波实时性的要求。

如图1所示，为本发明提出的一种用于视频编码的去方块滤波器的硬件结构示意图，包括：并行执行的第一部分电路和第二部分电路，第一部分电路包括依次顺序连接的第一边界检测模块、第一开关决策模块、第一边界强度计算模块、第一边界滤波模块；第二部分电路包括依次顺序连接的第二边界检测模块、第二开关决策模块、第二边界强度计算模块、第二边界滤波模块。

其中，由于前段采集图像的格式通常为YUV格式，Y代表亮度分量，U/V代表色度分量，每个像素的亮度分量和色度分量互相独立，因此可以对亮度分量和色度分量分别进行滤波，本实施例中的第一部分电路用于实现对图像块的亮度分量进行滤波，输入第一部分电路的是原始图像块包含的所有像素的亮度分量数据，第二部分电路用于实现对图像块的色度分量进行滤波，因此输入第二部分电路的是原始图像块包含的所有像素的色度分量数据。

需要说明的是，色度U的滤波和色度V的滤波串行操作，共用第二部分电路，可以减少硬件资源的消耗。以视频格式为4:2:2YUV的视频序列为例，图像块的Y像素量与UV像素量之和相等，UV滤波串行操作需要的时间不大于Y滤波的时间，因此UV滤波串行操作总体上不增加整体去方块滤波的整体时间。

基于上述描述可知，与现有的软件实现方案相比，由硬件结构实现去方块滤波，滤波速度快，并且通过设置两部分并行执行的电路结构，一个用于实现亮度分量的去方块滤波，另一个用于实现色度分量的去方块滤波，以进一步减少图像块去方块滤波的总体时间，进而满足编码器滤波实时性的要求。

在一实施例中，再如图1所示，由于去方块滤波需要进行垂直边界和水平边界两个边界的滤波，因此第一边界检测模块可以分成并行执行的第一垂直边界检测模块和第一水平边界检测模块，第一开关决策模块可以分成并行执行的第一垂直边界开关决策模块和第一水平边界开关决策模块，第一边界强度计算模块包括并行执行的第一垂直边界强度计算模块和第一水平边界强度计算模块，以进一步减少图像块去方块滤波的总体时间。

参见图2所示的，为8*8滤波单元的垂直滤波边界和水平滤波边界，两个边界需要做滤波的像素点有重叠部分，也就是说，在对相交的垂直边界和水平边界进行滤波时，会涉及到附近相同的像素点，因此第一边界滤波模块分成串行执行的第一垂直边界滤波模块和第一水平边界滤波模块，即先进行垂直边界滤波再进行水平边界滤波。

基于上述同样原理，再如图1所示，对于第二部分电路的色度去方块滤波，第二边界检测模块可以分成并行执行的第二垂直边界检测模块和第二水平边界检测模块，第二开关决策模块可以分成并行执行的第二垂直边界开关决策模块和第二水平边界开关决策模块，第二边界强度计算模块可以分成并行执行的第二垂直边界强度计算模块和第二水平边界强度计算模块，第二边界滤波模块可以分成串行执行的第二垂直边界滤波模块和第二水平边界滤波模块。

在一实施例中，再如图1所示，第一部分电路还可以包括第一缓存模块，用于存储滤波后的图像块右边预设列像素的亮度分量和下边预设行像素的亮度分量。

其中，第一缓存模块中缓存的滤波后的图像块的右边界和下边界像素的亮度分量会参与到下一个图像块的滤波过程中。

基于上述同样原理，再如图1所示，第二部分电路还可以包括第二缓存模块，用于存储滤波后的图像块右边预设列像素的色度分量和下边预设行像素的色度分量。

下面对上述图1所示的用于视频编码的去方块滤波器的滤波方法进行详细阐述。

在视频编码过程中，去方块滤波器的滤波过程位于图像块(即最大编码单元)运动决策过程和二进制算术编码过程之间，运动决策过程是利用运动估计算法预测图像块的运动矢量、残差数据等参数，二进制算术编码过程是利用预测的参数对滤波后的图像块进行二进制算术压缩编码。

该用于视频编码的去方块滤波器的滤波方法包括如下步骤：

步骤301：通过第一边界检测模块检测图像块的滤波边界，通过第一开关决策模块判定是否要对检测到的滤波边界进行滤波，如果判定为是，则通过第一边界强度计算模块计算所述滤波边界周围像素的亮度分量强度；通过第一边界滤波模块根据所述亮度分量强度对所述滤波边界周围像素的亮度分量进行滤波。

(1)通过第一边界检测模块检测图像块的滤波边界，具体为通过第一垂直边界检测模块检测所述图像块的垂直滤波边界，并行通过第一水平边界检测模块检测所述图像块的水平滤波边界。

参见图3所示，以8*8滤波单元为例，对于64*64大小的图像块可以分别检测到9条水平滤波边界和9条垂直滤波边界。

(2)通过第一开关决策模块判定是否要对检测到的滤波边界进行滤波，具体为通过第一垂直边界开关决策模块判定是否要对检测到的垂直滤波边界进行滤波，并行通过第一水平边界开关决策模块判定是否要对检测到的水平滤波边界进行滤波。

其中，无论是水平滤波边界还是垂直滤波边界，两个开关决策模块均是对边界进行条件检测以判定是否要进行滤波。例如，条件检测可以包括以下4条：

a)如果滤波边界是图像边界，则该边界不需要滤波；

b)如果滤波边界是条带边界且条带滤波边界使能标志位的值为‘0’，则该边界不需要滤波；

c)如果滤波边界既不是编码单元的边界，又不是预测单元的边界,也不是变换块的边界，则该边界不需要滤波；

d)如果滤波边界在编码单元内部且该编码单元的编码单元类型为“P_Skip”、“P_Direct”、“B_Skip”、“B_Direct_2N”、“F_Skip”或“F_Direct”，且不是变换单元的边界，则该边界不需要滤波。

其中，“P_Skip”、“B_Skip”、“F_Skip”表示无像素残差，无运动矢量残差，“P_Direct”、“B_Direct_2N”、“F_Direct”表示有像素残差、无运动矢量残差。编码单元为图像块(最大编码单元)被划分为多个小块。

(3)通过第一边界强度计算模块计算所述滤波边界周围像素的亮度分量强度，具体为通过第一垂直边界强度计算模块计算所述垂直滤波边界周围像素的亮度分量强度，并行通过第一水平边界强度计算模块计算所述水平滤波边界周围像素的亮度分量强度。

其中，无论是垂直滤波边界还是水平滤波边界，均可以根据边界周围像素的亮度分量、图像的类型(B帧、P帧、I帧、F帧)计算该边界的亮度分量强度。示例性的，边界周围像素可以是边界两边的三个像素(一共6个像素)。

需要说明的是，针对通过第一边界强度计算模块计算所述滤波边界周围像素的亮度分量强度的过程，可以先判定滤波边界是否为图像块的左边界或上边界，若是，则从第一缓存模块中读取已缓存的上一图像块右边预设列像素的亮度分量和下边预设行像素的亮度分量，进而从读取的像素和图像块中获取位于所述滤波边界周围的像素，并依据获取的像素的亮度分量计算亮度分量强度。

(4)通过第一边界滤波模块根据所述亮度分量强度对所述滤波边界周围像素的亮度分量进行滤波，具体为通过第一垂直边界滤波模块根据所述垂直滤波边界的亮度分量强度对所述垂直滤波边界周围像素的亮度分量进行滤波，通过第一水平边界滤波模块根据所述水平滤波边界的亮度分量强度对所述水平滤波边界周围像素的亮度分量进行滤波。

其中，由于在对相交的垂直边界和水平边界进行滤波时，会涉及到附近相同的像素点，因此水平滤波边界周围像素包括经第一垂直边界滤波模块滤波的像素和未经第一垂直边界滤波模块滤波的像素。

步骤302：通过第二边界检测模块检测图像块的滤波边界，通过第二开关决策模块判定是否要对检测到的滤波边界进行滤波，如果判定为是，则通过第二边界强度计算模块计算所述滤波边界周围像素的色度分量强度；通过第二边界滤波模块根据所述色度分量强度对所述滤波边界周围像素的色度分量进行滤波。

其中，步骤301和步骤302为两个并行执行的步骤。

基于上述步骤301所述的亮度去方块滤波的原理，对于步骤302的色度去方块滤波：

(1)通过第二边界检测模块检测图像块的滤波边界，具体为通过第二垂直边界检测模块检测所述图像块的垂直滤波边界，并行通过第二水平边界检测模块检测所述图像块的水平滤波边界。

(2)通过第二开关决策模块判定是否要对检测到的滤波边界进行滤波，具体为通过第二垂直边界开关决策模块判定是否要对检测到的垂直滤波边界进行滤波，并行通过第二水平边界开关决策模块判定是否要对检测到的水平滤波边界进行滤波。

(3)通过第二边界强度计算模块计算所述滤波边界周围像素的色度分量强度，具体为通过第二垂直边界强度计算模块计算所述垂直滤波边界周围像素的色度分量强度，并行通过第二水平边界强度计算模块计算所述水平滤波边界周围像素的色度分量强度。

需要说明的是，针对通过第二边界强度计算模块计算所述滤波边界周围像素的色度分量强度的过程，可以先判定所述滤波边界是否为所述图像块的左边界或上边界，若是，则从第二缓存模块中读取已缓存的上一图像块右边预设列像素的色度分量和下边预设行像素的色度分量，进而从读取的像素和所述图像块中获取位于所述滤波边界周围的像素，并依据获取的像素的色度分量计算色度分量强度。

(4)通过第二边界滤波模块根据所述色度分量强度对所述滤波边界周围像素的色度分量进行滤波，具体为通过第二垂直边界滤波模块根据所述垂直滤波边界的色度分量强度对所述垂直滤波边界周围像素的色度分量进行滤波，通过第二水平边界滤波模块根据所述水平滤波边界的色度分量强度对所述水平滤波边界周围像素的色度分量进行滤波。

其中，水平滤波边界周围像素包括经第二垂直边界滤波模块滤波的像素和未经第二垂直边界滤波模块滤波的像素。

实验测试，以64*64图像块、8*8滤波单元、修改边界附近的6个像素点为例，采用上述图1所示的用于视频编码的去方块滤波器，如图4所示，考虑到硬件资源有限性，无论是第一部分电路中的水平方向色度滤波还是第二部分电路中的水平方向色度滤波，一次均是对图像块中一条水平滤波边界周围48个像素点(图4中(a)中虚线方框为水平滤波边界周围参与滤波的48个像素点)同时进行滤波，由于一条水平滤波边界周围有48*8个像素点，因此一条水平滤波边界需要执行8次滤波操作。

无论是第一部分电路中的垂直方向亮度滤波还是第二部分电路中的垂直方向色度滤波，均是通过对图像块中一行像素中的所有垂直滤波边界同时进行操作(图4中(b)中虚线方框为垂直滤波边界周围参与滤波的像素点)，由于一行像素中最多有8条需要滤波的垂直边界，每条边界两边3个像素需要滤波，因此每次操作一行像素，最多需要处理3*2*8＝48个像素点，与上述水平方向滤波需要的硬件资源平衡。

完成上述64*64图像块的去方块滤波后，消耗的时钟周期数为2800。由此可见，对于高清、超高清视频编码滤波具有低延迟性、高实时性。

至此，完成上述图1所示的用于视频编码的去方块滤波器的滤波流程。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种用于视频编码的去方块滤波器，其特征在于，包括：并行执行的第一部分电路和第二部分电路，所述第一部分电路用于实现对图像块的亮度分量进行滤波，所述第二部分电路用于实现对图像块的色度分量进行滤波；

其中，所述第一部分电路包括依次顺序连接的第一边界检测模块、第一开关决策模块、第一边界强度计算模块、第一边界滤波模块；

所述第二部分电路包括依次顺序连接的第二边界检测模块、第二开关决策模块、第二边界强度计算模块、第二边界滤波模块。

2.根据权利要求1所述的去方块滤波器，其特征在于，所述第一边界检测模块包括并行执行的第一垂直边界检测模块和第一水平边界检测模块；

所述第一开关决策模块包括并行执行的第一垂直边界开关决策模块和第一水平边界开关决策模块；

所述第一边界强度计算模块包括并行执行的第一垂直边界强度计算模块和第一水平边界强度计算模块；

所述第一边界滤波模块包括串行执行的第一垂直边界滤波模块和第一水平边界滤波模块。

3.根据权利要求1所述的去方块滤波器，其特征在于，所述第二边界检测模块包括并行执行的第二垂直边界检测模块和第二水平边界检测模块；

所述第二开关决策模块包括并行执行的第二垂直边界开关决策模块和第二水平边界开关决策模块；

所述第二边界强度计算模块包括并行执行的第二垂直边界强度计算模块和第二水平边界强度计算模块；

所述第二边界滤波模块包括串行执行的第二垂直边界滤波模块和第二水平边界滤波模块。

4.根据权利要求1所述的去方块滤波器，其特征在于，所述第一部分电路还包括第一缓存模块，用于存储滤波后的图像块右边预设列像素的亮度分量和下边预设行像素的亮度分量。

5.根据权利要求1所述的去方块滤波器，其特征在于，所述第二部分电路还包括第二缓存模块，用于存储滤波后的图像块右边预设列像素的色度分量和下边预设行像素的色度分量。

6.一种应用如上述权利要求1～5任一项所述的用于视频编码的去方块滤波器的滤波方法，其特征在于，所述方法包括：

通过第一边界检测模块检测图像块的滤波边界，通过第一开关决策模块判定是否要对检测到的滤波边界进行滤波，如果判定为是，则通过第一边界强度计算模块计算所述滤波边界周围像素的亮度分量强度；通过第一边界滤波模块根据所述亮度分量强度对所述滤波边界周围像素的亮度分量进行滤波；

通过第二边界检测模块检测图像块的滤波边界，通过第二开关决策模块判定是否要对检测到的滤波边界进行滤波，如果判定为是，则通过第二边界强度计算模块计算所述滤波边界周围像素的色度分量强度；通过第二边界滤波模块根据所述色度分量强度对所述滤波边界周围像素的色度分量进行滤波。

7.根据权利要求6所述的方法，其特征在于，通过第一边界检测模块检测图像块的滤波边界，包括：

通过第一垂直边界检测模块检测所述图像块的垂直滤波边界，并行通过第一水平边界检测模块检测所述图像块的水平滤波边界；

通过第一开关决策模块判定是否要对检测到的滤波边界进行滤波，包括：通过第一垂直边界开关决策模块判定是否要对检测到的垂直滤波边界进行滤波，并行通过第一水平边界开关决策模块判定是否要对检测到的水平滤波边界进行滤波；

通过第一边界强度计算模块计算所述滤波边界周围像素的亮度分量强度，包括：通过第一垂直边界强度计算模块计算所述垂直滤波边界周围像素的亮度分量强度，并行通过第一水平边界强度计算模块计算所述水平滤波边界周围像素的亮度分量强度；

通过第一边界滤波模块根据所述亮度分量强度对所述滤波边界周围像素的亮度分量进行滤波，包括：通过第一垂直边界滤波模块根据所述垂直滤波边界的亮度分量强度对所述垂直滤波边界周围像素的亮度分量进行滤波，通过第一水平边界滤波模块根据所述水平滤波边界的亮度分量强度对所述水平滤波边界周围像素的亮度分量进行滤波；

其中，所述水平滤波边界周围像素包括经第一垂直边界滤波模块滤波的像素和未经第一垂直边界滤波模块滤波的像素。

8.根据权利要求6所述的方法，其特征在于，通过第二边界检测模块检测图像块的滤波边界，包括：

通过第二垂直边界检测模块检测所述图像块的垂直滤波边界，并行通过第二水平边界检测模块检测所述图像块的水平滤波边界；

通过第二开关决策模块判定是否要对检测到的滤波边界进行滤波，包括：通过第二垂直边界开关决策模块判定是否要对检测到的垂直滤波边界进行滤波，并行通过第二水平边界开关决策模块判定是否要对检测到的水平滤波边界进行滤波；

通过第二边界强度计算模块计算所述滤波边界周围像素的色度分量强度，包括：通过第二垂直边界强度计算模块计算所述垂直滤波边界周围像素的色度分量强度，并行通过第二水平边界强度计算模块计算所述水平滤波边界周围像素的色度分量强度；

通过第二边界滤波模块根据所述色度分量强度对所述滤波边界周围像素的色度分量进行滤波，包括：通过第二垂直边界滤波模块根据所述垂直滤波边界的色度分量强度对所述垂直滤波边界周围像素的色度分量进行滤波，通过第二水平边界滤波模块根据所述水平滤波边界的色度分量强度对所述水平滤波边界周围像素的色度分量进行滤波；

其中，所述水平滤波边界周围像素包括经第二垂直边界滤波模块滤波的像素和未经第二垂直边界滤波模块滤波的像素。

9.根据权利要求6所述的方法，其特征在于，通过第一边界强度计算模块计算所述滤波边界周围像素的亮度分量强度，包括：

判定所述滤波边界是否为所述图像块的左边界或上边界；

若是，则从第一缓存模块中读取已缓存的上一图像块右边预设列像素的亮度分量和下边预设行像素的亮度分量；

从读取的像素和所述图像块中获取位于所述滤波边界周围的像素，并依据获取的像素的亮度分量计算亮度分量强度。

10.根据权利要求6所述的方法，其特征在于，通过第二边界强度计算模块计算所述滤波边界周围像素的色度分量强度，包括：

判定所述滤波边界是否为所述图像块的左边界或上边界；

若是，则从第二缓存模块中读取已缓存的上一图像块右边预设列像素的色度分量和下边预设行像素的色度分量；

从读取的像素和所述图像块中获取位于所述滤波边界周围的像素，并依据获取的像素的色度分量计算色度分量强度。

Images