CN101883285A - 并行流水去块效应滤波器vlsi结构设计方法 - Google Patents

Abstract

本发明公开了一种面向超高清的实时去块效应滤波器VLSI结构设计方法。采用基于五级流水线的边界滤波器；优化的混合滤波次序和数据输出以避免流水线停滞等待，提高了流水线的性能；采用并行双边界滤波器结构，相比单滤波器设计增加了近一倍的吞吐量；优化存储策略和缓存机制，开辟片上存储暂存滤波中间结果以复用，降低了对外存的带宽要求；优化滤波次序，减少对中间存储的需求。

Description

并行流水去块效应滤波器VLSI结构设计方法

技术领域

本发明属于视频编解码领域，具体是一种基于H.264的去块效应滤波器VLSI结构设计方法。

背景技术

随着互联网应用的飞速发展，多媒体技术已经广泛应用于通讯、娱乐、医疗和军事等诸多领域。多媒体信息中，视频信息是人类最有效和最重要的信息传递形式。由于视频信息数据量极大，在通信中占用大量的带宽，存储时占用大量的存储资源，其与现有的有限资源之间的矛盾催生了视频压缩技术。目前最有效的压缩标准是H.264/AVC。H.264采用了很多新技术，包括环路去块效应滤波，以解决在高压缩比的情况下视频出现的方块效应。方块效应是指解码后的视频图像中出现虚假的方块边界，它会严重的影响到人们的主观视觉体验，这是基于块的编码系统存在的缺陷之一。

采用去块滤波技术是H.264编码标准在相对码率较低的编码环境下仍然具有较好的主观视觉效果的重要原因。它可以平滑图像中的虚假边界，改善块效应带来的视觉不适，提高视频的主观视觉效果。据统计，去块滤波可以在相同的PSNR基础上，降低视频码流5-10％。但是，这种视频质量的提升和码率的降低是以增加运算复杂度的代价换取的。在硬件实现中，即使经过滤波算法的优化，去除其中的乘法器，去块效应滤波也轻易的消耗了整个H.264解码器1/3的运算资源。高效实时的去块效应滤波器设计成为H.264解码器设计中的重点。

发明内容

根据上述背景技术中的存在的不足，本发明的目的在于，提供高效实时的去块效应滤波器，以对高清和超高清视频进行实时解码。

为了实现上述任务，本发明采用的技术解决方案是：

视频帧被划分为宏块单元，去块效应滤波以宏块为基本滤波操作单位，在一个宏块内以4x4像素点阵为单位划分子块，这些子块边界就是去块效应滤波将要处理的对象；

一个宏块需要滤波的子边界为48条，每条子边界对应滤波操作的输入为边界两侧4x4子块像素，边界滤波器两个输入端口的位宽均为32bit，对应为4像素，宏块数据以4像素一行(32bit)为组织形式进入两个FIFO(First InFirst Out)缓存，两个FIFO分别向两个边界滤波器提供输入；

根据并行滤波次序，边界滤波器依次滤波所有子边界，边界滤波器为五级流水线实现，包含读数据、门限计算、预滤波、滤波和写数据五个步骤；

滤波计算公式如下，其中p0～p3、q0～q3表示待滤波的像素值，x0～x3、y0～y4表示第一级计算结果；X0～X3、Y0～Y3表示第二级的计算结果；p0′～p2′、q0′～q2′、p0″、q0″表示滤波后的像素结果；bs为滤波强度；

强滤波(Bs＝4)    标准滤波(Bs＝1，2，3)

p0′＝(X0+X2)＞＞3     delta＝clip(-c1，c1，(Y1+x3+1)＞＞3)

p1′＝X0＞＞2          p0′＝clip(0，255，p0+delta)

p2′＝(X0+X1)＞＞3     q0′＝clip(0，255，q0-delta)

p0″＝Y0＞＞2          p1′＝p1+clip(-c0，c0，X0＞＞2)

q0′＝(X2+Y3)＞＞3     q1′＝q1+clip(-c0，c0，Y3＞＞2)

q1′＝Y3＞＞2

q2′＝(Y2+Y3)＞＞3

q0″＝X3＞＞2

算子

                x0＝p0+q0+1

X0＝x0+x1

                x1＝p2+p1+1(bs＝4)

X1＝y1＜＜1

                x1＝2*p2-4*p1(bs！＝4)

X2＝x0+x3

                x2＝q2+q1+1(bs＝4)

X3＝x3+y4

                x2＝2*q2-4*q1(bs！＝4)

Y0＝x3+y3

                x3＝p1+q1+1(bs＝4)

Y1＝y0＜＜2+3

                x3＝p1q1(bs！＝4)

Y2＝y2＜＜1

                y0＝q0-p0

Y3＝x0+x2

                y1＝p3+p2+1

                y2＝q3+q2+1

                y3＝p1+p0+1

                y4＝q1+q0+1

输出子块若已经完成四条边界滤波，不再参与之后的滤波运算则回写外存，否则暂存入片内存储以备复用，每个子块在完成左、右、上、下四条边界滤波前将再次进入边界滤波器，中间结果暂存至中间结果寄存器组，每个宏块的最右一列子块和最底部一行子块将会以左邻参考数据和上邻参考数据的形式参与相邻宏块的滤波运算，因此这两部分数据滤波完成之后将写入片内存储以备复用；

进入片内存储器的子块在某些情况下需要转置行列顺序：当这个子块的下一次滤波操作是水平边界滤波，即数据是以列为组织形式进入边界滤波器时，子块需要转置，转置延时四个周期。

本发明成功的实现了以上高效并行的去块效应滤波器VLSI结构，可用于H.264视频编解码器的硬件实现。

本发明提供了高效并行流水的去块效应滤波器VLSI结构设计方法，可以实时地地消除高清和超高清视频解码中的块效应，从而获得较高的视频质量，适应高清和超高清视频应用的发展。

附图说明

图1是高效并行的去块效应滤波器VLSI结构示意图

图2是高效并行的去块效应滤波器的五级流水线结构示意图

图3是高效并行的去块效应滤波器的存储组织示意图

图4是高效并行的去块效应滤波器的的左邻存储更新示意图

图5是高效并行的去块效应滤波器的上邻存储更新示意图

图6是高效并行的去块效应滤波器的两个FIFO缓存一个宏块的示意图

图7是高效并行的去块效应滤波器优化的混合滤波次序

图8是高效并行的去块效应滤波器的子边界滤波次序的编号示意图

图9是高效并行的去块效应滤波器的宏块滤波过程时序图

图10是高效并行的去块效应滤波器的亮度分量分两部分滤波的示意图

图11是高效并行的去块效应滤波器的优化的输出次序

图12是复用后的滤波计算过程

图13是复用的滤波计算结构

下面结合附图对本发明的内容作进一步详细说明。

具体实施方式

图1所示第一实施例中给出了高效并行的去块效应滤波器VLSI结构，源视频序列以宏块为单位通过外部总线缓存至两个FIFO，FIFO中的数据以一行/列四像素为组织形式进入边界滤波器，根据H.264标准定义的滤波算法进行更新，之后经过片内回路，或暂存片内存储，或完成滤波输出外部总线。

图2所示第二实施例中给出了滤波算法被划分为五级流水线：读数据，门限计算，预滤波，滤波，写数据。流水线技术将复杂的组合逻辑截断，能够获得较好的最高工作频率，以提升系统的吞吐量。

图3所示第三实施例中给出了优化的存储策略，包含当前宏块存储，上邻存储和左邻存储。

图4所示第四实施例中给出了宏块滤波与宏块滤波间数据复用技术，开辟片上存储暂存当前宏块左边界滤波所需要的左宏块最右一列4×4子块，共计4×4×8像素(32bit×32)大小。当前宏块滤波完成后会更新最右一列4×4子块到左邻存储。

图5所示第五实施例中给出了上邻存储设计方法，开辟片上存储暂存当前宏块行所有宏块上边界滤波所需要的上宏块底部一列4×4子块，共计4×2×FW像素(32bit×2×N)大小，FW(Frame Width)为以像素为单位的图像宽。当前宏块滤波完成后会更新底部一列4×4子块到上邻存储的相应位置。

图6所示第一实施例中给出了双FIFO的设计方法，以减少带宽需求。采用两个32×48bit FIFO缓存当前宏块源数据。采用两个半宏块容量FIFO的目的在于应对双滤波器对当前宏块数据请求峰值位宽倍增的情况：当双滤波器同时请求当前宏块数据时将使得输入接口位宽需求倍增为64bit，但是另一些时刻却又没有任何数据请求，综合看来，峰值和无请求的情况持平。因此，双FIFO可以有效的平衡外存数据请求，削峰填谷，充分利用32bit的总线带宽，而对系统内的双滤波器又可以满足64bit的数据请求。和两个FIFO协同工作的有一个FIFO控制单元(FIFO Ctrl)。它根据FIFO的空满信号产生FIFO读写使能；根据FIFO的尾指针产生外存读地址信号。

图7所示第七实施例中给出了高效并行的去块效应滤波器优化的混合滤波次序，两个滤波器和并行流水的进行滤波。

图8所示第八实施例中给出了高效并行的去块效应滤波器的子边界滤波次序的编号，根据此编号，可以实现无缝并行流水的去块效应滤波。

图9所示第九实施例中给出了高效并行的去块效应滤波器的宏块滤波过程时序。作为环路滤波器的形式加入，输入是重建图像。滤波时序如图9所示，P0、Q0和P1、Q1分别表示两个边界滤波器(滤波器0和滤波器1)的P、Q两个输入端，Output表示输出接口，Top和Left分别代表上邻存储和左邻存储的输入时序。下面针对一些典型的子边界对滤波过程加以说明：

子边界0被滤波器0滤波，P端输入来自左邻存储(L0)，4像素，32位；Q端输入来自当前宏块存储FIFO 0(B0)，4像素，32位。五拍之后，滤波器开始输出结果，P端输出数据L0不会参与之后的滤波运算，因此可以立即回写外存；Q端输出B0将在滤波子边界2时作为P端输入，因此缓存至转置寄存器Buf0。

子边界1和子边界2同时滤波。子边界1滤波同子边界0相似，P端输出L1回写外存，Q端输出B4缓存至Buf2。子边界2滤波时，P端输入来自Buf0，Q端输入来自当前宏块存储FIFO 0(B1)。完成滤波后，P端输出因为要参与水平子边界6的滤波运算，转置后暂存至Buf0。子边界3、4、5均可以类此完成。

当子边界6滤波时，P端输入来自上邻存储T0，一列4像素，32位；Q端输入来自Buf0中转置之后的B0，一列四像素，32位。完成滤波后，T0不再参与之后的滤波运算，将在转置之后回写外存，Q端输出B0将作为子边界7的输入，此时暂存Buf0。

子边界7滤波之后，B0不再参与之后的运算，回写外存。B4完成左、上、右的滤波，作为宏块亮度分量下半部分的上邻数据，写入上邻存储，B5、B6、B7也作此安排，如图9Top行滤波次序为6～10之间的部分所示。这其实是采取将亮度分量一分为二的策略，如图10所示，宏块亮度分量下半部分滤波时，当前宏块数据B4～B7作为上邻数据被引用。可以看到，上下两个部分在数据请求和运算规则上有一致性，因此亮度分量滤波控制的最小单位从16×16减少到现在的8×16，简化了实现。这种设计可以提高上邻存储的使用效率，在一定程度上代替中间数据寄存器工作，减少寄存器的个数。

子边界15滤波之后，B3不再参与运算，写入左邻存储。如图9 Left行滤波次序11对应的时钟所示。同理，B7、B11、B15分别在滤波次序18～20对应的时钟内写入左邻存储。

子边界17滤波完成之后，L3不再参与当前宏块的滤波运算，作为左下方宏块的上邻数据暂存至上邻存储，偏移地址取决于当前宏块在此宏块行的水平位置。同理B12～B14均写入上邻存储，以作为下一宏块行的上邻参考数据。

此外，色度的滤波方式大体等同于亮度，不再赘述。

据此规则分析，Buf0～Buf6缓存中间数据，并提供转置功能，以作为其他子边界滤波的输入，同时在必要的时候缓存输出数据，以解决输出总线的拥堵。T0、T1主要用于转置输出上邻和左邻数据。

图10所示第十实施例中给出了高效并行的去块效应滤波器的亮度分量分两部分滤波的顺序，可以满足双滤波器对数据滤波依赖性的需求。

图11所示第十一实施例中给出了双滤波器的一个宏块内数据输出到存储等次序。左斜阴影子块写入上邻存储，右斜阴影子块写入左邻存储，白色子块完成滤波运算写入外存。数字代表以滤波次序排序的输出次序，如数字4代表当次序4对应的子边界滤波开始进入写存储步骤时，向外存写这个子块。而25、26不在滤波次序内的编号说明在滤波完成之后，仍需要有额外的时钟来处理数据的输出。

图12所示第十二实施例中给出具体的滤波计算流程。上方列出强、弱滤波的最终计算公式，下方给出公式中需要的计算因子，这些计算因子由输入的像素值计算而来。

图13所示第十三实施例中给出具体的滤波计算结构。数据从左向右分级计算，将复用部分先计算出来，再通过对这些公共部分各种组合计算完成滤波。

本发明提供了一种面向高清和超高清的实时去块效应滤波器VLSI结构设计方法。可以实现超高清视频的实时解码，满足实时媒体处理器的要求，具体包括：

1)通过“并行技术”，提高去块效应滤波器的处理速度；

2)采用“五级流水线技术”，提高去块效应滤波器的吞吐量；

3)通过“复用技术”，降低对片外存储的访问；

4)通过“优化的混合滤波次序技术”，避免流水线冲突，提升流水线的性能；并降低对片上存储的需求；

5)通过“优化的存储技术”，降低了对外存的带宽要求。

6)通过“优化的滤波计算方法”，加法器的使用降低到23个，减少了硬件损耗。

所述的“并行技术”是指，源视频序列以宏块为单位通过外部总线缓存至两个FIFO，FIFO中的数据以一行/列四像素为组织形式进入边界滤波器，根据H.264标准定义的滤波算法进行更新，之后经过片内回路，或暂存片内存储，或完成滤波输出外存。

所述的“五级流水线技术”是指，将复杂的滤波算法划分为三级流水线，加上读写数据两级流水线，一共五级。采用两个基于五级流水线的边界滤波器并行处理无数据依赖关系的待滤波数据。

所述的“复用技术”是指，利用中间数据重复引用的特点，开辟片上存储暂存滤波的中间数据以备后续的滤波操作复用，减少对外存的访问次数。

所述的“优化的混合滤波次序技术”是指，保证滤波数据依赖关系的前提下优化设计滤波次序以实现数据流的优化，避免数据冲突；并且通过数据流的优化使得尽早输出中间结果，可以减少对片上存储的需求。

所述的“优化的存储技术”是指，存储组织分为上邻存储，左邻存储，当前存储和中间寄存器组四种。当前存储采用两个FIFO对应缓存两个边界滤波器的输入请求数据，并通过一个信号量互斥的将两个FIFO连接到外部总线上，使得它们充分利用总线资源，降低对外部总线带宽的需求；上邻和左邻存储暂存宏块滤波间可复用的边缘数据；中间寄存器组暂存宏块滤波过程中的中间结果。

本发明完成对宏块的滤波工作过程如下：源视频序列以宏块为单位通过外部总线缓存至两个FIFO，FIFO中的数据以一行/列四像素为组织形式进入边界滤波器，根据H.264标准定义的滤波算法进行更新，之后经过片内回路，或暂存片内存储，或完成滤波输出外部总线。

Claims (1)

1.并行流水去块效应滤波器VLSI结构设计方法，其特征在于，包括下列步骤：

视频帧被划分为宏块单元，去块效应滤波以宏块为基本滤波操作单位，在一个宏块内以4x4像素点阵为单位划分子块，这些子块边界就是去块效应滤波将要处理的对象；

一个宏块需要滤波的子边界为48条，每条子边界对应滤波操作的输入为边界两侧4x4子块像素，边界滤波器两个输入端口的位宽均为32bit，对应为4像素，宏块数据以4像素一行32bit为组织形式进入两个FIFO(First In FirstOut)缓存，两个FIFO分别向两个边界滤波器提供输入；

根据并行滤波次序，边界滤波器依次滤波所有子边界，边界滤波器为五级流水线实现，包含读数据、门限计算、预滤波、滤波和写数据五个步骤；

滤波计算公式如下，其中p0～p3、q0～q3表示待滤波的像素值，x0～x3、y0～y4表示第一级计算结果；X0～X3、Y0～Y3表示第二级的计算结果；p0′～p2′、q0′～q2′、p0″、q0″表示滤波后的像素结果；bs为滤波强度；

强滤波(Bs＝4)          标准滤波(Bs＝1，2，3)

p0′＝(X0+X2)＞＞3     delta＝clip(-c1，c1，(Y1+x3+1)＞＞3)

p1′＝X0＞＞2          p0′＝clip(0，255，p0+delta)

p2′＝(X0+X1)＞＞3     q0′＝clip(0，255，q0-delta)

p0″＝Y0＞＞2          p1′＝p1+clip(-c0，c0，X0＞＞2)

q0′＝(X2+Y3)＞＞3     q1′＝q1+clip(-c0，c0，Y3＞＞2)

q1′＝Y3＞＞2

q2′＝(Y2+Y3)＞＞3

q0″＝X3＞＞2

算子

                        x0＝p0+q0+1

X0＝x0+x1

                        x1＝p2+p1+1(bs＝4)

X1＝y1＜＜1

                        x1＝2*p2-4*p1(bs！＝4)

X2＝x0+x3

                        x2＝q2+q1+1(bs＝4)

X3＝x3+y4

                        x2＝2*q2-4*q1(bs！＝4)

Y0＝x3+y3

                        x3＝p1+q1+1(bs＝4)

Y1＝y0＜＜2+3

                        x3＝p1q1(bs！＝4)

Y2＝y2＜＜1

                        y0＝q0-p0

Y3＝x0+x2

                        y1＝p3+p2+1

                        y2＝q3+q2+1

                        y3＝p1+p0+1

                        y4＝q1+q0+1

输出子块若已经完成四条边界滤波，不再参与之后的滤波运算则回写外存，否则暂存入片内存储以备复用，每个子块在完成左、右、上、下四条边界滤波前将再次进入边界滤波器，中间结果暂存至中间结果寄存器组，每个宏块的最右一列子块和最底部一行子块将会以左邻参考数据和上邻参考数据的形式参与相邻宏块的滤波运算，因此这两部分数据滤波完成之后将写入片内存储以备复用；

进入片内存储器的子块在某些情况下需要转置行列顺序：当这个子块的下一次滤波操作是水平边界滤波，即数据是以列为组织形式进入边界滤波器时，子块需要转置，转置延时四个周期。

Images