CN105530519A - 一种环内滤波方法及装置 - Google Patents

Abstract

本发明提供一种环内滤波方法及装置，该装置包括：去块滤波模块，以处理单元N×M左方相邻的M/4个block、及处理单元所在区域为滤波区域，按照从上往下，从左往右的顺序对滤波区域内的滤波基础单元去块滤波，去块滤波时，结合该滤波基础单元上方水平相邻的2个block，先垂直边滤波再水平边滤波，将去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据进行缓存；SAO模块，结合Area1左方2列、上方1行及下方1行的像素点数据对运算区域内block进行SAO计算；存储环内滤波所需数据的三个随机存取存储器。本发明可以减少流水延时，降低芯片面积，提升芯片性能。

Description

一种环内滤波方法及装置

技术领域

本发明涉及视频处理技术领域，尤其涉及一种环内滤波方法及装置。

背景技术

随着数字视频应用产业链的快速发展，视频应用向以下几个方向发展的趋势愈加明显：

1)高清晰度(HigherDefinition)：数字视频的应用格式从720P向1080P全面升级，甚至出现了4K×2K、8K×4K的数字视频格式；

2)高帧率(Higherframerate)：数字视频帧率从30fps向60fps、120fps甚至240fps的应用场景升级；

3)高压缩率(HigherCompressionrate)：传输带宽和存储空间一直是视频应用中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求。

由于数字视频应用在发展中面临上述趋势，如果继续采用H.264编码，就出现一些局限性，为了面对以上发展趋势，2010年1月，ITU-TVCEG和ISO/IECMPEG联合成立了JCT-VC联合组织，统一制定下一代编码标准HEVC(HighEfficiencyVideoCoding，高效率视频编码)，HEVC协议标准(H.265)于2013年正式在业界发布。与H.264相比，H.265具有更高的(接近于两倍)压缩比率，在同码率下具有更佳的视频质量，而且支持8k超高清视频(UltraHighDefinitionTelevision，UHD)。

如图1所示为HEVC的解码过程示意图，主要包括：熵解码(Entropy)/环扫描(Scan)/反量化IQ、反变换(Trans)、帧内预测(IntraPredication)/帧间预测(Interpolation)/补偿MC、去块滤波(Deblock)/SAO(自适应样点补偿)计算、写回DDR(WriteBack)/显示(display)。

环内滤波模块包括去块滤波和SAO两部分，先做去块滤波，再做SAO，其中去块滤波和SAO过程涉及边界滤波强度计算BSD。去块滤波主要用于判断PU(预测单元，即用于视频图像帧中用于进行预测运算的单元)和TU(变换单元，即视频图像帧中用于参与变换运算的单元)边界两边像素值的特征，对边界两边的像素点进行滤波，以消除由于块编码方式所导致的一些边框效应，使重建图像具有更好的质量和PSNR(PeakSignaltoNoiseRatio，峰值信噪比)值。

HEVC具有高压缩率，同时又具体高复杂度，为了支持超高清解码，软件几乎难以实现，耗时巨大。其中环内滤波模块在整个算法中耗时占比40％，为此需要考虑算法的硬件化。

协议规定视频图像中以4×4个像素点作为基本块block，以8×8个像素点的块划分的边需要滤波，目前去块滤波的方法是，针对一帧视频图像，先进行整帧视频图像的垂直边滤波，然后才进行整帧视频图像的水平边滤波。由于在滤波过程中对以8×8的块划分的边进行滤波时，需要用到其上面2个经过滤波后的相邻4×4block块，因此以整帧图像先进行垂直边滤波再进行水平边滤波时，导致中间需要存储非常多的中间数据。在去块滤波完成垂直边和水平边滤波后，后续执行的SAO，还需要多保存一些像素点的数据，如需要用到左边两列的像素点数据、上面一行的像素点数据及下面一行的像素点数据，又导致中间要保存非常多的临时数据。

发明内容

本发明提供一种环内滤波方法及装置，可以减少流水延时，降低芯片面积，提升芯片性能。

本发明提供一种环内滤波装置，包括：

去块滤波模块，以视频图像按N×M个像素点划分的单元为处理单元，按照预定顺序对每个处理单元按照如下方式进行去块滤波：以当前处理单元左方与当前处理单元相邻的M/4个基本单元block、及当前处理单元所在的区域为滤波区域，以8×8个像素点为滤波基础单元，按照从上往下，从左往右的顺序对滤波区域内的滤波基础单元去块滤波，对每个滤波基础单元进行去块滤波时，结合该滤波基础单元上方水平相邻的2个block，先进行垂直边滤波，再进行水平边滤波，完成去块滤波后，将去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据进行缓存，其中，M、N为4的正整数倍，且分别大于8，1个block由4×4个像素点组成；

自适应样点补偿SAO模块，读取去块滤波模块缓存的去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据，确定读取的像素点数据所在的区域Area1左偏移1列所在的区域为运算区域，结合Area1左方2列、上方1行及下方1行的像素点数据，对运算区域内的block进行SAO计算。

优选地，本发明实施例中的环内滤波装置还包括：

第一随机存取存储器，用于存储当前滤波区域上面5行像素点数据；

第二随机存取存储器，用于存储当前处理单元左方与当前处理单元相邻的M/4个block中的像素点数据；

第三随机存取存储器，用于存储当前处理单元左方第5、6列像素点数据。

优选地，所述去块滤波模块包括：

两个滤波寄存器组和一个参考寄存器组，其中每个滤波寄存器组包括寄存器A、B、C、D，参考寄存器组包括寄存器E、F；

所述去块滤波模块使用E、F缓存当前需滤波的滤波基础单元上方水平相邻的2个block，交替使用两个滤波寄存器组缓存滤波基础单元，在使用其中一个寄存器组缓存滤波基础单元时，使用A、B缓存滤波基础单元中的上面2个block，使用C、D缓存滤波基础单元中的下面2个block；

去块滤波模块在对当前需滤波的滤波基础单元进行滤波时，根据缓存当前需去块滤波的滤波基础单元的一个滤波寄存器组，及E、F中的像素点数据进行去块滤波，去块滤波过程中，将下一个需去块滤波的滤波基础单元缓存到另一个滤波寄存器组，完成一次去块滤波后，将去块滤波后的滤波基础单元所在滤波器寄存器组的C、D中像素点数据读到E、F中。

优选地，该SAO模块包括：

左2列寄存器L2×M、两个SAO寄存器组；

所述SAO模块在未针对当前处理单元执行SAO计算之前，将当前处理单元左方第5、6列像素点数据缓存到L2×M；

所述SAO模块交替使用两个SAO寄存器组缓存数据；

其中，SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，使其中一个SAO寄存器组缓存如下数据：该滤波基础单元上方水平相邻的2个block中的像素点数据；该滤波基础单元中上面2个block中的像素点数据；从L2×M中读取的Area1左方2列像素点数据；Area1下方1行的像素点数据；Area1上方1行的像素点数据；

SAO模块在从L2×M中读取Area1左方2列像素点数据到所述其中一个SAO寄存器组后，将Area1中右边两列的像素点数据，读入到L2×M；

SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，还用于将Area1中最下面1行的像素点数据，读入到另一个SAO寄存器组。

优选地，每个SAO寄存器组包括：

分别存储1个block的寄存器G、H、I、J，用于存储8×1个像素点数据的顶部寄存器Top_8×1，用于存储8×1个像素点数据的底部寄存器Bottom_8×1，用于存储2×8个像素点数据的左两列寄存器L2×8；

G、H用于缓存读取的滤波基础单元上方水平相邻的2个block中的像素点数据；I、J用于缓存读取的滤基础单元中上面2个block中的像素点数据；L2×8用于缓存读取的Area1左方2列像素点数据；Bottom_8×1用于缓存读取的Area1下方1行的像素点数据；Top_8×1用于缓存Area1上方1行的像素点数据。

优选地，该装置还包括：

第一输出缓存区buff_out0和第二输出缓存区buff_out1；

所述SAO模块将完成SAO计算后的像素点数据乒乓地输出到buff_out0和buff_out1。

优选地，所述处理单元的大小为编码单元树CTU的大小。

本发明还提供一种基于上述装置的环内滤波方法，包括：

去块滤波模块以视频图像按N×M个像素点划分的单元为处理单元，按照预定顺序对每个处理单元按照如下方式进行去块滤波：以当前处理单元左方与当前处理单元相邻的M/4个基本单元block、及当前处理单元所在的区域为滤波区域，以8×8个像素点为滤波基础单元，按照从上往下，从左往右的顺序对滤波区域内的滤波基础单元去块滤波，对每个滤波基础单元进行去块滤波时，结合该滤波基础单元上方水平相邻的2个block，先进行垂直边滤波，再进行水平边滤波，其中，M、N为4的正整数倍，且分别大于8，1个block由4×4个像素点组成；

去块滤波模块完成一个滤波基础单元的去块滤波后，将去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据进行缓存；

自适应样点补偿SAO模块读取去块滤波模块缓存的去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据，确定读取的像素点数据所在的区域Area1左偏移1列所在的区域为运算区域，结合Area1左方2列、上方1行及下方1行的像素点数据，对运算区域内的block进行SAO计算。

优选地，所述去块滤波模块包括：两个滤波寄存器组和一个参考寄存器组，其中每个滤波寄存器组包括寄存器A、B、C、D，参考寄存器组包括寄存器E、F；

所述去块滤波模块对滤波基础单元进行去块滤波时，采用如下方式将当前需滤波的滤波基础单元缓存到其中一个滤波寄存器组：将当前需滤波的滤波基础单元上方水平相邻的2个block缓存到E、F，将滤波基础单元中的上面2个block缓存到其中一个滤波寄存器组中的A、B，将滤波基础单元中的下面2个block缓存到所述其中一个滤波寄存器组中的C、D；

所述去块滤波模块在对当前需滤波的滤波基础单元进行滤波时，根据缓存当前需去块滤波的滤波基础单元的一个滤波寄存器组，及E、F中的像素点数据进行去块滤波，去块滤波过程中，将下一个需去块滤波的滤波基础单元缓存到另一个滤波寄存器组，完成一次去块滤波后，将去块滤波后的滤波基础单元所在滤波器寄存器组的C、D中像素点数据读到E、F中。

优选地，所述SAO模块包括：左2列寄存器L2×M、两个SAO寄存器组；

该方法还包括：所述SAO模块在未针对当前处理单元执行SAO计算之前，将当前处理单元左方第5、6列像素点数据缓存到L2×M；

所述SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，按照交替使用的方式选择其中一个SAO寄存器组缓存如下数据：该滤波基础单元上方水平相邻的2个block中的像素点数据；该滤波基础单元中上面2个block中的像素点数据；从L2×M中读取的Area1左方2列像素点数据；Area1下方1行的像素点数据；Area1上方1行的像素点数据；

所述SAO模块根据其中一个SAO寄存器组中缓存的数据，对运算区域内的block进行SAO计算；

其中，SAO模块在从L2×M中读取Area1左方2列像素点数据到所述其中一个SAO寄存器组后，将Area1中右边两列的像素点数据，读入到L2×M；

SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，将Area1中最下面1行的像素点数据，读入到另一个SAO寄存器组。

优选地，所述处理单元的大小为编码单元树CTU的大小。

利用本发明提供的环内滤波装置及方法，具有以下有益效果：

本发明可以极大的降低外边ram的数量，做到数据读取和处理进行流水设计，输入单块8×8就可以完成垂直滤波和水平滤波，然后直接做SAO，去块滤波和SAO流水都是以4×4的大小块为单位进行，相对现有技术中以一帧图像为单位的滤波和SAO，最大限度的减少了流水延时，同时无需存储中间数据，降低芯片面积，提升芯片性能，从而高效的实现高清视频的实时编码。

附图说明

图1为HEVC解码过程示意图；

图2为本发明实施例提供的环内滤波装置结构图；

图3为本发明处理单元采用CTU大小时对应的block划分及滤波基础单元划分示意图；

图4为对EFABCD对应的水平边和垂直边示意图；

图5为SAO计算对应的示意图；

图6为对视频图像进行tile划分示意图；

图7A为本发明实施例去块滤波需要的寄存器示意图；

图7B为本发明实施例SAO计算需要的寄存器示意图；

图8为本发明实施例环内滤波方法流程图；

图9A、图9B为本发明实施例交替使用两组寄存区对应的示意图。

具体实施方式

下面结合附图和实施例对本发明提供的环内滤波装置和方法进行更详细地说明。

本发明提供一种环内滤波装置，如图2所示，包括：

去块滤波模块201，以视频图像按N×M个像素点划分的单元为处理单元，按照预定顺序对每个处理单元按照如下方式进行去块滤波：以当前处理单元左方与当前处理单元相邻的M/4个基本单元block、及当前处理单元所在的区域为滤波区域，以8×8个像素点为滤波基础单元，按照从上往下，从左往右的顺序对滤波区域内的滤波基础单元去块滤波，对每个滤波基础单元进行去块滤波时，结合该滤波基础单元上方水平相邻的2个block，先进行垂直边滤波，再进行水平边滤波，完成去块滤波后，将去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据进行缓存，其中，M、N为4的正整数倍，且分别大于8，1个block由4×4个像素点组成；

自适应样点补偿SAO模块202，读取去块滤波模块缓存的去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据，确定读取的像素点数据所在的区域Area1左偏移1列所在的区域为运算区域，结合Area1左方2列、上方1行及下方1行的像素点数据，对运算区域内的block进行SAO计算。

本发明实施例中所出现的N×M个像素点，均指视频图像中N列、M行像素点，N、M均为正整数。

本发明实施例去块滤波模块进行去块滤波时，以N×M个像素点划分的单元作为大的处理单元，以8×8的块划分的边进行滤波，先进行垂直边滤波再进行水平边滤波。M、N为4的正整数倍，且分别大于8，而不再以整帧图像为处理单元。

为了适应并行化程度非常高的芯片实现，H265引入了很多并行运算的优化思路，其中包括tile的划分，如图6所示，将图像划分出的黑边矩形区域为一个Tile，Tile之间可以互相独立，以此实现并行处理。一帧图像可以由一个tile组成，也可以由多个tile组成，由多个tile组成时，Tile之间可以互相独立，每个tile被划分为多个处理单元，上述预定顺序可以是在一个tile内按照从左往右、从上往下的顺序对处理单元采用上述方法进行环内滤波。

优选地，本发明实施例中环内滤波装置还包括：

第一随机存取存储器203，用于存储当前滤波区域上面5行像素点数据；

第二随机存取存储器204，用于存储当前处理单元左方与当前处理单元相邻的M/4个block中的像素点数据；

第三随机存取存储器205，用于存储当前处理单元左方第5、6列像素点数据。

由于去块滤波时需要结合滤波基础单元上方水平相邻的2个block的数据，SAO计算时需要用到Area1上面1行的像素点数据，因此设计一个第一随机存取存储器(top_ram)存储当前滤波区域上面5行像素点数据。

由于去块滤波时需要用到当前处理单元左方与当前处理单元相邻的M/4个block，因此设计一个第二随机存取存储器(left_ram)，用于存储当前处理单元左方与当前处理单元相邻的M/4个block中的像素点数据。

由于SAO计算时需要用到Area1左边两列的像素点数据，因此设计一个第三随机存取存储器(context_ram)，用于存储当前处理单元左方第5、6列像素点数据。优选地，该context_ram还被设计成用于存储处理单元上边块和左边块的一些相关info信息。

优选地，以编码单元树CTU(CodingTreeUnit)作为大的处理单元。即处理单元的大小为32×32个像素点数据，实际设计中根据需求不限于此32×32个像素点数据大小。

在一帧图像由一个tile或多个tile组成时，则第一随机存取存储器203，会存储当前tile上面5行像素点数据；第二随机存取存储器204，会存储当前处tile左方与当前处理单元相邻的M/4个block中的像素点数据；第三随机存取存储器205，会存储当前tile左方第5、6列像素点数据。

下面以处理单元的大小为32×32为例对本发明环内滤波装置进行说明，当前，处理单元的大小还可以采用其他值，但处理方式均相同。

如图3所示，将整个处理单元划分成64个4×4的block块(0～64)，滤波区域为以当前处理单元左方与当前处理单元相邻的M/4个block(8个block)、及当前处理单元所在的区域，即滤波区域包括blockL_0-L_7、0～63。图3中的黑色边需要进行滤波。

以8×8个像素点为滤波基础单元，按照从上往下，从左往右的顺序对滤波区域内的滤波基础单元去块滤波，对每个滤波基础单元进行去块滤波时，结合该滤波基础单元上方水平相邻的2个block，先进行垂直边滤波，再进行水平边滤波，因此一次读进滤波模块的是6个4×4的block。

处理单元的第一列block以及左边相邻处理单元的最右边一列block组成8×32的第一组单元，处理单元的第2、3列block组成第二组8×32单元，第4、5列block组成第三组8×32单元，第6、7列block组成第四组8×32单元，最右边一列4×4block则不滤波，在下一个处理单元进行滤波，如此循环。

因此，对于32×32的处理单元，参与滤波操作的区域包括处理单元(除最右边一列block)、上面相邻处理单元的28×4的单元、左边相邻处理单元的4×32的单元，左上4×4的单元，需要滤波的边是8×8为单位的边。

对于每个滤波区域的最上面的4个8×8滤波基础单元，每次滤波操作都需要从top-ram中输入2个4×4block，结合此8×8滤波基础单元一并送入去块滤波模块进行滤波；其他的8×8滤波基础单元则使用上方相邻的8×8单元完成去块滤波后的下面两个4×4block，结合本次8×8滤波基础单元一并送入去块滤波模块进行滤波。

如图4所示，每次输入一个8×8的滤波基础单元(由A、B、C、D4个4x4block组成)，结合上次去块滤波计算完成后保存的2个4×4的block(E、F)或者从top-ram中读入的2个4×4的block一次性完成AB和CD的垂直边滤波和EA和FB的水平边滤波。

如图5所示，在8×8的滤波基础单元(由a、b、c、d4个4x4block组成)，结合上次去块滤波计算完成后保存的2个4×4的block(e、f)完成去块滤波后，将e、f、a、b所在区域Area1往左偏移一列的一个8×8块为运算区域，e、f、a、b所在区域Area1左边第二列的像素点数据，Area1上边1行、Area1下边1行的像素点数据所在的区域为参考像素区域，即需要在Area1往外扩张一个像素为10×10块。因此SAO计算需要保存去块滤波后Area1左方2列、上方1行及下方1行的像素点数据。

本发明实施例提供的环内滤波装置可以针对像素点数据中的像素分量Y(亮度)\色度(U\V)实现环内滤波。具体地：

对于top_ram，保存经过滤波后的32×32处理单元中最下面5行像素点数据，每个像素点数据包括亮度分量和色度分量，总共是8行亮度宽度，sizeoftop_ram＝8*picture_width；

对于left_ram，保存当前处理单元左边4列像素，包括4列亮度分量和2列色度分量，总共是6列亮度高度，sizeofleft_ram＝*piture_height；

对于context_ram，保存当前处理单元左方第5、6列像素点数据，包括亮度分量2列和色度分量2列，共4列，以及一些标志和控制信息，例如：bs(边界滤波强度)和qp(量化参数)等。

本发明可以极大的降低外边ram的数量，做到像素点数据中的像素分量Y\U\V串行，数据读取和处理进行流水设计，输入单块8×8就可以完成垂直滤波和水平滤波，然后直接做SAO，去块滤波和SAO流水都是以4×4的大小块为单位进行，相对现有技术中以一帧图像为单位的滤波和SAO，最大限度的减少了流水延时，同时无需存储中间数据，降低芯片面积，提升芯片性能，从而高效的实现高清视频的实时编码。

优选地，如图7A所示，本发明实施例去块滤波模块包括：

两个滤波寄存器组(寄存器组1和寄存器组2)和一个参考寄存器组(寄存器组3)，其中每个滤波寄存器组包括寄存器A、B、C、D，为了方便区分，寄存器组1包括寄存器A、B、C、D，寄存器组2中的A、B、C、D用于A’、B’、C’、D’标识，参考寄存器组包括寄存器E、F。

A、B、C、D、A’、B’、C’、D’、E、F均为用于存储1个block的寄存器。

去块滤波模块使用E、F缓存当前需滤波的滤波基础单元上方水平相邻的2个block，交替使用寄存器组1和寄存器组2缓存滤波基础单元，在使用其中一个寄存器组(如使用寄存器组1)缓存滤波基础单元时，使用A、B缓存滤波基础单元中的上面2个block，使用C、D缓存滤波基础单元中的下面2个block；

去块滤波模块在对当前需滤波的滤波基础单元进行滤波时，根据缓存当前需去块滤波的滤波基础单元的一个滤波寄存器组(如寄存器组1)，及E、F中的像素点数据进行去块滤波，去块滤波过程中，将下一个需去块滤波的滤波基础单元缓存到另一个滤波寄存器组(如寄存器组2)，完成一次去块滤波后，将去块滤波后的滤波基础单元所在滤波器寄存器组(即寄存器组1)的C、D中像素点数据读到E、F中，以供对下个滤波基础单元进行去块滤波时使用。

因此，本发明实施例去块滤波模块需要10个4×4的寄存器，其中4个用于存储在去块滤波过程中读入的8×8滤波基础单元数据，4个用于存储当前进行去块滤波工作的滤波基础单元8×8，两个用于保存当前去块滤波工作的滤波基础单元上面的8×4像素点数据，寄存器组1和寄存器组2交替使用。

优选地，为了实现SAO计算，如图7B所示，本发明实施例SAO模块包括：

左2列寄存器L2×M、两个SAO寄存器组。

所述SAO模块在未针对当前处理单元执行SAO计算之前，将当前处理单元左方第5、6列像素点数据，优选地，是将第三随机存取存储器中存储的像素点数据缓存到L2×M；

所述SAO模块交替使用两个SAO寄存器组缓存数据；

其中，SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，使其中一个SAO寄存器组缓存如下数据：

该滤波基础单元上方水平相邻的2个block中的像素点数据；该滤波基础单元中上面2个block中的像素点数据；从L2×M中读取的Area1左方2列像素点数据；Area1下方1行的像素点数据；Area1上方1行的像素点数据。

优选地，从去块滤波后的滤波基础单元所在滤波器寄存器组的E、F，读取该滤波基础单元上方水平相邻的2个block中的像素点数据；从去块滤波后的滤波基础单元所在滤波器寄存器组的A、B，读取该滤波基础单元中上面2个block中的像素点数据；从去块滤波后的滤波基础单元所在滤波器寄存器组的C、D，读取的Area1下方1行的像素点数据；确定SAO寄存器组未缓存Area1上方1行的像素点数据时，从第一随机存取存储器中读取Area1上方1行的像素点数据。

SAO模块在从L2×M中读取Area1左方2列像素点数据到所述其中一个SAO寄存器组后，将Area1中右边两列的像素点数据，读入到L2×M，优选地，是将去块滤波后的滤波基础单元所在滤波器寄存器组的F、B中右边两列的像素点数据，读入到L2×M；

SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，还用于将Area1中最下面1行的像素点数据，读入到另一个SAO寄存器组，优选地，是将去块滤波后的滤波基础单元所在滤波器寄存器组的A、B中最下面1行的像素点数据，读入到另一个SAO寄存器组。

优选地，每个SAO寄存器组包括：

分别存储1个block的寄存器G、H、I、J’；

用于存储8×1个像素点数据的顶部寄存器Top_8×1；

用于存储8×1个像素点数据的底部寄存器Bottom_8×1；

用于存储2×8个像素点数据的左两列寄存器L2×8；

为了便于区分，将其中一个SAO寄存器组中的G、H、I、J、Top_8×1、Bottom_8×1、L2×8标识为G’、H’、I’、J’、Top_8×1’、Bottom_8×1’、L2×8’。

则(G、H)或(G’、H’)用于缓存读取的滤波基础单元上方水平相邻的2个block中的像素点数据；(I、J)或(I’、J’)用于缓存读取的滤基础单元中上面2个block中的像素点数据；L2×8或L2×8’用于缓存读取的Area1左方2列像素点数据；Bottom_8×1或Bottom_8×1’用于缓存读取的Area1下方1行的像素点数据；Top_8×1或Top_8×1’用于缓存Area1上方1行的像素点数据。

因此，在去块滤波模块完成一个滤波基础单元的滤波后，如完成EFA’B’C’D’中像素点数据的去块滤波之后，将EFA’B’中像素点数据给G’H’I’J’，以用于后续SAO操作；

将C’D’中最上面一行像素点数据给Bottom_8×1’寄存器；

将A’B’中最下面一行给SAO的Top_8×1寄存器；

寄存器L2×8’则从FB’中的右边两列取数或者从leftram中取对应的数据。

去块滤波模块完成EFABCD中像素点数据的去块滤波之后，将EFAB中像素点数据给GHIJ，以用于后续SAO操作；

将CD中最上面一行像素点数据给Bottom_8×1寄存器；

将AB中最下面一行给SAO的Top_8×1’寄存器；

寄存器L2×8则从FB中的右边两列取数或者从leftram中取对应的数据。

基于本发明上述实施例提供的环内滤波装置，本发明实施例还提供一种环内滤波方法，如图8所示，该方法包括：

步骤801，去块滤波模块以视频图像按N×M个像素点划分的单元为处理单元，按照预定顺序对每个处理单元按照如下方式进行去块滤波：以当前处理单元左方与当前处理单元相邻的M/4个基本单元block、及当前处理单元所在的区域为滤波区域，以8×8个像素点为滤波基础单元，按照从上往下，从左往右的顺序对滤波区域内的滤波基础单元去块滤波，对每个滤波基础单元进行去块滤波时，结合该滤波基础单元上方水平相邻的2个block，先进行垂直边滤波，再进行水平边滤波，其中，M、N为4的正整数倍，且分别大于8，1个block由4×4个像素点组成；

步骤802，去块滤波模块完成一个滤波基础单元的去块滤波后，将去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据进行缓存；

步骤803，自适应样点补偿SAO模块读取去块滤波模块缓存的去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据，确定读取的像素点数据所在的区域Area1左偏移1列所在的区域为运算区域，结合Area1左方2列、上方1行及下方1行的像素点数据，对运算区域内的block进行SAO计算。

优选地，环内滤波装置还包括：两个滤波寄存器组和一个参考寄存器组，其中每个滤波寄存器组包括寄存器A、B、C、D，参考寄存器组包括寄存器E、F；

则去块滤波模块对滤波基础单元进行去块滤波时，采用如下方式将当前需滤波的滤波基础单元缓存到其中一个滤波寄存器组：将当前需滤波的滤波基础单元上方水平相邻的2个block缓存到E、F，将滤波基础单元中的上面2个block缓存到其中一个滤波寄存器组中的A、B，将滤波基础单元中的下面2个block缓存到所述其中一个滤波寄存器组中的C、D；

去块滤波模块在对当前需滤波的滤波基础单元进行滤波时，根据缓存当前需去块滤波的滤波基础单元的一个滤波寄存器组，及E、F中的像素点数据进行去块滤波，去块滤波过程中，将下一个需去块滤波的滤波基础单元缓存到另一个滤波寄存器组，完成一次去块滤波后，将去块滤波后的滤波基础单元所在滤波器寄存器组的C、D中像素点数据读到E、F中。

优选地，环内滤波装置还包括：左2列寄存器L2×M、两个SAO寄存器组；该方法还包括：

所述SAO模块在未针对当前处理单元执行SAO计算之前，将当前处理单元左方第5、6列像素点数据缓存到L2×M，优选地，是将第三随机存取存储器中存储的像素点数据缓存到L2×M；

所述SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，按照交替使用的方式选择其中一个SAO寄存器组缓存如下数据：该滤波基础单元上方水平相邻的2个block中的像素点数据；该滤波基础单元中上面2个block中的像素点数据；从L2×M中读取的Area1左方2列像素点数据；Area1下方1行的像素点数据；Area1上方1行的像素点数据。

优选地，从去块滤波后的滤波基础单元所在滤波器寄存器组的E、F，读取该滤波基础单元上方水平相邻的2个block中的像素点数据；从去块滤波后的滤波基础单元所在滤波器寄存器组的A、B，读取该滤波基础单元中上面2个block中的像素点数据；从去块滤波后的滤波基础单元所在滤波器寄存器组的C、D，读取的Area1下方1行的像素点数据；确定SAO寄存器组未缓存Area1上方1行的像素点数据时，从第一随机存取存储器中读取的Area1上方1行的像素点数据；

所述SAO模块根据其中一个SAO寄存器组中缓存的数据，对运算区域内的block进行SAO计算；

该方法中：

SAO模块在从L2×M中读取Area1左方2列像素点数据到所述其中一个SAO寄存器组后，将Area1中右边两列的像素点数据，读入到L2×M，优选地，将去块滤波后的滤波基础单元所在滤波器寄存器组的F、B中右边两列的像素点数据，读入到L2×M；

SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，将Area1中最下面1行的像素点数据，读入到另一个SAO寄存器组，优选地，是将去块滤波后的滤波基础单元所在滤波器寄存器组的A、B中最下面1行的像素点数据，读入到另一个SAO寄存器组。

优选地，该方法还包括：

SAO模块将完成SAO计算后的像素点数据乒乓地输出到第一输出缓存区buff_out0和第二输出缓存区buff_out1。

优选地，本发明实施例中处理单元的大小可以但不限于为编码单元树CTU的大小。

下面以处理单元采用32×32大小为例对本发明环内滤波方法进行详细说明。

假设支持最大分辨率为frame_size＝width*height；

存储装置包括top_ram、left_ram、context_ram，输入buffer0、输入buffer1、输出buffer0、输出buffer1等。

top_ram存储最大分辨率大小的5行+3行数据，即size＝5*width(luma亮度)+3*width(cbcr色度)；left_ram存储4列+2列数据，即size＝4*height(luma亮度)+2*height(cbcr色度)；context_ram存储2列用于SAO的像素以及一些info信息，包括bs(边界滤波强度)/qp(量化参数)/flag(标志信息)等；

两块输入buffer交替，两块输出buffer交替，乒乓工作，大小可以根据性能要求和流水线块大小自行配制，这里设为一个CTU大小32×32。

如图3，对于整个32×32的CTU，需要滤波的为8×8的边界如黑线所示，需要用到的参考数据包括当前32×32，左边4×32，以及上边32×4(偏移4个像素，及是左上方4×4的T0，上方28×4的T1-T7)；如图3所示，一个block代表一个4×4；其中T0-T7，L0-L7分别来自于top_ram和left_ram。

如图7A和7B为寄存器组设计，以32×32的CTU为例，deblock需要用到的寄存器组包括，4×4的寄存器组A、B、C、D、A’、B’、C’、D’、E、F总共10个。SAO的寄存器组包括：2×32的寄存器L2×32，一套SAO寄存器组，包括G、H、I、J、L2×8、Bottom_8×1、Top_8×1，另一套SAO寄存器组，包括G’、H’、I’、J’、L2×8’、Bottom_8×1’、Top_8×1’。优选地，还可以包括一些存储整个32×32的flag信息的寄存器。

如图9A和9B所示，参见图3，具体的环内滤波过程包括：

步骤1，读入blockT_0、blockT_1对应给E、F，读入blockL_0、block0给寄存器A、B，读入blockL_1、block1给寄存器C、D；

如图9A所示：

步骤2，对AB的垂直边进行滤波(按照HEVC协议标准计算滤波强度bs，系数beta，中间变量tc，中间变量de等更新A、B的像素点数据)；同时读入blockL_2给A’；

步骤3，对CD的垂直边进行滤波(按照HEVC协议标准计算bs，beta，tc，de等更新C、D的像素点数据)；同时读入block2给B’；

步骤4，对EA的水平边进行滤波(按照HEVC协议标准计算bs，beta，tc，de等更新E、A的像素点数据)；同时读入blockL_3给C’；

步骤5，对FB的水平边继续滤波(按照HEVC协议标准计算bs，beta，tc，de等跟新F、B的像素点数据)；同时读入block3给D’；

步骤6，将EFAB给SAO的GHIJ，将CD上面一行的8×1给SAO的Bottom_8×1寄存器，从top_ram存储的处理单元上方第5行像素点数据，读入8×1数据给SAO的Top_8×1寄存器，将AB最下面一行给Top_8×1’寄存器，从寄存器L2×32中读出2×8数据给L2×8寄存器用于SAO；将CD给EF，将EFAB的右边两列存入到寄存器L2×32中对应的位置；

如图9B所示：

步骤7，对A’B’的垂直边进行滤波；同时读入blockL4给A；同时对运算区域内(GHIJ左偏移1列)的第一个4×4进行SAO计算；

步骤8，对C’D’的垂直边进行滤波；同时读入block4给B；同时对运算区域内第二个4×4进行SAO计算；

步骤9，对EA’的水平边进行滤波；同时读入blockL5给C；同时对运算区域内第三个4×4进行SAO计算；

步骤10，对FB’的水平边进行滤波；同时读入block5给D；同时对运算区域内第四个4×4进行SAO计算；

步骤11，将EFA’B’给SAO的G’H’I’J’，将C’D’中最上面一行的8×1给SAO的Bottom_8×1’寄存器，将A’B’中的最下面一行给Top_8×1寄存器，从寄存器L2×32中读出2×8数据给L2×8’寄存器用于SAO；将C’D’给EF，EFC’D’的右边两列存入到寄存器L2×32对应的位置；

步骤12，重复上述步骤至完成整个32×32的滤波和SAO，最后将SAO乒乓的输出到buff_out0和buff_out1；将处理单元中最右边4列像素点数据存储到left_ram中，将滤波区域中最下面的5行像素点数据存储到top_ram中，将从处理单元中最右边倒数第5、6列的像素点数据存储context_ram中。

依次进行下去，直到整帧视频图像都完成。

本发明可以极大的降低外边ram的数量，做到Y\U\V串行，数据读取和处理进行流水设计，输入单块8×8就可以完成垂直滤波和水平滤波，然后直接做SAO，去块滤波和SAO流水都是以4×4的大小块为单位进行，相对现有技术中以一帧图像为单位的滤波和SAO，最大限度的减少了流水延时，同时无需存储中间数据，降低芯片面积，提升芯片性能。从而高效的实现高清视频的实时编码

另外一个很显著地有益效果就是在deblockandsao输出存储中，当ABCDSAO完成后则输出ABCD往左边偏移一列的一个8×8，就可以直接输出到DDR，同时只有下面4行是没有做SAO的，这样就只要保存5行，而现有技术需要保存6行，本设计对比现有技术少存储一行数据，如果4k视频则节省4kram。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种环内滤波装置，其特征在于，包括：

去块滤波模块，以视频图像按N×M个像素点划分的单元为处理单元，按照预定顺序对每个处理单元按照如下方式进行去块滤波：以当前处理单元左方与当前处理单元相邻的M/4个基本单元block、及当前处理单元所在的区域为滤波区域，以8×8个像素点为滤波基础单元，按照从上往下，从左往右的顺序对滤波区域内的滤波基础单元去块滤波，对每个滤波基础单元进行去块滤波时，结合该滤波基础单元上方水平相邻的2个block，先进行垂直边滤波，再进行水平边滤波，完成去块滤波后，将去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据进行缓存，其中，M、N为4的正整数倍，且分别大于8，1个block由4×4个像素点组成；

自适应样点补偿SAO模块，读取去块滤波模块缓存的去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据，确定读取的像素点数据所在的区域Area1左偏移1列所在的区域为运算区域，结合Area1左方2列、上方1行及下方1行的像素点数据，对运算区域内的block进行SAO计算。

2.如权利要求1所述的装置，其特征在于，还包括：

第一随机存取存储器，用于存储当前滤波区域上面5行像素点数据；

第二随机存取存储器，用于存储当前处理单元左方与当前处理单元相邻的M/4个block中的像素点数据；

第三随机存取存储器，用于存储当前处理单元左方第5、6列像素点数据。

3.如权利要求1所述的装置，其特征在于，所述去块滤波模块包括：

两个滤波寄存器组和一个参考寄存器组，其中每个滤波寄存器组包括寄存器A、B、C、D，参考寄存器组包括寄存器E、F；

所述去块滤波模块使用E、F缓存当前需滤波的滤波基础单元上方水平相邻的2个block，交替使用两个滤波寄存器组缓存滤波基础单元，在使用其中一个寄存器组缓存滤波基础单元时，使用A、B缓存滤波基础单元中的上面2个block，使用C、D缓存滤波基础单元中的下面2个block；

去块滤波模块在对当前需滤波的滤波基础单元进行滤波时，根据缓存当前需去块滤波的滤波基础单元的一个滤波寄存器组，及E、F中的像素点数据进行去块滤波，去块滤波过程中，将下一个需去块滤波的滤波基础单元缓存到另一个滤波寄存器组，完成一次去块滤波后，将去块滤波后的滤波基础单元所在滤波器寄存器组的C、D中像素点数据读到E、F中。

4.如权利要求1所述的装置，其特征在于，所述SAO模块包括：

左2列寄存器L2×M、两个SAO寄存器组；

所述SAO模块在未针对当前处理单元执行SAO计算之前，将当前处理单元左方第5、6列像素点数据缓存到L2×M；

所述SAO模块交替使用两个SAO寄存器组缓存数据；

其中，SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，使其中一个SAO寄存器组缓存如下数据：该滤波基础单元上方水平相邻的2个block中的像素点数据；该滤波基础单元中上面2个block中的像素点数据；从L2×M中读取的Area1左方2列像素点数据；Area1下方1行的像素点数据；Area1上方1行的像素点数据；

SAO模块在从L2×M中读取Area1左方2列像素点数据到所述其中一个SAO寄存器组后，将Area1中右边两列的像素点数据，读入到L2×M；

SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，还用于将Area1中最下面1行的像素点数据，读入到另一个SAO寄存器组。

5.如权利要求4所述的装置，其特征在于，每个SAO寄存器组包括：

分别存储1个block的寄存器G、H、I、J，用于存储8×1个像素点数据的顶部寄存器Top_8×1，用于存储8×1个像素点数据的底部寄存器Bottom_8×1，用于存储2×8个像素点数据的左两列寄存器L2×8；

G、H用于缓存读取的滤波基础单元上方水平相邻的2个block中的像素点数据；I、J用于缓存读取的滤基础单元中上面2个block中的像素点数据；L2×8用于缓存读取的Area1左方2列像素点数据；Bottom_8×1用于缓存读取的Area1下方1行的像素点数据；Top_8×1用于缓存Area1上方1行的像素点数据。

6.如权利要求1～5任一所述的装置，其特征在于，还包括：

第一输出缓存区buff_out0和第二输出缓存区buff_out1；

所述SAO模块将完成SAO计算后的像素点数据乒乓地输出到buff_out0和buff_out1。

7.如权利要求1～5任一所述的装置，其特征在于，所述处理单元的大小为编码单元树CTU的大小。

8.一种基于权利要求1所述装置的环内滤波方法，其特征在于，包括：

去块滤波模块以视频图像按N×M个像素点划分的单元为处理单元，按照预定顺序对每个处理单元按照如下方式进行去块滤波：以当前处理单元左方与当前处理单元相邻的M/4个基本单元block、及当前处理单元所在的区域为滤波区域，以8×8个像素点为滤波基础单元，按照从上往下，从左往右的顺序对滤波区域内的滤波基础单元去块滤波，对每个滤波基础单元进行去块滤波时，结合该滤波基础单元上方水平相邻的2个block，先进行垂直边滤波，再进行水平边滤波，其中，M、N为4的正整数倍，且分别大于8，1个block由4×4个像素点组成；

去块滤波模块完成一个滤波基础单元的去块滤波后，将去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据进行缓存；

自适应样点补偿SAO模块读取去块滤波模块缓存的去块滤波后的滤波基础单元上方水平相邻的2个block，及该滤波基础单元中上面2个block中的像素点数据，确定读取的像素点数据所在的区域Area1左偏移1列所在的区域为运算区域，结合Area1左方2列、上方1行及下方1行的像素点数据，对运算区域内的block进行SAO计算。

9.如权利要求8所述的方法，其特征在于，所述去块滤波模块包括：两个滤波寄存器组和一个参考寄存器组，其中每个滤波寄存器组包括寄存器A、B、C、D，参考寄存器组包括寄存器E、F；

所述去块滤波模块对滤波基础单元进行去块滤波时，采用如下方式将当前需滤波的滤波基础单元缓存到其中一个滤波寄存器组：将当前需滤波的滤波基础单元上方水平相邻的2个block缓存到E、F，将滤波基础单元中的上面2个block缓存到其中一个滤波寄存器组中的A、B，将滤波基础单元中的下面2个block缓存到所述其中一个滤波寄存器组中的C、D；

所述去块滤波模块在对当前需滤波的滤波基础单元进行滤波时，根据缓存当前需去块滤波的滤波基础单元的一个滤波寄存器组，及E、F中的像素点数据进行去块滤波，去块滤波过程中，将下一个需去块滤波的滤波基础单元缓存到另一个滤波寄存器组，完成一次去块滤波后，将去块滤波后的滤波基础单元所在滤波器寄存器组的C、D中像素点数据读到E、F中。

10.如权利要求8或9所述的方法，其特征在于，所述SAO模块包括：左2列寄存器L2×M、两个SAO寄存器组；

该方法还包括：所述SAO模块在未针对当前处理单元执行SAO计算之前，将当前处理单元左方第5、6列像素点数据缓存到L2×M；

所述SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，按照交替使用的方式选择其中一个SAO寄存器组缓存如下数据：该滤波基础单元上方水平相邻的2个block中的像素点数据；该滤波基础单元中上面2个block中的像素点数据；从L2×M中读取的Area1左方2列像素点数据；Area1下方1行的像素点数据；Area1上方1行的像素点数据；

所述SAO模块根据其中一个SAO寄存器组中缓存的数据，对运算区域内的block进行SAO计算；

其中，SAO模块在从L2×M中读取Area1左方2列像素点数据到所述其中一个SAO寄存器组后，将Area1中右边两列的像素点数据，读入到L2×M；

SAO模块在去块滤波模块完成一个滤波基础单元的去块滤波后，将Area1中最下面1行的像素点数据，读入到另一个SAO寄存器组。