CN102325256B - 基于图像宏块编码模式决策的环路滤波方法 - Google Patents

Abstract

本发明公开了一种基于图像宏块编码模式决策的环路滤波方法，应用于视频数据流过量化/反量化后图像出现的方块效应，包括如下步骤：步骤1、设计模型，步骤2、当前帧进行模式类型分类，步骤3、预滤波，步骤4、滤波，步骤5、判断是否进行环路滤波。发明充分考虑图像本身的特征，在减少了现有方法的繁琐判决的同时能有效滤除视频压缩所带来的噪声，降低了滤波器的实现复杂度。

Description

基于图像宏块编码模式决策的环路滤波方法

技术领域

本发明涉及一种视频编解码技术领域，特别是涉及一种基于图像宏块编码模式决策的环路滤波方法和滤波器。

背景技术

频数据具有庞大的数据量，对于当前有限的传输带宽或者存储空间都是难以承受的，这使得视频压缩编码技术成为国内外研究和应用的热点。目前的视频编码标准采用基于块的编码方式，在编码过程中，由于块变换系数的量化过程相对粗糙，反量化过程恢复的变换系数带有误差，造成图像块边界上的不连续即块效应。为了降低块效应，采用去块滤波器来减轻视频压缩引起的块效应。然而去块滤波器不具备频率选择的特性，从而无法对引起块效应的量化噪声进行优化抑制。因此，视频编码技术中采用环路滤波器来提高重建图像的客观质量，现有的环路滤波器没有利用图像块的已有编码信息对视频图像内容特征进行充分分析，实现比较复杂，并在抑制噪声的同时可能导致边缘和纹理的模糊化问题。

由此可见，上述现有的环路滤波器在结构与使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决环路滤波器存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般产品又没有适切的结构能够解决上述问题，此显然是相关业者急欲解决的问题。

有鉴于上述现有的环路滤波器存在的缺陷，本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种新型结构的基于图像宏块编码模式决策的环路滤波方法和滤波器，能够改进一般现有的环路滤波器，使其更具有实用性。经过不断的研究、设计，并经反复试作样品及改进后，终于创设出确具实用价值的本发明。

发明内容

本发明的主要目的在于，克服现有的环路滤波器存在的缺陷，而提供一种新型结构的基于图像宏块编码模式决策的环路滤波方法，所要解决的技术问题是使其对去块滤波后的重构帧进行低通滤波处理，提高图像的客观质量，使得用于内插滤波的整像素点更加接近原始数据流，并且恢复了局部去块后的像素丢失信息，从而更加适于实用，且具有产业上的利用价值。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的种基于图像宏块编码模式决策的环路滤波方法，应用于视频数据流过量化/反量化后图像出现的方块效应，包括如下步骤：

步骤一、设计模型

根据视频图像内容特征，设计四种四叉树和三种滤波器抽头数的类型；

步骤二、当前帧进行模式类型分类

利用图像块已有的编码模式信息，对图像块进行内容特征分析，建立编码模式和图像内容特征的相关性模型，统计当前帧中宏块模式类型信息，对当前帧进行模式类型分类；

步骤三、预滤波

根据步骤二中当前帧的模式类型智能的抉择该帧对应的步骤一中四种四叉树和三种滤波器抽头数的类型，建立维纳霍夫方程求取整帧的滤波系数，然后对整帧像素进行预滤波；

步骤四、滤波

根据率失真代价最小原则自适应设定当前四叉树类型下的分层，采用维纳霍夫方程求解四叉树下的滤波系数，进行滤波；

步骤五、环路滤波

根据比较采用环路滤波的率失真代价和未采用环路滤波的率失真代价之间的关系，判断当前帧是否采用环路滤波。

前述的基于图像宏块编码模式决策的环路滤波方法，其中，在所述的步骤一中，

四种四叉树类型：类型一，四叉树父块为32x32，最大分层数为4；类型二，四叉树父块为32x32，最大分层数为3；类型三，四叉树父块为16x16，最大分层数为3；类型四，四叉树父块为8x8，最大分层数为3；

三种滤波器抽头数为：5x5、7x7和9x9。

前述的基于图像宏块编码模式决策的环路滤波方法，其中，在所述的步骤二中，当前编码帧类型为I帧时，该帧的模式类型标识成mode_class0；当前编码帧类型为P帧或B帧时，采用基于宏块模式分类方式，统计各模式下的宏块数来决定帧的总体模式类型，使用mode_class标志当前帧的模式类型。

前述的基于图像宏块编码模式决策的环路滤波方法，其中，

将采用16x16，16x8，8x16块大小帧间或帧内预测模式的宏块标志为class1；

将采用8x8，8x4，4x8块大小帧间或帧内预测模式的宏块标志为class2；将采用4x4块大小帧间或帧内预测模式的宏块就标志为class3。

前述的基于图像宏块编码模式决策的环路滤波方法，其中，所述当前编码帧模式类型为mode-class1(16x16，8x16，16x8)，当前帧的纹理复杂度较低，采用5x5的抽头滤波器；

所述当前编码帧模式类型为mode-class2(8x8，8x4，4x8)，当前帧的纹理复杂度中等，采用7x7的抽头滤波器；

所述当前编码帧模式类型为mode-class3(4x4)，当前帧的纹理复杂度较高，采用9x9的抽头滤波器。

前述的基于图像宏块编码模式决策的环路滤波方法，其中，所述当前编码帧的模式类型标识成mode_class0，根据使用率失真优化在抽头数5x5、7x7、9x9中选择最佳滤波器抽头数。

前述的基于图像宏块编码模式决策的环路滤波方法，其中，当前编码帧模式类型为mode-class1时，四种四叉树类型为类型二；当前编码帧模式类型为mode-class2时，四种四叉树类型为类型三；当前编码帧模式类型为mode-class3时，四种四叉树类型为类型四。

前述的基于图像宏块编码模式决策的环路滤波方法，其中，当前编码帧的类型为mode_class0，四种四叉树类型为类型一。

借由上述技术方案，本发明基于图像宏块编码模式决策的环路滤波方法至少具有下列优点：

根据视频编码中帧内或帧间预测时采用的预测模式与图像内容有相关性，然后对视频图像内容特征进行统计，设计四种类型的四叉树类型，这样不仅便利了滤波时的四叉树类型判断，也提高了编码性能。

根据帧的宏块编码模式信息跟图像内容和频谱特性的相关性，在环路滤波方法中利用图像块的编码模式信息，对宏块编码模式进行分类，利用宏块编码模式信息统计结果，判断整帧的模式类型。

本发明中的滤波器结合块编码模式与频谱特性的关系，视频编码中的平坦区域一般采用大块模式预测，不很复杂的纹理区域采用中等块的模式预测，比较细节的区域采用小块的模式预测。块细节越多要求滤波器的抽头数越多。本发明设计了三组滤波抽头数。

本发明摒弃当前VCEG方案采用的繁琐的滤波方案，采用低复杂度的设计方案。设计了基于模式类型智能决定四叉树类型和滤波抽头数，根据率失真最小化原则判断四叉树分层情况，利用维纳霍夫方程求得四叉树下的滤波系数，进行滤波。

同时实验表明本方法具有很好的可行性和可执行性，在不降低图像质量的同时，编码复杂度低，降低了实现成本。

综上所述，本发明特殊结构的基于图像宏块编码模式决策的环路滤波方法，使其对去块滤波后的重构帧进行低通滤波处理，提高图像的客观质量，使得用于内插滤波的整像素点更加接近原始数据流，并且恢复了局部去块后的像素丢失信息。其具有上述诸多的优点及实用价值，并在同类产品中未见有类似的结构设计公开发表或使用而确属创新，其不论在结构上或功能上皆有较大的改进，在技术上有较大的进步，并产生了好用及实用的效果，且较现有的基于图像宏块编码模式决策的环路滤波方法具有增进的多项功效，从而更加适于实用，而具有产业的广泛利用价值，成为一新颖、进步、实用的新设计。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

图1为本发明的系统框图；

图2为本发明的视频处理编码器的结构框图；

图3为本发明的基于图像宏块编码模式决策的环路滤波方法流程图；

图4为本发明的QCIF格式图像取四叉树类型二的示意图；

图5为本发明的CIF格式图像取四叉树类型二的示意图；

图6为本发明的图像能够整除时的四叉树类型二的32x32树状表示图；

图7为本发明的图像不能整除时的四叉树类型二的16x32块的树状表示图；

图8为本发明的四叉树分层扫描顺序图；

图9为本发明的当前帧的扩展示意图；

图10为本发明的四叉树分层判断流程图；

图11为本发明的四叉树类型二父块的分层示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于图像宏块编码模式决策的环路滤波方法其具体实施方式、结构、特征及其功效，详细说明如后。

本发明较佳实施例的一种基于图像宏块编码模式决策的环路滤波方法，应用于视频数据流过量化/反量化后图像出现的方块效应，包括如下步骤：

步骤一、设计模型

根据视频图像内容特征，设计四种四叉树和三种滤波器抽头数的类型；

四类四叉树的类型：类型一：四叉树父块为32x32，最大分层数为4，适合纹理复杂和简单的图像；类型二：四叉树父块为32x32，最大分层数为3，适合纹理复杂度较低的图像；类型三：四叉树父块为16x16，最大分层数为3，适合纹理复杂度中等的图像；类型四：四叉树父块为8x8，最大分层数为3，适合纹理复杂度较高的图像。

每个四叉数设置五个标志：parents_blocks、level、level(1)、flagp和flagf。其中，

parents_blocks：标志父块的大小；

level：标志父块可最大分层数；

level(1)：标志父块第1层，如level(0)为第0层分块即父块本身；

flagp：标志块是否分割，当flagp＝0表示该块不再往下分层，flagp＝1表示该块往下分层；

flagf：标志块是否滤波，当flagf＝0表示该块不滤波，flagf＝1表示该块滤波。

针对目前图像的主流视频格式，QCIF格式图像在选取类型一和类型二四叉树会存在不能整除32x32情况，其余均可整除。针对该情况，本发明将不足32x32的区域看成是分割后的1个16x32、1个32x16或1个16x16分割块。图4为QCIF图像取四叉树类型二的划分示意图，图像右侧不足父块大小的区域看成16x32，图像最下方不足父块大小的区域看成32x16，图像右下角的区域看成16x16分割块。图5是以CIF格式为例说明能整除32x32情况下，采用类型二四叉树的划分示意图。对于另外三种四叉树类型只是父块大小和最大分层数不一样，设计原理一样，不再赘述。

图6表示能够整除时的四叉树类型二的四叉树结构图，对于其他三种类型的四叉树结构图类似，只是父块大小和最大分层数不一样。图7表示不能整除时即QCIF图像采用类型二四叉树的16x32四叉树结构图，不能整除情况下的块可以看成是父块在第level(1)层下的四个子块的存在与否。对于32x16的块，则图7中标号为“10”的叶子应为“01”，其它相同；对于16x16的块，则图7中标号为“10”的叶子及其子树均不存在，其它相同。四叉树分层扫描采用“从左到右，从上到下”的顺序，如图8。

纹理越复杂的区域需要的滤波器抽头数越多，平坦区域的高频含量较小适合使用低通性越好的滤波器。通过大量的实验对视频图像内容特征统计分析，本发明设计了三种滤波抽头数5x5、7x7和9x9。

步骤二、当前帧进行模式类型分类

利用图像块已有的编码模式信息，对图像块进行内容特征分析，建立编码模式和图像内容特征的相关性模型，统计当前帧中宏块模式类型信息，对当前帧进行模式类型分类；

视频编码中采用基于16×16宏块的混合编码。当前帧I帧时，宏块采用帧内预测；当前帧为P或B帧时，其宏块采用帧间预测或帧内预测。对于I帧本发明直接使用base_type读取当前帧的类型，base_type为I帧类型时该帧的模式类型标识成mode_class0；对于P帧或B帧本发明采用基于宏块模式分类方式，统计各模式下的宏块来决定帧的总体模式类型，使用mode_class标志当前帧的模式类型。

表1列出了本发明中的宏块模式及模式类型与H.264中编码模式的对应关系。H.264中每个宏块在帧间预测时按4种方式分割：1个16x16，2个16x8，2个8x16，4个8x8；而8x8模式的每个块还可以进一步用4种方式分割：1个8x8，2个4x8，2个8x4，4个4x4。帧内预测有16x16亮度预测模式、4x4亮度预测模式和8x8色度预测模式。这三类预测模式下包含有不同预测方向的预测模式，16x16亮度预测模式和8x8色度预测模式均包含4种预测模式，4x4亮度预测模式包含9种预测模式。这17类预测模式尽管预测方式不一样，但是预测模式下的块大小反应了纹理的复杂度，一般来说，块大的纹理简单，块小的纹理复杂。本发明直接考虑这些帧内预测模式的块大小，16x16、4x4和8x8预测模式分别按16x16、4x4和8x8宏块模式统计。

表1.宏块模式类型与H.264中的编码模式关系对应

宏块模式分类方式：将采用16x16，16x8，8x16块大小帧间或帧内预测模式的宏块标志为class1；将采用8x8，8x4，4x8块大小帧间或帧内预测模式的宏块标志为class2；将采用4x4块大小帧间或帧内预测模式的宏块就标志为class3。

宏块模式分类统计：按宏块模式类型进行宏块数统计，根据宏块数最多的宏块类型来确定当前帧的模式，例如宏块模式类型class1的宏块数最多，则当前帧的模式类型为mode_class1；宏块模式类型class2的宏块数最多，则当前帧的模式类型为mode_class2；宏块模式类型class3的宏块数最多，则当前帧的模式类型为mode_class3。

步骤三、预滤波

根据步骤二中当前帧的模式类型智能的抉择该帧对应的步骤一中四种四叉树和三种滤波器抽头数的类型，建立维纳霍夫方程求取整帧的滤波系数，然后对整帧像素进行预滤波；

本发明结合块模式与频谱特性的关系，根据当前帧的模式类型自适应选择滤波抽头数和四叉树类型。

模式类型为mode_class0，即当前帧为I帧，预先未分析编码模式，无法获取纹理特性，预设5x5的滤波抽头数进行预滤波和四叉树分层情况的确定，根据率失真最小化原则在5x5、7x7或9x9滤波抽头数中选择最佳的滤波抽头数进行滤波，四叉树选择类型一。

模式类型为mode_class1，当前帧的纹理复杂度较低，选择5x5的滤波抽头数，四叉树选择类型二。

模式类型为mode_class2，当前帧的纹理复杂度中等，选择7x7的滤波抽头数，四叉树选择类型三。

模式类型为mode_class3，当前帧的纹理复杂度较高，选择9x9的滤波抽头数，四叉树选择类型四。

3.2根据最大抽头数进行扩展当前帧

除了模式类型mode_class0其余模式按照选定的滤波抽头数进行预滤波，mode_class0模式类型使用预设的5x5滤波抽头数进行预滤波。

根据最大抽头数9x9将当前帧图像(Dec)进行扩充，如图9，用当前帧的左上角像素点值a、右上角像素点值b、左下角像素点值c和右下角的像素点值d分别扩展左上角A区、右上角B区、左下角C区和右下角D区，A、B、C和D区的块大小均为4x4。扩展区E的行数为4、列数与当前帧列数一致，扩展区E的不同行但同列的像素值相同均由最上行e行相对应的同列像素值复制而来；扩展区H设计原理同A区，只不过H区内的像素值由最下行h行的像素值扩展而来。扩展区F的列数为4、行数与当前帧行数一致，扩展区F的不同列但同行的像素值相同均由最左列f列相对应的同行像素值复制而来；扩展区G设计原理同F区，只不过G区内的像素值由最右列h列的像素值扩展而来。

3.3根据抽头数进行整帧下的滤波系数计算，进行预滤波

当前帧模式类型为mode_class0的使用5x5抽头数进行预滤波，当前帧模式类型为mode_class1的使用5x5抽头数进行预滤波，当前帧模式类型为mode_class2的使用7x7抽头数进行预滤波，当前帧模式类型为mode_class3的使用9x9抽头数进行预滤波。

下面以5x5抽头滤波器的系数求解方法为例说明：

根据最小能量预测误差能量的原则，建立维纳霍夫方程，通过求解方程即可得出环路滤波器的系数。具体的环路滤波系数解析过程如下：

${\left(e^{\mathrm{SP}}\right)}^2=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(S_{x,y}-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{h}_{i,j}\left(\mathrm{SP}\right)P_{x+i,y+j})}^2\∀i,j\∈\{-2:2\}$

(1)

在式(1)中，e^SP为整帧下的所有整数像素点SP的预测残差平方和，S_x，y为原始图像(x，y)位置处像素的亮度分量，P_x，y为当前帧(x，y)位置处像素的亮度分量，h_i，j(SP)表示整数像素SP的环路滤波器系数。为了使预测残差值平方和(e^SP)²最小，将预测残差值平方和分别对每个环路滤波系数进行偏导，得出式(2)。经过求导后所获得的等式的个数等于环路滤波一个整数像素点SP所需要的插值滤波器的系数的个数。

$0=\frac{{(\∂e^{\mathrm{SP}})}^2}{\∂h_{k,l}\left(\mathrm{SP}\right)}=\frac{\∂}{\∂h_{k,l}}\left(\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(S_{x,y}-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{h}_{i,j}\left(\mathrm{SP}\right)P_{x+i,y+j})}^2\right)$

$=2\×\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}(S_{x,y}-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{h}_{i,j}\left(\mathrm{SP}\right)P_{x+i,y+j})P_{x+k,y+l}\∀k,l\∈\{-2:2\}$

(2)

通过解析式(2)，可得式(3)

$\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{S}_{x,y}{P}_{x+k,y+l}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{h}_{i,j}\left(\mathrm{SP}\right)P_{x+i,y+j}{P}_{x+k,y+l}$

(3)

通过求解式(3)的方程，可以求出整帧下的滤波器系数。

对于7x7和9x9的抽头滤波器的系数求解过程类同，分别利用式(3)进行7x7和9x9的抽头数设置，区别之处把式(1)的 $\∀i,j\∈\{-2:2\}$ 相应的变为 $\∀i,j\∈\{-3:3\}$ 和 $\∀i,j\∈\{-4:4\},$ 式(2)的 $\∀k,l\∈\{-2:2\}$ 相应的变为 $\∀k,l\∈\{-3:3\}$ 和 $\∀k,l\∈\{-4:4\},$ 其余原理一样。

根据式(3)计算出的滤波系数对整帧的整数像素点按照式(4)进行预滤波，得到经过预滤波的图像(Rest)。

表示当前帧(x，y)处的像素点SP的预滤波后的像素值。

$P_{x,y}^{\mathrm{SP}}=((\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{h}_{i,j}\left(\mathrm{SP}\right)*P_{x+i,y+j})+128)>>8$

(4)

步骤四、滤波

根据率失真代价最小原则自适应设定当前四叉树类型下的分层，采用维纳霍夫方程求解四叉树下的滤波系数，进行滤波；

根据当前帧的模式类型选定相应类型的四叉树，整帧根据选定类型的四叉树的父块大小进行分块。该分块形成四叉树的滤波块，依据率失真代价最小原则判断是否需要进一步分层。根据设定的四叉树分层情况，采用维纳霍夫方程求解四叉树下的滤波系数进行四叉树滤波。

4.1四叉树分层的设定

根据当前选定的四叉树类型得到parents_blocks和level的大小，设定四叉树的分层。采用“从左到右，从上到下”的原则扫描父块，依次判断每个父块的四叉树分层情况。父块的四叉树分层判断流程图如图10。父块不能够整除的情况从第1层开始，level(0)层则强制判断为需要分层；能够整除时从level(0)层开始，根据率失真最小化原则进行分层判断，如果需要分层则按照四叉树的结构顺序往下层进一步分层，否则结束分层，即采用了从大到小的分层思想。分层的次数以选定的四叉树类型的最大分层数为限，即level值。任意块的四叉树分层的算法具体实施方法如下：

本发明采用率失真最小化原则决定四叉树分层情况，使用一个乘法因子λ＞0，根据式(5)进行取值，

对于第1层的四叉树结构，利用式(6)计算率失真Jl。

J_l＝D_l+λ·R_l             (6)

公式(6)中，l是level(1)的简洁表示，表示父块分层的第l层，其中D_l是层次l的分割块B_l的失真，根据式(7)取值，

D_l(B_l)＝min{(S_Dec(B_l)-S_Org(B_l))²，(S_Re st(B_l)-S_Org(B_l))²}

(7)

S_Dec(B_l)是当前帧中块B_l内的像素值，S_Re st(B_l)是预滤波后图像中块B_l内的像素值，S_Org(B_l)是原始图像中块B_l的像素值。R_l是块B_l的码率，包括了滤波抽头数和滤波系数，具体计算采用H.264中的计算方法。

通过比较分层前后的率失真代价大小决定该块B_l是否进行分层，即运用式(8)进行判断，

$J_l<\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}{J}_{l+1,m}---\left(8\right)$

其中J_l+1，m，m＝0...3为四个子块B_l+1，m，m＝0...3的率失真代价，若式(8)成立，表示块B_l不分层的率失真J_l代价小，不需要进一步分层，反之则表示块B_l需要分层。

又：J_l+1，m＝D_l+1，m+λ·R_l+1，m           (9)

式(9)中D_l+1m，m＝0...3和R_l+1m，m＝0...3分别表示四个子块B_l+1m，m＝0...3的失真和码率。D_l+1，m由式(10)得出：

D_l+1，m(B_l+1，m)＝min{(S_Dec(B_l+1，m)-S_Org(B_l+1，m))²，(S_Re st(B_l+1，m)-S_Org(B_l+1，m))²}

(10)

其中S_Dec(B_l+1，m)是当前帧中B_l块的一个子块B_l+1，m，m∈{0；3}内像素值，S_Re st(B_l+1，m)是预滤波后的图像的块B_l块的一个子块B_l+1，m，m∈{0；3}内像素值，S_Org(B_l+1，m)是原始的图像中B_l块的一个子块B_l+1，m，m∈{0；3}内像素值。通过式(7)和式(10)的比较，可以得到D_l(B_l)不小于 $\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}{D}_{l+1,m}.$

根据式(6)和式(9)，式(8)可以进一步用率失真J_l和的差值表示，可以得出式(11)。

$\mathrm{\&Delta;J}=J_l-\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}{J}_{l+1,m}=\mathrm{\&Delta;}{D}_l-\mathrm{\&lambda;}\&CenterDot;\mathrm{\&Delta;}{R}_l<0---\left(11\right)$

式(11)中，

$\mathrm{\&Delta;}{D}_l=D_l\left(B_l\right)-\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}{D}_{l+1,m}---\left(12\right)$

$\mathrm{\&Delta;}{R}_l=\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}{R}_{l+1,m}-R_l---\left(13\right)$

若式(8)成立，则对应式(11)也成立。为简化运算采用式(14)来判断

ΔD_l＜λ·ΔR_l                (14)

式(14)成立时，表示块B_l不分层的率失真代价小，不需要进一步分层，反之表示块B_l需要分层。利用下面的式子(15)和(16)决定该块B_l在四叉树结构下的失真和码率。

利用下面的式子(17)和(18)决定该块B_l的flagp和flagf的取值：

$\mathrm{flagf}=\left\{\begin{array}{cc}\left\{\begin{array}{cc}0& {(S_{\mathrm{Dec}}\left(B_l\right)-S_{\mathrm{Org}}\left(B_l\right))}^2<{(S_{\mathrm{Rest}}\left(B_l\right)-S_{\mathrm{Org}}\left(B_l\right))}^2\\ 1& {(S_{\mathrm{Dec}}\left(B_l\right)-S_{\mathrm{Org}}\left(B_l\right))}^2>{(S_{\mathrm{Rest}}\left(B_l\right)-S_{\mathrm{Org}}\left(B_l\right))}^2\end{array}\right.& \mathrm{flagp}=0\\ \left\{\begin{array}{cc}0& {(S_{\mathrm{Dec}}\left(B_{l+1,m}\right)-S_{\mathrm{Org}}\left(B_{l+1,m}\right))}^2<{(S_{\mathrm{Rest}}\left(B_{l+1,m}\right)-S_{\mathrm{Org}}\left(B_{l+1,m}\right))}^2\\ 1& {(S_{\mathrm{Dec}}\left(B_{l+1,m}\right)-S_{\mathrm{Org}}\left(B_{l+1,m}\right))}^2>{(S_{\mathrm{Rest}}\left(B_{l+1,m}\right)-S_{\mathrm{Org}}\left(B_{l+1,m}\right))}^2\end{array}\right.& \mathrm{flagp}=1\end{array}\right.$

(18)

如果level(1)层的块B_l的flagp＝0表示该块不需要进一步分层，则处理与块B_l同层次的下一个块；否则表示需要对块B_l进一步分层。图11为能够整除时四叉树类型二的自适应设计的分层示意图。

4.2求解四叉树下的滤波系数，进行滤波

依据率失真最小化原则得到四叉树分层情况后，根据维纳霍夫公式计算四叉树下的滤波系数，用得到的滤波系数进行四叉树下的滤波。

滤波系数的具体求解过程类同步骤3.3，不同之处为式(1)(2)(3)中的整数像素点SP的选取是有条件，像素点SP的选取必须满足

即整数像素点SP在四叉树结构中是需要滤波的像素点。根据式(19)求取四叉树下的滤波系数。

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{S}_{x,y}{P}_{x+k,y+l}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}{h}_{i,j}\left(\mathrm{SP}\right)P_{x+i,y+j}{P}_{x+k,y+l}\&Exists;{\mathrm{flagf}}_{{\mathrm{SP}}_{x,y}}=1$

(19)

表示坐标(x，y)处的像素点SP是四叉树结构中flagf＝1的像素点，即需要滤波的像素点。根据式(20)决定i、j和k、l的取值，

得到滤波系数后，对当前帧重新进行四叉树下的滤波。抽头数为5x5、7x7、9x9的滤波器分别使用式(21)(22)(23)计算滤波后的像素点的值：

$S_{x,y}^{\mathrm{sp}}=((\underset{i=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{j=-2}{\overset{2}{\mathrm{\&Sigma;}}}{h}_{i,j}\left(\mathrm{SP}\right)*P_{x+i,y+j})+128)>>8\&Exists;{\mathrm{flagf}}_{{\mathrm{SP}}_{x,y}}=1---\left(21\right)$

$S_{x,y}^{\mathrm{sp}}=((\underset{i=-3}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-3}{\overset{3}{\mathrm{\&Sigma;}}}{h}_{i,j}\left(\mathrm{SP}\right)*P_{x+i,y+j})+128)>>8\&Exists;{\mathrm{flagf}}_{{\mathrm{SP}}_{x,y}}=1$

(22)

$S_{x,y}^{\mathrm{sp}}=((\underset{i=-4}{\overset{4}{\mathrm{\&Sigma;}}}\underset{j=-4}{\overset{4}{\mathrm{\&Sigma;}}}{h}_{i,j}\left(\mathrm{SP}\right)*P_{x+i,y+j})+128)>>8\&Exists;{\mathrm{flagf}}_{{\mathrm{SP}}_{x,y}}=1$

(23)

表示坐标(x，y)处的在四叉树中需要滤波的像素点SP经过滤波后的像素点的值。按照式(19)得到的滤波系数进行四叉树下的需要滤波像素点的滤波，其他不需要滤波的像素点的取值仍为预滤波后的值，得到经过滤波的图像(Res)。

对于当前帧模式类型为mode_class0的图像，建立维纳霍夫方程求解5x5、7x7、9x9抽头数的滤波系数。根据式(19)得到的新的滤波系数，进行再次滤波。通过比较三种滤波器下的率失真代价，选择最小的率失真对应的滤波器作为最佳的滤波器，该滤波器进行的滤波作为本步骤最终的滤波，得到经过滤波的图像(Res)。

步骤五、环路滤波

根据当前帧的滤波情况，计算出采用环路滤波的率失真代价，利用式(25)成立与否决定当前帧是否采用环路滤波，进行视频数据流的处理。

D_(filter)+λ*R_coef＜D_{(not_filter)}

(25)

上式的D_{(not_filt}表示原始图像(Org)与当前帧(Dec)之间的失真，D_(filter)表示原始图像(Org)与经过环路滤波处理后的图像(Res)之间的失真，R_coef是编码当前帧环路滤波系数的比特数，λ表示乘法因子，根据式(4)进行取值。环路滤波提高了重建图像的客观质量，但是增加了码率的消耗，通过环路滤波前后的率失真比较，得到一个折中的办法来判决当前帧是否采用环路滤波。当式(25)成立，表示采用环路滤波的率失真代价小于不使用环路滤波的失真，当前帧进行环路滤波；否则当前帧不进行滤波，输出数据流。

上述如此结构构成的本发明基于图像宏块编码模式决策的环路滤波方法的技术创新，对于现今同行业的技术人员来说均具有许多可取之处，而确实具有技术进步性。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于图像宏块编码模式决策的环路滤波方法，应用于视频数据流过量化/反量化后图像出现的方块效应，其特征在于：包括如下步骤：

步骤一、设计模型

根据视频图像内容特征，设计四种四叉树和三种滤波器抽头数的类型；

步骤二、当前帧进行模式类型分类

利用图像块已有的编码模式信息，对图像块进行内容特征分析，建立编码模式和图像内容特征的相关性模型，统计当前帧中宏块模式类型信息，对当前帧进行模式类型分类；

步骤三、预滤波

根据步骤二中当前帧的模式类型智能的抉择当前帧对应的步骤一中四种四叉树和三种滤波器抽头数的类型，建立维纳霍夫方程求取整帧的滤波系数，然后对整帧像素进行预滤波；

步骤四、滤波

根据率失真代价最小原则自适应设定当前四叉树类型下的分层，采用维纳霍夫方程求解四叉树下的滤波系数 ，进行滤波；

步骤五、环路滤波

根据比较采用环路滤波的率失真代价和未采用环路滤波的率失真代价之间的关系，判断当前帧是否采用环路滤波。

2.根据权利要求1所述的基于图像宏块编码模式决策的环路滤波方法，其特征在于在所述的步骤一中，

四种四叉树类型：类型一，四叉树父块为32x32，最大分层数为4；类型二，四叉树父块为32x32，最大分层数为3；类型三，四叉树父块为16x16，最大分层数为3；类型四，四叉树父块为8x8，最大分层数为3；

三种滤波器抽头数为：5x5、7x7和9x9。

3.根据权利要求1所述的基于图像宏块编码模式决策的环路滤波方法，其特征在于在所述的步骤二中，当前帧类型为I帧时，当前帧的模式类型标识成mode_class0；当前帧类型为P帧或B帧时，采用基于宏块模式分类方式，统计各模式下的宏块数来决定帧的总体模式类型，使用mode_class标志当前帧的模式类型。

4.根据权利要求3所述的基于图像宏块编码模式决策的环路滤波方法，其特征在于，

将采用16x16、16x8、8x16块大小帧间或帧内预测模式的宏块标志为class1；

将采用8x8、8x4、4x8块大小帧间或帧内预测模式的宏块标志为class2；将采用4x4块大小帧间或帧内预测模式的宏块就标志为class3。

5.根据权利要求4所述的基于图像宏块编码模式决策的环路滤波方法，其特征在于，

当前帧模式类型为mode-class1采用5x5的抽头滤波器；

当前帧模式类型为mode-class2采用7x7的抽头滤波器；

当前帧模式类型为mode-class3采用9x9的抽头滤波器。

6.根据权利要求1-3任一权利要求所述的基于图像宏块编码模式决策的环路滤波方法，其特征在于，当前帧的模式类型标识成mode_class0，根据使用率失真优化在抽头数5x5、7x7、9x9中选择最佳滤波器抽头数。

7.根据权利要求2或5所述的基于图像宏块编码模式决策的环路滤波方法，其特征在于，

当前帧模式类型为mode-class1时，四种四叉树类型为类型二；

当前帧模式类型为mode-class2时，四种四叉树类型为类型三；

当前帧模式类型为mode-class3时，四种四叉树类型为类型四。

8.根据权利要求2或3所述的基于图像宏块编码模式决策的环路滤波方法，其特征在于，当前帧的类型为mode_class0，四种四叉树类型为类型一。

Images