CN101047851A - 一种自适应运动补偿时域滤波的方法 - Google Patents

Abstract

本发明公开了自适应运动补偿时域滤波的方法，采用运动矢量树归并实现前、后向运动矢量树的有效编码，为自适应时域滤波提供当前帧有效的块划分，同时为运动矢量的可分级编码提供一个有效的划分结构；采用块映射选择技术，确定块的时域关联性；采用自适应选择滤波器技术，提高运动补偿时域滤波的去冗余能力。本发明的自适应性的运动补偿时域滤波的方案，通过结合运动矢量树归并技术，块映射选择技术以及自适应选择滤波器技术，使得运动补偿时域滤波在具有良好的自适应性的基础上，能更好的去除视频序列的时域冗余。

Description

一种自适应运动补偿时域滤波的方法

                         技术领域

本发明属于视频编码领域。具体涉及到可伸缩的视频编解码体系结构中高性能的一种自适应运动补偿时域滤波的方法。

                         背景技术

相对于传统分块DCT技术以及运动补偿DPCM闭环架构的数字视频编解码体系(H.26x和MPEG系列)，基于小波核的视频编码体系结构因具有自适应的空域、时域以及质量可伸缩性，而能满足视频传输网络的异构性(Heterogeneous)，网络带宽的波动性以及用户视频接收终端的多样性，从而满足现代信息社会的发展和用户的需求。对于现有的基于小波核的视频编码体系结构而言，运动补偿时域滤波(Motion Compensated TemporalFiltering)是非常重要的一个组成部分。然而，现有的运动补偿时域滤波都基于固定拍长的小波滤波器，这使得运动补偿时域滤波的时域去冗余能力受到了限制，影响了基于小波核的视频编码体系的整体性能。

                         发明内容

根据上述背景技术中存在的缺陷或不足，本发明的目的在于，提供一种自适应的运动补偿时域滤波方法，该方法通过自适应的选择不同拍长的小波滤波器，以更好的利用时域冗余。

为了实现上述任务。本发明采用如下的解决方案：

一种自适应性的运动补偿时域滤波的方法，其特征在于，包括下列步骤：

1)以运动矢量树归并方法实现前、后向运动矢量树的有效编码，为自适应时域滤波提供当前帧有效的块划分，同时为运动矢量的可分级编码提供一个有效的划分结构；

2)以块映射选择方法确定块的时域关联性；

3)以自适应选择滤波器方法，提高运动补偿时域滤波的去冗余能力；

所述的运动矢量树归并方法是：

由于当前帧需要进行前向和后向的可变块运动估计，对于当前帧的同一宏块(一般为64×64大小的块)会产生两棵运动矢量树，一般而言，这两棵运动矢量树的结构是不相同的。为了对时域滤波提供有效的块划分，同时为了给运动矢量的可分级编码提供一个有效的划分结构，通过以下的方式对两棵运动矢量树进行归并。如果前、后向运动矢量树对宏块的某一部分同时都进行了划分，归并后的运动矢量树将作同样的划分；如果前向运动矢量树对宏块的某一部分进行了划分而后向运动矢量树没有进行相应的划分，归并后的运动矢量树按照前向运动矢量树的划分结构进行划分；如果后向运动矢量树对宏块的某一部分进行了划分而前向运动矢量树没有进行相应的划分，归并后的运动矢量树按照后向运动矢量树的划分结构进行划分。

所述的块映射选择方法是：

通过把归并后的运动矢量从当前帧映射到参考帧，再在视频序列的下一个当前帧中寻找对应的匹配块。

所述的自适应选择滤波器方法是：

在前述块划分的基础上，对关联性比较好的块在一组小波滤波器中选择一个进行时域滤波，如果某个滤波器使得滤波后的高频分量绝对值之和最小，或者在高频分量的绝对值之和相同的基础上使得其方差最小，则选择该滤波器。

将选择好的滤波器类型作为副信息和运动矢量信息一起编码，编码的滤波器类型信息最终传递给视频解码器以正确解码。

本发明的具有自适应性的运动补偿时域滤波的方法，通过前、后向运动矢量树的合并，块映射选择和自适应的时域滤波，实现了高效的运动补偿时域滤波，更好的去除了时域冗余。

                        附图说明

图1是本发明的运动矢量树归并后当前帧块类型划分的示意图。

图2是本发明的宏块对应的前、后向运动矢量树归并形成归并运动矢量树和归并运动矢量树的分层示意图。

图3是本发明的块映射关系示意图。

图4是本发明的基于5/3小波的运动补偿时域滤波的提升实现示意图。

图5是本发明的基于7/5小波的运动补偿时域滤波的提升实现示意图。

图6是本发明的基于9/7小波的运动补偿时域滤波的提升实现示意图。

下面结合附图和发明人给出的实施例对本发明进一步详细说明，但本发明不限于这些实施例。

                       具体实施方式

按照本发明的技术方案，发明人给出了本发明的一个实施例。在本实施例中使用的时域滤波器是在harr、5/3、7/5和9/7滤波器中进行优化选择后得出的。

在图1中，给出了进行前、后向运动估计并且进行运动矢量树归并后，当前帧中块类型的划分，在图2中，给出了运动矢量树的具体合并策略和分层结构，在图1和图2的基础上，对于发明实施例的具体实施描述如下。

假设∈{Harr，LG5/3，BT7/5，CDF9/7}，给出具体的优化准则如下。

优化准则：设块I的大小为(M，N)，H表示块的高通滤波结果，定义如下的量度公式：

$\mathrm{MAV}=\frac{1}{\mathrm{MN}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\left|H(m,n)\right|$

$\mathrm{VAR}=\frac{1}{\mathrm{MN}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|H(m,n)|-\mathrm{MAV}|}^2$

取MAV(Mean Absolute Value)为块的高通滤波结果能量的量度。

取VAR(Variance)为块的高通滤波结果能量分布波动的量度。

假设使用了两个不同的小波滤波器i和j对块I分别进行了滤波处理。按照如下的规则判断i是否优于j。

如果MAV_i＞MAV_j，则认为小波滤波器j优于i。如果MAV_i＜MAV_j，则认为小波滤波器i优于j。如果 则比较Var_i和Var_j。

如果Var_i＞Var_j，则认为小波滤波器j优于i。

如果Var_i＜Var_j，则认为小波滤波器i优于j。如果

则选择i或j中支撑集较短的一个。

给出上述优化准则后，针对不同的块进行如下的处理：

1)BIINTRA块

直接使用H.264/AVC中的帧内预测模式。

2)ILDEFAULT，IRDEFAULT块

直接使用Harr小波滤波器。

3)IPRBLOCK，IPLBLOCK块

使用Harr小波滤波得到高频帧，计算高频帧的MAV_Harr和VAR_Harr使用H.264/AVC的帧内预测模式得到预测残差场。计算残差场的MAV_DFD和VAR_DFD。

比较MAV_Harr和MAV_DFD：

如果MAV_harr＜MAV_DFD，采用Harr小波滤波。

如果MAV_harr＞MAV_DFD，采用BIINTRA块的处理方式，并且把块类型设置为BIINTRA。

如果

采用BIINTRA块的处理方式，并且把块类型设置为BIINTRA。

4)BIDEFAULT，PRDEFAULT，PLDEFAULT块

在对这些块的处理进行说明以前，首先回顾基于LG5/3、BT7/5和CDF9/7小波的运动补偿时域滤波的提升实现。基于LG5/3、BT7/5和CDF9/7小波的运动补偿时域滤波的提升实现依次如图4、图5和图6所示。图中的MCP(Motion Compensated Predict)表示沿运动轨迹方向进行提升中的预测步骤，MCU(Motion Compensated Update)表示沿运动轨迹方向进行提升中的更新步骤。

由图4～图6不难看出，基于LG5/3、BT7/5和CDF9/7小波的运动补偿时域滤波分别用到了3帧、5帧和7帧进行滤波以得到时域高频子带，如各图中斜线标记的原始视频帧所示。在这里，对于视频序列的开始处、一个组帧的结尾处的帧和视频序列结尾处的帧采用对称延拓的方式进行处理，延拓的帧数视采用的滤波器而定。由图4～图6可知，基于LG5/3小波的运动补偿时域滤波仅仅需要B₁帧的前向和后向运动矢量场，基于BT7/5小波的运动补偿时域滤波需要B₀帧的后向运动矢量场，B₁帧的前向和后向运动矢量场以及B₂帧的前向运动矢量场。基于CDF9/7小波的运动补偿时域滤波则需要B₀、B₁和B₂帧的前向和后向运动矢量场。

以图4～图6中B₁帧中的块I为例。假设块I是这三种类型的块之一，给出如下的算法以得到最优的滤波器。

a)对I块进行LG5/3滤波得到高频块H_LG5/3，计算得到该块的MAV_LG5/3和VAR_LG5/3。

b)寻找I块在B₀帧和B₂帧中的匹配块IB₀和IB₁，以寻找B₀帧中的匹配块IB₀为例，如图3所示，I块在A₁中有匹配块IA₁。由于B₀帧和A₁帧进行运动估计时是以A₁帧为参考帧，从而IA₁块在B₀帧中的匹配情况可以分为3种：找到了分散的匹配块，如图中实线连结的块；没有找到匹配块，如图中虚线所示；找到了大小一致的匹配块，如图中点划线连结的块。

这几种情况可判断如下：首先判断IA₁块中的像素在B₀帧中找到的匹配像素的个数K，如果K小于IA₁块中像素总个数的λ(0＜λ≤1)倍，则认为没有匹配块。否则，判断这些像素的运动矢量方向是否一致，如果其中有γK(0＜γ≤1)个运动矢量方向一致，则认为找到了大小一致的匹配块。除这两种情况外，其他的都属于找到了分散匹配块的情况。

同理，在B₂帧中可以找到匹配块IB₁。

如果B₀帧和B₂帧中有一个或全部没有找到I块对应的匹配块。则认为I块对应的最优滤波器为LG5/3，跳到步骤h)。否则，顺序进行下一步骤。

c)进行BT7/5滤波，注意滤波涉及到5帧中的所有对应块。计算得到该块的MAV_BT7/5和VAR_BT7/5。

d)基于优化准则判断LG5/3和BT7/5哪个小波基更优，如果是LG5/3，确定它为最优，跳到步骤h)。否则，顺序进行下一步骤。

e)找出步骤b)中块IB₀和IB₁的块类型。如果块类型显示了在前向运动估计(B₀帧)或后向运动估计(B₂帧)中存在INTRA块，那么确定BT7/5最优，跳到步骤h)。否则，顺序进行下一步骤。

f)进行CDF9/7滤波，注意涉及到7帧中的所有对应块。计算得到该块的MAV_CDF9/7和VAR_CDF9/7。

g)基于优化准则判断BT7/5和CDF9/7哪个小波基更优，确定它为最优。

h)结束。

5)BIPBLOCK块

同4)中的处理，不同的是只在LG5/3和BT7/5中寻找哪个最优。

对于帧类型，这里只考虑区分是否需要帧内编码，所以把帧分为两种类型：帧内编码帧、非帧内编码帧。如果一个帧中的BIINTRA块很多，使得其中的像素是整个帧像素总个数的μ(0＜μ≤1)倍，就认为该帧为帧内编码帧，否则为非帧内编码帧。

Claims (4)

1.一种自适应性的运动补偿时域滤波的方法，其特征在于，该方法以运动矢量树归并方法实现前、后向运动矢量树的有效编码，为自适应时域滤波提供当前帧有效的块划分，同时为运动矢量的可分级编码提供一个有效的划分结构；以块映射选择方法确定块的时域关联性；以自适应选择滤波器方法，提高运动补偿时域滤波的去冗余能力。

2.如权利要求1所述的方法，其特征在于，所述的运动矢量树归并方法是：

由于当前帧需要进行前向和后向的可变块运动估计，对于当前帧的同一宏块会产生两棵运动矢量树，这两棵运动矢量树的结构不相同；

为了对时域滤波提供有效的块划分，同时为了给运动矢量的可分级编码提供一个有效的划分结构，通过以下的方式对两棵运动矢量树进行归并：

如果前、后向运动矢量树对宏块的某一部分同时都进行了划分，归并后的运动矢量树将作同样的划分；

如果前向运动矢量树对宏块的某一部分进行了划分而后向运动矢量树没有进行相应的划分，归并后的运动矢量树按照前向运动矢量树的划分结构进行划分；

如果后向运动矢量树对宏块的某一部分进行了划分而前向运动矢量树没有进行相应的划分，归并后的运动矢量树按照后向运动矢量树的划分结构进行划分。

3.如权利要求1所述的方法，其特征在于，所述的块映射选择方法是通过把归并后的运动矢量从当前帧映射到参考帧，再在视频序列的下一个当前帧中寻找对应的匹配块。

4.如权利要求1所述的方法，其特征在于，所述自适应选择滤波器方法是：

在前述块划分的基础上，对关联性比较好的块在一组小波滤波器中选择一个进行时域滤波，如果某个滤波器使得滤波后的高频分量绝对值之和最小，或者在高频分量的绝对值之和相同的基础上使得其方差最小，则选择该滤波器；

将选择好的滤波器类型作为副信息和运动矢量信息一起编码，编码的滤波器类型信息最终传递给视频解码器以正确解码。

Images