CN100512439C - 一种具有类框架小波结构的小波域运动估计方法 - Google Patents

Abstract

本发明提出了适用于视频编码领域的一种具有类框架小波结构的小波域运动估计方法，这种方法采用：双通道高通滤波方法(2-Channel High-Pass Filtering，TCHPF)和子带自适应中心搜索点预测方法(Subband-Adapted Central Searching Point Prediction，SACSPP)。其中TCHPF方法建立了一种具有类似于框架小波的变换结构，含有一个低通滤波器和两个分析高通滤波通道，采用双通道高频滤波消除下采样的影响，有效地降低了高频信号上的位移可变性，提高了小波域运动估计的精度。而SACSPP方法将充分挖掘系数间的相关性，在分析小波不同子带系数的特点的基础上，针对低频子带和高频子带采用不同的搜索点预测方法，从而减少计算量，实现快速运动估计。

Description

一种具有类框架小波结构的小波域运动估计方法

技术领域

本发明提出适用于视频编码领域的一种具有类框架小波结构的小波域运动估计方法，这种方法采用两个新的方法：双通道高通滤波方法(2-Channel High-Pass Filtering，简称TCHPF)和子带自适应中心搜索点预测方法(Subband-Adapted Central Searching Point Prediction，简称SACSPP)。本算法不仅提高了小波域运动估计的精度，而且有效的降低了计算复杂度。

背景技术

自从1989年S.G.Mallat将小波变换用于多分辨率图像描述以来，小波变换(DiscreteWavelet Transform简称DWT)就以其所具有的多分辨率分析特性和对人类视觉系统的适应性受到越来越广泛的重视，已经成为一种重要的图像、视频编码方法，取得了很好的效果。

在视频序列编码过程中，通常采用运动估计(ME)降低时间相关性。然而在小波视频编码器中，小波分解过程存在下采样(Down-Sampling)和像素滤波处理，使得小波系数存在位移可变性(Shift-Variance)，这种特性严重影响了ME精度，降低了编码器性能。因此，小波视频编码中高效运动估计算法的研究是一项具有挑战性的研究课题。

近年来，研究者提出了多种小波域运动估计方法。1992年Y.Zhang等提出了小波域多分辨率运动估计方法(Multi-Resolution Motion Estimation，简称MRME)(Motion-compensatedwavelet transform coding for color video compression.IEEE Trans.Circuit and System on VideoTechnology，Sept.1992，3(3)：285-296)。但是这种方法没有消除DWT的位移可变性，使得运动估计精度较低，影响了编码效率。

2000年H.Park等提出了低频子带平移(Low-Band-Shift，简称LBS)方法(Wavelet-basedmoving-picture coding using shift-invariant motion estimation in wavelet domain.SignalProcessing：Image Communication，Apr.2001，16(7)：669-679)。LBS方法消除了下采样的影响，避免了位移可变性，因而提高了运动估计和补偿的精度。然而由于LBS方法需要大量的小波分解、运动矢量搜索及系数平移，导致计算量过高，所需存储单元过多。例如3级变换时，LBS要10帧存储单元，而MRME仅需要1帧，限制了LBS方法的实时应用。

此外运动估计过程中，通常使用全搜索方法(Full-Search，简称FS)搜索最佳匹配块，FS方法可以得到特定失真准则下的最优解，但是计算量大。为此研究者提出了多种快速搜索方法，预测搜索方法(Prediction Searching，简称PS)和三步搜索方法(Three-Step-Searching，简称3SS)(Tabatabai A J，Jasinschi R S，Naveen T.Motion estimation methods for video compression-areview，J.Franklin Inst.，Nov.1998，335(8)：1411-1441)就是两种有效的方法。然而，在小波域运动估计中，不同频率、方向、变换级的小波信号具有不同的特点，如果使用相同的预测方法，会影响预测的精确性。

发明内容

为了满足视频编码中对运动估计精度和计算复杂度的要求，本发明提出了一种具有类框架小波结构的小波域运动估计方法，这种方法采用两个新的方法：双通道高通滤波方法(TCHPF)和子带自适应中心搜索点预测方法(SACSPP)。其中TCHPF方法建立了一种具有类似于框架小波的变换结构，含有一个低通滤波器和两个分析高通滤波通道，采用双通道高频滤波消除下采样的影响，有效地降低了高频信号上的位移可变性，提高了小波域运动估计的精度。而SACSPP方法将充分挖掘系数间的相关性，在分析不同频率、不同子带小波系数的特点的基础上，针对低频子带和高频子带，采用不同的搜索点预测方法，从而减少计算量，实现快速运动估计。

有益效果

以一维信号为例证明本算法的有效性。设信号x₁[n]和一个像素平移信号x₂[n]＝x₁[n-1]，使用DWT对x₁[n]进行分解，而使用TCHPF方法对x₂[n]进行分解，分别得到图1所示高频信号。对比相应的高频信号，

和

以及和

具有较强的相似性，说明TCHPF可以降低位移可变性对高频系数的影响。

采用TCHPF和SACSPP方法，同MRME和LBS方法进行实验比较。实验中小波变换采用双正交(9，7)小波基，2级小波变换。子带块的尺寸将随小波变换级作相应的改变。实验中设第j级子带块尺寸为(16/2^j)×(16/2^j)。为了直接比较各种运动估计算法的性能，将原始序列作为参考帧，进行运动估计，将预测帧的峰值信噪比(PSNR)和计算量作为性能衡量参数。

实验1，比较了TCHPF，MRME和LBS三种方法得到的预测帧的PSNR。实验结果：TCHPF方法部分消除了位移可变性，因此预测帧PSNR介于其他两种方法之间，比MRME方法平均高1.22dB，但比LBS方法低0.46dB。

实验2，比较了SACSPP，PS和3SS方法快速搜索的性能。应用快速搜索方法后，相应的预测帧峰值信噪比比用FS方法时下降了0.08dB—0.8dB，对于大部分测试序列，SACSPP方法得到的预测帧质量比PS方法和3SS方法得到的预测帧质量高0.1dB—0.5dB。说明SACSPP方法比其他快速运动估计方法更有效。

通过理论计算，可以比较不同方法的计算量。一般小波域运动估计的计算量主要集中在两大部分：小波变换和搜索。以两级小波变换为例，TCHPF方法所需小波变换过程的计算量仅为LBS方法的31.45％。搜索匹配过程中，SACSPP方法的计算量仅为FS方法计算量的9.3％左右。综合考虑小波变换和搜索两个过程，本发明所提出方法的计算量比LBS方法减少了93.45％。

图2是“Football”序列前50帧编码结果。图3是“Football”视频序列第20帧采用不同运动估计算法得到的预测帧。可以看到，新算法保持了较好的主观质量。

附图说明

下面结合附图对本发明专利进一步说明

图1原始信号和一像素平移信号小波分解后高频信号比较。

图中(a)x₁[n]第一级高频信号(b)x₁[n]第二级高频信号

(c)x₂[n]第一级高频信号(d)x₂[n]第二级高频信号

图2“Football”序列前50帧编码结果。

图3具有类框架结构的TCHPF方法框图。

图中x[n]表示一维输入信号，H₀表示低通滤波器，H_1，0和H_1，1表示所设计的两个高通滤波器，↓2表示2倍下采样，

和

表示x信号第j级低频系数、n方式下第j级高频信号。

图4具有类框架小波结构的小波域运动估计方法框图。

图中1.参考帧，2.当前帧，3.基于TCHPF方法的变换，4.离散小波变换，5.参考帧低频子带，6.当前帧低频子带，7.块运动估计，8.参考帧高频子带，9.当前帧高频子带，10.块运动估计，11.低频块运动矢量预测相应位置高频块运动矢量。

图5图像两级小波分解。

图中(a)当前帧使用DWT分解；(b)参考帧使用TCHPF方法分解。

图中‘L’表示低通滤波器、‘H’表示DWT中的高通滤波器、‘H₀’和‘H₁’表示TCHPF方法中的两个高通滤波器，每一个方框内的标注表示该子带是由相应的滤波器滤波得到的，如LL表示由低通滤波器得到的低频子带，H₀H₀表示水平、竖直方向由H₀滤波器滤波得到的子带。

图6低频子带子带块中心搜索点预测。

图中灰色块表示参考块，白色块表示当前估计块，0-3表示4个与当前块有运动关系的参考块。

图7位于不同高频子带的子带块运动矢量预测模式。

图中灰度块表示与当前块运动相关性较高的邻居块，白色块表示当前块，LH、HL、HH分别表示竖直、水平和倾斜方向的子带。

图8高频子带子带块中心搜索点预测。

图中(a)CHS预测方式；(b)FHS预测方式。其中灰色块表示参考块，白色块表示当前块。(a)图中0-3表示与当前块运动相关性高的参考块，(b)图中0-4表示与当前块运动相关性高的参考块。

具体实施方式

1.TCHPF方法

TCHPF采用一种类似于框架小波的结构，包含两个具有一定关系的高通滤波器，它们形成一种互补关系，其中一个通道所得到的高频系数正是另一个通道由于下采样过程所丢弃的系数。因此TCHPF方法消除了下采样过程对高频系数的影响，从而减少了高频信号的位移可变性。使得利用TCHF方法的运动估计可以在小波域内更精确地进行。

具有类框架结构的TCHPF方法框图如图3所示，每一级变换将包括双通道高通滤波过程。H0表示分析低通滤波器(Analysis Low-Pass Filter)，H_1，0和H_1，1表示两组分析高通滤波器(Analysis High-Pass Filter)。H_1，1应满足

H_1，1(ω)＝e^-iω·H_1，0(ω)                  (1)

经过TCHPF处理，每一级得到三个小波信号，低频信号

高频信号和

可以发现，

正是H_1，0滤波通道由于下采样所丢弃的系数。因此经过双通道高通滤波，TCHF方法消除了下采样对高频信号的影响。从而降低了高频信号部分的位移可变性。实际应用中，H₀和H_1，0可以由相应的DWT分析滤波器构成(H₀为分析低通滤波器，H_1，0为分析高通滤波器)，而H_1，1相当于H_1，0的平移。

如图4所示，利用TCHF方法的小波域运动估计和补偿方法按以下步骤进行：

1)使用DWT(4)对当前帧(2)进行分解，使用TCHPF(3)对参考帧(1)进行分解，分别得到图5所示的小波子带；

2)称运动估计的块为子带块，对低频、高频子带进行块运动估计，子带块的尺寸按小波变换级而相应的调整。利用块运动估计(7)直接对低频子带(5、6)进行运动估计；

3)对高频子带(8、9)进行运动估计(10)时，当前帧内每一个高频子带对应多个参考子带，如LH对应LH₀和LH₁，HL对应HL₀和HL₁，HH对应H₀H₀、H₀H₁、H₁H₀、H₁H₁。

使用平均绝对误差函数(MAD)作为运动估计中的代价函数，则对于高频子带进行运动估计时的代价函数可以表示如下

${\mathrm{MAD}}_{(x,y)}(\mathrm{dx},\mathrm{dy},i)=\frac{1}{\mathrm{MN}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}|I_c(x+m,y+n)-I_{r\left(i\right)}(x+m-\mathrm{dx},y+n-\mathrm{dy})|---\left(2\right)$

其中(x，y)表示子带块在子带中的位置；M×N表示子带块大小；I_c和I_r(i)表示当前高频子带和第i个参考高频子带。通过计算每一个参考子带中每一个搜索位置的MAD，比较得到最小值，相应的(dx，dy，i)作为当前高频子带块的运动信息，其中dx、dy表示水平和竖直方向位移，i表示运动矢量来自于哪一个参考子带。

高频块运动估计时，可以使用低频块运动矢量进行预测；

4)利用运动矢量和相应的参考子带预测当前帧小波系数，然后得到残差系数，并对这些系数进行量化、编码；

5)运动补偿时，使用TCHPF方法对参考帧进行分解，得到低频和高频子带，利用运动矢量预测当前帧小波系数，加上残差系数后进行小波反变换，得到重构图像，并将这一重构图像作为下一帧的参考帧。

2.SACSPP方法

利用全搜索算法可以得到特定失真准则下的最优解，但是要消耗编码器大部分运算时间。现有的快速运动估计算法一般都是针对空域运动估计提出的，然而，不同频率、方向、变换级的小波系数具有各自的特点。传统的空域快速运动估计算法并不满足不同小波子带的特点，直接使用不能达到很好的效果。提出一种适应于小波域运动估计的子带自适应中心搜索点预测算法(SACSPP)，针对低频子带和高频子带采用不同的搜索点预测方式。

1)低频子带中心搜索点预测

对于低频子带块，存在空间—时间相关性，利用前一帧相同空间位置子带块和同一帧中相邻子带块运动矢量加权后的平均值预测当前子带块的搜索中心(即初始运动矢量)。图6是搜索中心预测示意图。按图中参考子带块标号0至3的顺序，相应的加权系数为0.15，0.3，0.3，0.25。

2)高频子带中心搜索点预测

由于受位移可变性的影响，相邻帧高频子带的运动相关性很低。因此不能利用相邻帧相同空间位置的高频子带块的运动矢量预测当前子带块运动矢量。

高频子带可以分成两类，一类是较精细级高频子带(Finer High-Frequency Subband：FHS)，另一类是最粗糙级高频子带(Coarsest High-Frequency Subband：CHS)。对于J级小波变换，则1～J-1级高频子带属于FHS。第J级小波变换高频子带属于CHS。由于子带块的方向性特点，具有较高运动相关性的邻居子带块位置也不相同，如图7所示。

对于CHS子带块，由于不存在更粗糙级高频子带，仅利用低频子带中相应空间位置子带块和邻居子带块的运动矢量的加权平均值预测当前子带块初始运动矢量。如图8(a)所示，按图中标号0-3顺序，相应的加权系数分别为1/3，1/6，1/3，1/6。

对于FHS子带块，当前子带块运动矢量的初始值利用低频子带相同空间位置子带块(对于J级小波变换，如果当前子带块处于第j级，相应低频子带块运动矢量的2^J-j倍作为预测值)、上一级相应位置子带块(相应运动矢量的2倍作为预测值)、邻居子带块的运动矢量进行预测。如图8(b)所示，按图中标号0-4顺序，相应的加权系数分别为1/3，1/6，1/6，1/6，1/6。

结合TCHPF方法和SCASPP方法可以构建高效的小波域运动估计方法。

Claims (3)

1.一种具有类框架小波结构的小波域运动估计方法，其特征是：具有类框架小波结构，含有一个低通滤波器和两个分析高通滤波通道，在两个分析高通滤波通道中，第二个高通滤波器的系数是第一个高通滤波器通过下采用所丢弃的系数，从而通过增加冗余信息消除离散小波变换的位移可变性，提高小波域运动估计的精度，采用子带自适应中心搜索点预测方法，针对不同频率、不同子带的小波系数采用不同的搜索点预测方法，从而减少计算量，实现快速运动估计。

2.根据权利要求1所述的具有类框架小波结构的小波域运动估计方法，其特征还在于：使用两个具有一定互补关系的分析高通滤波器，其中一个分析高通滤波器采用2倍下采样处理后，其丢弃的系数是另一通道的分析高通滤波器的系数，因此减少了离散小波信号存在的混叠效应，消除了离散小波变换所存在的位移可变性，提高小波域运动估计的精度。

3.根据权利要求1所述的具有类框架小波结构的小波域运动估计方案，其特征还在于：子带自适应中心搜索点预测算法对低频子带利用前一帧相同空间位置子带块和同一帧中相邻子带块运动矢量加权后的平均值预测当前子带块的搜索中心，对高频子带则分成两类，一类是较精细级高频子带，另一类是最粗糙级高频子带，前一类利用低频子带中相应空间位置子带块和邻居子带块的运动矢量的加权平均值预测当前子带块初始运动矢量，后一类利用低频子带相同空间位置子带块、上一级相应位置子带块、邻居子带块的运动矢量进行预测。

Images