CN1822675A - 基于优化重建滤波方法的小波域运动估计方案 - Google Patents

Abstract

适用于异构网络视频信息编码领域的一种基于优化重建滤波方法的小波域运动估计方案。采用消除位移可变性的优化重建滤波方法(OSF)，通过两组优化重建高通滤波器(OSHF)对高频小波系数进行重建，使得高频重建信号具有近似位移不变性，利用一个信号就可以较精确的预测并重构出另一个信号。基于优化重建滤波方法建立了两种小波域运动估计方案，分级方案(HiME－OSF)和整体方案(HoME－OSF)。HoME－OSF将所有高频系数作为一个整体进行运动估计，运动矢量较少；HiME－OSF将每一变换级的高频系数作为一个单元进行运动估计精细的描述各部分的运动信息，提高了运动估计的精度，而且这种分级结构具有空间可扩展性，可实现空间可扩展编码。

Description

基于优化重建滤波方法的小波域运动估计方案

技术领域

运动估计是视频编码中最重要的组成部分之一，用于消除视频序列相邻帧之间的相关性，进而提高编码器效率。本发明在充分考虑小波系数特点的基础上，提出了基于优化重建滤波方法的小波域运动估计方案，该方案采用一种优化重建滤波方法(Optimal synthesisfiltering，简称OSF)消除离散小波变换中的位移可变性，从而提高小波域运动估计的精度，同时本运动估计方案具有灵活的可扩展结构，适合于异构网络中视频编码和传输的需要。因此在编码领域具有重要的理论意义和广泛的应用前景。

背景技术

视频序列由具有时间顺序的一串连续图像组成，其中每一幅图像被称为一帧。相邻帧之间具有较强的时域相关性，即相对于前一帧，后帧像素值变化很小，而仅相当于是前帧的平移，在编码后帧时，并不需要对像素值进行编码，而仅仅需要找到后帧对前帧的运动关系即可。在解码过程中，利用这种运动关系，利用前帧像素重构出后帧。这样可以大大提高编码效率。这种消除时域相关性的过程称为运动估计(Motion Estimation，简称ME)和运动补偿(Motion Compensation，简称MC)。ME的精确程度直接影响视频编码器的性能。然而在小波视频编码器中，小波分解过程存在下采样(Down-Sampling)和像素滤波处理使得小波系数存在位移可变性(Shift-Variance)，这种特性严重影响了ME精度，降低了编码器性能。因此，小波视频编码中高效运动估计的研究是一项具有挑战性的研究课题。

近年来，研究者提出了多种小波域运动估计方案。包括1992年Y.Zhang等提出了小波域多分辨率运动估计方案(Multi-Resolution Motion Estimation，简称MRME)(Motion-compensated wavelet transform coding for color video compression.IEEE Trans.Circuit and System on Video Technology，Sept.1992，3(3)：285-296)。但是它没有考虑离散小波变换(DWT)的位移可变性，使得运动估计精度较低，影响了编码效率。2000年H.Park等提出了低频子带平移(Low-Band-Shift，简称LBS)方案(Wavelet-based moving-picture codingusing shift-invariant motion estimation in wavelet domain.Signal Processing：ImageCommunication，Apr.2001，16(7)：669-679)。LBS方法消除了下采样的影响，避免了位移可变性，因而提高了运动估计和补偿的精度。然而由于LBS方法需要大量的小波分解、运动矢量搜索及系数平移，导致计算量过高，所需存储单元过多，限制了实际应用。

发明内容

本发明提出了基于优化重建滤波方法的小波域运动估计方案。该方案采用一种优化重建滤波方法来消除离散小波变换中位移可变性，其核心思想是通过两组具有特殊相关性的优化重建高通滤波器(Optimal Synthesis High-Pass Filter，简称OSHF)分别对原始信号和平移信号的高频小波系数进行上采样和系数滤波处理，使得所得到的两个高频重建信号具有较高的相似性，那么利用一个高频重建信号就可以较精确的预测并重构出另一个高频重建信号，从而提高运动估计的精度，进而改善编码器性能。利用OSF分别建立分级运动估计方案(Hierarchical Motion Estimation，简称HiME-OSF)的和整体运动估计方案(HolisticMotion Estimation，简称HoME-OSF)。其中，HoME-OSF方案将所有高频系数作为一个整体进行运动估计，因此运动矢量较少；HiME-OSF方案将每一变换级的高频系数作为一个单元进行运动估计，因此可以更加精细的描述各部分的运动信息，而且更重要的是，这种分级结构具有空间可扩展性，使得小波视频编码器可以更加灵活、方便地实现空间可扩展编码，这点对于解决异构网络中视频信息编码、传输问题尤为重要。实验结果表明，基于OSF方法的HiME-OSF方案和HoME-OSF运动估计方案克服了现有小波域运动估计方案的缺点，不仅消除了影响运动估计精度的位移可变性，而且计算量和缓存需要量适中，更适合于实际应用。

有益结果

如图1所示，y₁ ^(j)[n]是x₁[n]使用滤波器O₁(实验中我们设O₁与原始高通重建滤波器G₁相同)得到高频重建信号(j表示小波变换级，图中j取值为1、2)；y_2，0 ^(j)[n]和y_2，1 ^(j)[n]分别是x₂[n]使用O_2，0和O_2，1得到的高频重建信号。将它们分别与y₁ ^(j)[n]比较。分别计算均方误差(Mean Square Errors，简称MSE)比较相似程度，信号y_2，0 ^(j)[n]与y₁ ^(j)[n]间MSE是0.0347，而y_2，1 ^(j)[n]与y₁ ^(j)[n]间MSE是0.0113。即通过优化高通滤波器得到的高频重建信号与原始高频重建信号相似程度更高，具有近似位移不变性。

对HoME-OSF方案、HiME-OSF方案和两种现有的小波运动估计MRME方案和LBS方案进行仿真，并比较重建图像的峰值信噪比(Peak Signal-to-Noise Ratio，简称PSNR)和平均峰值信噪比(Mean Signal-to-Noise Ratio，简称MSNR)。MSNR数学表达式如下：

$\mathrm{MSNR}=\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\left({10\log }_{10}\frac{{255}^2}{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{|f^{\′}(x,y,k)-f(x,y,k)|}^2}\right)---\left(1\right)$

其中K表示帧间帧数；f and f′表示原始图像和待比较图像；M和N表示图像分辨率。

使用PIII450MHz、256M内存的PC机进行实验。实验中采用双正交(9，7)小波，三级小波变换。

第一个实验，比较HoME-OSF、HiME-OSF、LBS三种运动估计方案的小波视频编码器的编码结果，即重建帧的MSNR。为了公平比较，建立如图2所示的小波视频编码框架，运动估计与补偿部分采用整像素块运动估计，残差编码采用比特平面熵编码方法。图3是“Coastguard”序列前50帧编码重建结果。LBS方案产生更多的运动矢量，因此需要更多的比特对其编码，使得编码效率受到影响。实验数据表明，HiME-OSF和HoME-OSF方案在不同比特率下得到的重建图像质量比LBS方案分别高0.4dB和1.1dB。

第二个实验比较重建帧主观质量。图4比较了重建帧的主观质量。可以看到利用HoME-OSF方案得到的图像主观视觉效果更好。不同解码比特率、不同空间分辨的重建帧如图5所示。本发明提出的HiME-OSF方案具有良好的可扩展性，因此特别适合于异构网络中视频编码与传输的需要。

第三个实验，比较运行时间，HoME-OSF和HiME-OSF方案消耗的平均时间仅为LBS方案的70.8％，因此具有更加合理的计算复杂度。在缓存需要量方面，三级小波变换时，LBS方案需要10帧，而两种新方案仅需要4帧。综上所述，新方案更加适合与实际视频编码的需要。

附图说明

图1高频重建信号比较，分别使用原始重建滤波器和优化重建滤波器。

图中x₁[n]和x₂[n]表示输入信号，n表示离散信号位置，y₁ ^(j)[n]表示信号x₁[n]采用原始小波滤波器重建得到的第j级高频信号(j表示小波变换级，图中j取值为1、2)，y_2，0 ^(j)[n]表示信号x₂[n]采用O₁滤波器重建得到的第j级高频信号，y_2，1 ^(j)[n]表示信号x₂[n]采用O₂滤波器重建得到的第j级高频信号

图2小波视频编码结构框图

图中1.视频序列，2.离散小波变换，3.运动估计，4.运动补偿，5.残差，6.量化，7.嵌入式解码器，8.反量化，9.重构，10.零树编码，11.熵编码，12.比特流。

图3“Coastguard”序列编码结果比较

图4重构图像主观质量比较

从左至右分别为MRME方案、LBS方案和HoME-OSF方案

图5空间可扩展重构图像

(a)64kbps，(b)96kbps，(c)112kbps。

图6小波变换和优化重建过程框图

其中x₁[n]和x₂[n]表示一维信号，n表示离散信号位置，H₀表示低通滤波器，H₁表示高通滤波器，O₁、O₂表示优化重建滤波器，x_i(j)和c_i(j)表示第i个信号(i＝1、2)第j级小波变换低频、高频信号(j表示小波变换级，图中j取值为1-3)，y_i ^(j)表示第i个信号第j级高频重建信号。

图7HoME-OSF方案框图

图中1.视频序列，2.离散小波变换，3.低频子带，4.块运动估计，5.高频子带，6.优化重建，7.块运动估计，8.利用低频块运动矢量预测高频块运动矢量，9.运动矢量

图8HFSI重构示意图

图中‘Level-j’表示第j小波变换级(j取值范围为1-4)，‘Level-1’表示第1小波变换级，表示组合过程。标号表示：1.第j级高频子带，2.第1级高频子带，3.高频重建，4.高频重建子图像，5.高频重建图像。

图9高频重构图像。

四种模式：(a)两个方向均为偶平移；(b)水平方向为偶平移，竖直方向为其平移；(c)水平方向奇平移，竖直方向偶平移；(d)两个方向均为奇平移。

图10HiME-OSF方案框图

图中1.视频序列，2.离散小波变换，3.低频子带，4.块运动估计，5.最高变换级高频子带，6.优化重建，7.块运动估计，8.次高变换级高频子带，9.优化重建，10.运动估计，11.最低变换级高频子带，12.优化重建，13.块运动估计，14.运动矢量预测，15.运动矢量预测，16.运动矢量预测，17.低频子带块的运动矢量，18.高频子带块的运动矢量

具体实施方式

假设两个输入信号x₁[n]，x₂[n]，存在如下关系x₂[n]＝x₁[n-l]。小波变换后，可以得到相应的各级低频、高频信号，如图6所示。其中x₁ ^(j)[n]和x₂ ^(j)[n]表示第j级低频信号(j表示小波变换级)，c₁ ^(j)[n]和c₂ ^(j)[n]表示第j级小波高频信号。将c₁ ^(j)[n]、c₂ ^(j)[n]经过2倍上采样并通过两组特殊的OSHF滤波后，可以得到相应的高频重建信号Y₁ ^(j)(z)和Y₂ ^(j)(z)如下

$Y_1^{\left(j\right)}=\left(z\right)=(H_1\left(z\right)X_1^{(j-1)}\left(z\right)+H_1(-z)X_1^{(j-1)}(-z))O_1\left(z\right)---\left(2\right)$

$Y_2^{\left(j\right)}=\left(z\right)=(H_1\left(z\right)X_2^{(j-1)}\left(z\right)+H_1(-z)X_2^{(j-1)}(-z))O_2\left(z\right)---\left(3\right)$

其中O₁(z)，O₂(z)为两个高通重建滤波器。

为使Y₁ ^(j)(z)、Y₂ ^(j)(z)具有位移不变性，它们需要满足如下关系

$Y_2^{\left(j\right)}\left(z\right)=Y_1^{\left(j\right)}\left(z\right)z^{-k}---\left(4\right)$

其中k表示位移系数。上式成立的关键是确定OSHFO₁(z)、O₂(z)。通过优化设计，可以确定两个滤波器。

由于上两式中分别包含低频信号x₁ ^(j-1)[n]和x₂ ^(j-1)[n]，我们首先来确定它们的关系，信号x₂ ^(j-1)[n]可以用x₁ ^(j-1)[n]表示如下

$x_2^{(j-1)}\left[n\right]=x_1^{(j-1)}[n-l^{\′}]+N^{(j-1)}\left[n\right]---\left(5\right)$

其中l′表示位移系数(l′＜l)；N^(j-1)[n]表示相应的误差函数。随着变换级的增加，由于混叠效应在低频系数上的不断积累，相应的两个低频信号间的误差将不断增加。然而在实际应用中，小波变换一般仅为二至四级，这种情况下，位移可变性对低频信号的影响较小，因此我们可以忽略误差函数，这样将大大简化处理过程，使得本方法更加便于实现。化简式(5)得到

根据式(4)，利用条件极值方法，使用加权系数μ，得到代价函数如下

$F(O_2,\mathrm{\μ})={\∫}_{-1}^1{\left|(H_1\left(z\right)O_1\left(z\right)-H_1\left(z\right)O_2\left(z\right)z^{-(l^{\′}-k)})X_1^{(j-1)}\left(z\right)\right|}^2\mathrm{dz}$

$+\mathrm{\μ}{\∫}_{-1}^1{\left|(H_1\left(z\right)O_1(-z)-{{(-1)}^{l^{\′}}H}_1\left(z\right)O_2\left(z\right)z^{-(l^{\′}-k)})X_1^{(j-1)}\left(z\right)\right|}^2\mathrm{dz}---\left(7\right)$

然而，方程(7)中包含信号x₁ ^(j-1)[n]，由于原始输入信号无法提前确定，因此它也无法确定。为此，我们假设信号x₁ ^(j-1)[n]是一个平稳随机过程，S_x(z)表示信号的功率谱密度函数。代价函数可以变为下式

$E_x\left(F(O_2,\mathrm{\μ})\right)={\∫}_{-1}^1{\left|(H_1\left(z\right)O_1\left(z\right)-H_1\left(z\right)O_2\left(z\right)z^{-(l^{\′}-k)})\right|}^2{S}_x\left(z\right)\mathrm{dz}$

$+\mathrm{\μ}{\∫}_{-1}^1{\left|(H_1\left(z\right)O_1\left(z\right)-{{(-1)}^{l^{\′}}H}_1(-z)O_2\left(z\right)z^{-(l^{\′}-k)})\right|}^2{S}_x(-z)\mathrm{dz}---\left(8\right)$

对(8)式求极值，我们可以得到两个优化滤波器间的数量关系

$O_2\left(z\right)=\frac{({\left|H_1\left(z\right)\right|}^2{O}_1\left(z\right)S_x\left(z\right)-\mathrm{\μ}{\left|H_1(-z)\right|}^2{O}_1\left(z\right)S_x(-z))z^{-(k-l^{\′})}}{{\left|H_1\left(z\right)\right|}^2{S}_x\left(z\right)-{(-1)}^{l^{\′}}\mathrm{\μ}{\left|H_1(-z)\right|}^2{S}_x(-z)}---\left(9\right)$

给定重建滤波器O₁(z)，则可以得到另一个滤波器O₂(z)。

位移系数l′有两种取值方式，O_2，0(z)和O_2，1(z)分别表示两种情况下的O₂(z)。当l′为偶数和奇数时，为使关系成立，相应的OSHF需要分别满足

O_2，0(z)＝O₁(z)z^-(k-l′)           (10)

$O_{\mathrm{2,1}}\left(z\right)=\frac{({\left|H_1\left(z\right)\right|}^2{O}_1\left(z\right)S_x\left(z\right)-\mathrm{\μ}{\left|H_1(-z)\right|}^2{O}_1\left(z\right)S_x(-z))z^{-(k-l^{\′})}}{{\left|H_1\left(z\right)\right|}^2{S}_x\left(z\right)+\mathrm{\μ}{\left|H_1(-z)\right|}^2{S}_x(-z)}---\left(11\right)$

实际应用中，一般使用优先脉冲相应滤波器。给定滤波器长度的FIR可以通过曲线拟合得最小二乘法计算得到。

基于所设计的OSHF滤波器，提出了两种高效的运动估计方案：HiME-OSF和HoME-OSF方案。

1.整体运动估计方案(HoME-OSF)

HoME-OSF方案具有整体结构，它将所有的高频系数作为一个整体进行运动估计与补偿，其结构如图7所示，这样做的目的是建立一种类似于空域运动估计的结构，以便与空域运动估计方案建立关系。

采用的高频重建图像(High-Frequency Synthesized Image，简称HFSI)是由所有高频系数重建而成，具体产生过程如图8所示，首先利用最粗糙级(第j级)的三个高频子带(1)进行高频重建(3)得到相应的高频重建子图(High-Frequency Synthesized Sub-Image，简称HFSSI)(4)，然后将它作为低频信号，与更精细级的三个高频子带组合在一起，通过一级小波反变换(低频滤波器采用原始小波滤波器，高频滤波器采用新的高通滤波器)，可以得到相应的重建图像，然后重复这个过程，直到使用了所有的高频系数为止，这时将得到所需的应用于运动估计的HFSI(5)。

1)如图7所示，视频序列(1)经过离散小波变换(2)后，将得到低频子带(3)和高频子带(5)。对于低频部分，由于受位移可变性的影响较小，因而可以直接对低频信号进行运动估计(4)，得到运动矢量(9)；

2)分别使用两组具有特殊相关性的优化重建高通滤波器O₁(z)、O₂(z)对当前帧和参考帧高频子带(5)进行重建(6)得到相应的高频重建图(HFSI)。对于2-D图像，位移矢量(l₁，l₂)包含四种位移模式：(0，0)，(0，1)，(1，0)和(1，1)，其中“0”和“1”分别表示偶位移和奇位移。由于不能提前确定位移矢量，因此，对于参考帧，将根据位移模式选取相应的OSHF(O_2，0(z)和O_2，1(z))，重建出具有这四种位移模式的HFSSI作为运动估计时的参考，四个参考帧按顺序编号为0～3。图9是四种运动模式下得到的HFSSI；

3)利用当前HFSI和四个参考HFSI进行运动估计(7)，由于运动相关性，可以使用低频块运动矢量预测相应位置高频块运动矢量(8)，得到高频块运动矢量(10)；

4)利用运动矢量得到当前HFSI的预测图像，然后对它解构得到相应的预测高频系数；

5)量化并使用比特平面方法编码残差。

HoME-OSF方案将这种方法的不足之处在于不具有空域可扩展结构，不能提供灵活的空间可扩展编、解码，但是另一方面，由于仅对低频子带和高频重建图像进行运动估计，将仅产生两组运动矢量，因此用于编码运动矢量的比特数较少，适用于低比特率编码应用。

2.分级运动估计方案(HiME-OSF)

不同于HoME-OSF方案，HiME-OSF方案具有分级结构，按从粗糙级到精细级的顺序对高频子带进行运动估计。它采用可变块运动估计，每一个块的尺寸按小波变换级的不同相应的改变。图10是HiME-OSF方案的结构示意图。

1)视频序列(1)经离散小波变换(2)后，得到低频子带(3)和各级高频子带(5、8和11)。同上种方法相似，同样利用低频子带直接进行块运动估计和补偿(4)，得到低频块运动矢量(17)；

2)对最高变换级高频子带(5)进行优化重建(6)，进行块运动估计(7)，运动估计过程中，可以利用低频块运动矢量对相应位置的高频块运动矢量进行预测；

3)对各级高频子带进行块运动估计，直到所有的高频子带均得到运动矢量(18)为止；

HiME-OSF方案具有分级结构，可以更加精细的描述各级高频系数的运动信息，因此运动估计精度较高，而且更重要的是，这种分级结构具有空间可扩展性，使得小波视频编码可以更加灵活、方便地实现空间可扩展编码，这点对于解决异构网络中视频信息编码、传输问题尤为重要。但相对于HoME-OSF方案，HiME-OSF方案由于对每一级的高频子带进行运动估计，因此将引入较多的运动矢量，如三级变换时，将产生4组运动矢量。

基于上述运动估计方案的新型小波视频编码器可以更加灵活、方便地实现空间可扩展编码，适合于异构网络视频编码需要。

Claims (5)

1.基于优化重建滤波方法的小波域运动估计方案，其特征是：优化重建滤波方法，采用两组优化重建高通滤波器对高频小波系数进行重建，使得高频重建信号具有近似位移不变性.，从而提高小波域运动估计的精度，并建立起相应的小波域运动估计方案。

2.根据权利要求1所述的基于优化重建滤波方法的小波域运动估计方案，建立了重建滤波方法，其特征是：采用两组具有特殊相关性的优化重建高通滤波器，对高频小波系数进行上采样和系数滤波处理，得到的高频重建信号具有近似位移不变性，利用一个信号就可以较精确的预测并重构出另一个信号。

3.根据权利要求1、2所述的基于优化重建滤波方法的小波域运动估计方案，采用两组优化重建高通滤波器，其特征是在原始小波滤波器的基础上，通过位移不变性关系，建立代价函数，最终通过求极值的方法计算得到相应的优化滤波器表达式。

4.根据权利要求1所述的基于优化重建滤波方法的小波域运动估计方案，在优化重建滤波方法的基础上，建立了分级方案，其特征是具有分级可扩展结构，按从粗糙级到精细级的顺序对高频子带分别进行优化重建，然后对每一级高频重建信号进行运动估计，其中在不同变换级上，块的尺寸按小波变换级的不同相应的改变。

5.根据权利要求1所述的基于优化重建滤波方法的小波域运动估计方案，在优化重建滤波方法的基础上，建立了分级方案，其特征是具有整体结构，将所有的高频系数作为一个整体进行优化重建，然后进行运动估计。

Images