CN1251509C - 帧序列的编码方法 - Google Patents

Abstract

本发明涉及一种利用三维(3D)子带分解对帧序列进行编码的方法，它涉及对被视为3D量的帧应用的滤波步骤，在运动估计和补偿之后，对连续帧组应用分解，所述补偿导致对应于未覆盖区的双连接像素。提供了最小化标准用于在当前帧中挑选产生细目子带的最小能量的像素作为基准帧的双连接像素的时间滤波。3D分解的时间部分可以是时间小波变换，它包括基于提升方案的时间滤波，包括在所述方案的预测步骤中利用对基准帧中相邻窗口的像素平均的重叠运动补偿。

Description

帧序列的编码方法

技术领域

本发明一般涉及视频压缩，更具体地说，涉及一种利用三维(3D)子带分解对帧序列进行编码的方法，所述编码涉及应用于3D时空数据的空间和时间滤波步骤，其中3D时空数据对应于所述被视为3D量的帧序列，仅在各级时间分解上的低频时间子带中对各组的帧实现了基于块的运动估计和补偿运算之后，才将所述分解应用于这些连续的帧组；并且该补偿运算导致在过滤像素中产生双连接像素，这些双连接像素对应于当前帧中运动期间成为未覆盖的基准帧的区域。

背景技术

多媒体应用的最新发展以及对在多机种网络上传送压缩比特流的需要已导致把可缩放性看作视频编码器的一个极为重要的特性。三维(3D)小波分解提供了自然的空间分辩率和帧速率的可缩放性。嵌入编码算法，如在例如B.-J.Kim和W.A.Pearlman的“利用三维分级树中集合分割(SPIHT)的内嵌小波视频编码器”(Proceedings of DataCompressin Conference，Snowbird，USA，March 25-27，1997，pp.251-260)中所述的3D SPIHT算法，该算法通过采用对多级树中系数的彻底扫描以及位平面编码，产生所希望的SNR可缩放性。应用于帧序列的全局编码/解码方案可包括沿连续帧之间运动方向的时域多分辨率分析法，以便考虑较大位移(更准确地说，在每个分辩率等级对进行了运动补偿后的帧应用哈尔(Haar)滤波)，所述时域分析法之后是对所得到的时间子带的空间多分辩率分析。编码方法是上下文算术编码器所遵循的改进3D SPIHT。通过这种方法，在时间和空间分辩率以及在质量上实现了可缩放性。

然而，尽管针对可缩放编码算法以及空间小波变换的可能改进进行了一些工作，但在3D分解中所用的时间小波变换的特殊性的开发方面却几乎没有成绩。由于运动估计步骤而使时间小波变换本身是非线性的。在例如I.Daubechies和W.Sweldens的“将小波变换分解为提升(lifting)步骤”(Journal of Fourier Analysis applications，vol.4，N°3，1998，pp.247-269)中描述的所谓的提升方案提供了一种灵活的构架来构建小波变换(它在处理一维信号以及为图像编码或特征析取提供适当分解方面的重要性已经得到证明)。这种方案的优点在于复杂度(“就地”计算)和附加功能两个方面：不仅可以用这种形式表达每个线性小波分解，而且它还允许在预测更新步骤中引入非线性运算符。

与时域多分辩率分析法有关的重要问题是时间滤波长度的选择：长滤波更有利地利用了连续帧之间存在的时间相关性。不过，在J.R.Ohm的“具有运动补偿的三维子带编码”(IEEE Transactions onImage Processing，vol.3，no.5，1994，pp.559-571)中表明，所述长滤波确实模糊了运动并增加了缓冲存储器的要求(对应于滤波长度)以及解码器侧的重构延迟，这一点在实时应用中可能是不希望的。此外，执行具有较长滤波的时域分析并没有显著地提高编码效率。因此，哈尔滤波更适合用于时间滤波。另外，当哈尔滤波被用于时间分解时，由于用2进行时间向下采样，因而输入序列中每两个帧才执行运动估计和运动补偿(ME/MC)。通过在几个分解等级对时间近似子带重复进行该过程，ME/MC运算的总数与预测方案大致相同。

但是，运动补偿时间滤波引起了双连接或不连接像素的问题、即进行了两次滤波或根本没有进行滤波的像素的问题。S.J.Choi和J.W.Woods的“视频的运动补偿3D子带编码”(IEEE Trans.On ImageProcessing，vol.8，no.2，pp.155-164，Feb.1999)中提议了一种解决方案，这种方案可以在与当前帧中的像素相同的位置上计算高通系数，以及将运动补偿基准帧中的共存像素理解为低通系数。在多连接像素的情况下，可能从上到下、从左到右扫描当前帧，并可能为低通系数的计算考虑当前帧中指向它的第一像素。尽管如此，它看来不是最佳策略。

在给定分辩率等级上，可以用H[m，n]表示时间高频子带中的像素，用L[m，n]表示低频子带中的像素，以及用(u_m，n，v_m，n)表示与像素(m，n)相关的运动矢量的两个分量。如果允许分数像素运动估计，则运动矢量的整数部分将由( u_m，n， v_m，n)表示。因此，在Choi的方法中，用于计算连接像素的高通及低通子带的方程式如下所示：

$\left(1\right)---H[m,n]=\left(B\right[m,n]-\tilde{A}[m-u_{m,n},n-v_{m,n}\left]\right)/\sqrt{2}$

$\left(2\right)---L[m-{\stackrel{\‾}{u}}_{m,n},n-{\stackrel{\‾}{v}}_{m,n}]=\left(\tilde{B}\right[m-{\stackrel{\‾}{u}}_{m,n}+u_{m,n},n-{\stackrel{\‾}{v}}_{m,n}+v_{m,n}]+A[m-{\stackrel{\‾}{u}}_{m,n},n-{\stackrel{\‾}{v}}_{m,n}\left]\right)/\sqrt{2}$

其中，

表示场X的内插值。对于未连接像素，和前面一样得到高频分量，而低频值只是参考像素的换算值：

$\left(3\right)---L[m,n]=A[m,n]\·\sqrt{2}$

作为哈尔变换提升方案的特例，可能将运动方向中的时间低通滤波写为：

$\left(4\right)---L[m-{\stackrel{\‾}{u}}_{m,n},n-{\stackrel{\‾}{v}}_{m,n}]=\tilde{H}[m-{\stackrel{\‾}{u}}_{m,n}+u_{m,n},n-{\stackrel{\‾}{v}}_{m,n}+v_{m,n}]+\sqrt{2}A[m-{\stackrel{\‾}{u}}_{m,n},n-{\stackrel{\‾}{v}}_{m,n}]$

综合(1)来考虑，该等式能够推导出用于时间哈尔提升中非线性运算符P(预测)和U(更新)的形式。可以看出，P是运动补偿运算符(C)，在分数像素运动估计的情况下，其后进行内插(I)。同时，U可被确定为运动补偿运算符，它采用与P中相同的运动矢量，但符号相反，其后是一个内插。结果，这些运算将表示为：

P{.}＝I{C{.}}

以及U{.}＝I{ C{.}}

以及(p，q)的位置(m- u_m，n，n- v_m，n)。

采用这些符号表示法，连接像素的时域分析可以写为：

$H[m,n]\frac{1}{\sqrt{2}}\left(B\right[m,n]-I\{C\left\{A\right[m,n\left]\right\}\left\}\right)$

$L[p,q]=I\left\{\stackrel{\‾}{C}\right\{H[p,q]\left\}\right\}+A[p,q]\·\sqrt{2}$

对于综合部分，有：

$\left(7\right)---A[p,q]=\frac{1}{\sqrt{2}}\left(L\right[p,q]-I\{\stackrel{\‾}{C}\left\{H\right[p,q\left]\right\}\left\}\right)$

对于连接像素(基准帧中的未连接像素直接由上述式(3)得出)，以及：

$\left(8\right)---B[m,n]=\sqrt{2}H[m,n]+I\left\{C\right\{A[m,n\}\left\}\right\}$

发明内容

因此，本发明的第一目的是采用这种提升公式来修改更新运算符，以便改善未覆盖区的处理。

为此，本发明涉及一种在说明书的前言部分中定义的编码方法，其特征还在于：在双连接像素的所述识别步骤之后判定步骤，该步骤基于最小化标准，提供所述最小化标准用于在当前帧中挑选得到细节子带(detail subband)的最低能量的像素，作为进行时间滤波的基准帧的双连接像素，所考虑能量是高频时间子带中所述双连接像素的平均能量，以及通过低通滤波运算计算所述平均能量。

所提议的技术解决方案用于将基准帧A中给定位置上的像素与当前帧B中其最接近的值相关，该像素通过使细节子带的能量最小而获得。

在一个有利的特定实施例中，提供了所述最小化标准，用于将执行与候选连接像素相关的运动矢量标准的最小化的第二标准与所述能量标准结合在一起。

在这种情况下，所述根据运动矢量标准的最小化标准可采用适用于所述标准的值的阈值，以便不考虑太大的运动矢量的优化。

本发明的另一目的是采用提升公式来对更新运算符进行修改，以便减少与基于块的运动补偿有关的成块人工信号。

为此，本发明涉及一种如上所定义的编码方法，其中，所述3D分解的时间部分是时间小波变换，该变换包括以所谓提升方案为基础的时间滤波，该方案包括在各分解等级依次地分离步骤、预测步骤以及更新步骤；所述方法的特征还在于：所述时间滤波包括在预测步骤中利用基准帧中相邻窗口的像素的平均的重叠运动补偿，以减少由基于块的运动估计引起的成块人工信号。

根据本发明，提供了一种利用三维子带分解对帧序列进行编码的方法，所述编码涉及对对应于被视为三维量的所述帧序列的三维时空数据所应用的空间和时间滤波步骤，所述时间滤波步骤是一个导致决定运动矢量的运动补偿滤波步骤，仅在各级时间分解上的低频时间子带中对各组的帧实现了基于块的运动估计和补偿运算之后才对连续帧组应用所述分解；并且这种补偿运算导致过滤后的像素中的双连接像素，所述双连接像素对应于当前帧中运动期间成为未覆盖的基准帧的区域，所述方法的特征还在于：所述双连接像素识别步骤之后进行基于最小化标准的决定步骤，用于在当前帧中挑选产生细目子带的最低能量的像素用于所述基准帧的双连接像素的时间滤波，所考虑能量是高频时间子带中所述双连接像素周围的平均能量，并且通过低通滤波运算计算所述平均能量。

具体实施方式

未连接及双连接像素的问题与运动目标所移去覆盖的区域密切相关。实际上，考虑与时间T时某帧中的公共部分对应而在时间T+ΔT时变得分开的两个对象。在这种情况下，当前帧中的两个区域将通过运动补偿而对应基准帧(或前帧)中的相同区域。对于这些对象之一，该区域将是未覆盖区域。该区域将作为基准帧中的双连接。对于所引用文件“视频的运动补偿3D子带编码”中所述的方法，将运动补偿过程中遇到的第一个块与这些双连接像素相关，该方法提议通过应用基于提升方案的某些标准来优化该选择。这里所用的主要结构属性为：可能将所有从预测步骤(高频子带)中得到的信息以及低频子带中的原因信息用于更新步骤(时间低频子带的计算)。

与提议的第一种标准相应的基本思想涉及两个移动对象的细节子带的能量。如果在时间T第一对象处于前台，则第二对象中的未覆盖区域将产生较高的细节因数能量。第二标准是运动场正则化的条件：如果几个像素连接到基准帧中的同一个像素，则具有最小位移的那个像素将被选择用于滤波。

这些思想可以在上述非线性提升构架中形式化。在基准帧中多连接像素的情况下，如果考虑这些像素中处于位置(p，q)上的一个像素以及当前帧中位置(m₁，n₁)和(m₂，n₂)上由运动估计算法找到的两个像素，这两个像素具有两个相应运动矢量(U_m1，n1，v_m1，n1)和(U_m2，n2，v_m2，n2)，则有：

$\left(9\right)---m_1-{\stackrel{\‾}{u}}_{m_1,n_1}=m_2-{\stackrel{\‾}{u}}_{m_2,n_2}=p,n_1-{\stackrel{\‾}{v}}_{m_1,n_1}=n_2-{\stackrel{\‾}{v}}_{m_2,n_2}=q$

采用这个结果，可以对两个像素(m₁，n₁)和(m₂，n₂)中的每个像素写成等式(5)和(6)，在细节子带中得到两个不同的值H[m₁，n₁]和H[m₂，n₂]。因此，可以用这两个值中的任何一个来计算近似子带中的值(可以注意到，两个值允许完全重构)。实际上，P_(p，q)表示当前帧中与基准帧中像素(p，q)连接的所有像素(m，n)的集，可以注意到，对任何运算符f均保证完全重构特性，从而：

$\left(10\right)---L[p,q]=f\left(\tilde{H}\right[m-{\stackrel{\‾}{u}}_{m,n}+u_{m,n},n-{\stackrel{\‾}{v}}_{m,n}+v_{m,n}],(m,n)\∈P_{(p,q)})+A[p,q]\·\sqrt{2}$

选择运算符f的一个标准是使细节子带的能量最小，从而将A[p，q]与其在帧B中“最接近”的值相关联。这就意味着对像素(m₀，n₀)进行低通滤波，从而：

$\left(11\right)---\left|I\right\{\stackrel{\‾}{C}\left\{H\right[m_0-{\stackrel{\‾}{u}}_{m0,n0},n_0-{\stackrel{\‾}{v}}_{m0,n0}\left]\right\}\left\}\right|={\min }_{(m,n)\∈p_{(p,q)}}\left|I\right\{\stackrel{\‾}{C}\left\{H\right[m-{\stackrel{\‾}{u}}_{m,n}n-{\stackrel{\‾}{v}}_{m,n}\left]\right\}\left\}\right|$

对于Choi的算法，在所提议的算法中，不必向解码器发送分类映射(例如哪些像素已连接而哪些像素未连接)。由于解码器遵循与编码器对称的过程，因此理论上将用相同分类图得到对高频系数的能量的决定。

尽管如此，根据单个像素的值所做的决定并不够稳固。具体地说，在上一例示中，高频子带中的两个值可能因SPIHT算法中所用的分次量化策略而没有在相同的量化步骤进行量化。因此，将会作出错误决定。然后，通过比较所考虑像素周围的位移帧差(DFD)的平均能量，可以更稳固地作出上述决定。

$\left(12\right)---e{(p,q)}^2=\underset{(k,l)\∈S_{(p,q)}}{\mathrm{\Σ}}{\left(H(p-k,q-l)u(k,l)\right)}^2$

其中S(p，q)是像素(p，q)周围的邻域，而u(k，l)根据其到中心点的距离而对应于邻域S(p，q)中各像素的加权因子。例如，可以选择u(k，l)＝α^(|k|+|l|)，其中α＞0是遗忘因子。

最小化标准中的第二项是运动矢量规范，‖ d_m，n‖＝(u² _m，n+v² _m，n)^1/2。正则化标准可以表示为J(p，q)＝e(p，q)²+λ‖ d_m，n‖，λ是正则化参数。如果运动矢量太大，则其值就不是很可靠，因此可以选择不将其纳入优化的考虑之列。这样得出下列标准：

(13)J(p，q)＝e(p，q)²+λ‖ d_m，n‖，如果‖ d_m，n‖≤s

(14)J(p，q)＝e(p，q)²+λs，如果‖ d_m，n‖＞s

其中s是根据经验确定的阈值。因此，在大于所述阈值的运动矢量上出现某种损失。

然而，基于块的运动估计算法遭致成块人工信号。如果应用于所产生的运动补偿帧的空间变换是小波分析，则这些人工信号将导致不希望的大小波系数，进而导致编码效率的降低。因此，可从上述非线性提升公式推导出的改进涉及时间滤波算法中引入重叠运动补偿的可能性，从而减少成块人工信号。这个运算涉及在预测步骤中采用对基准帧中相邻窗口的像素平均。

例如，如果考虑一个像素的重叠，则属于某块第一行(相应的最后一行)的像素的高通滤波在这种情况下为：

$\left(9\right)---H[m,n]=\frac{1}{\sqrt{2}}\left[B\right[m,n]-\left((1-\mathrm{\β})\tilde{A}\right[m-u_{m,n},n-v_{m,n}]+\mathrm{\β}\tilde{A}[m-1-u_{m-1,n,}n-v_{m-1,n})]$

相应的

$\left(10\right)---H[m,n]=\frac{1}{\sqrt{2}}\left[B\right[m,n]-\left((1-\mathrm{\β})\tilde{A}\right[m-u_{m,n},n-v_{m,n}]+\mathrm{\β}\tilde{A}[m+1-u_{m+1,n,}n+1-v_{m+1,n}])$

其中β为常数，0＜β＜1。

根据下式，对各块的第一(相应地最后的)列应用类似的处理：

$\left(11\right)---H[m,n]=\frac{1}{\sqrt{2}}\left[B\right[m,n]-\left((1-\mathrm{\β})\tilde{A}\right[m-u_{m,n},n-v_{m,n}]-\mathrm{\β}\tilde{A}[m-u_{m,n-1,}n-1-v_{m,n-1})]$

相应地

$\left(12\right)---H[m,n]=\frac{1}{\sqrt{2}}\left[B\right[m,n]-\left((1-\mathrm{\β})\tilde{A}\right[m-u_{m,n},n-v_{m,n}]+\mathrm{\β}\tilde{A}[m-u_{m,n+1,}n+1-v_{m,n+1}]\left)\right]$

常数β用实验方法确定。在本发明的情况下，常数β＝0.2产生最佳结果。

Claims (4)

1.一种利用三维子带分解对帧序列进行编码的方法，所述编码涉及对对应于被视为三维量的所述帧序列的三维时空数据所应用的空间和时间滤波步骤，所述时间滤波步骤是一个导致决定运动矢量的运动补偿滤波步骤，仅在各级时间分解上的低频时间子带中对各组的帧实现了基于块的运动估计和补偿运算之后才对连续帧组应用所述分解；并且这种补偿运算导致过滤后的像素中的双连接像素，所述双连接像素对应于当前帧中运动期间成为未覆盖的基准帧的区域，所述方法的特征还在于：所述双连接像素识别步骤之后进行基于最小化标准的决定步骤，用于在当前帧中挑选产生细目子带的最低能量的像素用于所述基准帧的双连接像素的时间滤波，所考虑能量是高频时间子带中所述双连接像素周围的平均能量，并且通过低通滤波运算计算所述平均能量。

2.如权利要求1所述的编码方法，其特征在于在由最小化所述细目子带能量构成的第一最小化标准上增添第二最小化标准，提供所述第二最小化标准，用于执行与候选连接像素有关的运动矢量规范的最小化。

3.如权利要求2所述的编码方法，其特征在于根据所述运动矢量规范的所述最小化标准采用适用于所述规范的值的阈值，以便不将太大的运动矢量纳入优化的考虑之列。

4.如权利要求1所述的编码方法，其特征在于所述三维子带分解的时间部分是时间小波变换，它包括基于所谓的提升方案的时间滤波，所述提升方案包括在各分解等级依次进行的分离步骤、预测步骤和更新步骤；所述方法的特征还在于：所述时间滤波包括在所述预测步骤中利用所述基准帧中相邻窗口像素的平均的重叠运动补偿，以减少由所述基于块的运动估计引起的成块人工信号。