CN100469142C - 视频编码和解码方法以及相应的设备 - Google Patents

Abstract

本发明涉及视频压缩领域，更具体地涉及一种应用于一个输入帧序列的视频编码方法，在该帧序列中每一帧被细分为任意尺寸的决。该方法包括，对当前帧的至少部分块执行以下步骤：根据每个当前的初始帧和一个先前的重建帧以块为基础生成一个运动补偿帧；生成所述运动补偿帧的残差信号；使用一个所谓的匹配跟踪(MP)算法将每个所述被生成的残差信号分解成被称为原子的编码字典函数，当前帧的其它决通过其它的编码技术处理；编码所述原子和在运动补偿步骤中确定的运动矢量，生成一个输出编码比特流；所述方法是这样运行的，任何原子每次仅作用于一个块B上，所述的块限制导致这样的一个事实：残差信号f的重建是由一个字典获得的，所述字典由一个限制在与索引参数γ_n相应的块B中的基础函数构成，按照下面的二维空间域操作：g_γn|_B(i，j)＝g_γn(i，j)，如果像素(i，j)∈B，g_γn|_B(i，j)＝0，其它(即(i，j)

B)。

Description

视频编码和解码方法以及相应的设备

技术领域

本发明总得涉及视频压缩领域，例如，特别是MPEG家族的视频标准(MPEG-1，MPEG-2，MPEG-4)，以及ITU H26X家族的视频编码建议(H.261，H.263及其扩展)。更具体地，本发明涉及一种应用于一个输入帧序列的视频编码方法，在输入帧序列中，每一帧被细分为任意尺寸的块，所述的方法包括对当前帧的所述块的至少一部分执行以下步骤:

-以块为基础生成一个运动补偿帧，每个运动补偿帧都是由每个当前的初始帧和一个先前的重建帧获得的；

-从所述运动补偿帧生成残差信号；

-使用一个所谓的匹配跟踪(MP:Matching pursuit)算法将每个所述被生成的残差信号分解成被称为原子的编码字典函数，当前帧的其它块通过其它的编码技术处理；

-编码所述原子和在运动补偿步骤中确定的运动矢量，生成一个输出编码比特流；

本发明还涉及一种相应的视频解码方法和用于执行所述的编码和解码方法的编码和解码设备。

背景技术

在目前的视频标准中(直到视频编码MPEG-4标准和H.264建议)，以一个亮度信道和两个色度信道描述的视频能够被被压缩，这有赖于应用于两种应用于每个信道的编码模式:“内编码”模式，利用给定的信道中的每幅图像中的像素(图像元)的空间冗余，以及“间编码”模式，利用各个图像(或帧)之间的时间冗余。依赖于运动补偿操作的间编码模式允许通过对像素从一幅图像到另一幅图像之间的运动进行编码而从一个(或多个)先前解码的图像来描述图像。通常将被编码的当前图像被分割成独立的块(例如，MPEG-4是8×8或16×16，或者H.264的4×4，4×8，8×4，8×8，8×16，16×8以及16×16的尺寸)，这些块中的每一个都被分配一个运动矢量(这三个信道共享此运动描述)。然后，通过根据与每个块有关的运动矢量组置换参考图像中的像素块来构建所述图像的预测。最后，将被编码的当前图像与其运动补偿预测之间的差，或残差信号能够以内编码模式被编码(在主级简档中对于MPEG-4利用8×8离散余弦变换或DCT，对H.264利用4×4DCT)。

DCT可能是最为广泛使用的变换，因为它在大多数编码情况下提供了很好的压缩效率，尤其是在中间或者较高比特率的情况下.但是，在低比特率的情况下，混合运动补偿DCT结构由于两种原因不能提供没有假象的序列。第一，运动补偿帧间预测栅格的结构是可见的，其具有块假象。而且，DCT基础函数的块边缘在图像栅格中是可见的，这是由于量化系数过少，并且过于粗糙，以至于不能补偿这些块假象，并且不能在图像中重建平滑的对象。

名为“基于匹配跟踪的非常低比特率的视频编码(Very 1ow bit-ratevideo coding based on matching pursuits)”的文章，R.Neff和A.Zakhor，有关视频技术电路和系统的IEEE学报，第7卷第1期，1997年2月，第158-171页，描述了一种新的运动补偿系统，该系统包括基于所谓的匹配跟踪(MP)算法的视频压缩算法，该技术在十年之前开发(参见“具有时间-频率字典的匹配跟踪(Matching pursuits withtime-frequency dictionaries)”，S.G.Mallat，和Z.Zhang，有关信号处理的IEEE学报，第41卷第12期，1993年12月，第3397-3414页)。所述技术提供了将任何函数和信号(例如，图像，视频)迭代分解为属于基础函数的冗余字典的的线性波形扩展，其恰好位于时间和频率域，并且被称为原子。可以通过缩放，变换，和调制假定为真实并且持续可区分的单一函数g(t)∈L²(R)生成时间域原子的通常家族。这些字典函数可被定义为:

g_γ(t)∈G(G＝字典组)        (1)

γ(＝伽马)是与每个特定的字典元(或原子)相关的索引参数。如第一篇引用文章所述，假设函数g_γ(t)具有单位范数，即<g_γ(t)，g_γ(t)>＝1，一维时间信号f(t)的分解开始于选择γ使下面的内乘积的绝对值最大:

p＝<f(t)，g_γ(t)>，           (2)

其中p被称为信号f(t)到字典函数g_γ(t)的扩展系数。然后计算残差信号R:

R(t)＝f(t)-p.g_γ(t)        (3)

残差信号以与原始信号f(t)相同的方式被扩展。实际上，原子是给每个γ_k，p_k对的名称，其中k是匹配跟踪过程中的迭代等级。在该迭代过程的所有M级都做完以后(其中每一级n获得一个由γ_n指定的字典结构，扩展系数p_n和被传送到下一级的残差R_n)，原始信号f(t)由信号

近似，信号

是这样获得的字典元的线性组合。当遇到预定的情况时，例如，生成一定数目的扩展系数或者达到了残差的某个能量门限，迭代过程停止。

在上述的第一篇文章中，描述了一种基于所述的MP算法的系统，该系统在低比特率时性能比DCT变换更好，首先，使用被称为重叠块运动补偿的工具对原始图像进行运动补偿，所述工具能够避免或者降低由于混合预测/替代块的边缘而引起的块假象(因此块的边缘是平滑的，并且块栅格很少可见)。在形成了运动预测图像以后，从原始图像中减去预测图像，从而产生运动残差。然后使用扩展到离散二维(2D)域的MP算法编码所述残差，在编码中要选择合适的基础字典(所述字典包括图1所示的2D分离Gabor函数g过度收集)。

然后通过M字典元的线性组合重建残差信号f:

如果字典基础函数具有单位范数，

是在基础函数g_γn和被迭代更新的残差之间的量化内积，也就是说:

$p_n=<f-\underset{k=1}{\overset{k=n-1}{\mathrm{\&Sigma;}}}{\hat{p}}_k\&CenterDot;g_{{\mathrm{\&gamma;}}_k},g_{{\mathrm{\&gamma;}}_n}>---\left(5\right)$

对是原子。在该文章作者所描述的系统中，没有对图像中原子的可能放置位置进行限制(参见附图2)。形成字典组的2D Gabor函数由原型高斯窗定义:

$w\left(t\right)=\sqrt[4]{2},e^{-\mathrm{\&pi;}{t}^2}---\left(6\right)$

单调(1D)离散Gabor函数被定义为缩放的，调制的高斯窗:

$g_{\stackrel{\&RightArrow;}{\mathrm{\&alpha;}}}\left(i\right)=K_{\stackrel{\&RightArrow;}{\mathrm{\&alpha;}}}\&CenterDot;w\left(\frac{i-\frac{N}{2}+1}{s}\right)\&CenterDot;\cos (\frac{2\mathrm{\&pi;\&xi;}(i-\frac{N}{2}+1)}{N}+\mathrm{\&phi;})---\left(7\right)$

其中i∈{0，1，...，N-1}

选择常数

使得具有单位范数，并且 $\stackrel{\&RightArrow;}{a}=(s,\mathrm{\&xi;},\mathrm{\&phi;})$ 分别由一个正缩放，调制频率和相移三个元素构成。如果S是所有三元组

那么该字典具有下列形式的2D分离Gabor函数:

$\begin{array}{cc}{G}_{\stackrel{\&RightArrow;}{\mathrm{\&alpha;}},\stackrel{\&RightArrow;}{\mathrm{\&beta;}}}(i,j)=g_{\stackrel{\&RightArrow;}{\mathrm{\&alpha;}}}\left(i\right)g_{\stackrel{\&RightArrow;}{\mathrm{\&beta;}}}\left(j\right)& i,j\&Element;\{\mathrm{0,1},...N-1\},\stackrel{\&RightArrow;}{\mathrm{\&alpha;}}\end{array},\stackrel{\&RightArrow;}{\mathrm{\&beta;}}\&Element;S---\left(8\right)$

表1中表明了在上述文章中所指出的，形成1D基础组(或字典)的可用字典元组和相关尺寸(像素):

 

K	S<sub>k</sub>     ξ<sub>k</sub>    φ<sub>k</sub>	尺寸(像素)
			0	1.0    0.0   0	1
1	3.0    0.0   0	5
			2	5.0    0.0   0	9
3	7.0    0.0   0	11
			4	9.0    0.0   0	15
5	12.0   0.0   0	21
			6	14.0   0.0   0	23
7	17.0   0.0   0	29
			8	20.0   0.0   0	35
9	1.4    1.0   π/2	3
			10	5.0    1.0   π/2	9
11	12.0   1.0   π/2	21
			12	16.0   1.0   π/2	27
13	20.0   1.0   π/2	35
			14	4.0    2.0   0	7
15	4.0    3.0   0	7
			16	8.0    3.0   0	13
17	4.0    4.0   0	7
			18	4.0    2.0   π/4	7
19	4.0    4.0   π/4	7

为了获得该参数组，使用从一个更大的三元参数组导出的字典来分解运动残差图像的训练组。与训练图像最匹配的字典元被保留在减小的组中。获得的字典被特别设计从而使得原子当其影响没有被限制在它们所在的块的边界时，能够自由地匹配运动残差图像的结构(参见图2，表明了在没有块限制的情况下，在块分割图像中放置的原子的例子)。

但是，引用段落中描述的方法会受到几个限制。第一个限制与Gabor字典的连续结构有关。因为原子在没有限制的情况下能够被放置在所有的像素位置上，并且因此占据多个运动补偿块，MP算法不能够利用有限数目的平滑原子来表示残差信号中的块假象。这就是为什么必须具有几种不同的重叠运动估算的原因，这样才能够限制块假象.如果使用传统的基于块的运动补偿(即，没有重叠窗)，平滑基础函数不适于补偿块假象(实际上，近来已经表明，当残差编码变换的尺寸与运动补偿块的尺寸相匹配时能够获得编码增益)。第三，组合编码帧中的帧内和帧间块是很困难的(在引用文章中，没有DCT帧内宏块存在，可能是为了避免在帧间模式和帧内模式编码的块边界上出现的不连续，Gabor基础函数的平滑结构不能对之很好地建模)。

发明内容

因此本发明的目的是提供一种视频编码方法，在这种编码方法中不存在上述限制。

为此，本发明涉及一种在本说明书的介绍段落中描述的视频编码方法，该方法是这样的:当使用所述的MP算法时，任何原子每次仅在一个块B上使用，所述的块限制导致这样的事实:残差信号f的重建是由一个字典获得的，该字典由一个限制在与索引参数γ_n相应的块B中的基础函数g_γn|_B构成，按照下面的二维空间域操作:

g_γn|_B(i，j)＝g_γn(i，j)，如果像素(i，j)∈B

g_γn|_B(i，j)＝0，其它(即 $(i,j)\&NotElement;B$ )。

这样方法的主要兴趣集中在MP原子被限制到运动补偿块的事实上。其允许更好地模拟残差信号的块状结构，隐含地增大了相同编码成本的字典多样性，并且由于没有块边界之间的干扰而提供了改变MP和DCT转换的可能性。其也避免了采取重叠运动补偿以限制块假象的需要。

本发明的另一个目的是提供一种允许执行所述的编码方法的视频编码设备。

本发明的又一个目的是提供一种允许解码由所述的视频编码方法和设备编码的信号的视频解码方法和设备。

附图说明

下面将参照附图，借助于实例来描述本发明。

附图1表明了在执行匹配跟踪算法中使用的2D Gabor字典的400基础函数的可见显示；

附图2表明了没有块限制的情况下，放置在分块图像中的原子的例子；

附图3表明了根据本发明的混合视频编码器的例子；

附图4表明了用于执行MP跟踪算法的视频编码设备的例子；

附图5表明了块限制匹配跟踪残差编码的情形，其中原子被限制在一个运动补偿栅格之内，并且在每次仅作用在一个块上；

附图6表明了根据本发明的混合视频解码器的例子；

附图7表明了执行MP算法的视频解码设备的例子。

具体实施方式

附图3表明了使用多编码引擎实现混合视频编码器的视频编码设备的简单的方框图。几个编码引擎执行预定的编码技术，例如，编码引擎31可以执行INTRA-DCT编码方法，第二引擎32执行INTER-DCT编码方法，第三引擎33执行匹配跟踪算法。块分割设备34接收输入视频序列的每一帧(“视频信号”)，将图像分割成各种尺寸的独立块，并且确定哪个编码引擎将处理当前的原始块。然后，编码设备35将表示块位置，尺寸以及选定的编码引擎的决定插入到比特流当中。然后当前的原始信号块被传送到选定的编码引擎(在附图3所示情形中为引擎33)。

下面将参照附图4中的简要框图描述匹配跟踪编码引擎，附图4表明了用于执行MP匹配跟踪算法的视频编码设备。一方面，运动补偿装置41接收被指派给编码引擎33的输入视频序列的每个原始信号块，从而确定运动矢量(使用块匹配算法能够方便地找到所述运动矢量)，并且利用运动矢量编码装置42编码这样获得的运动矢量，编码后的矢量被传送到一个复用器43。另一方面，减法器44将当前图像和预测图像之间的残差信号作为输出传送。然后所述残差信号被分解成原子(原子字典被标记为47)，随后编码(模块46)这样确定的原子参数(模块45)。然后，编码的运动矢量和原子参数形成一个被发送的比特流，从而使该序列的每一帧匹配一个预定的条件。

编码引擎33执行对输入比特流的编码，该编码方法包括下面的步骤。首先，在大多数编码结构中，输入序列的初始帧被运动补偿(每一帧都基于先前的重建帧进行运动补偿，并且考虑到随后的传输，将存储在所述的运动补偿步骤中确定的运动矢量)。然后根据当前帧和相关的运动预测帧之间的差来生成残差信号。每个所述的残差信号与构成2D分离Gabor函数集合的字典函数相比较，从而生成由索引参数γ_n，扩展系数p(n)和残差信号R_n(t)-p.g_γ(t)表示的字典结构，其被继续传送到该迭代处理的下一阶段。一旦找到了原子参数，它们就将被编码(与先前确定的运动矢量一起被编码)，这样获得编码信号形成比特流被传送到解码器。

根据本发明所建议的技术解决方案在于对原子对其所在块的边界的影响进行限制。这种块限制意味着每次原子仅作用在一个块上，被限制在运动补偿栅格之中，如图5所示。这种块限制以下述方式改变了信号匹配跟踪算法。

如果假设期望在运动补偿之后在尺寸为M×N像素的块B中获得2D残差信号的MP分解，并且如果指定G|_B为被限制在块B的MP字典，可以通过下面的等式(9)和(10)获得所述字典的元素g_γn|_B为:

g_γn|_B(i，j)＝g_γn(i，j)，如果像素(i，j)∈B

g_γn|B(i，j)＝0，其它(即 $(i,j)\&NotElement;B$ )

在这种情况下，由于g_γn|_B不必具有单位范数，p_n需要被再次加权:

$p_n=\frac{\&lang;f-\underset{k=1}{\overset{k=n-1}{\mathrm{\&Sigma;}}}{\hat{p}}_k\&CenterDot;g_{{\mathrm{\&gamma;}}_k}{\mathrm{}|}_B,g_{{\mathrm{\&gamma;}}_n}{\mathrm{}|}_B\&rang;}{\sqrt{\&lang;g_{{\mathrm{\&gamma;}}_n}{\mathrm{}|}_B,g_{{\mathrm{\&gamma;}}_n}{\mathrm{}|}_B\&rang;}}$

该方法关注以下的事实:由于单独的原子不能跨越多个块，其不需要在块边界处理高频的不连续。相反，其可以与块边界相适应，并且甚至可以通过指定依赖于块尺寸的字典来与块尺寸相适应。而且，由于重叠运动补偿不再强制保持MP效率，因此可以使用传统的运动补偿。

上面描述的编码设备的优选实施例发送一个比特流，该比特流被相应的解码设备接收。在附图6中表明了根据本发明的，使用多个解码引擎执行混合视频解码的视频解码设备的简单的方框图。一方面，块分割解码设备64接收传送的比特流，并且解码当前的块位置，块尺寸，以及解码方法。在附图6所示的情况下，给定了解码方法，比特流元素被传送到相应的解码引擎61或62或63，其依次解码分配的块并且输出视频信号重建块。可用的解码引擎可以是例如INTRA-DCT块解码器61，INTER-DCT块解码器62，和匹配跟踪块解码器63。

附图7进一步描述了匹配跟踪解码引擎的例子，其中示出了执行MP算法的视频解码设备的例子。熵解码设备71接收比特流元素，然后将解码的原子参数传送到原子设备72(原子字典被标记为73)，该设备在指派的视频块内的解码位置处重建匹配跟踪函数，从而形成解码的残差信号。熵解码设备还输出运动矢量，将其传送到运动补偿设备74以根据先前重建的视频信号形成运动预测信号。然后在加法器中将运动预测和重建的残差信号相加，以产生一个视频信号重建块。

Claims (5)

1.一种可应用于一个输入帧序列的视频编码方法，在输入帧序列中每个帧被细分为任意尺寸的块，所述方法包括对当前帧的所述块的至少一部分执行以下步骤：

-通过运动补偿步骤生成一个以块为基础的运动补偿帧，每个运动补偿帧都是由每个当前的初始帧和一个先前的重建帧获得的；

-从所述运动补偿帧生成残差信号；

-使用一个所谓的匹配跟踪MP算法将每个所述生成残差信号分解成被称为原子的编码字典函数，当前帧的其它块通过其它的编码技术处理；

-编码所述原子和在运动补偿步骤中确定的运动矢量，以生成一个输出编码比特流；

所述方法是这样运行的，当使用所述的MP算法时，任何原子每次仅作用在一个块B上，所述的块限制导致这样的一个事实：残差信号f的重建是由一个字典获得的，所述字典由一个限制在与索引参数γ_n相应的块B中的基础函数g_γn|_B构成，按照下面的二维空间域操作：

g_γn|_B(i，j)＝g_γn(i，j)，如果像素(i，j)∈B

g_γn|_B(i，j)＝0，其它

2.一种应用于一个输入帧序列的视频编码设备，在输入帧序列中，每个帧被细分为任意尺寸的块，所述的设备被应用到至少当前帧的所述块的一部分上，并且包括：

-用于通过运动补偿步骤以块为基础生成一个运动补偿帧的装置，每个运动补偿帧是从每个当前初始帧和一个先前的重建帧获得的；

-用于从所述的运动补偿帧生成残差信号的装置；

-用于执行一个所谓的匹配跟踪MP算法的装置，以将每个所述被生成的残差信号分解为被称为原子的编码字典函数，当前帧的其它块通过其它的编码技术处理；

-用于编码每个相关块的所述原子和在运动补偿步骤中确定的运动矢量的装置，从而生成一个输出编码比特流；

所述的设备这样工作：当使用所述的MP算法时，任何原子每次仅作用于一个块B上，所述的块限制导致这样的事实：残差信号f的重建是由一个字典获得的，所述字典由一个限制在与索引参数γ_n相应的块B中的基础函数g_γn|_B构成，按照下面的二维空间域操作：

g_γn|_B(i，j)＝g_γn(i，j)，如果像素(i，j)∈B

g_γn|_B(i，j)＝0，其它

3.根据权利要求2所述的一种视频编码设备，其特征在于字典元的量化内乘积按照下面的方式再次加权：

$p_n=\frac{\&lang;f-\underset{k=1}{\overset{k=n-1}{\mathrm{\&Sigma;}}}{\hat{p}}_k\&CenterDot;g_{{\mathrm{\&gamma;}}_k}{\mathrm{}|}_B,g_{{\mathrm{\&gamma;}}_n}{\mathrm{}|}_B\&rang;}{\sqrt{\&lang;g_{{\mathrm{\&gamma;}}_n}{\mathrm{}|}_B,g_{{\mathrm{\&gamma;}}_n}{\mathrm{}|}_B\&rang;}}.$

4.一种应用于按照权利要求1所述的视频编码方法编码为编码的比特流的比特流的视频解码方法，所述的解码方法包括对相关的块执行以下步骤：

-将包含在所述的编码的比特流中的编码的原子参数和运动矢量分别解码为解码的原子参数和解码的运动矢量；

-从所述被解码的原子参数重建残差信号；

-从所述被解码的运动矢量生成运动补偿信号；

-根据所述的残差信号与所述的运动补偿信号的和生成视频信号的重建块。

5.一种用于解码根据权利要求2所述的视频编码设备编码为编码的比特流的比特流的视频解码设备，所述的解码设备被应用于相关的块，该设备包括：

-用于将包含在所述的编码的比特流中的编码的原子参数和运动矢量分别解码为解码的原子参数和解码的运动矢量的装置；

-用于从所述被解码的原子参数重建残差信号的装置；

-用于从所述的解码运动矢量生成运动补偿信号的装置；

-用于通过将所述的残差信号和所述的运动补偿信号相加生成视频信号重建块的装置。

Images