CN1159236A - 用于再生紧凑运动矢量场的方法与装置 - Google Patents

Abstract

本发明提供一种方法(300)和装置(100)，用于再生一个紧凑运动矢量场，它描述一个视频序列的两个时间上相邻的帧之间的运动，利用一个先前的紧凑运动矢量场。在这个方法中，一个空间DVF和一个时间DVF被确定(302和304)并求和，以提供一个DVF预测(306)。这一方法和装置使得一个紧凑运动矢量场能被用在一个视频序列的编码和解码过程中。这是非常重要的，因为一个紧凑运动矢量场提供一个质量高得多的当前帧的预测与标准的块匹配运动估计技术比较。至今对于利用一个紧凑运动矢量场的问题是，包含在一个紧凑运动矢量场中的信息太大，以致于不能传送。本发明消除了对于传送任何运动信息的需要。

Description

用于再生紧凑运动矢量场的方法与装置

本发明一般地涉及视频编码，尤其涉及在视频编码中使用紧凑运动矢量场。

在通信领域中，数字视频压缩到极低比特率(VLBR)是一个非常重要的问题。VLBR一般被视为不超过每秒64K比特(Kbps)，且涉及现行的个人通信设备，诸如公用电话转接网和蜂窝设备。为了在这些设备上提供象视频点播和会议电视这类业务，将需要将包含在数字视频序列中的信息压缩1至300倍。为了达到如此大的压缩比，需要去除一个视频序列中存在的所有冗余。

现行的标准如H.261、MPEG1和MPEG2通过利用块运动补偿离散余弦变换(DCT)方法提供数字视频序列压缩。这一视频编码技术通过利用两步骤过程去除视频序列中存在的冗余。第一步，一个块匹配(BM)运动估计和补偿算法估计发生在时间上邻接的两个帧之间的运动，然后这些帧被补偿以估计的运动并进行比较，以形成一个差图象。通过取两时间上邻接的帧之间的差，所有现存的时间上的冗余被去除。保留的唯一的信息是在运动估计和补偿算法中不能被补偿的新信息。

第二步，利用DCT将这一新信息变换到频域，DCT具有将这一新信息的能量压缩成为几个低频分量的特性。进一步，通过限制已编码的高频信息的数量获得视频序列的压缩。

通过这种方法提供给视频编码的大多数压缩，是通过运动估计和补偿算法获得的。就是说，与传送关于亮度和色彩的信息相对，传送考虑存在于视频序列中的运动的信息将更为有效。该运动信息用矢量表示，这些矢量从当前亮度帧中的特定位置指向起源于先前亮度帧的相同位置。对于BM，这些位置是预先确定的尺寸相等的非重叠块，包含在这些块中的所有象元都被假定具有相同的运动。通过在时间上邻接的先前帧中预先确定的搜索区域内搜索，找到与视频序列的当前帧中特定块相关联的运动矢量，作为最佳匹配。这一最佳匹配通常用两个块之间的均方误差(MSE)或平均绝对误差(MAD)确定，运动矢量从当前帧中的块中心指向先前帧中提供最佳匹配的块中心。

利用估计的运动矢量，先前帧的一个副本通过每个矢量被改变，以产生当前帧的一个预测，该运算被称为运动补偿。如前所述，将该预测帧从当前帧中减去，产生一个差值帧，它通过DCT被变换到空间频域。这些空间频率系数被量化和熵编码，提供原始视频序列的进一步压缩。运动矢量和DCT系数均被传送至解码器，在那里执行逆运算以产生解码的视频序列。

在视频压缩中，紧凑运动矢量场提供高得多的当前帧的预测质量，这是众所周知的。然而，因为紧凑运动矢量场中每一个象元单元即象元拥有一个与其关联的运动矢量，视频序列中这样一个运动表达式过大以至阻碍其传送。因此，对于运动估计和补偿，视频编码器不得不利用BM方法。一种将允许在视频编码器中使用紧凑运动矢量场的方法与装置将是非常有利和可行的。

图1是根据本发明的用于再生紧凑运动矢量场DVF的一种装置的最佳实施方式图，该DVF用于在一运动补偿视频编码器中使用。

图2是根据本发明的用于再生紧凑运动矢量场DVF的一种装置的最佳实施方式图，该DVF用于在一运动补偿视频解码器中使用。

图3是根据本发明的用于再生紧凑运动矢量场DVF的一种方法的步骤流程图。

下面将描述的方法与装置使得紧凑运动矢量场能用于一个视频序列的编码过程。具体地，描述一种方法和装置，其中，用于编码和解码过程的紧凑运动矢量场是根据先前的紧凑运动矢量场预测的。利用该预测的紧凑运动场去除对传送任何运动信息的需要。因此，传送一个紧凑运动矢量场的问题通过下面所描述的方法与装置被完全缓和。

为了描述该方法与装置，关于输入的视频序列做某些假设。具体地，假设视频源为数字格式，其中每行的象元个数、每帧的行数及每秒的帧数在编码过程之前已知，每个象元用0到255之间的8比特整数表示亮度和色度分量。如上所述，这些假设仅是为帮助简化该方法与装置的描述而做，而且将不看做为应用到这些假设不成立的场合的约束。

图1，参考数100，是根据本发明的用于再生一紧凑运动矢量场DVF的一种装置的最佳实施方式图，该DVF用于在一运动补偿视频编码器中使用。该装置包含一个空间DVF确定器(102)、一个时间DVF确定器(104)、一个先前预测的紧凑运动矢量的因果局部邻域(106)及一个运动补偿视频编码器(108)。基于一个运动物体的边界估计(130)、一个先前的DVF(146)及一个预测的当前紧凑运动矢量的局部邻域(136)，空间DVF确定器确定当前DVF的预测(128)。基于一个运动物体的边界估计(130)、一个先前的DVF(146)，时间DVF确定器确定当前DVF的预测(142)。空间预测(128)和时间预测(142)被合并(154)，导致最终DVF预测(156)。最终的DVF预测(156)与当前亮度帧(150)和一个先前的亮度帧(152)一道，被输入到运动补偿的编码器(108)。基于最终的DVF预测(156)、当前亮度帧(150)及先前亮度帧(152)，运动补偿的视频编码器(108)减少解码器所需的信息量以产生目前亮度帧(150)。

该空间DVF确定器(102)由一个空间运动补偿单元(110)、一个包含空间自回归(AR)预测系数(114)的查阅表及一个空间DVF预测器(118)组成。该空间DVF确定器(102)或者可用一个专用集成电路(ASIC)，或者门阵列，或者一个数字信号处器(DSP)实现。

利用一个运动物体边界估计(130)和根据一组相邻的先前亮度帧的DVF估计(146)，空间运动补偿单元(110)确定当前运动物体边界的预测(132)。下面的表达式用来产生这一预测 ${\tilde{l}}_k(r+{\hat{d}}_{k-1}\left(r\right))=l_{k-1}\left(r\right),----\left(1\right)$ 其中，

(r)表示当前运动物体边界的预测(132)， (r)表示在先前估计的DVF(146)中位置r＝(i，j)^T处的紧凑运动矢量。基于运动物体边界预测(132)，预先确定的AR预测系数的一个子集 (134)从查阅表(114)中选择，以用于空间DVF预测器(118)。

预先设定的因果AR预测系数(114)作为典型经验地求取。通常，最小二乘估计方法或者用于原型上，或者用于先前估计的DVF上。基于AR预测系数的子集(134)和预测的紧凑运动矢量的局部邻域(136)，空间DVF预测器(118)确定一个DVF的预测。预测运算由下列方程描述 ${\stackrel{=}{d}}_k(i,j)=\underset{m,n\∈R}{\mathrm{\Σ}}a(m,n|l_k\left(r\right))\·{\tilde{d}}_k(i-m,j-n),----\left(2\right)$ 其中 (i，j)(128)是发生在当前图象帧中象元位置r≡(i，j)处的运动的预测，该预测基于一个预测的紧凑运动矢量 (i，j)局部邻域(136)和AR预测系数 (134)，这里 (r)表示当前运动物体边界的预测，m和n为整数。预测的紧凑运动矢量的局部邻域(136)R由空间DVF预测(128)与时间DVF预测(142)的和(154)导出。时间DVF预测(128)将在下面详细讨论。

预测的紧凑运动矢量的局部邻域R是一个存储器件，它将预测的紧凑运动矢量存储在下述的象元位置：直接向左的一列的象元(i，j-1)，向上一行且向左一列的象(i-1，j-1)，向上一行的象元(i-1，j)，以及向上一行且向右一列的象元(i-1，j+1)。该局部邻域R被存储在局部邻域存储器件(106)中。应该注意到，R的选择是在实施时作出的，并且依赖于遍巡表示图象以及特定时刻紧凑运动信息的两维数据集所使用的方法。对于该特定的R，假设数据是从顶行开始，每行从左至右进行存取的。用于遍巡图象和紧凑运动数据的其它方法也可使用，这将需要对局部邻域R略加修改，但是运算将仍是相同的。

时间DVF确定器(104)由一个时间运动补偿单元(122)、一个包含时间自回归(AR)预测系数(140)的查阅表及一个时间DVF预测器(118)组成。利用一个运动物体边界估计(130)和根据一组相邻的先前亮度帧的DVF估计(146)，基于先前的DVF(146)，时间运动补偿单元(122)确定当前DVF的预测(144)。该时间DVF确定器(104)或者可用一个专用集成电路(ASIC)，或者一个门阵列，或者一个数字信号处器(DSP)实现。

因为时间抽样率通常较高，在美国为30帧/秒而在欧洲为25帧/秒，假设运动中的物体在几帧内将继续在同样的方向上运动，因此，基于来自一组相邻的先前亮度帧的DVF估计，将从一组相邻的先前亮度帧的DVF估计获得一个当前DVF的好的表达式。时间运动补偿单元(122)通过用其自身运动补偿先前的DVF(146)提供当前DVF(144)的这一表达式。时间运动补偿单元(122)所执行的运算由如下方程表征 ${\stackrel{\backslash }{d}}_{k-1}\left(r\right)={\hat{d}}_{k-1}(r-{\hat{d}}_{k-1}\left(r\right)),----\left(3\right)$ 如同上面对空间DVF确定器所描述的那样，其中，

(r)(146)表示在先前估计的DVF中位置r＝(i，j)^T处的紧凑运动矢量，而

(r)是先前估计的DVF的运动补偿形式。

利用先前估计的DVF的运动补偿(144)和先前运动物体边界估计(130)，该时间DVF预测器(120)确定当前DVF(142)的时间上的预测。基于先前的运动物体边界估计l_k-1(r)(130)，预先确定的时间AR预测系数的一个子集b(m，n|l_k-1(r))(134)从查阅表(116)中选择，以用于时间DVF预测器(120)。

因为，对于由时间DVF预测器(120)使用，完全运动补偿的先前DVF(144)是现成的，预先确定的时间AR预测系数集(116)不再受所用的特殊的数据存取方法的约束。该时间AR预测系数也作为典型经验地求取。通常，最小二乘估计方法或者用于原型上，或者用于先前估计的DVF上。基于时间AR预测系数的子集(140)和运动补偿的先前DVF(144)，时间DVF预测器(120)确定DVF的预测。预测运算由下列方程描述 ${\stackrel{-}{d}}_k(i,j)=\underset{m,n\∈R}{\mathrm{\Σ}}b(m,n|l_{k-1}\left(r\right))\·{\stackrel{\backslash }{d}}_{k-1}(i-m,j-n),----\left(4\right)$ 其中 (r)(142)是发生在当前图象帧中象元位置r≡(i，j)的象元处的运动的预测，该预测基于运动补偿的先前紧凑运动矢量 (i，j)(144)的局部邻域R和AR预测系数b(m，n|l_k-1(r))(140)。

如上所述，因为完全已知

(i，j)(144)不存在哪些紧凑运动矢量可包含在邻域R中的限制，这如同关于在空间预测局部邻域(136)的情形。然而，紧凑运动矢量之间的空间距离愈大，相关很可能愈小。因此，该邻域R，它不同于局部邻域R(136)，被选择以空间上最接近

(i，j)。邻域R由运动补偿的先前DVF(144)中下列象元位置构成，参照象元(i，j)：正好在该列左边的象元(i，j-1)，在该行之上的象元(i-1，j)，在该行之下的象元(i+1，j)，以及右边一列的象元(i，j+1)。

当前DVF的最终预测 (156)是通过对空间DVF预测

与时间DVF预测 求和(154)获得的。所得到的当前DVF的最终预测 (156)由运动补偿视频编码器(108)使用，以去除出现在视频序列中的时间冗余。因为在解码器，先前的运动物体边界估计(130)和先前的DVF估计(146)是现成的，不需要运动信息的传送，代之以在解码器再生运动信息。求和(154)可用一加法器或DSP执行。

图2，参考数200，是根据本发明的用于再生一紧凑运动矢量场DVF的一种装置的最佳实施方式图，该DVF用于在一运动补偿视频解码器中使用。该装置包含一个空间DVF确定器(202)、一个时间DVF确定器(204)、一个先前预测的紧凑运动矢量的因果局部邻域(206)及一个运动补偿的视频解码器(208)。基于一个运动物体的边界估计(230)、一个先前的DVF(246)及一个预测的当前紧凑运动矢量的局部邻域(236)，空间DVF确定器确定当前DVF的预测(228)。基于一个运动物体的边界估计(230)、一个先前的DVF(246)，时间DVF确定器确定当前DVF的预测(242)。空间预测(228)和时间预测(242)被合并(254)，导致最终DVF预测(256)。最终DVF预测(256)是在相应的视频编码器(100)中产生的最终DVF预测(156)的再生型式，这一再生的DVF(256)与一个解码的先前亮度帧(252)和编码的新信息(250)一道，被输入到运动补偿的解码器(208)。基于这些输入，该运动补偿视频解码器对经过相应的运动补偿视频编码器(108)压缩的视频序列进行解码。

图3，参考数300，是根据本发明的用于再生一紧凑运动矢量场DVF的一种方法的各步骤的流程图。第一步，基于一运动物体边界估计和一局部邻域，确定一个空间DVF(302)。这一步包括：对一个先前运动物体边界估计进行运动补偿，以提供一个当前运动物体边界估计；存取一组空间自回归AR预测系数；以及通过利用该空间AR预测系数和最终当前DVF预测的局部邻域预测该空间DVF。在任何时侯，先前的DVF是通过自身补偿的。下一步，基于一个DVF估计和上述运动物体边界估计，确定一个时间DVF。这一步包括：存取一组时间AR预测系数；对一个位移矢量场估计进行运动补偿；以及通过利用该时间AR预测系数和运动补偿的先前DVF，预测当前的DVF。在空间和时间DVF预测均是现成的之后，当前DVF的最后预测通过这两种预测一起求和产生(306)。然后，局部空间邻域被更新。

尽管上面描述了典型实施方式，但对技术熟练的人们而言，显而易见的是可以不脱离本发明而做许多改动和改进。因此，预期所有这样的改动和改进将被包含在如附加的权利要求书中所规定的本发明的精神和范围之内。

Claims (10)

1.一种用于再生紧凑运动矢量场的方法，包括：

用一个空间DVF确定器，基于一个运动物体边界估计和一个先前DVF预测的局部邻域，确定一个空间DVF；

用一个时间DVF确定器，基于一个DVF估计和上述运动物体边界估计，确定一个时间DVF；

用一个加法器，求空间DVF和时间DVF之和，以提供一个DVF预测；以及

基于上述DVF预测，更新先前DVF预测的局部邻域。

2.权利要求1的方法，其特征在于至少2A-2K之一：

2A)其特征在于确定一个空间DVF包括：

用一个运动补偿器，对一个运动物体边界估计进行运动补偿；

用一个存储单元中的查阅表，基于运动补偿的运动物体边界估计，提供一个空间自回归预测系数集；以及

用一个空间DVF预测器，基于上述空间自回归预测系数集和一个局部邻域，预测一个空间DVF；

2B)其特征在于确定一个时间DVF，包括：

用一个存储单元中的查阅表，基于上述运动物体边界估计，提供时间自回归预测系数集；

用一个运动补偿器，对一个紧凑运动矢量场DVF估计进行运动补偿；

用一个时间DVF预测器，基于上述时间自回归预测系数集和一个运动补偿过的DVF估计，预测一个时间DVF；

用一个加法器，求上述空间DVF和时间DVF之和，以提供一个DVF预测；以及

基于上述DVF预测，更新先前DVF预测的局部邻域。

2C)进一步包括，基于上述DVF预测和一个先前帧估计将一个当前帧编码；

2D)进一步包括，基于上述DVF预测和一个先前帧估计将一个编码的当前帧解码；

2E)其特征在于预测上述空间DVF包括：

将每一个空间自回归预测系数与一个相应的局部邻域的元素相乘，以提供一组空间乘积；以及求诸空间乘积之和；

2F)其特征在于预测上述时间DVF包括：

将每一个时间自回归预测系数与一个相应运动补偿的DVF估计相乘，以提供一组时间乘积；以及求诸该时间乘积之和；

2G)其特征在于局部邻域被全部预置为零；

2H)其特征在于该方法的步骤被具体实施于一个属于/用于数字信号处理器DSP的有形媒体中。

2I)其特征在于该方法的步骤被具体实施于一个属于/用于专用集成电路ASIC的有形媒体中。

2J)其特征在于该方法的步骤被具体实施于一个属于/用于门阵列的有形媒体中。

2K)其特征在于该方法的步骤是以计算机软件的形式被具体实施于有形媒体中。

3.权利要求1的方法，其特征在于该方法的步骤被具体实施于一个属于/用于计算机的有形媒体中。

4.权利要求3的方法，其特征在于有形媒体是计算机磁盘。

5.权利要求3的方法，其特征在于有形媒体是计算机的存储单元。

6.一种用于再生一个紧凑运动矢量场的装置，包括：

一个局部邻域，在一个存储器件中，被连接以接收一个预先确定的初始值，用于存储DVF预测；

一个空间DVF确定器，被连接以接收上述DVF预测、一个运动物体边界估计及一个DVF估计，以提供一个空间DVF；

一个时间DVF确定器，被连接以接收上述运动物体边界估计和一个DVF估计，以提供一个时间DVF；以及

一个加法器，有效地至上述空间DVF估计器和时间DVF估计器，用于对上述空间DVF和时间DVF求和，以提供一个DVF预测，上述局部邻域基于该DVF预测被更新。

7.权利要求6的装置，其特征在于至少7A-7G之一：

7A)其特征在于上述空间DVF确定器进一步包括：

一个空间运动补偿单元，被连接以接收一个运动物体边界估计，用于提供一个运动补偿的运动物体边界估计；

一个空间自回归预测系数表，被连接以接收上述运动补偿的运动物体边界估计，用于基于上述运动补偿的运动物体边界估计，提供一个空间自回归预测系数集；以及

一个空间DVF预测器，有效地连接至局部邻域和空间自回归预测系数表，用于对空间自回归预测系数与局部邻域的元素的乘积求和，以提供一个空间DVF；

7B)其特征在于上述时间DVF确定器进一步包括：

一个时间自回归预测系数表，被连接以接收上述运动补偿的运动物体边界估计，用于提供一个时间自回归预测系数集，基于上述运动补偿的运动物体边界估计；

一个时间运动补偿单元，被连接以接收一个DVF估计，用于提供一个运动补偿的DVF估计；

一个时间DVF预测器，有效地连接至时间自回归预测系数表和时间运动补偿单元，用于对时间自回归预测系数与运动补偿的DVF估计的乘积求和，以提供一个时间DVF；

7C)进一步包括一个运动补偿的视频编码器，有效地连接至加法器，以接收一个当前帧和一个先前帧估计，用于对当前帧编码，基于上述DVF预测和先前帧估计；

7D)进一步包括一个运动补偿的运动补偿视频解码器，有效地连接至加法器，以接收一个编码的帧和一个先前帧估计，用于基于上述DVF预测和先前帧估计，对编码的帧解码；

7E)其特征在于该装置以一个数字信号处理器DSP形式被体现；

7F)其特征在于该装置以一个专用集成电路ASIC的形式被体现；以及

7G)其特征在于该门阵列的形式被体现。

8.权利要求6的装置，其特征在于该装置被具体实施于一个属于/用于的有形媒体中。

9.权利要求8的装置，其特征在于有形媒体是计算机磁盘。

10.权利要求8的装置，其特征在于有形媒体是计算机的存储单元。

Images