CN1122419C - 利用对象的总运动矢量对数字化图像进行编码或解码的方法和装置 - Google Patents

Abstract

数字化图像(101)的像点(102)被分组成图块(103)，该图块又被分组成至少一个第一图像区(104)和一个第二图像区(105)。测出总运动矢量(108)，该矢量被用来描述所述第一图像区相对于先前的前图像内的第一图像区的偏移。所述的总运动矢量被分配给第二图像区的所有图块(109)。为所述第一图像区的图块(106)分别测出一个运动矢量(107)。对图块的编码信息、运动矢量以及总运动矢量进行编码。

Description

利用对象的总运动矢量对 数字化图像进行编码或解码的方法和装置

在[1]中曾公开过一种基于块的图像编码方法。

在该图像编码方法中，需编码的图像具备分配有编码信息的像点。

在下文中，编码信息应被理解为流明信息(亮度信息)或色度信息(颜色信息)。

像点被分组成通常含有8*8像点或16*16像点的图块。而所述图块又被分组成宏块。一个宏块具备四个带有流明信息的图块和两个带有色度信息的图块。

为了进行编码，在[1]所公开的方法中采用了一种所谓的混合图像编码方法。这应理解为如下的方法，在该方法中一方面可以为图块执行离散的余弦变换，并只传输谱系数，而另一方面，试图不再传输在相继的数字化图像内所包含的冗余信息。

显然，所述的冗余信息应理解为已经在先前图像内传输过的编码信息。

在此情况下传输的是一种偏移信息。这意味着，需要测出先前图像的图块相对于图像内需编码的图像是怎样作位置偏移的。该偏移是以矢量、亦即运动矢量的形式为每个需编码的图块测出和编码的。该方法被称为运动估测。

本发明基于的是如下问题，即提供一种对数字化图像进行编码及解码的方法和装置，与已知的方法相比，这只需要利用少量的数字信息来描述数字化图像，而不会使重构的图像的主观质量印象变得太坏。

在对具备分配有编码信息的像点的数字化图像进行编码的方法中，所述的像点被分组成图块。该图块被分组成至少一个运动较强烈的第一区和一个在相继的图像之间变化较小的第二区。测出总运动矢量，该矢量被用来描述所述第一区相对于先前的前图像内的第一区的偏移和/或相对于后继的后图像内的第一区的偏移。所述的总运动矢量至少被分配给第二图像区的一部分图块。为所述第一图像区的每个图块分别测出一个运动矢量，并分配给该图块。对图块的解码信息、运动矢量以及总运动矢量进行编码。

在对具备分配有编码信息的像点的压缩图像进行解码的方法中，所述的像点被分组成图块。该图块被分组成至少一个运动较强烈的第一图像区和一个在相继的图像之间变化较小的第二图像区。对图块、所述第一区内图块的运动矢量、以及总运动矢量进行编码。利用所述的总运动矢量来描述所述第一图像区相对于先前的前图像内的第一图像区的偏移和/或相对于后继的后图像内的第一图像区的偏移。如此来实现所述的解码，使得采用所述的总运动矢量来对所述第二图像区的至少一部分图块进行解码。

一种对具备分配有编码信息的像点的数字化图像进行编码的装置，其中把所述的像点分组成图块，把该图块分组成至少一个运动较强烈的第一图像区和一个在相继的图像之间变化较小的第二图像区，该装置具有一种处理器，所述处理器包括：用于测出总运动矢量的装置，该矢量被用来描述所述第一图像区相对于先前的前图像内的第一图像区的偏移和/或相对于后继的后图像内的第一图像区的偏移；用于把所述的总运动矢量分配给第二图像区的至少一部分图块的装置；用于为所述第一图像区的每个图块分别测出一个运动矢量并分配给该图块的装置；以及用于对图块的编码信息、运动矢量以及总运动矢量进行编码的装置。

一种对具备分配有编码信息的像点的压缩图像进行解码的装置，其中把所述的像点分组成图块，把该图块分组成至少一个运动较强烈的第一图像区和一个在相继的图像之间变化较小的第二图像区，对图块、所述第一图像区内图块的运动矢量、以及总运动矢量进行编码，利用所述的总运动矢量来描述所述第一图像区相对于先前的前图像内的第一图像区的偏移和/或相对于后继的后图像内的第一图像区的偏移，所述装置包括一种处理器，该处理器含有：用于解码所述的图像使得采用所述的总运动矢量来对所述第二图像区的至少一部分图块进行解压缩的装置。

通过本发明可以减小为传输数字化图像所需的数据速率，或者说可以较好地利用整个可用的数据速率，而这可用来改善图像的质量。

在一种扩展方案中，优选地从第一图像区的图块的运动矢量中测出所述的总运动矢量。该总运动矢量利用该方法准确地描述了所述第一图像区的偏移，由此改善了解码和重构后的图像的质量。

在进一步改进的方案中，所述总运动矢量是从第一图像区内主要位于该第一图像区边缘的图块的运动矢量中测出来的。

附图中示出了本发明的实施例，下面来对其进行详细阐述。

其中：

图1示出了用于说明本发明原理的简略图；

图2示出了两个计算机、一个摄像机及一个像屏的布置图，利用它们来实现编码、传输以及图像数据的解码及显示；

图3简略地示出了一种对数字化图像进行基于块的编码的装置；

图4示出了一个流程图，其中描绘了编码、传输和对数字化图像进行解码的方法步骤。

在 图2中示出了一种包含有两个计算机202、208和一个摄像机201的装置，其中说明了图像编码、图像数据传输以及图像解码。

摄像机201通过线路219与第一计算机202相接。所述摄像机201将拍摄的图像204传送给该第一计算机202。第一计算机202具有第一处理器203，该处理器通过总线218同图像存储器205相连。利用所述第一计算机202的第一处理器203实现一种图像编码方法。通过这种方式被编码的图像数据206通过通信连接207-优选为导线或无线链路-从第一计算机202传输到第二计算机208。所述第二计算机208包含有第二处理器209，该处理器通过总线210与图像存储器211相连。利用第二处理器209实现一种图像解码方法。

所述第一计算机202和第二计算机208都具有一个像屏212或213，在该像屏上可以使图像数据204视觉化，其中，在第一计算机202的像屏212上实现的视觉化通常都是用于控制的目的。为了操作第一计算机202和第二计算机208，分别装设了输入单元，优选地为键盘214或215、以及计算机鼠标216或217。

通过线路219从摄像机201传输至第一计算机202的图像数据204为时域内的数据，而通过通信连接207从第一计算机202传输至第二计算机208的数据206为频域内的图像数据。

在像屏213上显示被解码的图像数据。

图3示出了一种按照H.263标准来实现基于块的图像编码方法的装置简图(参见[5])。

具有时间相继的数字化图像的、需编码的视频数据流被输入到图像编码单元301.数字化图像被划分为宏块302，其中每个宏块包含16×16个像点。所述宏块302包括4个图块303、304、305和306，其中每个图块包含8×8个被指定了流明值(亮度值)的像点。另外，每个宏块302还包括两个色度块307和308，所述色度块具有分配给像点的色度值(颜色信息，色饱和度)。

图像的所述块中包含有流明值(＝亮度)、第一色度值(色调)和第二色度值(色饱和度)。在此，流明值、第一色度值和第二色度值被称为色值。

这些图块被输入到变换编码单元309中。在一种差分图像编码器中，从当前需编码的图块中减去先前的图像的需编码的值，只有求差信息310输入到变换编码单元(离散余弦变换，DCT)309。对此，通过连接334将当前的宏块302传给运动估测单元329。在所述的变换编码单元309中，为需编码的图块或差分图块生成谱系数311，并将其输至量化单元312。

量化的谱系数313既输入到扫描单元314，又输入到反馈回路中的逆量化单元315。根据一种扫描方法，譬如“折线”扫描方法，在为此而设置的熵编码单元316内对被扫描过的谱系数332进行熵编码。经过熵编码的谱系数以编码图像数据317的形式通过信道、优选地为通过导线或无线链路而被传输至解码器中。

在逆量化单元315中对被量化过的谱系数313进行逆量化。如此获得的谱系数318被输入到逆向的变换编码单元319(逆向的离散余弦变换，IDCT)之中。重构的编码值(也即差分编码值)320在求差模式下被输至加法器321。加法器321另外还获得图块的一些编码值，所述编码值是根据已执行的运动补偿而从先前的图像中得出的。利用加法器321形成重构的图块322，并将其暂存在图像存储器323中。

从图像存储器323把被重构的图块322的色度值324输至运动补偿单元325。在为此而设的内插单元327内为亮度值326实现内插。借助所述的内插，相应图块内所包含的亮度值的数量被优选地加倍。所有亮度值328既被输入运动补偿单元325，又被输入运动估测单元329。所述的运动估测单元329另外还通过连接334获得所述需编码的宏块(16×16个像点)的图块。在运动估测单元329中通过考虑所述内插的亮度值来实现运动估测(“基于半像素的运动估测”)。

运动估测的结果为一种运动矢量330，利用该矢量来表达从先前的图像中所选出的宏块相对于需编码的宏块302的位置偏移。

参考由运动估测单元329测出的宏块，亮度消息和色度信息均被偏移一个运动矢量330，并从宏块302的编码值中减去(参见数据回路231)。

由此产生具有两个运动矢量分量的运动矢量330来作为所述运动估测的结果，也即沿着第一方向x和第二方向y的第一运动矢量分量BVx和第二运动矢量分量BVy： $\mathrm{BV}=\left[\begin{array}{c}\mathrm{BVx}\\ \mathrm{BVy}\end{array}\right].$

该运动矢量330被分配给所述的图块。

图3所示的图像编码单元由此给所有图块或宏图块提供运动矢量330。

在 图1中阐明了本发明所基于的原理。

数字化图像101具有被分组成图块103的像点102。所述的图块被分组成一个第一图像区104和一个第二图像区105。

第一图像区104表示了运动较强烈的图像前景。而第二图像区105则表示了一种图像背景，它在直接相继的图像之间变化较小。

为第一图像区104的每个图块106执行运动估测，并为该第一图像区104的每个图块106测出一个运动矢量107。

所述运动估测以如下方式来实现，即从具有第一图块大小和形状的起始区出发，每次偏移一个像点间距或一个像点间距的一部分或几倍，优选为偏移半个像点间距(半像点运动估测)，以便每次把所述的起始区偏移一个该间距值，测出如下的误差E： $E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}|x_{i,j}-y_{i,j}|$

其中，

-i，j为下标，

-n为第一图块中沿着第一方向的像点数目，

-m为第一图块中沿着第二方向的像点数目，

-x_i，j为第一图块中位置i，j处的像点的编码信息，

-y_i，j为先前图像内的相应位置处被偏移了相应运动矢量的像点的编码信息。

为先前图像的每个偏移计算该误差，并尽可能近似地选择如下偏移(＝运动矢量)的图块作为所述的第一图块，即该图块的误差E最小。

从第一图像区104的图块106所分配的运动矢量107中测出总运动矢量108。

为此，优选地考虑所述第一图像区104的、主要位于该第一图像区104边缘的图块106的运动矢量。

通过对该考虑的运动矢量求平均来求出所述的总运动矢量108。

总运动矢量108描述了整个第一图像区104在两个时间相继的图像之间的偏移。

为了进行编码或解码，该总运动矢量108被分配给第二图像区的所有图块，也就是说，该总运动矢量108作为统一运动矢量而被用于第二图像区105、亦即图像背景。

显然，所述的第二图像区105、亦即图像背景由此是作为整体而被偏移的。误差只出现在很难察觉的图像边缘处。

假定所述第二图像区的图块已经用足够的质量进行了编码。

对此，通过同先前的图块进行比较、然后在各个像点的编码信息基础上求出绝对差值的总和来为每个新编码的图块确定一个质量标准。

上述的方法是在运动估测单元329中实现的。

于是，只对所述第一图像区的图块的运动矢量107和所述的总运动矢量108进行编码和传输。

图4示出了一种流程图，其中又一次讲述了该实施例的各个方法步骤。

在第一步骤(步骤401)中，为第一图像区的每个图块执行运动估测，由此为该第一图像区的每个图块测出一个运动矢量。

在第二步骤中，从所述第一图像区内图块的至少一部分运动矢量中测出一个总运动矢量(步骤402)。

对编码信息、第一图像区104内图块106的运动矢量107以及总运动矢量108进行编码(步骤403)。

在下一步骤(步骤404)中传输所述的编码信息、总运动矢量以及第一图像区内图块的运动矢量。

在接收编码的图像数据(步骤405)之后，对所述的编码信息、第一图像区104内图块106的运动矢量107以及总运动矢量108进行解码，并重构图像101(步骤406)。

在重构图像101时，为第二图像区105的所有图块109采用所述的总运动矢量108。

因此，可以避免对所述第二图像区内图块的运动矢量进行编码、传输或存储，从而大大地节省了所需的数据速率。

下面来讲述上文实施例的一些替换方案：

运动估测的方式对本发明是不重要的，也就是说可以采用运动估测的任意方法。

从第一图像区的运动矢量中求出总运动矢量对本发明也是不重要的，也就是说可以采用求平均、加权求平均或只采用如下的运动矢量作为总运动矢量，即该运动矢量被视为所述第一图像区内图块的所有运动矢量的代表。

因本方法而在图像边缘所缺少的图像信息可以在传输下一图像时利用微小的运动进行重新构造，或从背景存储器中读出，在该存储器内存储了先前图像的相应图像信息。

另外，本发明并不局限于两个图像区。也可以有多个分配了图块的图像区，譬如多个独立的、形成运动前景的对象。在该情形下，选择随后为其测出总运动矢量的图像对象，并利用所述的总运动矢量来偏移描述背景的图像区。

在本实施例中，所述的误差E是从绝对差值的总和中求出的。但该误差E也可以从平方差的总和或从高次幂差的总和中求出。这相应地适合于求上述的质量标准。

在本文件中引用了如下公开出版物：

[1]ITU-T草案介绍H.263，用于低比特率通信的视频编码，1996年5月

Claims (10)

1.对具备分配有编码信息的像点的数字化图像进行编码的方法，

-其中所述的像点被分组成图块，

-其中该图块被分组成至少一个运动较强烈的第一图像区和一个在相继的图像之间变化较小的第二图像区，

-其中测出总运动矢量，该矢量被用来描述所述第一图像区相对于先前的前图像内的第一图像区的偏移和/或相对于后继的后图像内的第一图像区的偏移，

-其中所述总运动矢量至少被分配给第二图像区的部分图块，

-其中为所述第一图像区的每个图块分别测出一个运动矢量，并分配给该图块，以及

-其中对图块的解码信息、运动矢量以及总运动矢量进行编码。

2.对具备分配有编码信息的像点的压缩图像进行解码的方法，

-其中所述的像点被分组成图块，

-其中该图块被分组成至少一个运动较强烈的第一图像区和一个在相继的图像之间变化较小的第二图像区，

-其中对图块、所述第一图像区内图块的运动矢量、以及总运动矢量进行编码，

-其中利用所述的总运动矢量来描述所述第一图像区相对于先前的前图像内的第一图像区的偏移和/或相对于后继的后图像内的第一图像区的偏移，

-其中如此来实现所述的解码，使得采用所述的总运动矢量来对所述第二图像区的至少一部分图块进行解码。

3.如权利要求1或2所述的方法，

其中，所述的总运动矢量是从所述第一图像区内图块的运动矢量中测出的。

4.如权利要求3所述的方法，

其中，所述的总运动矢量是通过对所述第一图像区内图块的运动矢量求平均值来测出的。

5.如权利要求3所述的方法，

其中，所述的总运动矢量是从所述第一图像区中主要位于该第一图像区边缘的图块的运动矢量中测出的。

6.一种对具备分配有编码信息的像点的数字化图像进行编码的装置，其中把所述的像点分组成图块，把该图块分组成至少一个运动较强烈的第一图像区和一个在相继的图像之间变化较小的第二图像区，

具有一种处理器，该处理器包括：

用于测出总运动矢量的装置，该矢量被用来描述所述第一图像区相对于先前的前图像内的第一图像区的偏移和/或相对于后继的后图像内的第一图像区的偏移，

用于把所述的总运动矢量分配给第二图像区的至少一部分图块的装置，

用于为所述第一图像区的每个图块分别测出一个运动矢量并分配给该图块的装置，以及

用于对图块的编码信息、运动矢量以及总运动矢量进行编码的装置。

7.一种对具备分配有编码信息的像点的压缩图像进行解码的装置，其中把所述的像点分组成图块，把该图块分组成至少一个运动较强烈的第一图像区和一个在相继的图像之间变化较小的第二图像区，对图块、所述第一图像区内图块的运动矢量、以及总运动矢量进行编码，利用所述的总运动矢量来描述所述第一图像区相对于先前的前图像内的第一图像区的偏移和/或相对于后继的后图像内的第一图像区的偏移，

所述装置包括一种处理器，该处理器含有：

用于解码所述的图像使得采用所述的总运动矢量来对所述第二图像区的至少一部分图块进行解码的装置。

8.如权利要求6或7所述的装置，

其中，如此来设置所述的处理器，以便从所述第一图像区内图块的运动矢量中测出所述的总运动矢量。

9.如权利要求8所述的装置，

其中，如此来设置所述的处理器，以便通过对所述第一图像区内图块的运动矢量求平均值来测出所述的总运动矢量。

10.如权利要求8所述的装置，

其中如此来设置所述的处理器，以便从所述第一图像区中主要位于该第一图像区边缘的图块的运动矢量中测出所述的总运动矢量。