CN1336769A - 带有运动预测段的图像编码 - Google Patents

Abstract

本发明涉及一种用于在低速率和高误差率的信道上传输的图像编码方法。图像被分割成多个由宏块构成的段,并且方法通过运动估算进行编码。根据发明,对于一个段的边缘上的一个宏块,至少一个运动估算向量可以伸展到相邻的段中。这对于运动向量估算扫描是从左到右及从高到低的情况中位于段的上面和右面的像素具有特别的好处。该解决方案通过限制编码误差扩散只是作用在以段来分割图象的一个分割中来避免由段内运动向量估算所产生的误差。

Description

带有运动预测段的图像编码

本发明涉及编码，特别是用于无线传输的源视频编码。

无线传输以相对较低的传输速率和较高的差错率为特征。对于传输速率，我们把速率值低于100kbit/s(千比特/秒)称为低速率，例如14kbit/s的GSM(全球通)信道。我们把大于10^-6，或大于10^-4的差错率称为高差错率。

ITU-T H263+标准对于视频源编码提供了解决方案。该标准由一个强制的公共部分及一个任选的附录集合所构成，附录集合可以在标准的公共部分之外被启动。标准没有指明所获得的图像的质量，也没有指明在给定环境中要应用的附录组合，特别是对于无线传输。该附录集合的启动由于低可用传输率和高差错率而导致系统难于用于无线传输。

标准H.263+的公共部分提出了带有预测的块编码。我们在一个图象序列中区别完整发送的图像—类型“I”的图像，没有被完整地传输但从一个前面的图像被预测—类型“P”的图像-以及没有被完整地传输但从前一个和后一个图像被预测。对于一个图像，其中定义了块或由多个块构成的宏块，典型的是6个块，其中4个亮度2个色度，编码使用下列步骤：

-估算每一图像块或大决的运动；

-相对于一个参考图像进行运动补偿预测；

-编码用于传输，典型的是通过压缩编码(包括DCT(“Discrete Cosine Transform(离散余弦变换)”)，量化，及VLC编码(“Variable Length Coding(可变长度编码)”))。

解码使用相反的步骤以重构每一幅图像。

在该标准中，附录R-Independent Segment decoding mode或独立段解码模式—建议对于运动估算处理使用视频图像段(“videopicture segments”)，它由一个块集合组成；运动估算在每一个段中被独立地执行。在此情况下，对于解码，一个段的限制被处理作图像限制，还包括超出这些限制的运动图像向量的处理。这些超出限制的运动图像在附录可选模式D，F，J或O不存在时而被禁止。如果我们使用没有限制的附录D的运动向量模式(“Unrestricted motionvector mode”)，视频图像当前段的边界被外推以构成段区域之外像素的预测。

标准的附录D在标准的公共部分所提出的原理中建议一个例外，即运动向量被限制以使得它所参照的所有象素都处于图像编码区内。更特殊地，该名称为“Unrestricted Motion Vector Mode”(非限制运动向量模式)的附录建议，运动向量可以指向图像之外。当一个由运动向量所参考的像素在编码图像表面之外时，我们在其位置使用一个边缘象素。边缘像素的值通过将运动向量限制在与编码图像表面内部一个完整像素相对应的位置而被获得。运动向量的限制在一个像素的基础上被执行，并且对于运动象素的每一个分量被分别地应用。

其他的附录建议，运动向量能够穿过一幅图像或一幅图像段的边界。这是附录F(“Advanced Prediction Mode”高级预测模式)，J(“Deblocking filter mode”分块的过滤模式)，O(“temporal，SNR and Spatial Scalability”，时间标度，信噪比或空间标度)的情况。

发明提出了一个在低速率及高差错率传输问题的解决方案。在该上文中特别提出了块编码及运动向量限制的效果问题。该问题在低速率及高差错率传输中以特别尖锐的方式被提出，所出现的差错很难通过重新传输或编码校正器来校正，其原因是它所产生的延迟。另外，低速率不能通过一个更小的差错数目来被补偿。

该问题对于宏块以特殊的方式被提出，宏块位于一个段的右侧和上边缘上；这导致预先编码的应用，特别是在宏块的扫描方向上：实际上通常是从左到右的扫描图像并且从高到低，用于运动向量的确定。

另外，在附录R中所建议的由段编码的效果之一是限制了传输差错的影响。从这点看，附录R被特别严格的应用在低速率的传输情况中，并且它与用于一运动向量可以出自段范围的低速率传输情况的附录R所提出的建议相反。

因此发明提出了一种用于在低速率和高误差率的信道上传输的图像编码方法，在该方法中，图像被分离成由宏块构成的多个段，并且通过运动估算来进行编码，其特征在于对于一个段的边缘上的一个宏块，至少一个运动估算向量可以伸展到相邻的段中。

在一个实施例中，对于一个段的边缘上的一个宏块，一个运动估算向量可以伸展到相邻段的一个相邻宏块中。

最好地，用于运动向量估算的图像扫描从左到后及从高到低地被执行，并且对于相邻于一个段上边缘的宏块，一个运动估算向量可以伸展到一个相邻的段中。

如果图像扫描对于运动向量的估算是从左到右及从高到低地被执行，对于邻近一个段右边缘的宏块，运动估算向量最好能够伸展到相邻的一个段中。

在一个实施例中，每个段由两行宏块构成。

当误差率大于10^-6或大于10^-4，或当传输速率小于100kb/s时，发明特别适用。

发明还提出一种将该编码方法投入应用的编码器。它还提供了一个在低速率及高误差率的信道上的包括一该编码器的传输系统。

发明其它的特征和优点将通过根据发明实施例的描述而显现出来，实施例仅是作为一个例子并参照附图给出，附图示出了：

-图1，在一幅图像中一个视频图像段可能的定义的简示；

-图2，一根据发明的编码器的简示。

发明被用于运动向量编码的传输系统；更准确地它特别适用于低速率及高差错率的系统—这些术语在上面被定义。在图像段对于运动向量估算被确定的情况下，对于定义图象边缘的块或宏块，发明提出接受运动向量在相邻段上溢出边界。

图1示出了在一幅图像中一个视频图像段的可能的定义。在例子中，图像是一个QCIF图像并且每个段由两行宏块构成，及由一个同步所限制。每个宏块由4个亮度块和2个色度块构成，每个块本身由一个8像素乘8象素的正方形构成。同步不仅被用于分割段，而且还能够使得解码器在某一段上出现传输差错时找到同步。段的分割避免了差错在所有图像上蔓延。

在例子中，每个段由两行宏块构成，MBi，它们被记作GOBi，该缩写是英文中“块组”的缩写。每行由11宏块构成，并且图象被切割成9个块组，也就是说一个176乘144个亮度像素的图像对应4个和半个段。如图所示的那样，每个段由一个同步分隔相邻的段。

根据在上面讨论过的标准H263+的附录R，运动向量的估算在段的内部执行。该解决方案具有限制差错蔓延的优点，每个段与相邻段独立地被编码。该解决方案是令人满意的，但限于在低速率及高误差率的传输中。

对于一个段的边缘的宏块的运动向量估算，发明提出放松该限制。更特别的，在运动向量估算通过从左到右并且从高到低扫描图像来执行的情况下，对于形成每一段上边缘和右边缘的宏块就提出了运动估算的问题。实际上，对于运动估算，我们使用处于左面，上面以及当前像素的上、右的像素；在段内部的估算对于位于段左面或段下面边缘上的宏块(对于那些多于两行宏块的段)是以正确的方式被执行的。然而，对于位于段的上边缘或段的右边缘上的宏块，运动向量的限制提出了问题。发明提出，在相邻段的相邻宏块之一中可以具有一个端部。

在图示的例子中，我们考虑由块GOB4和GOB5的行构成的段。该段通过一个在图中记作Sync4的同步在其上面部分被限制，通过图上标记为Sync5的一个同步在其下面部分被限制。我们考虑宏块GOB4的行的宏块MBx。该宏块是段的边缘宏块之一。因此对于该宏块的像素或块的运动向量估算，发明提出不仅使用段的其它宏块，而且在必要时使用宏块GOB2和GOB3行的构成段的宏块。更特殊的，最好唯一地使用相邻的宏块，挟句话说行GOB3的宏块，或更特殊地，行GOB3的宏块MBx-1，MBx和MBx+1。

图1示出了行jloW，它分割了宏块GOB2和GOB3的行，以及线jhigh，它分割了宏块GOB5和GOB6的行。在该情况下，对于段上边缘的一个宏块的运动估算，也就是说对于行GOB4的一个宏块，我们可以使用在行jlow和行jhigh之间的宏块。行jlow和同步Sync4之间的距离是15个像素。

发明特别应用于位于一个段右侧上的宏块，这总是在图像扫描从左到右从高到低的情况下。在该情况下，如果不允许运动向量穿过段的上边缘，它将有水平伸展的趋势，这将有产生图像输出的效果。发明可以避免该问题。因此最好将发明应用于位于段上面和右面的宏块，在图1的例子中是由行GOB4和GOB5构成的段的块行GOB4的宏块MB10。

对于低速率和高误差率的传输，发明能够避免由于运动估算在一个段上的限制所产生差错。它改善了重构图像的质量，并且不会在低速率及高误差率的传输中所碰到的限制上产生干扰，即传输速度，编码器或解码器的复杂性及存储容量。然而在运动向量估算被限制的情况下，发明具有附录R的优点，也就是说它能够限制误差的比率。

在前面的描述中，我们没有明确参考图像是什么；它可以以公知的方式被选择，并且可以简单地是如同图2的编码器例子中的图像。

图2简要地示出了一种将发明投入应用的编码器的例子。视频图像被应用于编码系统的输入，它一方面到运动图像估算器2，另一方面到减法器4的输入。运动估算其提供了一个相对于前一图象的图象块，或该图像的宏块，的运动估算；如同在标准中提到的，我们可以使用8×8像素的块，以及6个块构成的宏块，其中4个亮度块及两个色度块。

根据发明，运动估算器使用如同附录R中所提到的图像段。因此运动向量在段内被估算。然而，如同前面所解释的那样，至少对于边缘块，估算器使用可以超出段的运动向量。

块的运动向量与运动补偿6一起被传送到预测器中。该预测器也接收一个用于估算的基图像的输入，它可以具有一个参考图像存储器8。带有运动补偿的预测相对于参考图像被执行。

从参考图像和运动向量，带有运动补偿的预测器提供一个估算的图像，它一方面被应用于减法器4的减法输入端，另一方面被应用于加法器10的输入端。

这样，减法器4接收输入的视频图像和一个来自容纳在基图像存储器中的参考图像所估算的图像。估算图像相对于作用在输入上的视频图像上的差被应用于一个带有压缩的编码器12上，典型的是一个数字余弦转换编码器。接下来我们进行量化14，最好具有一个可变量化步长。量化器14的输出一方面应用于一个变长编码器16，另一方面被应用于一个量化反向器18，它进行量化反向操作。在量化反向器18的输出上，我们应用编码器12的转换反向20。在编码反向器20的输出上，我们找到输入图像和估算图像之间的不同，例如它在一个相关的解码系统中，在出现传输差错时，在接收之后被构成。该不同被应用于加法器10的输入端。这样，加法器10在其朝向参考图像存储器的输出上提供了一个图像，该图像可以在解码系统接收后被获得，--在必要的情况下是在传输差错引起的扰动之后。

变长编码器接收编码器14的输出，以及运动估算器2的输出，换句话说是输入图像和估算图像之间的不同及运动向量。VLC编码器的输出在信道上传输之前被应用于一个视频缓冲22；当然，在传输之前，我们可以将视频信号与音频信号或其它信号进行多路复用，这本身是公知的并且并不影响发明的功能。对于一个可变量化步长，在缓冲中的信息量化可以控制量化步长，如同在图2上通过一个连接缓冲22和量化器14的箭头所示。

相对于现有技术的编码器，发明编码器的不同在于运动估算器还考虑了当前段之外的宏块，例如相邻宏块行中的宏块。我们将注意到，用于解码编码器所提供的信号的解码器与背景技术中的解码器没有不同。

当然，本发明并不限于所描述和展示的实施例和实施模式，它还有众多的所属技术领域的技术人员可以预知的应用。很清楚，前面给出的宏块或段的定义仅是一个例子，并且发明也可以用于图像中其它段的定义，或其它块及宏块的定义。我们还可以适用于将图像切成垂直的段，在该情况下，扫描方向应该完全按照发明所应用的宏块来改变。

Claims (9)

1.一种用于在低速率和高误差率的信道上传输的图像编码方法，在该方法中，图像被分离成由宏块构成的多个段，并且通过运动估算来进行编码，其特征在于对于一个段的边缘上的一个宏块，至少一个运动估算向量可以伸展到相邻的段中。

2.根据权利要求1所述的方法，其特征在于对于一个段的边缘上的一个宏决，一个运动估算向量可以伸展到相邻段的一个相邻宏块中。

3.根据权利要求1或2所述的方法，其特征在于用于运动向量估算的图像扫描从左到右及从高到低地被执行，并且对于相邻于一个段上边缘的宏块，一个运动估算向量可以伸展到一个相邻的段中。

4.根据权利要求1，2或3所述的方法，其特征在于用于运动向量估算的图像扫描从左到后及从高到低地被执行，并且对于相邻于一个段右边缘的宏块，一个运动估算向量可以伸展到一个相邻的段中。

5.根据权利要求1到4之一所述的方法，其特征在于每个段由两条宏块的线构成。

6.根据权利要求1到5之一所述的方法，其特征在于误差率大于10^-6，甚至大于10^-4。

7.根据权利要求1到6之一所述的方法，其特征在于传输速率小于100kb/s。

8.一种将权利要求1到7之一的方法投入应用的编码器。

9.一种包括权利要求8的编码器的在低速率和高误差率的信道上的传输系统。

Images