CN1719904A - 自适应编码的方法和设备 - Google Patents

Abstract

一种包括有象元－回归型运动估计的预分析步骤(6)，和有由一个或多个子块组成的图像块的块匹配运动估计(11)的实际编码步骤的方法，编码步骤也包括：基于由匹配包含子块的块计算的运动矢量和基于由象元－回归型估计对象元或属于子块的象元组计算的运动矢量，选择图像子块的运动矢量；基于从构成块的子块选择的运动矢量的相关性计算，计算将图像块分割为子块的最好的分割。

Description

自适应编码的方法和设备

技术领域

本发明涉及编码源图像序列的方法和设备。更特别的是方法包括象元-回归的运动估计型预分析步骤和有块匹配运动估计的特殊编码步骤。

背景技术

域是视频压缩的。我们特别对MPEG4标准兼容的编码电路感兴趣。

在编码器中实现“块匹配”型运动估计，以便在图像序列中使用图像的时序相关。它计算从中间模式编码的当前块减去预选择的块。由于由标准提出的编码参数的不同选择，例如，运动估计的图像块的尺寸，参考图像或从该图像作运动估计，对这些参考图像的上场，下场或帧等，那么根据如编码成本的准则做出选择。编码器必须明白有重要意义的运动计算量。在时间和处理量方面这些计算是昂贵的。运动估计器对编码器一定是特殊的，或至少对标准提出的和由编码器实现的多数选择是可兼容的。

例如在编码器与H264或MPEG4部分10标准兼容的“块匹配”型分层运动估计器的情况中，计算各种块尺寸(4×4，4×8，8×4，8×8，8×16，16×8，16×16)和各个参考图像的运动矢量场。对单块对的编码，已知为MBAFF，英语宏块自适应帧场的首字母缩略词，估计器提供每宏块帧的1个运动矢量场，场的2个运动矢量场。因此对16×16尺寸的宏块，对各个参考图像计算41×3个运动矢量，如果使用几个参考图像，如在多参考模式中，乘以此数。

另一问题涉及分层型运动估计器本身的使用。虽然此类型估计器提供更均匀的运动场，由于低分辨率/高分辨率方法，不能容易的跟踪小目标的运动。

发明内容

本发明的目的是克服上面描述的缺点。

为此，本发明的一方面是编码源图像序列的方法，包括有象元-回归型运动估计的预分析步骤，和有对一个或多个子块组成的图像块的块匹配运动估计步骤的实际编码步骤，特征在于编码步骤还包括

—基于由匹配包含子块的块计算的运动矢量和基于由象元-回归型估计对象元或属于子块的象元组计算的运动矢量，为图像子块选择运动矢量的步骤；

—基于考虑从构成块的子块选择的运动矢量的相关性计算，计算将图像块分割为子块的最好的分割步骤。

根据特殊的实例，方法特征在于，选择步骤计算对应于这些子块的象元-回归型运动矢量的子块的相关水平，自动选择由块匹配获得的运动矢量。

根据特殊的实例，图像的尺寸是在MPEG2标准中规定的，它的子块的尺寸在MPEG4标准中可得到。

根据特殊的实例，块匹配运动估计是分层型。

根据特殊的实例，预分析步骤包括在同样的分辨率或较低分辨率的当前图像和前面图像之间的象元-回归型运动估计步骤和由基于象元-回归型运动估计的运动补偿的过滤的噪声降低步骤。

根据特殊的实例，预分析步骤也实现当前图像的不同场的相关计算，对要编码的各块和参考图像确定根据最好的相关性使用的对应的场或帧，并传输此信息到块匹配运动估计电路实现对应参考图像的估计。

本发明也涉及编码设备，包含有象元-回归型运动估计器的预分析电路，和有由一个或多个子块组成的图像块匹配运动估计器的图像子块的实际编码电路，特征在于编码电路也包括编码模式决定电路：

—基于由块运动估计器和有关包含子块的块计算的运动矢量和基于由象元-回归型估计对象元或属于子块的象元组计算的运动矢量，选择图像子块的运动矢量；

—基于考虑从构成块的子块选择的运动矢量的相关性计算，计算将图像块分割为子块的最好的分割步骤。

块匹配运动估器的组合很好的适应于数据压缩和象元-回归型运动估计器，很好的适应于物理的运动计算，使得能获得高质量的运动场和好的压缩率。降低了计算量。

例如，由于这些估计器的运动矢量场的组合，更容易的锁定在图像中运动的小目标，这些小目标已由“块匹配”型的运动估计器忽略。由于使用有关表示物理场的运动矢量的信息，“块匹配”型的运动估计器，例如分层的，通过使用它们作为预测器可在这些矢量上启动运动搜索。

使用设计为大于子宏块的图像块的“块匹配”型估计器电路也是可能的，例如标准MPEG2型估计器，因此，费用较少。从由象元-回归型运动估计器和提到的“块匹配”型的运动估计器电路提供的运动矢量场，例如由组合或选择的矢量，实现较小的子宏块的预测性模式的相关性或编码成本计算量。

另一优点包括使用来自象元-回归型运动估计器的信息，由分层运动估计器，例如由选择使用的参考图像、场或帧限制它的计算。

附图说明

从描述中清楚的显现本发明其它的特征和优点，提供的描述作为非限制的范例，参考附图如下：

图1是本发明的编码器的框图；

图2是宏块和子宏块的分割；

图3是编码模式决定算法。

具体实施方式

图1表示本发明的视频序列编码器。

在被传输到预分析电路6的编码器的输入端接收源图像的数字视频数据。图像被滤波并以图像块传输到减法器1的第一输入端。根据编码模式内部或中间，减法器1传输有关在它的第一输入端接收的当前块的信息，或从后者减去对应于在它的第二输入端得到的预测的块的最新信息。减法器1的输出数据传输到离散余弦和量化变换电路2。此电路的量化的输出系数通过熵编码器3经历熵编码，然后存储在缓冲存储器4中。此存储器的填充水平传输到比特率控制电路5，它也从预分析电路接收数据，它影响量化器2的量化步骤。

重建当前图像提供预测的块。因此，量化的系数通过参考电路7经历逆量化和逆离散余弦变换，给出解码的亮度值。

如果它是中间模式编码，则加法器8使得预测的块加到解码的系数块上。在存储到存储重建的当前图像的图像存储器10中前，由滤波电路9滤波重建的块。

包含分层的运动估计器的块运动估计电路11接收有关解码的或由图像存储器10存储的重建的图像的信息和有关来自预分析电路6的要编码的源图像的当前宏块。分层运动估计器根据已知的原理实现当前宏块和重建的图像之间的相关性计算，以便由宏块提供运动矢量。这些矢量传输到编码模式决定电路13。此电路也从预分析电路接收由象元-回归型运动估计器计算的运动矢量。它用对应的编码模式选择最好的宏块分割。

编码模式和对应的运动矢量传输到运动补偿电路12，它实现参考图像或重建的图像的运动补偿，以便提供预测的图像块。运动矢量也传输到熵编码器3，用于编码并传输到解码器。

用更详细的方式，在编码器的输入端有包含分辨率降低电路，象元-回归型运动估计电路和滤波器的预分析电路6。这些电路使得在编码前要处理的图像的噪声降低。在此领域，认识到象元-回归型运动估计比由块的运动估计更适应于噪声降低。因此，这是在编码器的预分析步骤实现的算法类型。

在编码器的输入端接收的源图像序列是由预分析电路子取样的，以便提供更低分辨率的图像。在实际的编码图像前，由此预分析电路实现象元-回归型运动估计。因此，这由象元计算较低分辨率的图像，在我们的范例中它的尺寸水平的和垂直的划分为两个。此估计也预先对编码模块提供某些有用的信息，如检测在运动中的区域，不可预测的区域，优选的预测方向等。

基于此运动估计，运动补偿滤波实现在全分辨率图像上；此滤波降低图像的噪声，因此，改善了编码器的效率。

可使用预分析电路定义要编码的序列的GOP结构，即，图像的类型，内部的或中间，参考图像，双向等。术语GOP是“图像组”的首字母缩略词，并在MPEG标准中规定。

预分析完成预先规定的图像数。预分析和实际图像编码之间的延迟时间段可认为是比特率控制的图象组的量级。例如这相当于MPEG标准的一个或几个GOP。

在我们的例子中，运动估计电路11是根据分层结构和块匹配方法。当前的宏块与根据增加的分辨率锥体构造的解码的图像相比，在宏块和锥体的最低分辨率开始到最高的分辨率水平。各分辨率水平的运动矢量场从最低的分辨率水平估计到最高的分辨率水平，能使用在一个水平实现的估计作为更高水平的预测。锥体依赖于编码电路的不同编码模式。因此，对帧的、对场的和给出参考图像存在多个锥体。在多种参考方法中，那么此数量是相乘的。

在编码环中，此滤波电路9实现重建的图像的滤波，以降低块的影响。正好是这个滤波的图像被存储在图像存储器10中。

预分析电路6连接比特率控制电路5，提供具有GOP结构信息和图像类型的编码成本信息，以便事后简化能集成信息的比特率控制。例如，在内部模式的第一通道，预分析电路根据编码确定图像的复杂性，并传输图像类型的编码成本估计到控制电路，因此，控制电路可计算DCT+Q电路的量化步骤。

如上面指出的，编码模式决定电路13选择最好的宏块分割和宏块编码模式。

图2表示对使用MPEG4标准第10节的编码器，16个样本的16行的不同类型的宏块分割。

第一行分别相当于16×16尺寸宏块的水平和垂直分割为两个子宏块尺寸为16×8，8×16，和分割为4个8×8尺寸的子宏块。第二行相当于对8×8尺寸的宏块同样的分割，但在更低的水平。

在较低分辨率的图像上实现象元-回归型运动估计，例如，水平和垂直地比源图像低两倍。

块匹配运动估计电路11是MPEG2型，即处理的亮度宏块的尺寸具有16个样本的16行。根据图像的类型，场或帧，宏块的内部结构不同。因此，它可以是在两个场DCT图像编码或单个场DCT图像编码中的亮度宏块，在后者的情况中，宏块由奇数场的上16×8块和偶数场的下16×8块组成。计算的运动矢量依赖于编码的图像的类型，P预测性的或B-双向编码的图像。这些是“前向矢量”(在MPEG2标准中)和“后向矢量”。

图3表示由编码模式决定电路13实现的编码模式决定流程图。

从预分析电路6接收2×2块的运动矢量场，步骤14。

从运动估计电路11接收16×16宏块的运动矢量场，步骤15。

步骤16处理步骤14和步骤15的矢量场的运动矢量。它向不同的可能的宏块分割分配运动矢量。

在范例中，可能的分割被限制到子块，即8×8块，字块不再被分割。

在第一步骤，运动矢量链接到块。

因此，对考虑的子块，除了包括在子宏块中的2×2块的运动矢量，包括此子宏块的16×16宏块的运动矢量链接到子宏块。

在第二步骤，运动矢量分配给子宏块。

不同的分配模式是可能的。

例如，它可简单的分配所有的运动矢量链接到子宏块。

通过应用链接到子宏块的2×2块的运动矢量中的预选择、通过选择这些矢量的分量的中值，或通过选择由SAD或Hadamart计算提供的一个最好的相关性，也可以限制分配的矢量数。

步骤17接收分配给不同分割的子宏块的矢量和来自步骤16输入。基于分配的运动矢量和通过选择提供最好的相关性的运动矢量，实行各子宏块的相关性计算，实现运动矢量的选择。

步骤18接收分配给分割的子宏块的选择的矢量。对各可能的分割由实行全部宏块的相关性计算，实现最好分割的选择，基于分配给相当于此分割的子宏块的运动矢量，产生构成宏块的各子宏块的相关性之和。

选择提供最好相关率的分割。

对被测试的各模式，用运动矢量和参考图像的预测模式或具有两个运动矢量和两个参考图像的双预测实现前面的步骤。

对选择的分割，通过比较对应的编码成本取得对内部、预测的中间、双预测的中间的的编码模式的决定。

根据本发明的变体，由预分析电路6的象元-回归型运动估计器计算的运动矢量传输到用作为预测器的分层运动估计器11。使用选择的预测器，以已知的方式，定位实现相关性的一个或多个查找窗口确定运动矢量。如果几个运动矢量对应由运动估计电路11处理的块，例如，此块的预测器是这些矢量的每一个、这些矢量的分量的平均值或中值。

根据本发明的变体，预分析电路实现相关性计算，对运动估计电路11提供图像/场编码的决定信息。它实行场或帧模式的预选择，它传输到运动估计电路，以简化由此电路实行的计算。

根据本发明的另一个变体，预分析电路实现相关性计算，对编码模式决定电路13提供图像/场编码的决定信息，例如，场或帧模式的预选择。因此，此电路在接收的运动矢量中消除了那些相当于预分析电路没有选择的模式。对预选择模式只执行最好的分割的计算。

这些是实例。当然，本发明应用于执行相关性计算的部分的所有的宏块分割。

在不离开本发明的范围内，除了象元-回归或分层外，可以使用运动估计器。

应用涉及传输或记录的视频数据压缩。

Claims (8)

1.一种编码源图像序列的方法，包括具有象元-回归型运动估计的预分析步骤(6)，和具有由一个或多个子块组成的图像块的块匹配运动估计(11)的实际编码步骤，其特征在于编码步骤也包括：

—基于由包含子块的块的匹配计算的运动矢量和基于由象元-回归型估计对象元或属于子块的象元组计算的运动矢量，选择图像子块的运动矢量(16，17)；

—基于从构成块的子块选择的运动矢量的相关性计算，计算将图像块分割为子块的最好的分割。

2.根据权利要求1所述的方法，其特征在于选择步骤(17)计算对应子块的象元-回归型运动矢量的子块的相关性水平，并自动地选择由块匹配获得的运动矢量。

3.根据权利要求2所述的方法，其特征在于预先确定的块的尺寸对应于在MPEG2标准中的块，较小的尺寸对应MPEG4标准中得到的尺寸。

4.根据权利要求1所述的方法，其特征在于图像块的尺寸是在MPEG2标准中定义的，子块的尺寸是在MPEG4标准中得到的。

5.根据权利要求1所述的方法，其特征在于块匹配运动估计器是分层型的。

6.根据权利要求1所述的方法，其特征在于预分析步骤包括在同样的分辨率或对较低的分辨率的当前图像和前面图像之间的象元-回归型运动估计步骤，和基于由运动估计计算的运动，由运动补偿滤波降低噪声的步骤。

7.根据权利要求1所述的方法，其特征在于预分析步骤也实现当前图像的不同场的相关性计算，对各要编码的块和参考图像，根据最好的相关性确定使用的对应的场或帧，并传输此信息到块匹配型运动估计电路(11)，以便在对应的参考图像执行此估计。

8.一种实现权利要求1所述的的处理的编码设备，包括具有象元-回归型运动估计器的预分析电路(6)，和包括由一个或多个子块构成的图像块的块匹配运动估计器(11)的实际编码电路，其特征在于编码电路也包括编码模式决定电路(13)，

—基于由块运动估计器和有关包含子块的块计算的运动矢量和基于由象元-回归型估计器(6)和有关象元或属于子块的象元组计算的运动矢量，选择图像子块的运动矢量(16，17)；

—基于从构成块的子块选择的运动矢量的相关性计算，计算将图像块分割为子块的最好的分割。