CN1719735A - 编码源图像序列的方法和设备 - Google Patents

Abstract

一种编码源图像序列的方法和设备。预分析步骤(6)基于在此步骤计算的运动矢量和对应的块，用当前图像的偶数和奇数场块和参考图像的偶数和奇数场块，实现当前图像的偶数和奇数场块的相关水平计算，在编码模式决定步骤(13)和在中间编码模式中，根据相关水平，实现同样奇偶或相反奇偶的场之间的中间编码或在帧之间的中间编码。

Description

编码源图像序列的方法和设备

技术领域

本发明涉及编码源图像序列的方法或设备。更特别的是方法包括象元-回归的运动估计型预分析步骤和有由块型运动估计配对的特殊编码步骤。

背景技术

域是视频压缩的。我们特别对基于块的压缩方案感兴趣，在图像或块水平实现自适应的帧/场编码，在压缩中编码提供实质性的增益。例如这是MPEG4章节-10(H264)标准。在这些经典的实现的框图中，在编码环中做宏块水平的帧/场编码决定，引入相对于只运行在帧模式或场模式的非自适应编码器的双倍的复杂性。这个功能在实现时是昂贵的。

在其它因素之中编码决定依赖于时序相关，结果由预测编码的编码电路做运动估计，一般有块匹配型和分层型。

例如，在编码器与H264或MPEG4部分10标准兼容的“块匹配”型分层运动估计器的情况中，计算各种块尺寸(4×4，4×8，8×4，8×8，8×16，16×8，16×16)和各个参考图像的运动矢量场。对由宏块对的编码，已知为MBAFF，宏块自适应帧场的英语首字母缩略词，估计器对帧提供每宏块，1个运动矢量场，对场提供2个运动矢量场。因此对16×16尺寸的宏块，对各个参考图像计算41×3个运动矢量，如果使用几个参考图像，如在多参考模式中，乘以此数。以计算的观点，在多种编码可能性中此选择是非常昂贵的。

其次，在H264标准的范例中，对在图像尺寸为16×32的亮度块中，对各个垂直宏块可独立的做关于场或帧的编码的决定。此编码操作称为MBAFF，“宏块自适应帧/场编码”的首字母缩略词。对在帧模式中编码的宏块对，各宏块包含隔行扫描的图像的行。对在场模式中编码的宏块对，上部宏块包含上部场或奇数场的行，下部宏块包含下部场或偶数场的行。

在宏块对水平和不在关于MPEG2标准的宏块水平做编码模式决定，编码模式决定可基于编码成本的测量和与模式关联的失真，因此乘以可能的组合和计算负荷。

减少计算的一个解决方案由在低分辨率图像的场和帧之间的选择组成，以便限制在较高分辨率上的计算。在锥体的上部水平做的这些草率的选择，因此比源图像的分辨率更低的分辨率，不提供好的结果，由于不足的垂直精确度，上部场、下部场选择对应在一条行中移动。

发明内容

本发明的目的是克服上面描述的缺点。

为此，本发明的一方面是编码源图像序列的方法，包括有在当前图像和参考图像之间象元-回归型运动估计的预分析步骤，和有在当前图像和参考图像之间块匹配运动估计步骤的图像块的实际编码步骤，在编码模式决定步骤之后，如内部模式，在同样奇偶或相反奇偶的场之间的或在帧之间的中间模式，特征在于基于在此步骤计算的运动矢量和对应的块，预分析步骤为具有参考图像的偶数或奇数场块的当前图像的偶数或奇数场块执行相关水平计算，根据相关水平，在编码模式决定步骤和在内部编码模式时，利用同样奇偶或相反奇偶的场之间的中间编码或在帧之间的中间编码。

根据特殊的实例，当相反奇偶的场之间的相关水平比同样奇偶的场之间的相关水平低时，利用场之间的中间编码。

根据特殊的实例，预分析步骤也实现具用参考图像的帧块的当前图像的帧块之间的相关计算，并根据相关水平确定场之间或帧之间的编码模式。

根据特殊的实例，相关计算由下面的DFD值的计算组成：

$\mathrm{DFD}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\Σ}}}|\mathrm{pi}{x}_c(i,j)-\mathrm{pi}{x}_{\mathrm{pred}}(i,j)|$

Pix_c(i，j)对应于当前块的行i和列j的一个象元的亮度值。

Pix_pred(i，j)对应于在参考图像或预测的块中由运动矢量指定的块的行i和列j的象元的亮度值。

根据特殊的实例，图像块分割为上部块和下部块，上部块对应于上部场，下部块对应于下部场，反之亦然。帧之间的中间模式由选择各个上部块和下部块的参考图像的重建的上部或下部场组成，此选择依赖于整个图像块的相关性测量。

根据特殊的实例，预分析步骤包括，基于由象元-回归型运动估计的估计计算的运动，由运动补偿滤波降低噪声的步骤。

根据特殊的实例，块匹配运动估计是分层型的。

根据特殊的实例，在较低分辨率的源图像上实现象元-回归型运动估计。

根据特殊的实例，在预分析步骤计算的运动矢量和相应的块是计算有关块的象元的矢量。

根据特殊的实例，在预分析步骤计算的运动矢量相应的块从有关块的象元计算的运动矢量分量的中值或平均值中获得。

根据特殊的实例，对几个参考图像执行相关计算，预分析步骤根据相关值执行一个或多个参考图像的选择。

本发明也涉及编码设备，包含有象元-回归型运动估计器的预分析电路，和图像块的实际编码电路，包括连接编码模式决定电路的图像块匹配运动估计器，特征在于基于由象元-回归型运动估计器计算的运动矢量，预分析电路用参考图像的偶数或奇数帧块，加于编码模式决定电路和在中间编码模式中，在同样奇偶或相反奇偶的场之间的中间编码，或在帧之间的中间编码中，根据相关水平，执行当前帧的偶数或奇数场块的相关计算。

根据特殊的实例，预分析电路传输编码模式信息到块匹配运动估计电路，以确定有关重建的图像的场和/或帧的运动估计。

使用由运动补偿滤波电路的运动估计器计算的运动矢量场，在编码环前产生场或帧编码模式的预选择，在实际编码前，降低源图像的噪声。

因此，降低了实现宏块水平的帧/场自适应编码的复杂性。简化了编码模块的编码模式决定电路计算。

附图说明

从描述中清楚的显现本发明其它的特征和优点，提供的描述作为非限制的范例和参考附图如下：

图1是本发明的编码器的框图；

图2是在第一解决方案中，由预分析电路的运动估计器计算的运动矢量；

图3在第二解决方案中，由预分析电路的运动估计器计算的运动矢量。

具体实施方式

在被传输到预分析电路6的编码器的输入端接收源图像的数字视频数据。图像被滤波并按图像块传输到减法器1的第一输入端。根据编码模式，内部的或中间的，减法器1传输有关在它的第一输入端接收的当前块的信息，或从后者减去对应于在它的第二输入端得到的预测的块的最新信息。减法器1的输出数据传输到离散余弦和量化变换电路2。此电路的量化的输出系数通过熵编码器3经历熵编码，然后存储在缓冲存储器4中。此存储器的填充水平传输到比特率控制电路5，它也从预分析电路接收数据，它影响量化器2的量化步骤。

重建当前图像提供预测的块。因此，量化的系数通过参考电路7经历逆量化和逆离散余弦变换，给出解码的亮度值。

如果它是中间模式编码的，加法器8使得预测的块加到解码的系数块上。在存储到存储重建的当前图像的图像存储器10之前，由滤波电路9滤波重建的块。

分层的运动估计器11接收有关解码的信息或由图像存储器10存储的重建的图像，和来自预分析电路6的有关源图像的当前宏块的信息。根据已知的原理，实现此当前宏块和重建的图像之间的相关性计算，以便提供运动矢量。这些矢量传输到编码模式决定电路13，此电路实现编码成本计算，以确定编码模式。如果需要，此编码模式和相应的运动矢量传输到运动补偿电路12，它实现重建的图像的运动补偿，从此重建的图像提供预测的图像块。运动矢量也传输到用于编码的熵编码器3，并传输到解码器。

用更详细的方式，在编码器的输入端有包含分辨率降低电路、象元-回归型运动估计电路和滤波电路的预分析电路3。这些电路使得在编码前要处理的图像的噪声降低。在此领域，认识到象元-回归型运动估计比由块的运动估计更适应于噪声降低。那么这是在编码器的预分析步骤实现的算法类型。

根据本发明，预分析电路3执行相关性计算，提供帧/场编码决定信息到编码模式决定电路13。如在后面步骤描述的一样，它实行帧/场模式预选择，以简化由决定模块进行的计算。

在编码器的输入端接收的图像序列的源图像由预分析电路子取样和可能的内插，提供更低空间分辨率的图像。在实际的图像编码前，由此预分析电路估计象元-回归型运动。那么它计算较低分辨率图像的每个象元，在我们的范例中它的尺寸水平的和垂直的划分为两个。此估计也预先对编码模块提供某些有用的信息，如在运动中检测的区域，不可预测的区域，优选的预测方向等。

基于此运动估计，运动补偿滤波实现在全分辨率的图像上；此滤波降低图像的噪声，因此，改善了编码器的效率。

可使用预分析电路定义要编码的序列的GOP结构，即，图像的类型，内部或中间，参考图像，双向等。术语GOP是“图像组”的首字母缩略词，并在MPEG标准中规定。

对预先规定的图像数执行预分析。在预分析和实际图像编码之间的延迟时间段可认为是比特率控制的图象组的量级。例如这对应于MPEG标准的一个或几个GOP。

在我们的例子中，运动估计电路11是根据分层结构和块匹配方法。当前的宏块与解码的图像相比，根据增加分辨率的锥体构造，在锥体的最低分辨率开始到最高的分辨率水平。从最低的分辨率水平到最高的分辨率水平，估计各分辨率水平的运动矢量场，能使用在一个水平做的估计作为更高水平的预测。锥体依赖于编码电路的不同编码模式。因此，对于对帧、场和给定参考图像存在多个锥体。在许多参考方法中，锥体的数量是成倍增加的。

用有关帧的宏块对和有关场的这些宏块对的各宏块计算运动矢量。

在编码环中，滤波电路9实现重建的图像的滤波，以降低块的影响。正好是滤波的图像存储在图像存储器10中。

预分析电路6连接比特率控制电路5，提供GOP结构信息和图像类型的编码成本信息，简化能集成事后可追溯的信息的比特率控制。在内部模式的第一通道期间，预分析电路根据编码确定图像的复杂性，并传输每图像类型的编码成本估计到控制电路，因此控制电路可计算DCT+Q电路的量化步骤。

编码模式决定电路执行编码成本或能量计算，选择编码模式，内部模式，中间模式，双向的，参考图像选择等。在从运动估计器接收的运动矢量中，它消除那些对应于由预分析电路没有选择的模式，在那些遗留下来的中，选择提供最低编码成本的运动矢量。

图2用符号表现由象元-回归型运动估计器实现的不同类型的宏块编码运动估计。

帧分割为不同间隔显示的两个隔行扫描场。第一场在时间上称为上部场或奇数场，出现在帧的各奇数行，同时第二场在时间上称为下部场或偶数场，出现在帧的各偶数行。两个场形成帧。

参考24的16×16宏块属于显示为实行的第一上部场，参考15的16×16宏块属于显示为实行的下一上部场。

参考14的16×16宏块属于显示为虚行的第一下部场，参考16的16×16宏块属于显示为虚行的下一下部场。

由参考21和22的两个16×16宏块组成的宏块对属于隔行扫描的图像或帧，并因此由上部场和下部场的连续的行构成。

如果宏块对用帧模式编码，那么宏块对由连续的偶数和奇数行构成；参考21、运动矢量参考23指向前面的隔行扫描的图像，指定16×32宏块参考22。由使用偶数和奇数行实现运动估计的内插。

如果宏块对用场模式编码，那么它分别由参考15和16指向的奇数行构成的上部宏块，和由偶数行构成的下部宏块构成。上部宏块的运动矢量由矢量参考17指向上部场或前面的奇数场的宏块或由矢量参考18指向下部场或前面的偶数场的宏块。下部宏块的运动矢量由矢量参考20指向前面的偶数场的宏块，或由矢量参考19指向前面的奇数场的宏块。

用作运动估计的图像是比源图像分辨率低的图像。由预分析电路实现子取样和滤波。存储较低分辨率的图像，在此当前图像和前面的存储的参考图像之间实现象元-回归型运动估计和存储。

以匹配每个宏块的运动矢量的方式，处理运动矢量场、象元运动矢量。例如，考虑有关全分辨率图像的宏块的所有的象元运动矢量，这组运动矢量的中值运动矢量分派给此宏块。选择这些运动矢量的平均值也是可能的。也可实现子取样，因此取样的图像的一个象元对应于源图像的宏块，因此，一个运动矢量对应于一个宏块。

图2是对应于预选择编码模式的第一解决方案。

预分析电路6的运动估计器计算各图像的运动矢量场。这些矢量对应于运动：

—在当前帧和前面帧之间

—在当前偶数场和前面偶数场之间

—在当前偶数场和前面奇数场之间

—在当前奇数场和前面偶数场之间

—在当前奇数场和前面奇数场之间。

它对各宏块实现有关这些运动矢量场的相关计算。

因此，对当前图像的各场，它计算同样奇偶的参考场的中问场之差的和。基于帧的双宏块或对应于每一个32行16列的这些场的隔行扫描的图像，下面获得了偶数场的宏块：

${\mathrm{DFD}}_{\mathrm{even},\mathrm{sameparity}}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\Σ}}}|{\mathrm{pix}}_c(2i,j)-{\mathrm{pix}}_{\mathrm{pred}}(2i,j)|$

下面获得了奇数场的宏块：

${\mathrm{DFD}}_{\mathrm{add},\mathrm{sameparity}}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\Σ}}}|{\mathrm{pix}}_c(2i+1,j)-{\mathrm{pix}}_{\mathrm{pred}}(2i+1,j)|$

其中pix_pred，基于运动矢量的预测值。对帧的双宏块的行的各i值，j列是从0递增到15。2i行对应于从双宏块提取的偶数场的宏块，2i+1行对应于奇数场的宏块。

同样，对当前图像的各帧，它计算相反奇偶的参考场的中间场之差的和。下面获得当前偶数场的宏块：

${\mathrm{DFD}}_{\mathrm{even},\mathrm{oppose},\mathrm{parity}}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\Σ}}}|{\mathrm{pix}}_c(2i,j)-{\mathrm{pix}}_{\mathrm{pred}}(2i+1,j)|$

对当前奇数场的宏块：

${\mathrm{DFD}}_{\mathrm{add},\mathrm{oppose},\mathrm{parity}}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\Σ}}}|{\mathrm{pix}}_c(2i+1,j)-{\mathrm{pix}}_{\mathrm{pred}}(2i,j)|$

最后，对帧和双宏块，它计算中间帧差的和：

${\mathrm{DFD}}_{\mathrm{picture}}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\Σ}}}|{\mathrm{pix}}_c(i,j)-{\mathrm{pix}}_{\mathrm{pred}}(i,j)|+\underset{i,j=0}{\overset{i,j=15}{\mathrm{\Σ}}}|{\mathrm{pix}}_c(i+16,j)-{\mathrm{pix}}_{\mathrm{pred}}(i+16,j)|$

$=\underset{i,j=0}{\overset{i=31,j=15}{\mathrm{\Σ}}}|{\mathrm{pix}}_c(i,j)-{\mathrm{pix}}_{\mathrm{pred}}(i,j)|$

其中pix_pred是基于运动矢量的预测值。

对图像的各场，计算电路选择产生最低DFD的参考场的奇偶。

${\mathrm{DFD}}_{\mathrm{even}}^{\min }={\mathrm{DFD}}_{\mathrm{even},\mathrm{sameparity}}\underset{\mathrm{opp},\mathrm{parity}}{\overset{\mathrm{sameparity}}{\underset{>}{<}}}{\mathrm{DFD}}_{\mathrm{even},\mathrm{oppos},\mathrm{parity}}$

${\mathrm{DFD}}_{\mathrm{odd}}^{\min }={\mathrm{DFD}}_{\mathrm{odd},\mathrm{sameparity}}\underset{\mathrm{oppos},\mathrm{parity}}{\overset{\mathrm{sameparity}}{\underset{>}{<}}}{\mathrm{DFD}}_{\mathrm{odd},\mathrm{oppos},\mathrm{parity}}$

例如，对第一式子，如果DFD_{even，sameparity}具有比DFD_{even，oppos，parity}更低的值，选择的值是DFD_{even，sameparity}。如果有更高的值，选择DFD_{even，oppos，parity}。

各场的最小DFD值加在一起：

${\mathrm{DFD}}_{\mathrm{field}}={\mathrm{DFD}}_{\mathrm{even}}^{\min }+{\mathrm{DFD}}_{\mathrm{odd}}^{\min }$

由比较相应的DFD实现在场编码和帧编码之间的选择，DFD相对于场编码由值λ置于不利地位。此λ＞0参数使得在场模式中附加编码成本，

考虑传输两个运动矢量：

${\mathrm{DFD}}_{\mathrm{field}}+\mathrm{\&lambda;}\underset{\mathrm{picture}}{\overset{\mathrm{field}}{\underset{>}{<}}}{\mathrm{DFD}}_{\mathrm{picture}}$

因此，根据前面的结果，预分析电路选择最有利的编码模式。它传输此信息到编码模式决定电路，它限制它的计算只到选择的编码模式。

根据不管由预分析电路选择的模式是简单的场或帧水平的编码，那么由编码模式决定电路做的编码成本计算限制在场模式或帧模式。

此限制甚至可进一步延伸。因此，当选择场模式时，对编码模式预分析电路可利用偶数场或奇数场，和对组成宏块对的各宏块。

对应于图3的第二个更简单的解决方案。对预分析电路的运动估计器，它由计算有关场的4个矢量场组成，在图上的参考是]17，18，19，20，对当前图像的各场，相同奇偶和相反奇偶的参考场的中间场之差的和：

${\mathrm{DFD}}_{\mathrm{even},\mathrm{sameparity}}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\&Sigma;}}}|{\mathrm{pix}}_c(2i,j)-{\mathrm{pix}}_{\mathrm{pred}}(2i,j)|$

${\mathrm{DFD}}_{\mathrm{add},\mathrm{sameparity}}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\&Sigma;}}}|{\mathrm{pix}}_c(2i+1,j)-{\mathrm{pix}}_{\mathrm{pred}}(2i+1,j)|$

${\mathrm{DFD}}_{\mathrm{even},\mathrm{oppose},\mathrm{parity}}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\&Sigma;}}}|{\mathrm{pix}}_c(2i,j)-{\mathrm{pix}}_{\mathrm{pred}}(2i+1,j)|$

${\mathrm{DFD}}_{\mathrm{add},\mathrm{oppose},\mathrm{parity}}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\&Sigma;}}}|{\mathrm{pix}}_c(2i+1,j)-{\mathrm{pix}}_{\mathrm{pred}}(2i,j)|$

通常进行帧选择，组成宏块对的两个宏块对同样奇偶的场经受场的同样运动。因此，对当前图像的场之一，如果对应于相反奇偶的场的DFD低于对应于同样奇偶的场的DFD，宏块编码选择是场模式。确实，在此情况中，或许偶数场的宏块和构成宏块对的奇数场的宏块不经受同样的运动，因此帧模式是较少有利的。例如，这是在两个场之间在时空中大的运动的情况，时间是20ms。

另外，即如果相对于同样奇偶的场的运动矢量是邻近的，由预分析电路选择帧模式。

在此解决方案中，预分析电路6在帧水平实现运动估计是不必要的，由编码决定电路13选择试验的编码模式。

另一解决方案是基于预分析电路的运动估计器计算的场矢量来计算帧矢量场。对场计算的运动矢量用于计算相对于帧的双宏块的对应的DFD，选择的矢量是提供最低DFD差，那么最低DFD差是DFD_frame。我们回到计算DFD的第一解决方案的情况，但在此情况中，运动估计器不必须估计帧之间的运动。

这些是实例。本发明适用于图像分割为寻求相关性的块或宏块的所有的类型。中间步骤可由分割这些块或宏块和对这些块或宏块的各部分的相关搜索构成。

运动估计器可以是除了本发明的象元-回归或分层型以外的不离开本发明范围的其它类型。

有关传输到编码选择电路13的编码模式选择的信息也能传输到分层的运动估计电路11。因此，此电路只对选择的模式、场或帧限制它的运动估计计算。因此，降低了运动估计器的计算量。

本申请涉及传输或视频信息存储的数字数据的压缩。

Claims (13)

1.一种编码源图像序列的方法，包括具有在当前图像和参考图像之间的象元-回归型运动估计的预分析步骤(6)，和图像块的实际编码步骤，有在当前图像和参考图像之间的块匹配运动估计步骤(11)，在编码模式决定步骤(13)之后，如内部模式、在同样奇偶或相反奇偶的场之间或在帧之间的中间模式，其特征在于基于在此步骤计算的运动矢量和对应的块，预分析步骤用参考图像的偶数和奇数场块对当前图像的偶数和奇数场块执行相关水平计算，并在编码模式决定步骤和在中间编码模式中，根据相关水平，实现同样奇偶或相反奇偶的场之间的中间编码或帧之间的中间编码。

2.根据权利要求1所述的方法，其特征在于当在相反奇偶的场之间的相关水平低于在同样奇偶的场之间的相关水平时，实现场之间的中间编码。

3.根据权利要求1所述的方法，其特征在于预分析步骤也用参考图像的帧块实现在当前图像的帧块之间的相关计算，根据相关水平确定在场之间或在帧之间的编码模式。

4.根据权利要求1所述的方法，其特征在于相关计算由下面的DFD值的计算构成：

$\mathrm{DFD}=\underset{i,j=0}{\overset{i,j=15}{\mathrm{\&Sigma;}}}|\mathrm{pi}{x}_c(i,j)-\mathrm{pi}{x}_{\mathrm{pred}}(i,j)|$

其中，Pix_c(i，j)对应于当前块的行i和列j的一个象元的亮度值，

Pix_pred(i，j)对应于由在参考图像或预测的块中的运动矢量指定的块的行i和列j的象元的亮度值。

5.根据权利要求1所述的方法，其特征在于图像块分割为上部块和下部块，上部块对应于上部场，下部块对应于下部场，或反之亦然，其中，在场之间的中间模式由为各个下部和上部块的参考图像的上部或下部场重建的选择组成，其中，选择依赖于整个图像块的相关性测量。

6.根据权利要求1所述的方法，其特征在于预分析步骤(6)包括基于由象元-回归型运动估计器计算的运动，由运动补偿滤波的噪声降低步骤。

7.根据权利要求1所述的方法，其特征在于块匹配运动估计器是分层类型。

8.根据权利要求1所述的方法，其特征在于在低分辨率的源图像上实现象元-回归型运动估计。

9.根据权利要求1所述的方法，其特征在于在预分析步骤计算的运动矢量和对应的块是通过有关块的象元计算的。

10.根据权利要求1所述的方法，其特征在于在预分析步骤计算的运动矢量和对应的块是通过计算有关块的象元的运动矢量分量的中值或平均值获得的。

11.根据权利要求1所述的方法，其特征在于对几个参考图像执行相关计算，其中，预分析步骤根据相关值执行一个参考图像或图像的选择。

12.一种实现权利要求1所述的方法的编码设备，包括有象元-回归型运动估计器的预分析电路(6)，和图像块的实际编码电路，包括连接编码模式决定电路(13)的块匹配运动估计器(11)，其特征在于预分析电路基于由象元-回归型运动估计器计算的运动矢量，用参考图像的偶和奇场块执行当前图像的偶和奇场块的相关性计算，根据相关水平，由编码模式决定电路(13)在中间编码模式中对同样奇偶或相反奇偶的场之间进行中间编码或在帧之间进行中间编码。

13.根据权利要求12所述的设备，其特征在于预分析电路传输编码模式信息到块匹配运动估计电路，以定义有关重建的图像的场和/或帧的运动估计。

Images