CN1756363B - 对源图像序列进行编码的方法和装置 - Google Patents

Abstract

公开了一种对源图像序列进行编码的方法和装置，该方法包括：将图像细分为区域，其中所述的区域包括根据图像的电视扫描顺序由连续块或者非连续块组成的一个集合；块间或者块内图像块编码，这些图像块是根据区域的次序由区域进行编码的，并且对于一个区域，根据组合成区域的图像块的先后次序由区域进行编码；对编码的图像块进行纠错；对运动场进行分析，以便根据与图像块相关的运动矢量，计算分配给该图像块并相应于在后续图像中存在的可能性的“生命期限”参数，细分步骤是考虑到该参数值来执行的，用于从最重要到最不重要的次序定义并排序图像中的区域，纠错步骤使用一个对于第一区域中的编码数据比相应于后面区域中的数据更为有效的纠错算法。

Description

对源图像序列进行编码的方法和装置

技术领域

本发明涉及一种对视频序列图像进行编码的方法和装置，特别涉及使用基于运动场计算(moving field calculation)利用图像之间的时间相关性以图像块形式进行编码。

例如，这个领域是H.264/AVC类型的视频编码。

背景技术

不同于以前的视频编码标准，H.261、H.263、MPEG2或者MPEG4，依赖于电视类型的图像扫描方向，宏块顺序集合或者宏块片段可由图像中的非连续性的宏块组成。这种可能性被称为灵活的宏块排列次序(FMO)。例如FMO工具已经被S Wenger和M Horowitz在2002年5月的JVT-C089ISO/MPEG&ITU中描述了。

在多厂商网络中传输视频图像的环境中，通常所谓的高传输误差率是由丢包的数目来定义的，因此，为了保护由压缩数据组成的包，通常使用纠错编码例如里德-索罗蒙码(Reed-Solomon codes)或者前向纠错(FEC)连续校验码。这些纠错算法，是基于冗余的，因此编码的成本比较高，然而，它们没有按对编码的重要程度来划分图像的区域。

发明内容

本发明的目的是为了克服上述缺陷。

为此，本发明的一个主题是一种对图像序列进行编码的方法，包括：将图像细分为图像块的步骤，将图像分割成区域的步骤，其中区域根据图像的电视扫描顺序包括一系列连续块或者非连续块，

在该序列的当前图像和前一图像之间进行运动估计，以提供一个将运动矢量与图像块相关联的运动场的步骤，

块间或者块内编码的步骤，这些块是按照区域的次序逐区域进行编码的，并且对于一个区域，根据组成该区域的图像块的先后次序来进行编码，

对编码的图像块进行纠错的步骤，其特征在于：

执行对运动场进行分析的步骤，以便根据与图像块相关的运动矢量，计算分配给该图像块并与在后续图像中存在的可能性相对应的“生命期限(lifespan)”参数，

所述分割步骤是考虑到该参数的值而执行的，用于从最重要到最不重要的次序定义并排序图像中的区域，

所述纠错步骤使用一个对于与第一区域相对应的编码数据比与后面区域相对应的数据更为有效的纠错算法。

根据一个特定的实施例，块的“生命期限”参数的计算，是通过外推分配给该块的运动场的运动矢量来完成的。

根据一个特定的实施例，考虑到用于决定存在的可能性的图像参考基准的图像，是不同于传统预测双向B类型的图像，或者甚至是不同于传统预测双向B和B存储类型的图像。

根据一个特定的实施例，针对图像序列中编号为M图像所计算的运动矢量被外推到编号为M+m、M+2m、M+3m...的图像，其中m是正整数，块的参数值依赖于分配给该块的矢量的末尾属于这些图像的次数。

根据一个特定的实施例，一个区域是由参数的上限和下限定义的，区域由一组图像块所组成，其中，该区域中的参数包括在定义该区域的范围内。

根据一个特定的实施例，与块相关的数据以根据分配给与数据包相对应的区域的重要度排序的数据分组为形式进行结构化。

根据一个特定的实施例，区域是由如H.264/AVC标准所定义的片组(slice group)构成的。

本发明还涉及一种对图像序列进行编码以实现上述方法的装置，其包括用于划分图像和配置区域的电路，将图像配置到成由图像块构成的区域，并根据区域的排序次序，将图像块提供给运动估计电路以及块间和块内编码电路，已编码的图像块被传输给纠错电路；运动场分析电路，用于根据运动场的运动矢量计算图像块的“生命期限”参数；用于细分图像和配置片的电路，接收生命期限参数，以配置区域并按照从最重要的到最不重要的顺序对区域进行排序；以及纠错电路，实现针对与第一区域相对应的数据比与后面区域相对应的数据更为有效的纠错算法。

因此，根据场景的内容，特别是运动场的性质形成了区域并对其进行排序。区域重要度的排序，是依据区域中的图像块或者宏块的生命期限参数来建立的，也就是说，可以使用图像中的宏块或者图像块对后续图像进行预测编码。

对于本发明，可以提高恢复图像的质量，被视为是最重要的区域可以使用最有效的纠错编码。此外，解码器中的基于运动场分析的误差处理过程也可以更加有效。

附图说明

本发明的其它特征和优点可以从下面的描述中清楚的得到，这些描述可通过非限定性的例子并基于附图而给出，附图描述如下：

图1，根据本发明的一个编码器的结构图，

图2，放大环境下区域的分配图，

图3，左边平面环境下区域的分配图。

具体实施方式

图1描述了一个用于实现本发明所述的方法的编码器。

视频序列的源图像的数字视频数据作为要传输给细分图像和配置区域的电路1的编码器输入而被接收，该电路1将图像细分为宏块，并将宏块配置到区域中。组成宏块的图像块通过第一个输出端，输出给运动估计电路2，通过第二个输出端，输出给减法器3的第一个输入端。根据块内或者块间编码模式，减法器3传输从它的第一个输入端上接收的与当前图像块相关的信息，或者从后者中确实减去在它的第二个输入端上获取的、与预测图像块相应的信息。减法器输出的数据被传输给离散余弦变换和量化电路4。该电路输出的量化系数通过变长编码器5(VLC)进行熵编码。

当前的图像被重组以提供预测图像块。因此，量化系数通过参考电路6进行逆量化和逆离散余弦变换，以提供解码的亮度值。

如果是块间编码模式，加法器7将预测图像块加到解码系数图像块中。重组的图像块被存储在图像存储器8中，该图像存储器8可用于存储被重组的当前图像。

运动估计电路2接收存储在图像存储器8中的先前被解码的或者重组图像的信息，以及来自细分图像和配置区域电路1中与源图像的当前宏块相关的信息。运动估计电路2根据一个公知的原理，在当前的宏块和重组图像之间执行相关计算，以提供运动矢量。这些矢量被传输给编码模式决定电路9，该编码模式决定电路9进行编码成本的计算，来决定最适当的编码模式，并且这些矢量被传输给了运动场分析电路10。适当的编码模式和相应的运动矢量一起被传输给运动补偿电路11，该运动补偿电路11为重组图像提供运动补偿，并为减法器3的第二个输入端提供来源于该重组图像的预测图像块。运动矢量也传输给熵编码电路5，其中熵编码电路5用于进行编码并将输出传输给解码器。由运动场分析电路计算得到的信息被传输给区域配置电路，该区域配置电路将图像配置到由片或者片组所构成的区域中，对区域进行排序以定义图像块的编码次序。比如，在通过将图像中的所有宏块分配到不同的区域中而将图像配置到区域中之后，区域中的宏块组成了如H.264/AVC的标准定义的片或者片组。

在经由分布式网络如Internet，传送给解码器之前，编码器输出端的数据流被传输给使用纠错编码的电路，其在图中没有示出。该电路通过纠错编码对每个区域或者每个片加上冗余。对于图像中的编码成本较高的第一个编码区域或者片，选用较为有效的纠错算法，编码成本与冗余级别有关，对于后面的编码成本较小的区域或者片，使用不太有效的纠错算法。

区域是根据相对于宏块，以及从内容观点看来图像区域的重要度的运动场的性质所形成的。依赖于运动场的性质，适当地给予保护图像的某些部分的优先级。区域可以以图像参考基准中的宏块的生命期限的概念为基础，进行配置。

因此，运动场分析电路根据运动估计电路提供的运动场，计算“生命期限”参数，而“生命期限”参数是根据运动矢量分配给图像的每一块或者每个宏块的。这个“生命期限”参数与待编码的下一图像中的图像的存在可能性相对应。当其中正在处理的块应当被定位的图像的数目变得越来越大时，这个参数将变得越来越大。这个值依赖于对图像块进行计算的运动，它的振幅和方向。

假定运动是不变的，计算可以是，对分配给从图像M到图像M+m、M+2m、M+3m...的宏块的运动矢量执行外推运算，其中m为图像的编号并且是为图像所选择分析周期。当应该出现宏块的图像的数目越高，这个参数的值就越大。

被编码的图像是预测类型P、B存储类型(根据在H.264/AVC标准中的术语)或者传统的B双向预测类型的图像内和图像间编码。I、P甚至B存储类型的参考图像，比传统B类型图像更为重要，因为它们可用于预测编码。因此，可以根据本发明的变化，计算“生命期限”参数，当决定了其中宏块应当被定位的后续图像的数目时，不考虑传统的B类型图像。也可以根据变化，不考虑B存储类型的图像，这些B存储类型的图像仅仅是用来作为对传统的B图像和传统的B类型图像的参考。那么m的值是仅仅考虑P或者I类型的图像的分析周期。

FMO工具可定义区域，实际上是片组(根据H.264/AVC标准)。当仅仅考虑片组中的宏块时，片组中宏块的处理次序与电视的扫描次序相关。每个片组或者区域都根据分配给该组的数目，按顺序进行处理。

被描述的方法可用来根据图像区域中的空间-时间行为，通过运动场分析来结构化片组。因为片组被结构化，就可以保护后者，以至于根据这种运动场的分析，当有片组被认为是最不可缺少的时候，可使用最为有效的纠错编码。

区域配置电路根据“生命期限”参数的不同，定义图像中不同的区域。具有相同或者相似参数值的图像块被组合到一个区域中。这些区域被编号，第一个片组与最高的参数值相对应，最后一个片组与最低的参数值相对应。

值得注意的是，因为片是根据运动场的性质划分的，所以解码器可以更加有效的进行误差掩盖处理。如果解码器具备用于这种类型的处理的更为有效的算法，其中是基于对运动场的分析，以重构没有作为残留的误差而被解码的图像部分，也就是说，这些差错不能被纠错。比如，在MPEG标准中提及的时间预测掩盖算法。实际上，宏块是最有可能被用作后续预测的基础，这些宏块是使用一个强有力的纠错算法来进行编码的。

图2在一个放大(zoom-in)的图中描述了一个被细分为宏块的图像，并且这些宏块被打散到区域中或者片组中。

在放大图中，从图像的中央部分形成第一个片是非常有利的，这个图像区域在时间预测中是最重要的。

在图2中的片组的分布实例如下：

第一片组：在中央的宏块，使用从左上角到右下角的倾斜的阴影线描绘，

第二片组：在第一片组周围的宏块，没有用阴影线描绘，

第三片组：在第二片组周围的宏块，使用水平交阴影描绘，

第四片组：在第二片组周围的宏块，使用垂直阴影线描绘，

第五片组：在图像的右边和左边的边缘线上，用从右到左的倾斜的阴影线进行描绘的宏块。

第一组的宏块的编号是从1-16、第二组是从17-36、第三组是从37-50、第四组是从51-64、第五组是从65-80。

图3描述了被细分为宏块的图像，以及在左边平面中被细分到区域中或者片组中的分布。在这个配置中，由图像块组成的第一个片组，其中这些图像块属于进入场景的新区域，当这些区域仍在图像中时，后者需要被用作预测。

在图3中的片组的分布实例如下：

第一片组：图像左边的宏块，使用从右上角到左下角的倾斜的阴影线描绘，

第二片组：在第一片组右边的宏块，使用从左到右的倾斜的阴影线描绘，

第三片组：在第二片组右边的宏块，使用水平的阴影线描绘，

第四片组：在第三片组的右边的宏块，没有使用阴影线进行描绘，

第五片组：在第四片组的右边的宏块，使用垂直的阴影线描绘。

第一组中的宏块的编号为1到16、第二组为17到32、第三组为33到48、第四组为49到64、第五组为65到80。

因此，最先离开图像场的宏块，是编号为65到80的宏块，它们组成最后一个片组，因此，使用不太有效的纠错算法进行编码。

为了限制区域的数目，就可以由“生命期限”参数值的最高限和最低限定义这些区域。这样，一个区域是由一组宏块来组成的，这是因为相关的参数存在于定义区域的范围内。这些限定可以根据一幅图像的不同的参数进行选择。

本申请主要涉及到数字图像的传输，特别是在多厂商网络中，使用一个包含将宏块划分为片的FMO类型工具的视频编码标准。

Claims (9)

1.一种对图像序列进行编码的方法，包括：将图像细分为图像块的步骤，以及在该序列图像的当前图像和前一图像之间进行运动估计(2)以提供一个将运动矢量与图像块相关联的运动场的步骤，其特征在于，所述方法还包括：

-对运动场进行分析的步骤(10)，根据与该块相关联的运动矢量，计算分配给该块并与在后续图像中存在的可能性相对应的“生命期限”参数，

-划分步骤，通过考虑块的参数值将块组合起来以形成区域，在考虑到图像的电视扫描顺序时，区域包括一系列连续块或者非连续块，

-根据“生命期限“参数值，按照从最重要到最不重要的次序对区域进行排序，

-根据区域的次序逐区域对块进行编码的步骤(3，4)，以及针对一个区域，根据组成该区域的块的先后顺序对块进行编码，

-实现纠错算法的纠错步骤，所述纠错算法对于与最重要区域相对应的数据比与最不重要区域相对应的数据更为有效。

2.如权利要求1所述的方法，其特征在于，块中“生命期限”参数的计算是通过外推分配给块的运动场的运动矢量来进行的。

3.如权利要求2所述的方法，其特征在于，考虑到用于决定存在的可能性的图像参考基准的图像，是不同于传统预测双向B类型的图像。

4.如权利要求2所述的方法，其特征在于，考虑到用于决定存在可能性的图像参考基准的图像，是不同于传统预测双向B和B存储类型的图像。

5.如权利要求2所述的方法，其特征在于，对于编号为M的图像序列所计算的运动矢量被外推到编号为M+m、M+2m、M+3m...的图像，其中m是正整数，以及块的参数值依赖于分配给属于这些图像的该块的最后一个矢量的倍数。

6.如权利要求1所述的方法，其特征在于，区域是由参数的上限和下限定义的，区域是由一组块所组成的，对于该组块，该区域中的参数包括在定义该区域的范围内。

7.如权利要求1所述的方法，其特征在于，区域由在H.264/AVC标准定义的片组构成的。

8.一种用于根据权利要求1所述的方法对图像序列进行编码的装置，包括：用于细分图像并配置区域的电路，将图像配置到由图像中的图像块组成的区域中，并根据区域的排序次序，将这些图像块提供给运动估计电路和块间和块内编码电路(3，4，6，7，8，9，11)，其特征在于，所述装置还包括：

运动场分析电路(10)，用于根据运动场的运动矢量，计算分配给该块的“生命期限”参数，所述参数被发送给所述细分并配置区域的电路，所述电路通过考虑块的参数值将块组合起来，并根据“生命期限”参数值，按照从最重要到最不重要的顺序对区域进行排序，以及

纠错电路，接收用于实现纠错算法的编码块，所述纠错算法取决于区域，所述纠错算法对于与最重要区域相对应的数据比与最不重要区域相对应的数据更为有效。

9.如权利要求8所述的装置，其特征在于，区域与片或者片组相对应。

Images