CN102484699B - 对图像进行编码和解码的方法、用于编码和解码的对应装置 - Google Patents

Abstract

本发明涉及一种用于对来自图像的信号进行编码的方法，所述图像分成像素子块，所述方法包括合并步骤(101)，其用于在所述子块符合至少一个预定合并标准时将至少两个子块组成至少一个大小较大的块。根据本发明，此类方法包括预测步骤(103)，其对至少一个大小较大的块应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，所述运动预测矢量分别与所述大小较大的块的子集相关联，所述子集包括所述大小较大的块的所述子块中的至少一个子块，所述子集是预先定义并且不同的。

Description

对图像进行编码和解码的方法、用于编码和解码的对应装置

技术领域

本发明的技术领域涉及对由一系列的连续图像组成的视频流进行编码和解码。确切地说，本发明可适用于使用以块表示的视频序列和运动矢量的预测来压缩图像或视频序列。

本发明可尤其(但并不排他地)适用于在当前的视频编码器及其修改(MPEG、H.264、H.264SVC、H.264MVC等)或未来的视频编码器(ITU-T/VCEG(H.265)或ISO/MPEG(HVC))中实施的视频编码，而且适用于对应的解码。

背景技术

数字图像和图像序列占据大量的存储空间，从而在传输这些图像时必须要对这些图像进行压缩，以便避免用于此传输的通信网络中的拥塞问题，因为此网络的位速率通常是有限的。存储这些数据片段时也需要进行这种压缩。

已知存在很多视频数据压缩技术。这些技术中，有许多视频编码技术，尤其是H.264技术，使用相对于属于同一图像或属于前一或后一图像的其他组的像素块对多组当前图像的像素块进行空间或时间预测的技术。

具体而言，根据此H.264技术，相对于通过运动补偿进行编码/解码的其他图像I、P或B而言，图像I通过空间预测(帧内预测)来进行编码，图像P和B通过时间预测(帧间预测)进行编码。

这些图像细分成包括像素(例如8x8)的集合的多个块。每个块中均编码有残余块，也称为预测残余，其等于初始块减去预测。进行此预测性编码之后，像素块通过离散余弦变换型变换进行变换，接着进行量化。然后，按照读取顺序扫描经过量化的像素块的系数，以便能够利用高频中大量的零系数，接着通过熵编码对所述像素块的系数进行编码。

例如根据H.264技术，针对每个块，对以下内容进行编码：

-编码类型(帧内预测、帧间预测、无信息传输到解码器的默认或跳跃预测)；

-分块类型；

-关于预测的信息(定向、参考图像等)；

-运动信息(如有必要)；

-已编码的系数；

-等等。

解码会逐个图像完成，且对于每个图像，解码会逐个块完成。针对每个块，读取流中的对应元素。完成对块的系数进行的反量化和反变换。然后计算块的预测，并通过将预测添加到已解码的预测残余来重建块。

因此，H.264/MPEG-4AVC提出一种编码，其实施由相邻块的运动矢量的各个部分的中值定义的运动矢量预测。例如，用于在“帧间”模式中编码的块上的运动矢量是通过诸如以下项等预测性编码来进行编码的：

-在第一阶段中，为相关块的运动矢量设置预测矢量。通常情况下，称为中间预测值的此类矢量由已编码的块的各个部分的中间值来定义；

-在第二阶段中，对预测错误，即当前块的运动矢量与之前已建立的预测矢量之间的差异进行编码。

该运动矢量预测技术的延伸由J·荣格(J.Jung)和G·拉罗什(G.Laroche)在2006年7月的视频编码专家组(ITU-TVCEG)AC06的文件《用于运动矢量选择和编码的基于竞争的方案》(Competition-BasedSchemeforMotionVectorSelectionandCoding)中提出。

该技术包括将(例如)若干个预测值或预测候选矢量(超出AVC所用的中间预测值)置于竞争，并指出在预测候选矢量的集合中，哪个矢量被有效使用。

这些压缩编码技术很有效，但却不是压缩包括同质纹理区的图像的最佳技术。实际上，按照H.264/MPEG-4AVC标准，可相对于图像中的一个块对同一图像中的另一块进行空间预测，前提是：所述另一块是要预测的块的相邻块，且位于相对于此块的某些预定方向上，即通常此块的上方或左侧，并位于此块附近，称为“因果”邻近。类似地，图像的某块的运动矢量的预测是相对于相邻块的运动矢量的因果预测。

使用经过扩展的块大小进行编码的技术已由P·陈(P.Chen)、Y·叶(Y.Ye)和M·卡兹维茨(M.Karczewicz)在2009年1月的ITU-TCOM16-C123的文件“使用经过扩展的块大小进行视频编码(VideocodingUsingExtendedBlockSizes)”中提出，所述技术在使用块的混合视频编码器的延伸(例如，AVC方法)中。

根据此文件，使用大小扩展的块能够在运动补偿编码模式下限制编码运动信息的成本，具体是通过提出对与预定大小的块相比具有较大范围的同质区的运动矢量进行编码。此外，使用大小扩展的块使扩展支持的变换适用于运动补偿残余。此种扩展变换还能够通过更大的解相关容量以及有效地发信号给信号零残余来增加压缩。大小扩展的块尤其有益于对高分辨率视频序列进行的编码，且传统上会与传统大小的块一起被置于竞争。

因此，使用此类大小扩展的块来表示运动信息片段能够增加压缩效率，这是因为针对大小扩展的块只对一个运动矢量进行编码，且所述运动矢量适合运动不变的区。因此，所述运动矢量在大小扩展的块内应保持不变。然而，此匀速运动模式在运动并非保持不变但却具有类似特性的情况下是限制性的。例如，用于橙色匀质纹理区的此技术将表示同质区上的匀速运动，而此区的某些块或子块(其中子块为像素块的子集)可表示与，例如，维持结构相关的运动的不同之处。

所提出的解决方案通常可克服此问题，所述解决方案将大小扩展的块细分成子块，所述子块为像素块的子集，且所述解决方案为每个子块定义运动矢量。然而，此解决方案可对与大小扩展的块中的子块一样多的运动矢量进行编码，且就信号传输而言，所述解决方案的成本非常高。

因此，发明人已认识到，需要一种新技术，以在对大小扩展的块进行编码方面获得尤其好的性能，同时限制信号传输的成本，因此能提供较好的压缩效率，同时确保对即将编码的移动的正确表示。

发明内容

本发明提出一种不具有现有技术的所有缺点的新解决方案，其形式为一种用于对图像信号进行编码的方法，所述图像细分成像素子块，所述方法包括合并步骤，其用于在所述子块满足至少一个预定合并标准时将至少两个子块合并成至少一个大小扩展的块。

根据本发明，这种方法针对至少一组实施预测步骤，其对至少一个大小扩展的块应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，所述运动预测矢量分别与所述大小扩展的块的子集相关联，所述子集包括所述大小扩展的块的所述子块中的至少一个子块，所述子集是预先定义并且不同的。

为了提示，扩展了大小的块可将满足至少一个预定合并标准的子块合并在一起。通常情况下，用于形成大小扩展的块的合并标准致力于提高表示率。

例如，相关合并标准可依据颜色矢量之间的相似之处：换言之，如果表现四个不同子块的四个颜色矢量之间的差异低于预定阈值，那么可认为这四个颜色矢量类似，且由这些参数表现的四个子块可在大小扩展的块中合并在一起。

本发明的其他实施例可涉及依据亮度、纹理、运动信息的合并标准和/或再次对最大化位速率/失真比的子块进行合并等。

因此，本发明基于一种对图像信号进行编码的新发明方法，确切地说，是对运动预测矢量进行预测性编码，从而通过利用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，以便改变运动预测并在至少一个大小扩展的块内对其进行优化，同时提供较高的压缩效率，依据的是在发射器中实施且可由至少一个接收器复制的方法。

实际上，本发明的依据是，对至少一个大小扩展的块利用使用了分别与所述大小扩展的块的至少两个子块相关联的两个不同运动预测矢量的运动预测模式。因此，这种技术针对大小扩展的块的至少一个子块提供具有可用的第二运动预测矢量的可能性。这种可能性增强对即将编码的运动的表示，同时限制其信号传输的成本(针对整个大小扩展的块仅用信号传输一个模式)。

根据一项特定实施例，预测步骤针对至少一个大小扩展的块实施对至少两个运动预测模式进行的置于竞争，根据预定的选择标准选择所述运动预测模式中的一个模式，称为所选运动预测模式。

因此，本发明针对至少一个大小扩展的块通过将若干个预测模式置于竞争可优化对运动预测模式的选择。因此，得到更合适的运动预测模式，以描述构成大小扩展的块的所有子块的运动。

换言之，所选的运动预测模式能够沿着至少两个不同的运动预测矢量对大小扩展的块的子块进行预测。因此，本发明的技术能够在未极大增加信号传输成本的情况下，提高并改进可能运动的范围。

例如，完成对所优化的运动预测模式的选择的依据为：最大化位速率(每秒传输的位的数目)与失真(由于存在传输信道，所传输的信号与所接收的信号之间的差异)之间的比例的选择标准。

根据一项特定实施例，置于竞争适用于可用运动预测模式的集合，并根据选择标准选择所述运动预测模式中的最佳模式作为所选运动预测模式。

因此，本发明的方法能够确定大小扩展的块的最佳运动预测模式，所述最佳运动预测模式是从可用运动预测模式的集合中选择的。接着，此运动预测模式能够得到最可能的预测结果，从而改进图像的编码质量。

此外，根据此特定实施例的一个变体，置于竞争在实现预定标准后立即被中断，例如，在置于竞争的步骤期间所测试的运动预测模式达到最大化位速率与失真之间的比例的选择标准的可接受值后。此替代性实施例限制置于竞争的处理时间，从而使编码更快但却稍微损害编码质量。

根据本发明的一个特定特性，所述编码方法针对至少一个大小扩展的块实施插入步骤，其将识别所选运动预测模式的信息片段插入图像信号。

此类图像信号将针对大小扩展的块通知解码器与所述图像信号相关联的所选运动预测模式。

根据本发明的一项实施例，所述运动预测模式属于包括以下预测模式的组：

-称为“左模式(leftmode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于所述大小扩展的块的外部左侧并与相关子块同行的子块所使用的运动矢量；

-称为“顶模式(topmode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于所述大小扩展的块的外部正上方并与相关子块同列的子块所使用的运动矢量；

-称为“对角线模式(diagmode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于与相关子块相同的对角线上并在所述大小扩展的块的外部左上方的子块所使用的运动矢量；

-称为“左递归模式(leftrecursivemode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于紧靠相关子块的左侧并与相关子块同行的已编码的子块所使用的运动矢量；

-称为“加权对角线模式(weighteddiagmode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于通过相应加权得到的运动矢量，所述相应加权在以下两项之间执行：位于与相关子块相同的对角线上并在所述大小扩展的块的外部左下方的子块所使用的运动矢量，以及位于与相关子块相同的对角线上并在所述大小扩展的块的外部右上方的子块所使用的运动矢量；

-先前所列预测模式中的至少两个模式的组合(或“推导”)，例如，与可能使用“左递归”运动预测模式、可能使用“顶递归(toprecursive)”模式相同。

因此，针对至少一个大小扩展的块，本发明提出将上文所述的所有运动预测模式置于竞争，并为构成相关大小扩展的块的子块的预测选择最有效的运动预测模式。例如，如果所选的运动预测模式对应于“左”运动预测模式，且如果大小扩展的块为32x32子块的平方，那么每个子块将与对应于位于所述大小扩展的块的左侧的外部并与相关子块同行子块所使用的运动矢量的预测矢量相关联。通过分配此运动预测模式，相关大小扩展的块将对三十二个子块的三十二个子集(对应于行)进行编码，这些子集中的每个子集均与可能不同或可能相同的三十二个运动预测矢量相关联。

根据本发明的另一方面，所述运动预测模式属于也包括以下预测模式中的至少一个预测模式的组：

-称为“DC左(DCleft)”的模式，其将所述大小扩展的块的所有子块与表示位于所述大小扩展的块的外部紧靠左侧的至少一个子块所使用的至少一个运动矢量的运动预测矢量关联；

-称为“DC顶(DCtop)”的模式，其将所述大小扩展的块的所有子块与表示位于所述大小扩展的块的第一子块的外部正上方的至少一个子块所使用的至少一个运动矢量的运动预测矢量关联。

因此，本发明还能够通过上文所引用的新预测模式将例如“DC左”和“DC顶”等传统预测模式置于竞争。实际上，例如，新“左模式”、“顶模式”和“对角线模式”预测模式使用至少两个运动预测矢量，而传统“DC左”和“DC顶”模式使用单个运动预测矢量。

根据本发明的一项特定实施例，以下项与大小扩展的块的所有子块相关联：

-对于称为“DC左”的模式而言，对应于位于所述大小扩展的块的外部的相应第一子块所使用的运动矢量的运动预测矢量，所述相应第一子块紧靠所述大小扩展的块的第一子块的左侧，或者

-对于称为“DC顶”的模式而言，对应于位于所述大小扩展的块的外部的相应第一子块的运动矢量所使用的运动预测矢量，所述相应第一子块位于所述大小扩展的块的第一子块的正上方。

根据另一项实施例，以下项与大小扩展的块的所有子块相关联：

-对于称为“DC左”的模式而言，对应于位于所述大小扩展的块的外部的相应子块列所使用的运动矢量的运动预测矢量组合，所述子块列紧靠所述大小扩展的块的左侧，或者

-对于称为“DC顶”的模式而言，对应于位于所述大小扩展的块的外部的相应子块行所使用的运动矢量的运动预测矢量组合，所述子块行位于所述大小扩展的块的正上方。

根据本发明的一个特定特性，所述编码方法包括，确定所述子块中的至少一个子块的运动矢量和与之相关的运动预测矢量之间的差异的步骤，所述差异称为残余。

例如，零残余表示理想预测。大小扩展的块的这些残余的映射也可视作最佳运动预测模式的选择标准。例如，对置于竞争的运动预测模式而言，针对构成大小扩展的块的所有子块设置中间值。已得到针对置于竞争的每个运动预测模式所确定的所有中间值之后，最低的中间值表示良好预测，并选择与所述最低中间值相关联的运动预测模式。因此，本发明的一项实施例可将运动预测模式置于竞争，从而实施对大小扩展的块的每个子块的残余进行的计算，以便选择最小化所得到的残余值的运动预测模式。

此外，此类编码方法实施用于对所述大小扩展的块的子块的运动矢量残余的编码进行合并的技术，而且还实施信号传输，所述信号传输属于包括以下类型的信号传输的组：

-“零树”信号传输，其中表示所述残余的每个分支的值接近零；

-“依据范围”信号传输，其在于对具有相同值的一系列连续残余进行编码；

-等等。

零树运算包括使用树型结构，以用于对构成大小扩展的块的子块进行分级合并，并在分支级通知相关分支的“支系”是否都有零残余。换言之，此类树型结构实施对子块集合的递归重组。

本发明的另一个方面涉及一种计算机程序，其包括用于在处理器执行所述程序时实施上文所述的编码方法的指令。

实际上应注意，本发明的编码方法可通过多种方式进行实施，尤其是通过有线形式和/或软件形式。

在另一项实施例中，本发明涉及一种用于对图像信号进行编码的装置，所述图像细分成像素子块，所述装置包括合并构件，其用于在所述子块满足至少一个预定合并标准时将至少两个子块合并成至少一个大小扩展的块。

根据本发明，这种编码装置包括预测构件，其对至少一个大小扩展的块应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，所述运动预测矢量分别与所述大小扩展的块的子集相关联，所述子集包括所述大小扩展的块的所述子块中的至少一个子块，所述子集是预先定义并且不同的。

这种编码装置尤其适用于实施上文所述的编码方法。例如，这种编码装置是MPEG或H.264型编码器，或根据未来压缩标准的编码器。

当然，此装置可包括涉及本发明的编码方法的不同特性。

本发明的另一个方面涉及一种用于对图像信号进行解码的方法，所述图像细分成像素子块，所述方法包括合并步骤，其用于在所述子块满足至少一个预定合并标准时对至少一个大小扩展的块中的至少两个子块进行合并。

根据本发明，此类方法实施预测步骤，其对至少一个大小扩展的块应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，所述运动预测矢量分别与所述大小扩展的块的子集相关联，所述子集包括所述大小扩展的块的所述子块中的至少一个子块，所述子集是预先定义并且不同的。

根据一项特定实施例，预测步骤实施解码步骤，其对识别所述所选运动预测模式并通过编码插入到所述图像信号中的信息片段进行解码。

这样，本发明的解码技术能够在接收和读取编码信息(确切地说，信息的识别片段)之后，在对应于大小扩展的块的编码被解码时，确定从编码器和解码器已知的运动预测模式的集合中选择的运动预测模式。

本发明的另一个方面涉及一种计算机程序，其包括在处理器执行所述程序时实施上文所述的解码方法的指令。

实际上应注意，本发明的解码方法可通过多种方式进行实施，尤其是通过有线形式和/或软件形式。

在另一项实施例中，本发明涉及一种用于对图像信号进行解码的装置，所述图像细分成像素子块，所述装置包括合并构件，其用于在所述子块满足至少一个预定合并标准时，对至少一个大小扩展的块中的子块进行合并。

根据本发明，此类装置包括预测构件，其对至少一个大小扩展的块应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，所述运动预测矢量分别与所述大小扩展的块的子集相关联，所述子集是预先定义并且不同的，所述子集包括所述子块中的至少一个子块。

这种解码装置尤其适用于实施上文所述的解码方法。例如，这种解码装置是MPEG或H.264型解码器，或根据未来解码标准的解码器。

当然，此解码装置可包括涉及本发明的编码方法的不同特性。

附图说明

通过下文对一项特定实施例的描述，并借助于简单的说明性而非限制性的实例，结合附图，本发明的其他特征及优点将更加清楚，在这些附图中：

-图1所示为编码方法的主要步骤；

-图2A到图2G所示为不同的运动预测模式；

-图3所示为解码方法的主要原理；

-图4和图5所示分别为根据本发明的一项特殊实施例的编码装置的结构和解码装置的结构。

具体实施方式

5.1一般原理

本发明的一般原理为在至少一个图像中建立大小扩展的块。此类大小扩展的块是通过将子块合并而建立的，从而显示预定的合并标准。例如，如果与两个不同子块相关的两个颜色矢量之间的差异低于预定阈值，那么这两个子块可依据其类似的颜色矢量而合并在一起。也可根据亮度相关标准、运动信息片段进行合并和/或再次对最大化位速率/失真比的子块进行合并。通常情况下，会因为表示率而创建大小扩展的块。

本发明的技术能够对至少一个大小扩展的块实施使用了至少两个不同的运动预测矢量的运动预测模式。将选择性地使用这两个矢量作为参考，尤其用来确定残余，如下文所述。

因此，术语“运动预测模式”对应于建立一个子块或多个子块的规则，从所述子块中可得到下文与大小扩展的块的至少一个子块相关的运动预测矢量。

根据本发明的编码方法，置于竞争适用于至少一个大小扩展的块的可用运动预测模式的集合。在此置于竞争结束时，得到为先前相关的大小扩展的块所选的运动预测模式。

本发明的技术还可将信息片段插入所述图像信号中，所述信息片段关于识别针对至少一个大小扩展的块所选的运动预测模式。

5.2编码方法的各实施例的具体说明

根据本发明的一项实施例且如图所述，对于图像信号而言，图像细分成像素子块，将扩展大小块中的子块合并的第一步骤101可根据已知技术(例如，已在背景技术中提到并在以下文件中描述：P·陈(P.Chen)、Y·叶(Y.Ye)和M·卡兹维茨(M.Karczewicz)的“使用经过扩展的块大小进行视频编码(VideocodingUsingExtendedBlockSizes)”，ITU-TCOM16-C123，2009年1月)进行实施。

因此，大小扩展的块对应于将一组像素块或像素子块合并，其中子块为像素块的子集。例如，子块为8x8像素块，则大小扩展的块将4x4＝16像素子块合并在一起。这个合并是根据预定合并标准来完成的。例如，如果与两个不同子块相关的两个颜色矢量之间的差异或者与两个不同的子块相关的亮度信息片段低于预定阈值，那么这两个子块可依据其类似的颜色矢量而合并在一起。还可考虑实施一个合并标准以对最大化位速率/失真比的子块进行合并的另一项实施例。对与此大小扩展的块相关的信息进行编码的优点在于，可实现以下内容：

-在整个大小扩展的块(例如，所用的同一运动矢量、同一参考图像等)上集中信息，以用于组成所述块的所有子块，

-通过像素子块(或像素子块组)对信息进行编码，所述像素子块为，例如，所述子块中的至少一个子块的运动矢量和与所述运动矢量相关的由8x8、16x16、32x32子块集等编码的运动预测矢量之间的差异，也称为残余。

将子块合并101到至少一个大小扩展的块中之后，属于可用的大小扩展的块的运动预测模式的集合E(1001)的运动预测码被置于竞争102。

置于竞争的技术在(例如)以下文件中有所描述：J·荣格(J.Jung)和G·拉罗什(G.Laroche)的“用于运动矢量选择和编码的基于竞争的方案(Competition-BasedSchemeforMotionVectorSelectionandCoding)”，ITU-TVCEG，AC06，2006年7月，所述技术还在上文的背景技术中提及。

根据置于竞争所实施的一个预定选择标准，因此选择，例如，优化位速率与失真的比例的标准，即，称为所选运动预测模式MPs(1002)的运动预测模式，其适用于大小扩展的块。

所述集合E(1001)包括若干个不同类型的运动预测模式。首先，集合E包括传统运动预测模式，即，使用单个运动矢量来预测相关大小扩展的块的所有子块的“DC左(DCleft)”和“DC顶(DCtop)”。此外，集合E还包括(但不限于)“不太传统”运动预测模式，即，“左模式(leftmode)”、“顶模式(topmode)”、“对角线模式(diagmode)”、“左递归模式(leftrecursivemode)”、“加权对角线模式(weighteddiagmode)”或这些模式中的至少两个模式的组合，所述模式实施与大小扩展的块的不同子块的子集相关的至少两个不同的运动预测矢量。

例如，所述“左模式”在于将大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于大小扩展的块的外部左侧并与相关子块同行的子块所使用的运动矢量。

称为“左递归模式”的模式本身使大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于紧靠相关子块的左侧并与相关子块同行的已编码的子块所使用的运动矢量。

下文参阅图2A到图2G更详细地描述了所有这些不太传统的模式。

根据一项实施例，可以认为，置于竞争在得到预定选择标准的接受值后立即被中断。

例如，运动估值器(编码器中所用的用于设置运动矢量的装置)所得到的运动矢量的残余能量小于预定阈值后，立即选择满足此标准的运动预测矢量。

具体而言，对于含有8x8子块的大小扩展的块而言，可以设想一个运动预测模式的选择标准，以使这些残余的范数之和小于10，所述和表示为“亚像素”。通常情况下，像素(也称为点)的亚像素位置被分解为较低分辨率级中最近的较低像素的位置以及相对于低像素的移位，表示为亚像素间隔或距离。例如，在像素的第16个精度处，16个亚像素间隔可能对应于两个完整像素位置之间的15个亚像素位置。

此实施例在处理速度方面占有优势。然而，就位速率/失真而言，所得的处理速度会损害更好的性能，所述位速率/失真将通过尚未置于竞争中的可用运动预测模式得到。

根据另一项实施例，置于竞争的步骤102测试所有可用的预测模式，并根据预定的选择标准来选择最佳运动预测模式。

此外，选择适用于大小扩展的块的运动预测模式传递此运动预测模式的识别信息Iid(1003)片段。

然后，编码方法实施预测步骤103，以使用先前所得的运动预测模式来预测相关大小扩展的块。根据所述实施例，预测步骤可传递相关大小扩展的块中的每个子块的预测残余。

回想前文，术语“残余”应理解为表示初始子块减去其预测。例如，在运动预测的情况下，术语“残余”表示所述子块中的至少一个子块的运动矢量和与之相关的运动预测矢量之间的差异。那么，零残余对应于理想预测。

下文中，与上述大小扩展的块的子块相关的最终运动矢量对应于先前所选的运动预测模式所定义的运动预测矢量，所述运动预测模式要加上所得的此子块的运动矢量残余。

因此，如果子块的残余不为零，那么上文所定义的“左模式”和“左递归模式”预测模式最终不会造成相同的运动场。

此外，本发明的实施例实施步骤104，以对大小扩展的块的子块的待编码的运动矢量残余进行合并。此步骤在于对具有类似的残余值(换言之具有近似值)的子块的残余的编码进行合并。

例如，可使用此合并的零树型信号传输，以便定义运动残余为零或不为零的那些子块。

接着，所述方法实施通过大小扩展的块的运动补偿进行的编码步骤105。必须注意，尽管定义了大小扩展的块，但每个子块的运动补偿是单独完成的，因为这些子块不必都要进行与上文所述相同的移动。

运动补偿之后，纹理残余(亮度/色度值，其即将添加到上述块的预测值，以便得到重构的块)也可进行编码，具体是：使用传统变换(即，DCT、哈达马变换等)在这些块上逐个子块地进行毫无差别地编码，或者通过大小扩展的变换(即，与传统大小的4x4、8x8、16x16块(此处为DCT、哈达马和其他类型的变换)，在大小扩展的块上进行的变换)在大小扩展的块(或中间大小的块)上同样地编码。

此外，本发明的编码方法实施步骤106，以插入识别信息Iid1003，从而能识别出所选的运动预测模式MPs1002。

参阅图2A到图2G，所示为传统运动预测模式“DC左”、“DC顶”、“左模式”、“顶模式”、“对角线模式”、“加权对角线模式”和“左递归模式”的相应运算方式。

为了图的清晰，所有的图2A到图2G都用(x，y)坐标来表示子块。子块的(x，y)坐标对应于大小扩展的块中第y行子块的第x水平子块。子块(0，0)对应于位于包括4x4像素子块的大小扩展的块200的左上位置的第一子块2000。因此，根据此表示规则，例如，子块(-1，0)对应于正好位于大小扩展的块的左上位置的图2A所示的子块201。此外，这些图中所示的箭头的起点定义一些子块，根据这些子块将运动矢量分配(运动预测矢量+残余)为即将编码的大小扩展的块的子块的运动预测矢量，由对应箭头的达到点表示。

现在参阅图2A，所示为传统运动预测模式“DC左”。在此运动预测模式下，大小扩展的块的所有子块的预测矢量对应于位于相关大小扩展的块200的左侧的子块(-1，0)201的运动矢量。

根据一项未图示的实施例，也有可能将运动预测矢量分配给大小扩展的块的子块的集合，此运动预测矢量对应于位于大小扩展的块的左侧的子块的集合的中间矢量，所述大小扩展的块的子块为，例如，子块(-1，0)、(-1，1)、(-1，2)、(-1，3)。应注意，此传统运动预测模式将相同预测矢量与大小扩展的子块内的所有子块关联，并形成背景技术的一部分。

参阅图2B，所示为“DC顶”运动预测模式。根据此传统预测模式，大小扩展的块的所有子块的运动预测矢量对应于位于相关大小扩展的块200的上方的子块(0，-1)202的运动矢量。

正如“DC左”运动预测模式的情况一样，存在但并未图示实施例的变体。所述模式将对应于位于大小扩展的块的上方的子块的集合的中间矢量的运动预测矢量分配给大小扩展的块的所有子块，例如，子块(0，-1)、(1，-1)、(2，-1)、(3，-1)。

参阅图2C，所示为称为“左模式”的新运动预测模式的说明。此“左模式”将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于大小扩展的块的外部左侧并与相关子块同行的子块所使用的运动矢量。因此，参阅图2C，子块(0，0)、(1，0)、(2，0)和(3，0)的运动预测矢量对应于参考203的子块(-1，0)的运动矢量。

类似地，大小扩展的块的第二行子块(包括子块(0，1)、(1，1)、(2，1)和(3，1))、第三行子块(包括子块(0，2)、(1，2)、(2，2)和(3，2))以及第四行子块(包括子块(0，3)、(1，3)、(2，3)和(3，3))的运动预测矢量分别对应于图2C中分别参考204、205、206的子块(-1，1)、(-1，2)、(-1，3)的运动矢量。

应注意，在图2C所示的情况下，“左模式”运动预测矢量使用可能不同或可能相同的四个运动预测矢量，从而能在大小扩展的块内描述非匀速运动。

参阅图2D，下文所示为称为“顶模式”的第二新运动预测模式的说明。此“顶模式”将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于大小扩展的块的外部正上方并与相关子块同行的子块所使用的运动矢量。

因此，参阅图2D，子块(0，0)、(0，1)、(0，2)和(0，3)的运动预测矢量对应于参考207的子块(0，-1)的运动矢量。类似地，大小扩展的块的第二列子块(包括子块(1，0)、(1，1)、(1，2)和(1，3))、第三列子块(包括子块(2，0)、(2，1)、(2，2)和(2，3))以及第四列子块(包括子块(3，0)、(3，1)、(3，2)和(3，3))的运动预测矢量分别对应于图2D中分别参考208、209、210的块(1，-1)、(2，-1)、(3，-1)的运动矢量。

参阅图2E，下文所述为称为“对角线模式”的第三新运动预测模式。此“对角线模式”将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于与相关子块相同的对角线上并在所述大小扩展的块的外部左上方的子块所使用的运动矢量。

因此，参阅图2E，子块(0，0)、(1，1)、(2，2)和(3，3)的运动预测矢量对应于参考211的子块(-1，1)的运动矢量。类似地，大小扩展的块的包括子块(0，1)、(1，2)、(2，3)的对角线子块、包括子块(0，2)和(1，3)的对角线子块、包括子块(0，3)的对角线子块、包括子块(1，0)、(2，1)、(3，2)的对角线子块、包括子块(2，0)和(3，1)的对角线子块、包括子块(3，0)的对角线子块的运动预测矢量分别对应于分别参考215、216、217、212、213、214的块(-1，0)、(-1，1)(-1，2)、(0，-1)、(1，-1)、(2，-1)的运动矢量。

参阅图2F，下文所示为称为“加权对角线模式”的第四新运动预测模式的说明。此“加权图表模式”将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于通过相应加权得到的运动矢量，所述相应加权在以下两项之间完成：位于与相关块相同的对角线上并在大小扩展的块的外部左下方的子块所使用的运动矢量，以及位于与所述相关子块相同的对角线上并在所述大小扩展的块的外部右上方的子块所使用的运动矢量。

因此，参阅图2F，参考2000的子块(0，0)的运动预测矢量对应于在参考220的子块(-1，1)的运动矢量与参考218的子块(1，-1)的运动矢量之间完成的加权。类似地，分别参考2001和2002的子块(1，0)和(0，1)的运动预测矢量对应于在参考221的子块(-1，2)的运动矢量与参考219的子块(2，-1)的运动矢量之间完成的加权。

此实施例的加权规则可由用于块(x，y)的以下方程式表示：

■如果x+y＜X，那么运动预测矢量的值V为V＝[(y+1)*U+(x+1)*W]/(x+y+2)，其中：

○X对应于子块的大小，例如，大小为8x8像素；

○U为子块(-1，x+y+1)的矢量；

○W为子块(x+y+1，-1)的矢量；

■此外，如果x＞0，则采用子块(x-1，y)的矢量R；否则，采用子块(x，y-1)的矢量S。

例如，参阅图2F，得到参考2001的子块(0，1)的运动预测矢量V，从而：

x＝0且y＝1，并证实x+y＜X(1＜8)，因此V＝(2*U+W)/3，其中U为参考221的子块(-1，2)的矢量，且W为参考219的子块(2，-1)的矢量。参阅图2G，所示为称为“左递归模式”的第五新运动预测模式的说明。此“左递归模式”将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于紧靠相关子块的左侧并与相关子块同行的已编码的子块所使用的运动矢量。

因此，参阅图2G，图2G中参考223的子块(0，0)的运动预测矢量对应于参考222的子块(-1，0)的运动矢量。可以发现，此处得到的子块(0，0)的结果与“左模式”运动预测模式相同。“左模式”运动预测模式与“左递归”运动预测模式之间的差异在参考224的子块(1，0)处出现。实际上，子块(1，0)的运动预测矢量对应于先前编码的子块(0，0)的运动矢量，这是鉴于子块(0，0)的运动矢量对应于子块(0，0)的运动预测矢量加预测残余。换言之，子块(0，0)的运动预测矢量与子块(1，0)的运动预测矢量的不同之处在于与子块(0，0)相关的残余。

因此，如果考虑大小扩展的块200的第一行，其包括分别参考223、224、225和226的子块(0，0)、(1，0)、(2，0)和(3，0)，那么所述行的一个子块的运动预测矢量不同于另一子块(预测残余为零的情况除外)，这不同于应用了“左模式”运动预测模式的情况，因为所述“左模式”运动预测模式将相同运动预测矢量应用于大小扩展的块的同一行中的所有子块。

这些实施例的替代性实施例(未图示)也可使用其他运动预测模式。实际上，在通常情况下，本发明将使大小扩展的块与运动预测矢量关联的任意运动预测模式置于竞争中，所述运动预测矢量对应于运动矢量或用于以下各项的运动矢量的组合：

-位于大小扩展的块的外部的至少一个已编码的子块，

-位于大小扩展的块中的至少一个已编码的子块，

-某级(或“粗糙”级)的说明层中的至少一个已编码的子块，所述层在可缩放图像编码器(例如，根据H.264SVC标准)的特定情况下低于当前加强层(正在进行编码)，所述子块具有分层结构，

-等等。

5.3解码方法的各实施例的具体说明

本发明的原理基于在编码和解码时，执行预测相关块的运动矢量的相同方法。

现在参考图3描述本发明的解码方法的主要步骤，以用于包括识别信息的信号，所述识别信息识别根据上文所述的本发明的编码方法的一项实施例所选的至少一个大小扩展的块的运动预测模式。

如图3所示，本发明的解码方法实施第一步骤301，以对根据现有技术(例如，已在背景技术中提到并在以下文件中描述：P·陈(P.Chen)、Y·叶(Y.Ye)和M·卡兹维茨(M.Karczewicz)的“使用经过扩展的块大小进行视频编码(VideocodingUsingExtendedBlockSizes)”，ITU-TCOM16-C123，2009年1月)实施的大小扩展的块中的子块进行合并。

根据所示实施例，完成合并301成大小扩展的块后，解码方法从图像信号中提取302用于每个大小扩展的块的识别编码时所选的运动预测模式的信息片段。

接着，根据此信息片段，编码器执行预测步骤303，其针对每个大小扩展的块实施从与编码时所用的集合E(1001)相同的集合E(3001)中选择的运动预测模式。因此，这些模式中的至少一种模式使用至少两个不同的运动预测矢量。

5.4编码装置和解码装置的结构

最后，参阅图4和图5，所示为根据上述各项实施例的编码装置和解码装置的简化结构。

如图4所示，此类编码装置包括存储器40，其包括缓冲存储器；以及处理单元41，其配备有(例如)微处理器μP且受计算机程序42驱动；所述编码装置实施本发明的编码方法。

初始化时，例如，计算机程序42的代码指令加载到RAM中，并随后由处理单元41的处理器执行。处理单元41在输入端接收图像信号，所述图像可细分成像素子块，并在至少一个扩展大小的块中合并到一起。处理单元41的微处理器根据计算机程序42的指令实施上文所述的编码方法的步骤，从而选择运动预测模式并将运动预测矢量与大小扩展的块的子集关联。为此，除了缓冲存储器40之外，所述编码装置包括：合并构件，用于将子块合并成至少一个大小扩展的块；预测构件，其应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式。这些构件由处理单元41的微处理器驱动。因此，处理单元41向至少一个编码装置传输信号，所述信号包括指明所选运动矢量的至少一个信息片段。

如图5所示，此类解码装置包括存储器50，其包括缓冲存储器；处理单元51，其配备有(例如)处理器μP且受计算机程序52驱动；所述解码装置实施本发明的解码方法。

初始化时，例如，计算机程序52的代码指令加载到RAM中，并随后由处理单元51的处理器执行。处理单元51在输入端接收图像信号，所述图像信号尤其包括关于识别编码时所选的运动预测模式的信息片段。处理单元51的微处理器根据计算机程序指令52实施上文所述的解码方法的步骤，以对所编码的块进行解码。为此，除了缓冲存储器50之外，所述解码装置包括：合并构件，用于将子块合并成至少一个大小扩展的块；预测构件，其应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式。这些构件由处理单元51的微处理器驱动。

Claims (14)

1.一种用于对图像信号进行编码的编码方法，所述图像细分成像素子块，所述编码方法包括合并步骤(101)，其用于在所述子块满足至少一个预定合并标准时将至少两个子块合并成至少一个大小扩展的块，

所述编码方法的特征在于，所述编码方法实施预测步骤(103)，其对至少一个大小扩展的块应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，所述运动预测矢量分别与所述大小扩展的块的子集相关联，至少一个所述子集包括所述大小扩展的块的所述子块中的至少两个子块，所述子集是预先定义并且是彼此互不相同的。

2.根据权利要求1所述的编码方法，其特征在于，所述预测步骤(103)针对至少一个大小扩展的块实施对至少两个运动预测模式进行的置于竞争(102)，根据预定的选择标准选择所述运动预测模式中的一个模式，称为所选运动预测模式(MPs1001)。

3.根据权利要求2所述的编码方法，其特征在于，所述置于竞争适用于可用运动预测模式的集合(E)，并根据所述选择标准选择所述运动预测模式中的最佳模式作为所选运动预测模式(MPs1001)。

4.根据权利要求2所述的编码方法，其特征在于，所述编码方法针对至少一个大小扩展的块实施插入步骤(106)，将识别所述所选运动预测模式(MPs1001)的信息片段(Iid1003)插入所述图像信号中。

5.根据权利要求1所述的编码方法，其特征在于，所述运动预测模式属于包括以下预测模式的组：

称为“左模式(leftmode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于所述大小扩展的块的外部左侧并与相关子块同行的子块所使用的运动矢量；

称为“顶模式(topmode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于所述大小扩展的块的外部正上方并与相关子块同列的子块所使用的运动矢量；

称为“对角线模式(diagmode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于位于与相关子块相同的对角线上并在所述大小扩展的块的外部左上方的子块所使用的运动矢量；

称为“左递归模式(leftrecursivemode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于紧靠相关子块的左侧并与相关子块同行的已编码的子块所使用的运动矢量；

称为“加权对角线模式(weighteddiagmode)”的模式，其将所述大小扩展的块的子块与相应的运动预测矢量关联，所述相应的运动预测矢量对应于通过相应加权得到的运动矢量，所述相应加权在以下两项之间执行：位于与相关子块相同的对角线上并在所述大小扩展的块的外部左下方的子块所使用的运动矢量，以及位于与相关子块相同的对角线上并在所述大小扩展的块的外部右上方的子块所使用的运动矢量；

先前所列预测模式中的至少两个模式的组合。

6.根据权利要求5所述的编码方法，其特征在于，所述运动预测模式属于还包括以下预测模式中的至少一个预测模式的组：

称为“DC左(DCleft)”模式的模式，其将所述大小扩展的块的所有子块与表示位于所述大小扩展的块的外部紧靠左侧的至少一个子块所使用的至少一个运动矢量的运动预测矢量关联；

称为“DC顶(DCtop)”模式的模式，其将所述大小扩展的块的所有子块与表示位于所述大小扩展的块的第一子块外部正上方的至少一个子块所使用的至少一个运动矢量的运动预测矢量关联。

7.根据权利要求6所述的编码方法，其特征在于，以下项与所述大小扩展的块的所有子块相关联：

对于称为“DC左”的模式而言，对应于位于所述大小扩展的块的外部的相应第一子块所使用的运动矢量的运动预测矢量，所述相应第一子块紧靠所述大小扩展的块的第一子块的左侧，或者

对于称为“DC顶”的模式而言，对应于位于所述大小扩展的块的外部的相应第一子块的运动矢量所使用的运动预测矢量，所述相应第一子块位于所述大小扩展的块的第一子块的正上方。

8.根据权利要求6所述的编码方法，其特征在于，以下项与所述大小扩展的块的所有子块相关联：

对于称为“DC左”的模式而言，对应于位于所述大小扩展的块的外部的相应子块列所使用的运动矢量的运动预测矢量组合，所述子块列紧靠所述大小扩展的块的左侧，或者

对于称为“DC顶”的模式而言，对应于位于所述大小扩展的块的外部的相应子块行所使用的运动矢量的运动预测矢量组合，所述子块行位于所述大小扩展的块的正上方。

9.根据权利要求1所述的编码方法，其特征在于，所述编码方法包括，确定所述子块中的至少一个子块的运动矢量和与之相关的运动预测矢量之间的差异的步骤，所述差异称为残余。

10.根据权利要求9所述的编码方法，其特征在于，所述编码方法实施用于对所述大小扩展的块的所述子块的运动矢量残余的编码进行合并(104)的技术，且所述编码方法还实施信号传输，所述信号传输属于包括以下类型信号传输的组：

“零树”信号传输，其中表示所述残余的每个分支的值接近零；

“依据范围”信号传输，其在于对具有相同值的一系列连续残余进行编码。

11.一种用于对图像信号进行编码的装置，所述图像细分成像素子块，所述装置包括合并构件，其用于在所述子块满足至少一个预定合并标准时将至少两个子块合并成至少一个大小扩展的块，

所述装置的特征在于，所述装置包括预测构件，其对至少一个大小扩展的块应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，

所述运动预测矢量分别与所述大小扩展的块的子集相关联，至少一个所述子集包括所述大小扩展的块的所述子块中的至少两个子块，所述子集是预先定义并且是彼此互不相同的。

12.一种用于对图像信号进行解码的解码方法，所述图像细分成像素子块，所述解码方法包括合并步骤(301)，其用于在所述子块满足至少一个预定合并标准时，对至少一个大小扩展的块中的至少两个子块进行合并，

所述解码方法的特征在于，所述解码方法实施预测步骤(303)，其对至少一个大小扩展的块应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，

所述运动预测矢量分别与所述大小扩展的块的子集相关联，至少一个所述子集包括所述大小扩展的块的所述子块中的至少两个子块，所述子集是预先定义并且是彼此互不相同的。

13.根据权利要求12所述的解码方法，其特征在于，所述预测步骤实施解码步骤(302)，其对识别所述所选运动预测模式并通过编码插入到所述图像信号中的信息片段进行解码。

14.一种用于对图像信号进行解码的装置，所述图像细分成像素子块，所述装置包括合并构件，其用于在所述子块满足至少一个预定合并标准时，对至少一个大小扩展的块中的至少两个子块进行合并，

所述装置的特征在于，所述装置包括预测构件，其对至少一个大小扩展的块应用使用了至少两个不同的运动预测矢量的至少一个运动预测模式，

所述运动预测矢量分别与所述大小扩展的块的子集相关联，至少一个所述子集包括所述大小扩展的块的所述子块中的至少两个子块，所述子集是预先定义并且是彼此互不相同的。