CN101156454A - 用来压缩多层运动向量的方法与装置 - Google Patents

Abstract

提供了一种方法，用来：当对应于当前层帧的第一宏块的第一较低层的区域没有运动向量(MV)时，压缩第一宏块的MV。该方法包括：根据至少一个邻近宏块的MV，内插该区域所属的第二宏块的MV；以及利用内插MV，预测第一宏块的MV。

Description

用来压缩多层运动向量的方法与装置

技术领域

一般地，符合本发明的方法与装置涉及视频压缩，并且更具体地，涉及在利用多层结构的视频编码器中，通过利用较低层的运动向量，高效预测当前层的运动向量。

背景技术

随着信息与通信技术(包括因特网)的进展，基于图像的通信以及基于文本的通信和基于语音的通信正在增加。现有的基于文本的通信不足以满足客户的各种需求。因此，人们越来越多地提供能够容纳各种信息(例如文本、图像、以及音乐)的多媒体服务。因为多媒体数据量较大，所以多媒体数据要求大容量存储介质，并且在传送时要求宽带宽。因此，为了传送多媒体数据(包括文本、图像、以及音频)，必须压缩数据。

数据压缩的基本原理为消除数据中的冗余。通过消除空间冗余(例如在图像中重复相同颜色或者物体的情况)、时间冗余(例如在邻近帧之间没有多少变化或者重复相同的音频信号的情况)、或者心理视觉冗余(其中考虑以下实际情况：人类的视觉与感知能力对高频不敏感)，可以压缩数据。在一般编码方法中，利用基于运动补偿的时间滤波，来消除时间冗余，并且利用空间变换来消除空间冗余。

为了在去除了数据冗余之后传送多媒体数据，传送介质是必须的。性能根据传送介质变化。当前使用的传送介质具有各种传送速度，范围从超高速通信网络(其可以每秒数十兆比特的传送速度传送数据)的速度到移动通信网络(其可以每秒384Kbits的传送速度传送数据)的速度。在这些环境下，要求一种可扩展视频编码方法，其可以支持具有各种速度的传送介质，或者以适合于每个传送环境的传送速度传送多媒体。

此类可扩展视频编码方法参照允许通过根据环境条件(例如传送比特速度、传送错误率、系统源等等)截断已经压缩的比特流的一部分来调整视频分辨率、帧速度、信噪比(SNR)等等的编码方法。关于可扩展视频编码方法，在运动画面专家组-21(MPEG-21)部分10中正在进行标准化。具体地，人们正在着重研究基于多层的可扩展性。例如，可以如下方式实现可扩展性，使得提供包括基本层、第一改进层、以及第二改进层的多个层，并且各个层被构造具有不同的分辨率(例如四分之一公共中间格式(QCIF)、公共中间格式(CIF)或2CIF)，或者不同的帧速度。

在基于多层的编码的情况下，必须以层为基础获得运动向量(MV)以消除时间冗余。在第一种情况下，与各个层关联地单独搜索MV。在第二种情况下，与一个层关联地搜索MV，然后对其他层在没有变化的情况下或者通过上/下取样使用该MV。

与后一种情况相比，第一种情况在可以获取精确MV方面是有利的，但是在为各个层生成的MV作为开销方面是不利的。因为MV的精确性极大地影响纹理数据时间冗余的减少，所以一般使用对各个层搜索精确MV的方法，如在第一种情况中。另外，在第一种情况中，高效地消除各个层的MV之间的冗余非常重要。

图1为显示利用多层结构的常规可扩展视频编解码器的例子的图。首先，基本层被定义为具有QCIF以及15Hz帧速度的层，第一改进层被定义为具有CIF以及30Hz帧速度的层，并且第二改进层被定义为具有标准清晰度(SD)以及60Hz帧速度的层。如果希望0.5Mbps CIF流，则可以基于具有CIF、30Hz帧速度、以及0.7Mbps比特速度的第一改进层，截断并且发送比特流，以达到0.5Mbps的比特速度。通过这种方式，可以实现空间可扩展性、时间可扩展性、以及SNR可扩展性。

如果在此类多层视频编解码器中为各个层获得MV，则生成两倍于现有的单层编解码器的开销的开销，从而利用低层的MV预测上层的MV的方法、即运动预测，非常重要。当然，因为此类MV只用于参照时间相邻的帧编码的帧间宏块之中，所以其不用于无关于相邻帧编码的帧内宏块之中。

可以估计图1中具有相同时间位置的各个层的帧具有类似的图像，从而估计其MV类似。因此，人们提出了一种通过如下高效表示MV的方法：基于较低层的MV，预测当前层的MV，并且编码预测值与实际获得值之间的差异。

图2为显示执行此类运动预测的方法的图。根据该方法，不加改变地使用具有相同时间位置的较低层的MV，作为当前层的MV的预测MV。

编码器以各个层中的预定精确度获得各个层的MV(MV₀、MV₁、以及MV₂)，并且执行帧间预测处理，以利用获得的MV从各个层消除时间冗余。但是，实际上，编码器只传送基本层的MV、第一改进层的MV差异D₁、以及第二改进层的MV差异D₂到预解码器(到视频流服务器)。根据网络条件，预解码器可能只传送基本层的MV给解码器，或者传送基本层的MV与第一改进层的MV差异D₁给解码器，或者传送基本层的MV、第一改进层的MV差异D₁以及第二改进层的MV差异D₂给解码器。

然后，解码器可以根据收到的数据，恢复对应层的MV。例如，当解码器收到基本层的MV与第一改进层的MV差异D₁时，解码器可以通过将基本层的MV与第一改进层的MV差异D₁相加，恢复第一改进层的MV MV1，并且利用所恢复的MV MV1，恢复第一改进层的纹理数据。

在当前正在确立的可扩展视频编码标准中，除现有H.264中用来预测当前块或者宏块的帧间预测以及方向性帧内预测(此后简称为“帧内预测”)之外，还引入了以下方法：利用当前块与对应于当前块的较低层块之间的相关性，预测当前块所属的层。该预测方法在标准被称为“BL内预测”。

图3为显示上述三种预测方法的示意图。图3显示了：情况(①)，其中对当前帧1的特定宏块4进行帧内预测；情况(②)，其中利用位于不同于当前帧1的时间位置的帧2，进行帧间预测；以及情况(③)，其中利用对应于宏块4的基本层帧3的区域6的纹理数据，进行BL内预测。在这种情况下，由这三种预测方法编码的宏块被分别称为帧内宏块、帧间宏块、以及BL内宏块。

发明内容

技术问题

可扩展视频编码标准使用以下方法：选择上述三种预测方法中有利的一个，并且编码对应的宏块。因此，即使一个帧也可能由帧间宏块、帧内宏块、以及BL内宏块构成。

虽然存在对应于当前帧的较低层帧，但是较低层的对应于当前帧的特定帧间宏块的宏块可能不是帧间宏块，因此不可能获得用来预测帧间宏块的的较低层的MV。如果因为对应较低层的MV不存在而独立地编码帧间宏块，则这可能导致编码效率下降。

因此，当较低层的对应于特定帧间宏块的宏块为没有MV的帧内宏块或BL内宏块时，就需要一种方法来高效地预测帧间宏块的MV。

技术方案

本发明提供了一种生成对应于当前帧的较低层帧的缺失的运动场、从而预测当前帧的MV的方法与装置。

根据本发明的一个方面，提供了一种方法，用来：当对应于当前层帧的第一宏块的第一较低层的区域没有运动向量MV时，压缩第一宏块的MV。该方法包括：根据至少一个邻近宏块的MV，内插该区域所属的第二宏块的MV；利用内插MV，获取第一宏块的预测MV；以及从第一宏块的MV中，减去所获取的预测MV。

根据本发明的另一个方面，提供了一种装置，用来：当对应于当前层帧的第一宏块的第一较低层的区域没有运动向量MV时，压缩第一宏块的MV，该装置包括：用来根据至少一个邻近宏块的MV，内插该区域所属的第二宏块的MV的部件；用来利用内插MV获取第一宏块的预测MV的部件；以及用来从第一宏块的MV中减去所获取的预测MV的部件。

根据本发明的一个方面，提供了一种方法，用来：当对应于当前层帧的第一宏块的第一较低层的区域没有运动向量MV时，从第一宏块的运动差异恢复第一宏块的MV，该方法包括：根据至少一个邻近宏块的MV，内插该区域所属的第二宏块的MV；利用内插MV，获取第一宏块的预测MV；以及将第一宏块的运动差异与所获取的预测MV相加。

根据本发明的另一个方面，提供了一种装置，用来：当对应于当前层帧的第一宏块的第一较低层的区域没有运动向量MV时，从第一宏块的运动差异恢复第一宏块的MV，该装置包括：用来根据至少一个邻近宏块的MV，内插该区域所属的第二宏块的MV的部件；用来利用内插MV，获取第一宏块的预测MV的部件；以及用来将第一宏块的运动差异与所获取的预测MV相加的部件。

附图说明

从以下结合附图的详细描述，可以看出本发明的以上与其他方面，其中：

图1为显示利用多层结构的可扩展视频编解码器的例子的图；

图2为显示通过运动预测来高效表示MV的方法的图；

图3为显示三种常规预测方法的示意图；

图4为显示本发明基本概念的示意图；

图5为显示根据本发明第一示范实施例的、当层的分辨率相同时预测MV的方法的示意图；

图6为显示根据本发明第一示范实施例的、当层的分辨率不同时预测MV的方法的示意图；

图7为显示根据本发明第二示范实施例的、内插运动场的方法的图；

图8为显示根据本发明第二示范实施例的、围绕第一较低层的四边宏块被当作邻近宏块的情况的图；

图9为显示根据本发明第二示范实施例的、围绕第一较低层宏块的8个宏块被当作邻近宏块的情况的图；

图10为显示向邻近子宏块分配MV的方法的图；

图11为显示当层的分辨率不同时、利用内插的MV对当前宏块执行运动预测的过程的图；

图12为显示根据本发明示范实施例的视频编码器的构造的方框图；

图13为显示根据本发明示范实施例的视频解码器的构造的方框图；

图14为显示其中运行图12的视频编码器或者图13的视频解码器的系统环境的构造的配置图；以及

图15为显示根据本发明示范实施例的运动向量预测方法的流程图。

具体实施方式

以下参照附图联系示范实施例描述本发明。

图4为显示本发明基本概念的示意图。利用较低层的MV，高效地预测将对其进行帧间预测的当前层帧10的帧间宏块11的MV。但是，对应于帧间宏块11的第一较低层的块21可能对应或者不对应于帧间宏块。在本说明书中，术语“块”指宏块或者小于宏块的区域。如果层的分辨率相同，则第一较低层的块21的尺寸可能与宏块的尺寸相同。相反，如果层的分辨率不同，则第一较低层的块21的尺寸可能比宏块的尺寸小。

如果第一较低层的块21不是帧间宏块，则块21的MV不存在。因此，无法利用一般方法执行对帧间宏块11的运动预测。

为了即使在此类情况下也使用运动预测，提出了两种示范性实施例。第一示范性实施例为以下方法：如果对应于当前帧间宏块11的第一较低层块21的MV不存在，则利用对应于第一较低层块21的第二较低层块31的MV，预测当前层帧间宏块11。但是第二较低层块31也可能没有MV。在这种情况下，可以采用以下第二示范性实施例。

根据第二示范性实施例，利用邻近帧间宏块22、23等，内插包括第一较低层块21的宏块21(在图4中，块21尺寸与宏块相同)的缺失的运动场。另外，可以利用内插的运动场，对当前帧间宏块11进行运动预测。

第二示范性实施例可以仅用于不能使用第一示范性实施例的情况，但是第二示范性实施例可以独立地使用，而不管第一示范性实施例。即，可以在不关心第二较低层的对应块31是否具有MV的情况下，使用第二示范性实施例，并且即使当第二较低层本身不存在时也可以使用第二示范性实施例。

在本说明书中，术语“预测”指以下处理：通过利用可以用于视频编码器与视频解码器两者中的信息，生成特定数据的预测数据，并且获得特定与预测数据之间的差异，来减少数据量。在各种运动预测中，利用预定方法生成的预测MV来预测原始MV的过程被称为“运动预测”。

图5为显示根据本发明第一示范实施例的、当层的分辨率相同时预测MV的方法的示意图。因为第二较低层与当前层独立地进行运动估计，所以它们可能具有不同的宏块模式以及MV。

在图5中，根据第二较低层的对应宏块31的MV，预测当前层宏块11的MV。因为宏块11的MV与宏块31的MV不具有相同的宏块模式，所以使用哪个作为预测MV是个问题。

更详细地，在对应于MV 11a的位置处的MV为MV 31a与MV 31b。通过例如平均MV 31a与MV 31b获得的结果可以用作MV 11a的预测MV。

因为在对应于MV 11b的位置处的MV为MV 31e，所以MV 31e可以用作MV 11b的预测MV。虽然MV 11b所分配的区域的尺寸以及MV 31e所分配的区域的尺寸相互不同，但是可以认为MV 31e所分配的区域被分割为8个区域，并且MV 31e被分配给这8个区域中的每一个。以类似的方式，在对应于MV 11c的位置处的MV也为MV 31e。

在对应于MV 11d的位置处的MV为MV 31c、MV 31d、以及MV 31e。MV 31e所分配的一个对应区域只是MV 31e所分配的区域的1/2。因此，可以使用从向MV所分配的区域的范围施加权重而产生的平均值，作为MV 11d的预测MV，如以下等式1所示：

mv_q＝(mv_31c+mv_31d+2×mv_31e)/4    (1)

其中mv_q为MV 11d的预测MV，mv_31c为MV 31c，mv_31d为MV 31d，mv_31e为MV 31e。

图6为显示根据本发明第一示范实施例的、当层的分辨率相互不同时预测MV的方法的示意图。

当层的分辨率不同时，对应于当前层的宏块11的第二较低层的块40为预定第二较低层的宏块31的一部分。为了利用第二较低层的块40的MV对当前层的宏块11进行运动预测，必须有上采样处理。因此，按照当前层对第二较低层的分辨率放大系数(m)，对分配给第二较低层的块40的MV进行上采样。然后，利用上采样的MV，预测当前层的宏块11的MV。在这种情况下，当前层宏块11的划分模式与上采样MV所分配的区域的划分模式可以相互不同。这种情况下生成对应预测MV的方法与参照图5描述的相同。

图7为显示根据本发明第二示范实施例的、内插运动场的方法的图。

当对应于当前层的宏块的第一较低层的宏块21为帧内宏块(或者BL内宏块)时，其没有运动场。在这种情况下，可以利用分配给邻近帧间宏块22、23、以及24的MV，内插缺失的宏块21的运动场。

利用邻近帧间宏块22、23、以及24内的邻近宏块21的子场(例如4x4块)的MV，内插宏块21的MV或者运动场，如图7所示。以下等式2指示该内插方法的例子。在这种情况下，mv_p为内插的MV，mv_i为所参照的邻近子块的MV，i为MV的索引。另外，N为所参照的邻近子块的数目。

${\mathrm{mv}}_p=\frac{\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_i}{N}---\left(2\right)$

如果使所参照的邻近子块的数目为9，如图5所示，则可以获取内插的MV mv_p，如以下等式3所示：

mv_p＝(mv_10+mv_11+mv_12+mv_13+mv_a0+mv_a1+mv_a2+mv_a3+mv_ar0)/9    (3)

如图7所示，邻近子块的数目为9的原因是要维持与利用邻近MV预测/压缩单层的MV的常规方法的一致性。但是，本发明不限于该方法，而是可以用于选择所参照的邻近子块、并且应用等式(2)的其他方法。

更具体地，在帧间层运动预测的情况下，与单层中的预测不同，参照右与下宏块，以及左与上宏块。因此，可以考虑以下方法：从邻近宏块21的宏块中仅选择帧间宏块、并且使用所选帧间宏块的邻近子块的MV。图8与9显示该方法的例子。

图8显示将四边宏块22、23、26、与28当作邻近宏块的情况，图9显示将围绕第一较低层宏块21的8个宏块22到29当作邻近宏块的情况。

在图8中，四个邻近宏块中左宏块23为帧内宏块(或者BL内宏块)，并且剩余的3个宏块22、26、与28为帧间宏块。在这种情况下，因为等式2中所参照的邻近子块的数目为12，所以可以通过平均分别分配给这12个子块的MV，来内插帧内宏块21的MV。

同时，在等式9中，9个邻近宏块中的左、左下、与右下宏块23、27、29为帧内宏块(或者BL内宏块)，并且剩余5个宏块22、24、25、26、与28为帧间宏块。在这种情况下，因为等式2中所参照的邻近子块的数目为14，所以可以通过平均分别分配给这5个子块的MV，来内插帧内宏块21的MV。

如上所述求得的MV mv_p表示第一较低层的整个宏块21。

另外，存在以下情况：向其分配MV的块的尺寸不统一。以下描述在这些一般情况下，如何获取邻近子块的MV。在图10中，特定帧间宏块50具有预定的划分模式，并且向每个划分分配MV。同时，划分包括具有4x4子块尺寸的划分52、53、54、与55，以及尺寸大于4x4子块尺寸的划分51、56、与57。如果在4x4子块的基础上分配MV，则会产生图10右侧的图。此时，尺寸大于4x4子块尺寸的划分每个被分割为某些子块，并且以同样的方式向这些子块分配划分的运动向量。

如果宏块50为图5的宏块23，则mv_10与MV 53相同，mv_11与MV 55相同，并且mv_12和mv_13与MV 57相同。由此可以通过在子块基础上分配MV确定所有邻近子块的MV。

图11为显示当层的分辨率不同时、利用内插的MV(mv_p)对当前宏块执行运动预测的过程的图。按照当前层的分辨率对第一改进层的分辨率的比例，上采样内插MV(mv_p)，然后用作当前宏块11的预测MV。因为对应于当前宏块11的第一较低层宏块21的区域29为第一较低层宏块21的一部分，所以区域29的MV与第一较低层宏块21的MV(mv_p)相同。

图12为显示根据本发明示范实施例的视频编码器100的构造的方框图。

下采样器110下采样输入视频为适合于每个层的分辨率与帧速度。下采样器110可以仅相对于层的分辨率或者仅相对于帧速度进行下采样。可替换地，下采样器110也可以相对于分辨率与帧速度两者进行下采样。可以利用MPEG下采样器或者小波下采样器，执行与分辨率相关的下采样。可以利用诸如跳帧或者帧内插等方法，执行与帧速度相关的下采样。作为此类下采样的结果，可以产生当前层帧F₀、第一较低层帧F₁、以及第二较低层帧(F₂)。假定帧F₀、F₁、以及F₂存在于各个时间相应位置。

运动估计单元120通过利用当前层的另一帧作为参照帧对当前层帧(F₀)执行运动估计，获取当前层帧的MV MV₀。此类运动估计为以下处理：找到参照帧中与当前帧的块最相似的块，即具有最低误差的块。对于运动估计，可以使用各种方法，例如固定尺寸块匹配方法或者分层可变尺寸块匹配(HVSBM)。

以同样的方式，运动估计单元121获取第一较低层的帧F₁的MV MV₁，并且运动估计单元122获取第二较低层的帧F₂的MV MV₂。运动估计单元121获取的MV(MV₁)被提供给运动场内插单元150以及熵编码器160。

运动场内插单元150利用邻近宏块的MV，内插对应于当前层帧F₀的特定宏块(此后称为“当前宏块”)的第一较低层的帧F₁的MV。因为已经参照图7到11描述了内插方法，所以省略其描述以避免冗余。如上所述，内插MV MV_p被提供给第一上采样器111。第一上采样器111按照当前层的分辨率对第一较低层的分辨率的比例，上采样内插MV。如果当前层与第一较低层的分辨率相同，则可以省略第一上采样器111中的上采样。上采样的MV U₁(MV_p)被提供给运动预测单元140。

第二上采样器112按照当前层的分辨率对第二较低层的分辨率的比例，上采样从运动估计单元122收到的MV MV₂，并且将结果U₂(MV₂)提供给运动预测单元140。

当对应于当前宏块的第一较低层的区域没有MV时，运动预测单元140采用根据本发明的运动预测方法(第一示范实施例或者第二示范实施例)。在这种情况下，运动预测单元140确定对应于第一较低层区域的第二较低层的区域是否有MV。如果作为确定的结果，确定第二较低层的区域有MV，则运动预测单元140采用第一示范实施例。否则运动预测单元140采用第二示范实施例。当然，运动预测单元140可以直接采用第二示范实施例，而不执行此类确定。

当采用第一示范实施例时，运动预测单元140从当前帧的MV(MV₀)中的当前宏块的MV中，减去第二上采样器112上采样的MV U₂(MV₂)中的对应于当前宏块的区域的MV。

当采用第二示范实施例时，运动预测单元140从当前宏块的MV中，减去第一上采样器111上采样的MV U₁(MV₂)中的对应于当前宏块的区域的MV。

如上所述，作为运动预测单元140中的减法结果生成的运动差异ΔMV被提供给熵编码器160。

同时，预测单元131利用在运动估计单元120中获得的当前帧的MV(MV₀)、以及在运动估计单元120中使用的参照帧，构造当前帧F₀的预测帧，并且从当前帧中减去所构造的预测帧。结果，产生余量帧R。

变换单元132对余量帧R执行空间变换，并且生成变换系数C。该空间变换方法包括离散余弦变换(DCT)、小波变换等等。当使用DCT时，变换系数为DCT系数。当使用小波变换时，变换系数为小波系数。

量化单元133量化变换系数C。术语“量化”指以下处理：通过将实数变换系数除以预定步阶、并且匹配值到基于预定量化表的索引，将已经被表示为预定实数的变换系数表示为离散值。

熵编码器160无损地编码由量化单元133量化的结果T、运动差异ΔMV、第一较低层的MV MV₁、以及第二较低层的MV MV₂，并且产生比特流。当然，当视频编码器100仅采用第二示范实施例时，可以省略MV₂。各种编码方法(例如霍夫曼编码、算术编码以及变长编码)可以用作为无损编码方法。

图13为显示根据本发明示范实施例的视频解码器200的构造的方框图。

熵解码器210进行无损解码，并且从输入比特流中提取当前层帧的纹理数据T、当前层的运动差异ΔMV、第一较低层的MV MV₁、以及第二较低层的MV MV₂。

运动场内插单元240根据邻近宏块的MV(包括在MV₁中)，内插对应于当前层帧F₀的当前宏块的第一较低层的宏块的MV。因为该内插方法已经参照图7至11描述，所以省略其描述以避免冗余。如上所述，内插MV MV_p被提供给第一上采样器211。第一上采样器211按照当前层的分辨率对第一较低层的分辨率的比例，上采样内插MV。当然，如果第一较低层与当前层的分辨率相同，则可以省略第一上采样器211的上采样。上采样的MV U₁(MV_p)被提供给运动恢复单元230。

同时，第二上采样器212按照当前层的分辨率对第二较低层的分辨率的比例，上采样第二较低层的MV MV₂。结果U₂(MV₂)被提供给运动恢复单元230。

当对应于当前宏块的第一较低层的区域没有MV时，运动恢复单元230使用根据本发明的运动预测方法(第一示范实施例或者第二示范实施例)。在这种情况下，运动恢复单元230确定对应于第一较低层区域的第二较低层的区域是否有MV。如果作为确定的结果，确定第二较低层的区域有MV，则运动恢复单元230采用第一示范实施例。如果确定第二较低层的区域没有MV，则运动恢复单元230采用第二示范实施例。当然，运动恢复单元230可以直接采用第二示范实施例，而不执行确定。

当采用第一示范实施例时，运动恢复单元230将当前帧的MV MV₀中的当前宏块的运动差异ΔMV与第二上采样器212上采样的MV U₂(MV₂)中的对应于当前宏块的区域的MV相加。

当采用第二示范实施例时，运动恢复单元230将运动差异ΔMV与第一上采样器211上采样的MV U₁(MV₂)中的对应于当前宏块的区域的MV相加。通过该相加处理，恢复当前宏块的MV MV₀，并且将其提供给逆预测单元223。

同时，解量化单元221解量化从熵解码器210输出的纹理数据T。解量化为以下处理：不改变地利用在量化处理中使用的量化表，恢复匹配在量化处理中生成的索引的值。

逆变换器222对解量化结果执行逆空间变换。该逆空间变换处理以对应于视频编码器100的变换单元132的方式执行。更具体地，可以使用逆DCT变换、逆小波变换等等。

逆预测单元223对逆变换的结果，逆向执行在预测单元131中执行的处理，并且由此恢复视频帧。即，通过利用在运动恢复单元230中恢复的MV产生预测帧、并且将逆变换结果与所生成的预测帧相加，逆预测单元223恢复视频帧。

图14为显示根据本发明示范实施例的、其中运行图12的视频编码器100或者图13的视频解码器200的系统环境的构造的配置图。该系统可以为电视(TV)、置顶盒、桌面型计算机、膝上型计算机、掌上型计算机、个人数字助理(PDA)、或者视频或图像存储设备(例如视频录像机(VCR)、数字录像机(DVR)等等)。另外，该系统可以为上述设备的组合，或者为包含在上述设备中的一个中的另一个设备。该系统可以包括：至少一个视频源910、至少一个输入/输出(I/O)设备920、处理器940、存储器950、以及显示装置930。

视频源910可以为电视接收机、VCR或者某些其他视频存储设备。另外，视频源910可以为至少一个网络连接，用来通过因特网、广域网(WAN)、局域网(LAN)、地面广播系统、电缆网络、卫星通信网络、无线网络、电话网络等等从服务器接收视频。另外，视频源910可以为上述网络的组合，或者为包含在上述网络中的一个中的另一个网络。

输入/输出设备920、处理器940、以及存储器950通过通信介质960相互通信。通信介质960可以为通信总线、通信网络、或者至少一个内部连接电路。从视频源910收到的输入视频数据可以由处理器940根据在存储器950中存储的、并且可以由处理器940执行的至少一个软件处理，以生成提供给显示装置930的输出视频。

具体地，在存储器950中存储的软件程序可以包括执行根据本发明的方法的多层视频编解码器。该编解码器可以存储在存储器950中，可以从诸如CD-ROM或者软盘等存储介质读取，或者可以通过各种网络之一从预定服务器下载。该编解码器可以由软件、硬件电路、或者软件与硬件电路的组合替换。

图15为显示根据本发明示范实施例的运动向量预测方法的流程图。

首先，在操作S10，运动预测单元140确定对应于当前层帧的第一宏块的第一较低层的区域是否有MV。如果作为确定的结果，确定第一较低层的区域有MV(S10处的是)，则在操作S70，第一上采样器112上采样第一较低层的区域的MV，并且将上采样的MV提供给运动预测单元140。在操作S80，运动预测单元140利用上采样的MV作为预测MV，预测第一宏块的MV。因为操作S70与现有技术的相同，所以在图15的描述中省略其详细描述。

如果作为操作S10处确定的结果，确定第一较低层的区域没有MV(S10处的否)，则在操作S20，运动预测单元140确定对应于第一宏块的第二较低层的区域是否有MV。如果作为确定的结果，确定第二较低层的区域有MV(S20处的是)，则在操作S60，按照当前层的分辨率对第二较低层的分辨率的比例，第二上采样器111上采样第二较低层的区域的MV。在这种情况下，当层的分辨率相同时，可以省略上采样。在操作S80，运动预测单元140利用上采样的MV作为预测MV，预测第一宏块的MV。

同时，如果作为操作S20处确定的结果，确定第二较低层的区域没有MV(S20处的否)，则在操作S30，运动场内插单元150根据邻近宏块，内插对应于当前宏块的第二宏块的MV。在这种情况下，第二宏块为帧内宏块或者BL内宏块。

可以通过平均邻近宏块的帧间宏块内邻近子块的MV，执行内插方法(参照等式2)。更具体地，子块可以包括：位于第一宏块左侧的宏块内的、并且邻近第一宏块的4个4x4子块(图7中的mv_10，mv_11，mv_12和mv_13)，位于第一宏块上侧的宏块内的、并且邻近第一宏块的4个4x4子块(图7中的mv_a0，mv_a1，mv_a2和mv_a 3)，以及位于第一宏块右上侧的宏块内的、并且最靠近第一宏块的一个4x4子块(图7中的mv_ar0)。

在操作S40，上采样器111按照当前层的分辨率对第一较低层的分辨率的比例，上采样内插MV。如果层的分辨率相同，则可以省略上采样。在操作80，运动预测单元140利用上采样的MV作为预测MV，预测第一宏块的MV。操作80包括：利用内插MV获取预测MV，并且从第一宏块的MV中减去所获得的预测MV。

最后，在操作S90，熵编码器160无损地编码通过操作S80处的预测获得的运动差异MV。

如上所述，可以在操作S20处的确定结果为否的情况下，执行操作S30与S40，或者无关于操作S20处的确定结果地执行操作S30与S40。

虽然目前为止基于视频编码器100描述了图15，但是在视频解码器200中以同样方式执行操作S10至S70。但是在这种情况下，操作S80替换为将熵解码器210提供的运动差异ΔMV加到用作预测MV的上采样的MV的操作，并且没有对应于操作S90的操作。

工业实用性

如上所述，本发明可以通过高效地预测多层MV提高视频压缩性能。

虽然出于说明目的描述了本发明的示范性实施例，但是本领域技术人员应该理解：在不脱离权利要求限定的本发明的范围与精神的前提下，可以进行各种修改、添加、以及替换。

Claims (28)

1.一种方法，用来：在对应于当前层帧的第一宏块的第一较低层的区域没有运动向量MV的情况下，压缩第一宏块的MV，该方法包括：

根据至少一个邻近宏块的MV，内插该区域所属的第二宏块的MV；

利用内插MV，获取第一宏块的预测MV；以及

从第一宏块的MV中，减去第一宏块的预测MV。

2.如权利要求1所述的方法，还包括：无损地编码所述相减的结果。

3.如权利要求1所述的方法，其中第二宏块为帧内宏块或者BL内宏块。

4.如权利要求1所述的方法，其中所述获取第一宏块的预测MV包括：按照当前层的分辨率对第一较低层的分辨率的比例，上采样内插MV。

5.如权利要求1所述的方法，还包括：确定对应于第一较低层的所述区域的第二较低层的区域是否具有MV；

其中只有当第二较低层的所述区域被确定为没有MV时，才执行所述内插、获取、以及相减。

6.如权利要求5所述的方法，还包括：如果第二较低层的所述区域被确定有MV，则利用第二较低层的所述区域的MV，预测第一宏块的MV。

7.如权利要求6所述的方法，其中所述预测第一宏块的MV包括：

按照当前层的分辨率对第二较低层的分辨率的比例，上采样第二较低层的所述区域的MV；以及

从第一宏块的MV中，减去上采样的MV。

8.如权利要求1所述的方法，其中所述内插第二宏块的MV包括：平均邻近宏块的帧间宏块内邻近子块的MV。

9.如权利要求8所述的方法，其中所述邻近子块包括：位于第一宏块左侧的宏块内的、并且邻近第一宏块的4个子块，位于第一宏块上侧的宏块内的、并且邻近第一宏块的4个子块，以及位于第一宏块右上侧的宏块内的、并且最靠近第一宏块的一个子块。

10.一种装置，用来：当对应于当前层帧的第一宏块的第一较低层的区域没有运动向量MV时，压缩第一宏块的MV，该装置包括：

运动场内插单元，其根据至少一个邻近宏块的MV，内插该区域所属的第二宏块的MV；

用来利用内插MV获取第一宏块的预测MV的部件；以及

用来从第一宏块的MV中减去第一宏块的预测MV的部件。

11.如权利要求10所述的装置，还包括：用来无损地编码所述相减的结果的部件。

12.如权利要求10所述的装置，其中第二宏块为帧内宏块或者BL内宏块。

13.如权利要求10所述的装置，其中所述用来获取预测MV的部件按照当前层的分辨率对第一较低层的分辨率的比例，上采样内插MV。

14.如权利要求10所述的装置，还包括：用来确定对应于第一较低层的所述区域的第二较低层的区域是否具有MV的部件；

其中只有当第二较低层的所述区域被确定为没有MV时，所述内插部件、预测MV获取部件、以及相减部件才操作。

15.如权利要求14所述的装置，还包括用于以下处理的部件：如果第二较低层的所述区域被确定有MV，则利用第二较低层的所述区域的MV，预测第一宏块的MV。

16.如权利要求15所述的装置，其中所述用于预测第一宏块的MV的部件包括：

用于按照当前层的分辨率对第二较低层的分辨率的比例、上采样第二较低层的所述区域的MV的部件；以及

用于从第一宏块的MV中减去上采样的MV的部件。

17.如权利要求10所述的装置，其中所述内插部件平均邻近宏块的帧间宏块内邻近子块的MV。

18.如权利要求17所述的装置，其中所述邻近子块包括：位于第一宏块左侧的宏块内的、并且邻近第一宏块的4个子块，位于第一宏块上侧的宏块内的、并且邻近第一宏块的4个子块，以及位于第一宏块右上侧的宏块内的、并且最靠近第一宏块的一个子块。

19.一种方法，用来：当对应于当前层帧的第一宏块的第一较低层的区域没有运动向量MV时，从第一宏块的运动差异恢复第一宏块的MV，该方法包括：

根据至少一个邻近宏块的MV，内插该区域所属的第二宏块的MV；

利用内插MV，获取第一宏块的预测MV；以及

将第一宏块的运动差异与第一宏块的预测MV相加。

20.如权利要求19所述的方法，其中第二宏块为帧内宏块或者BL内宏块。

21.如权利要求19所述的方法，其中所述获取第一宏块的预测MV包括：按照当前层的分辨率对第一较低层的分辨率的比例，上采样内插MV。

22.如权利要求19所述的方法，其中所述内插第二宏块的MV包括：平均邻近宏块的帧间宏块内邻近子块的MV。

23.如权利要求19所述的方法，其中所述邻近子块包括：位于第一宏块左侧的宏块内的、并且邻近第一宏块的4个子块，位于第一宏块上侧的宏块内的、并且邻近第一宏块的4个子块，以及位于第一宏块右上侧的宏块内的、并且最靠近第一宏块的一个子块。

24.一种装置，用来：当对应于当前层帧的第一宏块的第一较低层的区域没有运动向量MV时，从第一宏块的运动差异恢复第一宏块的MV，该装置包括：

用来根据至少一个邻近宏块的MV，内插该区域所属的第二宏块的MV的部件；

用来利用内插MV，获取第一宏块的预测MV的部件；以及

用来将第一宏块的运动差异与第一宏块的预测MV相加的部件。

25.如权利要求24所述的装置，其中第二宏块为帧内宏块或者BL内宏块。

26.如权利要求24所述的装置，其中所述用来获取第一宏块的预测MV的部件按照当前层的分辨率对第一较低层的分辨率的比例，上采样内插MV。

27.如权利要求24所述的装置，其中所述用来内插第二宏块的MV的部件平均邻近宏块的帧间宏块内邻近子块的MV。

28.如权利要求24所述的装置，其中所述邻近子块包括：位于第一宏块左侧的宏块内的、并且邻近第一宏块的4个子块，位于第一宏块上侧的宏块内的、并且邻近第一宏块的4个子块，以及位于第一宏块右上侧的宏块内的、并且最靠近第一宏块的一个子块。

Images