CN102934434A - 时间运动矢量预测的方法与装置 - Google Patents

Abstract

本发明揭示一种图像中当前区块的运动矢量预测的装置与方法。在视频解码系统中，使用空间与时间预测来针对空间与时间冗余减少信息传输。运动矢量预测（Motion Vector Prediction，MVP）已用于保存相应于运动矢量的比特率。在传统的时间MVP中，预测项通常基于先前帧/图像中的单一候选项（例如共存运动矢量。如果先前帧/图像中的共存运动矢量并不存在，则无法取得当前区块的预测项。本发明揭示改进的MVP技术，其中，MVP根据来自未来和/或过去参考图像的共存运动矢量，使用多个候选项。根据优先级顺序排列候选项以提供更佳的MVP可用性，并提供更精确的预测。此外，本发明揭示的MVP技术可以闭环形式进行操作，以实现无需边界信息或仅需最少的边界信息。

Description

时间运动矢量预测的方法与装置

相关申请的交叉引用

本申请的权利要求依35U.S.C.§119要求如下申请的优先权：2010年7月12日递交的申请号为61/363,557，标题为“Video coding methods for B-framereferencing co-located motion vector”的美国临时案以及2011年1月11日递交的申请号为61/431,454，标题为“Improved advanced motion vector prediction”的美国临时案。在此合并参考该申请案的全部内容。

技术领域

本发明有关于视频解码，更具体地，有关于与运动矢量预测相应的解码技术。

背景技术

在视频解码系统中，使用空间与时间预测来针对空间与时间冗余（spatialand temporal redundancy）减少信息传输。空间与时间预测分别利用同一图像和参考图像的解码像素以形成对当前像素的解码预测。在传统的解码系统中，可能必须传输对应于空间与时间预测的边界信息（side information），这将占用压缩视频数据的一些带宽。用于时间预测的运动矢量的传输可能需要压缩视频数据的显著部分（noticeable portion），在低比特率（low-bitrate）应用中尤为如此。在近些年的视频解码领域，为了更加减少运动矢量的相应比特率，必须使用运动矢量预测（Motion Vector Prediction，MVP）技术。MVP在空间和时间上在相邻运动矢量之间利用统计冗余（statistic redundancy）。

当使用MVP时，选择用于当前运动矢量的预测项（predictor）且传输该运动矢量残差（residue）以代替运动矢量自身从而节省了运动矢量传输所对应的比特率。在闭环（closed-loop）架构中可应用MVP机制，其中，预测项可根据已解码信息从解码器中提取，无需传送边界信息。或者，可在比特流（bitstream）中直接传输边界信息以通知解码器所选择的运动矢量预测项类型。MVP在可用于外部编码（inter-coded）区块以节省带宽的同时，也可用于跳过（SKIP）和直接（DIRECT）编码区块以减少下层区块（underlying）的比特率。在传统的时间MVP中，预测项通常基于先前帧（frame）/图像（picture）中的单一候选项（例如共存运动矢量（co-located motion vector））。如果先前帧/图像中的共存运动矢量并不存在，则无法取得当前区块的预测项。因此，需要改进MVP的性能以减少解码系统的比特率。通过设计更佳的MVP以提供更精确预测并改进预测项的可用性可实现上述进步。因此，希望MVP可以闭环形式进行操作，以实现无需边界信息或仅需最少的边界信息。

发明内容

本发明揭示一种图像中当前区块的运动矢量预测的装置与方法。根据本发明的一个实施例，运动矢量预测的装置与方法包括从群组中接收相应于至少一个时间区块的两个或多于两个的运动矢量，其中，该群组由一或多个列表0参考图像和一或多个列表1参考图像组成；根据该两个或多于两个的运动矢量确定候选项集合，其中，该候选项集合由至少两个元素组成；以优先级顺序排列该候选项集合；以及根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的多个步骤。根据本发明的一个实施例，该优先级顺序为预定义优先级顺序，且根据本发明的另一个实施例，根据自适应机制确定该优先级顺序。根据本发明的又一个实施例，该确定该候选项集合的步骤包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量。在根据本发明的多个实施例中，可从该多个扩展运动矢量或该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择该候选项集合。根据本发明，在多个实施例中，该自适应机制是根据从一个群组中选择的标准，其中该群组由多个先前区块的重构运动矢量的统计值、该当前区块的分区类型、该多个运动矢量的相关性、该多个运动矢量的方向、该多个运动矢量的距离以及在时间运动矢量的情形中该多个运动矢量是否经过该当前区块组成。根据本发明的另一个实施例，当使用扩展运动矢量时，该自适应机制可根据该多个扩展运动矢量的方向为向内或向外。

在根据本发明的另一个实施例中，运动矢量预测的装置与方法包括从第一参考图像列表中接收相应于至少一个时间区块的两个或多于两个的运动矢量；根据该两个或多于两个的运动矢量确定候选项集合，其中，该候选项集合由至少两个元素组成；以优先级顺序排列该候选项集合；以及根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项；相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。该第一参考图像列表可为列表0参考图像或列表1参考图像。

附图说明

图1为根据现有技术B片编码中直接模式预测的运动矢量扩展。

图2为根据现有技术基于第一先前B图像的共存运动矢量，B片编码的运动矢量扩展。

图3为根据预定义规则使用列表0和列表1参考图像的运动矢量，共存区块的运动矢量预测示意图。

图4为图3的四个运动矢量的预定义优先级顺序示意图。

图5为图3的四个运动矢量的另一个预定义优先级顺序示意图。

图6为图3的四个运动矢量的预定义优先级顺序示意图，其中，仅使用四个运动矢量的其中三个作为运动矢量预测的候选项。

图7为图3的四个运动矢量的另一个预定义优先级顺序示意图，其中，仅使用四个运动矢量的其中三个作为运动矢量预测的候选项。

图8为图3的四个运动矢量的预定义优先级顺序示意图，其中，仅使用四个运动矢量的其中两个作为运动矢量预测的候选项。

图9为图3的四个运动矢量的另一个预定义优先级顺序示意图，其中，仅使用四个运动矢量的其中两个作为运动矢量预测的候选项。

图10A为当前列表为列表0且RefldxL0=0时，使用当前区块的扩展运动矢量的运动矢量预测示意图。

图10B为当前列表为列表1且RefldxL1=0时，使用当前区块的扩展运动矢量的运动矢量预测示意图。

图11为图10A的扩展的四个运动矢量的预定义优先级顺序示意图。

图12为图10B的扩展的四个运动矢量的预定义优先级顺序示意图。

图13为图10A的扩展运动矢量mvL0_l和mvL1_l的预定义优先级顺序示意图。

图14为图10A的扩展运动矢量mvL1_j and mvL0_j的预定义优先级顺序示意图。

图15A为当前列表为列表0且RefldxL0=0时，使用当前区块的扩展运动矢量，与列表0和列表1参考图像的共存区块的非缩放运动矢量进行运动矢量预测的示意图。

图15B为当前列表为列表1且RefldxL1=0时，使用当前区块的扩展运动矢量，与列表0和列表1参考图像的共存区块的非缩放运动矢量进行运动矢量预测的示意图。

图16为图15A的扩展和非扩展运动矢量的预定义优先级顺序示意图。

图17为图15B的扩展和非扩展运动矢量的预定义优先级顺序示意图。

具体实施方式

在视频解码系统中，使用空间与时间预测来针对空间与时间冗余减少信息传输。时间预测使用同一图像中的解码像素以形成对当前像素的解码预测。空间预测通常逐块地进行，例如（以H.264/AVC内部解码的亮度信号（luminance signal）的）16×16或4×4的区块。在视频序列中，相邻图像通常具有很大的相似性，且简单地使用图像差异（difference）可有效地减少所传输的对应于静态背景区域的信息。然而，视频序列中的移动物体会产生大量的残差，且需要更高比特率以对残差进行解码。运动补偿预测（MotionCompensated Prediction，MCP）是利用视频序列中时间相关性（correlation）的常用技术。

在前向预测方式中可使用MCP，其中，使用已解码图像或在显示顺序上先于当前图像的图像来预测当前图像区块。除前向预测以外，也可使用后向预测以改进MCP的性能。后向预测使用的是已解码图像或在显示顺序上后于当前图像的图像。由于H.264/AVC的初版已在2003年完成，前向预测和后向预测已分别扩展至列表0预测（list 0 prediction）和列表1预测（list 1prediction），两者皆可包括在显示顺序上先于或后于当前图像的多个参考图像。下面描述默认参考图像列表重建（list reconstruction）。对于列表0，先于当前图像的参考图像比后于当前图像的参考图像的参考图像指数（indice）更低。而对于列表1，后于当前图像的参考图像比先于当前图像的参考图像的参考图像指数更低。对于列表0和列表1两者，在应用上述的规则之后，还要在确定参考图像索引（index）时考虑时间距离（temporal distance）。一般而言，更靠近当前图像的参考图像具有较低的参考图像索引。例如，假设当前图像为图5，且图像0,2,4,6,和8为参考图像，其中，数字表示播放顺序。从指数零开始，以升序排列参考图像（ascending reference picture）指数的列表0的参考图像为4,2,0,6,和8。从指数零开始，以升序排列参考图像指数的列表1的参考图像为6,8,4,2,和0。索引值等于0的参考图像称为共存图像（co-located picture），且在此实例中，以图像5作为当前图像，图像6为列表1共存图像，而图像4为列表0共存图像。当列表0或列表1共存图像中的区块具有和当前图像中当前区块相同的区块位置时，该区块称为列表0或列表1共存区块，或称为列表0或列表1中的共存区块。在早期视频标准（例如，MPEG-1,MPEG-2 and MPEG-4）中，用于运动估计模式（motion estimationmode）的单元主要基于宏区块（macroblock）。在H.264/AVC中，16×16的宏区块可分割（segment）为16×16,16×8,8×16以及8×8区块以用于运动估计（motion estimation）。此外，8×8区块可分割为16×16,16×8,8×16以及8×8,8×4,4×8及4×4区块以用于运动估计。对于发展中的高性能视频编码（HighEfficiency Video Coding，HEVC）标准，将用于运动估计/补偿的单元称为预测单元（Prediction Unit，PU），其中，从最大区块尺寸开始进行分层分区而得到PU。为H.264/AVC标准中的每一片（slice）选择MCP类型。其中，MCP限制在列表0预测的片称为P片。而MCP除列表0预测以外也包括列表1预测和双向预测（bidirectional prediction）的片称为B片。

在视频编码系统中，将运动矢量和编码的残差传送至解码器以用于在解码器端重建视频。此外，在具有弹性参考图片结构（flexible reference picturestructure）的系统中，可能也必须传送相应于所选择参考图片的信息。运动矢量的传送可能需要显著一部分的传送比特流，在低比特率应用或运动矢量对应于更小区块或高运动精确度（motion accuracy）的系统中尤其如此。为了更减少相应于运动矢量的比特流，近年来已在视频编码领域运用MVP技术。MVP技术在空间和时间上在相邻运动矢量之间利用统计冗余。在闭环架构中可应用MVP机制，其中，可根据已解码信息从解码器提取预测项，且无需传送边界信息。或者，可在比特流中直接传输边界信息以通知解码器所选择的运动矢量预测项类型。

在H.264/AVC标准中，对于P片中的宏区块，除传统的内部和外部模式以外，还存在一种跳过模式（SKIP mode）。由于跳过模式不传送量化误差信号（quantized error signal）、运动矢量和参考索引参数，跳过模式是一种实现更高压缩率的有效方法。对于16×16宏区块，在跳过模式中，其仅需要指示正在使用SKIP模式的信号，从而实现大幅减少比特率。用于重建SKIP宏区块的运动矢量类似于用于宏块的运动矢量预测项。在H.264/AVC标准中，对于B片，支持四种不同的外部预测模式—列表0、列表1、双向预测以及直接预测（DIRECT prediction），其中，列表0和列表1代表分别使用参考图片组0和组1的预测模式。而对于双向预测模式，预测信号是由运动补偿列表0和列表1预测信号的加权平均值形成。直接预测模式是从先前传送的语法元素（syntax element）进行推断（infer），且直接预测模式可为列表0、列表1或双向预测模式的任意一种。因此，在直接预测模式中无需传送运动矢量的信息。在不传送量化误差信号情况下，直接宏块模式表示B跳过模式，且可对该区块进行有效编码。

不断发展的HEVC正在考虑针对H.264/AVC的运动矢量预测做一些改进。在本发明中，揭露了根据过去（past）和/或未来（future）参考图像中的时间区块，对B帧/图像/片的运动矢量预测系统和方法。通过由过去和/或未来参考图像中的时间区块的运动矢量对当前区块的运动矢量进行有效预测以改进运动矢量的编码效率。将多个时间运动矢量看作当前区块的预测项的多个候选项（candidate），且以优先级顺序排列候选项。具有高优先级顺序的候选项为具有低优先级顺序候选项之前的预测项。基于MVP获取的优先级的优势在于增加当前区块的时间MVP候选项存在的机会。例如，传统的视频编码系统仅将先前帧/图像中的共存运动矢量看作候选项。如果此候选项不存在，则编码系统将认为无法获取共存区块的MVP候选项。因此，需要增加MVP候选项的存在几率以改进编码系统的效率。

在H.264/AVC标准中，B片使用时间直接模式（temporal DIRECT mode），其中，如图1所示，从第一列表1参考图像中的共存区块120的运动矢量中获取B片中当前区块110的运动矢量。时间直接模式的运动矢量获取在Tourapis发表的“H.264标准中双向预测片的直接模式编码”（IEEE Trans，视频技术电路与系统，第15期，第119-126页,2005年1月）中有所描述。

将第一列表1参考的共存区块的运动矢量标记为

而对于列表0参考图像和列表1参考图像，将当前区块的运动矢量标记为和

将当前图像与列表0参考图像之间的时间距离标记为TD_B，而将列表0参考图像与列表1参考图像之间的时间距离标记为TD_D。据此可获取当前区块的运动矢量：

${\stackrel{\→}{\mathrm{MV}}}_{L0}=\frac{{\mathrm{TD}}_B}{{\mathrm{TD}}_D}\×\stackrel{\→}{\mathrm{MV}}---\left(1\right)$

${\stackrel{\→}{\mathrm{MV}}}_{L1}=\frac{({\mathrm{TD}}_B-{\mathrm{TD}}_D)}{{\mathrm{TD}}_D}\×\stackrel{\→}{\mathrm{MV}}---\left(2\right)$

然后将上述等式进行以下替换：

$X=\frac{(16384+\mathrm{abs}({\mathrm{TD}}_D/2)}{{\mathrm{TD}}_D}---\left(3\right)$

ScaleFactor＝clip(-1024，1023，(TD_B×X+32)＞＞6)            (4)

${\stackrel{\→}{\mathrm{MV}}}_{L0}=(\mathrm{ScaleFactor}\×\stackrel{\→}{\mathrm{MV}}+128)>>8---\left(5\right)$

${\stackrel{\→}{\mathrm{MV}}}_{L1}={\stackrel{\→}{\mathrm{MV}}}_{L0}-\stackrel{\→}{\mathrm{MV}}---\left(6\right)$

由此可在片/图像层级预先计算（pre-computed）X与ScaleFactor。在时间直接模式中，运动矢量仅根据第一列表1参考的共存区块的运动矢量。

在另一现有技术—Laroche等发表的“运动矢量预测项选择的RD优化编码”（IEEE Trans，视频技术电路与系统，第18期，第12号，第1681-1691页,2008年12月）中，揭示了一种根据运动矢量竞争（competition）的运动矢量预测选择方法。运动矢量竞争使用RD优化（RD optimization）以从运动矢量预测项候选项中确定最佳运动矢量预测项。例如，如图2所示，时间运动矢量预测项可包括列表0运动矢量，以及列表0和列表1运动矢量，其中，列表0运动矢量对应于列表1共存图像Ref₁中的共存区块，列表0和列表1运动矢量用于列表0共存图像B-1中的共存区块。可以与H.264/AVC标准中定义的相同方式来计算对应于列表1共存图像Ref₁中的共存区块的列表0运动矢量：

${\mathrm{mv}}_1^{L0}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{L1}}}{d_{L0L1}}\×d_{L0}---\left(7\right)$

${\mathrm{mv}}_1^{L1}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{L1}}}{d_{L0L1}}\×(d_{L0}-d_{L0L1})---\left(8\right)$

列表0共存图像B-1中共存区块的列表0和列表1运动矢量可用于获取当前区块的运动矢量预测项。如果存在图像B-1中指向前向P图像（P-picture）的共存运动矢量

则运动预测项

和

可通过下列公式计算出来：

${\mathrm{mv}}_3^{L0}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{B-1_{L0}}}}{d_{L0B-1}}\×d_{L0}---\left(9\right)$

${\mathrm{mv}}_3^{L1}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{B-1_{L0}}}}{d_{L0B-1}}\×(d_{L0}-d_{L0L1})---\left(10\right)$

图2中描述了运动矢量

且d_LOB-1代表前向P帧和帧B-1之间的时间距离。在后向预测的情形中，预测项

和

可通过下列公式计算出来：

${\mathrm{mv}}_4^{L0}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{B-1_{L1}}}}{(d_{L0B-1}=d_{L0L1})}\×d_{L0}---\left(11\right)$

${\mathrm{mv}}_4^{L1}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{B-1_{L1}}}}{(d_{L0L1}-d_{L0B-1})}\×(d_{L0L1}-d_{L0})---\left(12\right)$

如图2中的描述，运动矢量

是图B-1中的共存运动矢量，其指向后向P帧。根据运动矢量

和的可得性，公式(7)-(12)中对应的预测项可用于当前块中，且可运用RD优化以选择最佳运动矢量预测项。通过Laroche等人的运动矢量预测机制，将需要传送边界信息至解码器中以指示所选择的特定运动矢量预测项。传送选择的运动矢量预测项所对应的边界信息将消耗一些带宽。无论是否致能或禁能运动矢量竞争机制，时间运动矢量预测项可促进减少运动矢量残差。需要开发时间运动矢量预测项技术以在不使用运动矢量竞争时中增强时间运动矢量预测项；并在使用运动矢量竞争时，增强时间运动矢量预测项的候选项。此外，还需实现增强的时间运动矢量预测项无额外边界信息，或仅有最小的额外边界信息。

因此，本发明发展图像中的当前块的运动矢量预测技术。本发明的运动矢量预测技术可用于确定当前块的运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项。运动矢量技术从未来和过去参考图像中使用相应于时间区块的运动矢量作为预测项的候选项，并根据优先级顺序选择预测项。图3为运动矢量预测的示意图，该运动矢量预测根据优先级顺序使用未来和过去参考图像中共存区块的运动矢量。图3中使用的未来图像属于列表1的图像，其参考图像索引RefldxL1等于0，将未来图像标记为“l”。图3中使用的过去图像属于列表0的图像，其参考图像索引RefldxL0等于0，且将过去图像标记为“j”。此外，将当前图像标记为“k”，将属于列表0且RefldeL0>1的图像标注为“i”，而将属于列表1且RefldeL0>1的图像标注为“m”。根据优先级顺序分别从图像j的共存区块320和图像l的共存区块330的运动矢量mvL0_j、mvL1_j、mvL0_l及mvL1_l中确定当前块310的运动矢量mvL0和mvL1。运动矢量mvL0_j和mvL1_j指的是图像j的共存区块320的运动矢量，运动矢量mvL0_j和mvL1_j分别指向列表0和列表1中的图像。运动矢量mvL0_l和mvL1_l指的图像l的共存区块330的运动矢量，运动矢量mvL0_l和mvL1_l分别指向列表0和列表1的图像。将以优先顺序排列这些运动矢量候选项以使得能相应地选择预测项。

图4为图3的四个运动矢量候选项的预定义优先级顺序的示意图。使用列表0中的参考图像，根据未来和过去参考图像中的共存运动矢量确定当前区块310的运动矢量预测项如下所述：

·如果mvL0_l存在且对应参考图像（图像id=i-1）位于当前图像的列表0中，

则mvL0=mvL0_l（参考图像id=i-1）；

·否则，如果mvL1_j存在且对应参考图像（图像id=m）位于当前图像的列表0中,

则mvL0=mvL1_j（参考图像id=m）；

·否则，如果mvL0_j存在且对应参考图像（图像id＝j）位于当前图像的列表0中,

则mvL0=mvL0_j（参考图像id=j）；

·否则，如果mvL1_l存在且对应参考图像（图像id=l）位于当前图像的列表0中，

则mvL0=mvL1_l（参考图像id=l）；

·否则，

无法取得mvL0。

上述的预定义优先级顺序显示了使用列表0中的参考图像以及预测项的候选项，确定当前区块310的运动矢量预测项或运动矢量预测项的候选项是根据列表0和列表1参考图像中的共存运动矢量的一个实例。所属领域的技术人员可使用其他预定义优先级顺序以实现相同或相似目的。

图5为用于图3的四个运动矢量候选项的预定义优先级顺序的另一示意图。使用列表1中的参考图像，根据未来和过去参考图像中的共存运动矢量确定当前区块310的运动矢量预测项如下所述：

·如果mvL1_j存在且对应参考图像（图像id=m）位于当前图像的列表1中，

则mvL1=mvL1_j（参考图像id=m）；

·否则，如果mvL0_l存在且对应参考图像（图像id=i-1）位于当前图像的列表1中，

则mvL1=mvL0_l（参考图像id=i-1）；

·否则，如果mvL1_l存在且对应参考图像（图像id=l）位于当前图像的列表1中，

则mvL1=mvL1_l（参考图像id=l）；

·否则，如果mvL0_j存在且对应参考图像（图像id＝j）位于当前图像的列表1中，

则mvL1=mvL0_j（参考图像id＝j）；

·否则，

无法取得mvL1。

上述的预定义优先级顺序显示了使用列表1中的参考图像以及预测项的候选项，确定当前区块310的运动矢量预测项或运动矢量预测项的候选项是根据列表0和列表1参考图像中的共存运动矢量的一个实例。所属领域的技术人员可使用其他预定义优先级顺序以实现相同或相似目的。

尽管上述将四个矢量都看作当前区块的预测项或预测项候选项，但并非必须使用全部的运动矢量候选项。例如，如图6所示，可使用列表0中的参考图像，根据图3中四个运动矢量的其中三个来确定当前区块310的运动矢量预测项或运动矢量预测项候选项，如下所述：

·如果mvL0_l存在且对应参考图像位于当前图像的列表0中，

则mvL0=mvL0_l（参考图像id=i-1）；

·否则，如果mvL1_j存在且对应参考图像位于当前图像的列表0中,

则mvL0=mvL1_j（参考图像id=m）；

·否则，如果mvL0_j存在且对应参考图像位于当前图像的列表0中,

则mvL0=mvL0_j（参考图像id=j）；

·否则，

无法取得mvL0。

类似地，如图7所示，可使用列表1中的参考图像，根据图3中四个运动矢量的其中三个来确定当前区块310的运动矢量预测项或运动矢量预测项候选项，如下所述：

·如果mvL1_j存在且对应参考图像位于当前图像的列表1中，

则mvL1=mvL1_j（参考图像id=m）；

·否则，如果mvL0_l存在且对应参考图像位于当前图像的列表1中，

则mvL1=mvL0_l（参考图像id==i-1）；

·否则，如果mvL1_l存在且对应参考图像位于当前图像的列表1中，

则mvL1=mvL1_l（参考图像id=l）；

·否则，

mvL1不可用。

在另一个实例中，如图8所示，可使用列表0中的参考图像，根据图3中四个运动矢量的其中两个来确定当前区块310的运动矢量预测项或运动矢量预测项候选项，如下所述：

·如果mvL0_l存在且对应参考图像位于当前图像的列表0中，

则mvL0=mvL0_l（参考图像id=i-1）；

·否则，如果mvL1_j存在且对应参考图像位于当前图像的列表0中,

则mvL0=mvL1_j（参考图像id=m）；

·否则，

无法取得mvL0。

类似地，如图9所示，可使用列表1中的参考图像，根据图3中四个运动矢量的其中两个来定义当前区块310的运动矢量预测项或运动矢量预测项候选项，如下所述：

·如果mvL1_j存在且对应参考图像位于当前图像的列表1中，

则mvL1=mvL1_j（参考图像id=m）；

·否则，如果mvL0_l存在且对应参考图像位于当前图像的列表1中，

则mvL1=mvL0_l（参考图像id==i-1）；

·否则，

mvL1不可用。

本发明并不限于使用相应于列表0参考图像中时间区块的至少一个运动矢量以及列表1参考图像中时间区块的至少一个运动矢量以确定当前区块的运动矢量预测项或运动矢量预测项候选项。在一些实施例中，优先级顺序可结合于比特流，例如序列头部（sequence header,）、图像头部（picture header）或片头部（slice header）；根据此优先级顺序从列表1共存区块330对应的两个运动矢量mvL0_l和mvL1_l中定义当前区块310的运动矢量预测项或运动矢量预测项候选项。在另一个实例中，根据结合于序列头部、图像头部或片头部的优先级顺序从列表0共存区块320对应的两个运动矢量mvL0_j和mvL1_j中定义当前区块310的运动矢量预测项或运动矢量预测项候选项。

尽管上述示例使用RefldxL1=0的未来参考图像的共存运动矢量和RefldxL0=0的过去参考图像的共存运动矢量作为当前区块的运动运动矢量预测项候选项，也可使用对应参考图像的扩展（scaled）共存运动矢量作为候选项。在图1和图2以及对应的文字中描述了运动矢量扩展方法。图10A为当前列表为列表0且RefldxL0=0时，根据列表0和列表1共存区块的扩展运动矢量（scaled motion vector）的运动矢量预测示意图。将对应于mvL0_l、mvL1_j、mvL0_j以及mvL1_l的扩展运动矢量分别标记为1002、1004、1006和1008。扩展的运动矢量表示通过扩展的列表0或列表1共存运动矢量，当前区块与RefldxL0=0的列表0中参考图像之间的运动矢量。因此，将使用扩展的运动矢量1002、1004、1006及1008，以取代mvL0_l、mvL1_j、mvL0_j以及mvL1_l作为运动矢量预测项或运动矢量预测项候选项的候选值。扩展的运动矢量可提供比非扩展运动矢量更佳的预测。图10B为当前列表为列表1且RefldxL1=0时，根据根据列表0和列表1共存区块的扩展运动矢量的运动矢量预测示意图。将对应于mvL1_j，mvL0_l，mvL1_l以及mvL0_j的扩展运动矢量分别标记为1012、1014、1016和1018。扩展的运动矢量表示通过扩展的列表0或列表1共存运动矢量，当前区块与RefldxL1=0的列表1中参考图像之间的运动矢量。因此，将使用扩展的运动矢量1102、1014、1016及1018以取代mvL1_j，mvL0_l，mvL1_l以及mvL0_j作为运动矢量预测项或运动矢量预测项候选项的候选值。扩展的运动矢量可提供比非扩展运动矢量更佳的预测。

类似于非扩展运动矢量的情形，可对扩展的运动矢量分配预定义优先级顺序以用于列表0运动矢量预测。可直接获取或在比特流中传送列表0参考图像索引RefldxL0。图11为在当前列表为列表0且RefldxL0=0的情况下，用于图10A的扩展运动矢量的预定义优先级顺序的示意图。根据如下述的优先级顺序确定运动矢量预测项或运动矢量预测项的候选项：

·如果mvL0_l存在，

则mvL0=扩展的mvL0_l（运动矢量1002）；

·否则，如果mvL1_j存在,

则mvL0=扩展的mvL1_j（运动矢量1004）；

·否则，如果mvL0_j存在,

则mvL0=扩展的mvL0_j（运动矢量1006）；

·否则，如果mvL1_l存在，

则mvL0=扩展的mvL1_l（运动矢量1008）；

·否则，

无法取得mvL0。

在另一个实施例中，列表0运动矢量预测（当前列表为列表0且RefIdxL0=0）根据下述优先级顺序确定获取当前区块310的运动矢量预测项或运动矢量预测项候选项：

·如果mvL0_l存在，

则mvL0=扩展的mvL0_l（运动矢量1002）；

·否则，如果mvL1_l存在，

则mvL0=扩展的mvL1_l（运动矢量1008）；

·否则，

无法取得mvL0。

在此情形中，仅考虑对应于列表1共存区块330的扩展运动矢量。与优先级顺序相关的信息是序列头部、图像头部或片头部。

而在另一个实施例中，列表0运动矢量预测（当前列表为列表0且RefIdxL0=0）根据下述优先级顺序确定当前区块310的运动矢量预测项或运动矢量预测项候选项：

·如果mvL1_j存在，

则mvL0=扩展的mvL1_j（运动矢量1004）；

·否则，如果mvL0_j存在，

则mvL0=扩展的mvL0_j（运动矢量1006）；

·否则，

无法取得mvL0。

在此情形中，仅考虑对应于列表0共存区块320的扩展运动矢量。与优先级顺序相关的信息是序列头部、图像头部或片头部。

还可对扩展的运动矢量分配预定义优先级顺序以用于列表1运动矢量预测。可直接获取或在比特流中传送列表1参考图像索引RefldxL1。图12为在当前列表为列表1且RefldxL1=0的情况下，用于图10B的扩展运动矢量的预定义优先级顺序的示意图。根据如下述的优先级顺序确定运动矢量预测项或运动矢量预测项的候选项：

·如果mvL1_j存在，

则mvL1=扩展的mvL1_j；

·否则，如果mvL0_l存在,

则mvL1=扩展的mvL0_l；

·否则，如果mvL1_l存在,

则mvL1=扩展的mvL1_l；

·否则，如果mvL0_j存在，

则mvL1=扩展的mvL0_j；

·否则，

无法取得mvL1。

类似地，根据结合于比特流的预定义优先级顺序，列表1运动矢量预测（当前列表为列表1且RefIdxL1＝0）可仅考虑对应于列表0共存区块320的扩展运动矢量（即运动矢量1012和1018）；或者根据结合于比特流的预定义优先级顺序，列表1运动矢量预测（当前列表为列表1且RefIdxL1＝0）可仅考虑对应于列表1共存区块330的扩展运动矢量（即运动矢量1014和1016）。

可从图11或图12中选择两或三个扩展运动矢量作为运动矢量预测项或运动矢量预测项候选项的候选项的候选值，且当前区块的运动矢量预测项或运动矢量预测项候选项是根据优先级顺序从这些候选值中确定。例如，这些候选项的候选值包括图11的两个运动矢量1002和1004，且根据一个优先级顺序，在运动矢量1004之前先考虑运动矢量1002。在另一个实施例中，这些候选项的候选值包括图12的三个运动矢量1012、1014和1016，且根据一个优先级顺序，首先考虑运动矢量1012，然后是运动矢量1014，最后是运动矢量1018。

如前所述，尽管图11中的矢量将对应于列表0和列表1共存运动矢量的所有扩展运动矢量作为运动矢量预测项或运动矢量预测项候选项的候选值，可将候选项仅限于对应于列表0或列表1中共存区块的扩展运动矢量。如前所述，可直接获取或在比特流中传送列表0参考图像索引RefldxL0。在当前列表为列表0且RefIdxL0=0的情况中，仅将列表1中共存区块所对应的扩展运动矢量作为候选项。图13为在所述情况下，预定义优先级顺序的示意图。可在每个预测单元（prediction unit，PU）结合或定义当前列表为列表0的信息。根据如下述的优先级顺序确定运动矢量预测项或运动矢量预测项的候选项：

·如果mvL0_l存在，

则mvL0=扩展的mvL0_l；

·否则，如果mvL1_l存在，

则mvL0=扩展的mvL1_l；

·否则，

无法取得mvL0。

在上述的实例中，可将列表0中共存区块所对应的扩展运动矢量作为候选项。图14为在所述情况下，预定义优先级顺序的示意图。根据如下述的优先级顺序确定运动矢量预测项或运动矢量预测项的候选项：

·如果mvL1_j存在，

则mvL0=扩展的mvL1_j；

·否则，如果mvL0_j存在，

则mvL0=扩展的mvL0_j；

·否则，

无法取得mvL0。

在上述的实例中，运动矢量预测是基于列表0和列表1共存运动矢量的扩展运动矢量或非扩展运动矢量。可结合列表0和列表1共存运动矢量的扩展运动矢量和非扩展运动矢量以提供更佳的运动矢量预测。图15A为使用扩展运动矢量和非扩展运动矢量的运动矢量预测示意图。当前区块310与图像id＝j的列表0中参考图像之间的扩展运动矢量1002、1004、1006及1008和未来与过去参考图像中共存区块的非扩展运动矢量mvL0_l、mvL1_j、mvL0_j和mvL1_l都可用作运动矢量预测项或运动矢量预测项的候选项的候选项。图15B为使用扩展运动矢量和非扩展运动矢量的运动矢量预测示意图。当前区块310与图像id=l的列表1中参考图像之间的扩展运动矢量1012、1014、1016及1018和非扩展运动矢量mvL1_j、mvL0_l、mvL1_l及mvL0_j都可用作运动矢量预测项或运动矢量预测项的候选项的候选项。

图16为使用图15A中所示的未来与过去参考图像中共存区块的扩展运动矢量和非扩展运动矢量作为运动矢量预测项的候选项进行运动矢量预测的示意图。运动矢量预测项或运动矢量预测项的候选项的候选值包括当前区块310与图像id＝j的列表0中参考图像之间的扩展运动矢量1002、1004、1006及1008和未来与过去参考图像中共存区块的非扩展运动矢量mvL0_l、mvL1_j、mvL0_j及mvL1_l。根据下述预定义优先级顺序确定预测项或预测项的候选项：

·如果mvL0_l存在且对应参考图像（图像id=i-1）位于当前图像的列表0中，

则mvL0=mvL0_l（参考图像id=i-1）；

·否则，

mvL0=扩展的mvL0_l（参考图像id＝j）；

·否则，如果mvL1_j存在且对应参考图像（图像id=m+1）位于当前图像的列表0中，

则mvL0=mvL1_j（参考图像id=m+1）；

·否则，

mvL0=扩展的mvL1_j（参考图像id=j）

·否则，如果mvL0_j存在且对应参考图像（图像id＝j）位于当前图像的列表0中，

则mvL0=mvL0_j（参考图像id=j）；

否则，

mvL0=扩展的mvL0_j（参考图像id=j）；

·否则，如果mvL1_l存在且对应参考图像（图像id=l）位于当前图像的列表0中，

则mvL0=mvL1_l（参考图像id=l）；

否则，

mvL0=扩展的mvL1_l（参考图像id＝j）；

否则，

无法取得mvL0。

图17为使用图15B中所示的未来与过去参考图像中共存区块的扩展运动矢量和非扩展运动矢量作为运动矢量预测项的候选项进行运动矢量预测的示意图。运动矢量预测项或运动矢量预测项的候选项的候选值包括当前区块310与图像id=l的列表1中参考图像之间的扩展运动矢量1012、1014、1016及1018和未来与过去参考图像中共存区块的非扩展运动矢量mvL0_l、mvL1_j、mvL0_j及mvL1_l。根据下述预定义优先级顺序确定预测项或预测项的候选项：

·如果mvL1_j存在且对应参考图像（图像id=m+1）位于当前图像的列表1中，

则mvL1=mvL1_j（参考图像id==m+1）；

·否则，

mvL1=扩展的mvL1_j（参考图像id=l）；

·否则，如果mvL0_l存在且对应参考图像（图像id=i-1）位于当前图像的列表1中，

则mvL1=mvL0_l（参考图像id=i-1）；

·否则，

mvL1=扩展的mvL0_l（参考图像id=l）

·否则，如果mvL1_l存在且对应参考图像（图像id=l）位于当前图像的列表1中，

则mvL1=mvL1_l（参考图像id=l）；

否则，

mvL1=扩展的mvL1_l（参考图像id=l）；

·否则，如果mvL0_j存在且对应参考图像（图像id＝j）位于当前图像的列表1中，

则mvL1=mvL0_j（参考图像id=j）；

否则，

mvL1=扩展的mvL0_j（参考图像id=l）；

否则，

无法取得mvL1。

在根据预定义优先级顺序进行运动矢量预测的上述实例中，每个实例中分别使用了优先级顺序以说明从运动矢量候选项中确定运动矢量预测项或运动矢量预测项候选项的过程。特定的优先级顺序并不能作为本发明的限制。所属领域的技术人员可为选择不同的运动矢量候选项的优先级顺序以实现本发明。此外，尽管上述实例说明候选项之间的运动矢量顺序是根据预定义优先级顺序确定的，也可根据自适应机制（adaptive scheme）来执行候选项的优先级顺序。自适应优先级顺序机制可根据先前区块的重构（reconstructed）运动矢量的统计值、当前区块的分区类型（partition type）、运动矢量的相关性、运动矢量的方向、扩展运动矢量的方向为向内（interpolation）或向外（extrapolation）、运动矢量距离，或者在时间运动矢量的情形中运动矢量是否经过当前区块。此外，自适应机制也可根据两个或更多个上述因素的组合。

当使用先前区块的重构运动矢量的统计值以用于自适应机制时，统计值可相应于运动矢量候选项的计数（count）。将优先级顺序适配为运动矢量候选项的计数，其中，对具有更高计数的运动矢量候选项分配更高的优先级以用于运动矢量预测。当使用当前区块的分区类型以用于自适应机制时，举例说明，如果将2Nx2N大小（size）的当前编码单元分为Nx2N大小的两个矩形预测单元，且当前区块为左预测单元，对与当前编码单元的左相邻单元（leftneighbor）具有更高相似度的运动矢量分配更高的优先级；如果将2Nx2N大小的当前编码单元分为Nx2N大小的两个矩形预测单元，且当前区块为右预测单元，对与当前编码单元的右相邻单元具有更高相似度的运动矢量分配更高的优先级。当使用运动矢量的相关性以用于自适应机制时，对具有更高相关性的运动矢量分配更高的优先级。例如，如果优先级列表中的两个运动矢量完全相同，将运动矢量看作具有更高的相关性。当使用运动矢量的方向以用于自适应机制时，举例而言，对指向目标参考图像方向的运动矢量分配更高的优先级。当使用扩展运动矢量的方向为向内或向外以用于自适应机制时，举例而言，可对具有向内方向的扩展运动矢量分配更高的优先级。当使用运动矢量距离以用于自适应机制时，举例而言，将从当前区块到目标参考图像具有较短时间距离的运动矢量分配更高的优先级。当使用时间运动矢量的覆盖范围（coverage）以用于自适应机制时，对覆盖当前区块的运动矢量分配更高的优先级。

需注意，本发明不仅可运用于外部模式，也可运用于跳过、直接及合并（Merge）模式。在外部模式中，鉴于当前列表，使用运动矢量预测项以用于预测PU的运动矢量，并传送运动矢量残差。当不使用运动矢量竞争机制时，可运用当前发明以获取运动矢量预测项；或者当使用运动矢量机制时，可运用当前发明以获取运动矢量预测项的候选项。对于跳过、直接及合并（Merge）模式，可将其看作外部模式的特殊情形，其中，不传送运动矢量残差且总将运动矢量残差推断为0。在这些情形中，当不使用运动矢量竞争机制时，可运用当前发明以获取运动矢量预测项；或者当不使用运动矢量机制时，可运用当前发明以获取运动矢量预测项的候选项。

上述的根据本发明的运动矢量预测的实施例可在不同硬件、软件、或二者的组合中实现。例如，本发明的一个实施例可为集成在视频压缩芯片中的电路或集成在视频压缩软件中的程序代码以执行实施例中所述的处理。本发明的一个实施例也可为数字信号处理器（DSP）上执行的程序代码以执行实施例中所述的处理。本发明也关于由计算机处理器、DSP、微处理机或FPGA执行的多个功能。根据本发明，通过执行定义本发明所包括的特定方法的机器可读软件代码或固件代码，可配置这些处理器以执行特定任务。可在不同程序语言和不同格式或风格中开发软件代码或固体代码。也可对不同目标平台编译软件代码。然而，根据本发明不同编码格式、风格和软件代码语言以及为执行任务的配置代码其他方式都不得脱离本发明的精神与范围。

在不脱离本发明精神过基本特征的前提下可将本发明以其他特定形式实现。将所述的实例看作仅为说明目的的各个方面，并非用于限制用途。因此，本发明的范围由所附的权利要求决定而并非前面的描述所决定。在权利要求的含义或其等效范围之内的任何改变都在本发明保护范围之内。

Claims (29)

1.一种获取图像中当前区块的运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的方法，该方法包括：

从群组中接收相应于至少一个时间区块的两个或多于两个的运动矢量，其中，该群组由一或多个列表0参考图像和一或多个列表1参考图像组成；

根据该两个或多于两个的运动矢量确定候选项集合，其中，该候选项集合由至少两个元素组成；

以优先级顺序排列该候选项集合；以及

根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项。

2.如权利要求1所述的方法，其特征在于，该优先级顺序为预定义优先级顺序。

3.如权利要求2所述的方法，其特征在于，相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。

4.如权利要求1所述的方法，其特征在于，根据自适应机制确定该优先级顺序。

5.如权利要求4所述的方法，其特征在于，该自适应机制是根据从一个群组中选择的标准，其中该群组由多个先前区块的重构运动矢量的统计值、该当前区块的分区类型、该多个运动矢量的相关性、该多个运动矢量的方向、该多个运动矢量的距离以及在时间运动矢量的情形中该多个运动矢量是否经过该当前区块组成。

6.如权利要求1所述的方法，其特征在于，从该两个或多于两个的运动矢量中选择该候选项集合。

7.如权利要求1所述的方法，其特征在于，该确定该候选项集合包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量，且其中，该候选项集合是从该多个扩展运动矢量或从该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择的。

8.如权利要求7所述的方法，其特征在于，从该多个扩展运动矢量中选择该候选项集合。

9.如权利要求7所述的方法，其特征在于，从该两个或多于两个的运动矢量或该多个扩展运动矢量中选择该候选项集合。

10.如权利要求7所述的方法，其特征在于，该优先级顺序是根据一个基于该多个扩展运动矢量的方向为向内或向外的自适应机制。

11.一种获取图像中当前区块的运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的装置，该装置包括：

接收单元，用于从群组中接收相应于至少一个时间区块的两个或多于两个的运动矢量，其中，该群组由一或多个列表0参考图像和一或多个列表1参考图像组成；

确定单元，用于根据该两个或多于两个的运动矢量确定候选项集合，其中，该候选项集合由至少两个元素组成；

排列单元，用于以优先级顺序排列该候选项集合；以及

获取单元，用于根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项。

12.如权利要求11所述的装置，其特征在于，该优先级顺序为预定义优先级顺序。

13.如权利要求12所述的装置，其特征在于，相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。

14.如权利要求11所述的装置，其特征在于，根据自适应机制确定该优先级顺序。

15.如权利要求14所述的装置，其特征在于，该自适应机制是根据从一个群组中选择的标准，其中该群组由多个先前区块的重构运动矢量的统计值、该当前区块的分区类型、该多个运动矢量的相关性、该多个运动矢量的方向、该多个运动矢量的距离以及在时间运动矢量的情形中该多个运动矢量是否经过该当前区块组成。

16.如权利要求11所述的装置，其特征在于，从该两个或多于两个的运动矢量中选择该候选项集合。

17.如权利要求11所述的装置，其特征在于，该确定该候选项集合的该确定单元包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量的装置，且其中，该候选项集合是从该多个扩展运动矢量或从该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择的。

18.如权利要求17所述的装置，其特征在于，从该多个扩展运动矢量中选择该候选项集合。

19.如权利要求17所述的装置，其特征在于，从该两个或多于两个的运动矢量或该多个扩展运动矢量中选择该候选项集合。

20.如权利要求17所述的装置，其特征在于，该优先级顺序是根据一个基于该多个扩展运动矢量的方向为向内或向外的自适应机制。

21.一种获取图像中当前区块的运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的方法，该方法包括：

从第一参考图像列表中接收相应于至少一个时间区块的两个或多于两个的运动矢量；

根据该两个或多于两个的运动矢量确定候选项集合，其中，该候选项集合由至少两个元素组成；

以优先级顺序排列该候选项集合；以及

根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项；

其中，相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。

22.如权利要求21所述的方法，其特征在于，从该两个或多于两个的运动矢量中选择该候选项集合。

23.如权利要求21所述的方法，其特征在于，该确定该候选项集合包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量，其中，从该多个扩展运动矢量或该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择该候选项集合。

24.如权利要求23所述的方法，其特征在于，从该多个扩展运动矢量中选择该候选项集合。

25.如权利要求21所述的方法，其特征在于，该第一参考图像列表为列表0参考图像或列表1参考图像。

26.一种获取图像中当前区块的运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的装置，该装置包括：

接收单元，用于从第一参考图像列表中接收相应于至少一个时间区块的两个或多个运动矢量；

确定单元，用于根据该两个或多个运动矢量确定候选项集合，其中，该候选项集合由至少两个元素组成；

排列单元，用于以优先级顺序排列该候选项集合；以及

获取单元，用于根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项或运动矢量预测项的候选项或运动矢量或运动矢量候选项；

其中，相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。

27.如权利要求26所述的装置，其特征在于，从该两个或多于两个的运动矢量中选择该候选项集合。

28.如权利要求26所述的装置，其特征在于，该确定该候选项集合的该确定单元包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量的装置，其中，从该多个扩展运动矢量或该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择该候选项集合。

29.如权利要求28所述的装置，其特征在于，从该多个扩展运动矢量中选择该候选项集合。

Images