CN1689335A - 用于无约束和基于提升的运动补偿时间过滤的有效运动矢量预测 - Google Patents

Abstract

用于降低运动矢量比特数量的视频编码方法和设备，该方法和设备通过在时间上预测运动矢量并编码差值来差分编码在每个时间分解级上的运动矢量。

Description

用于无约束和基于提升的运动补偿时间过滤的 有效运动矢量预测

技术领域

本申请根据35 USC 119(e)要求在此引用作为参考的于2002年10月7日提交的美国临时申请序列号为60/416,592的利益。

本发明一般涉及视频编码，并且更具体地涉及在无约束和基于提升(lifting-based)运动补偿时间过滤(temporal filtering)中使用差分运动矢量编码的基于小波的编码。

背景技术

无约束运动补偿时间过滤(UMCTF)和基于提升运动补偿时间过滤(MCTF)用于运动补偿小波编码。这些MCTF方案使用类似的运动补偿技术，例如双向过滤、多参考帧等等，以消除视频中的时间相关。UMCTF和基于提升的MCTF优于单向MCTF方案。

在提供好的时间去相关方面，UMCTF和基于提升的MCTF具有这样的缺点，即需要传输全都需要被编码的附加的运动矢量(MV)。这在图1中图示出，该图图示没有多个参考帧而仅具有双向过滤的一个例子。如能够看出的，每个时间分解级(level)内的MV(级0内的MV 1和MV 2以及级1内的MV 3)被单独地进行估算和编码。因为在多个时间分解级上执行双向运动估算，所以附加MV比特的数量随着分解级的数量而增加。类似地，在时间过滤期间使用的参考帧数量越大，则需要发送的MV数量越大。与混合视频编码方案或者与Haar时间分解相比，MV场的数量几乎加倍。这可能负面地影响用于以低传输比特率进行双向运动补偿小波编码的UMCTF和基于提升MCTF的效率。

发明内容

因此，需要一种降低在无约束或基于提升的MCTF方案中用于编码MV所花费的比特数量的方法。

本发明涉及用于以降低运动矢量比特数量的方式编码视频的方法和设备。根据本发明，通过在时间上预测运动矢量和编码差值，在每个时间分解级上差分编码运动矢量。

附图说明

图1图示没有多个参考帧，但是仅具有双向过滤的UMCTF的一个例子。

图2图示可以用于实现本发明的原理的编码器的一个实施例。

图3图示在两个不同的时间分解级上考虑三个运动矢量的一个示例性GOF。

图4是图示本发明方法的自顶向下预测和编码实施例的流程图。

图5A、5B、6A、6B和7图示使用本发明方法的自顶向下预测和编码实施例的两个不同视频序列的结果。

图8图示在运动估算期间自顶向下预测的一个例子。

图9图示在运动估算期间使用自顶向下预测的两个不同视频序列的结果。

图10是图示本发明方法的自底向上预测和编码实施例的流程图。

图11A、11B、12A、12B和13图示使用本发明方法的自底向上预测和编码实施例的两个不同视频序列的结果。

图14图示在运动估算期间使用自顶向下预测的两个不同视频序列的结果。

图15图示在运动估算期间使用自顶向下预测的一组帧内的帧的运动矢量比特。

图16图示具有提升的双向MCTF的两级。

图17图示本发明方法的乱序的、混合预测和编码实施例。

图18图示可用于实现本发明原理的解码器的一个实施例。

图19图示其中可以实现本发明原理的系统的一个实施例。

具体实施方式

本发明是一种差分运动矢量编码方法，降低了用于编码在无约束和基于提升的运动补偿时间过滤期间生成的运动矢量(MV)所需要的比特数量，以便进行双向运动补偿小波编码。该方法在各个时间级上差分地编码MV。这通常通过使用任一常规的编码方案在时间上预测MV和编码差值来实现。

图2图示可用于实现本发明原理的利用标号100标记的编码器的一个实施例。该编码器100包括划分单元120，用于将输入视频划分成一组帧(GOF)，将其作为单元来编码。包括无约束或基于提升的MCTF单元130，它包括运动估算单元132和时间过滤单元134。运动估算单元132根据本发明的方法来对每个GOF内各帧执行双向运动估算或预测，如下文将进一步具体解释的。时间过滤单元134删除根据运动矢量MV的每个GOF的帧与由运动估算单元132提供的帧数量之间的时间冗余。包括空间分解单元140，以降低由MCTF单元130提供的各帧内的空间冗余。在操作期间，可以通过空间分解单元140将从MCTF单元130接收到的各帧空间转换成根据二维(2D)小波转换的小波系数。存在多种不同类型的小波转换的公知过滤器和实现方式。包括有效(significance)编码单元150，以便根据有效信息来编码空间分解单元140的输出，所述有效信息例如为小波系数的幅度，其中较大的系数比较小的系数更有效。包括熵编码单元160，以产生输出比特流。熵编码单元160将小波系数熵编码成输出比特流。根据本发明的方法熵编码单元160还熵编码由运动估算单元130提供的MV和帧数量，如在下文中将进一步详细解释的。这个信息被包括在输出比特流内，以便能够解码。合适的熵编码技术的例子包括但是并不限于算术编码和可变长度编码。

现在将参考图3的GOF描述差分运动矢量编码方法，为了简化描述，考虑在两个不同时间分解级上的三个运动矢量，所述时间分解级可以称作级0和级1。MV1和MV2是将H帧(中间帧)连接到时间分解级0上的前一A帧(左A帧)和继续A帧(右A帧)的双向运动矢量。在这个时间分解级上过滤之后，随后，在下一时间分解级即级1上过滤A帧，其中MV3对应于连接这两个帧的运动矢量。

根据本发明方法的自顶向下预测和编码实施例，在图4的流程图中图示了其中的步骤，使用级0上的MV来预测在级1上的MV，依此类推。使用图3的简化例子，步骤200包括确定MV1和MV2。可以通过运动估算单元132在运动估算过程中在级0上常规地确定MV1和MV2。在运动估算过程中，匹配在H帧内的像素组或区域与在前一A帧内类似的像素组或区域，以获得MV1，并匹配在H帧内的像素组或区域与在继续A帧内类似的像素组或区域，以获得MV2。在步骤210，为级1估算或预测MV3作为基于MV1和MV2的细化。MV3的估算是来自级0的继续A帧内像素组或区域的估算，所述像素组或区域匹配来自级0的前一A帧内的类似像素组或区域。通过计算MV1和MV2之间的差值可以获得MV3的估算或预测。在步骤220，熵编码单元160(图2)熵编码MV1和MV2。该方法可以在此结束，或者可选地在步骤230，熵编码单元160还可以编码MV3的细化。

因为MV1和MV2有可能是准确的(由于帧间较小的距离)，所以MV3的预测有可能是好的，因而导致提高的编码效率。在图5A、5B、6A和6B中图示两个不同视频序列的结果。两个序列是在30Hz上的QCIF。在这些例子中使用16帧的GOF大小、四级时间分解、16×16的固定块大小和±64的搜索范围。这些结果分别表示前向和后向MV，并被图示为穿过序列内的不同GOF，以便突出这些结果的内容相关性质。相同的图还图示了没有将预测用于编码MV和空间预测的结果。在图7的表格中概述了编码所需要的结果比特。

如所期望的，由于在图5A和图5B的Coastguard(海岸保护)视频序列内更大的时间相关运动，因此更大节省了比特。实现这些结果的内容相关性质是重要的。例如，邻近图6A和图6B的Foreman视频序列的末尾，运动非常小，并且在空间上是非常相关的。这导致MV的空间预测编码非常好的性能。而且，在Coastguard视频序列内突然的照相机运动过程中，围绕GOF 5，运动的空间和时间预测并不提供很多增益。

因为本发明方法的自顶向下的预测和编码实施例实现了比特率节省，所以本发明的这个实施例还可以在运动估算处理期间使用。在图8中图示了这样的一个例子。

在考虑预测之后不同的搜索范围大小之后，可以观察出这可以提供估算的比特率、质量和复杂性之间引人感兴趣的折衷。图9的表格概述了围绕时间预测位置的不同搜索大小窗口的结果(将时间预测用作搜索中心)。

用于ME(运动估算)行的No预测对应于图7表格内的结果。如所期望的，由于在Coastguard视频序列内更大的时间相关运动，所以在MV比特中具有更大的节省。如通过比较其它行与“No pred for MV(没有预测用于MV)”行可以看出的，在估算过程中的时间MV预测有助于进一步降低MV比特。这种MV比特中的降低允许更多比特用于纹理，并因而当运动在时间上相关时允许更高的PSNR。随着在预测之后范围的提高，匹配的质量提高，因此尽管用于MV的比特增加，但PSNR实际上改善。必需指出，这些结果根据运动的内容和性质随着GOF而变化。对于一些GOF来说，已经观察到改善，即PSNR高达0.4dB，或者在空间预测上的MV比特节省高达12％。

使用自顶向下预测和编码实施例的缺点之一在于：在时间重组之前需要解码所有运动矢量的事实。因此在MV3可以被解码之前需要解码MV1和MV2，并可以重组级1。这对于时间可量测性是不利的，其中需要独立地解码某些更高级。

自顶向下预测和编码实施例可以轻易地用于编码提升结构内的MV，其中对过滤的帧执行在更高时间级上的运动估算。然而，由于用于创建L帧的时间平均，差分MV编码的增益有可能较小。首先，时间平均导致景物内目标的某种平滑和拖尾(smearing)。而且，当不能发现好的匹配时，产生一些并不希望的人工产物。在这种情况下，使用来过滤帧之间的运动矢量来预测平均帧之间的运动矢量，或者反之，这可能导致差的预测。这能导致降低的运动矢量编码的效率。

现在，参见图10的流程图，图示本发明方法的自底向上预测和编码实施例。在这个实施例中，使用级1上的MV来预测在级0上的MV，依此类推。再次使用图3的简化例子，步骤300包括确定MV3。在运动估算期间在级1上可以由运动估算单元132常规地确定MV3。在运动估算期间，匹配级0中的继续A帧内的像素组或区域与级0的前一A帧内类似的像素组或区域。在步骤310，分别估算或预测用于级0的MV1和MV2作为基于MV3的细化。MV1的估算是在H帧内匹配在前一A帧内类似的像素组或区域的像素组或区域的估算值。MV2的估算是在H帧内匹配在继续A帧内类似的像素组或区域的像素组或区域的估算值。通过计算MV3和MV2之间的差值可以获得MV1的估算值。通过计算MV3和MV1之间的差值可以获得MV2的估算值。在步骤320，熵编码单元160(图2)熵编码MV3。该方法可以在此结束，或者可选择地在步骤330结束，熵编码单元160还可以编码MV1和/或MV2的细化。

自底向上预测和编码实施例生成可以在时间分解方案的不同级上逐渐使用的时间分级运动矢量。因此，MV3可以用于重组级1，而不必解码MV2和MV1。而且，因为MV3现在比MV2和MV1更重要，因为利用时间分解帧，它可以容易地与不相等防错(UEP)方案进行组合，以生成更加强壮的比特流。这在低比特率的情况下能是特别有益的。然而，该预测方案有可能比前面描述过的自顶向下实施例的效率要低。这是因为MV3有可能是不正确的(由于信源和参考帧之间较大的距离)，并且使用不正确的预测可能导致增加的比特。如在自顶向下实施例中，在相同的分辨率和相同的运动估算参数上对Foreman和Coastguard视频序列执行实验。结果在图11A、11B、12A和12B中图示，以说明单独编码的时间预测的增益(在运动估算期间没有预测)。在图13的表格内概述了这样的结果。

如所期望的，预测结果不如自顶向下实施例，并且存在明显的性能降低，尤其对于GOF，其中运动在时间上不相关。根据图11A和图11B，可以看出：时间预测对于Coastguard视频序列的GOF 5执行得极差。这是因为围绕GOF5存在突然的照相机运动，并且所获得的运动具有低的时间相关性。应当再次强调这些结果的内容相关性质和使用时间过滤的判决可以自适应地被开启和关闭的事实。

在运动估算过程中使用自底向上实施例重复上述实验中的一些实验，将其结果概述在图14的表格内。如可以看出的，这些结果不如自顶向下预测实施例的结果。然而，更令人感兴趣地，查看Coastguard视频序列的结果，可以看出在时间预测之后用于MV的比特数量随着窗口大小的增加而降低。这可能看起来与直觉是相反的，但是可以进行如下解释。当时间预测差时，则小的搜索窗口将结果限制为接近于这个差的预测，而不允许发现更为准确的预测。虽然这个距预测小的距离导致在当前级上编码较少的比特，但是对于下一(较早)时间级不具有好的预测可能显著地降低性能。这实际上通过图15的表格内的结果清楚地表示出来。所有这些结果来自具有4级时间分解的16帧GOF。显示用于5个帧的MV比特，在级3上被过滤的帧8，在级2上被过滤的帧4和12，在级1上被过滤的帧2和6。使用帧8的MV来预测帧4和12的MV，使用帧4的MV来预测帧2和6的MV。

对于帧8，没有时间预测，所以比特数量在两种情况下都是相同的。由于较小的窗口大小，比特的数量对于帧4和12的±4窗口较小。然而，这在级1上对于这些帧导致差预测的事实通过来自帧6的MV比特对于±16窗口大小是相当小的事实来表示。实际上，在级2上的所有节省在级1上被完全否定。然而，当运动在时间上相关时，则这个方案的使用可以导致比特速率的节省和改善的PSNR。

有可能对上述思想进行令人感兴趣的扩展，以改善这些结果。因为希望这些预测是尽可能准确的，所以大的窗口大小需要在级3上开始，并且随后在不同级上降低窗口大小。例如，使用±64窗口大小可以被用在级3和级2上，并且随后，在级1上被降低到±16窗口大小。这能导致减少的比特和改善的PSNR。

所有上述讨论都是针对UMCTF结构的，其中在所有时间级上对原始帧执行运动估算。修改上述方案以适应其中对过滤的L帧在较高的时间级上执行运动估算的基于提升的实施方式可能是困难的。可以在没有困难的情况下修改先前所述的自顶向下实施例，并期望结果将略微优于UMCTF，因为通过考虑在较低时间级上估算的运动矢量来计算L帧。然而，对于自底向上实施例来说，可能遇到一些困难，尤其是因果关系问题。

如图16所示，为了在运动估算过程中执行自底向上的预测实施例，需要使用MV3来预测MV1和MV2。然而，如果MV3的估算需要在过滤的L帧上执行，则必须已经估算出MV1和MV2。这是因为在L帧的创建过程中使用它们。因此，MV3不能在MV1和MV2的估算过程中用于预测。如果相反地对未过滤的帧(即原始帧)执行MV3的运动估算，则可以在估算过程中使用自底向上预测。然而，增益有可能比UMCTF方案要差。当然，在运动矢量的编码(在估算期间不使用预测)期间可以使用自底向上预测实施例，然而，如针对自顶向下实施例所描述的，可能在不同级上的运动矢量之间存在某种失配。

现在，参见图17的流程图，图示本发明方法的乱序的混合预测和编码实施例。在这个实施例中，并不使用来自一个分解级的MV来预测来自其它级的MV，而是使用来自不同级的MV的组合来预测其它MV。例如，可以使用更高级的MV和来自当前级的前向MV来预测后向MV。再次使用图3的简化例子，步骤400包括确定MV1和MV3，两者都可以在运动估算期间在级0(MV1)和级1(MV3)上由运动估算单元132来常规地确定。在步骤410，对用于级0的MV2进行估算或预测为基于MV1和MV3的细化。通过计算MV1和MV3之间的差值，可以获得MV2的估算值。在步骤420，熵编码单元160(图2)熵编码MV1和MV3。该方法可以在此结束，或者可选择地在步骤430，熵编码单元160也可以编码MV2的细化。

图18图示可以用于实施本发明原理利用标号500标记的解码器的实施例。解码器500包括用于解码输入比特流的熵解码单元510。在操作过程中，将根据在编码侧上执行的熵编码技术的逆操作来解码输入比特流，这将生成对应于每个GOF的小波系数。此外，熵解码生成包括根据本发明预测的MV的MV以及随后将被使用的帧数。

包括有效解码单元520，以便根据有效信息来解码来自熵解码单元510的小波系数。因此，在操作过程中，通过使用在编码器一侧上使用技术的逆技术，将根据正确的空间顺序来排序小波系数。如可以进一步看出的，还包括空间重组单元530，以便将来自有效解码单元520的小波系数转换成空间解码的帧。在操作过程中，将根据在编码器一侧上执行的小波转换的逆转换来转换对应于每个GOF的小波系数。这将生成已经根据本发明进行运动补偿时间过滤的部分解码帧。

如先前所述，根据本发明的运动补偿时间过滤导致利用多个H帧和A帧表示的每个GOF。H帧为GOP内每个帧和同一GOP内其它帧之间差值，而A帧为在编码器一侧上未利用运动补偿和时间过滤进行处理的第一帧或最后一帧。包括逆时间过滤单元540，以便根据由熵解码单元510提供的MV和帧数，通过执行在编码器一侧上执行的时间过滤的逆操作，根据空间重组单元530重构在每个GOP内包括的H帧。

图19图示利用标号600标记的其中可以实现本发明原理的系统的一个实施例。通过该例子，该系统600可以代表电视机、机顶盒、台式计算机、膝上型计算机或掌上型计算机、个人数字助理(PDA)、诸如录像机(VCR)、数字视频记录器(DVR)和TiVO设备等的视频/图像存储设备以及这些和其它设备的部分或组合。系统600包括一个或多个视频源610、一个或多个输入/输出设备620、处理器630、存储器640和显示设备650。

视频/图像源610可以代表例如电视接收机、VCR或其它视频/图像存储设备。源610也可以代表用于例如通过诸如因特网的全球计算机通信网络、广域网、城域网、局域网、陆地广播网、有线网络、卫星网络、无线网络或电话网络以及这些和其它类型网络的部分或组合从一台或多台服务器接收视频的一条或多条网络连接。

输入/输出设备620、处理器630和存储器640在通信媒体650上通信。通信媒体650可以代表例如总线、通信网络、一个或多个内部电路连接、电路卡或其它设备以及这些和其它通信媒体的部分和组合。根据在存储器640内存储的并由处理器630执行的一个或多个软件程序来处理来自源610的输入视频数据，以生成提供给显示设备650的输出视频/图像。

具体而言，在存储器640内存储的软件程序可以包括本发明的方法，如前所述。在这个实施例中，本发明的方法可以通过由系统600执行的计算机可读代码来实现。代码可以存储在存储器640内，或者从诸如CD-ROM或软盘的存储媒体中读取/下载。在其它实施例中，可以使用硬件电路来替代或者与软件指令组合来实施本发明。

在MCTF结构框架内在时间分解的多级上的时间MV预测对于有效地编码在UMCTF和基于提升的MCTF框架内生成的附加组运动矢量组是必需的。可以差分编码MV，其中估算处理不使用预测，或者当估算也使用时间预测时。尽管自顶向下实施例更为有效，但是它并不支持如使用自顶向下实施例所具有的时间可量测性。当运动在时间上相关时，这些方案的使用比不预测能将MV比特减少大约5-13％并且比空间预测减少大约3-5％。由于这种MV比特的减少，可以将更多的比特分配给纹理编码，并因此改善了所获得的PSNR。对于QCIF序列已经观察到在50Kbps(千比特/秒)上大约0.1-0.2dB的PSNR改善。重要的是，这些结果表示极大的内容相关性。事实上，对于带有时间相关运动的GOF来说，这样的方案能显著地降低MV比特，并能够将PSNR提高到0.4dB。因而，本发明的方法可以根据内容和运动性质自适应地被使用。当使用多个参考帧时，由于可以使用的更大的时间相关性，所以使用本发明所实现的改善有可能更显著。当在运动估算期间使用MV预测时，可以在比特率、运动估算的质量和复杂度之间进行不同的折衷。

虽然上文已经针对具体实施例描述了本发明，但是应当理解本发明并不打算被约束或被限制于此。因此，本发明打算覆盖在所附的权利要求书的精神和范围之内包括的各种结构及其修改。

Claims (18)

1.一种用于编码视频的方法，该方法包括以下步骤：

将视频划分(120)成一组帧；

时间过滤(134)这些帧，以提供至少第一和第二时间分解级；

确定(132，200)来自第一分解级的至少两个运动矢量；

估算(210)在第二时间分解级上的至少一个运动矢量作为来自第一时间分解级的至少两个运动矢量的细化；和

编码(220)来自第一时间分解级的至少两个运动矢量。

2.根据权利要求1的方法，还包括以下步骤：编码(230)所估算的第二时间分解级的至少一个运动矢量。

3.一种用于编码视频的方法，该方法包括以下步骤：

将视频划分(120)成一组帧；

时间过滤(134)这些帧，以提供至少第一和第二时间分解级；

确定(132，300)来自第二时间分解级的至少一个运动矢量；

估算(310)在第一时间分解级上的至少两个运动矢量作为来自第二时间分解级的至少一个运动矢量的细化；和

编码(220)来自第二时间分解级的至少一个运动矢量。

4.根据权利要求3的方法，还包括以下步骤：编码(330)所估算的第一时间分解级的至少两个运动矢量。

5.一种用于编码视频的方法，该方法包括以下步骤：

将视频划分(120)成一组帧；

时间过滤(134)这些帧，以提供至少第一和第二时间分解级；

确定(132，400)来自第一时间分解级的至少一个运动矢量和来自第二时间分解级的至少一个运动矢量；和

估算(410)第一时间分解级的至少第二运动矢量作为来自第一时间分解级的至少一个运动矢量和来自第二时间分解级的至少一个运动矢量的细化；和

编码(420)来自第一时间分解级的至少一个运动矢量和来自第二时间分解级的至少一个运动矢量。

6.根据权利要求5的方法，还包括以下步骤：编码(430)所估算的第一时间分解级的至少第二运动矢量。

7.一种用于编码视频的设备，包括：

用于将视频划分成一组帧的装置(120)；

用于时间过滤这些帧以提供至少第一和第二时间分解级的装置(134)；

用于确定来自第一时间分解级的至少两个运动矢量的装置(132，200)；

用于估算在第二时间分解级上的至少一个运动矢量作为来自第一时间分解级的至少两个运动矢量的细化的装置(210)；和

用于编码来自第一时间分解级的至少两个运动矢量的装置(220)。

8.根据权利要求7的设备，还包括：用于编码所估算的第二时间分解级的至少一个运动矢量的装置(230)。

9.一种用于编码视频的存储媒体，包括：

用于将视频划分成一组帧的代码(120)；

用于时间过滤这些帧以提供至少第一和第二时间分解级的代码(134)；

用于确定来自第一时间分解级的至少两个运动矢量的代码(132，200)；

用于估算在第二时间分解级上的至少一个运动矢量作为来自第一时间分解级的至少两个运动矢量的细化的代码(210)；和

用于编码来自第一时间分解级的至少两个运动矢量的代码(220)。

10.根据权利要求9的存储媒体，还包括用于编码所估算的第二时间分解级的至少一个运动矢量的代码(230)。

11.一种用于编码视频的设备，包括：

用于将视频划分成一组帧的装置(120)；

用于时间过滤这些帧以提供至少第一和第二时间分解级的装置(134)；

用于确定来自第二时间分解级的至少一个运动矢量的装置(132，300)；

用于估算在第一时间分解级上的至少两个运动矢量作为来自第二时间分解级的至少一个运动矢量的细化的装置(310)；和

用于编码来自第二时间分解级的至少一个运动矢量的装置(320)。

12.根据权利要求11的设备，还包括用于编码所估算的第一时间分解级的至少两个运动矢量的装置(330)。

13.一种用于编码视频的存储媒体，包括：

用于将视频划分成一组帧的代码(120)；

用于时间过滤这些帧以提供至少第一和第二时间分解级的代码(134)；

用于确定来自第二时间分解级的至少一个运动矢量的代码(132，300)；

用于估算在第一时间分解级上的至少两个运动矢量作为来自第二时间分解级的至少一个运动矢量的细化的代码(310)；和

用于编码来自第二时间分解级的至少一个运动矢量的代码(320)。

14.根据权利要求13的存储媒体，还包括：用于编码所估算的第一时间分解级的至少两个运动矢量的代码(330)。

15.一种用于编码视频的设备，包括：

用于将视频划分成一组帧的装置(120)；

用于时间过滤这些帧以提供至少第一和第二时间分解级的装置(134)；

用于确定来自第一时间分解级的至少一个运动矢量和来自第二时间分解级的至少一个运动矢量的装置(132，400)；和

用于估算第一时间分解级的至少第二运动矢量作为来自第一时间分解级的至少一个运动矢量和来自第二时间分解级的至少一个运动矢量的细化的装置(410)；和

用于编码来自第一时间分解级的至少一个运动矢量和来自第二时间分解级的至少一个运动矢量的装置(420)。

16.根据权利要求15的设备，还包括用于编码所估算的第一时间分解级的至少第二运动矢量的装置(430)。

17.一种用于编码视频的存储媒体，包括：

用于将视频划分成一组帧的代码(120)；

用于确定来自第一时间分解级的至少一个运动矢量和来自第二时间分解级的至少一个运动矢量的代码(132，400)；

用于估算来自第一时间分解级的至少第二运动矢量作为来自第一时间分解级的至少一个运动矢量和来自第二时间分解级的至少一个运动矢量的细化的代码(410)；和

用于编码来自第一时间分解级的至少一个运动矢量和来自第二时间分解级的至少一个运动矢量的代码(420)。

18.根据权利要求17的存储媒体，还包括用于编码所估算的第一时间分解级的至少第二运动矢量的代码(430)。

Images