CN103444174B

CN103444174B - 视频编码和解码

Info

Publication number: CN103444174B
Application number: CN201280012477.0A
Authority: CN
Inventors: G·拉罗彻; P·乌诺; E·弗朗考伊斯
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-03-09
Filing date: 2012-03-08
Publication date: 2017-05-10
Anticipated expiration: 2032-03-08
Also published as: US11936896B2; US20230127212A1; US11943465B2; KR20130129452A; US20140064369A1; RU2571572C2; BR112013022030A2; EP2684363A1; GB2488816A; US20230127394A1; US11563968B2; WO2012119777A1; RU2013145081A; US11109050B2; GB201104034D0; US20230126563A1; KR101588559B1; KR20150091414A; US11936897B2; US20210352311A1

Abstract

允许第一参考帧(RefiC)的运动矢量指向多个其它参考帧(Ref0‑Ref3)。存储这些运动矢量的方法包括：在第一参考帧的块(C2)最初具有两个运动矢量(V2A、V2B)的情况下，选择两个运动矢量中的一个(V2B)，不存储未选择的运动矢量(V2A)。可以对所选择的运动矢量(V2B)进行缩放。这可以减小运动矢量存储器大小。

Description

视频编码和解码

技术领域

本发明涉及一种用于对数字图像序列进行编码的方法和装置以及用于对相应的位流进行解码的方法和装置。

本发明属于数字信号处理领域，尤其属于使用运动补偿来减少视频流中的空间冗余和时间冗余的视频压缩领域。

背景技术

例如H.263、H.264、MPEG-1、MPEG-2、MPEG-4、SVC的许多视频压缩格式使用基于块的离散余弦变换(DCT)和运动补偿以去除空间冗余和时间冗余。这些格式可被称为预测视频格式。视频信号的各帧或图像被分割成编码后的并且能够独立进行解码的片(slice)。片通常是帧的矩形部分、或者更通常为帧的一部分或整个帧。此外，各片被分割成多个宏块(MB)，并且各宏块被进一步分割成块、通常为8×8个像素的块。在目前处于标准化过程中的最新的高效率视频编码(HEVC)中，各片被分割成非重叠的最大编码单位(LUC)、通常是大小为64×64个像素的块。而各LCU可以使用四叉树分解被迭代地分割成较小的可变大小的编码单位(CU)。各CU可以进一步被分割成最大为2个对称矩形的分区单位。这些编码帧为(被称为P帧的根据一个参考帧而预测到的或者被称为B帧的根据两个参考帧而预测到的)时间预测帧和(被称为内帧或I帧的)非时间预测帧这两种类型。

时间预测在于从参考帧(视频序列的先前帧或将来帧)中发现最接近要编码的块的图像部分或参考区域。该步骤已知为运动估计。接着，连同与表示运动补偿要使用的参考区域的运动矢量有关的运动信息项一起，对要编码的块和参考部分之间的差进行编码(运动补偿)。

为了进一步降低对运动信息进行编码的代价，已提出了利用相对于通常根据要编码的块周围的块的运动矢量所计算出的运动矢量预测结果的差来对运动矢量进行编码。

在H.264中，针对根据位于要编码的块的因果邻域(例如根据位于要编码的块的上方和左方的块)中的运动矢量所计算出的中值预测结果来对运动矢量进行编码。仅对中值预测结果和当前块运动矢量之间的差(还被称为残差运动矢量)进行编码。

使用残差运动矢量的编码节省了若干位率，但需要解码器进行运动矢量预测结果的相同计算从而对要解码的块的运动矢量的值进行解码。

近来，已提出了诸如使用多个可能运动矢量预测结果等的进一步改进。被称为运动矢量竞争的该方法在于在几个运动矢量预测结果或候选之间判断哪个运动矢量预测结果使残差运动信息的编码代价(通常为率失真代价)最小。该残差运动信息包括残差运动矢量(即，要编码的块的实际运动矢量和所选择的运动矢量预测结果之间的差)、以及例如所选择的运动矢量预测结果的索引的编码值等的表示所选择的运动矢量预测结果的信息项。

在目前处于标准化过程中的高效率视频编码(HEVC)中，已提出了以下：在参考帧中，从要编码的当前块的上方的预定组的块中选择第一空间运动矢量预测结果，从该当前块的左方的另一预定组的块中选择第二空间运动矢量预测结果，并且从同位置块中选择时间运动矢量预测结果。同位置块是位于与要编码的块相同位置处、但是在另一图像中的块。该运动矢量预测结果选择方案被称为高级运动矢量预测(AMVP)。

作为运动矢量预测结果选择的结果，获得了混合有空间预测结果和时间预测结果的运动矢量预测结果候选的集合，其中依赖于各种空间运动矢量预测结果和时间运动矢量预测结果的可用性，该集合由O、1、2或3个候选构成。为了减少在位流中发送运动矢量预测结果的开销，通过应用除去重复的运动矢量、即具有相同值的运动矢量的抑制处理来缩减运动矢量预测结果的集合。例如，在上述的第一空间运动矢量预测结果和第二空间运动矢量预测结果相等的情况下，应仅保持这两者的其中一个以及时间运动矢量预测结果作为运动矢量预测候选。在这种情况下，仅需要1位来向解码器指示运动矢量预测结果的索引。

还可以对运动矢量预测结果候选进行排序，从而将最可能的运动矢量预测结果定位于第一位置，这是因为在选择第一候选作为最佳预测结果的情况下发生最小开销。

由于可以使用较少的位来对所选择的运动矢量预测结果的指示进行编码，因此充分缩减预测结果的集合使得赢得信令开销。在极限的情况下，例如如果所有的运动矢量预测结果都相等，则可以将候选的集合缩减为1，因此无需将与所选择的运动矢量预测结果有关的任何信息插入位流。

如上所述，在当前HEVC提议中，使用可以是空间预测结果或时间预测结果的多个运动矢量预测结果来通过预测编码对运动矢量进行编码。因此，针对用于推导同位置运动矢量预测结果的用作参考帧的各帧，需要将其相关的运动矢量存储在编码器侧和解码器侧。在默认情况下，首先考虑到运动表示的粒度(在当前HEVC设计中，最小帧内块大小为4×4)、其次考虑到针对B_SLICE的每个运动块最多存在两个矢量，运动矢量存储器的大小庞大。估计出对于4K×2K的分辨率图片并且使用4×4个像素的每块的运动矢量的一个集合的粒度，每帧需要26兆位(Mbit)。

在2010年10月7～15日于中国广州召开的JCTVC-C257上Yeping Su和AndrewSegall所发布的"On motion vector competition"、以及2011年1月20-28日于韩国大邱召开的JCTVC-D072上Yeping Su和Andrew Segall所发布的“CE9：Reduced resolutionstorage of motion vector data"提出了缩减解码器侧所需的用于存储时间同位置矢量和参考索引的运动矢量存储器的大小。所提出的解决方案包括如图1所示的运动矢量的简单分块汇总。在当前HEVC实现中，将16个中的一个运动矢量保持在64×64个像素的各正方形中，并且考虑左上方的4×4块的运动矢量。这样使存储器要求降低了16倍。在序列参数集合中发送该缩减倍数。运动矢量存储器压缩处理是在白适应环路滤波处理之后并且在将解码图片放置到解码图片缓冲器(DPB)中之前进行的。

该解决方案使得能够在编码效率损失的状态下大幅缩减运动矢量存储器。然而，该解决方案没有考虑MV存储器压缩时针对块汇总的集合中的预测结果的多样性。此外，对几个标准进行测试但并没有考虑多样性。此外，该解决方案既非白适应的也非灵活的。另外，在需要更多压缩的情况下，需要运动矢量去除时的较高缩减率，这可能会导致极大的编码效率损失。

WO 2004/012459A描述了用于限制所存储的运动矢量的数量的另一提议。将限制信息编码为头信息(可能以诸如SPS等的全局级、诸如PPS等的图片级或者诸如片头等的片级)。该限制信息表示图片的数量或存储有运动矢量的宏块的数量。在编码块参考所存储的运动矢量的情况下，使用该运动矢量，否则使用空运动矢量(这两个分量均等于0)。然而，该解决方案没有考虑块汇总。

除了用以降低运动矢量存储要求的提议以外，其它现有提议已寻求AMVP的预测结果的改进。

例如，2011年1月20～28日于韩国大邱召开的JCTVC-D164上Jung，G Clare(OrangeLabs)所发布的"Temporal MV predictor modification for MV-Comp，Skip，Direct andMerge schemes"提出了使用居中的时间预测结果(还参见WO201I/001077A)。在该提议中，代替(作为HEVC的以前版本的)块的原点(左上方)，通过将块的中心映射到同位置参考帧来寻找同位置块。在同位置块具有与当前块相同的大小或比当前块大的大小的情况下，中心和左上方的运动矢量具有相同值。图2示出被子分割成64个4×4块的同位置块，其中这些块各自具有自己的运动矢量。将该同位置块用于32×32的要编码的当前块，并且所选择的时间预测结果是该同位置块的中心处的加阴影的4×4块的运动矢量。

代替左上方而选择分区的中心的目的是寻找同位置块的运动的更好表示。理论上，块的中心由于其是该块的重心因而是该块的更好表示。但来自同位置块的时间预测结果不是AMVP预测结果的集合中的唯一预测结果。

2011年1月20～28日于韩国大邱召开的JCTVC-D125上Jian-Liang Lin、Yu-PaoTsai、Yu-Wen Huang、Shawmin Lei(MediaTek Inc.)所发布的"Improved Advanced MotionVector Prediction"提出了如图3所示添加几个时间块。提出了时间同位置的左上方(T)的预测结果以及三个其它角部(左下方(I)、右下方(H)、右上方(E))的预测结果这四个预测结果。这样，将这些预测结果添加至预测结果集合，并且这些预测结果根据率失真标准彼此竞争。

用于改善运动矢量预测结果的以上两个提议均未涉及对运动矢量存储器进行压缩。

期望解决一个或多个现有技术的缺陷。

还期望降低运动矢量存储器要求。优选地，该降低应在无附加编码效率损失或无明显的附加编码效率损失的情况下实现。此外，更优选地，该降低应结合编码效率改善来实现。

还期望实现编码效率改善。优选地，这些改善应在无运动矢量存储器要求损失或无明显的运动矢量存储器要求损失的情况下实现。

发明内容

根据本发明的第一方面，提供一种存储第一参考帧的运动矢量的方法，其中允许所述运动矢量指向多个其它参考帧，所述方法包括：在所述第一参考帧的块最初具有两个运动矢量的情况下，选择所述两个运动矢量中的一个，其中不存储未选择的运动矢量。

根据本发明的第二方面，提供一种将数字图像的序列编码为位流的方法，通过相对于参考图像部分的运动补偿，来对图像的至少一部分进行编码，所述方法包括实施本发明的前述第一方面的存储运动矢量的方法。

根据本发明的第三方面，提供一种对包括数字图像的编码序列的位流进行解码的方法，其中，通过相对于参考图像的运动补偿，对图像的至少一部分进行了编码，所述方法包括实施本发明的前述第一方面的存储运动矢量的方法。

根据本发明的第四方面，提供一种用于存储第一参考帧的运动矢量的设备，其中允许所述运动矢量指向多个其它参考帧，所述设备包括：在所述第一参考帧的块具有两个运动矢量的情况下，能够操作以选择所述两个运动矢量中的一个的部件，其中不存储未选择的运动矢量。

根据本发明的第五方面，提供一种用于将数字图像的序列编码为位流的设备，通过相对于参考图像部分的运动补偿，来对图像的至少一部分进行编码，所述设备包括实施本发明的前述第四方面的用于存储运动矢量的设备。

根据本发明的第六方面，提供一种用于对包括数字图像的编码序列的位流进行解码的设备，通过相对于参考图像的运动补偿，对图像的至少一部分进行了编码，所述设备包括实施本发明的前述第四方面的用于存储运动矢量的设备。

根据本发明的第七方面，提供一种程序，当在计算机或者处理器上运行时，所述程序使所述计算机或者处理器执行实施本发明的第一、第二和第三方面中的任意一个的方法。

根据本发明的第一其它方面，提供一种存储第一参考帧的运动矢量的方法，其中允许所述运动矢量指向多个其它参考帧，所述方法包括：

选择所述其它参考帧中的一个；

将所述第一参考帧的指向所述其它参考帧中的除所选择的其它参考帧之外的参考帧的每个运动矢量映射到所选择的参考帧，使得在所述映射之后，所述第一参考帧的所有运动矢量都指向所选择的参考帧；以及

存储经过所述映射的运动矢量。

这种方法使得不需要存储每个运动矢量的参考帧索引，因此减小了运动矢量存储器大小。

例如，在一个实施例中，存储所述运动矢量，而不存储识别针对所述运动矢量的各个参考帧的任何信息。

可以以多种方式来选择其它参考帧。

首先，所选择的其它参考帧可以是所述其它参考帧中的在时间上最靠近所述第一参考帧的一个参考帧。通常，该最靠近的帧是第一参考帧中的最大数量的运动矢量所指向的帧，这可以减小由于进行映射而出现的处理负荷。

其次，对所述其它参考帧的所述选择可以取决于解码器将对帧进行解码的顺序。当对帧进行解码的顺序与显示帧的顺序不同时，这可以是有利的。例如，所选择的其它参考帧可以是所述其它参考帧中的具有相对于第一参考帧的最小图片顺序计数(POC)差的一个参考帧。

第三，所选择的其它参考帧可以是所述其它参考帧中的由所述第一参考帧中的最大数量的运动矢量所指向的一个参考帧。因为最终将最少的运动矢量进行映射，因此这减小了由于进行映射而导致的处理负荷。

第四，所选择的其它参考帧可以是所述其它参考帧中的具有最高图片质量的一个参考帧。这应当改善解码之后的图像质量。

在一个实施例中，所述映射包括对所述第一参考帧的指向所述其它参考帧中的除所选择的其它参考帧之外的参考帧的每个运动矢量进行缩放。例如，所述缩放可以取决于所述第一参考帧、所选择的参考帧、和所选择的其它参考帧之外的所述其它参考帧之间的时间关系。

在另一实施例中，所述其它参考帧包括之后和之前的参考帧，在所选择的参考帧是之后的参考帧，而所选择的参考帧之外的其它参考帧是之前的参考帧的情况下，或者在所选择的参考帧是之前的参考帧，而所选择的参考帧之外的其它参考帧是之后的参考帧的情况下，所述映射包括改变运动矢量的符号。

该实施例适合于在具有之前和之后的参考帧的分级B图片结构的情况下使用。

在另一实施例中，当所述第一参考帧的块最初具有两个运动矢量时，所述映射还包括：选择所述两个运动矢量中的一个，不存储未选择的运动矢量，这是有用的。因为不需要存储用于针对使用哪个运动矢量进行信令发送的位，因此这可以进一步减小运动矢量存储器大小。

在另一实施例中，针对所述第一参考帧中的帧内编码块或者每个帧内编码块，生成指向所选择的参考帧的假运动矢量，使得所述第一参考帧的所有块都是帧间编码的，由此不需要每个块的用于对帧间/帧内编码进行信令发送的位。因为不管使用帧内编码还是帧间编码，都不需要存储用于进行信令发送的位，因此这可以进一步减小运动矢量存储器大小。

在另一实施例中，选择第一参考图像的代表运动矢量，并且存储所述代表运动矢量，而不存储所述第一参考图像的其它运动矢量。因为不存储不必要的运动矢量，因此这可以进一步减小运动矢量存储器大小。

根据本发明的第二其它方面，提供一种存储第一参考帧的运动矢量的方法，其中允许所述运动矢量指向多个其它参考帧，所述方法包括：

针对所述第一参考帧中的帧内编码块或者每个帧内编码块，生成指向所选择的参考帧的假运动矢量，使得关注的所述第一参考帧的所有块都是帧间编码的，由此不需要每个块的用于对帧间/帧内编码进行信令发送的位。

因为不管使用帧内编码还是帧间编码，都不需要存储用于进行信令发送的位，因此这可以减小运动矢量存储器大小。在这种方法中，进行本发明的第一方面的选择和映射步骤不是必须的。

根据本发明的第三其它方面，提供一种将数字图像的序列编码为位流的方法，通过相对于参考图像部分的运动补偿，来对图像的至少一部分进行编码，所述方法包括本发明的第一其它方面或者第二其它方面的存储运动矢量的方法。

根据本发明的第四其它方面，提供一种对包括数字图像的编码序列的位流进行解码的方法，其中，通过相对于参考图像的运动补偿，对图像的至少一部分进行了编码，所述方法包括本发明的第一其它方面或者第二其它方面的存储运动矢量的方法。

根据本发明的第五其它方面，提供一种用于存储第一参考帧的运动矢量的设备，其中允许所述运动矢量指向多个其它参考帧，所述设备包括：

用于选择所述其它参考帧中的一个的部件；

用于将所述第一参考帧的指向所述其它参考帧中的除所选择的其它参考帧之外的参考帧的每个运动矢量映射到所选择的参考帧，使得在所述映射之后，所述第一参考帧的所有运动矢量都指向所选择的参考帧的部件；以及

用于存储经过所述映射的运动矢量的部件。

根据本发明的第六其它方面，提供一种用于存储第一参考帧的运动矢量的设备，其中允许所述运动矢量指向多个其它参考帧，所述设备包括：

用于针对所述第一参考帧中的帧内编码块或者每个帧内编码块，生成指向所选择的参考帧的假运动矢量，使得关注的所述第一参考帧的所有块都是帧间编码的部件，由此不需要每个块的用于对帧间/帧内编码进行信令发送的位。

根据本发明的第七其它方面，提供一种用于将数字图像的序列编码为位流的设备，通过相对于参考图像部分的运动补偿，来对图像的至少一部分进行编码，所述设备包括本发明的第五其它方面或者第六其它方面的用于存储运动矢量的设备。

根据本发明的第八其它方面，提供一种用于对包括数字图像的编码序列的位流进行解码的设备，其中，通过相对于参考图像的运动补偿，对图像的至少一部分进行了编码，所述设备包括本发明的第五其它方面或者第六其它方面的用于存储运动矢量的设备。

本发明还延伸到程序，当在计算机或者处理器上运行所述程序时，所述程序使所述计算机或者处理器执行上述方法中的任意一个，或者当将所述程序加载到可编程设备中时，所述程序使该设备变为上述设备中的任意一个。所述程序可以由本身提供，或者由载体介质承载。载体介质可以是存储或记录介质，或者其可以是诸如信号的传输介质。实施本发明的程序可以是易失性或者非易失性的。

因此，如上所述，通过考虑参考帧的帧索引，能够压缩与时间预测结果的运动矢量相关的信息。

特别地，例如，通过以仅使用一个参考索引，因此不需要对参考索引进行信令发送的方式，对时间预测结果的运动矢量进行缩放，能够去除对参考索引的编码。

这使得能够减小运动矢量存储器。

附图说明

现在将通过示例的方式参考附图，其中：

-(前面所述的)图1是用于说明用于降低运动矢量存储器要求的现有提议的示意图；

-(前面还论述的)图2是用于说明用于改善运动矢量预测结果的集合的现有提议的示意图；

-(前面还论述的)图3是用于说明用于改善运动矢量预测结果的集合的另一现有提议的示意图；

-图4示出根据本发明的实施例的适用于实现编码器或解码器的设备的部件；

-图5示出根据本发明的实施例的编码器的部件的框图；

-图6示出图5的编码器所处理的图像序列；

-图7示出根据本发明的实施例的解码器的各部件的框图；

-图8是用于说明用于判断图5的编码器和图7的解码器能够使用的运动矢量预测结果的集合的方法的示意图；

-图9是在使用图8的方法的情况下图5的编码器所执行的步骤的流程图；

-图10是在使用图8的方法的情况下图7的解码器所执行的步骤的流程图；

-图11是运动矢量的示意视图；

-图12是用来说明本发明的第一实施例中的如何映射图11的运动矢量的运动矢量的示意视图；

-图13是运动矢量的另一示意视图；

-图14是用来说明本发明的第五实施例中的如何映射图13的运动矢量的运动矢量的示意视图；

-图15是运动矢量的又一示意视图；以及

-图16是用来说明本发明的第六实施例中的如何映射图15的运动矢量的运动矢量的示意视图。

具体实施方式

图4示出被配置为实现根据本发明的实施例的编码器或实现根据本发明的实施例的解码器的设备1000的图。该设备1000例如是微计算机、工作站或轻薄便携式装置。

设备1000包括通信总线1113，其中优选该通信总线1113连接有以下组件：

-诸如微处理器等的表示为CPU的中央处理单元1111；

-只读存储器(ROM)1107，其存储实现本发明所用的一个或多个计算机程序；

-随机存取存储器(RAM)1112，其存储本发明的方法的可执行代码并且提供如下寄存器，其中这些寄存器被配置为记录实现对数字图像序列进行编码的方法和/或对位流进行解码的方法所需的变量和参数；以及

-通信接口1102，其连接至传输要处理的数字数据所经由的通信网络1103。

运动矢量存储器(MVM)1112a构成RAM1112的一部分并且用于存储参考帧的运动矢量。

可选地，设备1000还可以具有以下组件：

一诸如硬盘等的数据存储部件1104，其能够容纳实现本发明的程序以及在本发明的实现期间所使用或所产生的数据；

-盘1106所用的盘驱动器1105，其中该盘驱动器被配置为从盘1106读取数据或者将数据写到所述盘上；

-屏幕1109，用于利用键盘1110或任何其它指示部件来显示数据以及/或者用作用户图形界面。

设备1000可以连接至例如数字照相机1100或麦克风1108等的各种外围设备，其中这些外围设备各自连接至输入/输出卡(未示出)从而向设备1000供给多媒体数据。

通信总线提供设备1000内所包括的或连接至设备1000的各种元件之间的通信和互操作性。该总线的表示并非限制性的，并且特别地，中央处理单元能够直接地或者利用设备1000的其它元件向设备1000的任意元件传达指不。

盘1106可以由例如(可重写或不可重写的)致密盘(CD-ROM)、ZIP盘或存储卡等的任何信息介质以及概括而言由信息存储部件来替换，其中该信息存储部件可以由集成于该设备内或没有集成于该设备内的可能能够移除的微计算机或微处理器来读取，并且被配置为存储如下的一个或多个程序，其中执行该一个或多个程序使得能够实现根据本发明的对数字图像序列进行编码的方法和/或对位流进行解码的方法。

可执行代码可以存储在只读存储器1107中、硬盘1104上或者例如前面所述的盘1106等的可移除数字介质上。根据变形例，程序的可执行代码可以利用通信网络1103经由接口1102接收到，从而在执行之前存储在诸如硬盘1104等的设备1000的存储部件的其中一个中。

中央处理单元1111被配置为控制和引导根据本发明的程序的指令或软件代码的一部分的执行，其中这些指令存储在上述存储部件的其中一个中。在通电时，将存储在非易失性存储器中(例如硬盘1104上或只读存储器1107中)的程序传递至随机存取存储器1112，然后该随机存取存储器1112容纳程序的可执行代码以及用于存储实现本发明所需的变量和参数的寄存器。

在本实施例中，该设备是使用软件来实现本发明的可编程设备。然而，可选地，本发明可以以硬件形式(例如，以专用集成电路或ASIC的形式)来实现。

图5示出根据本发明的实施例的编码器30的框图。该编码器由连接的模块来表示，其中各模块被配置为例如以设备1000的CPU1111要执行的编程指令的形式来执行实现本发明的实施例的方法的相应步骤。

编码器30接收到原始的数字图像序列i₀～i_n301作为输入。各数字图像由已知为像素的一组样本来表示。

编码器30输出位流310。

位流310包括多个编码单位或片，其中各片包括：片头，其用于对对片进行编码所使用的编码参数的值进行编码；以及片本体，其包括编码视频数据。在HEVC中，这些片被分割成非重叠的最大编码单位(LCU)、通常是大小为64个像素×64个像素的块。而各LCU可以使用四叉树分解被迭代地分割成较小的可变大小的编码单位(CU)。各CU可以进一步被分割成最大为2个对称矩形的分区单位(PU)。

图6示出数字图像i的序列301、片103、LCU104、CU105、PU106和TU107。TU(变换单位)是与PU分开定义的以在CU中进行变换和量化。

注意，在以下说明中，使用术语“块”来代替HEVCA CU中使用的特定术语CU和PU，或者PU是像素的块。

返回图5，模块302将所输入的数字图像i分割成块。这些块是图像部分并且可以具有可变大小(例如，4×4、8×8、16×16、32×32、64×64))。

模块306针对各输入块选择编码模式。后面说明模块306。

存在空间预测编码或帧内编码以及时间预测编码或帧间编码这两类编码模式。对可能的编码模式进行测试。

模块303实现帧内预测，其中利用例如根据给定要编码的块附近的像素计算出的“帧内”预测结果(由已编码的信息构建的像素块)来预测该要编码的块。在利用模块306选择帧内编码的情况下，对给定块与其预测结果之间的差以及所选择的帧内预测结果的指示进行编码。

时间预测由模块304和305来实现。首先，从一组参考图像316中选择参考图像，并且利用运动估计模块304来选择该参考图像中的作为最接近给定要编码的块的区域的部分(还被称为参考区域)。通常，运动估计模块304使用块匹配算法(BMA)。

关于“帧间编码”，两种预测类型是可能的。单预测(P型)包括通过参考一个参考图像中的一个参考区域来预测块。双预测(B型)包括通过参考一个或两个参考图像中的两个参考区域来预测块。在模块304中，对当前块和参考图像316之间的运动进行估计，从而在这些参考图像中的一个或几个参考图像中识别一个(P型)像素块或几个(B型)像素块以用作该当前块的预测结果。在使用几个块预测结果(B型)的情况下，将这些块预测结果合并以生成一个预测块。所使用的参考图像是已编码的然后(通过解码)进行重建得到的视频序列中的图像。

利用运动补偿模块305来计算所选择的参考区域和给定块之间的差(还称为残差块)。所选择的参考区域由运动矢量来表示。

在利用模块306选择帧间预测的情况下，对与运动矢量和残差块有关的信息进行编码。为了进一步降低位率，利用相对于运动矢量预测结果的差来对运动矢量进行编码。利用运动矢量预测和编码模块317来从运动矢量字段318获得运动矢量预测结果(还称为运动信息预测结果)的集合。后面将参考图8和9来详细说明模块317的操作。

编码模式选择模块306使用诸如率失真标准等的编码代价标准来判断在帧内预测模式和帧间预测模式中哪个模式是最佳模式。将变换307应用于残差块，然后所获得的变换数据由模块308进行量化并且由模块309进行熵编码。将该变换应用于包括在块中的前述变换单位(TU)。如图6所示，可以使用所谓的残差四叉树(RQT)分解将TU进一步分割成较小的TU。在HEVC中，通常使用2级或3级的分解，并且认可的变换大小来自于32×32、16×16、8×8和4×4。变换基础源白于离散余弦变换DCT。

最后，将要编码的当前块的编码残差块连同与所使用的预测结果有关的信息一起插入位流310。对于以"SKIP"模式编码后的块，仅将相对于该预测结果的参考编码在位流中，而无任何残差块。

为了计算“帧内”预测结果或对“帧间”预测结果进行运动估计，编码器利用所谓的“解码”循环311～315对已编码的块进行解码。该解码循环使得可以根据量化变换后的残差来重建块和图像。

在模块311中，通过对模块308所提供的残差应用逆量化来对量化变换后的残差进行去量化，并且在模块312中，通过对模块307的残差进行逆变换来对量化变换后的残差进行重建。

在残差来自于“帧内”编码的情况下，在模块313中将所使用的“帧内”预测结果添加至该残差，从而恢复与因源白于有损变换(这里为量化操作)的损失而改变的原始块相对应的重建块。

另一方面，在残差来自于“帧间”编码的情况下，在模块314中，合并当前运动矢量所指向的块(这些块属于当前图像索引所指的参考图像316)，然后添加至该解码残差。这样，获得了因源白于量化操作的损失而改变的原始块。

对重建信号应用最终环路滤波器315，从而减轻由于所获得的残差的高度量化所产生的影响并且改善信号质量。该环路滤波器包括“去块”滤波和线性滤波这两个步骤。去块滤波使各块之间的边界平滑从而从视觉上衰减由编码产生的这些高频率。线性滤波使用在编码器处白适应地确定的滤波系数来进一步改善信号。因而，在对图像的像素的所有块进行了解码的情况下，将模块315的滤波应用于该图像。

然后将滤波后的图像(还称为重建图像)存储作为参考图像316，从而使得能够在针对当前视频序列的后续图像的压缩期间进行接下来的“帧间”预测。

在HEVC的情形下，可以使用几个参考图像316对当前图像进行估计和运动补偿。换句话说，对N个图像执行运动估计。因而，在多个参考图像的一些参考图像中选择运动补偿所用的当前块的最佳“帧间”预测结果。结果，两个相邻块可以具有来自于两个不同的参考图像的两个预测结果块。这尤其是为什么要在压缩位流中指示预测结果块所使用的(除运动矢量以外的)参考图像的索引的原因。

多个参考图像的使用即是用于防止错误的工具也是用于改善编码效率的工具。VCEG组推荐将参考图像的数量限制为4个。

图7示出根据本发明的实施例的解码器40的框图。该解码器由连接的模块来表示，其中各模块被配置为例如以设备1000的CPU 1111要执行的编程指令的形式执行实现本发明的实施例的方法的相应步骤。

解码器40接收包括编码单位的位流401，其中每一个编码单位包括包含与编码参数有关的信息的头以及包含编码视频数据的本体。如前面参考图5所述，对编码视频数据进行熵编码，并且按预定的位数针对给定块对运动矢量预测结果的索引进行编码。接收到的编码视频数据由模块402进行熵解码，由模块403去量化，然后由模块404应用逆变换。

特别地，在接收到的编码视频数据与要解码的当前块的残差块相对应的情况下，解码器也对来自该位流的运动预测信息进行解码，从而得到编码器所使用的参考区域。

模块410对通过运动预测编码后的各当前块应用运动矢量解码。与图5的编码器的模块317类似，运动矢量解码模块410使用与来自当前帧和来自参考帧的运动矢量有关的信息(与图5中的运动矢量字段315类似的运动矢量字段411)，以生成运动矢量预测结果的集合。后面将参考图10来更加详细地说明模块410的操作。在毫无丢失地接收到位流的情况下，解码器生成与编码器完全相同的运动矢量预测结果的集合。一旦获得了当前块的运动矢量预测结果的索引，则在没有发生丢失的情况下，可以对与当前块相关联的运动矢量的实际值进行解码并且供给至应用逆运动补偿的模块406。从所存储的参考图像408中的参考图像提取由解码后的运动矢量表示的参考区域并且还将该参考区域供给至模块406以使得模块406能够应用逆运动补偿。

在应用了帧内预测的情况下，利用模块405应用逆帧内预测。

作为根据帧间模式或帧内模式的解码的结果，获得了解码块。与在编码器处应用的去块滤波器315类似，利用模块407应用去块滤波器。最终，解码器40提供解码后的视频信号409。

图8是用于说明当前HEVC实现期间运动矢量预测结果的集合或运动矢量候选的集合的生成的示意图。

在当前HEVC设计中，使用多个运动矢量来通过预测编码对运动矢量进行编码。该方法被称为高级运动矢量预测(AMVP)并且被配置为考虑块结构大的新HEVC情形。该方案适用于跳过模式、帧间模式和合并模式。

该方法使得能够从包括空间运动矢量和时间运动矢量的给定集合中选择最佳预测结果。在HEVC标准化处理中还对空间预测结果和时间预测结果的最佳数量进行估计。然而，截至本申请的递交日期，当前实现包括针对跳过模式和帧间模式的2个空间预测结果和1个时间同位置预测结果、以及针对合并模式的4个空间预测结果和1个时间预测结果。本发明不局限于用于AMVP的当前实现。AMVP的实现可以根据以下所述的当前实现改变，但可以设想以下要说明的本发明的实施例将提供与可以采用的其它实现相同的有利效果和结果。

此外，在引言部分所参考的JCTVC-D072中，提出了代替当前版本中仅使用一个时间预测结果而是使用多个时间预测结果。本发明还可应用于该变形例。

在图8所示的预测结果集合中，在上述运动矢量中以及包括上角块和左角块的左方块中选择两个空间运动矢量。

左方预测结果是从块I、H、G、F中选择的。在存在矢量、并且参考帧索引与当前块的参考帧索引相同(这意味着用作预测结果的运动矢量指向与当前块的运动矢量相同的参考帧)的情况下，运动矢量预测结果被视为可用。该选择通过从下(I)向上(F)的搜索来进行。选择满足上述可用性标准的第一个预测结果作为左方预测结果(将仅一个左方预测结果添加至预测结果集合)。在不存在满足标准的预测结果的情况下，左方预测结果被视为不可用。

帧间块可以是单预测(P型)或双预测(B型)的。在P帧中，帧间块仅为P型。在B帧中，帧间块为P型或B型。在P型的帧间块中，使用参考帧的列表L0。其运动矢量是指该列表中的一个参考帧。因此将参考索引与运动矢量相关联。在B型的帧间块中，使用参考帧的两个列表L0和L1。其两个运动矢量的其中一个是指列表L0中的一个参考帧，并且其两个运动矢量中的另一个是指列表L1中的一个参考帧。因此将参考索引与这两个运动矢量中的每一个相关联。

运动矢量的不存在意味着对相关块进行了帧间编码、或者在编码后的运动矢量所关联的列表中不存在运动矢量。例如，对于B帧中的块，在相邻块仅具有列表“L1”中的一个运动矢量并且当前运动矢量在“L0”中的情况下，相邻运动矢量被视为针对当前运动矢量的预测不存在。

作为搜索(在这种情况下为从右向左)的结果，再次从块E、D、C、B、A中选择上方预测结果。选择从右向左的满足以上所定义的可用性标准的第一个运动矢量(在预测结果存在并且具有与当前运动矢量相同的参考帧的情况下)作为上方预测结果。在不存在使该标准有效的预测结果的情况下，上方预测结果被视为不可用。

在没有以针对编码和针对显示不同的方式对帧进行排序(顺次对这些帧进行编码而没有重新排序)的情况下，时间运动矢量预测结果来自于最近的参考帧。该结构与低延迟结构(在解码处理和显示处理之间无延迟)相对应。在B帧的情况下，针对同位置块考虑2个运动矢量。一个运动矢量在参考图像的第一列表“L0”中并且一个运动矢量在参考图像的第二列表“L1”中。在这两个运动矢量都存在的情况下，选择时间距离最短的运动。在这两个预测结果具有相同的时间距离的情况下，选择运动形式“L0”。然后，在需要的情况下，根据参考图像和包含要编码的块的图像之间的时间距离来对所选择的同位置的运动矢量进行缩放。在不存在同位置预测结果的情况下，预测结果被视为不可用。

对于包括对帧重新排序并因此产生更多解码延迟的分层B帧编码，可以考虑2个同位置运动矢量。这两者来自于将来参考帧。选择与当前帧交叉的运动矢量。在这两个预测结果均与当前帧交叉的情况下，选择包含时间距离最短的运动矢量的块。在这两个预测结果具有相同的时间距离的情况下，选择来自第一列表“L0”的运动矢量。然后，在需要的情况下，根据参考图像和包含要编码的块的图像之间的时间距离来对被选择作为时间运动矢量预测结果的同位置运动矢量进行缩放。在不存在同位置预测结果的情况下，预测结果被视为不可用。

如本说明书的引言部分所述，对于低延迟和分层这两个情况，当将同位置块分割成多个分区(可能地，同位置块包含多个运动矢量)时，所选择的运动矢量来自于中心分区(参见2011年1月20-28日于韩国大邱召开的JCTVC-D164上Jung，G Clare(Orange Labs)所发布的"Temporal MV predictor modification for MV-Comp，Skip，Direct and Mergeschemes"(其提出了使用居中的时间预测结果)、以及WO201I/001077A)。

作为生成运动矢量预测结果的该方法，所生成的预测结果的集合可以包含0、1、2或3个预测结果。在该集合中没有包含预测结果的情况下，无法预测运动矢量。在未经预测的状态下对垂直分量和水平分量这两者进行编码。(这对应于利用等于零值的预测结果所进行的预测。)在当前HEVC实现中，预测结果的索引等于0。

与本领域技术人员众所周知的常用跳过模式类似，合并模式是特殊的帧间编码。与常用跳过模式相比较的主要不同之处是合并模式使参考帧索引的值、运动矢量预测结果的方向(双向或单向)以及(单向方向的)列表传播至预测块。除非运动矢量预测结果是在所考虑的参考帧始终是还称为Ref0的最近的在前参考帧(并且针对B帧始终是双预测)的情况下的时间预测结果，否则合并模式使用运动矢量预测结果及其参考帧索引。因而，块预测结果(复制块)来自于运动矢量预测结果所指向的参考帧。

对集合内的候选进行排序对于减少发送预测结果集合中的最佳运动预测结果的开销而言很重要。集合的排序被配置成依赖于用以将最可能的运动预测结果定位于第一位置的当前预测模式，这是因为在选择第一候选作为最佳预测结果的情况下发生最小开销。在HEVC的当前实现中，时间预测结果是第一位置。

可以通过使集合内的候选的数量最小化来进一步减少发送最佳预测结果的索引的开销。简单地将重复的运动矢量从集合中除去。

对于合并模式的特殊情况，抑制处理考虑运动矢量的值及其参考帧。因此，为了判断两个预测结果是否是重复的预测结果，针对这两个预测结果比较运动矢量的两个分量及其参考索引，并且仅在这三个值相等的情况下，才将一个预测结果从集合除去。对于B帧，该相等标准扩展至方向和列表。因此，在两个预测结果都使用相同的方向、相同的列表(L0、L1或者L0和L1)、相同的参考帧索引并且具有相同值的运动矢量(对于双预测为MV_L0和MV_L1)的情况下，这两个预测结果被视为重复的预测结果。

在AMVP中，索引信令依赖于上述的运动矢量预测结果抑制处理的结果。实际上，分配至发信令的位数依赖于抑制之后剩余的运动矢量的数量。例如，在抑制处理结束时、仅剩余一个运动矢量的情况下，由于解码器可以容易地恢复出运动矢量预测结果的索引，因此不需要用于发送该索引的开销。以下的表1示出针对各索引编码的与抑制处理之后的预测结果的数量相对应的码字。

表1

图9是用于说明编码器侧的AMVP方案的操作的流程图。除非另外说明，图9的操作由图5中的模块317来执行，并且该模块317可被视为包括图9中的模块603、605、607、610和615。图9中的运动矢量字段601对应于图5中的运动矢量字段318。图9中的熵编码器模块612对应于图5中的熵编码器模块309。图9的所有操作可以以软件形式实现并且由设备1000的中央处理单元1111来执行。

运动矢量预测结果生成模块603接收要编码的当前运动矢量的参考帧索引613并且还接收运动矢量字段601。该模块603通过考虑参考帧索引613来如以上参考图8所述生成运动矢量预测结果集合604。然后，同样如以上参考图8所述，利用模块605应用抑制处理。模块605生成缩减的运动矢量预测结果集合606。还输出缩减集合606中的运动矢量预测结果的数量616。模块607接收要编码的运动矢量602并且应用缩减的运动矢量预测结果集合606中的最佳预测结果的率失真(RD)选择。在选择了最佳预测结果的情况下，模块607输出运动矢量预测结果索引608和所选择的运动矢量预测结果609。然后，模块610形成要编码的运动矢量602和所选择的运动矢量预测结果609之间的差。该差是运动矢量残差611。然后，在模块612中对该运动矢量残差进行熵编码。如以上参考表1所述，模块614根据缩减运动矢量预测结果集合606内的预测结果的数量616来将运动矢量预测结果索引608转换成码字615。如上所述，在该集合仅包含一个预测结果的情况下，没有向解码器侧发送索引并且没有生成码字。在该集合包含一个或多个预测结果的情况下，在模块614中生成码字然后在模块612中进行熵编码。

图10是用于说明解码器侧的AMVP方案的操作的流程图。除非另外说明，图10的操作由图7中的模块410来执行，并且该模块410可被视为包括图10中的模块702、704、711和715。图10中的运动矢量字段701对应于图7中的运动矢量字段411。图10中的熵解码器模块706对应于图7中的熵解码器模块402。图10的所有操作可以以软件形式实现并且由设备1000的中央处理单元1111来执行。

模块702接收当前帧和先前解码帧的运动矢量字段701。该模块702还接收要解码的当前运动矢量的参考帧索引713。模块702基于运动矢量字段701和参考帧索引713来生成运动矢量预测结果集合703。该处理同与编码器侧的模块603相关的所述处理相同。然后，利用模块704应用抑制处理。该处理同与编码器侧的模块605相关的所述处理相同。模块704生成缩减运动矢量预测结果集合708。还输出缩减集合708中的运动矢量预测结果的数量716。

熵解码器模块706从位流705中提取运动矢量残差707并且对该运动矢量残差707进行解码。然后，模块706使用缩减集合708中的预测结果的数量716以(根据需要)提取运动矢量预测结果码字714。使用以上转换所用的表1，模块715根据缩减集合中的预测结果的数量716来将该码字(在存在的情况下)转换成预测结果索引值709。然后，根据预测结果索引值709来从缩减集合708中提取运动矢量预测结果710。模块711将该运动矢量预测结果添加至运动残差707，从而生成解码运动矢量712。

通过上述显然可知，针对用作同位置运动矢量预测结果的推导所用的参考帧的各帧，需要将其相关的运动矢量存储在编码器侧和解码器侧。首先考虑到运动表示的粒度(在当前HEVC设计中，帧内模式中的最小块大小为4×4)、其次考虑到针对B_SLICE的每运动块存在两个矢量，这导致运动矢量存储器的大小变大。估计出针对4K×2K分辨率的图片并且使用每4×4块一个运动矢量集合的粒度，每帧需要26兆位。从下面的计算得到该大的要求：4096×2048／4×4(最小块大小)×2(方向)×2个分量(Mvx，Mvy)×12位。

另外，除了运动矢量自身之外，还需要在存储器中保持与运动矢量预测结果相关的其它信息。

·同位置块可以是INTRA(帧内)模式的：这意味着不存在同位置运动矢量。该信息表示每块1位。

(4096*2048)／(4*4)*2个方向*1位=1兆位／帧

·每个运动矢量预测结果属于4个可能的参考索引中的一个。这表示每个矢量2位的信令。

(4096*2048)/(4*4)*2个方向*2位=2兆位/帧

·每个运动矢量属于两个不同的列表，也需要对其进行信令发送。这里需要一个附加位。

(4096*2048)/(4*4)*2个方向*1位=1兆位/帧

运动矢量存储器必须是快速存储器并且通常是RAM(例如，图4中的RAM1112)的一部分。这特别是对于便携式装置而言很昂贵。

第一实施例

现在，描述本发明的第一实施例。

在第一实施例中，对编码器和解码器共同应用相同的处理。因为一些操作需要编码器和解码器准确地进行相同的任务，并且以相同的结果结束，以不发送任一侧的信息，但是仍然生成可解码的位流，因此这是合理的。

第一实施例通过考虑参考帧的帧索引，来对与时间预测结果的运动矢量相关的信息进行压缩。

通过以仅使用一个参考索引，因此不需要对参考索引进行信令发送的方式，对时间预测结果的运动矢量进行缩放，避免了对参考索引进行编码的需要。

图11是描绘针对使用之前的参考帧对当前帧进行编码的IPPP结构的、HEVC的当前规范中的同位置运动矢量的图示。

在该图中，我们表示了当前帧中的几个要编码的块U1至U6以及参考帧RefC中的同位置块C1至C6。可以参考一个或更多个其它参考帧中的块，对参考帧RefC中的同位置块的运动矢量自身进行编码。在该示例中，这些其它参考帧是参考帧Ref0、Reft、Ref2和ReG。

换句话说，当前帧的运动预测正在使用与先前的帧RefC相关的时间运动预测结果。这意味着为了预测当前帧的当前块的运动矢量，可以使用先前的帧RefC的时间预测结果。

在图11中用各个箭头表示与先前的帧RefC的运动矢量相对应的同位置运动矢量。该示例中的箭头指向四个其它参考帧Ref0、Reft、Ref2和ReG。如在该图中所描绘的，可以将多达两个运动矢量与每个块相关联。附带地，在图11中示出了四个其它参考帧Ref0至Ref3，但是可以容易地将数量延伸到多于四个参考帧。在这方面，JCT-VC委员会目前推荐具有4个参考帧用于未来的HEVC标准的测试条件。

如从图11很明显，除了通过同位置运动矢量的分量幅值表示同位置运动矢量之外，还需要指出运动矢量指向的参考帧以及与这些运动矢量相关的一些附加信息。下面的表表示与运动矢量相关的所有信息。

传统上，在编码和解码处理期间，为了访间当前帧的同位置运动矢量，认为需要在存储器中存储在图11中表示的先前的帧RefC的所有运动矢量。先前的帧的这些同位置运动矢量V1A、V1B、V2A、V2B、V3A、V4A、V4B和V6A的特征在于它们的水平和垂直分量，并且还在于运动矢量指向的参考帧(参考帧索引)。

图12是用于说明第一实施例如何避免存储每个同位置运动矢量的参考索引的需要的示意视图。在该图中，将RefC中的运动矢量缩放为最靠近的其它参考图像Ref0。这里，“最靠近”意为在时间的意义上最靠近。在本示例中，将指向Ref1的同位置运动矢量V1A、V3A和V4B的水平和垂直分量除以2，将指向Ref2的同位置运动矢量V2A的分量除以3，并且将指向Ref3的同位置运动矢量V4A的分量除以4。通常，依据参考帧的配置，根据考虑的参考帧的帧距离来进行缩放。

因此，在图12的示例中，调整原本指向所选择的参考帧Ref0之外的参考帧Ref1-Ref3的所有矢量的分量的大小，以指向所选择的参考帧Ref0。因此，因为所有可用运动矢量现在在同一参考帧Ref0中结束，所以因为参考索引是唯一的，因此不需要发送参考帧的索引。

可以看到，对于最初具有两个运动矢量的块，选择这两个运动矢量中的一个作为映射的一部分。例如，在块C2的情况下，最初存在两个运动矢量V2A和V2B，但是在映射之后，存在作为V2B的缩放版本的V2S。这使得能够进一步压缩与运动矢量相关的信息。仅具有一个矢量使得我们能够减少与选择之后替代1位而使用2位的“信令模式”相关的位的数量。

考虑与运动矢量相关的所有这些修正，如在下面的表中所汇总的，可以显著减少与同位置块相关的运动信息。

选择一个运动矢量作为映射的一部分不是必须的，可选地，可以保持每个块的2个矢量。

第二实施例

在第一实施例中，选择参考帧Ref0，作为将原本指向Ref1的RefC中的运动矢量映射到的参考帧，参考帧Ref0是到同位置帧的最靠近的参考帧。

在第二实施例中，根据所选择的参考帧和同位置运动矢量预测结果的帧(RefC)之间的最小图片顺序计数(POC)差，来进行对唯一参考帧的选择。POC参数指示在解码器处对图片的解码处理的真实顺序。尤其在使用分级B图片结构时，该解码顺序可能与显示顺序不同。

第三实施例

在第三实施例中，选择最常作为同位置运动矢量的参考使用的参考帧，作为将同位置运动矢量映射到的参考帧。例如，对RefC中的分别指向Ref0、Ref1、Ref2和Ref3的块的数量进行比较，选择具有较高数量的Ref0、Ref1、Ref2或Ref3中的参考帧。如果数量相等，则可以根据预定规则选择一个参考帧，例如，可以选择最靠近RefC的帧。

因为本实施例产生最小数量的缩放操作，因此本实施例可以减小处理负荷。

第四实施例

在第四实施例中，选择具有最低QP(最高质量)的参考帧，作为将同位置运动矢量映射到的参考帧。

第五实施例

本发明还适用于在“之后”具有运动的分级B图片。

参考图13，将同位置运动矢量与参考帧RefC的块C1至C6相关联。

该图图示了具有之前(Ref2、Ref0)和之后(Ref1、Ref3)的参考帧的分级B图片结构的帧编码表示。如针对图11中的IPPP结构所描述的，第五实施例对每个块C1至C6的运动矢量进行缩放，使得它们在单个参考帧中结束，以避免任何参考索引发送。

在第五实施例中，如图14所示，从“之后”的参考帧Ref1和Ref3中任意选择单个参考帧Ref1。

在这种情况下，对于块C1，由于Ref0比Ref3更靠近帧RefC，因此我们将使用X1A之外的运动矢量X1B。然后，反转该X1B矢量(通过反转矢量的每个分量的符号)，以获得其在Ref1中的相应的矢量X1S。因为从RefC到Ref1的距离与从RefC到Ref0的距离相同，因此不需要对该矢量进行缩放。

对于块C2，两个运动矢量X2A和X2B具有相同的时间距离。在这种情况下，我们更喜欢使用走向之后方向的运动矢量。因此，调整矢量X2B的大小，以使其在Ref1中结束。

对于块C3，存在已经在Ref1中结束的单个运动矢量X3A。不需要对其进行改变或者对其进行重新缩放。

对于块C4，存在已经映射到Ref1的一个运动矢量X4B。我们将选择该运动矢量，来代替对另一运动矢量X4A进行重新缩放。

对于块C5，由于其被视为帧内编码的，因此没有运动矢量可用。

对于块C6，存在一个运动矢量可用，但是其不指向Ref1。与对于块C1的矢量X1S相同，反转运动矢量X6A，以获得X6S。

作为这些改变的结果，每个块具有在"Ref1”中结束的运动矢量。

第六实施例

图15表示第六实施例，其也适用于分级B图片结构。在第五实施例中，从“之后”的参考帧中，选择单个参考帧，而在第六实施例中，所选择的单个参考帧是"Ref0'’，并且在“之前”任意选择所选择的单个参考帧。

在图16中，应用类似的规则，以针对每个块C1至C4和C6(但是不针对帧内编码的C5)获得指向Ref0的相应的矢量。

在该示例中，对于块C1，Z1B已经在Ref0中，不应用改变或者缩放。对于块C2，将Z2A重新缩放到Ref0中，以获得Z2S。对于块C3和C4，反转运动矢量，以使其在Ref0中结束，但是不进行缩放。

最后，对于块C6，因为Z6A已经在Ref0中结束，因此不进行修正。

再一次，如图16所示，最终针对每个块获得在Ref0中结束的运动矢量。

第七实施例

在第七实施例中，针对最初以INTRA编码的特定块C5，确定运动矢量(假运动矢量)。可以通过复制RefC中的一个相邻块的运动矢量，或者通过对两个或更多个相邻矢量的各个值应用求平均运算，来确定该运动矢量。

另外，如果当前块C5块仅具有自身全部是INTRA编码块的相邻块，则不能容易地得出运动矢量。在这种情况下，将与块C5相关联的假运动矢量设置为(0，0)。由于现在可以将所有块视为帧间编码来进行运动矢量的压缩，因此这使得能够避免发送信令模式。

然后，如在下面的表中所汇总的，压缩将仅考虑例如24位的运动矢量信息，而不是25位。

第八实施例

在第七实施例中，与到单个参考帧的映射组合使用假运动矢量。然而，这不是必须的。

在本发明的第八实施例中，对最初帧内编码的RefC中的每个块应用假运动矢量，以使得所有块能够被视为帧间编码的。不进行映射。

第九实施例

如在对第一实施例的描述中所指出的，传统上，存储每个参考帧中的所有运动矢量。然而，如在引言中提及并且在图1中示出的提议JCTVC-C257和JCTVC-D072中，能够使用一个块位置，用于N×N运动矢量缓冲器的块汇总。存储该块位置处的单个运动矢量，作为整个N×N块的代表运动矢量。

在第九实施例中，结合该块汇总使用本发明。然后，仅需要存储代表运动矢量，并且根据本发明，将这些代表运动矢量映射到所选择的参考帧，以避免存储代表运动矢量的参考索引。

第十实施例

在第十实施例中，通过使用同位置块内的不同块位置，或者甚至使用与同位置块相邻的另一块中的块位置，在时间预测结果(同位置运动矢量)和空间预测结果(当前帧中的相邻块的运动矢量)之间，可以获得更大程度的多样性。这的效果是，尽管仍然实现了与在第九实施例中相同的运动矢量存储器要求的降低，与存储所有运动矢量且不使用块汇总的系统相比，本实施例不招致或者不招致显著的编码效率代价。

上述实施例基于输入图像的块分区，但是更普遍地，可以考虑要编码或解码的任意类型的图像部分，特别是矩形部分，或者更普遍地，几何形状部分。

更普遍地，应当将本领域技术人员容易想到的上述实施例的任意变形或者改进，视为落在本发明的范围内。

Claims

1.一种存储第一参考帧的运动矢量的方法，其中允许所述运动矢量指向多个其它参考帧，所述方法包括：

选择所述其它参考帧中的一个，

其特征在于，还包括：

将所述第一参考帧的指向所述其它参考帧中的除所选择的其它参考帧之外的参考帧的每个运动矢量映射到所选择的其它参考帧，使得在所述映射之后，所述第一参考帧的所有运动矢量都指向所选择的其它参考帧；以及

存储经过所述映射的运动矢量。

2.根据权利要求1所述的方法，其中，还包括：

在所述第一参考帧的块最初具有两个运动矢量的情况下，选择所述两个运动矢量中的一个，其中不存储未选择的运动矢量。

3.根据权利要求1或2所述的方法，其中，存储所述运动矢量，而不存储识别针对所述运动矢量的各个参考帧的任何信息。

4.根据权利要求1或2所述的方法，其中，所选择的其它参考帧是所述其它参考帧中的在时间上最靠近所述第一参考帧的一个参考帧。

5.根据权利要求1或2所述的方法，其中，对所述其它参考帧的所述选择取决于解码器将对帧进行解码的顺序。

6.根据权利要求5所述的方法，其中，所选择的其它参考帧是所述其它参考帧中的具有相对于所述第一参考帧的最小图片顺序计数差即POC差的一个参考帧。

7.根据权利要求1或2所述的方法，其中，所选择的其它参考帧是所述其它参考帧中的由所述第一参考帧中的最大数量的运动矢量所指向的一个参考帧。

8.根据权利要求1或2所述的方法，其中，所选择的其它参考帧是所述其它参考帧中的具有最高图片质量的一个参考帧。

9.根据权利要求1或2所述的方法，其中，所述映射包括对所述第一参考帧的指向所述其它参考帧中的除所选择的其它参考帧之外的参考帧的每个运动矢量进行缩放。

10.根据权利要求9所述的方法，其中，所述缩放取决于所述第一参考帧、所选择的其它参考帧、和所选择的其它参考帧之外的所述其它参考帧之间的时间关系。

11.根据权利要求1或2所述的方法，其中，所述其它参考帧包括之后和之前的参考帧，在所选择的其它参考帧是之后的参考帧，而所选择的其它参考帧之外的其它参考帧是之前的参考帧的情况下，或者在所选择的其它参考帧是之前的参考帧，而所选择的其它参考帧之外的其它参考帧是之后的参考帧的情况下，所述映射包括改变运动矢量的符号。

12.根据权利要求1或2所述的方法，其中，还包括：针对所述第一参考帧中的帧内编码块或者每个帧内编码块，生成指向所选择的其它参考帧的假运动矢量，使得所述第一参考帧的所有块都是帧间编码的，由此不需要每个块的用于对帧间/帧内编码进行信令发送的位。

13.根据权利要求1或2所述的方法，其中，还包括：选择第一参考图像的代表运动矢量，并且存储所述代表运动矢量，而不存储所述第一参考图像的其它运动矢量。

14.一种将数字图像的序列编码为位流的方法，通过相对于参考图像部分的运动补偿，来对图像的至少一部分进行编码，其特征在于，所述方法包括根据权利要求1或2所述的存储第一参考帧的运动矢量的方法。

15.一种对包括数字图像的编码序列的位流进行解码的方法，其中，通过相对于参考图像的运动补偿，对图像的至少一部分进行了编码以获得所述位流，其特征在于，所述方法包括根据权利要求1或2所述的存储第一参考帧的运动矢量的方法。

16.一种用于存储第一参考帧的运动矢量的设备，其中允许所述运动矢量指向多个其它参考帧，所述设备包括：

用于选择所述其它参考帧中的一个的部件，

其特征在于，还包括：

用于将所述第一参考帧的指向所述其它参考帧中的除所选择的其它参考帧之外的参考帧的每个运动矢量映射到所选择的其它参考帧，使得在所述映射之后，所述第一参考帧的所有运动矢量都指向所选择的其它参考帧的部件；以及

用于存储经过所述映射的运动矢量的部件。

17.根据权利要求16所述的设备，其中，还包括：

在所述第一参考帧的块具有两个运动矢量的情况下，能够操作以选择所述两个运动矢量中的一个的部件，其中不存储未选择的运动矢量。

18.一种用于将数字图像的序列编码为位流的设备，通过相对于参考图像部分的运动补偿，来对图像的至少一部分进行编码，其特征在于，所述设备包括根据权利要求16或17所述的用于存储第一参考帧的运动矢量的设备。

19.一种用于对包括数字图像的编码序列的位流进行解码的设备，其中，通过相对于参考图像的运动补偿，对图像的至少一部分进行了编码以获得所述位流，其特征在于，所述设备包括根据权利要求16或17所述的用于存储第一参考帧的运动矢量的设备。