CN102726043B - 混合视频编码 - Google Patents

Abstract

编码效率可通过以下方式进一步增加：在混合视频编码中，通过运动补偿预测利用先前帧的参考残留信号对当前帧的残留信号进行附加预测。换句话说，为了进一步减少最终残留信号，即最后一个传输的信号的能量，并因此增加编码效率，本发明提出了通过运动补偿预测利用先前编码帧的重构残留信号对残留信号进行附加预测。

Description

混合视频编码

技术领域

本发明涉及数字处理技术领域，尤其是涉及混合视频编码。

背景技术

增加视频编码的压缩率是一种持续需要。虽然存储和传输技术展示了逐步增长的数据容量，但是对于媒体质量和性能的要求，例如在空间分辨率，视图数量，位深度等方面，也在增加，因此抵消了存储和传输的技术进步。因此，仍然需要增加压缩技术的效率。在混合视频编码中，需对视频资料实现预测以增加压缩率。特别地，预测残留的，即残留信号编码以作为对视频资料直接进行编码的替代。例如，利用变换和/或熵编码来对所述残留信号进行编码。

在参考文献[1]中，Gisladottir等人提出了一种方案，在该方案中只传输运动信息。没有传输残留信号给解码器。在参考文献[2]中，一种所谓的残留信号的二阶预测被提出。一种帧内预测（利用同样帧内重构的残留样本）被用于进一步减少误差信号的能量。

发明内容

本发明的目的在于提供一种具有增强的编码效率的混合视频编码概念。

该主题通过根据权利要求书所述的解码器、编码器、方法以及混合视频编码器比特流来达到。

本发明的一个基本思想是，如果在混合视频编码中，当前帧的残留信号通过利用先前帧的参考残留信号的运动补偿被另外预测，那么就可以进一步提高编码效率。换句话说，为了进一步降低最后残留信号的能量，即最后得到传送的一个信号的能量，从而增加编码效率，提出了通过利用先前编码帧的重构残留信号的运动补偿来另外预测所述残留信号。

本发明的优选实施方案即为从属权利要求所要保护的主题。

附图说明

以下附图给出了本发明优选实施例的详细说明：

图1出示了根据本发明一实施例的混合视频编码器的方框图；

图2出示了根据本发明一实施例的混合视频解码器的方框图；

图3出示了根据本发明一实施例的视频部分原理图；

图4a+b出示了根据本发明一可选实施例的混合视频编码器/解码器的视频信号重构部分的预测部分方框图；

图5出示了根据本发明一实施例的混合视频解码器参数重构部分的方框图。

具体实施方式

图1出示了根据本发明一实施例的编码器10。所述编码器为一混合视频编码器，该混合视频编码器配置为利用视频12的先前编码部分通过预测视频12的当前编码帧将视频12编码为比特流14，并且作为对将代表预测误差的所述残留信号直接编码成比特流14的替代，该混合视频编码器通过运动补偿利用先前编码帧的参考残留信号来预测所述当前编码帧的残留信号。

图1出示了如何对混合视频编码器10进行可能的内部重构的示例。如图所示，混合视频编码器10可包括串联连接在接收视频的输入12和输出上述比特流的输出14之间的第一减法器16，第二减法器18，变换器20和比特流发生器22。特别地，减法器16和18分别具有连接输入12和减法器16输出的非反相输入，且变换器20连接在减法器18的输出和比特流发生器22的第一输入之间，所述比特流发生器22因而具有与输出14相连接的输出。混合视频编码器10进一步包括顺序串联于变换器20输出端的逆变变换器24，第一加法器26和第二加法器28。

混合视频编码器10包括第一预测器30，所述第一预测器30连接在加法器28的输出和其第二输入之间，该加法器28的第一输入与加法器26的输出相连接。类似地，混合视频编码器10包括第二预测器32，所述第二预测器32连接在加法器26的输出和其第二输入之间，该加法器26的第一输入与逆变变换器24的输出相连接。可选地，如图1中所示的虚线，预测器32可选择性地连接到加法器26的第一输入和第二输入之间。预测器30的输出不仅仅与加法器28的第二输入相连，也与减法器16的反相输入端相连。类似地，预测器32的输出不仅仅与加法器26的第二输入相连，也与减法器18的减法输入端相连。两个预测器30和32，具有一进一步输出，一参数输出，与比特流发生器22的两个进一步输入相连。

在讨论各自的混合视频解码器内部结构的实例，以及随后的视频编码器和视频解码器的详细运行方式前，这里先简单讨论一下图1所示的混合视频编码器的操作。就如上面已经强调的那样，混合视频编码器10不仅仅直接预测视频12的帧，而且还预测所述帧各自的残留信号。因此，在视频12被输入到减法器16的反相输入端前，预测器30通过预测结果，即预测信号来对视频12的帧进行预测。预测器32对减法器16输出端获取的残留信号36进行预测，残留信号36表示了预测信号34和各自帧之间的差。预测器32的预测结果可以因此被称之为残留预测信号38并被应用于减法器18的反相输入端，其结果是减法器18输出的减法表示最终残留信号40，该最终残留信号40被用于在变换器20中变换编码。也就是说，变换器20可，根据图1所示的实施例，实现变换，比如DCT或类似的，以及随后实现对最终残留信号40的量化，以获得各自的量化变换系数42。然而，变换器20的存在仅仅是出于说明性的目的，并且其存在对于本发明而言并不是关键性的。实际上，可以省略它。

除了由于在变换器20中进行量化而导致的信息丢失以外，逆变变换器24基于变换器20的输出对所述最终残留信号进行重构，以获取与最终残留信号40相对应的重构最终残留信号44。最终残留信号44与残留预测信号38的相加结果是残留信号46，并且残留信号46与预测信号34通过加法器28相加的结果是当前解码或重构帧48。基于各自的入站信号，预测器30和32实现如上所述的预测。预测器30，例如，可以在帧内预测模式和运动补偿模式之间进行转换。转换粒度可以是视频12帧的样本集合，例如在下文中将要详述的宏模块或其他块。说明预测器30获取预测信号34方式的预测参数50通过预测器30传输给比特流发生器22，以混入比特流14，例如，在其侧信息之内。预测器32利用运动补偿预测以获取残留预测信号38并通过运动补偿预测的方式传送残留预测运动参数52，所述残留预测运动参数52说明预测器32获取残留预测信号38的方式，给比特流发生器22以混入到比特流14中，例如，在其侧信息之内。

图2出示了根据本发明一实施例的混合视频解码器110。所述混合视频解码器110配置为对来自于比特流的视频信号进行重构，该比特流从输入端112输入，而重构视频从输出端114输出。特别地，混合视频解码器110配置为对在混合视频编码器中执行的预测进行仿真处理。也就是说，混合视频解码器110会预测视频帧以及预测所述与第一预测的预测误差相关的残留信号，该预测利用先前解码帧的参考残留信号通过运动补偿预测实现。

对混合视频解码器110的内部结构解析如图2所示。如图2，混合视频解码器110包括顺序连接在输入端112和输出端114之间的比特流提取器116，逆变变换器118，第一加法器120和第二加法器122。进一步，混合视频解码器110包括第一预测器124和第二预测器126。第一预测器124连接在加法器122的输出端，加法器122也与输出端114相连，和加法器122的第二输入端之间，所述加法器122具有与加法器120的输出端相连的第一输入端。第二预测器126，依次，具有与加法器120的输出端或者逆变变换器118的输出端相连的输入端，所述加法器120的第一输入端与逆变变换器118的输出端相连。进一步，预测器126具有与加法器120的第二输入端相连的输出端。预测器126和124的参数输入端分别与比特流提取器116的进一步输入相连。

这里简略地说明一下图2中所述混合视频解码器110的功能，比特流提取器116配置为提取来自于比特流112的信息，所述比特流112从编码侧进入比特流发生器22。比特流提取器116和比特流发生器22可配置为通过熵编码，例如算术或可变长度编码，来实现提取和发生。优选地，比特流发生器22和比特流提取器116所利用的压缩设计无能耗。因此，比特流提取器116从进入输入端112的比特流中提取与图1中系数42相对应的量化变换系数126，与图1中参数52相对应的残留预测运动参数128，以及与图1中参数50相对应的预测参数130。

图2中元件118-126的运行方式和结构与图1中元件24-32的运行方式和结构相对应。这些元件分别来自于所述编码器和解码器的视频信号重构部分。也就是说，逆变变换器118会恢复来自于系数126的最终残留信号132。当前解码帧的最终残留信号132和由预测器126所获取的当前解码帧的残留预测信号134之和的结果是所述当前解码帧的残留信号136。残留信号136和由预测器124所获取的预测信号138之和的结果是所述当前解码帧140的重构。预测器124配置为确定预测信号138，所述预测信号138通过参数130利用进入预测器124的视频的先前解码/重构部分预测当前解码帧。预测器126利用当前解码帧的运动参数128通过运动补偿预测来确定残留预测信号134，所述当前解码帧基于先前解码帧的参考残留信号，即如图2虚线框中所描述的所述先前解码帧的残留信号136或先前解码帧的最终残留信号132。

在大致上描述了一下混合视频编码器和混合视频解码器的实施例后，下面将会对在本发明的实施例中实施的混合视频编码的基本概念进行说明。特别地，首先，关于处理视频帧的直接预测的详情，即预测，预测的预测误差由残留信号表示，该残留信号也受控于预测，所述预测的预测误差由在比特流中传输的最终预测信号表示。

在由上述编码器和解码器所利用的混合视频编码中，视频帧的颜色成分可以通过运动补偿预测，利用先前帧的重构颜色成分，或者帧内预测，利用相同帧的先前重构宏块。该预测可分别在预测器124和30内实现。所述残留信号，即原始颜色成分与相应的预测信号之间的差，在图1和2所示的实例中，受控于在预测器32和126中所实现的进一步的预测。该最终残留信号可利用转换编码（解相关变换与变换系数量化的结合，由产生的量化符号的熵编码获准）来进行编码。在图1和2所示的实例中，变换分别由变换器20和逆变变换器118来实现，并且熵编码分别由比特流发生器22和比特流提取器116来实现。对于导致中间残留信号的第一预测而言，可对视频帧的一些分区域进行运动补偿预测。通常，所述分区域为样本的矩形块。但是，从概念上来讲，对于任意一组样本，也可能使用相同的运动参数。所述运动参数（例如，50和130的部分）包含在比特流中，并被传送到解码器。使用任意运动模型是可能的。例如，运动可使用平移运动模型；然后，表征位移的运动矢量（2参数）被传送给每一区域。其他常用运动模型包括仿射运动模型（6参数），3-，4-，以及8参数模型。所述运动参数可以任意精度传输。例如，对于平移运动模型，所述运动矢量可利用全采样精度或子采样精度（例如1/4采样精度）进行编码。在第一种情况下，预测样本可直接从重构帧（例如，48和140）拷贝过来。在子采样精确运动矢量（或普通运动参数）的情况下，所述预测样本（例如，34和138）在参考帧（来自于，例如，48和140）中利用重构样本来进行插补。可能的插补方法包括FIR过滤或样条插值方法。所述过滤可以在预测器30和124或分别在加法器28和122之间的某些附加单元中实现，以及预测器30和124各自的输入。任何先前的传输帧可被用于运动补偿。如果参考帧没有被高阶参数所确定，参考指数（例如，可以分别是50和130的部分）可被传输以鉴别所用的参考帧。利用加权因数和补偿（通常被称之为加权预测）来修改预测信号，或其他加权函数来获取预测信号（例如，图1和2中所示的34和138）也是可能的。进一步，数个预测信号可以相结合以获取所述预测信号（例如34和138）。这也被称之为多重假设预测。相结合的预测信号可以，例如，通过不同预测信号的加权和来获取。单个预测信号来自于不同的参考帧或相同的参考帧。如果两个预测信号相结合，所述多重假设预测可被称之为双边预测。然而，利用多于两个假设也是可能的。例如，量化转换系数（例如，图1和2中所示的42和126）的熵编码可通过可变长度编码或（合适的）算术编码（例如，22和116中）来实现。

上文的详细描述主要集中在基础预测上，即，帧预测本身。然而，本发明的实施例并不仅限于此。准确的说，该基础预测的残留信号受控于进一步预测，所述进一步预测利用任意先前编码/解码帧的参考残留信号通过运动补偿预测来实现。在下文中，会对所述附加预测进行详细说明。

根据本发明实施例的以下详述，混合视频编码中残留信号（例如，36和136）的能量会进一步减少。所述能量的减少是利用先前编码帧的重构残留样本（例如，分别进入块32和126）通过附加预测（例如，32和126）当前帧的残留信号（即所述原始信号和运动补偿或帧内预测信号的差）来达到。所述附加预测能够显著地减少残留信号（例如，图1所示40）的能量。因此，产生的残留信号（即，例如，所述量化转换系数）可以以比较少的比特数达到相同的重构质量。然而，为了将解码器设置到合适位置以对残留信号的运动补偿预测进行仿真，残留预测的运动参数作为边信息被额外传输。只有当额外的传输运动参数比率小于产生的残留信号比率时，所述编码效率才会得到改进。为了保证所述附加残留预测不会减少编码效率，会基于图像区域进行适应性选择且其使用会以信号的形式发送给解码器。所述编码器会基于率失真准则在具有和不具有附加运动补偿残留预测的情况下对编码进行测试。依照率失真准则，可使用常用的拉格朗日成本函数D+λR，其中D和R分别代表产生的失真和测试图像区域的整体比率，λ代表与目标率相关的拉格朗日乘数。

当详细说明本发明的实施例的可能实施方式时，例如图1和2所示的实施例，有时会假设所述混合视频解码器包括，或至少可以访问，图2中没有出示的解码图像缓冲区。在特定的配置中，重构残留信号帧（例如，熵预测32和126）被插入解码图像缓冲区或者对重构残留信号的附加解码图像缓冲区进行操作。

在以下说明中，下述信号会被用到：

·原始信号：S（图1中12）；

·（通常的）运动补偿或帧内预测：（图1和2中的34和138）；

·残留预测：（图1和2中的38和134）；

·残留重构：r’（图1和2中的最终残留信号44和132）；

·参考残留：r”（图1和2中的块32和126的输入）；

·最终重构：s”（图1和2中的48和140）。

所述残留预测和参考残留，根据本实施例，例如，利用运动补偿或帧内预测加入到传统混合编码方案中。有时，混合视频解码器和混合视频编码器具体实施方式的实例，分别，假设粒度在比特流14和112中变化，其整块小于视频帧单位，所述粒度上的参数52和50和128和130，分别，定义用户预测和残留预测。然而，预测器30和预测器32甚至变换器20可能会在比帧小的单位内运行，即，在当前帧的区域单位内，该区域通常为一组图像，例如所述帧的矩形块，虽然区域的其他形状也是可能的。所述区域相互间简单连接。

为了说明这一点，可参考图3。图3出示了三幅连贯的帧200a，200b，和200c。从帧200a，到200c的顺序可能取决于视频中它们的连贯布置，即取决于它们的显示次数。虽然视频帧的编码/解码顺序可以与这些帧的捕捉/显示次数顺序相一致，但这不是必须的。总之，编码器和解码器在帧之间使用一般的解码顺序。如图3中虚线所示，每一帧可被再次分成区域202。帧的所有区域202横向覆盖整个帧。如图3所示，帧的分部要满足以下条件，区域202彼此之间互不重叠。然而，根据一可选实施例，区域202可能会彼此间相互重叠。区域202的分部可能与同样大小区域202规则阵列的帧200a的规则分部相对应。可选地，多树细分可能被用于对每一帧进行再分，或被用于进一步对前述每一规则阵列的同样大小区域或其子集进行细分。后者的可能性在图3中进行了说明，如帧200a左上角方块所示。混合视频编码器和解码器可利用不同的分部进行普通预测，如果有的话，还有残留预测和/或最终残留信号编码。根据图1和2的解释性说明，所述预测器30,32,和变换器20以及预测器124,126和逆变变换器118可能利用相同的分部或相对于彼此的不同分部。就这一点而言，其详细说明如下所述。无论如何，刚刚提到的用于普通预测，残留预测和最终残留信号编码/解码的任何分部，可能随着时间的推移而发生变化，例如从帧到帧或从GOP到GOP（GOP即图片集）。该变化可能以作为比特流中边信息的信号形式发出。在下文中，所述当前帧需重构的区域是一组像素点R，所述R为当前帧F中所有像素的子集：

(x,y)∈R_i, $\underset{i}{\∪}{R}_i=F---\left(1\right)$

对以上说明做一个简要综述，根据本发明实施例的混合视频解码器可配置为，通过运动补偿预测利用先前解码帧例如图3中的200b的参考残留信号45和127，另外预测当前解码帧例如图3中的帧200a的残留信号36和136。为了达到此目的，混合视频解码器可通过先前解码视频部分对当前解码帧200a进行预测，例如，前面提到的帧200b和/或其他帧，例如帧200c，以获取当前解码帧200a的预测信号138，残留信号136相关的预测误差，熵对当前解码帧200a的最终残留信号132进行解码，并重构当前解码帧200a，通过组合当前解码帧200a,b的预测信号138，当前解码帧200a的残留预测信号134（在混合视频解码器预测当前解码帧200a和c时获取），和当前解码帧200a的最终残留信号132。

如果混合视频解码器和编码器被配置为在上面提到的区域单元内和样本202集合内实现残留预测，所述混合视频解码器和编码器的配置会在以下方式中得到扩展。

运动补偿残留预测可应用于当前帧的任意样本集。所述运动补偿残留预测可应用的任意样本集可能或不能取决于普通运动补偿预测或帧内预测所用于的样本集。特别地，以下组合是可能的：

·运动补偿残留预测（具有唯一的预测参数）可应用的任意样本集与普通运动补偿预测或帧内预测（具有唯一的预测参数）所用于的样本集相等。例如，如图3所示。根据刚刚说明过的可选实施方式，混合视频解码器和混合视频编码器可利用所述帧相同的粒度或分部来实现普通预测和残留预测以及分别设置或传输各自预测和运动参数。换句话说，云侧器126和32可像预测器124和30一样使用相同的粒度或分部。如果那样的话，一个或多个句法元素信号，不论运动补偿残留预测是否可应用，被传输给普通运动补偿预测所用于的每一样本集和/或帧内预测所用于的每一样本集。也就是说，编码器10配置为将帧内预测模式或运动模式与每一区域202相结合，因为预测器32和126的每一区域202可能决定，通过一个或多个各自的句法元素在比特流14中反映出来，运动补偿残留预测是否将会被应用。如果是，则各自的残留预测运动参数52和128会嵌入到比特流中。运动补偿残留预测是否应用的信号也会与运动参数相结合。更确切地说，确定运动补偿残留预测是否应用的信号会分别内在地包含到残留预测运动参数52和128中。在这种配置中，将用于残留预测（分别在预测器32和126中）的重构残留样本插入到前面提到的解码图像缓冲区以及通过参考帧索引指出是否使用运动补偿残留预测是可能的（即，没有附加句法元素传输，但是参考帧索引被重复使用以指明重构残留图片作为用于运动补偿预测的参考图片）。在解码图像缓冲区内使用帧索引，特别地，可选的附加残留预测可通过以下方式进行控制。混合视频解码器110配置为管理解码图像缓冲区内重构帧的不同时间，也就是源于信号140的重构帧，以及源于最终残留信号132的重构参考残留帧或者最终残留信号132和残留预测信号134的总和。如果比特流14包含在与参考帧索引相关的比特流残留预测运动参数内，所述参考帧索引指向代表参考残留帧的所述解码图像缓冲区内的帧，那么该参考残留帧（参看52和128）相关的残留预测运动参数设备，会产生一残留预测信号。在其他情况下，即如果参考帧索引指向解码图像缓冲区内的帧，表示重构帧，那么与运动参数（参看52和128）相关的设备就会执行普通预测。其直接遵循图2中所示的加法器120,122和预测器126和124各自的配置和规定，仅仅表示可能的实施性方案，但是所述各自的配置和规定仅用于解释性的目的，并且无需最终进入所述混合视频解码器内的各自的硬件，固件或软件组件当中。相反，基于解码帧缓冲区内的各自的帧，通过各自的运动参数，下述为获取重构的运动建模和插值，以及加法可能会通过普通预测和残留预测共同使用，此类预测可通过所述解码图像缓冲区内帧的参考帧索引和管理来实现，导引，或控制。更进一步，存在两个独立的解码图像缓冲区，以及参考残留预测帧和相关的参考解码/重构帧被分配给各自缓冲区内的相同索引是可能的。如果那样的话，与相同参考帧索引相关以及与相同样本集相关的运动参数的第二传输，可通过解码器来解释，这样所述第二运动参数集，例如，对应残留预测，而第一运动参数集对应普通预测。进一步，传输每一运动参数集的句法元素是可能的，其表明这些运动参数是否用于普通运动补偿预测或运动补偿残留预测。在第一种情况下，所述运动参数在参数50的范围内，在第二种情况下，所述运动参数在参数52的范围内。

·运动补偿残留预测（具有唯一的预测参数）可应用的样本集是普通运动补偿预测或帧内预测（具有唯一的预测参数）所用于的样本集的子集。例如，如图3所示，如果在图3中区域202内帧200a的分部为作为分别由预测器30和124实现的普通预测基础的（一阶）分部，那么粒度，在该粒度上预测器32和126实现残留预测，可能是该一阶分部的二阶分部。也就是说，所述预测器32和126实现残留预测的区域，可能等于或者为预测器33和124实现普通预测的区域的真子集。如果那样的话，一个或多个以信号形式将分区传送给子集的句法元素且，对于每一个产生的子集，不论运动补偿残留预测是否应用，可传输给普通运动补偿预测可应用的每一样本集或者帧内预测所用于的每一样本集。在特定的配置当中，所述样本集和子集是图像的矩形区域。

·运动补偿残留预测（具有唯一的预测参数）所应用的样本集与普通运动补偿预测或帧内预测（具有唯一的预测参数）所应用的样本集是相互独立的。例如，分部或粒度，普通预测（参见30和124）在该分部或粒度上实现，可能在所述比特流内固定或以信号发出，并且在其上实现普通预测（参见30和124）的分部，可能在比特流内通过句法元素以信号发出，所述句法元素在解码侧进行解释-例如使用预测器126-完全独立于在相同当前解码帧内用于普通预测（例如预测器124）的分部。在那种情况下，以信号发出运动补偿残留预测所应用的样本集的一个或多个语法元素被传输。例如，所述信息可以信号进行传输，可通过将帧的分区或任何预设图像区域分成子集以及将每一子集以信号传输，而不论是否应用运动补偿残留预测。在特定的配置中，样本集合子集为图像的矩形区域。

也就是说，总结上述三个替代实施例，所述混合视频解码器可能配置为对当前解码帧的一个或多个语法元素进行解码并且将当前解码帧残留信号136预测应用于当前解码帧第一样本集的预设集，例如如图3中帧200a的区域202的子集，所述预设集由一个或多个语法元素所定义。另外考虑所述普通预测，所述混合视频解码器配置为将产生当前解码帧，例如帧200a，所述残留信号136与帧200a的预测误差相关，预测信号138的当前解码帧的预测，即普通预测，应用于当前解码帧200a的第二样本集，即图3中没有出示的帧200a另外分部的区域，例如，其中混合视频解码器可能对第二样本集每一样本的一个或多个语法元素进行解码，并且利用第二样本集每一样本的一个或多个语法元素来将第二样本集（在这种情况下，普通预测和残留预测的分部或粒度相同）或第二样本集子集（在这种情况下，所述残留预测分部代表相对于普通预测分部的第二级分部）中的第一样本集的预设集鉴别出来。进一步，所述混合视频解码器配置为对所述当前解码帧200a的一个或多个语法元素进行解码，并将当前解码帧200a的残留信号136预测应用于当前解码帧第一样本集的预设集，例如，图3中的区域202，所述区域202中的预设集由一个或多个语法元素所定义，并且将部分形成当前解码帧200a的预测信号138的当前解码帧200a的帧内预测，应用于当前解码帧200a第二样本集的预设第一集合，以及将部分形成预测信号的当前解码帧200a的运动补偿预测，应用于第二样本集的预设第二集合，这样所述第一样本集就与第二样本集的第一和第二集合相独立。换句话说，如同上述第三替代实施例所描述的那样，所述将分部限定到第一样本集内的一个或多个语法元素在比特流内进行传输，并且由所述混合视频解码器所使用，这样这些被用于残留预测的第一样本集内的分区将独立于当前解码帧分部的当前解码帧细分为第二样本集，在所述第二样本集的粒度上，所述普通预测和决定被实现，而不论是否利用运动补偿普通预测或帧内预测。

关于如何实现运动补偿残留预测的可能替代实施例将在下文中进行详述。

与普通运动补偿预测相类似，多张参考图片，多重假设预测，加权预测，以及多个运动模型均可被用于运动补偿残留预测。

多张参考图片：多张参考图片的概念表明多个重构残留帧对运动补偿残留预测是有用的。所述重构残留帧可以被插入到解码图像缓冲区，或者为重构残留图像对附加解码图像缓冲区进行操作。一种表明重构残留帧被用于运动补偿残留的指示可在比特流中以信号传输。在一特定配置当中，该指示可由解码过程推测出来。在其他配置当中，该指示信号为一帧，一片或者一样本集。在后一种情况中，样本集可以是运动补偿残留预测（具有唯一参数）所应用于的样本集，或者其可能是运动补偿残留预测所应用于的样本集的超集。该指示可能为在重构残留帧列表中或者在重构残留帧和重构帧列表中表征位置的参考帧索引：

t₀,t(h),h=0...H（2）

也就是说，如果独立的解码图像缓冲区被用于残留预测和普通预测，解码图像缓冲区或多个解码图像缓冲区的当前状态可能会通过当前解码帧的索引来确定，即t₀，并且对于个别假设H的解码图像缓冲区或多个解码图像缓冲区的某一帧的索引，可能通过索引列表t（.）来实现，其中H表示假定数量。

重构残留帧或者重构残留帧和重构帧的列表基于解码图像缓冲区的状态或者重构图像解码图像缓冲区的状态和重构残留帧解码图像缓冲区的状态以及，可能地，其他高阶（例如，宏块头）语法元素来获取。

综上所述，所述混合视频解码器配置为从比特流中提取残留参考帧索引，所述残留参考帧索引利用参考残留信号对先前的解码帧进行索引，参考残留信号的当前解码帧残留信号会被预测。

在特定的配置中，所述参考帧索引没有以信号发出，但是会在解码器中推测出来以代表帧的重构残留信号，该重构残留信号用于普通运动补偿预测。也就是说，所述混合视频解码器配置为推测残留参考帧索引，所述残留参考帧索引利用参考残留信号对先前的解码帧进行索引，参考残留信号的当前解码帧残留信号将会被预测，以代表进一步先前解码帧，所述混合视频解码器基于所述进一步先前解码帧配置为确定当前解码帧的预测信号，所述残留信号与所述预测信号的预测误差相关。

多重假设预测和加权预测：一个或多个运动补偿残留预测信号可以相结合以形成最终运动补偿残留预测信号。运动补偿残留预测信号也被称之为假设。为了形成所述最终运动补偿残留预测信号，将会对以下概念进行特别考虑：

·所述最终运动补偿残留预测信号由假设的加权总和形成。对于每一个假设，加权因子以信号发出（无论是在切片的基础上或者是在样本集的基础上）。在特定的配置中，一额外的0集合也可以以信号发出，每个假设有一个0集合或者只有一个偏移量。

·对于假设的残留预测信号的每个样本是根据样本值加权。如果样本集代表一个矩形图像区域，这可以被看作是一个加权矩阵。所使用的加权值（矩形图像区域的加权矩阵）可通过比特流内的指示以信号传输。例如，将加权值（矩形图像区域的加权矩阵）的预设集存储于编码器和解码器中以及对指示进行传输，所述指示集被选择，是可能的。所述加权值的附加集也可在比特流内传输。所述加权假设相加以形成所述最终运动补偿残留预测信号。在一特定配置中，附加偏移也可以信号发出，每个假设具有一个偏移或者仅仅只有一个偏移。

·当只有一单独假设用于运动补偿残留预测时，修改假设的残留预测信号的上述方法也可以被使用。

·也可以先对假设进行总结，然后产生的假设可以通过加权因子或者一组加权值按比例进行缩放。在一特定的配置中，也可使用附加偏移。

·残留预测信号的加权因子也被称之为增益。并且一组加权因子（矩形图像区域的加权矩阵）也被称之为一组增益（矩形图像区域的加权矩阵）。

空间位移参数：根据所使用的运动模型，所述空间位移参数与运动补偿残留预测（使用唯一的运动参数）所应用于的样本集不同。空间位移基于传输的运动参数和所使用的运动模型获取。所述空间位移（u，v）是x和y方向上的两个值，其来源可以归纳为：

$u=\underset{i}{\mathrm{\Σ}}{a}_i{\mathrm{\φ}}_i---\left(3a\right)$

特别地，以下运动模型会被考虑：

·平移运动模型：所述运动参数（u=a₀andv=b₀）对应于运动补偿残留预测所应用于的每一样本集的平移运动矢量。

·仿射运动模型：代表仿射运动参数的6个运动参数通过信号发送以指定运动补偿残留预测所应用于的样本集的位移矢量。

·一般线性运动模型：N个运动参数通过信号发送以指定运动补偿残留预测所应用于的样本集的位移矢量。所述运动补偿残留预测所应用于的样本集的位移矢量利用上述方程式来确定。

不同的样本集和样本集的不同假设可能会使用不同的运动模型。特别地，以下配置将会被考虑：

·相同的运动模型被用于切片上的所有样本集。运动模型无需信号传递（除了，也许在片级）。只有被选模型的运动参数被传输给运动补偿残留预测所应用于的每一样本集的每一假设。

·不同的运动模型用于不同的样本集。但是相同的运动模型用于运动补偿残留预测所应用于的样本集的所有假设。所述运动模型以信号传输给运动补偿残留预测所应用于的每一样本集。

·不同的运动模型用于不同的样本集，并且不同的运动模型用于运动补偿残留预测所应用于的样本集的所有假设。所述运动模型以信号传输给运动补偿残留预测所应用于的样本集的每一假设。

所述运动参数可以以不同精度进行传输。运动参数精度可以是固定的，或者它可以在片级或片子集级以信号传输。特别地，当使用平移运动模型时，所述运动矢量可以以全采样精度或子采样精度（例如1/4采样精度）传输。如果平移运动模型使用全采样精度运动矢量，所述残留预测信号可通过拷贝参考残留帧的样本获取。在大多数其他情况下，所述参考重构残留信号需要内插值。作为插值法，可以使用FIR过滤（取决于子采样位置）或者一般性差值（例如B样条差值）。

在一特定配置中，一个或多个运动参数利用已传输的信息被预测，并且只有运动参数和它们的预测之间的差被传输。以下概念可被用于运动参数预测：

·利用相同帧内的已编码样本集（例如相邻块）的运动参数（对于残留预测）来预测运动参数。

·利用相同样本集普通运动补偿预测的运动参数和/或相同帧的已传输样本集来预测运动参数。

·利用先前编码帧内的已编码样本集的运动参数（对于残留预测）来预测运动参数（例如，通过先前帧内共同定位块的运动参数）。

·利用先前编码帧内已编码样本集的普通运动补偿预测的运动参数来预测运动参数（例如，通过先前帧内共同定位块的运动参数）。

·利用上述概念的任意结合或者直接对运动参数预测方法进行信号传递来预测所述运动参数。

简要总结一下刚才提到的可选实施方式，所述混合视频解码器可能因此配置为预测用于预测当前解码帧的残留信号的残留预测运动参数128，例如帧200a，对于当前解码帧200a的预设样本集，例如图3中由标记202所标明的区域，利用先前由混合视频解码器所使用的运动参数来确定当前解码帧200a的预测信号138，所述残留信号136与预测信号138的预测误差相关，对于另一样本集，例如帧200a的区域，相邻区域202，或者当前解码帧200a的相同样本集，利用先前由混合视频解码器所使用的运动参数来确定先前解码帧的预测信号138，例如典型区域202的共同定位区域帧200b。

在一特定配置中，所述运动参数不是直接以信号传输。作为替代，一组可能的运动参数在解码器侧获取，并且只有指明哪一个可能的运动参数被使用的索引以信号进行传输。可以利用已传输样本集的编码索引对该索引进行进一步预测。

其次，由混合视频编码器或混合视频解码器所实现的信号重构的更多详细实施例将在下文中进行说明。所述信号重构涉及，如上所述，一般地普通预测以及残留预测，因此，在下面的描述当中，关于混合视频编码器和混合视频解码器，分别，如何进行一般性操作，以及作为示例，图1和2中的同一预测器是如何操作的将会做不同说明。

普通预测信号：通过帧内预测或者运动补偿预测来预测一样本集。两个或多个内部或者运动补偿预测信号相结合以形成样本集的最终预测信号也是可能的。当考虑运动补偿预测时，H_vid的预测样本与相应的加权因子W_vid，h呈比例缩放并相加：

${\hat{s}}_{t_0}(x,y)=\underset{h=0}{\overset{H_{\mathrm{vid}}}{\mathrm{\Σ}}}{w}_{\mathrm{vid},h}{s}_{t\left(h\right)}^H(x+u_{\mathrm{vid},h,}y+v_{\mathrm{vid},h})---\left(4\right)$

对于每一个假设，根据视频空间位移，当前区域在参考帧内移动。子样本插值可以被用于产生假设的预测信号。也可以通过加入一个偏移量来获取最终预测信号。

残留预测：如果残留预测被用于样本集，所述最终残留预测信号通过对假设的预测信号进行加权来获取并与所述假设的加权残留预测信号相加。

${\hat{r}}_{t_0}(x,y)=\underset{h=0}{\overset{H_{\mathrm{res}}}{\mathrm{\Σ}}}{w}_{\mathrm{res},h}{r}_{t\left(h\right)}^{\′\′}(x+u_{\mathrm{res},h},y+v_{\mathrm{res},h})---\left(5\right)$

所述加权可以通过每一假设的加权因子或者每一假设的一组加权值实现，例如矩形样本集加权矩阵（如上）。对于每一假设，根据空间位移信息，所述当前区域在参考残留帧内移动。子样本插值可被用于生成一假设的残留预测信号。也可以通过加入一个偏移量来获取最终预测信号。

参考残留的产生：对于如何构建参考残留帧，基本上有两种不同的方式：

·所述残留参考帧通过残留信号的一部分构建，所述残留信号通过转换编码进行编码：

$r_{t_0}^{\′\′}(x,y)=r_{t_0}^{\′}(x,y)---\left(6\right)$

·所述残留参考帧通过重构残留构建，即通过残留预测信号（如果可用）和残留信号一部分的和构建，所述残留信号通过转换编码进行编码：

$r_{t_0}^{\′\′}(x,y)=r_{t_0}^{\′}(x,y)+{\hat{r}}_{t_0}(x,y)---\left(7\right)$

以下配置会被考虑：

·所有残留参考帧以同样的方式构建。

·所述参考残留帧如何在帧级构建。

·两个可能的参考残留帧均被插入到解码图像缓冲区内，并且其通过信号发送以表明两个可能的参考残留帧中的哪一个被用于残留预测。

总结上述与方程6和7相关联的可替代实施方式，所述混合视频解码器可配置为对先前解码帧的最终残留信号132进行熵解码，例如帧200b，并且通过对先前解码帧200b的最终残留信号132对先前解码帧的参考残留信号127进行构建。换句话说，混合视频解码器可能将最终残留信号132作为先前解码帧的参考残留信号127使用，所述当前解码帧200a的残留信号136通过先前解码帧进行预测。

可选地，所述混合视频解码器可配置为对先前解码帧200b的最终残留信号进行熵解码，通过运动补偿预测利用甚至更前的解码帧的参考残留信号对先前解码帧200b的残留信号136进行预测，例如帧200c以获取先前解码帧200b的残留预测信号134，并且通过先前解码帧200b的最终残留信号132与先前解码帧的残留预测信号134之和来构建所述先前解码帧的参考残留信号127。

如上所述，然而，所述混合视频解码器甚至可配置为基于帧进行选择，其构建了一使用方案。并且作为选择，所述混合视频解码器可配置为实现两个构建方案以分别根据方程6和7将各自的增补参考残留信号插入所述混合视频解码器的解码图像缓冲区，依靠比特流内的信号作用将第一或第二增补参考残留信号作为先前解码帧的参考残留信号。

最终重构：重构视频信号，所述重构视频信号也可用作参考（对于普通运动补偿预测），由两个预测（普通内部或者运动补偿预测，如果有的话，残留预测）以及通过转换编码传输的最终残留组成。

$s_{t_0}^{\′\′}(x,y)={\hat{s}}_{t_0}(x,y)+{\hat{r}}_{t_0}(x,y)+r_{t_0}^{\′}(x,y)---\left(8\right)$

如上述不同实施例中所述的在重构中的可选方案，在图4a和4b中进行了总结，使用了已经在图1和2中使用过的相同参考标记。根据图4a和4b所示的实施例，相互独立的解码帧缓冲区被用于残留参考帧和视频参考帧，也就是说，用于视频预测的解码视频帧缓冲区250和用于残留预测的解码残留帧缓冲区252。两者分别连接到预测器124和126的参考信号输入端。然而，如同上文所提出的那样，一个解码帧缓冲区可被用于存储所述普通预测帧和残留预测帧。进一步，图4a和4b分别选择性地出示了去块效应滤波器254和256，所述去块效应滤波器254和256可安装于缓冲区250和252的前端，以在被用于运动补偿预测，即普通预测和残留预测前，对所述参考帧实现去块。

因此，如同相对于图4a和4b所指出的那样，为了减少块效应，所述参考残留帧和/或重构信号均可在插入到解码帧缓冲区前进行循环去块。所述去块也可在显示或者存储重构视频前被用作后过滤器。

如以下所述，重叠运动补偿可能与上述实施例相关联。在一特定配置中，重叠运动补偿可被用于所述普通运动补偿和运动残留预测之一或两者。

被用于重叠运动补偿内的重叠区域是包含区域R像素的像素R’的集合，所述区域R是当前帧F内的所有像素的子集：

(x',y')∈R'_i, $R_i\⊆{R^{\′}}_i,$ $\underset{i}{\∪}{R^{\′}}_i=F---\left(9\right)$

通过预测重叠区域内Ri’的像素，以作为对区域R内预测像素的替代。这会导致重叠区域内预测的叠加。由于这种连续叠加，重叠预测和需要以初始值0作初始化：

${\hat{s}}_{o,t_0}(x,y)={\hat{r}}_{o,t_0}(x,y)=\left(\mathrm{0,0}\right),$ $\∀(x,y)\∈F---\left(10\right)$

重叠区域内的残留和视频信号得到预测， 并通过视窗函数 $F=f(x^{\′},y^{\′})\∀(x^{\′},y^{\′})\∈R^{\′}$ 得到过滤：

${\hat{r}}_{o,t_0}(x^{\′},y^{\′})={\hat{r}}_{o,t_0}(x^{\′},y^{\′})+f_{\mathrm{res}}(x^{\′},y^{\′}){\hat{r}}_{t_0}(x^{\′},y^{\′})$

(11)

${\hat{s}}_{o,t_0}(x^{\′},y^{\′})={\hat{s}}_{o,t_0}(x^{\′},y^{\′})+f_{\mathrm{vid}}(x^{\′},y^{\′}){\hat{s}}_{t_0}(x^{\′},y^{\′})$

(12)

来自于重叠预测和重构残留的视频信号的重构：

$s_{t_0}^{\′\′}(x,y)={\hat{s}}_{o,t_0}(x,y)+{\hat{r}}_{o,t_0}(x,y)+r_{t_0}^{\′}(x,y),$ $\∀(x,y)\∈F---\left(13\right)$

到现在为止，根据具体实施例的具体详述涉及到与所述残留预测本身相关联的不同可能性。下一步，说明将会集中在预测数据重构上，即混合视频解码器显示以及混合视频编码器嵌入的方式，所述参数对来自于/进入比特流的运动补偿残留预测进行控制。

如图5所示，包括多达三级步骤，以重构参数，并用于重构所述视频信号：熵解码300，逆量化392和预测参数转换304的语法元素。也就是说，比特流的位306进入熵解码阶段300，产生量化语法元素308，所述量化语法元素308受控于逆量化模块302内的逆量化。为了获取代表上述识别出的实体的参数312，例如参考帧索引，运动参数，分区/分部信息，加权等，所述从中产生的逆量化语法元素310受控于模块304内的预测参数转换语法元素。所述熵解码300可通过比特流提取器116来实现。所述逆量化302可分别通过比特流提取器116或者任意随后的模块118,126和124，或者它们之间的任意实体来实现。关于参数模块304语法，其应用同上。

熵解码（300）：所述比特流利用熵编码解码成语法元素。这可以是，例如，可变长度编码（VLC），上下文自适应VLC（基于一定标准对VLC表进行转换），或者上下文自适应算术编码（CABAC）。

上下文确定（300的可选部分）：在CABAC（以及上下文自适应VLC）中，所述可能性推导（和VLC表转换）的背景可被选为已传输语法元素和/或解码参数的函数。

用于与残留预测参考帧指示相关的解码语法元素的上下文可通过评估空间上相邻或时间上共设残留的已重构参考帧指示或视频预测或两者来进行选择。用于与视频预测参考帧指示相关的解码语法元素的上下文可通过评估空间上相邻或时间上共设已重构残留参考帧指示或视频预测或两者来进行选择。

用于与残留预测的空间位移（残留预测运动参数）相关的解码语法元素的上下文可通过评估空间上相邻或时间上共设已重构的运动参数，空间位移，或残留参考帧指示或视频预测或两者来进行选择。

用于与视频预测的空间位移（普通预测运动参数）相关的解码语法元素的上下文可通过评估空间上相邻或时间上共设已重构的运动参数，空间位移，或残留参考帧指示或视频预测或两者来进行选择。

用于与残留预测的加权参数（参考信号加权）相关的解码语法元素的上下文可通过评估重构残留系数或运动参数或参考帧指示或它们的任意组合来进行选择。

逆量化（302）：如果语法元素（例如，增益）在编码器中量化，在它被用于解码器中之前需要进行逆量化（按比例）。

预测参数转换语法元素（306）：如同上面所提到的那样，为了进一步减少语法元素的比特率，所述语法元素可被编码为与参数预测器和参数不同。

对于以下说明，我们使用一般参数集的概念。一参数集PS取决于视频假设数量和残留预测，H_vid，H_res：

PS＝{r',f_vid,f_res}

∪{u_vid，h，v_vid，h，w_vid，h，t(h)|h＝0...H_vid}

∪{u_res，h，v_res，h，w_res，h，t(h)|h＝0...H_res}

(14)

一般而言，参数p∈PS的预测可表示为已获得的其他参数的函数f（），因为它们已被重构。它们可以是相同区域Ri的其他参数P：

$P\⊆\mathrm{PS}\backslash \left\{p\right\}---\left(15a\right)$

$\hat{p}=f\left(P_{\mathrm{ROS}}\right)---\left(15b\right)$

或者其他参数以及支撑域（ROS）的相同参数。这种区域可以是已重构相邻区域同时也是已重构帧的区域：

$P_{\mathrm{ROS}}\⊆{\mathrm{PS}}_{\mathrm{ROS}}$

(16a)

$\hat{p}=f\left(P_{\mathrm{ROS}}\right)---\left(16b\right)$

或者包括两者：

$P_{\mathrm{both}}\⊆{\mathrm{PS}}_{\mathrm{ROS}}\∪P$

(17a)

$\hat{p}=f\left(P_{\mathrm{both}}\right)$

(17b)

在以下段落中，将会对这样的参数预测进行说明。

假设数量：所述残留假设的数量可编码为与视频假设的数量不同，反之亦然。通过评估支撑域的残留假设或视频数量来进行预测也是可能的。

残留系数：如果所述视频和残留信号预测与原始视频信号接近，那么就无需对残留系数进行编码。如果通过预测器所估计的空间位移足够近似，那么只需要通过信号发出，是在没有预测误差的情况下进行预测。这可能就是无噪声背景区域的情况。

运动参数：所述运动参数可通过利用已解码运动参数或者相邻区域或时间上共同位于区域（也可参见上述）的空间位移来进行预测。那么这些区域即为支撑域。所述残留运动参数可从当前区域的普通运动参数获得，从支撑域的普通运动参数获得或者从两者获得而且会与源于支撑域的残留运动参数相结合。相同的方案适用于普通运动参数，其利用来自于支撑域的普通运动参数以及来自于支撑域和当前区域的残留运动参数。

参考帧指示：所述参考帧指示也可通过空间和时间共设区的参考帧指示进行预测（参见上述说明）。如果参考帧指示被用于这些区域中的大部分，则所述当前参考帧指示有可能相同。此外，残留参考帧指示可利用普通参考帧指示进行预测，反之亦然。

参考信号加权：应用于参考残留信号的加权W_res可通过分析重构残留进行预测。依靠该预测，可以跳过预测误差传输。因此，所述加权可由重构残留获取。所述获得的加权可以是标量或者其可以扩展到加权矩阵。参见上述讨论。

因此，在上述实施例中，视频帧的颜色成分通过运动补偿预测或者帧内预测来进行预测。原色成分和相应预测信号间的差，也称之为残留信号，并不直接进行传输。当然，为了进一步减少残留信号的能量并因此增加编码效率，所述残留信号通过运动补偿预测利用先前编码帧的重构残留信号进行额外预测。

虽然某些方面在设备背景下进行了说明，很明显这些方面也代表了对相应方法的描述，这里块或者装置与方法步骤或方法步骤的特点相一致。类似地，在方法步骤中所描述的方面也代表了相应的块或者项或者相应设备特点的描述。一些或者所有的方法步骤可能通过（或利用）硬件设备，比如，微处理器，可编程计算机或者电路来实现。在某些实施例中，一个或多个最重要的方法步骤可通过该设备实现。

本发明所述的编码视频信号能够存储于数字存储介质上或者能够在传输介质上进行传输，例如，无线介质或有线介质比如因特网。

根据一定的实施要求，本发明的实施例可在硬件或软件中实现。所述实施方式可利用数字存储介质，例如软盘，DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或者闪速存储器来实现，所述数字存储介质具有电子可读控制信号，该电子可读控制信号与可编程计算机系统相配合（或者能够配合）以实现各自的方法。因此，所述数字存储介质可能为计算机可读。

根据本发明的某些实施例包括具有电子可读控制信号的数据载体，所述电子可读控制信号能够与可编程计算机系统相配合，这样这里所描述的一种方法就可以实现。

一般来说，本发明所述实施例可作为带有程序代码的计算机程序产品来实现，当计算机程序产品在计算机上运行时，所述计算机代码被执行以实现所述方法之一。例如，所述程序代码可能存储于计算机可读载体上。

其他实施例包括存储于计算机可读载体上的计算机程序，以实现这里所述方法之一。

换句话说，当计算机程序在计算机上运行时，本发明所述方法的实施例是一具有程序代码以实现所述方法之一的计算机程序。

本发明所述方法的进一步实施例是，因此，一数据载体（或者数字存储介质，或计算机可读介质）包括，在其上所记录的，用于实现这里所述方法之一的计算机程序。所述数据载体，数字存储介质或记录介质是典型地有形的和/或非瞬态性的。

本发明所述方法的进一步实施例是，因此，代表用于实现这里所述方法之一的计算机程序的数据流或信号序列。例如，所述数据流或信号序列可能配置为通过数据通信连接，例如通过因特网实现传输。

本发明所述方法的进一步实施例包括处理工具，例如计算机，或者可编程逻辑装置，配置或者调整为实现这里所述方法之一。

本发明所述方法的进一步实施例包括一计算机，所述计算机具有安装于其上的计算机程序，用于实现这里所述方法之一。

本发明所述方法的进一步实施例包括一设备或者系统，配置为将实现这里所述方法之一的计算机程序转移（例如，电子或者光学地）给一接收器。所述接收器可能，例如，为一计算机，移动设备，存储设备或者类似的。所述装置或者系统可能，例如，包括一文件服务器，所述文件服务器用于将计算机程序传输给接收器。

在某些实施例中，一可编程逻辑装置（例如，现场可编程逻辑门阵列）可被用于实现这里所述方法的一些或者所有功能。在某些实施例中，现场可编程逻辑门阵列可与微处理器相配合以实现这里所描述的方法之一。一般来说，所述方法可更好地通过任何硬件设备实现。

以上对本发明的较佳实施进行了具体说明，当然，本发明还可以采用与上述实施方式不同的形式，这些都不构成对本实施方式的任何限制，熟悉本领域的技术人员在不违背本实用新型精神的前提下所作的等同的变换或相应的改动，都应该属于本发明的保护范围内。

参考文献：

[1]J.T.GisladottirandM.T.Orchard.Motion-onlyvideocompression.InProc.ICIP-94.IEEEInternationalConferenceImageProcessing,volume1,pages730734,1316Nov.1994。

[2]ShangwenLi,SijiaChen,JianpengWang,andLuYu.Secondorderpredictiononh.264/avc.InProc.PictureCodingSymposiumPCS2009,6-8May2009。

Claims (17)

1.一种混合视频解码方法，包括

预测来自先前解码视频部分的当前解码帧以获取当前解码帧(200a)的预测信号(138)；

通过运动补偿预测利用先前解码帧的参考残留信号对当前解码帧的残留信号进行附加预测，

其中所述当前解码帧的残留信号与预测信号(138)的预测误差有关；

熵解码所述当前解码帧(200a)的最终残留信号(132)；以及

通过相加以下信号对当前解码帧(200a)进行重构：

所述当前解码帧(200a)的预测信号(138)，

当前解码帧(200a)的残留预测信号(134)，其中所述残留预测信号(134)是在对当前解码帧(200a)的残留信号(136)进行预测的过程中通过混合视频解码器获取，以及

当前解码帧的最终残留信号(132)；

其中该方法还包括在帧的基础上对先前解码帧的最终残留信号进行熵解码和选择：

通过先前解码帧的最终残留信号对先前解码帧的参考残留信号进行构建，或者

通过对先前解码帧的最终残留信号和先前解码帧的残留预测信号求和来构建先前解码帧的参考残留信号，所述先前解码帧的残留预测信号通过运动补偿预测利用一个甚至更多的先前解码帧的参考残留信号对先前解码帧的残留信号进行预测来获取；或者

其中所述混合视频解码器被配置为：

对先前解码帧的最终残留信号进行熵解码，

通过先前解码帧的最终残留信号对先前解码帧的第一候选参考残留信号进行构建并将其插入到所述混合视频解码器的解码图像缓冲区中，

通过对先前解码帧的最终残留信号和先前解码帧的残留预测信号求和来构建先前解码帧的第二候选参考残留信号，并将其插入到所述混合视频解码器的解码图像缓冲区中，其中所述先前解码帧的残留预测信号通过运动补偿预测利用一个甚至更多的先前解码帧的参考残留信号对先前解码帧的残留信号进行预测来获取，以及

根据比特流内的信号作用使用第一或第二候选参考残留信号作为先前解码帧的参考残留信号。

2.根据权利要求1所述的混合视频解码方法，进一步包括：对先前解码帧的最终残留信号(132)进行熵解码，以及通过先前解码帧的最终残留信号(132)对先前解码帧的参考残留信号(127)进行构建。

3.根据权利要求1所述的混合视频解码方法，进一步包括：对先前解码帧的最终残留信号(132)进行熵解码，通过运动补偿预测利用一个甚至更多的先前解码帧的参考残留信号对先前解码帧的残留信号(136)进行预测以获取先前解码帧的残留预测信号(134)，并且通过对先前解码帧的最终残留信号(132)和先前解码帧的残留预测信号(134)求和来构建先前解码帧的参考残留信号(127)。

4.根据权利要求1所述的混合视频解码方法，进一步包括：对残留预测运动参数上的信息进行熵解码，并利用所述残留预测运动参数对当前解码帧的残留信号进行预测。

5.根据权利要求1所述的混合视频解码方法，进一步包括：对视频预测运动参数(130)上的信息进行熵解码，并通过运动补偿预测利用视频预测运动参数对当前解码帧进行预测以获取当前解码帧的预测信号(138)，其中所述当前解码帧的残留信号(136)与预测信号(138)的预测误差有关。

6.根据权利要求1所述的混合视频解码方法，进一步包括：对当前解码帧的一个或多个语法元素进行解码，并将当前解码帧的残留信号(136)的预测应用于当前解码帧的第一样本集的预设集，所述预设集由一个或多个语法元素所界定。

7.根据权利要求1所述的混合视频解码方法，进一步包括：对当前解码帧的一个或多个语法元素进行解码，并将当前解码帧的残留信号(136)的预测应用于当前解码帧的第一样本集的预设集，并将当前解码帧的预测应用于当前解码帧(200a)的第二样本集，所述混合视频解码器还对所每一所述第二样本集的一个或多个语法元素进行解码，并利用每一第二样本集的一个或多个语法元素来将第一样本集的预设集从第二样本集中鉴别出来。

8.根据权利要求1所述的混合视频解码方法，进一步包括：对当前解码帧(200a)的一个或多个语法元素进行解码并将当前解码帧(200a)的残留信号(136)预测应用于当前解码帧(200a)的第一样本集的预设集，其中所述预设集由一个或多个语法元素所界定，所述混合视频解码器还将部分形成当前解码帧(200a)预测信号(138)的当前解码帧的帧内预测应用于当前解码帧(200c)第二样本集的第一预设集，所述混合视频解码器还将部分形成当前解码帧预测信号(138)的当前解码帧的运动补偿预测应用于第二样本集的第二预设集，这样使得所述第一样本集与第二样本集的第一和第二预设集相互独立。

9.根据权利要求1所述的混合视频解码方法，进一步包括：从比特流中提取对所述先前解码帧进行索引的残留参考帧索引。

10.根据权利要求1所述的混合视频解码方法，进一步包括：对所述先前解码帧进行索引的残留参考帧索引进行推断，这样使得后者基于所述混合视频解码器配置为确定当前解码帧(200a)的预测信号，其中所述残留信号(136)与预测信号的预测误差有关。

11.根据权利要求1所述的混合视频解码方法，进一步包括：利用先前在预测当前解码帧另一样本集的当前解码帧的残留信号或者先前解码帧的残留信号中使用的残留预测运动参数来对用于预测当前解码帧的样本预设集的当前解码帧的残留信号的残留预测运动参数进行预测。

12.根据权利要求1所述的混合视频解码方法，进一步包括：利用先前在确定当前解码帧(200a)的另一或相同样本集的当前解码帧(200a)的预测信号(138)中或者先前由所述混合视频解码器在确定先前解码帧的预测信号(138)中使用的运动参数来对用于预测当前解码帧样本预设集的当前解码帧(200a)的残留信号的残留预测运动参数进行预测，其中所述残留信号(136)与预测信号(138)的预测误差有关。

13.根据权利要求1所述的混合视频解码方法，进一步包括：利用多重假设预测来对当前解码帧的残留信号进行预测，并且对用于预测当前解码帧的残留信号的多个假设进行有区别地解码，以区别于在确定当前解码帧预测信号中使用的多个视频假设，其中所述残留信号与预测信号的预测误差有关。

14.根据权利要求1所述的方法，当在计算机上运行时，计算机程序具有用于执行的程序代码。

15.一种混合视频解码器，包括：

第一预测器(124)，该第一预测器(124)被配置为预测来自先前解码视频部分的当前解码帧以获取当前解码帧(200a)的预测信号(138)；

第二预测器(126)，该第二预测器(126)被配置为通过运动补偿预测利用先前解码帧(200b)的参考残留信号(127)对当前解码帧(200a)的残留信号(136)进行附加预测，其中所述当前解码帧(200a)的残留信号(136)与预测信号(138)的预测误差有关；

比特流提取器，该比特流提取器被配置为熵解码所述当前解码帧(200a)的最终残留信号(132)；以及

加法器(120、122)，该加法器(120、122)通过相加以下信号对当前解码帧(200a)进行重构：

所述当前解码帧(200a)的预测信号(138)，

当前解码帧(200a)的残留预测信号(134)，其中所述残留预测信号(134)是在对当前解码帧(200a)的残留信号(136)进行预测的过程中通过混合视频解码器获取，以及

当前解码帧的最终残留信号(132)；

其中所述比特流提取器被配置为对先前解码帧的最终残留信号进行熵解码，并且其中所述混合视频解码器被配置为在帧的基础上选择：

通过先前解码帧的最终残留信号对先前解码帧的参考残留信号进行构建，或者

通过对先前解码帧的最终残留信号和先前解码帧的残留预测信号求和来构建先前解码帧的参考残留信号，所述先前解码帧的残留预测信号通过运动补偿预测利用一个甚至更多的先前解码帧的参考残留信号对先前解码帧的残留信号进行预测来获取；或者

其中：

所述比特流提取器被配置为对先前解码帧的最终残留信号进行熵解码，

所述混合视频解码器被配置为通过先前解码帧的最终残留信号对先前解码帧的第一候选参考残留信号进行构建并将其插入到所述混合视频解码器的解码图像缓冲区中，

所述混合视频解码器被配置为通过对先前解码帧的最终残留信号和先前解码帧的残留预测信号求和来构建先前解码帧的第二候选参考残留信号，并将其插入到所述混合视频解码器的解码图像缓冲区中，其中所述先前解码帧的残留预测信号通过运动补偿预测利用一个甚至更多的先前解码帧的参考残留信号对先前解码帧的残留信号进行预测来获取，以及

所述混合视频解码器被配置为根据比特流内的信号作用使用第一或第二候选参考残留信号作为先前解码帧的参考残留信号。

16.根据权利要求15所述的混合视频解码器，其中所述混合视频解码器被配置为对当前解码帧的一个或多个语法元素进行解码并将当前解码帧的残留信号(136)预测应用于当前解码帧的第一样本集的预设集，并且将当前解码帧预测应用于当前解码帧(200a)的第二样本集，对每一所述第二样本集的一个或多个语法元素进行解码，并利用每一第二样本集的一个或多个语法元素来将第一样本集的预设集从第二样本集或第二样本集的子集中鉴别出来。

17.一种混合视频编码方法，包括

预测来自先前编码视频部分的当前编码帧以获取当前编码帧(200a)的预测信号(138)；

被配置为通过运动补偿预测利用先前编码帧的参考残留信号对当前编码帧的残留信号进行附加预测，其中所述当前编码帧的残留信号与预测信号(138)的预测误差有关；

熵编码所述当前编码帧(200a)的最终残留信号(132)；从而通过相加以下信号对当前编码帧(200a)进行重构：

所述当前编码帧(200a)的预测信号(138)，

当前编码帧(200a)的残留预测信号(134)，其中所述残留预测信号(134)是在对当前编码帧(200a)的残留信号(136)进行预测的过程中通过混合视频编码器获取，以及

当前编码帧的最终残留信号(132)；

其中该方法还包括在帧的基础上对先前编码帧的最终残留信号进行熵编码和选择：

通过先前编码帧的最终残留信号对先前编码帧的参考残留信号进行构建，或者

通过对先前编码帧的最终残留信号和先前编码帧的残留预测信号求和来构建先前编码帧的参考残留信号，所述先前编码帧的残留预测信号通过运动补偿预测利用一个甚至更多的先前编码帧的参考残留信号对先前编码帧的残留信号进行预测来获取；或者

其中所述混合视频编码器被配置为：

对先前编码帧的最终残留信号进行熵编码，

通过先前编码帧的最终残留信号对先前编码帧的第一候选参考残留信号进行构建并将其插入到所述混合视频编码器的解码图像缓冲区中，

通过对先前编码帧的最终残留信号和先前编码帧的残留预测信号求和来构建先前编码帧的第二候选参考残留信号，其中所述先前编码帧的残留预测信号通过运动补偿预测利用一个甚至更多的先前编码帧的参考残留信号对先前编码帧的残留信号进行预测来获取，以及

根据比特流内的信号作用使用第一或第二候选参考残留信号作为先前编码帧的参考残留信号。