CN113994687A - 用于视频译码技术的时间处理 - Google Patents

Abstract

一种解码器(400)被配置成：接收第一输出视频和一个或多个另外的经编码流(416、428)；解码所述一个或多个另外的经编码流的相应帧以导出相应残差集合；以及将所述残差集合与所述第一输出视频组合(470)以生成经重建输出视频(448)。每一帧划分成多个拼片，且每一拼片划分成多个块。为了解码相应帧，所述解码器被配置成：从所述一个或多个另外的经编码流获得(440、446)预备残差集合；使用时间缓冲器(432)导出时间预测的集合；以及将所述时间预测的集合与所述预备残差集合组合(468)。所述解码器被配置成在帧层级处、拼片层级处和块层级处实现所述时间预测的集合的值的归零。

Description

用于视频译码技术的时间处理

技术领域

本发明涉及用于在视频译码技术中使用的方法、设备、计算机程序和计算机可读介质。

背景技术

信号的压缩和解压缩是许多已知系统中的考虑因素。例如视频等许多类型的信号可经压缩和编码以供例如经由数据通信网络传输。当对此信号进行解码时，可能需要增加信号的质量水平和/或恢复原始信号中所含的尽可能多的信息。

一些已知系统采用可缩放编码技术。可缩放编码涉及将信号连同信息一起编码以允许以一个或多个不同质量水平重建信号，这例如取决于解码器的能力和可用带宽。

存在关于可缩放编码系统中信号的重建的若干考虑因素。一个此考虑因素是编码器和/或解码器有效地处理信息的能力。编码器和/或解码器处理信息的效率可以是编码器和/或解码器的性能水平的因素。

发明内容

在所附权利要求书中陈述本发明的各个方面。

从参考附图作出的仅借助于实例给定的以下描述将了解另外的特征和优点。

附图说明

图1是示出根据本文中的实例的编码过程的示意图；

图2是示出根据本文中的实例的解码过程的示意图；

图3A和3B是各自示出根据本文中的实例的编码过程的示意图；以及

图4A和4B是各自示出根据本文中的实例的解码过程的示意图。

具体实施方式

本文描述一种混合向后兼容译码技术。

本文中所描述的实例提供一种灵活、可调适、高效且计算量小的译码格式，其将不同视频译码格式、基础编解码器(例如，AVC、HEVC，或任何其它当前或将来的编解码器)与至少两个增强层级的经译码数据组合。

所述编码方案的一般结构使用以基础编解码器编码的下取样源信号，将第一层级的校正数据添加到基础编解码器的经解码输出以生成经校正图片，且接着将另一层级的增强数据添加到经校正图片的上取样型式。

因此，流被视为基础流和增强流。值得注意的是，通常预期基础流可由硬件解码器解码，而预期增强流适于具有合适功率消耗的软件处理实施方案。

此结构形成多个自由度，允许对许多情形具有极大的灵活性和适应性，从而使得译码格式适合于许多用例，包含过顶(Over-the-Top，OTT)传输、实况流式传输、实况超高清(UHD)广播等。

尽管基础编解码器的经解码输出并非意图用于检视，但其为较低分辨率下的完全经解码视频，从而使得输出与现有解码器兼容，并且在认为合适的情况下也可用作较低分辨率输出。

编解码器格式使用最小数目的简单译码工具。当协同组合时，它们相比于以基础编解码器编码的全分辨率图片可提供视觉质量改进，同时使得其可被使用的方式较灵活。

图1展示第一实例编码器100。示出的组件还可被实施为相应编码过程的步骤。

在编码器100中，处理输入的全分辨率视频102以生成各种编码流。通过向基础编码器106(例如，AVC、HEVC，或任何其它编解码器)馈送通过对输入视频102进行下取样104产生的输入视频的下取样型式来产生第一编码流(经编码基础流110)。通过将编码操作114应用于通过取经重建基础编解码器视频和输入视频的下取样型式之间的差112而获得的残差来产生第二编码流(经编码层级1流116)。通过用基础解码器108对基础编码器106的输出解码来获得经重建基础编解码器视频。通过处理126通过取经重建基础译码视频的校正型式的上取样型式与输入视频102之间的差124而获得的残差来产生第三编码流(经编码层级2流128)。通过将经重建基础编解码器视频与通过将解码操作118应用于经编码层级1流116而获得的残差组合120来获得经重建基础编解码器视频的校正型式。

层级1编码操作114以任选的层级l时间缓冲器130操作，所述层级1时间缓冲器可用于应用如下文进一步描述的时间处理。层级2编码操作126也以任选的层级2时间缓冲器132操作，所述层级2时间缓冲器可用于应用如下文进一步描述的时间处理。层级1时间缓冲器130和层级2时间缓冲器132可在时间选择组件134的控制下操作。时间选择组件134可接收输入视频102和下取样104的输出中的一个或多个以选择时间模式。这在稍后的实例中更详细地解释。

图2展示第一实例解码器200。示出的组件还可被实施为相应解码过程的步骤。解码器接收由例如图1的编码器100等编码器生成的三个流(经编码基础流210、经编码层级1流216和经编码层级2流228)连同含有进一步解码信息的标头236。经编码基础流210由对应于编码器中使用的基础解码器的基础解码器208解码，且其输出与通过解码240经编码层级1流216获得的经解码残差组合238。组合的视频被上取样242且进一步与通过将解码操作246应用于经编码层级2流228而获得的经解码残差组合244。

图3A和3B展示第二实例编码器300、380的不同变化。第二实例编码器300、380可包括图1的第一实例编码器100的实施方案。在图3A和3B的实例中，更详细地详述流的编码步骤以提供可如何执行步骤的实例。图3A示出具有仅在增强过程的第二层级中提供的时间预测(即，相对于层级2编码)的第一变化。图3B示出具有两个增强层级(即，层级1和2)中执行的时间预测的第二变化。

基础流310大体上通过如参考图1所解释的过程创建。也就是说，对输入视频302进行下取样304(即，将下取样操作304应用于输入视频302以生成下取样输入视频)。接着使用第一基础编码器306编码通过对输入视频302进行下取样304而获得的下取样视频(即，将编码操作应用于下取样输入视频以使用第一或基础编码器306生成经编码基础流310)。优选地，第一或基础编码器306是适于硬件解码的编解码器。经编码基础流310可被称为基础层或基础层级。

如上所述，增强流可包括两个流。第一层级的增强(本文中描述为“层级1”)提供校正数据的集合，其可与基础流的经解码型式组合以生成经校正图片。此第一增强流在图1和3中示出为经编码层级1流316。增强流可由增强编码器生成。增强编码器可不同于用于生成经编码基础流310的基础编码器306。

为了生成经编码层级1流316，使用基础解码器308对经编码基础流310进行解码(即，将解码操作应用于经编码基础流310以生成经解码基础流)。接着创建经解码基础流与通过对输入视频302进行下取样304而获得的下取样输入视频之间的差312(即，将减法运算312应用于下取样输入视频和经解码基础流以生成第一残差集合)。此处，术语残差以与此项技术中已知的方式相同的方式使用，即，参考帧与所要帧之间的误差。此处，参考帧是经解码基础流，且所要帧是下取样输入视频。因此，第一增强层级中使用的残差可被视为经校正视频，因为其将经解码基础流‘校正’为基础编码操作中使用的下取样输入视频。

差312接着经编码以生成经编码层级1流316(即，将编码操作应用于第一残差集合以生成第一增强流316)。

在图3A和3B的实例实施方案中，编码操作包括若干步骤，其中的每一个是任选和优选的且提供特定益处。

图3中，所述步骤包含变换步骤336、量化步骤338和熵编码步骤340。

尽管图中未图示，但在一些实例中，编码过程识别是否选择残差分级模式。如果选择残差模式，则可执行残差分级步骤(即，可对残差的第一步骤执行残差分级操作以生成经分级的残差集合)。经分级的残差集合可经滤波使得并非所有残差编码到第一增强流316(或校正流)中。

接着对第一残差集合或者经分级或经滤波的第一残差集合进行变换336、量化338和熵编码340以产生经编码层级1流316(即，取决于是否选择分级模式将变换操作336应用于第一残差集合或经滤波的第一残差集合以生成经变换的残差集合；将量化操作338应用于经变换的残差集合以生成经量化的残差集合；以及将熵编码操作340应用于经量化的残差集合以生成第一层级的增强流316)。优选地，熵编码操作340可以是霍夫曼编码操作或游程长度编码操作或这两者。任选地，控制操作(图中未图示)可应用于经量化的残差集合以便校正分级操作的效应。

如上所述，增强流可包括第一层级的增强316和第二层级的增强328。第一层级的增强316可被视为经校正流。第二层级的增强328可被视为将经校正流转换为原始输入视频的另一层级的增强。

通过对另一残差集合进行编码来创建另一层级的增强328，所述残差为经解码层级1流的上取样型式与输入视频302之间的差324。

图3中，对经量化(或控制)的残差集合进行逆量化342和逆变换344，然后任选地应用解块滤波器(图中未图示)来生成经解码的第一残差集合(即，将逆量化操作342应用于经量化的第一残差集合以生成解量化的第一残差集合；将逆变换操作344应用于解量化的第一残差集合以生成解变换的第一残差集合；以及任选地将解块滤波操作应用于解变换的第一残差集合以生成经解码的第一残差集合)。解块滤波步骤取决于所应用的变换336为任选的，且包括将经加权掩码应用于解变换344的第一残差集合的每一块。

将经解码基础流与经解码的第一残差集合组合320(即，对经解码基础流和经解码的第一残差集合执行求和运算320以生成重新创建的第一流)。如图3A和3B中所示出，接着对所述组合进行上取样322(即，将上取样操作322应用于重新创建的第一流以生成经上取样的重新创建的流)。

接着将上取样流与创建另一残差集合的输入视频302进行比较(即，将差运算324应用于经上取样的重新创建的流以生成另一残差集合)。另一残差集合接着经编码为经编码层级2增强流328(即，接着将编码操作应用于另一残差集合以生成经编码的另一增强流328)。

如同经编码的层级1流316，应用于层级2残差的编码可包括若干步骤。图3A将步骤示出为时间预测(在下文进一步描述)、变换348、量化350和熵编码352。

尽管图中未图示，但在一些实例中，编码过程识别是否选择残差分级模式。如果选择残差模式，则可执行残差分级步骤(即，可对另一残差集合执行残差分级操作以生成另一经分级的残差集合)。另一经分级的残差集合可经滤波使得并非所有残差被编码到另一增强流328中。

随后变换348另一残差集合或另一经分级的残差集合(即，对另一经分级的残差集合执行变换操作348以生成另一经变换的残差集合)。如所示出，在上取样322之前，变换操作348可利用从重新创建的第一流导出的预测系数或预测平均值。其它信息如下。

图3A展示第二实例编码器300的变化，其中作为层级2编码过程的一部分执行时间预测。使用时间选择组件334和层级2时间缓冲器332执行时间预测。时间选择组件334可如下文更详细地描述确定时间处理模式，且相应地控制层级2时间缓冲器332的使用。举例来说，如果将不执行时间处理，则时间选择组件334可指示层级2时间缓冲器332的内容将设定为0。图3B展示第二实例编码器380的变化，其中作为层级1和层级2编码过程两者的一部分执行时间预测。在图3B中，除了层级2时间缓冲器332还提供层级1时间缓冲器330。尽管未图示，但其中在层级1处而不在层级2处执行时间处理的另外的变化也是可能的。

当选择时间预测时，图3A或3B的第二实例编码器300、380可通过减去从适当时间缓冲器导出的相应系数集合来进一步修改系数(即，由变换组件输出的经变换残差)。相应系数集合可包括从先前帧导出的相同空间区域(例如，定位于帧内的相同译码单元)的系数的集合(例如，针对先前帧的相同区域的系数)。这些系数可经导出或以其它方式从时间缓冲器获得。从时间缓冲器获得的系数在本文中可以被称为时间系数。可由例如第三减法组件354和356(用于相应层级2和1)等减法组件应用减法。将相对于稍后的实例进一步描述此时间预测步骤。概括地说，当应用时间预测时，经编码系数对应于所述帧和流的另一帧之间的差。另一帧可以是流中较早或稍后的帧(或帧中的块)。因此，代替于对经上取样的重新创建的流和输入视频之间的残差进行编码，编码过程可对流中的经变换帧和所述帧的经变换残差之间的差进行编码。因此，熵可减小。可基于控制信息针对译码单元的群组(在本文中被称作“拼片”)选择性地应用时间预测，且可通过连同经编码流一起发送额外控制信息(例如，在标头内)来应用解码器处时间预测的应用。

如图3A和3B中所展示，当时间预测为活跃时，每一经变换系数可为：

Δ＝F_当前-F_缓冲器

其中时间缓冲器可存储与先前帧相关联的数据。可针对一个颜色平面或针对多个颜色平面执行时间预测。一般来说，可针对视频“帧”应用减法作为逐要素减法，其中帧的要素表示经变换系数，其中相对于特定n乘n译码单元大小(例如2×2或4×4)应用变换。由时间预测产生的差(例如，上述差量)可存储在缓冲器中以用于后续帧。因此，实际上，由时间预测产生的残差是相对于缓冲器的系数残差。尽管图3A和3B展示在变换操作之后执行时间预测，但其也可在量化操作之后执行。这可避免需要应用层级2逆量化组件358和/或层级1逆量化组件360。因此，如图3A和3B中所示出和上文所描述，执行编码过程之后第二实例编码器300、380的输出是经编码基础流310以及一个或多个增强流，所述一个或多个增强流优选地包括用于第一层级的增强的经编码层级1流316和用于另一或第二层级的增强的经编码层级2流328。

图4A和4B示出第二实例解码器400、480的相应变化。第二实例解码器400、480的变化可分别经实施以对应于图2的第一实例解码器200。如可清楚地看到，更详细地详述解码步骤和组件以提供可如何执行解码的实例。如同图3A和3B，图4A示出其中时间预测仅用于第二层级(即，层级2)的变化，且图4B示出其中时间预测用于两个层级(即，层级1和2)的变化。如前所述，设想另外的变化(例如层级1，但非层级2)，其中可使用信令信息控制配置的形式。

如图4B的实例中所展示，在解码过程中，解码器480可解析标头436(例如，含有全局配置数据、图片配置数据和其它数据块)且基于那些标头436配置解码器。为了重新创建输入视频，解码器400、480可解码基础流410、第一增强流416和另一增强流428中的每一个。所述流的帧可经同步且接着组合以导出经解码视频448。

在每一解码过程中，增强流可经历熵解码450、452、逆量化454、456和逆变换458、460的步骤以重新创建残差集合。

图4A和4B的解码过程包括检索表示第一层级的增强的熵解码的经量化系数的阵列，以及输出L-1残差的阵列。在此情况下，通过将熵解码450操作应用于经编码L-1流416来获得熵解码的经量化系数。图4A和4B的解码过程进一步包括检索基础解码器408的输出的样本的阵列。图4A和4B的解码过程进一步包括将解量化过程454应用于熵解码的经量化系数的阵列以导出解量化系数的集合，将变换过程458应用于解量化系数的集合，以及任选地应用滤波过程(图4A和4B中未图示)来输出表示第一层级的增强的L-1残差的阵列，其可被称为预备残差集合。在此情况下，将解量化过程454应用于经编码层级1流416的帧的相应块的熵解码的经量化系数，且将变换过程458(其可被称为逆变换操作)应用于所述帧的相应块的解量化过程454的输出。图4A和4B的解码过程接着进一步包括通过将L-1残差的阵列与基础解码器408的输出的样本的阵列组合462来再创建图片。图4A和4B的解码过程包括根据传信的参数应用来自预定变换过程的集合的变换过程458。举例来说，变换过程458可应用于2×2译码单元或4×4译码单元。译码单元在本文中可以被称为阵列中的要素的块，在此情况下为L-1残差的阵列。

图4A和4B的解码过程包括检索表示另一层级的增强的熵解码的经量化系数的阵列，以及输出残差的阵列。在图4A和4B中展示的解码过程中，另一层级的增强是第二层级的增强，且残差输出的阵列为L-2残差的阵列。图4A和4B的方法进一步包括检索对应于表示另一层级的增强的熵解码的经量化系数的阵列的第一层级的增强的L-1残差的阵列。图4A和4B的方法进一步包括将上取样过程464应用于第一层级的增强的残差的阵列。在图4A和4B中，将上取样过程464应用于第一层级的增强的L-1残差的阵列与基础解码器408的输出的样本的相应阵列的组合。

在图4A和4B中，上取样过程464是经修改的上取样过程，其中将修改符添加到残差。添加修改符的步骤可作为变换过程460的一部分执行。或者，因为变换过程460涉及线性变换，所以添加修改符的步骤可作为经修改的上取样过程464的一部分执行，如图4A和4B中所展示。添加修改符的步骤因此导致残差的修改。所述修改可基于残差在帧中的位置执行。所述修改可以是预定值。

在图4A中，在层级2解码期间应用时间预测。在图4A的实例中，时间预测由时间预测组件466控制。在此变化中，从经编码层级2流428提取用于时间预测的控制信息，如由从流到时间预测组件466的箭头所指示。在例如图4B中展示的其它实施方案中，用于时间预测的控制信息可单独地例如在标头436中从经编码层级2流428发送。时间预测组件466控制层级2时间缓冲器432的使用，例如其可确定时间模式且控制时间刷新，如参考稍后的实例所描述。可基于残差的先前帧的数据更新时间缓冲器432的内容。当应用时间缓冲器432时，将缓冲器的内容添加468到第二残差集合。在图4A中，将时间缓冲器432的内容添加468到层级2解码组件446(其在图4A中实施熵解码452、逆量化456和逆变换460)的输出。在其它实例中，时间缓冲器的内容可表示中间解码数据的任何集合，且因此，添加468可恰当地移动以在适当阶段应用时间缓冲器的内容(例如，如果在解量化系数阶段应用时间缓冲器，则添加468可位于逆变换460之前)。经时间校正的第二残差集合接着与上取样464的输出组合470以生成经解码视频448。经解码视频448处于层级2空间分辨率，其可高于层级1空间分辨率。第二残差集合将校正应用于(可检视)经上取样的经重建视频，其中校正详细地加回且改进线和特征的锐度。

变换过程458、460可根据传信参数而从预定变换过程的集合选择。举例来说，变换过程460可应用于L-2残差的阵列中的要素的2×2块或L-2残差的阵列中的要素的4x4块。

图4B展示第二实例解码器480的变化。在此情况下，由时间预测组件466从标头436接收时间预测控制数据。时间预测组件466控制层级1和层级2时间预测两者，但在其它实例中，可视需要为两个层级提供单独的控制组件。图4B展示添加468到层级2解码组件446的输出的经重建的第二残差集合可如何被反馈以存储在用于下一帧的层级2时间缓冲器432中(为了清晰起见，从图4A省略所述反馈)。还展示以与上文描述的层级2时间缓冲器432类似的方式操作的层级1时间缓冲器430，且在此图中展示用于缓冲器的反馈回路。层级1时间缓冲器430的内容经由求和472添加到层级1残差处理管线中。再次，此求和472的位置可取决于在何处应用时间预测而沿着层级1残差处理管线变化(例如，如果在经变换系数空间中应用时间预测，则其可位于层级1逆变换组件458之前)。

图4B展示时间控制信息可传信到解码器的两种方式。第一方式是经由标头436，如上文所描述。可用作替代性或额外传信路径的第二方式是经由残差本身内编码的数据。图4B展示其中数据474可编码到HH变换系数中且因此可在熵解码452之后提取的案例。此数据474可从层级2残差处理管线提取且传递到时间预测组件466。

每一增强流或两个增强流可使用网络抽象层单元(NALU)的集合囊封到一个或多个增强位流中。NALU意图囊封增强位流以便将增强应用于正确的基础重建帧。NALU可例如含有到NALU的参考索引，其含有增强必须应用于的基础解码器经重建帧位流。以此方式，增强可同步到基础流，且每一位流的帧组合以产生经解码输出视频(即，增强层级的每一帧的残差与基础解码流的帧组合)。图片的群组可表示多个NALU。

每一帧可由表示不同颜色分量的三个不同平面组成，例如三通道YUV视频的每一分量可具有不同平面。每一平面可因而具有关于给定层级的增强的残差数据，例如，Y平面可具有层级1残差数据的集合和层级2残差数据的集合。在某些情况下，例如对于单色信号，可仅存在一个平面；在此情况下，术语帧和平面可互换使用。层级1残差数据和层级2残差数据可分割如下。将残差数据划分成块，所述块的大小取决于所使用的变换的大小。如果使用2×2定向分解变换，则所述块为例如要素的2×2块，或如果使用4×4定向分解变换，则所述块为要素的4×4块。拼片是覆盖帧的区(例如，M乘N区，其可以是正方形区)的块的群组。拼片为例如要素的32×32拼片。如此，经编码流中的每一帧可划分成多个拼片，且所述多个拼片的每一拼片可划分成多个块。对于彩色视频，每一帧可被分割成多个平面，其中每一平面划分成多个拼片，且所述多个拼片的每一拼片划分成多个块。

上文提到在整个过程中处理组件或工具的集合可如何应用于增强流中的每一个(或输入视频102、302)。下文提供所述工具中的每一个的概述及其在如图1到4中所示出的总体过程内的功能性。

将下取样过程104、304应用于输入视频102、302以产生待由基础编码器106、306编码的下取样视频。下取样104、304可在竖直和水平方向两者上，或替代地仅在水平方向上进行。

到L-1编码操作114的输入包括L-1残差，其是通过取基础解码器108、308的经解码输出与通过对输入视频102、302进行下取样104、304而获得的下取样视频之间的差112、312获得的。所述L-1残差接着经变换336、量化338和编码340，如下文进一步描述。变换336输出变换系数(即，经变换的L-1残差)。

存在可在变换过程336中使用的两种类型的变换。两者都利用小内核，其直接应用于在应用预测平均的阶段之后保留的残差。

第一变换具有应用于残差的2×2块的2×2内核。所得系数如下：

第二变换具有应用于残差的4×4块的4×4内核。所得系数如下：

如果下取样和/或上取样仅在水平方向上执行(例如，某些要素设定为0)，则还可应用合适地调适的变换。如果使用阿达马变换，例如如上述实例矩阵中所示出，则解码或逆变换可使用相同矩阵，例如阿达马矩阵是其自身的逆。在此情况下，举例来说，可在解码器处使用R＝H*C从系数C的相应(MxN)x1阵列导出关于MxN块的残差R的(MxN)x1阵列，其中H等于上文展示的阿达马矩阵中的一个。

所述系数接着使用线性量化器量化338。线性量化器可使用可变大小的死区。线性量化器可使用与量化步骤和非居中解量化偏移不同大小的死区。

使用熵译码器340对经量化系数进行编码。存在两个熵编码340的方案。在第一方案中，使用游程长度编码器(RLE)对经量化系数进行编码。在第二方案中，首先使用RLE对经量化系数进行编码，接着使用霍夫曼编码器处理经编码输出。这可有利地利用RLE编码通常与经变换残差一起找到的0的长流，且接着进一步有利地使用霍夫曼编码器编码经量化值(例如，其常常具有减小的数目，因为值归因于残差和其线性变换值的分布而增加)的不同频率。

如果已选择残差模式(RM)，则进一步分级和选择L-1残差以便确定应对哪些残差进行变换336和编码。优选地，这在熵编码340之前预先形成。

如果针对L-1编码选择时间选择模式，则编码器将通过减去从层级1时间缓冲器130、330导出的相应系数来进一步修改系数，即下文描述的时间预测。

到L-1解码操作118的输入包括经L-1编码的残差，其通过熵解码器450、解量化器454和逆变换模块458。由这些模块执行的操作是由上文描述的模块执行的逆操作。

如果已针对L-1编码选择时间选择模式，则可从来自层级1时间缓冲器130、330的协同定位的残差部分地预测残差。协同定位的残差在本文中可以被称为时间预测。

如果使用4×4变换，则经解码残差可馈送到解块滤波器模块。解块滤波器通过应用权重可被指定的掩码而在经变换残差的每一块上操作。掩码的一般结构如下：

其中0≤α≤1且0≤β≤1。

来自组合120、320经解码(及经解块，如果适用的话)L-1残差和基础解码视频的输出经上取样122、322以便生成上取样的经重建视频。上取样可以是可选的且在字节流中传信。

到L-2编码操作126的输入包括通过取上取样的经重建视频和输入视频102、302之间的差124、324而获得的L-2残差。L-2残差接着经变换348、量化350和编码352，如下文进一步描述。以如关于L-1编码114所描述相同的方式执行变换348、量化350和编码352。如参考L-1编码114所解释，变换348输出变换系数(即，经变换L-2残差)。如果已选择RM，则进一步分级和选择L-2残差以便确定应对哪些残差进行变换和编码。L-2编码操作126可进一步包括如下文所描述的两个额外过程。

如果选择预测系数模式，则编码器将进一步修改经变换系数C00(例如，用于2×2变换的“平均值”或“A”系数)。如果使用2×2变换，则将通过减去从其预测残差的经变换块的经上取样残差的值来修改C00。如果使用4×4变换，则将通过减去从其预测残差的经变换块的四个经上取样残差的平均值来修改C00。

如果针对L-2编码选择时间选择模式，则编码器将通过减去从层级2时间缓冲器132、332导出的相应系数来进一步修改所述系数，如上文所描述。

到L-2解码操作246、446的输入包括经编码L-2残差。L-2残差的解码过程通过熵解码器452、解量化器456和逆变换模块460。由这些模块执行的操作是由上文描述的模块执行的逆操作。如果已针对L-2编码选择时间选择模式，则可从来自层级2时间缓冲器132、332的协同定位的残差部分地预测残差。协同定位的残差在本文中可以被称为时间预测。

经修改的上取样过程242、464包括两个步骤，第二步骤取决于由解码器接收的信令。在第一步骤中，对经解码(及解块，如果适用的话)L-1残差和基础解码视频208、408(L-1重建视频)的组合238、462进行上取样以生成上取样的经重建视频。如果已选择预测系数模式，则实施第二步骤。确切地说，从其导出上取样的经重建视频中的2×2块的L-1重建值中的要素的值被添加到上取样的经重建视频中的所述2×2块。

贯穿上文，术语位流可按需要被流或字节流或NALU流代替。

参考图4A和4B，以下实例涉及层级2解码期间应用的时间预测过程。然而，应了解，可另外或替代地在层级1解码期间应用以下时间预测过程。

在此实例中，解码器400、480被配置成接收temporal_enabled参数，其指定是否应在解码图片时使用时间预测。temporal_enabled参数在本文中可以被称为具有指示启用时间处理的第一值的第一参数。在此情况下，temporal_enabled参数指示解码器400、480是否将刷新从时间缓冲器432的内容导出的时间预测的值。temporal_enabled参数的值可具有一个位的位长度。在此实例中，值1指定将在解码图片时使用时间预测，且值0指定将不在解码图片时使用时间预测。可针对与上文所论述的经编码流相关联的图片的群组接收temporal_enabled参数一次，所述图片群组是经译码视频流内的连续图片的集合。

在此实例中，解码器400、480被配置成接收temporal_refresh_bit参数，其指定是否应针对帧刷新时间缓冲器432。如果帧包括多个平面，则可针对帧中的所有平面应用刷新(即，针对包括所述平面的帧)。刷新时间缓冲器432可包含将来自时间缓冲器432的值设定为零。以此方式，当时间缓冲器432的内容添加468到第二残差集合时，第二残差集合将以与不应用时间缓冲器432的情况相同的方式不变。temporal_refresh_bit参数的值可具有一个位的位长度。在此实例中，值1指定将针对帧刷新时间缓冲器432，且值0指示将不针对帧刷新时间缓冲器432。可针对经译码视频流中的每一图片接收temporal_refresh_bit参数一次。temporal_enabled和temporal_refresh_bit参数可包括在例如经由如上文所描述的标头436传信到解码器的时间控制信息中。

在此实例中，如果变量temporal_enabled等于1且temporal_refresh_bit等于0，则如下文所指定调用时间预测过程。

到所调用时间预测过程的输入为：

·位置(xTbP，yTbP)，其指定当前亮度或色度变换块的左上样本相对于当前图片的左上亮度或色度样本。(xTbP，yTbP)可与任一亮度或色度平面相关，这取决于变换系数属于哪一平面。

·参数nTbS，其指定当前变换块的大小。举例来说，当将在上文描述的变换过程中使用2×2定向分解变换时，nTbS等于2，且当将使用4×4定向分解变换过程时，nTbS等于4。

·参数temporal_tile_intra_signalling_enabled，其指定是否应在解码要素的拼片时使用时间拼片预测。参数temporal_tile_intra_signalling_enabled在本文中可以被称为具有第三值的第三参数。temporal_tile_intra_signalling_enabled参数的值可具有一个位的位长度。在此实例中，如果temporal_tile_intra_signalling_enabled参数的值等于1，则将启用拼片时间预测过程。可针对与上文所论述的经编码流相关联的图片的群组接收temporal_tile_intra_signalling_enabled参数一次。temporal_tile_intra_signalling_enabled参数可包括在例如经由标头436传信到解码器的时间控制信息中。此参数可指示是否可提供涉及拼片的时间信令，其中信令如下文所描述囊封在系数值内(即，数据“之内”或内)。如果此参数被设定为1，则拼片中的第一块可携载所述拼片的时间刷新信令(例如经由所述第一块内的系数值)。

·大小(nTbS)x(nTbS)的阵列TransCoeffQ，其含有具有要素TransCoeffQ[x][y]的熵解码的经量化系数的块。

到此过程的输出是经修改的TransCoeffQ系数的(nTbS)x(nTbS)阵列和具有要素tempPredSamples[x][y]的(nTbS)x(nTbS)阵列tempPredSamples。tempPredSamples的阵列表示使用时间缓冲器432导出的时间预测的集合。

在此实例中，以下有序步骤适用：

1.如果参数temporal_tile_intra_signalling_enabled等于1，则将在解码要素的拼片时使用时间拼片预测过程。在时间拼片预测过程中，如果xTbP＞＞5等于0，yTbP＞＞5等于0(其中“x＞＞y”是x乘y二进制数字的二的补整数表示的算术右移)且TransCoeffQ[nTbs-1][0]&0x1等于1(其中“&”表示逐位“与”运算子)，则以位置(xTbP，yTbP)作为其输入调用拼片时间刷新过程。右移允许跳过连续拼片的要素，例如32×32的拼片具有长度和宽度2⁵，在此情况下，等于零的5位移位指示当前位置为32的倍数且因此涉及拼片的第一块。接着，在此情况下，使用拼片中的第一块来传信拼片时间刷新。拼片时间刷新过程的输出是，位置(xTbP，yTbP)处的拼片的temporalBuffer的内容被设定为零。在此实例中，temporalBuffer表示存储与第二帧相关联的数据的时间缓冲器432，所述第二帧不是可从其导出时间预测的值的当前帧。如此，第二帧可以是流中的较早或稍后帧。TransCoeffQ[nTbS-1][0]&0x1为具有某一值的当前变换块的参数，其指示是否将刷新从相应块的时间缓冲器432导出的时间预测的集合的值。在当前情况下，参数“携载”于变换系数值内。具有位值1(例如0x1)的“&”(即，逻辑“与”)运算简单地将任何非零值转换为输出位值1(且任何零值保持零)。一般来说，TransCoeffQ[nTbS-1][0]&0x1参数在本文中可以被称为具有提供时间信令的第二值的第二参数，所述时间信令在此情况下指示是否将刷新与给定拼片相关联的时间缓冲器432中的值。在此情况下，所述参数用于指示拼片刷新；在下文的实例中，其用于指示块刷新。刷新可涉及将相应拼片或块的值设定为零。在此实例中，TransCoeffQ[nTbS-1][0]&0x1参数的值具有一个位的位长度，且值1指示将刷新时间缓冲器432内的值。在时间拼片预测过程中，响应于接收到拼片内的块的参数TransCoeffQ[nTbS-1][0]&0x1针对时间缓冲器432的拼片执行拼片时间刷新过程。换句话说，解码器被配置成响应于接收到拼片内的指定块的参数TransCoeffQ[nTbS-1][0]&0x1(第二参数)而刷新拼片的时间缓冲器432。如此，拼片的刷新可由拼片内的单个块中的参数传信，而不必针对拼片内的每隔一个块单独地传信刷新。在此实例中，解码器因此被配置成响应于接收到第二参数(TransCoeffQ[nTbS-1][0]&0x1)和第三参数(temporal_tile_intra_signalling_enabled)两者而刷新拼片的时间预测的值，所述第二参数的第二值在下文的情况2)中指示解码器将刷新块的时间预测的值，所述第三参数指示接收具有第二值的指定块的第二参数指示将刷新与拼片相关联的时间缓冲器432中的值。参数TransCoeffQ[nTbS-1][0]&0x1为可经由经编码残差本身内编码的数据传信到解码器的时间控制信息的实例，使得此时间控制信息可在熵解码452之后提取。举例来说，此参数(第二参数)可从块的系数集合中的一个获得。

2.在其中不发生时间拼片预测过程的情况下，如果TransCoeffQ[nTbs-1][0]&0x1等于0，则tempPredSamples[x][y]＝

temporalBuffer[xTbP+x][yTbP+y]，其中x和y在范围[0，nTbS-1]内。否则，tempPredSamples[x][y]全部设定为0。以此方式，对于每一相应的块，响应于从来自相应的块的所述一个或多个经编码流(在此情况下，L-2编码流)的数据获得第二参数(TransCoeffQ[nTbS-1][0]&0x1参数)来刷新从时间缓冲器432导出的相应的块的时间预测的值。响应于确定相应的块的第二参数具有提供相应的块的时间信令的第二值，刷新所述相应的块的时间系数的值。在此情况下，刷新涉及将相应的块的时间预测的值设定为零。在此情况下，针对每一块个别地指示每一块的时间预测的值集合的刷新。否则，如果TransCoeffQ[nTbS-1][0]&0x1等于0，则不刷新时间缓冲器432，且从相应的块的时间缓冲器432导出相应的块的时间预测的集合的值。

3.TransCoeffQ[nTbs-1][0]的值被设定为TransCoeffQ[nTbs-1][0]＞＞1。如果TransCoeffQ[nTbs-1][0]具有二进制值0或1，则此操作针对后续操作(例如，稍后的逆变换)将变换系数值设定为0。这意味着，用于信令的值1不转化为块中的图像假影(残差的值0将刚好相等不变)。

大小(nTbS)x(nTbS)的阵列tempPredSamples添加到(nTbS)x(nTbS)阵列resSamples，且resSamples阵列在位置(xTbP，yTbP)处存储到temporalBuffer。在此实例中，resSamples表示第二残差集合，且tempPredSamples表示时间预测的集合，其如上所述可例如取决于解码器处接收的时间信令而从时间缓冲器432的内容导出。以此方式，如果启用时间处理且此经传信以在块层级处应用，则时间缓冲器432的内容添加468到第二残差集合以生成经时间校正的第二残差集合，所述经时间校正的第二残差集合接着存储到时间缓冲器432。

在本文的实例中，从时间缓冲器导出的时间预测的集合与多个块的每一块的残差的集合组合以执行时间预测。此例如涉及获得块的相应要素的预备残差集合的相应预备残差要素，以及获得与所述要素相关联的相应时间预测，其中所述时间预测可在某些情况下设定为零，或从时间缓冲器的内容导出，其继而可通过解码器处接收的特定时间信令而归零。相应预备残差要素可接着与块的时间预测组合以输出经重建的残差值(例如，层级2残差值)集合以供与来自下部层级(例如层级1和基础层级)的上取样的经重建信号组合。

在本文描述的实例中，解码器400、480被配置成提供三个层级处时间预测的集合的值的归零：帧层级处；拼片层级处；以及块层级处。举例来说，上文描述的temporal_refresh_bit可用于指示帧层级处的时间缓冲器432的刷新(例如，时间缓冲器值的归零)，其中时间缓冲器中的例如涉及完整帧的所有值被设定为零。此可接着提供时间预测值的归零，其中这些值稍后从时间缓冲器432导出。在块层级处，指示时间预测值是否将从时间缓冲器432导出或设定为零的时间信令可携载于变换系数值(例如，逆变换之前的4×4变换的例如HH等系数的值)内。在拼片层级处，例如temporal_tile_intra_signalling_enabled等参数可用于指示拼片中的一个块的块层级信令将用于指示所述拼片的时间缓冲器432的刷新，即拼片中的一个块的块层级信令变为拼片层级信令。当刷新时间缓冲器432时，时间缓冲器内的值被设定为0，这因而意味着对于同一拼片中的后续块，所应用的来自时间缓冲器的值将为零，而与块层级信令无关。

此方法提供相对于时间缓冲器432的刷新的灵活性。举例来说，时间缓冲器432可在第一帧的帧层级处和第二帧的至少一个拼片的拼片层级处刷新，且时间预测可在第三帧的至少一个块的块层级处归零。在块层级处，时间预测的归零可视为使时间缓冲器432归零的等效操作，两个操作都产生在添加468处应用0值的要素。举例来说，解码器400、480可被配置成刷新帧的第一拼片的时间缓冲器432的值，且针对同一帧的第二拼片的第一块的时间预测应用零，同时针对第二拼片的第二块的时间预测应用非零值。

在本文中所描述的解码过程中，可逐块执行经解码视频的生成。以此方式，可执行经解码视频的帧中的要素的块的生成，而不使用先前生成的经解码视频的同一帧中的要素的另一块。出于此原因，可针对帧中的要素的所有块并行执行时间预测过程，这与针对帧中的要素的每一块循序地执行时间预测过程形成比对。

下文描述其它实例。

一些其它实例涉及一种将输入视频编码到多个经编码流中使得经编码流可组合以重建输入视频的方法，所述方法包括：接收全分辨率输入视频；对全分辨率输入视频进行下取样以创建经下取样视频；使用第一编解码器编码经下取样视频以创建基础编码流；从经编码视频重建视频以生成经重建视频；将经重建视频与输入视频进行比较；以及基于所述比较创建一个或多个另外的经编码流。相较于经重建视频，输入视频可为经下取样视频。

根据一实例方法，将经重建视频与输入视频进行比较包括：将经重建视频与经下取样视频进行比较以创建第一残差集合，且其中创建所述一个或多个另外的经编码流包括编码第一残差集合以创建第一层级编码流。

相较于经重建视频，输入视频可为全分辨率输入视频且经重建视频可经上取样。

根据一实例方法，将经重建视频与输入视频进行比较包括：对经重建视频进行上取样以生成上取样的经重建视频；以及将上取样的经重建视频与全分辨率输入视频进行比较以创建第二残差集合，且其中创建所述一个或多个另外的经编码流包括编码第二差以创建第二层级编码流。

相应地，在实例中，所述方法可根据上文所限定的实例方法生成基础编码流、第一层级编码流和第二层级编码流。第一层级编码流和第二层级编码流中的每一个可含有由解码器用以增强经编码基础流的增强数据。

根据一实例方法，编码第一残差集合的步骤包括：将变换应用于残差集合以创建系数的集合；将量化操作应用于所述系数以创建经量化系数的集合；以及将编码操作应用于经量化系数。

根据一实例方法，编码第二残差集合的步骤包括：将变换应用于第二残差集合以创建系数的集合；将量化操作应用于所述系数以创建经量化系数的集合；以及将编码操作应用于经量化系数。

用于编码第一和/或第二残差集合的变换可例如是离散余弦变换或小波变换。在替代实例中，所述变换可以是将要素的块分解为方向分量的小变换(例如，使用2×2内核或4×4内核)。举例来说，2×2内核可以是阿达马变换。关于变换的更多细节可例如查阅以引用的方式并入本文中的专利申请PCT/EP2013/059847或PCT/GB2017/052632。在另一实例中，编码器可在待使用的不同变换之间选择，例如在2×2内核和4×4内核之间选择。这实现编码残差的方式的更大灵活性。变换的选择可基于待变换数据的分析。

第一残差集合和第二残差集合可具有应用于其的不同变换，且选择可以是预先确定的或在过程期间选择。所使用的变换可在标头中传信。

用于编码第一和/或第二残差集合的量化可例如是线性量化。线性量化器可使用可变大小的死区。编码操作可例如是熵编码器，且可包含游程长度编码和/或霍夫曼编码。

残差可为两个视频或帧之间的差。

编码第一残差集合的步骤可包括：基于第一残差集合的预先分析将第一残差集合分级；以及选择待变换和编码的残差的子集。

在一实例中，所述方法包括分析第一残差集合，且基于所述分析执行或不执行以下步骤：将第一残差集合分级；以及选择待变换和编码的残差的子集。

在一实例中，所述方法包括分析第一残差集合，及：将第一残差集合分级；以及选择待变换和编码的残差的子集，使得基于所述分析差分地执行分级和/或选择的步骤。

根据一实例方法，在第一残差集合的选定的残差子集上执行应用变换的步骤。

编码第二残差集合的步骤可包括：基于第二残差集合的预先分析将第二残差集合分级；以及选择待变换和编码的残差的子集。

在一实例中，所述方法包括分析第二残差集合，且基于所述分析执行或不执行以下步骤：将第二残差集合分级；以及选择待变换和编码的残差的子集。

在一实例中，所述方法包括分析第二残差集合，及：将第二残差集合分级；以及选择待变换和编码的残差的子集，使得基于所述分析差分地执行分级和/或选择的步骤。

根据一实例方法，在第二残差集合的选定的残差子集上执行应用变换的步骤。

经编码流可附有一个或多个标头，所述一个或多个标头包含指示编码过程的方面以便于解码的参数。举例来说，所述标头可包含所使用的编解码器、所应用的变换、所应用的量化，和/或其它解码参数。

在某些实例中，量化的步骤可包括基于待变换的系数和/或数据(例如，残差数据)的分析调适量化。在某些实例中，可调适量化步骤中使用的分布。

编码第一残差集合的步骤可包括：从时间缓冲器导出时间系数的集合；以及从系数集合减去时间系数的集合。

编码第二残差集合的步骤可包括：从时间缓冲器导出时间系数的集合；以及从系数集合减去时间系数的集合。

上文描述了分级和选择的步骤可如何应用于残差数据，可执行减去时间系数的步骤，且还可调适量化。这些步骤中的每一个可预先确定且选择性地应用，或可基于输入视频、经下取样视频、经重建视频、经上取样视频或上述的任何组合的分析而应用以改进编码器的总体性能。所述步骤可基于预定规则集合选择性地应用或基于性能的分析或反馈确定性地应用。

根据一实例方法，第一编解码器是基于硬件的编解码器，优选地第一编解码器是AVC、HEVC、AV1、VP8或VP9。

实例方法进一步包括发送基础编码流。

实例方法进一步包括发送第一层级编码流。

实例方法进一步包括发送第二层级编码流。

一些其它实例涉及一种将多个经编码流解码为经重建输出视频的方法，所述方法包括：接收第一基础编码流；根据第一编解码器解码第一基础编码流以生成第一输出视频；接收一个或多个另外的经编码流；解码所述一个或多个另外的经编码流以生成残差集合；以及将残差集合与第一视频组合以生成经解码视频。

在一实例中，所述方法包括从标头检索多个解码参数。解码参数可指示哪些程序步骤包含在编码过程中。

在一实例中，解码所述一个或多个另外的经编码流以生成残差集合的步骤包括：应用熵解码操作；应用解量化操作；以及应用逆变换操作以生成残差集合。

在一实例中，解码所述一个或多个另外的经编码流以生成残差集合的步骤包括：基于来自时间缓冲器的协同定位的残差预测残差的子集。

在一实例中，所述方法可包括接收第一层级编码流和接收第二层级编码流。在此实例中，解码所述一个或多个另外的经编码流以生成残差集合的步骤包括：解码第一层级编码流以导出第一残差集合；其中将残差集合与第一视频组合以生成经解码视频的步骤包括：将第一残差集合与第一输出视频组合以生成第二输出视频；对第二输出视频进行上取样以生成上取样的第二输出视频；解码第二层级编码流以导出第二残差集合；以及将第二残差集合与第二输出视频组合以生成经重建输出视频。

在一实例中，对第二输出视频进行上取样以生成上取样的第二输出视频的步骤包括：在从其导出上取样的第二输出视频中的块的第一残差集合中的要素的值添加到上取样的第二输出视频中的相应块。所述块可以是2×2块。此添加步骤可基于标头中包含的预定值或信号选择性地执行。

在一实例中，解码第一层级编码流以导出第一残差集合的步骤包括：应用熵解码操作；应用解量化操作；以及应用逆变换操作以生成第一残差集合。

在此实例中，解码第一层级编码流以导出第一残差集合的步骤包括：应用被配置成将掩码应用于残差块的解块滤波器。掩码可根据预定义权重的集合加权。

在一实例中，解码第二层级编码流以导出第二残差集合的步骤包括：应用熵解码操作；应用解量化操作；以及应用逆变换操作以生成第二残差集合。

逆变换操作可以是如上文所定义的操作的逆操作，或可以是大体上镜射操作。也就是说，可选择性地应用2×2块或4×4块变换。变换可通过解码方法检测或在标头中传信。

如果使用2×2变换，则可通过添加从其预测经变换残差块的残差的值来修改系数。如果使用4×4变换，则将通过添加四个残差的平均值来修改系数。

所述方法可进一步包括显示或输出经重建输出。

在一实例中，一种将多个经编码流解码为经重建输出视频的方法包括：接收经编码增强流；解码经编码增强流以导出残差集合，所述解码包括：从经编码增强流获得一组预备残差集合；使用时间缓冲器导出时间预测的集合；以及将时间预测的集合添加到预备残差的集合以输出经处理的残差集合(例如，层级2残差)。在此实例中，将所述多个经编码流解码为经重建输出视频的方法还包括：接收第一输出视频，所述第一输出视频包括应用于基础层级编码流的基础解码器的输出；接收关于下部层级的另一经编码增强流；解码所述另一经编码增强流以导出另一残差集合，将另一残差集合与第一输出视频组合以生成第二输出视频；对第二输出视频进行上取样以生成上取样的第二输出视频；以及将经处理的残差集合与上取样的第二输出视频组合以生成经重建输出视频。

在一实例中，所述解码经编码增强流以导出预备残差集合包括：应用熵解码操作；应用解量化操作；应用变换操作以生成预备残差集合。

在一实例中，所述解码另一经编码增强流以导出另一残差集合包括：从另一经编码增强流获得另一预备残差集合；使用第二时间缓冲器导出另一时间预测集合；以及将另一时间预测集合添加到另一预备残差集合以输出另一(层级1)残差集合。

在一实例中，所述解码另一经编码增强流(即，层级1流)以导出另一残差集合(即，层级1残差)包括：应用熵解码操作；应用解量化操作；应用变换操作以生成另一残差集合。如这些实例中所描述的时间处理可类似地且选择性地应用于本文中所描述的增强层级中的每一个。

本文中所描述的特定实例涉及与一个或多个经编码流相关联的时间处理。解码器可被配置成使用时间缓冲器应用时间处理。

解码器可被配置成将多个经编码流解码为经重建输出视频。解码器可被配置成接收第一输出视频，所述第一输出视频包括应用于基础层级编码流的基础解码器的输出。解码器可被配置成接收一个或多个另外的经编码流。解码器可被配置成解码所述一个或多个另外的经编码流的相应帧以导出相应残差集合。

在某些情况下，相应帧的每一帧可划分成多个拼片。每一拼片可划分成多个块。

在其它情况下，相应帧的每一帧可划分成多个平面。每一平面可划分成多个拼片。所述多个拼片的每一拼片可划分成多个块。

解码器还可以被配置成将残差集合与第一输出视频组合以生成经重建输出视频。为了解码相应帧，解码器可被配置成针对多个块的每一块从所述一个或多个另外的经编码流获得预备残差集合。为了解码相应帧，解码器可被配置成使用时间缓冲器导出时间预测的集合。为了解码相应帧，解码器可被配置成将时间预测的集合与预备残差集合组合以输出数据来与第一输出视频组合。

解码器可被配置成实现时间预测的集合的值的选择性归零。解码器可被配置成针对相应帧中的至少一个实现帧层级处时间预测的集合的值的归零。解码器可被配置成针对所述多个拼片中的至少一个实现拼片层级处时间预测的集合的值的归零。解码器可被配置成针对多个块中的至少一个实现块层级处值的归零。

解码器可被配置成获得多个块中的块的相应残差要素。解码器可被配置成针对相应残差要素中的每一个从时间缓冲器导出时间预测的集合的相应时间预测。

解码器可被配置成通过刷新时间缓冲器的至少一部分使时间预测的集合的值归零。一些其它实例涉及一种用于将数据集编码为包括标头和有效负载的经编码数据集合的设备。所述设备被配置成根据上述步骤编码输入视频。所述设备可包括被配置成实行上述方面中的任一个的方法的处理器。

一些其它实例涉及一种用于从包括标头和有效负载的数据集将数据集解码为经重建视频的设备。所述设备被配置成根据上述步骤解码输出视频。所述设备可包括被配置成实行上述方面中的任一个的方法的处理器。

还可提供编码器和解码器。

一些其它实例涉及计算机可读介质，其在由处理器执行时致使所述处理器执行上述方面的方法中的任一个。

上述实施例应理解为说明性实例。设想另外的实施例。应理解，关于任一个实施例描述的任何特征可单独使用，或者与所描述的其它特征结合使用，并且还可与任何其它实施例的一个或多个特征结合使用，或者与任何其它实施例的任何组合结合使用。此外，上文未描述的等效物和修改也可在所附权利要求书的范围内采用。

Claims (21)

1.一种被配置成将多个经编码流解码为经重建输出视频的解码器，所述解码器被配置成：

接收第一输出视频，所述第一输出视频包括应用于基础层级编码流的基础解码器的输出；

接收一个或多个另外的经编码流；

解码所述一个或多个另外的经编码流的相应帧以导出相应残差集合，所述相应帧的每一帧划分成多个拼片，且所述多个拼片的每一拼片划分成多个块；以及

将所述残差集合与所述第一输出视频组合以生成所述经重建输出视频，

其中，为了解码相应帧，所述解码器被配置成：

针对所述多个块的每一块从所述一个或多个另外的经编码流获得预备残差集合；

使用时间缓冲器导出时间预测的集合；以及

将所述时间预测的集合与所述预备残差集合组合以输出数据来与所述第一输出视频组合；以及

其中所述解码器被配置成在帧层级处，针对所述相应帧中的至少一个；在拼片层级处，针对所述多个拼片中的至少一个；以及在块层级处，针对所述多个块中的至少一个，实现所述时间预测的集合的值的归零。

2.根据权利要求1所述的解码器，其中所述解码器被配置成生成来自所述经重建输出视频中的帧的要素的第一块，而不使用来自所述经重建输出视频中的所述帧的要素的第二块。

3.根据权利要求1或权利要求2所述的解码器，其中所述解码器被配置成：

获得所述多个块中的块的相应残差要素；以及

针对所述相应残差要素中的每一个从所述时间缓冲器导出所述时间预测的集合的相应时间预测。

4.根据权利要求1到3中任一项所述的解码器，其中所述解码器进一步被配置成将熵解码操作应用于所述一个或多个另外的经编码流，且通过将解量化操作应用于所述相应的块及将逆变换操作应用于所述相应的块来获得所述预备残差集合。

5.根据权利要求1到4中任一项所述的解码器，其中所述解码器被配置成通过刷新所述时间缓冲器的至少一部分使所述时间预测的集合的所述值归零。

6.根据权利要求1到5中任一项所述的解码器，其中所述解码器被配置成响应于接收到具有指示启用时间处理的第一值的第一参数而使所述时间预测的所述值归零。

7.根据权利要求6所述的解码器，其中所述第一参数的所述第一值的位长度为一个位。

8.根据权利要求6或权利要求7所述的解码器，其中针对与所述多个经编码流相关联的图片的群组接收所述第一参数一次。

9.根据权利要求1到8中任一项所述的解码器，其中所述解码器被配置成：针对所述多个块的每一相应的块从来自所述一个或多个另外的经编码流的数据获得第二参数；以及

响应于确定所述相应的块的所述第二参数具有提供用于所述相应的块的时间信令的第二值，将用于所述多个块的所述相应的块的所述时间预测的所述值设定为零。

10.根据权利要求1到9中任一项所述的解码器，其中所述解码器被配置成响应于接收到所述拼片内的指定块的所述第二参数而针对所述多个拼片中的拼片刷新所述时间缓冲器。

11.根据权利要求10所述的解码器，其中所述解码器被配置成响应于接收到具有所述第二值的所述第二参数和具有第三值的第三参数两者而刷新与所述拼片相关联的所述时间缓冲器的所述值，所述第三参数指示接收具有所述第二值的所述指定块的所述第二参数指示将刷新与所述拼片相关联的所述时间缓冲器中的值。

12.根据权利要求11所述的解码器，其中所述第三参数的所述第三值的位长度为一个位。

13.根据权利要求11或权利要求12所述的解码器，其中针对与所述多个经编码流相关联的图片的群组接收所述第三参数一次。

14.根据权利要求1到13中任一项所述的解码器，其中所述解码器被配置成针对所述相应帧中的帧的第一拼片刷新所述时间缓冲器的值，且针对所述帧的第二拼片的第一块使所述时间预测的集合的值归零，而不针对所述第二拼片的第二块使所述时间预测的集合的所述值归零。

15.根据权利要求1到14中任一项所述的解码器，其中所述解码器包括增强解码器，所述增强解码器被配置成接收通过从输入视频导出的数据与从所述基础层级编码流导出的数据的比较生成的残差数据，其中所述一个或多个另外的经编码流包括经编码残差数据，所述经编码残差数据可经解码以重建一个或多个另外的残差数据集合以供应用于所述第一输出视频。

16.根据权利要求1到15中任一项所述的解码器，其中所述增强解码器不同于所述基础解码器。

17.根据权利要求1到16中任一项所述的解码器，其中用于解码所述一个或多个另外的经编码流的第一帧的残差集合的变换系数的集合表示所述第一帧的所述变换系数集合与所述一个或多个另外的经编码流的不同于所述第一帧的第二帧的另一变换系数集合之间的差。

18.根据权利要求1到17中任一项所述的解码器，其中所述相应帧的每一帧划分成多个平面，所述多个平面中的每一平面划分成多个拼片，且所述多个拼片的每一拼片划分成多个块。

19.一种将多个经编码流解码成经重建输出视频的方法，所述方法包括：

接收第一输出视频，所述第一输出视频包括应用于基础层级编码流的基础解码器的输出；

接收一个或多个另外的经编码流；

解码所述一个或多个另外的经编码流的相应帧以导出相应残差集合，所述相应帧的每一帧划分成多个拼片，且所述多个拼片的每一拼片划分成多个块；以及

将所述残差集合与所述第一输出视频组合以生成所述经重建输出视频，

其中所述解码进一步包括：

针对所述多个块的每一块从所述一个或多个另外的经编码流获得预备残差集合；

使用时间缓冲器导出时间预测的集合；以及

将所述时间预测的集合与所述预备残差集合组合；以及

其中所述解码包括在帧层级处，针对所述相应帧中的至少一个；在拼片层级处，针对所述多个拼片中的至少一个；以及在块层级处，针对所述多个块中的至少一个，实现所述时间预测的集合的值的归零。

20.根据权利要求19所述的方法，其包括生成来自所述经重建输出视频中的帧的要素的第一块，而不使用来自所述经重建输出视频中的所述帧的要素的第二块。

21.根据权利要求19或权利要求20所述的方法，其中所述解码包括：

在所述帧层级处接收指示是否启用时间处理的第一参数；

在所述块层级处接收指示是否将使用所述时间缓冲器的第二参数；以及

在所述拼片层级处接收指示所述第二参数是否将被视为用于所述拼片的时间信令的第三参数，

其中所述导出由所述第一、第二和第三参数指示。

Images