CN112020860B - 用于选择性量化参数传输的编码器、解码器和其方法 - Google Patents

Abstract

本发明涉及一种视频编码器(141)，用于将视频编码到数据流(140’)中，其中该视频编码器(141)被配置为：根据视频的帧(142’a至142’e)与视频被编码到数据流(140’)中的时间分级层的关联，来更改应用量化参数QP的粒度。本发明还涉及相应的解码器(241)、用于编码和解码的相应方法、以及用于实施所述方法的计算机程序。

Description

用于选择性量化参数传输的编码器、解码器和其方法

技术领域

本发明涉及用于静态图像编解码器和/或视频编解码器(例如混合视频编解码器)中的编码概念。

背景技术

当代的感知图像和视频编码器将量化参数QP用于码率控制，在编码器中将量化参数用作除数，以在变换系数的量化之前对量化系数进行归一化，并且在解码器中，采用量化参数对经量化的系数值进行缩放以进行重构。

在一些编解码器中，例如在[1]中指定的所谓的高效视频编码HEVC中，可以每个N×N的块，N＝8，16，32或64(在对数尺度上具有接近1dB的步长)，对QP值差分编码一次，即作为与先前编码的QP值的差：

编码器：q＝round(6log₂(QP)+4)，解码器：QP'＝2^(q-4)/6

(1)

其中q是经编码的QP索引，且’指示重构。差分q索引通常被熵编码，例如通过霍夫曼或算术编码技术。注意，QP’也在编码器侧归一化中使用，以避免由于QP量化而引起的任何误差传播效应。感知QP自适应方法基于输入图像的特征来局部调整q，以便针对给定的比特率(即比特流大小)提高所述图像的感知重构质量。欧洲专利申请17192477[2]中提供了一种示例性方法。

发明内容

上述编码概念提供了减小的比特流大小。

然而，提供一种编码概念以进一步减小比特流大小将是有利的。

因此，本发明的目的是提供一种更有效的用于静止图像和/或视频编码的概念。

该目的是通过本申请的独立权利要求的主题来实现的。

第一方面涉及一种视频编码器，用于将视频编码到数据流中，其中视频编码器被配置为根据视频的帧与视频被编码到数据流中的时间分级层的关联，来更改应用量化参数QP的粒度。

第二方面涉及一种视频解码器，用于从数据流中解码视频，其中视频解码器被配置为根据视频的帧与时间分级层的关联，来更改应用量化参数QP的粒度。

第三方面涉及一种用于将视频编码到数据流中的方法，该方法包括：在对视频进行编码时应用量化参数QP，并且根据视频的帧与视频被编码到数据流中的时间分级层的关联，来更改应用量化参数QP的粒度。

第四方面涉及一种用于从数据流中解码视频的方法，该方法包括：在对视频进行解码时应用量化参数QP，根据视频的帧与时间分级层的关联，来更改应用量化参数QP的粒度。

根据第五方面，提供了计算机程序，其中每个计算机程序被配置为当在计算机或信号处理器上执行时实现上述方法，以使上述方法由计算机程序之一实现。

本发明基于以下发现：选择性地对帧或者帧的空间或色彩子集发送和应用量化参数QP，可以将整体比特流大小减小一小部分，但是为相当可观的数量。一般地，QP可以全局地应用于每个帧。这样的全局QP可以包括预定的固定值。QP还可以作为局部QP局部应用于帧或者帧的空间或色彩子集。就本文中使用的术语子集而言，它包括空间子集和色彩子集。帧的空间子集可以是例如可以在基于块的变换编解码器中使用的切片或块，而帧的色彩子集可以是所述帧的特定颜色通道、或颜色分量、或颜色平面(与明亮度/亮度通道或分量或平面或者另一颜色通道或分量或平面相对)。此外，可以将QP(特别是局部QP)差分编码为与先前编码的QP的差。这种经差分编码的QP也可以被称为差分量化参数DQP。利用本发明，可以针对每个帧或甚至针对帧的每个子集选择性地更改在编码时对帧或帧的子集应用QP的粒度。所述更改的粒度可以定义编码器可以在哪些级别上将QP应用于帧或者帧的子集，例如，是否出于局部QP自适应目的应用局部QP，或者在编码时是否可以仅应用全局QP而不应用局部QP。在后一种情况下，可以不执行局部QP自适应。换言之，数据流中的局部QP信息可以用于相应帧或者所述帧的空间或色彩子集(例如切片或通道或平面)的局部QP自适应。如上所述，例如，DQP可以是局部QP。根据本发明，本发明的编码器可以选择性地选择不对帧中所选择的帧或者至少对所述帧的所选择的子集应用QP自适应，特别是不应用局部QP自适应。因此，对于那些不打算进行QP自适应的一个或多个所选择的帧，在数据流中可能没有局部QP信息可用。换言之，本发明的编码器可以针对视频的帧中的所选择的帧或者至少针对所述帧的所选择的子集，选择性地禁用自适应的基于QP的编码，特别是自适应的基于局部QP的编码。因此，本发明的编码器可以被配置为不将QP信息，特别是局部QP信息编码到数据流中，这可以导致节省整体比特流大小。例如，本发明的编码器可以将全局QP信息编码到数据流中，但是它可以选择性地省略将局部QP信息(例如DQP)编码到数据流中。结果，对于帧中的所选择的帧或者所述帧的空间或色彩子集，可以选择性地省略局部QP自适应。本发明的编码器可以被配置为在编码期间更改所述应用QP的粒度，例如全局QP和/或局部QP。也就是说，编码器可以使用基于(局部)QP的编码方案，并且可以选择单独的帧或者所述帧的子集，对该单独的帧或者所述帧的子集选择性地禁用基于(局部)QP的编码方案。结果，经编码的数据流可以包括可能已经使用基于(局部)QP的编码方案(例如基于DQP的编码方案)编码的帧或者帧的子集，并且数据流同时还可以包括未使用基于(局部)QP的编码方案编码的帧或者帧的子集。因此，数据流可以包括一些帧或者帧的子集的(局部)QP信息，例如DQP值，并且数据流可以包括一些其他帧，对于这些其他帧，没有(局部)QP信息可用。在现有技术中，在流的开始处可能仅以信号传送使用基于(局部)QP的编码方案的能力。因此，在现有技术中，在编码之前可能仅针对整个流启用或禁用基于(局部)QP的编码，例如基于DQP的编码，而本发明可以针对包含在数据流中的单个帧或者甚至帧的单个空间或色彩子集，选择性地和单独地禁用(局部)QP编码。此外，本发明的编码器可以在编码期间这样做。本发明的编码器可以被配置为基于分级顺序来选择所述单独或单个帧。例如，在时间分级图像和视频编码应用中，输入帧或者帧的空间或色彩子集可以与不同的时间分级层相关联。所述不同的时间分级层可以指示帧或者帧的空间或色彩子集可以编码到其中的时间顺序。例如，与第一时间分级层相关联的帧或者帧的子集可以在与第二时间分级层相关联的帧或者帧的子集之前被编码。一个典型的示例是随机访问点(RAP)帧，也称为仅帧内帧，该帧(必须)在不依赖于任何先前解码的帧的情况下可编码和可解码。因此，它通常表现出最低的时间分级顺序(通常为0)。本发明的编码器可以针对与第一时间分级层相关联的那些帧或者帧的子集启用基于(局部)QP的编码方案，并且可以针对与第二时间分级层相关联的那些帧或者帧的子集禁用基于(局部)QP的编码方案。一般而言，第二时间分级层可以具有比第一时间分级层高的顺序，因此，与第一时间分级顺序相关联的帧可以在与第二时间分级层相关联的帧之前被编码和/或被解码。例如，本发明的编码器可以将局部QP(例如DQP值)应用于与较低的(即第一)时间分级层相关联的帧或者帧的子集，并且它可以不将局部QP应用于与较高的(即第二)时间分级层相关联的那些帧或者帧的子集。结果，本发明的编码器可以根据视频的帧或者帧的子集与视频编码到数据流中的时间分级层的关联而选择性地更改应用QP的粒度。

附图说明

本发明的有利方面是从属权利要求的主题。以下参照附图描述本申请的优选实施例，其中：

图1示出了用于对图片进行预测编码的装置的框图，作为编码器的示例，其中可以实现根据本发明的实施例的帧内预测概念；

图2示出了适合于图1的装置的用于对图片进行预测解码的装置的框图，作为解码器的示例，其中可以实现根据本申请的实施例的帧内预测概念；

图3示出了说明预测残差信号、预测信号和经重构的信号之间的关系的示例的示意图，以便说明针对编码模式选择、变换选择和变换性能分别设置细分的可能性；

图4示出了根据实施例的编码器的示意性框图，

图5A、图5B示出了时间分级编码方案中对帧进行重新排序的示例，

图6示出了根据实施例的编码器的示意性框图，

图7示出了根据实施例的解码器的示意性框图，

图8示出了根据实施例的解码器的示意性框图，

图9示出了根据实施例的将视频编码为数据流的方法的示意性框图，以及

图10示出了根据实施例的从数据流中解码视频的方法的示意性框图。

具体实施方式

在以下描述中，通过相同或等同附图标记来表示相同或等同元件或者具有相同或等同功能的元件。

附图的以下描述从用于对视频的图片进行编码的基于块的预测编解码器的编码器和解码器的描述的呈现开始，以便形成对可以内置实施例的编码框架的示例。参考图1至图3描述了先前的编码器和解码器。在下文中，给出了本申请的概念的实施例的描述以及关于如何将这些概念分别构建到图1的编码器和图2的解码器中的描述，尽管随后的图4和以下描述的实施例也可用于形成不根据图1的编码器和图2的解码器下的编码框架操作的编码器和解码器。

图1示出了一种装置，用于示例性地使用基于变换的残差编码将图片12预测地编码到数据流14中。使用参考符号10表示装置或编码器。图2示出了相应的解码器20，即，被配置为也使用基于变换的残差解码从数据流14中预测地解码图片12’的装置20，其中撇号已被用于指示由解码器20重构的图片12’在通过预测残差信号的量化引入的编码损失方面偏离了由装置10进行原始编码的图片12。图1和图2示例性地使用基于变换的预测残差编码，尽管本申请的实施例不限于这种预测残差编码。对于参照图1和图2描述的其他细节也是如此，这将在下文中概述。

编码器10被配置为对预测残差信号进行空间到频谱变换，并将由此获得的预测残差信号编码到数据流14中。同样，解码器20被配置为从数据流14解码预测残差信号，并对因此获得的预测残差信号进行频谱到空间变换。

在内部，编码器10可以包括预测残差信号形成器22，该预测残差信号形成器22生成预测残差24，以便测量预测信号26与原始信号(即与图片12)的偏差。预测残差信号形成器22可以例如是减法器，其从原始信号，即从图片12减去预测信号。然后，编码器10还包括变换器28，变换器28对预测残差信号24进行空间到频谱变换以获得空间域预测残差信号24’，然后由也包括在编码器10内的量化器32对预测残差信号24’进行量化。由此量化的预测残差信号24’被编码到比特流14中。为此，编码器10可以可选地包括熵编码器34，该熵编码器34对经变换和量化的预测残差信号进行熵编码，以将其编码到数据流14中。预测残差26由编码器10的预测级36基于编码到数据流14中并可从数据流14解码的预测残差信号24”生成。为此，如图1所示，预测级36可以在内部包括反量化器38，该反量化器38对预测残差信号24”进行反量化，以便获得除了量化损失之外与信号24’相对应的空间域预测残差信号24”’，预测级36随后包括逆变换器40，该逆变换器40对后一个预测残差信号24”’进行逆变换，即频谱到空间变换，以获得除量化损失之外与原始预测残差信号24相对应的预测残差信号24””。然后，预测级36的组合器42例如通过加法来将预测信号26和预测残差信号24””重新组合，以便获得经重构的信号46，即原始信号12的重构。经重构的信号46可以与信号12’相对应。然后，预测级36的预测模块44通过使用例如空间预测(即帧内预测)和/或时间预测(即帧间预测)和/或色度预测(即跨分量预测)来基于信号46生成预测信号26。

同样，如图2所示，解码器20可以在内部由与预测级36对应的组件组成，并以与预测级36对应的方式互连。具体地，解码器20的熵解码器50可以从数据流解码经量化的频谱域预测残差信号24”，于是以上面参考预测级36的模块描述的方式互连和协作的反量化器52、逆变换器54、组合器56和预测模块58基于预测残差信号24”恢复经重构的信号，使得如图2所示，组合器56的输出产生经重构的信号，即图片12’。

尽管上面没有具体描述，但是容易清楚，编码器10可以根据诸如以优化一些速率和失真相关标准(即编码成本)的方式的一些优化方案来设置一些编码参数，包括例如预测模式、运动参数等。例如，编码器10和解码器20以及相应的模块44、58分别可以支持不同的预测模式，诸如帧内编码模式和帧间编码模式。编码器和解码器在这些预测模式类型之间切换的粒度可以分别与将图片12和12’细分为编码片段或编码块相对应。例如，以这些编码片段为单位，可以将图片细分为帧内编码的块和帧间编码的块。帧内编码的块是基于各个块的空间已经编码/解码的领域进行预测的，如下面更详细地概述的。可以存在包括方向性或角度帧内编码模式在内的若干种帧内编码模式，并为各个帧内编码的片段选择帧内编码模式，根据该帧内编码模式，通过沿着特定于各个方向性帧内编码模式的某个方向，将邻域的样本值外插到相应的帧内编码的片段中来填充各个片段。帧内编码模式还可以例如还包括一种或多种其他模式，例如DC编码模式和/或平面帧内编码模式，根据DC编码模式，对各个帧内编码的块的预测将DC值分配给各个帧内编码的片段内的所有样本，根据平面帧内编码模式，各个块的预测被近似或确定为由二维线性函数描述的在各个帧内编码的块的样本位置上的样本值的空间分布，其中基于相邻样本来驱动由二维线性函数定义的平面的斜率和偏移。与此相比，可以例如在时间上预测帧间编码的块。对于帧间编码的块，可以在数据流中以信号传送运动矢量，运动矢量指示图片12所属的视频的先前编码的图片中的部分的空间偏移，在该位置对先前编码/解码的图片进行采样，以便获得各个帧间编码的块的预测信号。这意味着，除了由数据流14包括的残差信号编码，如表示经量化的频谱域预测残差信号24”的经熵编码的变换系数水平之外，数据流14可以在其中编码用于将编码模式分配给各个块的编码模式参数、一些块的预测参数(例如帧间编码的片段的运动参数)、以及可选的其他参数(例如用于控制和以信号传送将图片12和12’分别细分为片段的参数)。解码器20使用这些参数以与编码器相同的方式细分图片，将相同的预测模式分配给片段，并且执行相同的预测以产生相同的预测信号。

图3示出了一方面的经重构的图片12’与另一方面的在数据流中以信号传送的预测残差信号24””和预测信号26的组合之间的关系。如上所述，该组合可以是加法。预测信号26在图3中被示为将图片区域细分为用阴影线示意性表示的帧内编码的块和未用阴影线示意性表示的帧间编码的块。细分可以是任何细分，例如将图片区域规则地细分为块行或块列，或者将图片12多树细分为不同大小的叶块，如四叉树细分等细分为块，其中在图3中示出了它们的混合，其中图片区域首先被细分为树根块的行和列，然后根据递归多树细分将树根块的行和列进一步细分。再次，数据流14可以具有编码到其中的用于帧内编码的块80的帧内编码模式，其将若干种支持的帧内编码模式之一分配给相应的帧内编码的块80。进一步的细节在下面描述。对于帧间编码的块82，数据流14可以具有编码到其中的一个或多个运动参数。一般而言，帧间编码的块82不限于在时间上编码。备选地，帧间编码的块82可以是除了当前图片12本身之外的先前编码的部分预测的任何块，诸如图片12所属的视频的先前编码的图片，或者在编码器和解码器分别为可缩放编码器和解码器的情况下，为另一视图或层级较低的层的图片。图3中的预测残差信号24””也被示为将图片区域细分为块84。这些块可以被称为变换块，以便将其与编码块80和82区分开。实际上，图3示出了编码器10和解码器20可以分别使用两种不同的细分将图片12和图片12’细分为块，即一种分别细分为编码块80和82，而另一种细分为块84。两种细分可能是相同的，即每个编码块80和82可以同时形成变换块84，但是图3示出了如下情况，其中例如到变换块84的细分形成到编码块80/82的细分的扩展，以便块80和82的两个块之间的任何边界都覆盖两个块84之间的边界，或者换句话说，每个块80/82获得与变换块84之一重合，或者与变换块84的集群重合。然而，细分也可以彼此独立地确定或选择，以便变换块84可以备选地跨块80/82之间的块边界。就到变换块84的细分而言，类似的说法因而与关于到块80/82的细分所提出的一样是正确的，即块84可以是将图片区域规则细分为块(排列为行和列或者未排列为行和列)的结果、图片区域的递归多数细分的结果或者其组合或任何其他类型的分块方式(blockation)。顺便说一句，要注意，块80、82和84不限于正方形、矩形或任何其他形状。

图3示出了预测信号26和预测残差信号24””的组合直接产生经重构的信号12’。然而，应注意，根据备选实施例，可以将一个以上的预测信号26与预测残差信号24””组合以产生图片12’。

在图3中，变换片段84应具有以下含义。变换器28和逆变换器54以这些变换片段84为单位执行它们的变换。例如，许多编解码器对所有变换块84使用某种DST或DCT。一些编解码器允许跳过变换，从而对于某些变换片段84，直接在空间域中对预测残差信号进行编码。然而，根据以下描述的实施例，编码器10和解码器20以它们支持若干变换的方式配置。例如，编码器10和解码器20支持的变换可以包括：

оDCT-II(或DCT-III)，其中DCT代表离散余弦变换

оDST-IV，其中DST代表离散正弦变换

оDCT-IV

оDST-VII

о恒等变换(IT)

自然地，变换器28将支持这些变换的所有正向变换版本，同时解码器20或逆变换器54将支持其相应的后向或逆版本：

о逆DCT-II(或逆DCT-III)

о逆DST-IV

о逆DCT-IV

о逆DST-VII

о恒等变换(IT)

随后的描述提供了关于编码器10和解码器20可以支持哪些变换的更多细节。无论如何，应注意的是，所支持的变换集可以仅包括一个变换，例如一个频谱到空间或空间到频谱的变换。

如上面已经概述的那样，已经呈现了图1至图3作为示例，其中可以实施下面进一步描述的帧内预测概念，以便形成根据本申请的编码器和解码器的特定示例。就此而言，图1的编码器和图2的解码器分别表示本文下面描述的编码器和解码器的可能实现。如将在下面更详细地概述的，在具有随后解释的针对根据构建到本申请图1的编码器和图2的解码器中的帧内预测的实施例时，图1的编码器和图2的解码器至少支持一个选项，来以下面更详细概述的方式来处理帧内预测的块80。因此，下文中描述的实施例是指与图1的编码器10相当的编码器，该编码器以下面更详细地概述的方式处理帧内编码的块80，并且同样适用于图2的解码器，因此图2的解码器表示根据实施例的解码器的示例，在该解码器中以下面更详细地概述的方式处理帧内编码的块。然而，图1和图2仅是示例。然而，根据本申请的实施例的编码器可以使用以下更详细地概述的概念来执行图片12的基于块的编码，该编码器与图1的编码器例如在以下方面不同：不是视频编码器而是静止图片编码器，不支持帧间预测，或者以与图3示例的方式不同的方式执行到块80的细分，或者甚至该编码器在对预测残差进行编码时不使用变换预测残差编码，例如替代地，直接在空间域中进行编码。同样，根据本申请的实施例的解码器可以使用以下进一步概述的帧内预测编码概念来执行从数据流14中对图片12’的基于块的解码，但是该解码器可以与图2的解码器20例如在以下方面不同：不是视频编码器而是静止图片编码器，不支持帧间预测，或者以与参照图3描述的方式不同的方式将图片12’细分为块，和/或不在变换域从数据流14中导出预测残差，而是例如在空间域中导出。

图4所示了根据本公开的编码器141的实施例。图片组GOP 143可以包括一个或多个图片142a至142e。所述图片142a至142e也可以被称为帧。帧142a至142e可以被细分为空间子集。例如，帧142a可以被细分为一个或多个切片144₁、144₂。备选地或附加地，帧142a也可以被细分为一个或多个色彩通道或分量或平面144₁、144₂，例如在YCbCr(或YUV)编码的情况下，被细分为一个亮度(luma)和至少一个色度(chroma)子帧，或者在RGB(红、绿、蓝)编码的情况下被细分为三个颜色子帧。所述一个或多个色彩通道或分量或平面144₁、144₂也可以被称为帧142a的子集。

GOP 143可以作为输入馈送到编码器141中。编码器141可以将GOP 143编码到数据流140’中，该数据流是编码器141的输出。因此，经编码的数据流140’可以包括经编码的GOP143’。编码器141可以使用应用量化参数QP的编码方案，其也可以被称为基于QP的编码方案。

因此，数据流140’可以包括经编码的GOP 143’，并且经编码的GOP 143’可以包括已经通过使用特定编码方案编码到数据流140’中的经编码的帧142’a至142’e，在该示例中，特定编码方案是基于QP的编码方案。此外，示例性的经编码的帧142’a可以包括经编码的空间或色彩子集/切片144’₁、144’₂，它们可能也已使用基于QP的编码方案进行了编码。

编码方案可包括时间分级编码顺序，该时间分级编码顺序包括一个或多个时间分级层。经编码的帧142’a至142’e可以与所述时间分级层之一相关联。例如，前三个经编码的帧142’a、142’b、143’c可以与第一时间分级层相关联。所述第一时间分级层可以包括索引1(i＝1)，由带圆圈的数字1表示。最后两个经编码的帧142’d、142’e可以与第二时间分级层相关联。所述第二时间分级层可以包括索引2(i＝2)，由带圆圈的数字2表示。

与第一时间分级层相关联的经编码的帧142’a、142’b、143’c可以在与第二时间分级层相关联的其他帧142’d、142’e之前被编码。

此外，可以使用基于局部QP的编码方案对与第一时间分级层相关联的经编码的帧142’a、142’b、143’c进行编码，即编码器141可以将所述经编码的帧142’a、142’b、143’c的局部QP信息编码到数据流140’中。基于该局部QP信息，可以对经编码的帧142’a、142’b、143’c进行局部QP自适应。可以在整个帧上或在帧的空间或色彩子集上执行局部QP自适应。

然而，可以以与基于局部QP的编码方案不同的编码方案对与第二时间分级层相关联的那些经编码的帧142’d、142’e进行编码。因此，编码器141可以省略将局部QP信息编码到数据流140’中。因此，可以不对经编码的帧142’d、142’e进行局部QP自适应。

如上所述，可以使用与基于局部QP的编码方案不同的编码方案对与第二时间分级层相关联的经编码的帧142’d、142’e进行编码，例如基于全局QP的编码方案，其中将全局QP(也被称为整体QP)应用于每个经编码的帧142’a至142’e。例如，可以使用与基于局部QP的编码方案不同的任何其他编码方案，以预定或固定的量化对经编码的帧142’a至142’e进行编码。

换言之，本发明的编码器141可以被配置为选择性地改变编码期间应用QP的粒度，即编码器141可以被配置为决定基于QP的编码方案是全局地应用于帧级还是局部地应用于帧级和/或空间或色彩子集级。所述粒度可以基于各个经编码的帧142’a至142’e所关联的各个时间分级层来选择。

编码器141可以被配置为单独地并且在编码期间为经编码的GOP143’的每个经编码的帧142’a至142’e选择所述粒度。

换言之，根据实施例的编码器141可以被配置为使用时间分级编码方案，其中至少一个帧142’a或者所述至少一个帧142’a的空间或色彩子集(例如切片或通道或分量或平面144’₁、144’₂)可以与第一时间分级层(带圆圈的数字1)相关联，并且其中至少一个其他帧142’d或所述至少一个其他帧142’d的空间或色彩子集(未描绘)可以与第二时间分级层相关联(带圆圈的数字2)。

时间分级编码方案可以包括基于QP的编码方案，并且基于QP的编码方案可以包括基于DQP的编码方案，这将在下面进行解释。

视频编码器141可被配置为使用预测性QP编码，即QP值可被差分编码为与先前编码的QP值的差。因此，在编码期间可以仅应用残差(即差分量化参数DQP)，并且可以将相应的DQP信息编码到数据流140’中。这也可以被称为基于DQP的编码方案，其中基于DQP的编码方案可以是基于局部QP的编码方案的示例。

换言之，DQP可以是QP的子集，并且基于QP的编码方案可以包括基于DQP的编码方案。因此，本文中参考基于QP的编码所描述的所有内容也可以相应地应用于基于DQP的编码。

因此，根据实施例，视频编码器141可以被配置为使用基于DQP的编码方案，并且编码器141可以被配置为针对某些帧选择性地禁用DQP编码并且至少针对与预定时间分级层(例如与第二时间分级层(由圈起来的数字2表示)相关联)相关联的那些帧142’d、142’e或帧的子集选择性地省略将DQP信息编码到数据流140’中。

DQP编码可以局部地应用，即局部DQP可用于基于先前编码的帧对整个帧进行差分编码，或者可用于基于帧的先前编码的空间或色彩子集(例如切片)对帧的空间或色彩子集(例如切片)进行差分编码。

图5A和图5B示出了时间分级编码方案的示例，其可以由编码器141与基于QP的编码方案和/或基于DQP的编码方案一起使用。

在常规的时间分级图像和视频编码应用中，可以对输入帧/片段进行重新排序，并且可以基于每个帧/切片所属的时间分级层以特定的整体量化设置对每个帧/切片进行编码[3]。

图5A和图5B示出了可以应用在本发明中的时间分级编码方案的示例，即随机访问(RA)编码方案。在该编码方案中，索引为#0、#1、#2、#3、...、#7、#8(图5A)的输入图像或视频帧142a至142i可以被重新排序为#0、#8、#4、#2、#1、#3、#6、#5、#7(图5B)，并且可能按该顺序使用来自先前编码的帧的预测(如果可用的话)进行编码/解码。

在该特定示例中，索引为偶数的帧142’a(#0)、142’i(#8)、142’e(#4)、142’c(#2)、142’g(#6)可以与第一时间分级层相关联，第一时间分级层由圈起来的数字1表示。索引为奇数的帧142’b(#1)、142’d(#3)、142’f(#5)、142’h(#7)可以与第二时间分级层相关联，第二时间分级层由圈起来的数字2表示。根据所述时间分级顺序，与第一时间分级层相关联的索引为偶数的帧可以在与第二时间分级层相关联的索引为奇数的帧之前被编码。此外，可以使用基于局部QP的编码方案来对与第一时间分级层相关联的索引为偶数的帧进行编码，例如，使用基于DQP的编码方案来进行差分编码。

使用RA编码设计，可以不对与较高或最高分级层相关联的索引为奇数的帧142’b(#1)、142’d(#3)、142’f(#5)、142’h(#7)进行局部QP自适应，这是因为，由于已经根据先前编码的帧进行了有效的预测，因此这种QP自适应可能只对主观重构质量产生忽略不计的改善。

因此，对于所述索引为奇数的帧142’b(#1)、142’d(#3)、142’f(#5)、142’h(#7)，数据流141’中可以不包括差分QP信息(即DQP)。

对于本文所述的所有实施例，一般来说，时间分级顺序可以包括比示例性描述的两个时间分级层更多的时间分级层。

作为更一般的示例，可以不对最后编码的帧(即与最高时间分级层相关联的帧)进行局部QP自适应，这是因为，由于根据先前编码的帧进行了有效的预测，因此这种QP自适应可能只对主观重构质量产生忽略不计的改善。因此，对于所述与最高分级层相关联的帧，数据流141’中可以不包括差分QP(DQP)信息。

在其他示例中，这对于与最高和第二高时间分级层相关联的帧，或甚至与最高、第二高和第三高时间分级层相关联的帧也是有效的。

本发明原理可以例如在诸如HEVC(高效视频编码)之类的编解码器中使用。

然而，在像HEVC这样的现今编解码器中，仅在流的开始以信号传送一般DQP编码能力，而不能在编码期间针对特定帧禁用。结果是，即使对于上述不需要DQP编码因而不使用DQP编码的索引为奇数的帧，也必须在比特流中包括一些缺省的零值DQP，这些零值DQP会不必要地消耗总比特流大小的显著部分(因为每第二帧都会实际受到影响)。

本发明避免了在经压缩的图像或视频比特流中的一些特定帧(或者备选地，作为帧的空间或色彩子集的切片)中不必要地(由于冗余)传输局部QP数据(例如DQP数据)。因此，整体比特流大小可以减小虽然小量但相当可观的部分。

更具体地，如果给定帧142’a至142’i或者切片或通道或分量或平面144’₁、144’₂所属(即与之相关联)的分级层的索引在预定义的阈值以上，则本发明避免了在时间分级图像和视频编码应用中将任何DPQ值编码到比特流140’中并从数据流140’中解码任何DQP值的需要。在上面的随机访问(RA)编码配置示例中，假设所有具有奇数图片计数(POC)的帧(这些帧与索引最高的分级层(例如圈起来的数字2)相关联)都仅具有零值‘0’的DQP，根据本发明，无需在比特流140’中发送这些零值‘0’的DQP。

因此，本发明原理也可以被称为选择性局部QP传输或选择性DQP传输。

换言之，本发明的编码器141可以针对视频的帧中所选择的帧或者至少针对所述帧的所选择的子集，选择性地启用基于QP(或基于DQP)的编码，特别是基于局部QP(或基于DQP)的编码，其中仅对那些所选择的帧或帧的子集，将QP信息(或DQP信息)，特别是局部QP信息编码到比特流140’中。所述选择基于帧与时间分级顺序的关联。

换一种说法，本发明的编码器141可以针对视频的帧中所选择的帧或者至少针对所述帧的所选择的子集，选择性地禁用基于QP(或基于DQP)的编码，特别是基于局部QP(或基于DQP)的编码，其中对于那些所选择的帧或帧的子集，编码器141省略将QP信息(或DQP信息)，特别是局部QP信息编码到比特流中。所述选择基于帧与时间分级顺序的关联。

图6示出了用于利用上述发明原理的发明编码器141的示例的更详细视图。为了避免不必要的重复，该示例可以参照前述参考图4讨论的示例帧142’a至142’e和空间或色彩子集144’₁、144’₂。

如图6中可以看到的，帧142’a至142’e可以与不同的时间分级层相关联。帧142’a、142’b、142’c可以与第一时间分级层相关联，该第一时间分级层再次由圈起来的索引号1表示。其他帧142’d、142’e可以与第二时间分级层相关联，该第二时间分级层由圈起来的索引号2表示。

具有索引1和索引2的时间分级层在本文中可以仅被描述为非限制性示例。本发明原理也可以与两个以上不同的时间分级层相关联的帧一起使用。

独立于时间分级层的数量，编码器141可以被配置为确定与帧或帧的空间或色彩子集相关联的时间分级层的索引。也就是说，编码器141可以包括索引确定级160，用于确定帧142’a至142’e可以相关联的时间分级层的索引。

如先前参考图5A和图5B所描述的，还可以在编码期间对帧142’a至142’e重新排序。

编码器141还可以被配置为将帧142’a至142’e的所确定的索引与预定索引阈值进行比较。为此，编码器141可以包括比较器级161。在该示例中，索引阈值可以示例性地设置为值1。然而，索引阈值可以是1以外的任何其他数字。

在转变162中，比较的结果为负，即那些帧的索引可以不超过索引阈值(1)。这可能是针对索引为1的帧的情况，即针对帧142’a、142’b、142’c。

因此，如转变163描绘的，编码器可以使用基于局部QP或DQP的编码方案对所述帧142’a、142’b、142’c进行编码，并且可以将相应的局部QP或DQP信息编码到数据流140’中。因此，如上所述，这些帧142’a、142’b、142’c可以是进行局部QP自适应的候选。

换言之，如果帧142’a至142’e可以与之关联的分级层的索引等于或小于索引阈值(1)，则编码器141可以被配置为：针对与索引等于或小于索引阈值的时间分级层相关联的那些帧142’a、142’b、142’c，启用DQP编码方案，并且将DQP信息编码到数据流140’中。

在转变164中，阈值比较的结果为正，即那些帧的索引可以超过索引阈值(1)。这可能是针对索引为2的帧的情况，即针对帧142’d、142’e。

编码器141可以针对这些帧142’d、142’e禁用基于局部QP或基于DQP的编码。也就是说，编码器141可以省略将局部QP或DQP信息编码到数据流140’中。编码器141可以通过设置标志165来以信号传送禁用基于局部QP或基于DQP的编码。因此，编码器141可以使用与基于局部QP或基于DQP的编码方案不同的编码方案来将所选择的帧142’d、142’e编码到数据流140’中。此外，编码器141可以在数据流140’中设置标志165。

换言之，如果帧142’a至142’e可以相关联的时间分级层的索引大于索引阈值(1)，则编码器141被配置为：针对与索引在索引阈值之上的时间分级层相关联的那些帧142’d、142’e，禁用基于局部QP或基于DQP的编码，省略将局部QP或DQP信息编码到数据流140’中，并且在数据流140’中设置标志165，标志165指示数据流140’不包含局部QP或DQP信息。

因此，数据流140’可以包括标志165，并且数据流140’可以包括经编码的GOP143’，该经编码的GOP 143’包括两种帧类型，即已经针对其将局部QP或DQP信息附加地编码到数据流140’中的帧142’a、142’b、142’c，以及未针对其将局部QP或DQP信息编码到数据流140’中的帧142’d、142’e。

标志165可以被熵编码到数据流141中并且在数据流141的开始处发送。备选地，例如，如果使用RA编码方案，则如上所述，可以在数据流140’的随机访问点的开始处发送标志165。

例如，在编码器141处，可以对1比特的标志useSelectiveDQP进行熵编码，并且在比特流140’的开始处(或者备选地，如果使用RA编码方案，则在流的每个随机访问点的开始处)发送该1比特的标志useSelectiveDQP。该1比特的标志可以用于指示应当应用本发明的原理(即，省略对局部QP或DQP信息的编码)(值1)或不应当应用本发明的原理(值0)。

在编码期间，在未使用DQP编码(由帧/切片索引所指示)的帧142’d、142’e(或者备选地，切片)中，没有DQP值可以被编码，因此，没有DQP值可以在比特流140’中发送，并且随后的算法操作可以假设每个DQP值为0(即每个实际的QP值可以等于其相关联的经预测的QP值)。

现有技术为每个帧/切片发送sliceQP值，而不管是否实际上允许DQP编码。因此，当允许DQP编码时，与帧/切片的第一QP值相关联的经预测的QP值基于所述sliceQP值，以便改善该第一预测(而不是简单地假设第一经预测的QP值为例如0)。当不允许DQP编码时，没有局部(D)QP信息可用，并且所述sliceQP在整个帧/切片中被用作局部QP。

概括来说，编码器141可以使用第一粒度将QP应用于与第一时间分级层相关联的帧142’a、142’b、142’c，并且编码器141可以使用第二粒度将QP应用于与第二时间分级层相关联的帧142’d、142’e。因此，编码器241可以改变可以将QP应用于某些帧(或帧的子集)的粒度。例如，对于与第一时间分级层相关联的帧142’a、142’b、142’c，在数据流140’中可以有局部QP信息可用。因此，这些帧142’a、142’b、142’c可以是在编码期间进行局部QP自适应的候选。对于与第二时间分级层相关联的帧142’d、142’e，在数据流140’中可以没有局部QP信息可用。例如，仅全局或固定的QP信息可以可用。因此，在编码期间可以不对这些帧142’d、142’e进行局部QP自适应。

图7示出了根据实施例的本发明的解码器241。解码器241可以接收上面已经参考编码器141描述的经编码的数据流140’。经编码的数据流140’可以包括经编码的GOP 143’，其中，经编码的GOP143’可以包括经编码的帧142’a至142’e，其中一些经编码的帧142’a可以被细分为一个或多个空间或色彩子集144’₁、144’₂，如块或切片。

此外，经编码的帧142’a至142’e可以包括代表时间分级层的索引。换言之，如以上关于编码器141所描述的，经编码的帧142’a至142’e可以与时间分级层相关联。

当对经编码的帧142’a至142’e进行解码时，分级层的索引可以向解码器241指示是否应用基于局部QP或基于DQP的编码方案。基于局部QP或基于DQP的编码方案可以提供局部QP自适应。为了采用以上示例，可以使用基于局部QP或基于DQP的编码方案对可以与第一分级层(圈起来的数字1)相关联的那些经编码的帧142’a、142’b、142’c进行解码。可以用除了基于局部QP或基于DQP的编码方案以外的编码方案对可以与第二分级层(圈起来的数字2)相关联的那些经编码的帧142’d、142’e进行解码，例如用可能不允许局部QP自适应的基于全局QP的编码方案。

因此，帧142’a至142’e的时间分级层的索引可以向解码器241指示是应用基于局部QP或基于DQP的编码方案，还是应用除基于局部QP或基于DQP的编码方案之外的编码方案，例如基于固定或全局QP的编码方案。

换言之，本发明的解码器241可以被配置为更改在对帧142’a至142’e或帧的色彩子集进行解码期间可以应用QP的粒度，其中更改粒度可以取决于视频的帧142’a至142’e与时间分级层的关联。

解码器241可以使用如上所述的编码方案对经编码的帧142’a至142’e进行解码，并且它可以创建包括经重构的帧142”a至142”e在内的经重构的GOP 143”，其中一些经重构的帧142”a可以包括经重构的空间或色彩子集144”₁、144”₂，诸如块或切片。

因此，解码器241可以对包括经编码的视频的经解码和经重构的帧142”a至142”e在内的输出视频流140”进行解码，其中除了量化损失之外，经重构的帧142”a至142”e可以与原始帧142a至142e(图4)相同。

解码器241可以被配置为使用时间分级编码方案，其中至少一个所接收的经编码的帧142’a或者所述至少一个帧142’a的空间或色彩子集144’₁、144’₂可以与第一时间分级层(圈起来的数字1)相关联，并且其中至少一个所接收的经编码的其他帧142’d或所述一个其他帧的空间或色彩子集可以与第二分级层(圈起来的数字2)相关联。

所接收的帧142’a至142’e可以如上面参考图5A和图5B所述那样重新排序。解码器241可以被配置为在解码期间将帧142’a至142’e重新排序为原始顺序。结果，经解码和经重构的帧142”a至142”e可以包括与原始帧142a至142e相同的顺序。

对于与第二时间分级层相关联的那些帧142’d、142’e，解码器241可以省略从数据流140’中解码局部QP信息或DQP信息，因为对于那些帧，编码器141可能未将任何局部QP信息或DQP信息编码到数据流140’中。解码器241可以决定在解码期间是否解码局部QP信息或DQP信息。

一般而言，该实施例的视频解码器241可以被配置为在解码期间，对于与预定时间分级层相关联的一个或多个帧142’d、142’e或者所述帧的空间或色彩子集，省略从数据流140’中解码局部QP信息或DQP信息。

因此，在一些实施例中，解码器241可以被配置为对QP进行差分解码。例如，解码器241可以被配置为使用基于差分量化参数DQP的编码方案，其中，解码器241可以被配置为：如果帧142’d、142’e或所述帧142’d、142’e的空间或色彩子集与预定时间分级层相关联，则针对一个或多个帧142’d、142’e或所述一个或多个帧142’d、142’e的空间或色彩子集，选择性地禁用基于DQP的编码，并且省略从数据流140’中解码DQP信息。

所述基于DQP的编码可以是用于从数据流140’解码局部DQP信息的基于局部DQP的编码。利用所述局部DQP信息，可以对各个帧或者帧的空间或色彩子集进行局部QP自适应。然而，如上所述，如果解码器241可以针对一个或多个帧142’d、142’e省略从数据流140’中解码这种DQP信息，则可以不对所述帧142’d、142’e进行局部QP自适应(adaptation)。

因此，在一些实施例中，解码器241可以被配置为：针对与最高时间分级层相关联的一个或多个帧142’a至142’e或者所述一个或多个帧的空间或色彩子集，禁用基于DQP的编码，并且省略从数据流140’中解码DQP信息。如上所述，时间分级顺序可以包括两个以上的时间分级层，在此仅作为非限制性示例提及。

根据又一实施例，解码器241可以被配置为：针对包括奇数图片顺序计数POC并且可以与预定时间分级层相关联(例如与本文示例性描述的第二时间分级层相关联)的一个或多个帧142’a至142’e或者所述一个或多个帧的空间或色彩子集，禁用基于DQP的编码，并且省略从数据流140’中解码DQP信息。对于关于POC的细节，参考图5A和图5B以及上面的相应描述。

图8示出了解码器241如何可以在内部对经编码的数据流140’进行解码，以便重构经编码的帧并且提供经解码和经重构的视频流140”的示例。

可以看出，解码器241可以接收经编码的数据流140’，经编码的数据流140’可以包括经编码的GOP 143’，该经编码的GOP 143’包括经编码帧142’a至142’e。如上面关于编码器141所解释的，经编码的数据流140’还可以包括标志165，标志165指示在对帧142’a至142’e进行编码时，应用哪种编码方案，例如数据流140’中是否可以包括一个或多个帧142’d、142’e，针对该一个或多个帧142’d、142’e，没有局部QP信息或DQP信息被编码到数据流140’中。

因此，解码器241可以包括确定级261，该确定级261被配置为确定是否设置了所述标志165。如果如转变262所指示的那样未设置标志165，则解码器241可以在解码期间应用局部QP或DQP。也就是说，解码器241可以使用基于局部QP或基于DQP的编码方案来对与第一时间分级层相关联的帧142’a、142’b、142’c(或帧的子集)进行解码。对于这些帧142’a、142’b、142’c，可以在数据流140’中包含局部QP信息或DQP信息。因此，解码器241可以从数据流140’中解码用于所述帧142’a、142’b、142’c的所述QP信息或DQP信息，并且解码器241可以使用相应的QP或DQP信息对所述帧142’a、142’b、142’c进行解码。在编码期间，可以对所述帧142’a、142’b、142’c进行局部QP自适应。

如果确定级261可以如转变263所示确定标志165被设置，则可以通知解码器241经编码的GOP 143’可以包括与预定时间分级层(例如第二层)相关联的一个或多个帧142’d、142’e(或帧的子集)，其中数据流140’可以不包括用于这些帧142’d、142’e的局部QP信息或DQP信息。

然而，数据流140’还可以另外包括一个或多个帧142’a、142’b、142’c，其QP信息或DQP信息被编码在数据流140’中。

因此，转变263分成第一分支263a和第二分支263b。在第一分支263a中，解码器241可以以如上所述的方式对与第一时间分级层相关联的帧142’a、142’b、142’c进行解码。也就是说，解码器241可以对来自数据流140’的局部QP信息或DQP信息进行解码，使得可以对相应的帧142’a、142’b、142’c进行局部QP自适应。

在第二分支263b中，解码器241可以对与预定时间分级层(例如第二层)相关联并且在数据流140’中没有局部QP信息或DQP信息可用的那些帧142’d、142’e进行解码。因此，在第二分支263b中，针对这些帧142’d、142’e，解码器241可以禁用基于局部QP或基于DQP的解码，并且它可以省略从数据流140’中解码局部QP信息或DQP信息。因此，可以不对这些帧142’d、142’e进行局部QP自适应。

换言之，解码器241可以被配置为从数据流140’中导出标志165，其中标志165指示如何基于帧142’a至142’e或者所述帧的空间或色彩子集相关联的时间分级层的索引来对帧142’a至142’e或者所述帧的空间或色彩子集进行解码。

换言之，解码器241一般可以被配置为：启用基于QP或基于DQP的编码，特别是基于局部QP或基于DQP的编码，从数据流140’中解码QP或DQP信息，并且使用基于QP或DQP信息的量化对帧142’a、142’b、142’c或者帧的空间或色彩子集进行反量化。例如，解码器241可以从数据流140'中解码局部QP或DQP信息，并且应用所述局部QP或DQP信息以对与第一时间分级层相关联的帧142’a、142’b、142’c进行解码。因此，可以对所述帧142’a、142’b、142’c或者所述帧的空间或色彩子集进行局部QP自适应。

附加地或备选地，例如，如果设置了标志165，则解码器241可以被配置为：针对某个或某些个帧142’d、142’e(例如针对与第二时间分级层相关联的帧142’d、142’e)，禁用基于QP或基于DQP的编码，特别是基于局部QP或基于DQP的编码，省略从数据流140’中解码QP或DQP信息，并且使用预定量化(例如全局QP)对这个或这些个帧142’d、142’e或者这个或这些个帧142’d、142’e的空间或色彩子集进行反量化。例如，对于与预定(例如第二)时间分级层相关联的帧142’d、142’e，解码器241可以不从数据流140’中解码任何局部QP或DQP信息。因此，可以不对这些帧142’d、142’e或者这些帧的空间或色彩子集进行局部QP自适应。

结果，解码器241可以创建包括经重构的GOP 143”在内的经重构的视频流140”，该经重构的GOP 143”包括已经以上述方式解码的经重构的帧142”a至142”e，其中所使用的编码方案可以基于标志165，即基于与相应帧相关联的时间分级层的索引。

换言之，在解码器241处，可以从所接收的比特流140’中读取和熵解码相同的1比特的标志165useSelectiveDQP，并且其值可以控制应用(1)本发明的原理或不应用(0)本发明的原理。

在解码期间，在不使用DQP编码的帧142’d、142’e(或者备选地，如色彩通道或平面的切片或色彩子集)中(如由解码器241已知的帧/切片索引指示的)，没有读取到DQP值，因此没有从比特流140’中解码DQP值，且随后的算法操作假设每个DQP值为0(即实际QP值＝经预测的QP值)。

如在编码器141中一样，现有技术针对每个帧/片段发送sliceQP值，而不管是否实际上允许DQP编码。因此，当允许DQP编码时，与帧/片段的第一QP值相关联的经预测的QP值基于所述sliceQP值。以这种方式，编码器141和解码器241可以以完全同步的方式操作，同时，由于不必发送一些0值的DQP，从而减小了比特流大小。

概括地说，解码器241可以使用将QP应用于与第一时间分级层相关联的帧142’a、142’b、142’c的第一粒度，并且解码器241可以使用将QP应用于与第二时间分级层相关联的帧142’d、142’e的第二粒度。因此，解码器241可以更改可以将QP应用于某些帧(或帧的子集)的粒度。例如，对于与第一时间分级层相关联的帧142’a、142’b、142’c，全局和局部QP信息可以是可用的。因此，在编码期间，可以对这些帧142’a、142’b、142’c进行局部QP自适应。对于与第二时间分级层相关联的帧142’d、142’e，局部QP信息可能不可用。因此，在编码期间可以不对这些帧142’d、142’e进行局部QP自适应。

可以已经参考基于QP的编码方案描述了以上示例。然而，也可以使用基于DQP的编码方案。也就是说，在编码期间和解码期间，都可以对局部QP进行差分编码。因此，编码器141和解码器241可以使用基于DQP的编码方案，并且它们可以分别将局部DQP信息编码到数据流140’中或者从数据流140’中解码局部DQP信息。如上所述，这样的基于DQP的编码可以包括对QP值的预测，其中从实际QP值中减去经预测的QP值，以便获得用于在编码器侧进行编码的差分QP(DQP)值，并且其中在解码器侧的解码期间，将相同的经预测的QP值再次与DQP值相加，以便以非差分表示的形式重构实际QP值(用于图像解码期间)。QP预测子可以是空间预测子或色度(跨分量)预测子。

图9示出了根据实施例的用于对视频流进行编码的方法的示意性框图。

在框191中，在对视频进行编码时应用量化参数QP。

在框192中，根据视频的帧142’a至142’e与视频被编码到数据流140’中的时间分级层的关联，来更改应用量化参数QP的粒度。

图10示出了根据实施例的用于对视频流进行解码的方法的示意性框图。

在框193中，在对视频进行解码时应用量化参数QP。

在框194中，根据视频的帧142’a至142’e与视频被编码到数据流140’中的时间分级层的关联，来更改应用量化参数QP的粒度。

虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件设备(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。

根据某些实现要求，本发明的实施例可以用硬件或软件实现，或者至少部分用硬件实现，或至少部分用软件实现。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作以便执行本文所述的方法之一。

通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。

换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。

因此，本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。

因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。

另一实施例包括处理装置，例如，计算机或可编程逻辑器件，所述处理装置被配置为或适于执行本文所述的方法之一。

另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。

根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传送计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。

本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。

本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。

上述实施例对于本发明的原理仅是说明性的。应当理解的是，本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。

源：

[1]ITU-T,Recommendation H.265and ISO/IEC,Int.Standard 23008-2,“Highefficiency video coding,”Geneva,Switzerland,Jan.2017,在线:http://www.itu.int/ rec/T-REC-H.265

[2]EP17192477,“Method for varying a coding quantization parameteracross a picture,”2017.

[3]V.Sze,M.Budagavi,and G.J.Sullivan,High Efficiency Video Coding(HEVC)-Algorithms and Architectures,Cham,Switzerland:Springer InternationalPublishing,2014。

Claims (23)

1.一种视频编码器(141)，用于将视频编码到数据流(140’)中，其中，所述视频编码器(141)被配置为根据所述视频的帧(142’a至142’e)与所述视频被编码到数据流(140’)中的时间分级层的关联，来在空间方面更改应用量化参数QP的粒度，使得量化参数在所述帧中更改的粒度取决于所述视频的帧与时间分级层的关联。

2.根据权利要求1所述的视频编码器(141)，其中，所述视频编码器(141)被配置为使用时间分级编码方案，其中至少一个帧(142’a)或者所述至少一个帧(142’a)的空间或色彩子集(144’₁、144’₂)与第一时间分级层相关联，并且其中至少一个其他帧(142’d)或者所述一个其他帧(142’d)的空间或色彩子集与第二时间分级层相关联。

3.根据权利要求1所述的视频编码器(141)，其中，所述视频编码器(141)被配置为：在编码期间，针对与预定时间分级层相关联的一个或多个帧(142’a至142’e)或者所述一个或多个帧的空间或色彩子集，省略将QP信息编码到数据流(140’)中。

4.根据权利要求1所述的视频编码器(141)，其中，所述视频编码器(141)被配置为使用基于差分量化参数DQP的编码方案，并且其中，所述视频编码器(141)被配置为：在编码期间，针对与预定时间分级层相关联的一个或多个帧(142’a至142’e)或者所述一个或多个帧的空间或色彩子集，禁用基于DQP的编码，并且省略将DQP信息编码到数据流(140’)中。

5.根据权利要求1所述的视频编码器(141)，其中，所述视频编码器被配置为使用基于差分量化参数DQP的编码方案，并且其中，所述视频编码器被配置为：针对所述帧以量化参数在所述帧中更改的粒度将DQP信息编码到数据流中。

6.根据权利要求1所述的视频编码器(141)，其中，所述视频的帧包括空间子集以及所述视频编码器被配置为使用基于差分量化参数DQP的编码方案，以及针对与第一时间分级层相关联的第一帧中的预定空间子集将DQP信息编码到数据流中，并且针对与第二时间分级层相关联的第二帧中的预定空间子集省略将DQP信息编码到数据流中。

7.一种视频编码器(141)，用于将视频编码到数据流(140’)中，其中，所述视频编码器(141)被配置为根据所述视频的帧(142’a至142’e)与所述视频被编码到数据流(140’)中的时间分级层的关联，来更改应用量化参数QP的粒度，

其中，所述视频编码器(141)被配置为使用基于差分量化参数DQP的编码方案，并且其中，所述视频编码器(141)被配置为：在编码期间，针对与预定时间分级层相关联的一个或多个帧(142’a至142’e)或者所述一个或多个帧的空间或色彩子集，禁用基于DQP的编码，并且省略将DQP信息编码到数据流(140’)中，

其中，所述视频编码器(141)被配置为：针对与最高时间分级层相关联的一个或多个帧(142’a至142’e)或者所述一个或多个帧的空间或色彩子集，省略将DQP信息编码到数据流(140’)中。

8.一种视频编码器(141)，用于将视频编码到数据流(140’)中，其中，所述视频编码器(141)被配置为根据所述视频的帧(142’a至142’e)与所述视频被编码到数据流(140’)中的时间分级层的关联，来更改应用量化参数QP的粒度，

其中，所述视频编码器(141)被配置为使用基于差分量化参数DQP的编码方案，并且其中，所述视频编码器(141)被配置为：在编码期间，针对与预定时间分级层相关联的一个或多个帧(142’a至142’e)或者所述一个或多个帧的空间或色彩子集，禁用基于DQP的编码，并且省略将DQP信息编码到数据流(140’)中，

其中，所述视频编码器(141)被配置为：

确定与帧(142’a至142’e)或者所述帧的空间或色彩子集相关联的时间分级层的索引，以及

将所述索引与预定索引阈值进行比较，其中，

如果所述索引等于或小于所述索引阈值，则所述视频编码器(141)被配置为：针对与索引等于或小于所述索引阈值的时间分级层相关联的那些帧(142’a、142’b、142’c)，启用基于DQP的编码方案，并且将所述DQP信息编码到数据流(140’)中，或者

如果所述索引大于所述索引阈值，则所述视频编码器(141)被配置为：针对与索引大于所述索引阈值的时间分级层相关联的那些帧(142’d、142’e)，禁用所述基于DQP的编码，省略将所述DQP信息编码到数据流(140’)中，并且在数据流(140’)中设置标志(165)，所述标志(165)指示所述数据流(140’)不包含DQP信息。

9.根据权利要求8所述的视频编码器(141)，其中，所述视频编码器(141)被配置为使用随机访问RA编码方案，并且其中，所述视频编码器(141)被配置为：针对一个或多个帧(142’a至142’e)或者所述一个或多个帧的空间或色彩子集，重新排序所述帧(142’a至142’e)，并且省略将所述DQP信息编码到数据流(140’)中，所述一个或多个帧包括奇数图片顺序计数POC和/或与索引超过所述预定索引阈值的时间分级层相关联。

10.根据权利要求8所述的视频编码器(141)，其中，所述视频编码器(141)被配置为：对所述标志(165)进行熵编码并且在数据流(140’)的开始处发送所述标志(165)，或者在使用随机访问编码方案的情况下，在数据流(140’)的随机访问点的开始处发送所述标志(165)。

11.一种视频解码器(241)，用于从数据流(140’)中解码视频，其中，所述视频解码器(241)被配置为根据所述视频的帧(142’a至142’e)与时间分级层的关联，来在空间方面更改应用量化参数QP的粒度，使得量化参数在所述帧中更改的粒度取决于所述视频的帧与时间分级层的关联。

12.根据权利要求11所述的视频解码器(241)，其中，所述视频解码器(241)被配置为使用时间分级编码方案，其中，至少一个帧(142’a)或者所述至少一个帧(142’a)的空间或色彩子集(144’₁、144’₂)与第一时间分级层相关联，并且其中，至少一个其他帧(142’d)或者所述一个其他帧的空间或色彩子集与第二时间分级层相关联。

13.根据权利要求11所述的视频解码器(241)，其中，所述视频解码器(241)被配置为：在解码期间，针对与预定时间分级层相关联的一个或多个帧(142’d、142’e)或者所述一个或多个帧的空间或色彩子集，省略从数据流(140’)中解码QP信息。

14.根据权利要求11所述的视频解码器(241)，其中，所述视频解码器(241)被配置为使用基于差分量化参数DQP的编码方案，并且其中，所述视频解码器(241)被配置为：在解码期间，针对与预定时间分级层相关联的一个或多个帧(142’d、142’e)或者所述一个或多个帧的空间或色彩子集，禁用基于DQP的编码，并且省略从数据流(140’)中解码DQP信息。

15.根据权利要求11所述的视频解码器(241)，其中，所述视频解码器被配置为使用基于差分量化参数DQP的编码方案，并且其中，所述视频解码器被配置为：针对所述帧以量化参数在所述帧中更改的粒度从数据流中解码DQP信息。

16.根据权利要求11所述的视频解码器(241)，其中，所述视频的帧包括空间子集以及所述视频解码器被配置为使用基于差分量化参数DQP的编码方案，以及针对与第一时间分级层相关联的第一帧中的预定空间子集从数据流中解码DQP信息，并且针对与第二时间分级层相关联的第二帧中的预定空间子集省略从数据流中解码DQP信息。

17.一种视频解码器(241)，用于从数据流(140’)中解码视频，其中，所述视频解码器(241)被配置为根据所述视频的帧(142’a至142’e)与时间分级层的关联，来更改应用量化参数QP的粒度，

其中，所述视频解码器(241)被配置为使用基于DQP的编码方案，并且其中，所述视频解码器(241)被配置为：在解码期间，针对与最高时间分级层相关联的一个或多个帧(142’d、142’e)或者所述一个或多个帧的空间或色彩子集，禁用基于DQP的编码，并且省略从数据流(140’)中解码DQP信息。

18.一种视频解码器(241)，用于从数据流(140’)中解码视频，其中，所述视频解码器(241)被配置为根据所述视频的帧(142’a至142’e)与时间分级层的关联，来更改应用量化参数QP的粒度，

其中，所述视频解码器(241)被配置为使用基于DQP的编码方案，并且其中，所述视频解码器(241)被配置为：针对一个或多个帧(142’d、142’e)或者所述一个或多个帧的空间或色彩子集，禁用基于DQP的编码，并且省略从数据流(140’)中解码DQP信息，所述一个或多个帧包括奇数图片顺序计数POC和/或与预定时间分级层相关联。

19.一种视频解码器(241)，用于从数据流(140’)中解码视频，其中，所述视频解码器(241)被配置为根据所述视频的帧(142’a至142’e)与时间分级层的关联，来更改应用量化参数QP的粒度，

其中，所述视频解码器(241)被配置为使用基于差分量化参数DQP的编码方案，并且其中，所述视频解码器(241)被配置为：在解码期间，针对与预定时间分级层相关联的一个或多个帧(142’d、142’e)或者所述一个或多个帧的空间或色彩子集，禁用基于DQP的编码，并且省略从数据流(140’)中解码DQP信息，

其中，所述视频解码器(241)被配置为：

从数据流(140’)中导出标志(165)，其中所述标志(165)指示如何基于帧(142’a至142’e)或者所述帧的空间或色彩子集所关联的时间分级层的索引来对所述帧(142’a至142’e)或者所述帧的空间或色彩子集进行解码，其中，

如果所述标志(165)被设置，则所述解码器(241)被配置为：禁用基于DQP的编码，省略从数据流(140’)中解码所述DQP信息，并且使用预定量化对所述帧(142’d、142’e)或者所述帧的空间或色彩子集进行反量化。

20.根据权利要求19所述的视频解码器(241)，其中，所述视频解码器(241)被配置为：对所述标志(165)进行熵解码，并且从数据流(140’)的开始处导出所述标志(165)，或者在使用随机访问编码方案的情况下，从数据流(140’)的随机访问点的开始处导出所述标志(165)。

21.一种用于将视频编码到数据流(140’)中的方法，所述方法包括：

在对视频进行编码时应用量化参数QP，以及

根据所述视频的帧(142’a至142’e)与视频被编码到数据流(140’)中的时间分级层的关联，来在空间方面更改应用所述量化参数QP的粒度，使得量化参数在所述帧中更改的粒度取决于所述视频的帧与时间分级层的关联。

22.一种用于从数据流(140’)中解码视频的方法，所述方法包括：

在对视频进行解码时应用量化参数QP，以及

根据所述视频的帧(142’a至142’e)与时间分级层的关联，来在空间方面更改应用所述量化参数QP的粒度，使得量化参数在所述帧中更改的粒度取决于所述视频的帧与时间分级层的关联。

23.一种计算机可读介质，存储有计算机程序,用于当在计算机或信号处理器上执行时实现根据权利要求21或22所述的方法。

Images