CN110291792B

CN110291792B - 不对称编码单元尺寸的取决于块的比率

Info

Publication number: CN110291792B
Application number: CN201880011374.XA
Authority: CN
Inventors: T.波里尔; F.加尔平; F.莱兰内克
Original assignee: InterDigital Madison Patent Holdings SAS
Current assignee: InterDigital Madison Patent Holdings SAS
Priority date: 2017-01-11
Filing date: 2018-01-05
Publication date: 2023-07-18
Anticipated expiration: 2038-01-05
Also published as: MX2019008321A; US11533502B2; EP3568984A1; JP2020504539A; US20190356927A1; EP3349454A1; WO2018130472A1; CN110291792A

Abstract

通过若干实施例之一使用现有变换尺寸对视频数据的块进行分裂和编码。在一个实施例中，取决于块尺寸，在交替维度上将块分裂。在另一实施例中，可以在使用水平划分或垂直划分将块分裂成至少两个矩形子块之后，对视频块进行编码。如果仅使用对称分裂能够获得等效分裂，则使用不对称分裂的连续划分被禁止，以及当存在得到相同子块的不对称分裂的其他序列时，仅允许划分的一个序列。在另一实施例中，使用连续分裂将视频块分裂，但是第二类型的分裂取决于第一类型的分裂。针对编码和解码而提供方法、装置和信号实施例。

Description

不对称编码单元尺寸的取决于块的比率

技术领域

本原理涉及视频压缩领域。

背景技术

在HEVC视频压缩标准中，将图片划分(divide)成所谓的编码树单元(CTU)，其尺寸典型地为64×64、128×128或256×256像素。

每个CTU通过压缩域中的编码树来表示。其为CTU的四叉树划分，其中每个叶片称为编码单元(CU)，如图1中所示。

然后，每个CU被给定一些帧内或帧间预测参数(预测信息)。为此，将其在空间上分割(partition)成一个或多个预测单元(PU)，每个PU被分配一些预测信息。在CU级别上分配帧内或帧间编码模式，参见图2。

将编码单元分割成预测单元是根据在比特流中用信号通知的分割类型完成的。对于帧内编码单元，仅使用图3中所示的分割类型2N×2N和N×N。这意指在帧内编码单元中仅使用方形预测单元。

相反，帧间编码单元可以使用图3中所示的所有分割类型。

根据HEVC标准，还按照“变换树”以递归方式将编码单元划分成所谓的变换单元。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶片。变换单元封装与所考虑的方形空间区域相对应的每个图片分量的方形变换块。变换块是单个分量中的方形样本块，其中应用相同的变换。

新兴的视频压缩工具被提出，其包括压缩域中的编码树单元表示，以便在压缩域中以更灵活的方式来表示图片数据。编码树的这种灵活表示的优点在于，与HEVC标准的CU/PU/TU布置相比，它提供增加的压缩效率。

四叉树加二叉树(QTBT)编码工具提供这种增加的灵活性。它包括编码树，其中可以以四叉树和二叉树方式两者将编码单元分裂(split)。在图4中图示了编码树单元的这种编码树表示。

在编码器侧通过率失真优化过程来决定编码单元的分裂，其包括以最小率失真成本确定CTU的QTBT表示。

在QTBT技术中，CU具有方形或矩形形状。编码单元的尺寸总是2的幂，并且典型地从4到128。

除了这种用于编码单元的各种矩形形状之外，与HEVC相比，这种新的CTU表示具有以下不同特性：

·CTU的QTBT分解由两个阶段组成：首先以四叉树方式分裂CTU，然后可以以二进制方式进一步划分每个四叉树叶片。这在图4的右侧示出，其中实线表示四叉树分解阶段，而虚线表示在空间上嵌入四叉树叶片中的二进制分解。

·在帧内切片(intra slice)中，亮度和色度块分割结构是分离的，并且是独立决定的。

·不再采用将CU分割成预测单元或变换单元。换句话说，每个编码单元系统地由单个预测单元(先前的2N×2N预测单元分割类型)和单个变换单元(不划分成变换树)组成。

然而，与QTBT技术相比需要进一步提高的压缩效率。

发明内容

通过所描述的实施例中的至少一个来解决现有技术的这些和其他缺点和不利，这些实施例涉及用于对视频数据的块进行编码或解码的方法和装置。在至少一个实施例中，将视频数据的块划分成子块，子块中的至少一个子块在高度或宽度上具有不是二的幂的尺寸。

根据在此描述的至少一个一般实施例，提供一种对视频数据的块进行编码的方法。该方法包括，将该块划分成至少两个矩形子块，以及使用处理使得与每个子块尺寸相对应的变换被使用，对每个子块进行编码。

根据在此描述的至少一个一般实施例，提供一种对视频数据的块进行解码的方法。该方法包括，使用处理使得与每个子块尺寸相对应的变换被使用，对包括该块的多个子块中的至少一个子块进行解码，以及将多个子块重组成该块，其中重组包括划分该块的逆操作。

根据在此描述的另一一般实施例，提供一种用于对视频数据的块进行编码的装置。该装置包括存储器，以及处理器，该处理器被配置为，将该块划分成至少两个矩形子块，以及使用处理使得与每个子块尺寸相对应的变换被使用，对每个子块进行编码。

根据在此描述的另一一般实施例，提供一种用于对视频数据的块进行解码的装置。该装置包括存储器，以及处理器，该处理器被配置为，使用处理使得与每个子块尺寸相对应的变换被使用，对包括该块的多个子块中的至少一个子块进行解码，以及将多个子块重组成所述块，其中重组包括划分该块的逆操作。

根据在此描述的另一一般方面，提供以上四个实施例中的任一个，其中，划分包括，如果块具有不是三的倍数的尺寸大小(size dimension)，则将块分裂成多个子块的第一划分，以及其中如果块具有三的倍数的尺寸大小，则将块分裂成多个子块的第二划分。

根据在此描述的另一一般方面，提供以上前四个实施例中的任一个，其中，划分包括，使用水平划分或垂直划分将所述块分裂成至少两个矩形子块，其中如果仅使用对称分裂能够获得等效分裂，则使用不对称分裂的连续划分被禁止，以及其中当存在得到相同子块的不对称分裂的其他序列(succession)时，仅允许划分的一个序列。

根据在此描述的另一一般方面，提供以上前四个实施例中的任一个，其中，划分包括，将块分裂成多个子块的第一划分，以及基于第一划分将子块中的至少一个分裂成多个更小子块的第二划分。

根据在此描述的另一方面，提供一种非临时性计算机可读存储介质，其包含数据内容，该数据内容根据前述方法实施例中的任一个的方法或者通过前述装置实施例中的任一个的装置来生成，用于使用处理器的回放。

根据在此描述的另一方面，提供一种信号，其包括视频数据，该视频数据根据用于对视频数据的块进行编码的前述方法实施例中的任一个的方法或者通过用于对视频数据的块进行编码的前述装置实施例中的任一个的装置来生成，用于使用处理器的回放。

根据在此描述的另一方面，提供一种计算机程序产品，其包括指令，该指令在该程序由计算机执行时使该计算机执行前述方法实施例中的任一个的方法。

根据以下要结合附图阅读的示例性实施例的详细描述，本原理的这些和其他方面、特征和优点将变得明显。

附图说明

图1示出了编码树单元的一个示例和表示压缩图片的编码树概念。

图2示出了将编码树单元划分成编码单元、预测单元和变换单元的示例。

图3示出了将编码单元分割成预测单元的示例。

图4示出了示例四叉树加二叉树编码树单元表示。

图5示出了QTBT+ACU中的附加编码单元二进制不对称分裂模式的示例。

图6示出了块的连续不对称分裂。

图7示出了用于处理块不均匀性的块的不同分裂。

图8示出了(a)四叉树分割(b)垂直二叉树分割(c)水平二叉树分割(d)垂直中心侧三叉树分割(e)水平中心侧三叉树分割。

图9示出了块的第一不对称分裂(HOR_UP1/4)，随后是第二不对称分裂(HOR_DOWN1/3)。

图10示出了通用视频压缩方案。

图11示出了通用视频解压缩方案。

图12示出了使用在此描述的一个一般方面的具有针对垂直分裂所提出的取决于块尺寸的比率的冗余的移除。

图13示出了使用在此描述的一个一般方面的得到所有垂直分裂的可用性的流程图。

图14示出了在四分之一分裂之后推断三分之一分裂。

图15示出了使用在此描述的一个一般方面的被视为过渡阶段的变换尺寸的一个实施例。

图16示出了在四分之一分裂之后推断三分之一分裂。

图17示出了使用在此描述的一个一般方面的对视频块进行编码的方法的一个实施例。

图18示出了使用在此描述的一个一般方面的对视频块进行解码的方法的另一实施例。

图19示出了使用在此描述的至少一个一般方面的用于对视频数据的块进行编码或解码的装置的一个实施例。

图20示出了使用在此描述的至少一个一般方面的划分视频数据的块的方法的另一实施例。

图21示出了使用在此描述的至少一个一般方面的划分视频数据的块的方法的另一实施例。

具体实施方式

针对提高的压缩效率和降低的视频压缩复杂度来描述方法。

该描述的至少一个实施例提出编码结构的新表示，以便在压缩域中以更好的方式来表示图片。

在该描述中，针对压缩域中的改进表示来引入编码结构的新表示。为清楚起见，在该描述中，“划分”、“分段”和“分裂”都意指相同的事物，其为执行像素块的直线划分的动作。类似地，“分裂”和“划分”意指相同的事物，像素的分组作为对块或子块进行划分、分裂或分段的结果。

在HEVC视频压缩标准中，将图片划分成所谓的编码树单元(CTU)，其尺寸典型地为64×64、128×128或256×256像素。

每个CTU通过压缩域中的编码树来表示。其为CTU的四叉树划分，其中每个叶片称为编码单元(CU)，参见图1。

然后，每个CU被给定一些帧内或帧间预测参数(预测信息)。为此，将其在空间上分割成一个或多个预测单元(PU)，每个PU被分配一些预测信息。在CU级别上分配帧内或帧间编码模式，参见图2。

相反，帧间编码单元可以使用图3中所示的所有分割类型。

四叉树加二叉树(QTBT)编码工具提供这种增加的灵活性。它包括编码树，其中可以以四叉树和二叉树方式两者将编码单元分裂。在图4中图示了编码树单元的这种编码树表示。

·在帧内切片中，亮度和色度块分割结构是分离的，并且是独立决定的。

所描述的实施例涉及压缩的图片编码单元表示的域，并且旨在与QTBT技术相比进一步提高压缩效率。

在另一应用中(不对称编码单元编解码器架构，EP-IPA 16306308.4)，提出在QTBT中引入新的不对称分割。这些新形状包括在宽度和/或高度上等于3·2ⁿ的尺寸。此外，在宽度或高度上具有3的倍数的尺寸的CU可以水平地或垂直地以二进制方式被进一步分裂。我们将该类型的分裂称为四分之一分裂。

因此，将通过所提出的四分之一分裂模式中的一个(例如HOR_UP(水平向上))被分裂的具有尺寸(w，h)(宽度和高度)的方形编码单元将导致2个子编码单元，具有相应的矩形尺寸和/>

这些实施例所解决的一个问题是，当子块中的一个子块在一个方向上具有3·2ⁿ的尺寸时，如何以当前的四分之一分裂来支持编码/解码。如果我们在相同的方向上以四分之一分裂再次将该子块分裂，则我们将在相同的方向上获得尺寸为3·2^n-2和3²·2^n-2的2个块。例如，两个连续不对称水平顶部分裂：首先将块32×32划分成32×8和32×24，然后将第二子块进一步以32×6和32×18划分。

缺点是尺寸为18的块不能除以4，因此它不能被进一步分裂。连续不对称分裂将导致许多不同的块尺寸。许多不同的块尺寸将需要与每个块尺寸相关联的许多新的变换尺寸。这些变换需要大量存储器用于快速且有效的实现方式。

在现有方法中，引入三叉树。优点之一在于，所有子块都是2的幂。主要缺点在于，它不提供足够多的灵活性来优化地选择块的分割，因为它强加3个子块，即使只需要2个子块。例如，当对象的边界穿过边缘附近时(参见图7，三元分裂相对于不对称分裂)。

所提出方法的基本构思是使不对称分裂比率取决于块尺寸。对于具有尺寸(w，h)(宽度和高度)、其中高度为2n的编码单元，不对称分裂类型HOR_UP(水平向上)导致2个子编码单元，其具有相应的矩形尺寸和/>但是对于具有尺寸(w，h)、其中高度为3·2ⁿ的编码单元，不对称分裂类型HOR_DOWN(水平向下)将导致2个子编码单元，其具有相应的矩形尺寸/>和/>我们将该类型的分裂称为三分之一分裂。在图9中示出了示例。

例如，针对块32×32，第一不对称分裂导致32×8块和32×24块，针对第二子块的第二不对称分裂导致32×16子块和32×8子块。因此，分裂尺寸(四分之一/三分之一分裂)取决于块的当前尺寸。

前述现有方法中描述的语法不受在此描述的所提出实施例的影响，仅改变对分裂的解释。

受影响的编解码器模块涉及以具有各种方形和矩形尺寸的块来划分要编码/解码的图片(参见图10中的105)。

表1：根据该所提出实施例的修改后的编码二叉树语法

在实施例2中，不对称CU的分裂导致语法中的更多冗余，许多连续分裂导致相同的分割。在图12中，我们示出了许多可能的用于垂直和不对称垂直分裂的二叉树。为了在表示二叉树的语法中定义唯一性(unicity)，我们禁止使用不对称分裂来模拟可以仅通过垂直和水平分裂表示的二叉树(图12中的树(a)、(d)和(i)可以通过(e)和(f)来表示)。我们还禁止通过使用不对称分裂的不同序列而具有相同的二叉树(图12中的树(g)可以通过(c)来实现)。对于给定块，禁止一些分裂，相应地改变二叉树语法。

受影响的编解码器模块涉及以具有各种方形和矩形尺寸的块来划分要编码/解码的图片(参见图10中的105)。关于编码树单元的四叉树和二叉树表示的信令，熵编码(图10中的145和图11中的230)也受到影响。

现在描述第三实施例。一些ACU块尺寸起特定作用。对于一些预定义的块尺寸，我们可能不希望具有专用变换。例如，对于大的变换(典型地为48×N)，没有专用变换以便限制变换存储器缓冲区尺寸。相反，对于小的块(典型地为12×N)，与对称分裂相比，具有不对称分裂存在优点。因此，具有这些尺寸的CU用作朝向一些子CU的过渡。这是通过在四分之一分裂之后推断另一侧的三分之一分裂来完成的。例如，与VER_LEFT相对应的第一分裂的信令导致推断与VER_RIGHT相对应的第二分裂。

根据第四实施例，一些CU尺寸用作朝向多个可能的分裂配置的过渡阶段。在图15中图示了示例。在图15的具体实例(case)中，24×32CU尺寸仅被视为过渡CU而不是可能的编码CU。这意指具有该尺寸的CU被视为朝向进一步细分情况的中间阶段，其由编码器在若干可能性之中选择。实际上，通过垂直划分具有宽度24的CU，可以生成具有相应的宽度16和8的两个子CU，或者生成具有等于12和12的相应尺寸的两个子CU。例如，与VER_LEFT相对应的第一分裂导致推断第二分裂，但是需要用信号通知对若干个分裂之一的选择。在图15的实例中，存在对两种可能的分裂的选择。

这分别对应于二进制分裂模式VER_RIGHT和VER，如图15中所示。

与表2的初始完整语法相比，可以通过BT分裂模式信令的截断语法来执行对过渡CU的支持。

通过表3描绘了用于CU的bt分裂模式语法，该CU在一个取向上(这里考虑示例性垂直取向)称为过渡CU。如可以看出的那样，已经移除了一些语法元素。首先，省略btSplitFlag，因为我们知道CU必须被细分。此外，如果垂直二进制分裂用于该过渡CU，则针对该CU仅用信号通知verticalAsymmetricFlag语法元素，而不用信号通知vertical_split_type语法元素，因为禁止VER_LEFT bt分裂类型以避免效仿2个连续对称垂直分裂。

表2：根据初始不对称CU工具，用于编码CU的bt分裂模式语法

表3：根据用信号通知垂直取向上的过渡CU的分裂的修改后的bt分裂模式语法

根据这些实施例的变型，一些CU尺寸/取向实例可以被视为朝向进一步细分的配置的过渡阶段：

-48×N：CU宽度等于48。根据一些变型，N可以是集合{4,6,8,12,16,24,32,48,64}中的一个或若干个值

-N×48：CU高度等于48。根据一些变型，N可以是集合{4,6,8,12,16,24,32,48,64}中的一个或若干个值

-24×N：CU宽度等于24。根据一些变型，N可以是集合{4，6，8,12,16,24,32,48,64}中的一个或若干个值

-N×24：CU高度等于24。根据一些变型，N可以是集合{4,6,8,12,16,24,32,48,64}中的一个或若干个值

已经关于编码器或编码操作描述了前述实施例。然而，对应的逆操作适用于解码器或解码操作。例如，解码操作可以执行使用处理使得与每个子块尺寸相对应的变换被使用，对包括该块的多个子块中的至少一个子块的解码，以及将多个子块重组成块，其中重组包括划分块的逆操作。重组操作基本上是编码划分操作的逆。

图17示出了对视频数据的块进行编码的方法1700的一个实施例。该方法在开始框1701开始，并且前进到框1710，以用于将块划分成至少两个矩形子块。控制从框1710前进到框1720，以用于使用处理使得与每个子块尺寸相对应的变换被使用，对每个子块进行编码。

图18示出了对视频数据的块进行解码的方法1800的一个实施例。该方法在开始框1801开始，并且前进到框1810，以用于使用处理使得与每个子块尺寸相对应的变换被使用，对包括该块的多个子块中的至少一个子块进行解码。然后，控制从框1810前进到框1820，以用于将多个子块重组成块，其中重组包括划分块的逆操作。

图19示出了用于对视频数据的块进行编码或解码的装置1900的一个实施例。该装置包括处理器1910，处理器1910具有输入和输出端口并且与存储器1920处于信号连接，存储器1920也具有输入和输出端口。该装置可以执行任何前述方法实施例或变型。

图20示出了用于实现前述方法或装置实施例的划分的方法2000的另一实施例。该方法在开始框2001开始，并且前进到框2010，以用于在块具有不是三的倍数的尺寸大小的情况下将所述块分裂成多个子块的第一划分。控制从框2010前进到框2020，以用于在该块具有三的倍数的尺寸大小的情况下将该块分裂成多个子块的第二划分。

图21示出了用于实现前述方法或装置实施例的划分的方法2100的另一实施例。该方法在开始框2101开始，并且前进到框2110，以用于将块分裂成多个子块的第一划分。控制从框2110前进到框2120，以用于基于第一划分将子块中的至少一个分裂成多个更小子块的第二划分。

可以通过使用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供图中所示的各种元件的功能。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器(其中的一些可被共享)来提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性储存器。

也可以包括其他传统和/或定制的硬件。类似地，图中所示的任何切换仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互来执行，或者甚至手动执行，特定技术可由实现者选择，如根据上下文更具体理解的那样。

本描述说明了本构思。因此，将理解，本领域技术人员将能够设计各种布置，该布置虽然未在此明确描述或示出，但是体现本构思并包括在其范围内。

在此叙述的所有示例和条件语言旨在用于教学目的以帮助读者理解本原理和发明人为促进技术所贡献的概念，并且要被解释为不限于这样具体叙述的示例和条件。

此外，在此叙述本原理的原理、方面和实施例以及其具体示例的所有陈述旨在包含其结构和功能等同物。另外，这样的等同物旨在包括当前已知的等同物以及将来开发的等同物，即，所开发的执行相同功能的任何元件，而不管结构如何。

因此，例如，本领域技术人员将理解，在此呈现的框图表示体现本原理的说明性电路的概念视图。类似地，将理解，任何流程图表、流程图、状态转换图、伪代码等表示可以基本上表示在计算机可读介质中并因此由计算机或处理器执行的各种处理，无论这样的计算机或处理器是否被明确示出。

在在此的权利要求中，表达为用于执行指定功能的部件的任何元件旨在包含执行该功能的任何方式，包括例如，a)执行该功能的电路元件组合，或b)任何形式的软件(因此包括固件、微代码等)，其与用于执行该软件的适当电路相结合以执行该功能。由这样的权利要求限定的本原理在于以下事实，即，由各种所述部件提供的功能以权利要求所要求的方式组合和集合在一起。因此认为，可以提供那些功能的任何部件都等同于在此示出的那些部件。

说明书中对本原理的“一个实施例”或“实施例”及其其他变型的引用意指结合该实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，在整个说明书各处出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型的出现未必都涉及相同的实施例。

Claims

1.一种对视频数据的块进行编码的方法，包括：

将所述块划分成至少两个矩形子块，以及

使用处理使得与每个子块尺寸相对应的变换被使用，对每个子块进行编码，其中，所述划分包括：

使用水平划分或垂直划分将所述块分裂成至少两个矩形子块，其中在第一分裂之后推断第二分裂，以及其中如果仅使用对称分裂能够获得等同分裂，则使用不对称分裂的连续划分被禁止，以及其中当存在得到相同子块的不对称分裂的其它连续划分时，仅允许一个连续划分。

2.如权利要求1所述的方法，其中所述尺寸大小是高度。

3.如权利要求1所述的方法，其中所述尺寸大小是宽度。

4.如权利要求1所述的方法，其中所述划分包括：

将所述块分裂成多个子块的第一划分；

基于所述第一划分，将所述子块中的至少一个分裂成多个更小子块的第二划分。

5.如权利要求4所述的方法，其中用信号通知代表所述第二划分的模式。

6.一种对视频数据的块进行解码的方法，包括：

使用处理使得与每个子块尺寸相对应的变换被使用，对包括所述块的多个子块中的至少一个子块进行解码，以及

将所述多个子块重组成所述块，其中重组包括划分所述块的逆操作，其中，所述划分包括：

7.如权利要求6所述的方法，其中所述尺寸大小是高度。

8.如权利要求6所述的方法，其中所述尺寸大小是宽度。

9.如权利要求6所述的方法，其中所述划分包括：

将所述块分裂成多个子块的第一划分；

10.如权利要求9所述的方法，其中用信号通知代表所述第二划分的模式。

11.一种用于对视频数据的块进行编码的装置，包括：

存储器，以及

处理器，被配置为：

将所述块划分成至少两个矩形子块，以及

12.如权利要求11所述的装置，其中所述尺寸大小是高度。

13.如权利要求11所述的装置，其中所述尺寸大小是宽度。

14.如权利要求11所述的装置，其中所述划分包括：

将所述块分裂成多个子块的第一划分；

15.如权利要求14所述的装置，其中用信号通知代表所述第二划分的模式。

16.一种用于对视频数据的块进行解码的装置，包括：

存储器，以及

处理器，被配置为：

将所述多个子块重组成所述块，其中重组包括划分所述块的逆操作，

其中，所述划分包括：

17.如权利要求16所述的装置，其中所述尺寸大小是高度。

18.如权利要求16所述的装置，其中所述尺寸大小是宽度。

19.如权利要求16所述的装置，其中所述划分包括：

将所述块分裂成多个子块的第一划分；

20.如权利要求19所述的装置，其中用信号通知代表所述第二划分的模式。

21.一种非临时性计算机可读介质，其包括计算机程序代码，当所述计算机程序代码被执行时，使得处理器执行权利要求1至10中任一项所述的方法。