CN110476423B - 用于快速编码的多个分割优先化 - Google Patents

用于快速编码的多个分割优先化 Download PDF

Info

Publication number
CN110476423B
CN110476423B CN201880021531.5A CN201880021531A CN110476423B CN 110476423 B CN110476423 B CN 110476423B CN 201880021531 A CN201880021531 A CN 201880021531A CN 110476423 B CN110476423 B CN 110476423B
Authority
CN
China
Prior art keywords
partitioning
block
partition
binary
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880021531.5A
Other languages
English (en)
Other versions
CN110476423A (zh
Inventor
F.勒林内克
F.雷凯佩
T.波里尔
G.雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN110476423A publication Critical patent/CN110476423A/zh
Application granted granted Critical
Publication of CN110476423B publication Critical patent/CN110476423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

通过若干实施例中的一个，使用至少一个分割规则来分割并且使用现有变换尺寸来编码视频数据的块。在一个实施例中，如果至少两个矩形子块可以利用具有至少一个三叉树分割的两个连续的分割操作来实现，则使用三叉树分割操作来分割块。在另一实施例中，如果所述至少两个矩形子块可以利用具有至少一个不对称二元分割的两个连续的分割操作来实现，则使用不对称二叉树分割来分割视频块。在另一实施例中，使用其他实施例的两个规则，使用连续分割来分割视频块。

Description

用于快速编码的多个分割优先化
技术领域
本原理涉及视频压缩领域。
背景技术
在HEVC视频压缩标准(国际电信联盟，ITU-T H.265高效视频编码)中，画面被划分成所谓的编码树单元(CTU)，其尺寸典型是64×64，128×128或256×256像素。
在压缩域中每个CTU由编码树表示。这是CTU的四叉树划分，其中每个叶片称为编码单元(CU)，如图1所示。
然后给每个CU一些帧内或帧间预测参数(预测信息)。为此，将其空间分区为一个或多个预测单元(PU)，每个PU被分配一些预测信息。帧内或帧间编码模式在CU级别上分配，参见图2。
根据在比特流中用信号通知的分区类型完成编码单元到预测单元的分区。对于帧内编码单元，仅使用图3中例示的分区类型2Nx2N和NxN。这意味着在帧内编码单元中仅使用正方形预测单元。
相反，帧间预测单元可以使用图3中所示的所有分区类型。
根据HEVC标准，编码单元也以递归方式被划分成所谓的变换单元，下文的“变换树”。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶片。变换单元封装了对应于所考虑的正方形空间区域的每个画面组件的正方形变换块。变换块是单个组件中的样本的正方形块，其中应用相同的变换。
提出新兴的视频压缩工具，包括压缩域中的编码树单元表示，以在压缩域中以更灵活的方式表示画面数据。编码树的该灵活表示的优点是，提供与HEVC标准的CU/PU/TU布置相比的增加的压缩效率。
四叉树加二叉树(QTBT)编码工具提供这种增加的灵活性。其在于编码树，其中编码单元可以以四叉树和二叉树方式分割。图4中例示编码树单元的这样的编码树表示。块上的QTBT表示在图15中例示。
通过率失真优化过程在编码器侧决定编码单元的分割，其在于以最小的率失真成本确定CTU的QTBT表示。
在QTBT技术中，CU具有正方形或矩形形状。编码单元的尺寸总是2的幂，并且典型从4到128。
除了用于编码单元的各种矩形形状之外，与HEVC相比，该新CTU表示还具有以下不同的特征：
-CTU的QTBT分解由两个阶段组成：首先以四叉树方式分割CTU，然后可以以二元方式进一步划分每个四叉树叶片。这在图4的右侧示出，其中实线表示四叉树分解阶段，而虚线表示在空间嵌入四叉树叶片中的二元分解。
-在帧内条带中，亮度和色度块分区结构被分离，并且被独立地决定。
-不再使用CU分区为预测单元或变换单元。换句话说，每个编码单元系统地由单个预测单元(先前的2N×2N预测单元分区类型)和单个变换单元(不划分成变换树)组成。
然而，与QTBT技术相比，需要进一步改进压缩效率。在公开的“Asymmetric CodingUnits Codec Architecture”(EP-IPA 16306308.4)中，引入了具有新矩形形状的编码单元，其由被称为不对称分割模式的新二元分割模式产生。
发明内容
现有技术的这些和其他缺点和缺陷通过针对用于编码或解码视频数据块的方法和装置所描述的实施例中的至少一个来解决。在至少一个实施例中，提出了组合一组丰富的编码单元分割模式，目的在于在压缩域中提供灵活的基于矩形块的画面的表示，同时确保这些分割模式之间在空间拓扑方面没有冗余。
根据本文描述的至少一个一般实施例，提供用于编码视频数据的块的方法。该方法包括使用至少一个分割规则利用二元或三元分割将块划分成至少两个矩形子块，并且然后使用对应于子块尺寸的变换来编码子块。
根据本文描述的至少一个一般实施例，提供一种用于解码视频数据的块的方法。该方法包括使用对应于子块尺寸的逆变换解码至少一个子块，并且然后通过使用至少一个分割规则的逆来将至少两个子块重组为块。
根据本文描述的另一一般实施例，提供一种用于编码视频数据的块的装置。该装置包括存储器和处理器，被配置为使用至少一个分割规则将块划分为至少两个矩形子块，并且然后使用对应于子块尺寸的变换编码子块。
根据本文描述的另一一般实施例，提供一种用于编码视频数据的块的方法。该方法包括使用分割规则编码至少一个子块，并且使用对应于子块尺寸的变换编码各个子块，其中包括在所述至少两个矩形子块可以利用具有至少一个三叉树分割的两个连续的分割操作来实现的情况下，使用三叉树分割操作，并且在所述至少两个矩形子块可以利用具有至少一个不对称二元分割的两个连续的分割操作来实现的情况下，使用不对称二叉树分割。
根据本文描述的另一一般实施例，提供了一种用于解码视频数据的块的方法。该方法包括使用逆变换子块，并且然后使用规则重组子块，其中包括在至少两个矩形子块可以利用具有至少一个三叉树分割的两个连续的分割操作来实现的情况下，使用三叉树分割操作，并且在所述至少两个矩形子块可以利用具有至少一个不对称二元分割的两个连续的分割操作来实现的情况下，使用不对称二叉树分割。
根据本文描述的另一一般实施例，提供任一上述实施例，其中，划分包括使用二分之一分割、三分之一和三分之二分割、四分之一和四分之三分割将块划分为子块，其中，分割可以在水平或垂直方向。
根据另一一般实施例，不应用不对称树和对称二叉树之间的优先化，并且在将CU划分成较小编码单元时在可以达到相同空间拓扑的不同的连续分割之间允许一些冗余。
根据另一一般实施例，三元分割的优先于二元分割与允许不对称二元分割和二元对称分割之间的一些冗余结合使用。
根据本文描述的另一方面，提供一种非暂时性计算机可读存储介质，包含根据前述方法实施例中的任一个的方法或者由前述装置实施例的任一个的装置生成的数据内容，用于使用处理器进行回放。
根据本文描述的另一方面，提供一种信号，包含根据用于编码视频数据的块的前述方法实施例的任一个的方法或者由用于编码视频数据的块的前述装置实施例的任一个的装置生成的视频数据，用于使用处理器进行回放。
根据本文描述的另一方面，提供了一种计算机程序产品，包括指令，当程序由计算机执行时，所述指令使所述计算机执行前述方法实施例的任一个的方法。
从以下要结合附图阅读的示例性实施例的详细描述，本原理的这些和其他方面，特征和优点将变得明显。
附图说明
图1示出表示压缩画面的编码树单元和编码树概念的一个示例。
图2示出将编码树单元划分为编码单元，预测单元和变换单元的示例。
图3示出编码单元的分区的示例。
图4示出示例四叉树加二叉树编码树单元表示。
图5示出QTBT中的附加编码单元二元不对称分割模式的示例。
图6示出块的三元模式分割。
图7示出块的不同分割以处理块非均匀性。
图8示出本文描述的视频编码方案中支持的该组所有编码单元分割模式。
图9示出块的第一不对称分割((HOR_UP1/4)以及之后的第二不对称分割(HOR_DOWN 1/3)。
图10示出可以用相关编码方案实现的编码单元分割配置(右下)。
图11示出二叉和三叉树分割的语法布置。
图12示出提出的功能块与通用视频压缩方案接口的示例。
图13示出通用视频解码方案。
图14示出限制使用不对称二叉树以防止三叉树操作的复制的示例。
图15示出编码块上的四叉树加二叉树表示的一个实施例。
图16示出相关方法中的限制的示例。
图17示出使用本文描述的一个一般方面编码视频块的方法的一个实施例。
图18示出使用本文描述的一个一般方面解码视频块的方法的另一实施例。
图19示出使用本文描述的至少一个一般方面编码或解码视频数据的块的装置的一个实施例。
图20示出使用本文描述的至少一个一般方面编码视频数据的块的方法的另一实施例。
图21示出使用本文描述的至少一个一般方面解码视频数据的块的方法的另一实施例。
图22示出避免不对称和对称二叉树之间的冗余的限制的示例。
图23示出具有时间层的分层级的B画面时间编码结构的示例。
图24示出防止非对称和非二元分割模拟对称二元分割模式的相关方法。
图25示出本文描述的提出的解决方案的原理的一个示例。
图26示出本文描述的提出的解决方案的原理的另一示例。
图27示出相关方法中的示例限制。
图28示出与对称二叉树分割相比的不对称二叉树分割的优先化的示例。
图29示出本文提出的方法可以达到的一些示例拓扑，具有相关方法无法达到的最大树深度2。
图30示出在本文提出的三叉树分割优先于对称二叉树分割的实施例的示例。
图31示出本文提出的不对称二叉树分割优先于对称二叉树分割的实施例的示例。
具体实施方式
为清楚起见，在本说明书中，“划分”，“分段”和“分割”都意味着相同的事物，其是执行像素的块的直线划分的动作。类似地，“分割”和“划分”意味着相同的事物，像素的分组作为对块或子块进行划分、分割或分段的结果。
在HEVC视频压缩标准中，画面被划分成所谓的编码树单元(CTU)，其典型尺寸64×64，128×128或256×256像素。
每个CTU由压缩域中的编码树表示。这是CTU的四叉树划分，其中每个叶片称为编码单元(CU)，见图1。
然后给每个CU一些帧内或帧间预测参数(预测信息)。为此，将其空间分区为一个或多个预测单元(PU)，每个PU被分配一些预测信息。帧内或帧间编码模式在CU级别上分配，见图2。
根据在比特流中用信号通知的分区类型完成编码单元分区为预测单元。对于帧内编码单元，仅使用图3中例示的分区类型2Nx2N和NxN。这意味着在帧内编码单元中仅使用正方形预测单元。
相反，帧间预测单元可以使用图3中所示的所有分区类型。
根据HEVC标准，编码单元也以递归方式被划分成所谓的变换单元，下文中的“变换树”。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶片。变换单元封装了对应于所考虑的正方形空间区域的每个画面组件的正方形变换块。变换块是单个组件中的样本的正方形块，其中应用相同的变换。
提出新兴的视频压缩工具，包括压缩域中的编码树单元表示，以在压缩域中以更灵活的方式表示画面数据。编码树的该灵活表示的优点是，提供与HEVC标准的CU/PU/TU布置相比的增加的压缩效率。
四叉树加二叉树(QTBT)编码工具提供该增加的灵活性。其在于编码树，其中编码单元可以以四叉树(4个子单元)和二叉树(2个子单元)方式分割。图4中例示编码树单元的这样的编码树表示。
通过率失真优化过程在编码器侧决定编码单元的分割，其在于以最小的率失真成本确定CTU的QTBT表示。
在QTBT技术中，CU具有正方形或矩形形状。编码单元的尺寸总是2的幂，并且典型从4到128。
除了用于编码单元的各种矩形形状之外，与HEVC相比，该新CTU表示还具有以下不同的特征：
·CTU的QTBT分解由两个阶段组成：首先以四叉树方式分割CTU，然后可以以二元方式进一步划分每个四叉树叶片。这在图4的右侧示出，其中实线表示四叉树分解阶段，而虚线表示在空间嵌入四叉树叶片中的二元分解。
·在帧内条带中，亮度和色度块分区结构被分离，并且被独立决定。
·不再使用CU分区为预测单元或变换单元。换句话说，每个编码单元系统地由单个预测单元(先前的2N×2N预测单元分区类型)和单个变换单元(不划分成变换树)组成。
描述的实施例关注压缩中的画面编码单元表示的域，并且目的在于与QTBT技术相比进一步改进的压缩效率。
在另一个申请中，(Asymmetric Coding Units Codec Architecture，EP-EPA16306308.4)，提出在QTBT中引入新的不对称分区。这些新形状在于宽度和/或高度尺寸等于3·2n。此外，宽度或高度尺寸为3的倍数的CU可以进一步以水平或垂直的二元方式分割。我们把该类型的分割称为四分之一分割。
当子块之一在一个方向上具有尺寸3·2n时，这些实施例支持利用当前四分之一分割的编码/解码。如果我们在相同方向再次以四分之一分割来分割该子块，我们将在相同方向上获得尺寸3·2n-2和32·2n-2的2个块。例如，两个连续的不对称水平顶部分割：首先将块32x32划分成32×8和32×24，然后将第二个子块进一步以32×6和32×18划分。
缺点是尺寸18的块不能以4划分，因此不能进一步分割。连续的不对称分割将导致许多不同的块尺寸。许多不同的块尺寸将要求许多与每个块尺寸相关联的新变换尺寸。这些变换要求大量内存用于快速和有效的实现方式。
在第一现有方法中，引入三叉树。三叉树或三元分割将编码单元或子单元分割成三个部分。优点之一是所有子块都是2的幂。主要缺点是其不提供尽可能多的灵活性来最佳地选择块的分区，因为即使只需要两个子块也强制三个子块，例如，当物体的界限越过边界时(见图7，三元分割与不对称分割)。
第二现有方法(EP-EPA 16306308.4)的基本思想是具有取决于块尺寸的不对称分割比。对于具有高度为2n的尺寸(w,h)(宽度和高度)的编码单元，不对称分割类型HOR_UP(水平向上)导致2个子编码单元，具有各自的矩形尺寸
Figure BDA0002216372320000071
和
Figure BDA0002216372320000072
但对于具有高度为3·2n的尺寸(w,h)的编码单元，不对称分割类型HOR_DOWN(水平向下)将导致2个子编码单元，具有各自的矩形尺寸
Figure BDA0002216372320000073
和
Figure BDA0002216372320000074
我们将该类型的分割称为三分之一分割。
例如，对于块32x32，第一不对称分割(四分之一分割)导致32x8和32x24块，第二子块的第二不对称分割(三分之一分割)导致32x16和32x8子块，如图9所示。因此，分割尺寸(四分之一/三分之一分割)取决于块的当前尺寸。
因此，可以由编码器选择宽度或高度等于3·2n的CU。在这种情况下，执行尺寸为3的倍数的一些矩形块的帧内预测和帧间处理。另外，执行宽度或高度尺寸3·2n的2D变换，以及随后的变换系数熵编码处理。这些技术方面在HEVC或QTBT中不存在。
最后编码单元分割模式(称为水平或垂直三叉树分割模式)在于将编码单元(CU)划分为3个子编码单元(子CU)，各自的尺寸等于在所考虑的空间划分方向上的父CU尺寸的1/4，1/2和1/4。这在图6中例示。
描述的实施例的一个背景是视频编码/解码方案，其中来自图4，图5和图6的所有CU分割模式在视频编码中被激活，这意味着编码器可以选择这些分割模式中的任何一种并且将它们用信号通知解码器。
呈现在这样的编解码器中的整组CU分割模式如图8所示。
图8例示本文考虑的视频编码方案中支持的所有编码单元分割模式的组。在实际视频图像中，这组丰富的编码单元拓扑结构有助于使编码结构在空间上与原始信号中包含的结构和不连续性相匹配。
图10示出可以利用相关应用的编码方案实现的编码单元分割配置(右下)。
图11示出二叉和三叉树分割的语法布置。
上述现有方法提供不对称分割处理，其中子CU与父CU之间的尺寸比率取决于父CU的尺寸。这允许级联给定CU的若干不对称分割操作，以潜在导致图9的配置。
图14示出限制使用不对称二叉树以防止三叉树操作的复制的示例。
图16示出替代方法中的限制示例。
另外，在现有发明(EP-EPA 16306308.4)中对不对称二叉树分割的使用进行了一些限制。这些限制防止编码器通过不同的连续分割达到编码单元的空间划分的给定配置。典型地，其防止不对称二叉树模拟二叉树(见图22)。另外，在本文描述的编码系统中，实施一些限制以避免三元和对称二元分割模式之间的冗余，以避免通过不同的分割路径达到等效CU分区。这在图22的右侧例示。可以看出，相对于包括三元分割的连续分割，连续对称二元分割被给予了优先级，这将导致相同的整体拓扑。
然而，如图22所示，现有技术中使用的限制导致在使用快速编码配置的情况下的次优的编码效率。
实际上，限制编码器的复杂性的方式是限制在编码器侧执行的率失真搜索的组合。这可以通过减少编码视频流(其编码画面根据随机访问编码结构来组织)的一些条带类型或一些时间层的最大二叉/三叉树深度来完成。
用于压缩视频的该“随机访问”编码结构在图23中示出。其由周期性帧内画面(它们之间具有分层级的B画面)组成。采用分层级的B画面编码结构的视频流的时间层(或级别)在图23中示出。属于给定时间级别的画面可以从属于小于或等于当前画面的时间级别的时间级别的画面进行时间预测。但是不能从具有更高时间级别的画面中预测。该时间编码结构提供了良好的编码效率和时间可伸缩性特征。
为了限制编码器侧的率失真(RD)搜索的组合，可以选择使用在帧内画面中小于或等于3的二叉/三叉树深度，以及在B图像中小于或等于2的二叉/三叉树深度。替代实施例将包括在时间级别高于给定阈值的画面中设置减小的最大深度，例如1，2或3。
描述的实施例解决的一个问题是当如图8所示的较大一组CU分割模式与CU的二叉/三叉树表示中的有限最大深度一起使用时，对编码效率的最大化。
解决该问题的第一方式是禁止二元不对称分割以及三叉树分割，无论何处它们是二叉树的冗余，如先前提出的，如图22所示。
其具有以非冗余方式使用所有可用分割模式的优点，以确保有限RD搜索组合。缺点是从编码效率的角度来看不是最佳的。
因此，描述的实施例的一个目的是在给定的一组二元，不对称和三元分割模式的约束以及CU的二元/三元表示中的有限最大深度(典型等于2)的情况下，在将CU划分为子CU时最大化可达到拓扑的数量。
通过以下技术目标获得最大化：
1.可以利用两个分割操作(一个包括三叉树分割，并且另一个仅包括二元分割操作)的不同连续，达到无论给定拓扑(子块划分配置)怎样，三叉树分割相对于二叉树分割被给予优先级。
2.可以利用两个分割操作(它们之一包括不对称分割，并且另一个仅包括二元分割)的不同序列，达到无论给定拓扑怎样，不对称二叉树分割相对于对称二叉树分割被给予了优先级。
关于三叉树情况，图24和图25示例示与图22的现有技术的不同。图22示出了现有技术的策略，其防止使用三叉树分割来达到图的右侧示出的拓扑。因为其只能通过对称二叉树分割来达到。
图25示出由提出的方法产生的策略。这里，如果二叉树分割导致可以通过三叉树分割操作达到的整体CU拓扑，则不允许二叉树分割。与三元和不对称二元分割模式相比，对称二元分割模式被给予最低优先级。
提出的方法的优点是能够达到比现有技术方法更多数量的拓扑，这将二元/三元编码树的最大深度限制为2。图26示出可以利用提出的方法获得的并且使用现有技术方法不能达到的一些典型拓扑结构。在图26的右下部分，可以看到CU拓扑，其中发布的小的子CU在三叉树分割的相反方向上进一步分割(分别具有VER_LEFT和VER分割模式)。对使用对称二叉树分割进行限制，以防止模拟通过三叉树分割模式可达到的拓扑。在现有技术中这样的进一步划分是不可能的，其中对于其需要一个额外的深度级别。
图27示出关于对称二元和不对称二元分割模式之间的冗余避免的现有技术方法。这在于不允许一系列2个分割，其包括不对称分割并且导致仅通过一系列对称分割可以达到的拓扑。
在至少一个当前实施例中提出的方法在于，相反，即，如果达到可以通过包括一系列2个连续分割(包括不对称分割)达到的拓扑，则不允许仅采用对称分割的一系列2个连续分割。这在图28中例示。
图29中可以看到新提出的方法的一个优点。图29的右侧示出在2个二叉/三叉树深度级别内可以用提出的方法获得并且不能利用现有技术方法获得的若干典型拓扑。可以看出，除了从深度级别0获得父CU的对称二元分解之外，现在还可以进一步将由不对称分割产生的较小的子CU划分为更小的块。这可以有助于隔离原始画面中的奇点(singularity)以便以有效的方式编码，从而改进整体编码效率。
根据至少一个其他实施例，不应用不对称树和对称二叉树之间的优先化，并且在将CU划分成较小编码单元时允许可以达到相同的空间拓扑的不同的分割连续之间的一些冗余。
接下来，描述用于在本文提出的应用三叉树优先于二叉树的处理。在针对当前CU激活并且允许三元和二元对称分割的情况下，分别针对水平和垂直方向进行两个主要步骤。该处理的一个实施例示出在图30中。
这些主要步骤中的每一个包括例如用于水平方位的以下内容。该方法测试当前CU的分割模式是否等于二元水平分割模式HOR以及是否已经通过HOR分割模式划分当前CU的第一子CU。如果是，则禁止HOR分割模式用于当前CU的第二子CU。
对垂直方位执行类似的处理。
接下来，描述本文提出的应用不对称二叉树优先于对称二叉树的处理。在针对当前CU，激活并且允许不对称和对称二元分割的情况下，分别针对水平和垂直方向进行两个主要步骤。该处理的一个实施例示出在图31中。
这些主要步骤中的每一个包括例如用于水平方位的以下内容。该方法测试当前CU的分割模式是否等于二元水平分割模式HOR。如果是，则对于当前CU的所有子CU禁止HOR分割模式。
对垂直方位执行类似处理。
接下来，描绘在本实施例中的至少一个中对标准的CU分割模式信令进行的修改。
表1示出没有这里提出的方法的情况下的分割模式的信令的规范。
Figure BDA0002216372320000121
表1：根据初始不对称CU工具，根据用于编码CU的三元/二元模式语法
表2示出利用这里提出的方法的分割模式的信令的规范。
可以看出，由于提出的方法而产生的标准的修改在于对一些语法元素出现在比特流中的条件的修改。基本上，每次区分三元和二元对称或不对称和对称二元分割之间的标志时，包括附加条件，其测试是否允许与关注的方位相关联的对称二元分割模式。
Figure BDA0002216372320000131
表2：根据这里提出的方法，根据用于编码CU的三元/二元分割模式语法
在第一替代实施例中，提出的限制仅修改三元分割和对称二元分割之间的优先化。
在第一替代实施例中，提出的限制仅修改不对称二元分割和对称二元分割之间的优先化。
在第三替代实施例中，提出的限制修改三元分割和对称二元分割之间的优先化以及不对称二元分割与对称二元分割之间的优先化。
根据变型，不应用不对称树和二元对称树之间的优先化，并且在将CU划分成较小编码单元时在可以达到相同的空间拓扑的不同的连续分割之间允许一些冗余。
根据另一变型，三元分割优先于二元分割与允许不对称二元分割和二元对称分割之间的一些冗余结合使用。
在第四替代实施例中，提出的优先化以同步方式联合应用于编码器和解码器，以联合限制编码器中的最佳分割模式的率失真搜索的组合，同时改进编码器、位流和解码器系统的编码效率。
在第五替代实施例中，提出的优先化仅应用于编码器侧，以在编码效率方面具有非常有限的损失的情况下，加速用于最佳分割模式的率失真搜索。
已经关于编码器或编码操作描述前述实施例。然而，相应的逆操作可应用于解码器或解码操作。例如，解码操作可以使用这样的处理使得使用对应于每个子块尺寸的变换来执行对包括块的多个子块的至少一个子块的解码，并且将多个子块重组为块，其中重组包括划分块的逆操作。重组操作基本上是编码划分操作的逆。
图12示出提出的功能块与通用视频压缩方案接口的示例。
图13示出利用块分区的视频解码方案。
图17示出用于编码视频数据的块的方法1700的一个实施例。该方法在开始块1701处开始并且前进到块1710，用于使用至少一个分割规则将块划分成至少两个矩形子块。控制从块1710前进到块1720，用于使用这样的处理使得使用对应于每个子块尺寸的变换对每个子块进行编码。
图18示出用于解码视频数据的块的方法1800的一个实施例。该方法在开始块1801开始并且前进到块1810，用于使用这样的处理使得使用对应于每个子块尺寸的变换对包括该块的多个子块中的至少一个子块进行解码。然后，控制从块1810前进到块1820，用于将多个子块重组成块，其中重组包括对划分或分割已用至少一个分割规则分割的块的逆操作。
图20示出用于实现前述方法或装置实施例的划分的方法2000的另一实施例。该方法在开始块2001开始并且前进到块2010，用于将块分割成子块，其在可以利用具有至少一个三叉树分割的两个连续分割操作来实现所述至少两个矩形子块的情况下使用三叉树分割操作，并且在可以利用具有至少一个不对称二元分割的两个连续分割操作来实现所述至少两个矩形子块的情况下使用不对称二叉树分割。控制从块2010前进到块2020，用于使用对应于子块尺寸的变换对子块进行编码。
图21示出用于实现前述方法或装置实施例的逆划分的方法2100的另一实施例。该方法在开始块2101处开始并且前进到块2110，用于利用对应于子块尺寸的变换对至少一个子块进行逆变换。控制从块2110进行到块2120，用于使用两个分割规则的逆从多个子块重组块。
图19示出用于对视频数据的块进行编码或解码的装置1900的一个实施例。该装置包括处理器1910，处理器1910具有输入和输出端口并且与也具有输入和输出端口的存储器1920信号连接。该装置可以执行上述方法实施例或变型中的任何。
可以使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供图中所示的各种元件的功能。当由处理器提供时，功能可以由单个专用处理器，单个共享处理器或多个单独的处理器(其中一些处理器可以被共享)提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(“DSP”)硬件，用于存储软件的只读存储器(“ROM”)，随机存取存储器(“RAM”)和非易失性贮存器。
也可以包括其他常规和/或定制的硬件。类似地，图中所示的任何开关仅是概念性的。它们的功能可以通过程序逻辑的操作，通过专用逻辑，通过程序控制和专用逻辑的交互来执行，或甚至手动地执行，特定技术可由实施者按照从上下文中更具体地理解地选择。
本说明书例示本构思。因此，将认识到，本领域技术人员将能够设想出虽然未在本文中明确描述或示出，但体现本构思并且包括在其精神和范围内的各种布置。
本文陈述的所有示例和条件语言旨在用于教学目的以帮助读者理解本原理和(多个)本发明人促进本领域的概念，并且要被解释为不限于这样的具体陈述的示例和条件。
此外，本文记载本原理的原理，方面和实施例的所有陈述以及其具体示例旨在包含其结构和功能等效物。另外，这样的等效物旨在包括当前已知的等效物以及将来开发的等效物，即，不管结构如何开发的执行相同功能的任何元件。
因此，例如，本领域技术人员将认识到，本文呈现的框图表示体现本原理的例示性电路的概念视图。类似地，将要认识到，任何流程图，流程示意图，状态转换图，伪代码等表示可以基本上在计算机可读介质中表示并因此由计算机或处理器执行的各种处理，无论这样的计算机或处理器是否已明确示出。
在本文的权利要求中，表达为用于执行指定功能的部件的任何元件旨在涵盖执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合或b)任何形式的软件，因此，包括与用于执行该软件以实施该功能的适当电路相结合的，固件、微代码等。由这样的权利要求限定的本原理在于这样的事实，由各种记载部件提供的功能以权利要求所要求的方式组合并提供在一起。因此认为可以提供这些功能的任何部件都等效于本文示出的那些。
说明书中对本原理的“一个实施例”或“实施例”及其其他变型的引用意味着本原理的至少一个实施例包括结合该实施例描述的特定特征，结构，特性等。因此，在整个说明书中出现在各个地方的短语“在一个实施例中”或“在实施例中”以及任何其他变型的出现不一定都指代相同的实施例。

Claims (21)

1.一种用于编码视频数据的块的方法，包括：
通过使用二元或三元分割将所述块划分为至少两个矩形子块，其中在划分所述块中使用至少一个规则，并且
使用处理来编码每个子块，其中利用对应于每个子块尺寸的变换，
其中，三元分割将所述块划分为三个子块，所述三个子块在所考虑的空间划分的方向上分别具有等于块尺寸的1/4、1/2和1/4的尺寸，其中二元分割包括是块尺寸的1/3或1/4的对称二元分割和不对称二元分割，
并且其中，所述规则包括：在所述至少两个矩形子块能够利用具有至少一个三元分割的两个连续的分割操作来实现或者利用至少两个二元分割操作来实现的情况下，使用三元分割操作，并且在所述至少两个矩形子块能够利用具有至少一个不对称二元分割的两个连续的分割操作来实现或者利用至少两个对称二元分割操作来实现的情况下，使用不对称二元分割。
2.如权利要求1所述的方法，其中所述划分包括：
二分之一分割，三分之一和三分之二分割，四分之一和四分之三分割，或三叉树分割。
3.如权利要求2所述的方法，其中，第一划分在第一方向上，第二划分在第二方向上。
4.如权利要求3所述的方法，其中，用于所述第一划分的方向和用于所述第二划分的方向包括水平或垂直。
5.一种用于解码视频数据的块的方法，包括：
使用处理来解码包括所述块的多个子块中的至少一个子块，其中利用对应于每个子块尺寸的逆变换，并且
将多个子块重组成所述块，其中重组包括通过使用二元或三元分割将所述块划分为至少两个矩形子块的逆操作，其中在划分所述块中使用至少一个规则，
其中，三元分割将所述块划分为三个子块，所述三个子块在所考虑的空间划分的方向上分别具有等于块尺寸的1/4、1/2和1/4的尺寸，其中二元分割包括是块尺寸的1/3或1/4的对称二元分割和不对称二元分割，
并且其中，所述规则包括：在所述至少两个矩形子块能够利用具有至少一个三元分割的两个连续的分割操作来实现或者利用至少两个二元分割操作来实现的情况下，使用三元分割操作，并且在所述至少两个矩形子块能够利用具有至少一个不对称二元分割的两个连续的分割操作来实现或者利用至少两个对称二元分割操作来实现的情况下，使用不对称二元分割。
6.如权利要求5所述的方法，其中所述划分包括：
二分之一分割，三分之一和三分之二分割，四分之一和四分之三分割，或三叉树分割。
7.如权利要求6所述的方法，其中，第一划分在第一方向上，第二划分在第二方向上。
8.如权利要求7所述的方法，其中，用于所述第一划分的方向和用于所述第二划分的方向包括水平或垂直。
9.如权利要求5所述的方法，其中，所述重组不同于编码期间发生的相应的划分的逆。
10.如权利要求5所述的方法，其中，所述重组基于表示所述块的所述划分的模式的信令。
11.一种用于编码视频数据的块的装置，包括：
存储器，和
处理器，配置为：
通过使用二元或三元分割将所述块划分为至少两个矩形子块，其中在划分所述块中使用至少一个规则，并且
使用处理来编码每个子块，其中利用对应于每个子块尺寸的变换，
其中，三元分割将所述块划分为三个子块，所述三个子块在所考虑的空间划分的方向上分别具有等于块尺寸的1/4、1/2和1/4的尺寸，其中二元分割包括是块尺寸的1/3或1/4的对称二元分割和不对称二元分割，
并且其中，所述规则包括：在所述至少两个矩形子块能够利用具有至少一个三元分割的两个连续的分割操作来实现或者利用至少两个二元分割操作来实现的情况下，使用三元分割操作，并且在所述至少两个矩形子块能够利用具有至少一个不对称二元分割的两个连续的分割操作来实现或者利用至少两个对称二元分割操作来实现的情况下，使用不对称二元分割。
12.如权利要求11所述的装置，其中配置为划分所述块的所述处理器被配置为执行：
二分之一分割，三分之一和三分之二分割，四分之一和四分之三分割，或三叉树分割。
13.如权利要求12所述的装置，其中，第一划分在第一方向上，第二划分在第二方向上。
14.如权利要求13所述的装置，其中，用于所述第一划分的方向和用于所述第二划分的方向包括水平或垂直。
15.一种用于解码视频数据的块的装置，包括：
存储器，和
处理器，配置为：
使用处理来解码包括所述块的多个子块中的至少一个子块，其中利用对应于每个子块尺寸的变换，并且
将多个子块重组成所述块，其中重组包括通过使用二元或三元分割将所述块划分为至少两个矩形子块的逆操作，其中在划分所述块中使用至少一个规则，
其中，三元分割将所述块划分为三个子块，所述三个子块在所考虑的空间划分的方向上分别具有等于块尺寸的1/4、1/2和1/4的尺寸，其中二元分割包括是块尺寸的1/3或1/4的对称二元分割和不对称二元分割，
并且其中，所述规则包括：在所述至少两个矩形子块能够利用具有至少一个三元分割的两个连续的分割操作来实现或者利用至少两个二元分割操作来实现的情况下，使用三元分割操作，并且在所述至少两个矩形子块能够利用具有至少一个不对称二元分割的两个连续的分割操作来实现或者利用至少两个对称二元分割操作来实现的情况下，使用不对称二元分割。
16.如权利要求15所述的装置，其中配置为划分所述块的所述处理器被配置为执行：
二分之一分割，三分之一和三分之二分割，四分之一和四分之三分割，或三叉树分割。
17.如权利要求16所述的装置，其中，第一划分在第一方向上，第二划分在第二方向上。
18.如权利要求17所述的装置，其中，用于所述第一划分的方向和用于所述第二划分的方向包括水平或垂直。
19.如权利要求15所述的装置，其中，配置为进行重组的所述处理器被配置为与编码期间发生的相应的划分的逆不同地进行重组。
20.如权利要求15所述的装置，其中配置为进行重组的所述处理器被配置为基于表示所述块的所述划分的模式的信令进行重组。
21.一种非暂时性计算机可读介质，包含根据权利要求1至4中任一项所述的方法或者由权利要求11至14中任一项所述的装置生成的数据内容，用于使用处理器进行的回放。
CN201880021531.5A 2017-03-27 2018-03-23 用于快速编码的多个分割优先化 Active CN110476423B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17305350.5 2017-03-27
EP17305350.5A EP3383045A1 (en) 2017-03-27 2017-03-27 Multiple splits prioritizing for fast encoding
PCT/EP2018/057509 WO2018177953A1 (en) 2017-03-27 2018-03-23 Multiple splits prioritizing for fast encoding

Publications (2)

Publication Number Publication Date
CN110476423A CN110476423A (zh) 2019-11-19
CN110476423B true CN110476423B (zh) 2022-09-30

Family

ID=58501407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021531.5A Active CN110476423B (zh) 2017-03-27 2018-03-23 用于快速编码的多个分割优先化

Country Status (4)

Country Link
US (1) US11375189B2 (zh)
EP (2) EP3383045A1 (zh)
CN (1) CN110476423B (zh)
WO (1) WO2018177953A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
WO2018093184A1 (ko) * 2016-11-18 2018-05-24 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11206419B2 (en) * 2017-05-17 2021-12-21 Kt Corporation Method and device for video signal processing
CN110999295B (zh) * 2017-07-04 2024-03-26 华为技术有限公司 边界强制分区的改进
CN117834922A (zh) * 2018-01-17 2024-04-05 英迪股份有限公司 对视频进行解码或编码的方法和发送数据的方法
WO2019169339A1 (en) * 2018-03-01 2019-09-06 Arris Enterprises Llc System and method of motion information storage for video coding and signaling
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN111107368B (zh) * 2018-10-26 2024-05-14 北京字节跳动网络技术有限公司 用于分割树决定的快速方法
WO2020084602A1 (en) 2018-10-26 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Signaling of partition information
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
CN117241033A (zh) * 2019-08-06 2023-12-15 北京字节跳动网络技术有限公司 使用屏幕内容编码工具进行视频编码和解码
CN114342400B (zh) 2019-09-02 2024-06-28 北京字节跳动网络技术有限公司 基于色彩格式的编解码模式确定
JP7332795B2 (ja) 2019-09-21 2023-08-23 北京字節跳動網絡技術有限公司 クロマ・イントラモードのベースとなるサイズ制約
CN116918325A (zh) * 2021-02-10 2023-10-20 抖音视界有限公司 视频解码器初始化信息信令通知

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
US9788019B2 (en) * 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity
CN102761742B (zh) 2012-07-03 2017-06-06 华为技术有限公司 变换块划分方法，变换块划分参数的编码方法及解码方法
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
EP3306927A1 (en) 2016-10-05 2018-04-11 Thomson Licensing Encoding and decoding methods and corresponding devices
EP3349454A1 (en) 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hyperspectral image segmentation using a new spectral mixture-based binary partition tree representation;M. A. Veganzones, G. Tochon, M. D. Mura, A. J. Plaza and J. Chan;《2013 IEEE International Conference on Image Processing》;20140213;全文 *
基于边缘信息的区域合并SAR图像分割算法;张泽均、水鹏朗;《系统工程与电子技术》;20141031;全文 *

Also Published As

Publication number Publication date
US20210266536A1 (en) 2021-08-26
EP3383045A1 (en) 2018-10-03
WO2018177953A1 (en) 2018-10-04
EP3603066A1 (en) 2020-02-05
EP3603066B1 (en) 2023-10-18
CN110476423A (zh) 2019-11-19
US11375189B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
CN110476423B (zh) 用于快速编码的多个分割优先化
CA2981185C (en) Method and apparatus of non-square intra prediction for chroma components in coding system with quad-tree and binary-tree partition
CN111314695B (zh) 使用二叉树块分区的视频编码的方法
CN110720217B (zh) 用于支持各种块大小的图像编码或解码的设备和方法
CN117201820A (zh) 对视频数据进行编码或解码的方法和发送比特流的方法
KR20120052267A (ko) 비디오 인코더 및 디코더용 대형 블록에 대한 인트라 예측을 시그널링하기 위한 방법 및 장치
ES2711230A2 (es) Metodo y aparato para procesar una senal de video
US20210409709A1 (en) Reducing redundancy between tree types
CN110677679B (zh) 依赖形状的帧内编码
KR20170102806A (ko) 비디오 신호 부호화/복호화 방법 및 이를 위한 장치
EP3522531A1 (en) Method for processing picture based on intra-prediction mode and apparatus for same
CN110839160A (zh) 扩展四叉树分割的强制边界分割
US20220007025A1 (en) Method and device for decoding video, and method and device for encoding video
CN113632479B (zh) 越界节点视频数据的处理方法及装置
CN110291792B (zh) 不对称编码单元尺寸的取决于块的比率
US20230103665A1 (en) Apparatuses for encoding and decoding image, and methods for encoding and decoding image thereby
US12126803B2 (en) Reducing redundancy between tree types
TW202341737A (zh) 在視訊編解碼中使用發送預定分區的cu劃分方法和裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant