CN118160304A - 使用各种块划分结构的视频编码方法和设备 - Google Patents

Abstract

公开了使用各种块划分结构的视频编码方法和设备。本实施方式提供使用基于块的宽度、高度或宽高比的各种块划分结构以提高视频编码效率并提高视频质量的视频编码方法和设备。

Description

使用各种块划分结构的视频编码方法和设备

技术领域

本公开涉及使用各种块划分结构的视频编码方法和设备。

背景技术

此部分中的陈述仅提供与本公开相关的背景信息，并且不一定构成现有技术。

由于视频数据与音频或静止图像数据相比具有较大的数据量，因此视频数据需要大量的硬件资源(包括存储器)以在不进行于压缩的处理的情况下存储或传输视频数据。

因而，编码器通常用于压缩和存储或传输视频数据。解码器接收压缩视频数据，对接收到的压缩视频数据进行解压缩，并播放解压缩后的视频数据。视频压缩技术包括H.264/AVC、高效视频编码(HEVC)和多用途视频编码(VVC)，与HEVC相比，VVC的编码效率提高了约30％或更大。

然而，由于图像大小、分辨率和帧速率逐渐增加，因此要编码的数据量也增加。因而，需要提供比现有压缩技术更高的编码效率和改善的图像增强效果的新的压缩技术。

在视频编码/解码中，图片可以被划分成多个编码树单元(CTU)。CTU被进一步划分成多个下级的(lower)编码单元(CU)，CU被定义为块划分结构。这里，CU被定义为这样的术语，其涵盖对应于一个或多个不同的颜色分量或亮度和色度分量及其对应的语法元素的编码块。

作为将CTU划分成多个子CU的方法，四叉树结构可用于将单个正方形块划分成四个下级的正方形块。将单个正方形或矩形块划分为两个水平划分的下级块或两个垂直划分的下级块被称为使用二叉树结构的块划分。将单个正方形或矩形块划分成三个水平划分的下级块或三个垂直划分的下级块被称为使用三叉树结构的块划分。此外，通过组合四叉树结构、二叉树结构和三叉树结构当中的一个或多个树结构来执行块划分的方法被称为多类型树结构。

块划分结构是影响包括基本预测、变换、量化和熵编码/解码的整个视频编码/解码过程、对提高编码/解码性能有重大影响的技术领域。因此，需要考虑各种块划分结构以提高编码效率并且提高视频质量。

发明内容

技术问题

本发明试图提供一种使用基于块的宽度、高度或宽高比的各种块划分结构以提高视频编码效率和视频质量的视频编码方法和设备。

技术方案

本发明的至少一方面提供一种由视频解码设备执行的用于划分当前块的方法。该方法包括从比特流解码当前块的宽度和高度以及指示当前块是否将被划分的分割标志。该方法还包括从当前块的宽度和高度计算当前块的宽高比。这里，宽高比是通过将当前块的宽度除以当前块的高度而获得的比率。该方法还包括检查分割标志的值。如果分割标志为假，则该方法还包括检查宽高比是否满足预设的第一条件以及宽度和高度是否满足预设的第二条件。如果宽高比满足第一条件且如果宽度和高度满足第二条件，则该方法还包括从比特流解码指示顺序四叉树结构的应用的顺序分割标志。如果顺序分割标志为真，则该方法还包括使用顺序四叉树结构将当前块划分成下级块。

本发明的另一方面提供一种由视频编码设备执行的用于分割当前块的方法。该方法包括：确定当前块的宽度和高度，以及确定指示当前块是否将被划分的分割标志。该方法还包括从当前块的宽度和高度来计算当前块的宽高比。这里，宽高比是通过将当前块的宽度除以当前块的高度而获得的比率。该方法还包括检查分割标志的值。如果分割标志为假，则该方法还包括检查宽高比是否满足预设的第一条件以及宽度和高度是否满足预设的第二条件。如果宽高比满足第一条件且如果宽度和高度满足第二条件，则该方法还包括确定指向顺序四叉树结构的应用的顺序分割标志。如果顺序分割标志为真，则该方法还包括使用顺序四叉树结构将当前块划分成下级块。该方法还包括编码当前块的宽度和高度、分割标志以及顺序分割标志。

本发明的又一方面提供一种存储由视频编码方法生成的比特流的计算机可读记录介质。视频编码方法包括：确定当前块的宽度和高度，以及确定指示当前块是否将被划分的分割标志。视频编码方法还包括从宽度和高度计算当前块的宽高比。这里，宽高比是通过将当前块的宽度除以当前块的高度而获得的比率。视频编码方法还包括检查分割标志的值。如果分割标志为假，则视频编码方法还包括检查宽高比是否满足预设的第一条件以及宽度和高度是否满足预设的第二条件。如果宽高比满足第一条件且如果宽度和高度满足第二条件，则视频编码方法还包括确定指向顺序四叉树结构的应用的顺序分割标志。如果顺序分割标志为真，则视频编码方法还包括使用顺序四叉树结构将当前块划分成下级块。视频编码方法还包括编码当前块的宽度和高度、分割标志以及顺序分割标志。

有益效果

如上所述，本发明提供基于块的宽度、高度或宽高比而使用各种块划分结构的视频编码方法和设备。由此，视频编码方法和设备提高了视频编码效率和视频质量。

附图说明

图1是可实施本公开的技术的视频编码设备的框图。

图2示出用于使用四叉树加二叉树三叉树(QTBTTT)结构来分割块的方法。

图3a和图3b示出包括广角帧内预测模式的多个帧内预测模式。

图4示出当前块的邻近块。

图5是可实施本公开的技术的视频解码设备的框图。

图6是示出根据块划分结构的各种块分割的示图。

图7a和图7b是示出根据本公开的至少一个实施方式的块划分结构的示图。

图8a和图8b是示出根据本公开的至少一个实施方式的块划分结构中的经划分块的编码次序的图。

图9是概念性地示出根据块划分结构的语法元素的信令结构的示图。

图10是概念性地示出根据本公开的至少一个实施方式的基于块划分结构的语法元素的信令结构的示图。

图11是概念性地示出根据本公开的另一个实施方式的基于块划分结构的语法元素的信令结构的示图。

具体实施方式

在下文中，参照附图详细描述本公开的一些实施方式。在以下描述中，相同的参考标号表示相同的元件，尽管元件在不同的附图中示出。此外，在一些实施方式的以下描述中，为了清楚和简洁的目的，当认为使本公开的主题模糊时，可以省略相关已知组件和功能的详细描述。

图1是可以实现本公开的技术的视频编码设备的框图。在下文中，参照图1的图示，描述视频编码设备和该设备的组件。

编码设备可包括图片分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波器单元180和存储器190。

编码设备的每个组件可以实现为硬件或软件或者实现为硬件和软件的组合。此外，每个组件的功能可以实现为软件，并且还可以实现微处理器以执行与每个组件相对应的软件的功能。

一个视频由包括多个图片的一个或多个序列构成。每个图片被分割成多个区域，并对每个区域执行编码。例如，将一个图片分割成一个或多个瓦片或/和切片。这里，一个或多个瓦片可以被定义为一瓦片组。每一瓦片或/和切片被分割成一个或多个编码树单元(CTU)。另外，每个CTU通过树结构被分割成一个或多个编码单元(CU)。将应用于每个编码单元(CU)的信息编码为CU的语法，且将共同应用于包含在一个CTU中的这些CU的信息编码为CTU的语法。此外，共同应用于一个切片中的所有块的信息被编码为切片报头的语法，并且应用于构成一个或多个图片的所有块的信息被编码到图片参数集(PPS)或图片报头。此外，将多个图片共同引用的信息被编码到序列参数集(SPS)。另外，一个或多个SPS共同引用的信息被编码到视频参数集(VPS)。此外，共同应用于一个瓦片或瓦片组的信息也可被编码为瓦片报头或瓦片组报头的语法。包含在SPS、PPS、切片报头、瓦片或瓦片组报头中的语法可被称为高级语法。

图片分割器110确定编码树单元(CTU)的大小。关于CTU的大小(CTU大小)的信息被编码为SPS或PPS的语法并且被递送到视频解码设备。

图片分割器110将构成视频的每个图片分割成具有预定大小的多个编码树单元(CTU)，然后通过使用树结构递归地分割CTU。树结构中的叶节点变成编码单元(CU)，其是编码的基本单元。

树结构可以是四叉树(QT)，其中，较高节点(或父节点)被分割成具有相同大小的四个下级节点(或子节点)。树结构也可以是二叉树(BT)，其中较高节点被分割成两个下级节点。树结构还可以是三叉树(TT)，其中，较高节点以1：2：1的比率被分割成三个下级节点。树结构也可以是QT结构、BT结构和TT结构当中的两个或更多个结构相混合的结构。例如，可以使用四叉树加二叉树(QTBT)结构或者可以使用四叉树加二叉树三叉树(QTBTTT)结构。这里，二叉树三叉树(BTTT)被添加到树结构中以被称为多类型树(MTT)。

图2是用于描述通过使用QTBTTT结构来分割块的方法的示图。

如图2所示，CTU可以首先被分割成QT结构。四叉树分割可以是递归进行的，直到分割块的大小达到在QT中允许的叶节点的最小块大小(MinQTSize)。指示QT结构中的每个节点是否被分割成下一层的四个节点的第一标志(QT_split_flag)由熵编码器155编码，并被用信号发送到视频解码设备。当QT的叶节点不大于BT中允许的根节点的最大块大小(MaxBTSize)时，叶节点可进一步被分割成BT结构和TT结构中的至少一者。在BT结构和/或TT结构中可存在多个分割方向。例如，可存在两个方向，即，对应节点的块被水平分割的方向和对应节点的块被垂直分割的方向。如图2所示，当MTT分割开始时，指示节点是否被分割的第二标志(mtt_split_flag)以及额外指示分割方向(垂直或水平)的标志和/或如果节点被分割则指示分割类型(二叉或三叉)的标志由熵编码器155编码并被用信号发送到视频解码设备。

可替代地，在编码指示每个节点是否被分割成下一层的四个节点的第一标志(QT_split_flag)之前，指示该节点是否被分割的CU分割标志(split_cu_flag)也可被编码。当CU分割标志(split_cu_flag)的值指示每个节点未分割时，对应节点的块变为分割树结构中的叶节点且变为作为编码的基本单元的CU。当CU分割标志(split_cu_flag)的值指示每个节点被分割时，视频编码设备首先通过上述方案开始编码第一标志。

当QTBT被用作树结构的另一实施例时，可存在两种类型，即，对应节点的块被水平分割为具有相同大小的两个块的类型(即，对称水平分割)和对应节点的块被垂直分割为具有相同大小的两个块的类型(即，对称垂直分割)。指示BT结构的每个节点是否被分割为下一层的块的分割标志(split_flag)和指示分割类型的分割类型信息由熵编码器155编码，并被递送到视频解码设备。同时，可以额外呈现将对应节点的块分割为彼此不对称的两个块的类型。非对称形式可包括其中对应节点的块被分割成具有1：3的大小比的两个矩形块的形式，或者还可包括其中对应节点的块被沿对角线方向分割的形式。

CU可根据来自CTU的QTBT或QTBTTT分割而具有不同大小。在下文中，与待编码或解码的CU(即，QTBTTT的叶节点)相对应的块被称为“当前块”。由于采用了QTBTTT分割，因此当前块的形状除了正方形形状外，还可以是矩形形状。

预测器120预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测器124。

通常，图片中的每个当前块可经预测性编码。通常，当前块的预测可以通过使用帧内预测技术(使用来自包括当前块的图片的数据)或者帧间预测技术(使用来自在包括当前块的图片之前被编码的图片的数据)来执行。帧间预测包括单向预测和双向预测两者。

帧内预测器122通过使用在包括当前块的当前图片中位于当前块的邻近位置的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多个帧内预测模式。例如，如图3a所示，多个帧内预测模式可以包括包含平面模式和DC模式的2个非定向模式，并且可以包括65个定向模式。将被使用的邻近像素和算术等式根据每个预测模式而被不同地定义。

为了对具有矩形形状的当前块进行高效的方向预测，可以额外使用如图3b中的虚线箭头所示的定向模式(#67至#80，帧内预测模式#-1至#-14)。定向模式可被称作“广角帧内预测模式”。在图3b中，箭头指示用于预测的对应参考样本并且不表示预测方向。预测方向与箭头所示的方向相反。在当前块具有矩形形状时，广角帧内预测模式是在无需额外比特传输的情况下以与特定定向模式相反的方向执行预测的模式。在这种情况下，可通过具有矩形形状的当前块的宽度和高度的比率来确定广角帧内预测模式当中可用于当前块的一些广角帧内预测模式。例如，在当前块具有高度小于宽度的矩形形状时，具有小于45度的角度的广角帧内预测模式(帧内预测模式#67至#80)是可用的。在当前块具有宽度大于高度的矩形形状时，可使用具有大于-135度的角度的广角帧内预测模式。

帧内预测器122可以确定将用于对当前块进行编码的帧内预测。在一些实施例中，帧内预测器122可通过使用多个帧内预测模式对当前块进行编码，且还可从经测试的模式中选择将使用的合适的帧内预测模式。例如，帧内预测器122可通过对多个经测试的帧内预测模式使用率-失真分析来计算率-失真值，并且还可在经测试的模式当中选择具有最佳率-失真特征的帧内预测模式。

帧内预测器122在多个帧内预测模式当中选择一个帧内预测模式，并通过使用邻近像素(参考像素)和根据选择的帧内预测模式而确定的算术等式来预测当前块。关于所选择的帧内预测模式的信息由熵编码器155编码，并被递送到视频解码设备。

帧间预测器124通过使用运动补偿处理来生成对于当前块的预测块。帧间预测器124在比当前图片更早地编码和解码的参考图片中搜索与当前块最相似的块，并且通过使用搜索到的块来生成对于当前块的预测块。另外，生成运动矢量(MV)，其对应于在当前图片中的当前块和在参考图片中的预测块之间的位移。通常，对亮度分量执行运动估计，并且基于亮度分量而计算的运动矢量被用于亮度分量和色度分量两者。包括关于参考图片的信息和关于用于预测当前块的运动矢量的信息的运动信息由熵编码器155编码，并被递送到视频解码设备。

帧间预测器124还可对参考图片或参考块执行插值以便增加预测的准确度。换句话说，通过将滤波器系数应用于包括两个整数样本在内的多个连续整数样本，而对两个连续整数样本之间的子样本进行插值。当针对经插值的参考图片执行搜索与当前块最相似的块的处理时，可以不是以整数样本单位精度，而是以小数单位精度表示运动矢量。可针对待编码的每一目标区域(例如，诸如切片、瓦片、CTU、CU的单元)不同地设定运动矢量的精度或分辨率。当应用这样的自适应运动矢量分辨率(AMVR)时，应针对每一目标区域将关于待应用至每一目标区域的运动矢量分辨率的信息用信号发出。例如，当目标区域是CU时，用信号发送关于应用于每个CU的运动矢量分辨率的信息。关于运动矢量分辨率的信息可以是表示将在下面描述的运动矢量差的精度的信息。

同时，帧间预测器124可通过使用双向预测来执行帧间预测。在双向预测的情况下，使用两个参考图片和表示在每个参考图片中最类似于当前块的块位置的两个运动矢量。帧间预测器124分别从参考图片列表0(RefPicList0)和参考图片列表1(RefPicList1)选择第一参考图片和第二参考图片。帧间预测器124还搜索与相应参考图片中的当前块最相似的块，以生成第一参考块和第二参考块。另外，通过对第一参考块和第二参考块进行平均或加权平均来生成当前块的预测块。另外，包括关于用于预测当前块的两个参考图片的信息并且包括关于两个运动矢量的信息的运动信息被递送到熵编码器155。在这里，参考图片列表0可以由预先重建的图片当中按显示顺序在当前图片之前的图片构成，并且参考图片列表1可以由预先重建的图片当中按显示顺序在当前图片之后的图片构成。然而，虽然对此没有特别限制，但是在参考图片列表0中可以额外包括按显示顺序在当前图片之后的预重建的图片。相反，在参考图片列表1中也可以额外包括在当前图片之前的预重建的图片。

为了最小化为编码运动信息所消耗的比特数量，可以使用各种方法。

例如，当当前块的参考图片和运动矢量与邻近块的参考图片和运动矢量相同时，能够识别邻近块的信息被编码以将当前块的运动信息递送到视频解码设备。这种方法被称为合并模式。

在合并模式中，帧间预测器124从当前块的邻近块中选择预定数量的合并候选块(在下文中，称为“合并候选”)。

如在图4中示出的，可以使用在当前图片中邻近于当前块的左块A0、左下块A1、上块B0、右上块B1、以及左上块B2中的全部或者一些作为用于推导合并候选的邻近块。进一步，定位在除当前块所定位在的当前图片之外的参考图片(可以与用于预测当前块的参考图片相同或不同)内的块也可以用作合并候选。例如，在参考图片内与当前块共位置的块或与该共位置的块相邻的块可额外用作合并候选。如果通过上文所描述的方法选择的合并候选的数量小于预设数量，则将零矢量添加到合并候选。

帧间预测器124使用邻近块来配置包括预定数量的合并候选的合并列表。从包括在合并列表中的合并候选当中，选择要用作当前块的运动信息的合并候选，并且生成用于识别所选择的候选的合并索引信息。所生成的合并索引信息由熵编码器155编码，并被递送到视频解码设备。

合并跳过模式是合并模式的特殊情况。在量化之后，当用于熵编码的所有变换系数都接近于零时，仅传输邻近块选择信息而不传输残差信号。通过使用合并跳过模式，对于具有轻微运动的图像、静止图像、屏幕内容图像等可以实现相对高的编码效率。

在下文中，合并模式和合并跳过模式被统称为合并/跳过模式。

用于编码运动信息的另一方法是高级运动矢量预测(AMVP)模式。

在AMVP模式中，帧间预测器124使用当前块的邻近块来推导用于当前块的运动矢量的运动矢量预测物(predictor)候选。作为用于推导运动矢量预测物候选的邻近块，可以使用与在图4中示出的当前图片中的当前块相邻的左块A0、左下块A1、上块B0、右上块B1、以及左上块B2中的全部或一些。此外，定位在除当前块所定位在的当前图片之外的参考图片(可以与用于预测当前块的参考图片相同或不同)内的块也可以用作用于推导运动矢量预测物候选的邻近块。例如，可以使用在参考图片内与当前块共位置的块或者与该共位置的块相邻的块。如果通过上述方法选择的运动矢量候选的数量小于预设数量，则零矢量被添加到运动矢量候选。

帧间预测器124使用邻近块的运动矢量来推导出运动矢量预测物候选，并使用运动矢量预测物候选来确定用于当前块的运动矢量的运动矢量预测物。另外，通过从当前块的运动矢量减去运动矢量预测物来计算运动矢量差。

运动矢量预测物可通过将预定义的函数(例如，中心值和平均值计算等)应用于运动矢量预测物候选来获得。在这种情况下，视频解码设备还知晓预定义的函数。此外，由于用于推导运动矢量预测物候选的邻近块是已经完成编码和解码的块，所以视频解码设备还可能已经知晓邻近块的运动矢量。因此，视频编码设备不需要对用于识别运动矢量预测物候选的信息进行编码。因而，在这种情况下，关于运动矢量差的信息和关于用于预测当前块的参考图片的信息被编码。

同时，还可以通过选择运动矢量预测物候选中的任一个的方案来确定运动矢量预测物。在这种情况下，用于识别已选择的运动矢量预测物候选的信息与关于运动矢量差的信息和关于用于预测当前块的参考图片的信息联合地额外编码。

减法器130通过从当前块中减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。

变换器140将残差块中具有空间域的像素值的残差信号变换为频域的变换系数。变换器140可通过将残差块的总大小用作变换单元来对残差块中的残差信号进行变换，或者还可将残差块分割成多个子块，并可通过将子块用作变换单元来执行变换。可替代地，该残差块被划分成两个子块，分别为变换区域和非变换区域，以仅使用变换区域子块作为变换单元来对残差信号进行变换。这里，变换区域子块可以是基于水平轴(或垂直轴)的大小比为1：1的两个矩形块之一。在这种情况下，指示仅子块被变换的标志(cu_sbt_flag)、方向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)由熵编码器155编码并被用信号发送到视频解码设备。此外，变换区域子块的大小可具有基于水平轴(或垂直轴)的大小比1：3。在这种情况下，将对应分割进行区分的标志(cu_sbt_quad_flag)由熵编码器155额外编码，并被用信号发送到视频解码设备。

同时，变换器140可在水平方向和垂直方向上单独地对残差块执行变换。对于变换，可使用不同类型的变换函数或变换矩阵。例如，用于水平变换和垂直变换的一对变换函数可定义为多重变换集(MTS)。变换器140可选择在MTS中具有最高变换效率的一个变换函数对，并可在水平和垂直方向中的每一者上变换残差块。MTS中的变换函数对的信息(mts_idx)由熵编码器155编码并被用信号发送到视频解码设备。

量化器145使用量化参数量化从变换器140输出的变换系数，并将经量化的变换系数输出到熵编码器155。量化器145还可以立即量化相关的残差块，而无需对于任何块或帧的变换。量化器145还可根据变换块中的变换系数的位置应用不同的量化系数(缩放值)。应用至以2维布置的经量化的变换系数的量化矩阵可被编码并被用信号发送到视频解码设备。

重排单元150可以对经量化的残差值的系数值执行重新排列。

重排单元150可以使用系数扫描将2D系数阵列改变为1D系数序列。例如，重排单元150可以通过使用Z字形扫描或者对角线扫描将DC系数扫描为高频域系数，来输出1D系数序列。根据变换单元的大小和帧内预测模式，还可使用沿列方向扫描2D系数阵列的垂直扫描和沿行方向扫描2D块类型系数的水平扫描来代替Z字形扫描。换句话说，根据变换单元的大小和帧内预测模式，可在Z字形扫描、对角线扫描、垂直扫描和水平扫描当中确定要使用的扫描方法。

熵编码器155通过使用包括基于上下文的自适应二进制算术编码(CABAC)、指数哥伦布等的各种编码方案对从重排单元150输出的1D经量化的变换系数的序列进行编码，来生成比特流。

此外，熵编码器155对与块分割相关的信息(诸如，CTU大小、CTU分割标志、QT分割标志、MTT分割类型、MTT分割方向等)进行编码，以允许视频解码设备以与视频编码设备同样的方式分割块。此外，熵编码器155对关于预测类型的信息进行编码，该预测类型指示当前块是通过帧内预测还是帧间预测来编码的。熵编码器155根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(在合并模式的情况下，是合并索引；以及在AMVP模式的情况下，是关于参考图片索引和运动矢量差的信息)进行编码。此外，熵编码器155对与量化相关的信息(即，关于量化参数的信息和关于量化矩阵的信息)进行编码。

逆量化器160对从量化器145输出的经量化的变换系数进行去量化以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空间域，以重建残差块。

加法器170将经重建的残差块和由预测器120生成的预测块相加以重建当前块。当对下一次序块进行帧内预测时，经重建的当前块中的像素可用作参考像素。

环路滤波器单元180对重建的像素执行滤波，以便减少由于基于块的预测和变换/量化而发生的块效应、振铃效应、模糊效应等。作为环内滤波器的环路滤波器单元180可包括去块滤波器182、样本自适应偏移(SAO)滤波器184和自适应环路滤波器(ALF)186中的全部或一些。

去块滤波器182对重建的块之间的边界进行滤波以便去除由于块单元编码/解码而发生的块效应，并且SAO滤波器184和ALF 186对经去块滤波的视频执行额外滤波。SAO滤波器184及ALF 186是用于补偿由于有损编码而发生的经重建像素与原始像素之间的差的滤波器。SAO滤波器184应用作为一CTU单位的偏移，以增强主观图像质量和编码效率。另一方面，ALF 186执行块单元滤波，并且通过划分对应块的边界和变化量的程度来应用不同的滤波器来补偿失真。关于待用于ALF的滤波器系数的信息可被编码并被用信号发送到视频解码设备。

通过去块滤波器182、SAO滤波器184和ALF 186滤波的经重建的块被存储在存储器190中。当一个图片中的所有块都被重建时，经重建的图片可以用作用来对之后要编码的图片内的块进行帧间预测的参考图片。

图5是可以实现本公开的技术的视频解码设备的功能框图。在下文中，参考图5，描述视频解码设备和该设备的组件。

视频解码设备可包括熵解码器510、重排单元515、逆量化器520、逆变换器530、预测器540、加法器550、环路滤波器单元560和存储器570。

与图1的视频编码设备相似，视频解码设备的每个组件可实现为硬件或软件或实现为硬件和软件的组合。此外，每个组件的功能可以实现为软件，并且还可以实现微处理器以执行与每个组件相对应的软件的功能。

熵解码器510通过对视频编码设备生成的比特流进行解码来提取与块分割相关的信息，从而确定待解码的当前块，并且提取重建当前块所需的预测信息和关于残差信号的信息。

熵解码器510通过从序列参数集(SPS)或图片参数集(PPS)提取关于CTU大小的信息来确定CTU的大小，并且将图片分割成具有所确定大小的CTU。另外，CTU被确定为树结构的最高层，即根节点，并且可以提取CTU的分割信息，以使用该树结构对CTU进行分割。

例如，当使用QTBTTT结构来分割CTU时，首先提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割成下一层的四个节点。另外，针对与QT的叶节点相对应的节点，提取与MTT的分割相关的第二标志(mtt_split_flag)、分割方向(垂直/水平)和/或分割类型(二叉/三叉)，以将对应的叶节点分割成MTT结构。结果，在QT的叶节点之下的每个节点被递归地分割成BT或TT结构。

作为另一实施例，当使用QTBTTT结构来分割CTU时，提取指示CU是否被分割的CU分割标志(split_cu_flag)。当对应的块被分割时，也可以提取第一标志(QT_split_flag)。在分割过程期间，对于每个节点，可以在0次或更多次的递归QT分割之后发生0次或更多次的递归MTT分割。例如，对于CTU，MTT分割可以立即发生，或者相反，也可以仅发生多次QT分割。

作为另一实施例，当使用QTBT结构对CTU进行分割时，提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割成下一层的四个节点。另外，提取指示与QT的叶节点相对应的节点是否被进一步分割成BT的分割标志(split_flag)以及分割方向信息。

同时，当熵解码器510使用树结构的分割确定待解码的当前块时，熵解码器510提取关于指示当前块是帧内预测的还是帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器510提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器510提取表示用于帧间预测信息的语法元素(即，运动矢量和运动矢量引用的参考图片)的信息。

此外，熵解码器510提取量化相关信息并且提取关于当前块的经量化的变换系数的信息，作为关于残差信号的信息。

重排单元515可以以与视频编码设备执行的系数扫描次序相反的次序，将由熵解码器510熵解码的1D经量化的变换系数的序列再次改变为2D系数阵列(即，块)。

逆量化器520将经量化的变换系数去量化，并且通过使用量化参数来将经量化的变换系数去量化。逆量化器520还可将不同的量化系数(缩放值)应用于以2D布置的经量化的变换系数。逆量化器520可通过将来自视频编码设备的量化系数(缩放值)的矩阵应用于经量化的变换系数的2D阵列来执行去量化。

逆变换器530通过将去量化的变换系数从频域逆变换到空间域中来重建残差信号，从而生成当前块的残差块。

此外，当逆变换器530对变换块的部分区域(子块)进行逆变换时，逆变换器530提取仅变换块的子块被变换的标志(cu_sbt_flag)、子块的方向(垂直/水平)信息(cu_sbt_horizontal_flag)、和/或子块的位置信息(cu_sbt_pos_flag)。逆变换器530还将对应子块的变换系数从频域逆变换到空间域中以重建残差信号，并且用值“0”填充未被逆变换的区域作为残差信号，以生成当前块的最终残差块。

此外，当应用MTS时，逆变换器530通过使用从视频编码设备用信号发送的MTS信息(mts_idx)来确定将在水平方向和垂直方向中的每一者上应用的变换索引或变换矩阵。逆变换器530还使用所确定的变换函数在水平方向和垂直方向上对变换块中的变换系数执行逆变换。

预测器540可包括帧内预测器542和帧间预测器544。在当前块的预测类型是帧内预测时激活帧内预测器542，并且在当前块的预测类型是帧间预测时激活帧间预测器544。

帧内预测器542根据从熵解码器510提取的帧内预测模式的语法元素，在多个帧内预测模式当中确定当前块的帧内预测模式。帧内预测器542还根据帧内预测模式使用当前块的邻近参考像素来预测当前块。

帧间预测器544使用从熵解码器510提取的用于帧间预测模式的语法元素来确定当前块的运动矢量和该运动矢量引用的参考图片。

加法器550通过将从逆变换器530输出的残差块和从帧间预测器544或帧内预测器542输出的预测块相加，来重建当前块。在对之后要解码的块进行帧内预测时，经重建的当前块内的像素被用作参考像素。

作为环内滤波器的环路滤波器单元560可以包括去块滤波器562、SAO滤波器564和ALF 566。去块滤波器562对经重建的块之间的边界执行去块滤波，以便去除由于块单元解码而发生的块效应。SAO滤波器564和ALF 566对去块滤波之后的经重建块执行额外滤波，以便补偿由于有损编码而发生的经重建像素与原始像素之间的差。通过使用关于从比特流解码的滤波器系数的信息来确定ALF的滤波器系数。

通过去块滤波器562、SAO滤波器564和ALF 566滤波的经重建的块被存储在存储器570中。当一个图片中的所有块都被重建时，经重建的图片可以用作用来对之后要编码的图片内的块进行帧间预测的参考图片。

本公开在一些实施方式中涉及如上所述的对视频图像进行编码和解码。更具体地，本公开提供一种使用基于块的宽度、高度或宽高比的各种块划分结构以提高视频编码效率和视频质量的视频编码方法和设备。

在以下实施方式中，利用各种块划分结构的块划分方法可由视频编码设备中的图片分割器110执行。此外，视频编码设备可以将图片分割器110生成的块划分结构及其相关信令信息传输到视频解码设备。

在优化率失真方面，视频编码设备可以生成当前块的块划分结构及其相关信令信息。视频编码设备可以使用熵编码器155对块划分结构和相关信令信息进行编码，并可将它们传输到视频解码设备。视频解码设备可以使用熵解码器510从比特流中解码当前块的块划分结构和相关信令信息。

如上所述，生成的块划分结构和相关信令信息可以被视频编码设备内的预测器120、变换器140、量化器150等利用。此外，经解码的块划分结构和相关信令信息可以被视频解码设备内的逆量化器520、逆变换器530、预测器540等利用。

在下面的描述中，块可以是当前块或编码块。当前块和编码块可以互换使用。在此上下文中，编码(coding)是编码(encoding)和解码(decoding)的集体表达。

进一步，块的宽高比定义为块的水平侧的长度除以其垂直侧的长度。

此外，标志的值真指示将标志设置为1的情况。另外，标志的值假指示将标志设置为0的情况。

传统的块划分结构

图6是示出根据块划分结构的各种块划分的示图。

作为实施例，编码块可以以NO_SPLIT格式来编码和解码，其中不执行到额外的下级块的划分。

在另一实施例中，正方形块可以以QT_SPLIT(在下文中与“QT”可互换地使用)的形式被划分，QT_SPLIT将正方形块划分成四个正方形的下级块。将正方形块划分成四个正方形的下级块的方法称为使用四叉树结构的块划分方法。

作为另一实施例，正方形或矩形块可被划分成两个水平划分的下级块BT_HOR，或划分成两个垂直划分的下级块BT_VER。将正方形或矩形块划分成两个水平划分的下级块或两个垂直划分的下级块的方法称为使用二叉树结构的块划分方法。在下文中，BT_HOR和BT_VER可以被统称为BT。

作为又一实施例，正方形或矩形块可被划分成三个水平划分的下级块TT_HOR或三个垂直划分的下级块TT_VER。将正方形或矩形块划分成三个水平划分的下级块或三个垂直划分的下级块的方法称为使用三叉树结构的块划分方法。在下文中，TT_HOR和TT_VER可以被统称为TT。

提供的块划分结构

图7a和图7b是示出根据本公开的至少一个实施方式的块划分结构的示图。

本实施方式提供一种使用顺序四叉树结构的块划分方法，该方法将矩形块专门划分成四个顺序的矩形下级块。在图7a和图7b的实施例中，矩形块被划分成四个顺序的矩形下级块，但不限于此。例如，矩形块也可被划分成多个矩形下级块。

如果编码块的宽高比满足特定条件，则使用顺序四叉树结构的块划分方法对指示块是否要被划分的块划分语法进行编码或解析。这可有效地减少块划分的语法开销，且确定是否将相关块划分成下级块。

作为实施例，如果编码块的宽高比满足特定条件，则使用顺序四叉树结构的块划分方法可以将矩形编码块从左到右划分成四个正方形的编码块，诸如图7a中所示的SQT_VER。此时，特定条件是指编码块的宽高比为4，即编码块的宽度对高度的比为4：1。

作为另一实施例，如果一个编码块的宽高比满足特定条件，则使用顺序四叉树结构的块划分方法可将矩形编码块沿从上到下的方向划分成四个正方形的编码块，诸如图7b中所示的SQT_HOR。此时，特定条件是指编码块的宽高比为1/4，即编码块的宽度对高度的比为1：4。

图8a和图8b是示出根据本公开的至少一个实施方式的块划分结构中的经划分块的编码次序的图。

在下文中，待编码的当前块的宽度被定义为w，并且高度被定义为h。

当使用顺序四叉树结构的本块划分方法沿从左到右的方向将一个矩形块划分成四个正方形块时，当前块的下级块可以具有宽度w/4和高度h，如图8a所示。在这种情况下，如果使用顺序四叉树结构将矩形块沿从左到右的方向划分为四个正方形的下级块，则该四个下级块各自具有宽度w/4和高度h，满足它们的大小全部相同的条件。

此外，如图8a所示，当使用顺序四叉树结构的块划分方法沿从左到右的方向将矩形块划分成四个正方形块时，可以按从左到右的次序依次执行四个正方形的下级块的编码。

另外，可采用用于改变块的编码次序(诸如编码块重新排序)的技术。在这种情况下，可基于确定四个正方形下级块的编码次序的语法信息(例如，编码次序标志)，按从左到右的次序依次执行下级块的编码。可替代地，可按从右到左的次序依次执行下级块的编码。

另一方面，如图8b所示，当使用顺序四叉树结构的本块划分方法沿从上到下的方向将块划分成四个正方形编码块时，当前块的下级块可以具有宽度w和高度h/4。在这种情况下，当使用顺序四叉树结构沿从上到下的方向将矩形块划分成四个正方形块时，该四个下级块各自具有宽度w和高度h/4，满足它们的大小都相同的条件。

此外，如图8b所示，当使用顺序四叉树结构的块划分方法沿从上到下的方向将块划分成四个正方形块时，可以按从上到下的次序依次执行四个正方形的下级块的编码。

另外，可使用用于改变块的编码次序(诸如编码块重新排序)的技术。在这种情况下，可基于确定四个正方形下级块的编码次序的语法信息，按从上到下的次序依次执行下级块的编码。可替代地，可按从下到上的次序依次执行下级块的编码。

图9是概念性地示出根据块划分结构的语法元素的信令结构的示图。

根据语法信令和解析序列，如图9所示，可组合采用使用四叉树结构的块划分方法、使用二叉树结构的块划分方法、使用三叉树结构的块划分方法等。另一方面，根据本实施方式的划分方法的应用不限于如上所述组合的三种不同的块划分结构的这种采用。

如图9所示，在用信号发送当前块的块划分时，可以用信号发送指示是否划分成初始下级块的分割标志“split_flag”。如果分割标志“split_flag”的值为真并且当前块被划分，则可以进一步用信号发送划分信息。另一方面，如果“split_flag”的值为假并且当前块没有被划分，则当前块可以被确定为四叉树(QT)的叶节点或多类型树(MTT)的叶节点，而无需进一步用信号发送划分信息。

当当前块被如上所述划分时，可进一步用信号发送指示划分信息的标志。例如，当使用四叉树结构时，可以用信号发送标志“qt_split_flag”以指示四叉树划分。这里，如果标志“qt_split_flag”的值为真，则可以根据使用四叉树结构的块划分方法将当前块划分成四个下级块。另一方面，如果标志“qt_split_flag”的值为假，则可以根据使用不同于四叉树结构的结构的块划分方法，将当前块划分成下级块。在这种情况下，可以为使用其他结构的块划分方法执行进一步的用信号发送。

如果标志“qt_split_flag”的值为假，其中，当前块的编码处理使用二叉树结构和三叉树结构中的一个或多个，如图9所示，则可用信号发送标志“mtt_vertical_flag”，其是指示块是否在水平/垂直方向上划分的标志。这里，如果标志“mtt_vertical_flag”的值为真，则当前块在垂直方向上被划分成下级块，并且如果标志“mtt_vertical_flag”的值为假，则当前块可以在水平方向上被划分成下级块。

此外，当基于两个或更多个不同的块划分结构(包括使用二叉树结构的块划分方法和使用三叉树结构的块划分方法)执行块划分时，可用信号发送指示划分结构的额外信息。如图9所示，当使用二叉树结构和三叉树结构时，可用信号发送额外的标志“mtt_binary_flag”以指示划分结构。这里，如果标志“mtt_binary_flag”的值为真，则当前块可基于利用二叉树结构的块划分方法被划分成两个下级块，并且如果标志“mtt_binary_flag”为假，则当前块可基于利用三叉树结构的块划分方法被划分成三个下级块。

图10是概念性地示出根据本公开的至少一个实施方式的基于块划分结构的语法元素的信令结构的示图。

根据如图10所示的语法信令和解析序列，使用四叉树结构的块划分方法、使用二叉树结构的块划分方法、使用三叉树结构的块划分方法和使用顺序四叉树结构的块划分方法可以组合地应用。

如图10所示，在用信号发送当前块的块划分时，可用信号发送指示是否划分成初始下级块的分割标志“split_flag”。如果分割标志“split_flag”的值为真并且当前块被划分，则可以如上所述进一步用信号发送划分信息。另一方面，如果分割标志“split_flag”的值为假并且当前块没有被划分，则在图9的图示中，当前块被确定为QT的叶节点或MTT的叶节点，而无需进一步用信号发送划分信息。

然而，在如图10所示的本实施方式中，在将当前块确定为QT或MTT的叶节点之前，如果满足允许应用使用顺序四叉树结构的块划分的条件，则可以用信号发送进一步的语法。在这种情况下，进一步的语法可以是指示应用顺序四叉树结构的顺序分割标志“sqt_split_flag”，如图10所示。这里，如果顺序分割标志“sqt_split_flag”的值为真，则当前块可被划分成四个顺序的下级块，然后可依次执行编码和解码，如图8a和图8b的图示所示。此外，如果顺序分割标志“sqt_split_flag”的值为假，则当前块可被确定为QT的叶节点或MTT的叶节点。

另一方面，使用顺序四叉树结构划分而得的下级块可以经受不执行进一步块划分的约束。即，使用顺序四叉树结构划分而得的下级块可以是叶节点。这可以使下级块免于根据如图9和图10所示的块划分进行语法信令和解析的过程。

使用顺序四叉树结构来应用块划分的条件可以是从当前块的宽度、高度和宽高比推导出的信息。例如，这样的条件可以是当前块具有1：4或4：1的宽高比。此外，如果当前块具有1：4的宽高比使得高度是宽度的四倍，则可使用图8b中所示的块划分来沿着水平划分对块进行划分。另一方面，如果当前块具有4：1的宽高比使得宽度为高度的四倍，则可使用图8a中所示的块划分根据垂直划分对块进行划分。

然而，如果除了当前块的宽高比条件之外，还满足当前块的宽度和高度中的较小者大于或等于在当前编码和解码过程中可用的最小单元块的大小的进一步条件，则可以用信号发送或解析顺序分割标志以指向顺序四叉树结构的应用。在这种情况下，最小单元块的大小可以是4。作为另一实施例，从高级语法角度来看，最小单元块的大小可由8或16代替。

如上所述，即使利用除了现有的多类型块划分结构之外还使用顺序四叉划分结构，本实施方式也可以以各种方式划分当前块，其中通过最小化语法的进一步传输来最小化语法开销。

图11是概念性地示出根据本公开的另一实施方式的基于块划分结构的语法元素的信令结构的示图。

如图11所示，当前块可以是按照1：1：1：1：1的比率被划分成四个顺序块的四叉树，或者可以是按照2：2的比率被划分的二叉树。可替代地，可以将当前块按照1：3或者3：1的比率划分成非对称二叉树。

如图11所示，根据本实施方式，为了将当前块划分成多个下级块，可以如下组合使用基于四个顺序树结构的划分方法。可利用一块划分方法以1：1：1：1：1的比率(水平地或垂直地)将当前块划分成四个顺序块。可利用另一块划分方法以2：2的比率(水平地或垂直地)将当前块划分为两个顺序块。可利用又一块划分方法以1：3的比率(水平地或垂直地)将当前块划分成两个顺序块。最后，可应用一块划分方法以3：1的比率(水平地或垂直地)将当前块划分成两个顺序块。

在如图11所示的该实施方式中，在将当前块确定为QT或MTT的叶节点之前，如果满足使用顺序四叉树结构应用块划分的条件，则可以用信号发送进一步的语法。在这种情况下，进一步的语法可以是顺序分割模式“sqt_split_mode”，它是指示如上所述的四个顺序树结构之一的语法。因而，根据顺序分割模式“sqt_split_mode”的值(例如，1至4)，可以确定四个顺序树结构中的一个，并且可以根据确定的顺序树结构将当前块划分成顺序块。此外，如果顺序分割模式“sqt_split_mode”的值为0，则当前块可以被确定为QT的叶节点或MTT的叶节点。

尽管各个流程图中的步骤被描述为被依次执行，但是这些步骤仅仅例示本公开的一些实施方式的技术构思。因此，本公开所属领域的普通技术人员可通过改变在各个附图中描述的顺序或者通过并行执行两个以上的步骤来执行这些步骤。所以，各个流程图中的步骤不限于所示的按时间序列的顺序。

应当理解，以上描述呈现了可以以不同其他方式实现的说明性实施方式。在一些实施方式中描述的功能可以通过硬件、软件、固件和/或其组合来实现。还应该理解的是，本发明中所描述的功能组件被标注为“……单元”，以强烈强调其独立实现的可能性。

同时，在一些实施方式中描述的各种方法或功能可以被实现为存储在能够由一个或多个处理器读取和执行的非暂时性记录介质中的指令。例如，非暂时性记录介质可包括各种类型的记录装置，在这些记录装置中，数据以计算机系统可读的形式存储。例如，非暂时性记录介质可包括存储介质，诸如可擦除可编程只读存储器(EPROM)、闪存驱动器、光盘驱动器、磁性硬盘驱动器和固态驱动器(SSD)等。

尽管出于说明性的目的已经描述了本公开的实施方式，然而，本公开所属领域的普通技术人员应当认识到，在不背离本公开的构思和范围的情况下，各种修改、添加、以及替换是可能的。因此，已经出于简洁和清晰起见的目的描述了本公开的实施方式。本公开的实施方式的技术构思的范围不受图示的限制。因而，本公开所属领域的普通技术人员应当理解，本公开的范围不应受上述明确描述的实施方式的限制，而是受权利要求及其等同物的限制。

(参考标号)

110 图片分割器

155 熵编码器

510 熵解码器

相关申请的交叉引用

本申请要求2021年10月25日提交的韩国专利申请号10-2021-0143113和2022年9月1日提交的韩国专利申请号10-2022-0110874的优先权和权益，其全部内容通过引证结合于此。

Claims (14)

1.一种由视频解码设备执行的用于划分当前块的方法，所述方法包括：

从比特流解码所述当前块的宽度和高度以及指示所述当前块是否将被划分的分割标志；

从所述当前块的宽度和高度计算所述当前块的宽高比，所述宽高比是通过将所述当前块的宽度除以所述当前块的高度而获得的比率；以及

检查所述分割标志的值，

其中，如果所述分割标志为假，则所述方法还包括：

检查所述宽高比是否满足预设的第一条件以及所述宽度和所述高度是否满足预设的第二条件；

如果所述宽高比满足所述第一条件并且如果所述宽度和所述高度满足所述第二条件，则从所述比特流解码指示顺序四叉树结构的应用的顺序分割标志；以及

如果所述顺序分割标志为真，则使用所述顺序四叉树结构将所述当前块划分为下级块。

2.根据权利要求1所述的方法，还包括：当所述分割标志为假时，

如果所述宽高比不满足所述第一条件或者如果所述宽度和所述高度不满足所述第二条件，则将所述当前块确定为叶节点。

3.根据权利要求1所述的方法，还包括：当所述分割标志为真时，

解码一个或多个额外语法元素，以划分所述当前块；以及

根据所述额外语法元素划分所述当前块。

4.根据权利要求1所述的方法，其中，所述第一条件是宽高比为4：1或1：4。

5.根据权利要求1所述的方法，其中，所述第二条件是所述宽度和所述高度中的较小值大于或等于预设的最小块单元大小。

6.根据权利要求1所述的方法，其中，将所述当前块划分为下级块包括：

基于所述宽高比，将所述当前块垂直划分为四个顺序的正方形的下级块或将所述当前块水平划分为四个顺序的正方形的下级块，其中，所述下级块的大小相等。

7.根据权利要求1所述的方法，其中，所述下级块包括：

不涉及进一步的块划分的叶节点。

8.根据权利要求1所述的方法，其中，所述下级块包括：

当被垂直划分时，将沿从左到右的方向依次解码的块；以及

当被水平划分时，将沿从上到下的方向依次解码的块。

9.根据权利要求1所述的方法，还包括：

解码指示编码次序的编码次序标志，

其中，所述下级块包括：

当被垂直划分时，将根据所述编码次序标志的值而沿从左到右的方向或从右到左的方向依次解码的块；以及

当被水平划分时，将根据所述编码次序标志的所述值而沿从上到下的方向或从下到上的方向依次解码的块。

10.根据权利要求1所述的方法，还包括：

如果所述顺序分割标志为假，则确定所述当前块为叶节点。

11.一种由视频编码设备执行的用于划分当前块的方法，所述方法包括：

确定所述当前块的宽度和高度；

确定指示所述当前块是否将被划分的分割标志；

从所述当前块的宽度和高度计算所述当前块的宽高比，所述宽高比是通过将所述当前块的宽度除以所述当前块的高度而获得的比率；以及

检查所述分割标志的值，

其中，如果所述分割标志为假，则所述方法还包括：

检查所述宽高比是否满足预设的第一条件以及所述宽度和所述高度是否满足预设的第二条件；

如果所述宽高比满足所述第一条件并且如果所述宽度和所述高度满足所述第二条件，则确定指向顺序四叉树结构的应用的顺序分割标志；

如果所述顺序分割标志为真，则使用所述顺序四叉树结构将所述当前块划分为下级块；以及

对所述当前块的所述宽度和所述高度、所述分割标志以及所述顺序分割标志进行编码。

12.根据权利要求11所述的方法，还包括：如果所述分割标志为假，

如果所述宽高比不满足所述第一条件或如果所述宽度和所述高度不满足所述第二条件，则将所述当前块确定为叶节点。

13.根据权利要求11所述的方法，还包括：

如果所述顺序分割标志为假，则将所述当前块确定为叶节点。

14.一种计算机可读记录介质，存储由视频编码方法生成的比特流，所述视频编码方法包括：

确定当前块的宽度和高度；

确定指示所述当前块是否将被划分的分割标志；

从所述宽度和所述高度计算所述当前块的宽高比，所述宽高比是通过将所述当前块的宽度除以所述当前块的高度而获得的比率；

检查所述分割标志的值，

其中，如果所述分割标志为假，则所述视频编码方法还包括：

检查所述宽高比是否满足预设的第一条件以及所述宽度和所述高度是否满足预设的第二条件；

如果所述宽高比满足所述第一条件并且如果所述宽度和所述高度满足所述第二条件，则确定指向顺序四叉树结构的应用的顺序分割标志；

如果所述顺序分割标志为真，则使用所述顺序四叉树结构将所述当前块划分为下级块；以及

对所述当前块的所述宽度和所述高度、所述分割标志以及所述顺序分割标志进行编码。