CN117917072A

CN117917072A - 视频编码/解码方法和装置

Info

Publication number: CN117917072A
Application number: CN202280060394.2A
Authority: CN
Inventors: 许镇; 朴胜煜
Original assignee: Hyundai Motor Co; Kia Corp
Current assignee: Hyundai Motor Co; Kia Corp
Priority date: 2021-09-08
Filing date: 2022-09-07
Publication date: 2024-04-19

Abstract

提供了一种视频编码/解码方法和装置。根据本发明的视频解码方法可以包括以下步骤：基于与当前块相对应并存在于参考图像中的参考块来生成当前块的帧间预测块；基于与当前块邻近的至少一个参考块、帧内预测模式列表、与当前块邻近的第一区域、当前块的MPM列表以及与当前块邻近的重构的参考像素的至少一个来生成当前块的帧内预测块；以及通过对帧间预测块和帧内预测块执行加权平均来生成当前块的组合的帧间帧内预测(CIIP)块。

Description

视频编码/解码方法和装置

技术领域

本发明在一些实施方案中涉及视频编码和解码方法以及视频编码和解码装置。更具体地，本发明涉及这样一种视频编码/解码方法以及视频编码和解码装置，其在组合的帧间-帧内预测(combined inter-intra prediction，CIIP)模式下利用各种帧内预测模式来生成当前块的预测块。

背景技术

下面描述的内容仅提供与本实施方案有关的背景技术信息，并不构成现有技术。

由于视频数据量大于语音数据量或静止影像数据量，在不通过压缩来处理视频数据的情况下存储或传输视频数据需要大量的硬件资源，包括存储器。

相应地，在存储或传输视频数据时，通常利用编码器来压缩视频数据，以便于存储或传输视频数据。然后，解码器接收压缩的视频数据，解压并再现视频数据。用于这种视频数据的压缩技术包括H.264/AVC、高效率视频编解码(High Efficiency Video Coding，HEVC)和多功能视频编解码(Versatile Video Coding，VVC)，所述多功能视频编解码(VVC)比HEVC的编解码效率提高了大约30％或更多。

然而，视频大小、分辨率和帧速率逐渐增加，并且因此要编码的数据量也在增加。因此，需要一种与现有压缩技术相比具有更好的编码效率和更高的影像质量的新压缩技术。

组合的帧间-帧内预测(CIIP)模式是通过对帧内预测信号和帧间预测信号进行加权平均来生成当前块的预测块的方法。执行组合的帧间-帧内预测需要利用各种帧内预测模式和不同的加权值。

发明内容

技术问题

本发明的目的是提供基于组合的帧间-帧内预测或CIIP模式生成当前块的预测块的方法和装置。

本发明的另一个目的是提供用于在组合的帧间-帧内预测模式下确定各种帧内预测模式的方法和装置。

本发明的另一个目的是提供用于在组合的帧间-帧内预测模式下确定各种加权值的方法和装置。

本发明的另一个目的是提供用于提高视频编码/解码效率的方法和装置。

本发明的另一个目的是提供存储由本发明的视频编码/解码方法或视频编码/解码装置生成的比特流的记录介质。

本发明的另一个目的是提供用于传输由本发明的视频编码/解码方法或装置生成的比特流的方法和装置。

技术方案

根据本发明，一种视频解码方法包括：基于与当前块相对应并存在于参考图像中的参考块来生成当前块的帧间预测块；基于与当前块邻近的至少一个参考块、帧内预测模式列表、与当前块邻近的第一区域、当前块的最可能模式(most probable mode，MPM)列表以及与当前块邻近的重构的参考像素的至少一个来生成当前块的帧内预测块；以及通过对帧间预测块和帧内预测块执行加权平均来生成当前块的组合的帧间-帧内预测(combinedinter-intra prediction，CIIP)块。

根据本发明，一种视频编码方法包括：基于与当前块相对应并存在于参考图像中的参考块来生成当前块的帧间预测块；基于与当前块邻近的至少一个参考块、帧内预测模式列表、与当前块邻近的第一区域、当前块的最可能模式(MPM)列表以及与当前块邻近的重构的参考像素的至少一个来生成当前块的帧内预测块；以及通过对帧间预测块和帧内预测块执行加权平均来生成当前块的组合的帧间-帧内预测(CIIP)块。

此外，根据本发明，可以提供一种传输由根据本发明的视频编码方法或装置生成的比特流的方法。

此外，根据本发明，可以提供存储由根据本发明的视频编码方法或装置生成的比特流的记录介质。

此外，根据本发明，可以提供存储由根据本发明的视频解码装置接收和解码的比特流并将其用于重构视频的记录介质。

有益效果

根据本发明，基于组合的帧间-帧内预测或CIIP模式生成当前块的预测块的方法和装置。

此外，根据本发明，用于在组合的帧间-帧内预测模式下确定各种帧内预测模式的方法和装置。

此外，根据本发明，用于在组合的帧间-帧内预测模式下确定各种加权值的方法和装置。

此外，根据本发明，可以提供用于提高视频编码/解码效率的方法和装置。

可以通过本发明获取的效果不限于上述效果，并且本领域普通技术人员可以通过下面的描述清楚地理解未提及的其他效果。

附图说明

图1是可以实现本发明技术的视频编码装置的框图。

图2示出利用四叉树加二叉树三叉树(QTBTTT)结构来对块进行分区的方法。

图3a和图3b示出包括宽角度帧内预测模式的多个帧内预测模式。

图4示出当前块的相邻块。

图5是可以实现本发明技术的视频解码装置的框图。

图6是示出根据本发明的至少一个实施方案的用于推导基于模板的帧内预测模式的模板和该模板的参考像素的示意图。

图7是示出在组合的帧间-帧内预测(CIIP)模式下生成当前块的预测块的方法的示意图。

图8是示出根据本发明的至少一个实施方案的在组合的帧间-帧内预测模式下被参考以确定加权值的相邻块的示意图。

图9是示出根据本发明的至少一个实施方案的在组合的帧间-帧内预测模式下确定加权值的方法的示意图。

图10是示出根据本发明的至少一个实施方案的与当前块邻近的相邻块的示意图。

图11是示出根据本发明的至少一个实施方案的通过使用模式的直方图在组合的帧间-帧内预测模式下生成帧内预测块的方法的示意图。

图12a和图12b是示出根据本发明的至少一个实施方案的在组合的帧间-帧内预测模式下基于帧内预测模式将当前块分区为子块的方法的示意图。

图13是示出根据本发明的至少一个实施方案的分配给子块的加权值的示意图。

图14是示出根据本发明的至少一个实施方案的与当前块邻近的相邻块的模式的直方图的示意图。

图15是示出根据本发明的至少一个实施方案的通过使用当前块的相邻块的模式的直方图来推导基于模板的帧内预测模式的过程的示意图。

图16a和图16b是示出根据本发明的至少一个实施方案的帧间预测的误差分布和帧内预测的误差分布的示意图。

图17a和图17b是示出根据本发明的至少一个实施方案的8×8块的帧内预测的加权值和8×8块的帧间预测的加权值的示意图。

图18a和图18b是示出根据本发明的另一个实施方案的大小为8×8块的帧内预测的加权值的示意图。

图19是示出根据本发明的至少一个实施方案的应用索贝尔(sobel)滤波器的当前块的相邻参考像素的示意图。

图20是示出根据本发明的至少一个实施方案的视频解码过程的示意图。

图21是示出根据本发明的至少一个实施方案的视频编码过程的示意图。

具体实施方式

在下文中，将参考所附说明性附图对本发明的一些实施方案进行详细描述。在下面的描述中，相同的附图标记表示相同的元件，尽管元件在不同的附图中示出。此外，在一些实施方案的以下描述中，当认为相关的已知组件和功能的详细描述模糊了本发明的主题时，为了清楚和简洁起见，已经省略对相关的已知组件和功能的详细描述。

图1是可以实现本发明技术的视频编码装置的框图。在下文中，参考图1的图示，对视频编码装置以及该装置的组件进行描述。

编码装置可以包括：图像分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波单元180和存储器190。

编码装置的每个组件可以实现为硬件或软件，或者实现为硬件和软件的组合。另外，每个组件的功能可以实现为软件，并且微处理器也可以实现为执行对应于每个组件的软件的功能。

一个视频由包括多个图像的一个或更多个序列组成。每个图像分割为多个区域，并且对每个区域执行编码。例如，一个图像分割为一个或更多个瓦片(tile)或/和切片(slice)。这里，一个或更多个瓦片可以定义为瓦片组。每个瓦片或/和切片分割为一个或更多个编码树单元(coding tree unit，CTU)。另外，每个CTU通过树结构分割为一个或更多个编码单元(coding unit，CU)。应用于每个CU的信息被编码为CU的语法，并且共同应用于包括在一个CTU中的CU的信息被编码为CTU的语法。另外，共同应用于一个切片中的所有块的信息被编码为切片头的语法，而应用于构成一个或更多个图像的所有块的信息被编码为图像参数集(Picture Parameter Set，PPS)或图像头。此外，多个图像共同参考的信息被编码为序列参数集(Sequence Parameter Set，SPS)。另外，一个或更多个SPS共同参考的信息被编码为视频参数集(Video Parameter Set，VPS)。此外，共同应用于一个瓦片或瓦片组的信息也可以被编码为瓦片或瓦片组头的语法。包括在SPS、PPS、切片头、瓦片或瓦片组头中的语法可以称为高级语法。

图像分割器110确定编码树单元(CTU)的大小。关于CTU的大小(CTU尺寸)的信息被编码为SPS或PPS的语法，并且被传送至视频解码装置。

图像分割器110将构成视频的每个图像分割为具有预定大小的多个编码树单元(CTU)，然后通过利用树结构递归地分割CTU。树结构中的叶节点成为编码单元(CU)，所述CU是编码的基本单元。

树结构可以是四叉树(quadtree，QT)，其中较高节点(或父节点)被分割为具有相同大小的四个较低节点(或子节点)。树结构也可以是二叉树(binarytree，BT)，其中较高的节点分割为两个较低的节点。树结构还可以是三叉树(ternarytree，TT)，其中较高的节点以1:2:1的比率分割为三个较低的节点。树结构还可以是QT结构、BT结构和TT结构中的两个或更多个结构混合的结构。例如，可以使用四叉树加二叉树(quadtree plus binarytree，QTBT)结构，或者可以使用四叉树加二叉树三叉树(quadtree plus binarytreeternarytree，QTBTTT)结构。这里，BTTT被添加到树结构以称为多类型树(multiple-typetree，MTT)。

图2是用于描述通过利用QTBTTT结构来对块进行分割的方法的示意图。

如图2所示，CTU可以首先分割为QT结构。四叉树分割可以是递归的，直到分割块的大小达到QT中允许的叶节点的最小块大小(MinQTSize)。由熵编码器155对指示QT结构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码，并将其用信号通知视频解码装置。当QT的叶节点不大于BT中允许的根节点的最大块大小(MaxBTSize)时，可以将叶节点进一步分割为BT结构或TT结构的至少一个。在BT结构和/或TT结构中可以存在多个分割方向。例如，可以存在两个方向，即，水平地分割相应节点的块的方向以及竖直地分割相应节点的块的方向。如图2所示，当MTT分割开始时，由熵编码器155对指示节点是否被分割的第二标志(mtt_split_flag)、以及在节点被分割的情况下额外指示分割方向(竖直或水平)的标志和/或指示分割类型(二叉或三叉)的标志进行编码，并将其用信号通知视频解码装置。

替选地，在对指示每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码之前，还可以对指示节点是否被分割的CU分割标志(split_cu_flag)进行编码。当CU分割标志(split_cu_flag)的值指示出每个节点没有被分割时，相应节点的块成为分割树结构中的叶节点并成为CU，CU是编码的基本单元。当CU分割标志(split_cu_flag)的值指示出每个节点被分割时，视频编码装置以上述方案对第一标志首先开始编码。

当QTBT用作树结构的另一个示例时，可以存在两种类型，即，将相应节点的块水平地分割为具有相同大小的两个块的类型(即，对称水平分割)以及将相应节点的块竖直地分割为具有相同大小的两个块的类型(即，对称竖直分割)。由熵编码器155对指示BT结构的每个节点是否被分割为下层的块的分割标志(split_flag)和指示分割类型的分割类型信息进行编码，并将其传送至视频解码装置。另一方面，可以另外存在相应节点的块被分割为彼此非对称形式的两个块的类型。非对称形式可以包括相应节点的块被分割为大小比率为1:3的两个矩形块的形式，或者还可以包括相应节点的块在对角线方向上被分割的形式。

CU可以根据从CTU分割的QTBT或QTBTTT而具有各种大小。在下文中，与要编码或解码的CU(即，QTBTTT的叶节点)相对应的块称为“当前块”。当采用QTBTTT分割时，除了正方形形状之外，当前块的形状也可以是矩形形状。

预测器120对当前块进行预测以生成预测块。预测器120包括帧内预测器122和帧间预测器124。

通常，可以对图像中的当前块的每个进行预测地编码。通常，可以通过利用帧内预测技术(其利用来自包括当前块的图像的数据)或帧间预测技术(其利用来自在包括当前块的图像之前编码的图像的数据)执行当前块的预测。帧间预测包括单向预测和双向预测两者。

帧内预测器122通过利用在包括当前块的当前图像中位于当前块邻近的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多个帧内预测模式。例如，如图3a所示，多个帧内预测模式可以包括包含平面(Planar)模式和DC模式的两种非方向模式，并且可以包括65种方向模式。根据每种预测模式不同地定义要使用的相邻像素和算法等式。

为了对具有矩形形状的当前块进行高效的方向预测，可以额外地使用图3b中虚线箭头所示的方向模式(#67至#80，帧内预测模式#-1至#-14)。方向模式可以称为“宽角度帧内预测模式(wide angle intra-prediction modes)”。在图3b中，箭头指示用于预测的相应参考样本，而非代表预测方向。预测方向与箭头指示的方向相反。在当前块具有矩形形状时，宽角度帧内预测模式是在没有额外比特传输的情况下在与特定方向模式相反的方向上执行预测的模式。在这种情况下，在宽角度帧内预测模式中，可以通过具有矩形形状的当前块的宽度与高度的比率来确定可用于当前块的一些宽角度帧内预测模式。例如，在当前块具有高度小于宽度的矩形形状时，具有小于45度的角度的宽角度帧内预测模式(帧内预测模式#67至#80)是可用的。在当前块具有宽度大于高度的矩形形状时，具有大于-135度的角度的宽角度帧内预测模式是可用的。

帧内预测器122可以确定要用于对当前块进行编码的帧内预测。在一些示例中，帧内预测器122可以通过利用多个帧内预测模式来对当前块进行编码，并且还可以从测试模式中选择要使用的适当的帧内预测模式。例如，帧内预测器122可以通过利用对多个测试的帧内预测模式的率失真(rate-distortion)分析来计算率失真值，并且还可以在测试模式中选择具有最佳率失真特性的帧内预测模式。

帧内预测器122在多个帧内预测模式中选择一个帧内预测模式，并且通过利用根据选择的帧内预测模式确定的相邻像素(参考像素)和算法等式来预测当前块。由熵编码器155对关于选择的帧内预测模式的信息进行编码并将其传送至视频解码装置。

帧间预测器124通过利用运动补偿处理来生成当前块的预测块。帧间预测器124在比当前图像更早已被编码和解码的参考图像中搜索与当前块最相似的块，并且通过利用搜索到的块来生成当前块的预测块。另外，生成运动矢量(motion vector，MV)，所述运动矢量与当前图像中的当前块和参考图像中的预测块之间的位移(displacement)相对应。通常，对亮度(luma)分量执行运动估计，并且基于亮度分量计算的运动矢量用于亮度分量和色度分量两者。由熵编码器155对包括参考图像的信息和关于用于预测当前块的运动矢量的信息的运动信息进行编码，并将其传送至视频解码装置。

帧间预测器124还可以执行参考图像或参考块的插值，以增加预测的准确性。换句话说，通过向包括两个整数样本的多个连续整数样本应用滤波器系数来在两个连续整数样本之间插值子样本。在对插值的参考图像执行搜索与当前块最相似的块的处理时，对于运动矢量可以表示小数单位精度而不是整数样本单位精度。对于要编码的每个目标区域，例如，诸如切片、瓦片、CTU、CU等的单元，可以不同地设置运动矢量的精度或分辨率。当应用这种自适应运动矢量分辨率(adaptive motion vector resolution，AMVR)时，应该针对每个目标区域用信号通知关于要应用于每个目标区域的运动矢量分辨率的信息。例如，当目标区域是CU时，用信号通知关于应用于每个CU的运动矢量分辨率的信息。关于运动矢量分辨率的信息可以是代表要在以下描述的运动矢量差的精度的信息。

另一方面，帧间预测器124可以通过利用双向预测来执行帧间预测。在双向预测的情况下，使用两个参考图像和代表与每个参考图像中的当前块最相似的块位置的两个运动矢量。帧间预测器124分别从参考图像列表0(RefPicList0)和参考图像列表1(RefPicList1)选择第一参考图像和第二参考图像。帧间预测器124还搜索与相应参考图像中的当前块最相似的块，以生成第一参考块和第二参考块。此外，通过对第一参考块和第二参考块进行平均或加权平均来生成当前块的预测块。此外，包括关于用于预测当前块的两个参考图像的信息和关于两个运动矢量的信息的运动信息被传送至熵编码器155。这里，参考图像列表0可以由预重构图像中按显示顺序在当前图像之前的图像构成，并且参考图像列表1可以由预重构图像中按显示顺序在当前图像之后的图像构成。然而，尽管不特别限于此，但可以将显示顺序中在当前图像之后的预重构图像额外地包括在参考图像列表0中。相反，在当前图像之前的预重构图像也可以额外地包括在参考图像列表1中。

为了最小化用于编码运动信息所消耗的比特量，可以使用各种方法。

例如，在当前块的参考图像和运动矢量与相邻块的参考图像和运动矢量相同时，能够识别相邻块的信息被编码以将当前块的运动信息传送至视频解码装置。这种方法称为合并模式(merge mode)。

在合并模式中，帧间预测器124从当前块的相邻块选择预定数量的合并候选块(在下文中，称为“合并候选”)。

作为用于推导合并候选的相邻块，可以使用与当前图像中的当前块邻近的左侧块A0、左下侧块A1、上侧块B0、右上侧块B1和左上侧块B2的全部或一些，如图4所示。此外，除了当前块所在的当前图像之外，位于参考图像内的块(其可以与用于预测当前块的参考图像相同或不同)也可以用作合并候选。例如，参考图像内的当前块的同位块(co-locatedblock)或与该同位块邻近的块可以额外地用作合并候选。如果通过上述方法选择的合并候选的数量小于预设数量，则将零矢量添加到合并候选。

帧间预测器124通过利用相邻块来配置包括预定数量的合并候选的合并列表。从合并列表中包括的合并候选之中选择要用作当前块的运动信息的合并候选，并且生成用于识别选择的候选的合并索引信息。由熵编码器155对生成的合并索引信息进行编码并将其传送至视频解码装置。

合并跳过模式是合并模式的特例。在量化之后，在用于熵编码的所有变换系数都接近零时，仅传输相邻块选择信息而不传输残差信号。通过利用合并跳过模式，对于具有轻微运动的影像、静止影像、屏幕内容影像等可以实现相对较高的编码效率。

此后，合并模式和合并跳过模式统称为合并/跳过模式。

用于编码运动信息的另一种方法是高级运动矢量预测(advanced motion vectorprediction，AMVP)模式。

在AMVP模式中，帧间预测器124通过利用当前块的相邻块来推导用于当前块的运动矢量的运动矢量预测候选。作为用于推导运动矢量预测候选的相邻块，可以使用与图4所示的当前图像中的当前块邻近的左侧块A0、左下侧块A1、上侧块B0、右上侧块B1和左上侧块B2的全部或一些。此外，除了当前块所在的当前图像之外，位于参考图像(其可以与用于预测当前块的参考图像相同或不同)内的块也可以用作用于推导运动矢量预测候选的相邻块。例如，可以使用参考图像内的当前块的同位块或与该同位块邻近的块。如果通过上述方法选择的运动矢量候选的数量小于预设数量，则将零矢量添加到运动矢量候选。

帧间预测器124通过利用相邻块的运动矢量来推导运动矢量预测候选，并且通过利用运动矢量预测候选来确定当前块的运动矢量的运动矢量预测。另外，通过将当前块的运动矢量减去运动矢量预测来计算运动矢量差。

可以通过将预定义函数(例如，中值和平均值计算等)应用于运动矢量预测候选来获取运动矢量预测。在这种情况下，视频解码装置还知道预定义功能。此外，由于用于推导运动矢量预测候选的相邻块是已经完成编码和解码的块，所以视频解码装置也可能已经知道相邻块的运动矢量。因此，视频编码装置不需要对用于识别运动矢量预测候选的信息进行编码。相应地，在这种情况下，对关于运动矢量差的信息和关于用于预测当前块的参考图像的信息进行编码。

另一方面，还可以通过选择运动矢量预测候选的任何一个的方案来确定运动矢量预测。在这种情况下，用于识别选择的运动矢量预测候选的信息与用于预测当前块的关于运动矢量差的信息以及关于参考图像的信息共同进行额外的编码。

减法器130通过将当前块减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。

变换器140将具有空域的像素值的残差块中的残差信号变换为频域的变换系数。变换器140可以通过利用残差块的整个大小作为变换单元来变换残差块中的残差信号，或者也可以将残差块分割为多个子块，并且可以通过利用子块作为变换单元来执行变换。替选地，将残差块划分成两个子块，即变换区域和非变换区域，以通过仅利用变换区域子块作为变换单元来变换残差信号。这里，变换区域子块可以是基于水平轴线(或竖直轴线)的具有大小比率为1:1的两个矩形块的一个。在这种情况下，由熵编码器155对指示出仅变换子块的标志(cu_sbt_flag)、以及方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)进行编码，并将其用信号通知视频解码装置。另外，变换区域子块的大小基于水平轴线(或竖直轴线)可以具有1:3的大小比率。在这种情况下，由熵编码器155对划分相应分割的标志(cu_sbt_quad_flag)进行额外地编码，并将其用信号通知视频解码装置。

另一方面，变换器140可以在水平方向和竖直方向上单独地执行残差块的变换。对于该变换，可以使用各种类型的变换函数或变换矩阵。例如，用于水平变换和竖直变换的成对变换函数可以定义为多变换集(multiple transform set，MTS)。变换器140可以选择MTS中具有最高变换效率的一个变换函数对，并且可以在水平方向和竖直方向的每个上变换残差块。由熵编码器155对关于MTS中的变换函数对的信息(mts_idx)进行编码，并将其用信号通知视频解码装置。

量化器145利用量化参数对从变换器140输出的变换系数进行量化，并且将量化的变换系数输出到熵编码器155。量化器145还可以对相关的残差块立即进行量化，而无需对任何块或帧进行变换。量化器145还可以根据变换块中的变换系数的位置来应用不同的量化系数(缩放值)。可以对应用于布置为二维的量化的变换系数的量化矩阵进行编码，并将其用信号通知视频解码装置。

重排单元150可以对量化的残差值执行系数值的重新排列。

重排单元150可以通过利用系数扫描将2D系数阵列改变为1D系数序列。例如，重排单元150可以利用锯齿形扫描(zig-zag scan)或对角线扫描(diagonal scan)来扫描DC系数到高频区域的系数以输出1D系数序列。根据变换单元的大小和帧内预测模式，也可以利用在列方向上扫描2D系数阵列的竖直扫描和在行方向上扫描2D块类型系数的水平扫描来代替锯齿形扫描。换句话说，根据变换单元的大小和帧内预测模式，可以在锯齿形扫描、对角线扫描、竖直扫描和水平扫描中确定要使用的扫描方法。

熵编码器155通过利用包括基于上下文的自适应二进制算术编码(Context-basedAdaptive Binary Arithmetic Code，CABAC)、指数哥伦布(Exponential Golomb)等的各种编码方案来对从重排单元150输出的1D量化的变换系数的序列进行编码，以生成比特流。

此外，熵编码器155对与块分割相关的信息(例如，CTU大小、CTU分割标志、QT分割标志、MTT分割类型和MTT分割方向等)进行编码，以使得视频解码装置能够等同于视频编码装置来分割块。此外，熵编码器155对关于指示当前块是由帧内预测编码还是由帧间预测编码的预测类型的信息进行编码。熵编码器155根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(在合并模式的情况下的合并索引，以及在AMVP模式的情况下的关于参考图像索引和运动矢量差的信息)进行编码。此外，熵编码器155对与量化相关的信息(即，关于量化参数的信息和关于量化矩阵的信息)进行编码。

逆量化器160对从量化器145输出的量化的变换系数进行逆量化，以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空域，以重构残差块。

加法器170将重构的残差块和由预测器120生成的预测块相加，以重构当前块。在对下一个块进行帧内预测时，重构的当前块中的像素用作参考像素。

环路滤波单元180对重构的像素执行滤波，以减少由于基于块的预测和变换/量化而发生的块伪影(blocking artifacts)、振铃伪影(ringing artifacts)、模糊伪影(blurring artifacts)等。作为环内滤波器的环路滤波单元180可以包括去块滤波器182、样本自适应偏移(sample adaptive offset，SAO)滤波器184和自适应环路滤波器(adaptive loop filter，ALF)186的全部或一些。

去块滤波器182对重构的块之间的边界进行滤波，以去除由于块单元编码/解码而发生的块伪影(blocking artifacts)，并且SAO滤波器184和ALF 186对去块滤波的视频进行额外的滤波。SAO滤波器184和ALF 186是用于补偿由于有损编码(lossy coding)而发生的重构的像素与原始像素之间的差异的滤波器。SAO滤波器184应用偏移作为CTU单位，以增强主观图像质量和编码效率。另一方面，ALF 186执行块单元滤波，并且通过划分相应块的边界和变化量的程度来应用不同的滤波器以补偿失真。可以对关于要用于ALF的滤波器系数的信息进行编码，并将其用信号通知视频解码装置。

通过去块滤波器182、SAO滤波器184和ALF 186滤波的重构的块存储在存储器190中。当一个图像中的所有块被重构时，重构的图像可以用作用于对随后要被编码的图像内的块进行帧间预测的参考图像。

图5是可以实现本发明技术的视频解码装置的功能框图。在下文中，参考图5，描述了视频解码装置和该装置的组件。

视频解码装置可以包括熵解码器510、重排单元515、逆量化器520、逆变换器530、预测器540、加法器550、环路滤波单元560和存储器570。

类似于图1的视频编码装置，视频解码装置的每个组件可以实现为硬件或软件，或者实现为硬件和软件的组合。另外，每个组件的功能可以实现为软件，并且微处理器也可以实现为执行对应于每个组件的软件的功能。

熵解码器510通过解码由视频编码装置生成的比特流来提取与块分割相关的信息，以确定要解码的当前块，并且提取恢复当前块所需的预测信息和关于残差信号的信息。

熵解码器510通过从序列参数集(SPS)或图像参数集(PPS)提取关于CTU大小的信息来确定CTU的大小，并且将图像分割为具有确定大小的CTU。此外，CTU被确定为树结构的最高层(即，根节点)，并且提取CTU的分割信息以通过利用树结构来分割CTU。

例如，当通过利用QTBTTT结构来分割CTU时，首先提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为下层的四个节点。另外，相对于与QT的叶节点相对应的节点来提取与MTT的分割相关的第二标志(mtt_split_flag)、分割方向(竖直/水平)和/或分割类型(二叉/三叉)，以将相应的叶节点分割为MTT结构。结果，QT的叶节点下方的每个节点被递归地分割为BT或TT结构。

作为另一个示例，当通过利用QTBTTT结构来分割CTU时，提取指示是否分割CU的CU分割标志(split_cu_flag)。当分割相应块时，还可以提取第一标志(QT_split_flag)。在分割过程期间，对于每个节点，在递归QT分割0次或更多次之后可能发生0次或更多次的递归MTT分割。例如，对于CTU，MTT分割可以立即发生，或者相反，也可以仅发生多次QT分割。

作为另一个示例，当通过利用QTBT结构来分割CTU时，提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为下层的四个节点。另外，提取指示将与QT的叶节点相对应的节点是否进一步分割为BT的分割标志(split_flag)以及分割方向信息。

另一方面，当熵解码器510通过利用树结构的分割来确定要解码的当前块时，熵解码器510提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器510提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器510提取代表帧间预测信息的语法元素的信息，即，运动矢量和运动矢量参考的参考图像。

此外，熵解码器510提取量化相关的信息并且提取关于量化的当前块的变换系数的信息作为关于残差信号的信息。

重排单元515可以以由视频编码装置执行的系数扫描次序的相反顺序，将由熵解码器510熵解码的1D量化的变换系数的序列再次改变为2D系数阵列(即，块)。

逆量化器520对量化的变换系数进行逆量化，并且通过利用量化参数对量化的变换系数进行逆量化。逆量化器520还可以向布置为2D的量化的变换系数应用不同的量化系数(缩放值)。逆量化器520可以通过将来自视频编码装置的量化系数(缩放值)的矩阵应用于量化的变换系数的2D阵列来执行逆量化。

逆变换器530通过将逆量化的变换系数从频域逆变换到空域来恢复残差信号，以生成当前块的残差块。

此外，当逆变换器530对变换块的部分区域(子块)进行逆变换时，逆变换器530提取仅对变换块的子块进行变换的标志(cu_sbt_flag)、子块的方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或子块的位置信息(cu_sbt_pos_flag)。逆变换器530还将相应子块的变换系数从频域逆变换到空域以重构残差信号，并且用值“0”填充未被逆变换的区域作为残差信号，以生成当前块的最终残差块。

此外，当应用MTS时，逆变换器530通过利用从视频编码装置用信号通知的MTS信息(mts_idx)来确定在水平方向和竖直方向的每个上要应用的变换索引或变换矩阵。逆变换器530还通过利用确定的变换函数在水平方向和竖直方向上对变换块中的变换系数执行逆变换。

预测器540可以包括帧内预测器542和帧间预测器544。在当前块的预测类型是帧内预测时，激活帧内预测器542，而在当前块的预测类型是帧间预测时，激活帧间预测器544。

帧内预测器542根据从熵解码器510提取的帧内预测模式的语法元素来确定多个帧内预测模式中当前块的帧内预测模式。帧内预测器542还根据帧内预测模式通过利用当前块的相邻参考像素来预测当前块。

帧间预测器544通过利用从熵解码器510提取的帧间预测模式的语法元素来确定当前块的运动矢量和运动矢量参考的参考图像。

加法器550通过将从逆变换器530输出的残差块与从帧间预测器544或帧内预测器542输出的预测块相加来重构当前块。在对后续要被解码的块进行帧内预测时，重构的当前块内的像素用作参考像素。

作为环内滤波器的环路滤波单元560可以包括去块滤波器562、SAO滤波器564和ALF 566。去块滤波器562对重构的块之间的边界执行去块滤波，以便去除由于块单元解码而发生的块伪影。SAO滤波器564和ALF 566在去块滤波之后对重构的块执行额外的滤波，以便补偿由于有损编码而发生的重构的像素与原始像素之间的差异。通过利用关于从比特流解码的滤波器系数的信息来确定ALF的滤波器系数。

通过去块滤波器562、SAO滤波器564和ALF 566滤波的重构的块存储在存储器570中。当一个图像中的所有块被重构时，重构的图像可以用作用于对随后要被编码的图像内的块进行帧间预测的参考图像。

图6是示出根据本发明的至少一个实施方案的用于推导基于模板的帧内预测模式的模板和该模板的参考像素的示意图。通过使用与当前块邻近的模板，可以推导当前块的帧内预测模式。通过将MPM列表中的所有候选模式的方向性应用于模板中的参考像素，可以生成预测模板。可以计算生成的预测模板的像素与已经重构的模板的像素之间的绝对变换差值和(Sum of Absolute Transformed Differences，SATD)。使绝对变换差值和成为MPM候选模式中的最小值的模式是通过推导帧内预测模式的基于模板的方法所推导的当前块的帧内预测模式。通过推导帧内预测模式的基于模板的方法所推导的当前块的帧内预测模式可以用作当前编码单元(CU)块的附加模式。

从序列参数集(SPS)中，可以用信号通知指示使用或不使用推导帧内预测模式的基于模板的方法的标志。如果使用推导帧内预测模式的基于模板的方法，则本实施方案可以使用CU级别标志来表达是否在CU级别应用推导帧内预测模式的基于模板的方法。如果当前CU块使用推导帧内预测模式的基于模板的方法，则解码装置可以使用推导帧内预测模式的基于模板的方法来推导关于当前CU块的帧内预测模式的信息。这可以允许省略用信号通知与剩余亮度分量的帧内预测模式相关联的语法。

参考图6，在推导帧内预测模式的基于模板的方法中使用的模板610可以邻近当前块的上侧和左侧。应用了MPM列表中的所有候选模式的方向性的模板的参考像素620可以存在于模板610附近。MPM列表中的所有候选模式的方向性可以应用于模板的参考像素620，以生成预测模板。

图7是示出在组合的帧间-帧内预测(CIIP)模式下生成当前块的预测块的方法的示意图。帧内预测模式可以与帧内屏幕预测模式同义。术语帧内预测模式和帧内屏幕预测模式可以互换地使用。帧间预测模式可以与帧间屏幕预测模式同义。帧间预测模式和帧间屏幕预测模式可以互换地使用。组合的帧间-帧内屏幕预测模式可以与组合的帧间-帧内预测模式同义。组合的帧间-帧内预测模式和CIIP模式可以互换地使用。在CIIP模式下，可以以与普通合并模式中相同的方式来生成帧间预测块。可以通过将平面模式应用于当前块的相邻参考像素来生成帧内预测块。通过将加权值应用于生成的帧间预测块和帧内预测块，可以生成最终的基于CIIP的预测块。

参考图7，可以基于合并模式推导参考图像内的参考块(P_inter)。可以通过将平面模式应用于与当前块相邻的参考像素来生成帧内预测块(P_Planar)。通过将加权值应用于那些参考块(P_inter)和帧内预测块(P_Planar)，可以生成基于CIIP的预测块(P_CIIP)。可以通过使用等式P_CIIP＝((4-w)×P_inter+w×P_Planar+2)＞＞2来生成基于CIIP的预测块(P_CIIP)。

图8是示出根据本发明的至少一个实施方案的在组合的帧间-帧内预测模式下被参考以确定加权值的相邻块的示意图。在CIIP模式下，可以通过考虑与当前块邻近的相邻块是否编码帧内预测模式来确定加权值。

参考图8，可以通过考虑与当前块邻近的上侧相邻块A和左侧相邻块L是否编码帧内预测模式来确定CIIP模式下的加权值。

图9是示出根据本发明的至少一个实施方案的在组合的帧间-帧内预测模式下确定加权值的方法的示意图。如果与当前块邻近的相邻块大量地编码帧内预测模式，则帧内预测块可以被赋予较大的加权值。相反，如果与当前块邻近的相邻块少量地编码帧内预测模式，则帧内预测块可以被赋予较小的加权值。

参考图9，如果图8中的当前块的上侧相邻块A和左侧相邻块L编码帧内预测模式，则分配给帧内预测块的加权值可以等于3。如果上侧相邻块A编码帧内预测模式并且左侧相邻块L不编码帧内预测模式，则分配给帧内预测块的加权值可以等于2。如果上侧相邻块A不编码帧内预测模式并且左侧相邻块L编码帧内预测模式，则分配给帧内预测块的加权值可以等于2。如果上侧相邻块A不编码帧内预测模式并且左侧相邻块L不编码帧内预测模式，则分配给帧内预测块的加权值可以等于1。

图7到图9中描述的CIIP模式仅与平面模式一起利用帧内预测模式，因此不利用存在于当前块周围的方向信息。此外，在加权值的确定上存在限制，这是因为它们是基于是否将帧内预测模式用于特定的位置块来确定的。

图10是示出根据本发明的至少一个实施方案的与当前块邻近的相邻块的示意图。在CIIP模式下，可以通过使用模式的直方图来确定帧内预测模式。

参考图10，可以存在当前块的相邻块。可以存在相邻块A到Q。这些块A到Q的大小可以对应于用于存储帧内预测模式信息的最小单位大小。可以基于当前块的相邻块A到Q的帧内预测模式来生成模式的直方图。在一个示例中，可以基于块A到D、块I到L以及块Q的帧内预测模式来生成模式的直方图。在一个示例中，可以基于块A到Q的帧内预测模式来生成模式的直方图。这里，可以任意地确定用于生成模式的直方图的当前块周围的相邻块的数量和位置。如果检查模式的直方图的分布没有显示出趋势，则可以确定帧内预测模式是平面模式。

如果当前图像被编码为P切片或B切片，则当前块的相邻块很可能以帧间预测模式被编码。在一个示例中，如果当前块的相邻块的帧内预测模式用于生成模式的直方图，则以帧间预测模式编码的块可以被分配平面模式。除了平面模式之外，还可以分配任意的帧内预测模式。换句话说，用帧间预测模式编码的块的模式可以改变为任意的帧内预测模式，然后可以生成模式的直方图。例如，当通过使用当前块的相邻块的帧内预测模式来生成模式的直方图时，可以通过仅使用用帧内预测模式编码的块来生成模式的直方图，而不使用用帧间预测模式编码的块。从生成的模式的直方图中，可以选择最频繁的模式。该模式可以用作CIIP模式的帧内预测模式。

参考图11，可以从通过使用当前块的相邻块的帧内预测模式生成的模式的直方图中选择三个最频繁的帧内预测模式。三个最频繁的帧内预测模式可以分别对应于M₁、M₂和M₃模式。基于M₁模式、M₂模式和M₃模式，可以分别生成预测块Pred_M₁、Pred_M₂和Pred_M₃。可以通过对预测块Pred_M₁、Pred_M₂和Pred_M₃进行加权平均来生成CIIP模式的帧内预测块。可以基于模式的直方图中的模式出现频率来确定加权值。可以通过使用基于模板的绝对变换差值和、基于模板的绝对差值和(sum of absolute differences，SAD)或基于模板的平方误差和(sum of squared error，SSE)来确定加权值。

在一个示例中，可以从通过使用当前块的相邻块的帧内预测模式生成的模式的直方图中选择随机的三个帧内预测模式。基于随机的三个帧内预测模式，可以生成三个预测块。可以生成这三个预测块的加权平均值，以产生用于CIIP模式的帧内预测块。在一个示例中，可以从模式的直方图选择随机数量的帧内预测模式。基于随机数量的帧内预测模式，可以生成随机数量的预测块。可以通过对随机数量的预测块进行加权平均来生成CIIP模式帧内预测块。

通过使用基于模板的帧内预测模式推导方法来确定CIIP模式的帧内预测模式的方法

计算帧内预测模式的基于模板的绝对变换差值和可以意味着将帧内预测模式的方向性应用于模板的参考像素以生成预测的模板像素，并且计算生成的预测的模板像素与重构的模板像素之间的绝对变换差值和。通过计算当前块的所有相邻参考块的帧内预测模式的基于模板的绝对变换差值和，可以确定CIIP模式的帧内预测模式。在图10中，可以针对与当前块相邻的上侧块A到H、左侧块I到P和左上侧块Q的帧内预测模式来计算基于模板的绝对变换差值和。产生计算的绝对变换差值和的最小和的模式可以确定为CIIP模式的帧内预测模式。如果多个模式产生计算的绝对变换差值和的最小和，则可以选择首先产生最小和的模式。替选地，如果多个模式产生计算的绝对变换差值和的最小和，则可以选择最后产生最小和的模式。替选地，如果多个模式产生计算的绝对变换差值和的最小和，则本发明可以基于这些多个模式产生多个预测块，对其进行加权平均以确定CIIP模式的帧内预测块。

可以任意地确定正在使用的当前块的相邻参考块的数量和位置。可以通过考虑复杂性和编码效率来确定这些参考块的数量和位置。对于重复的帧内预测模式，不计算基于模板的绝对变换差值和。作为图10中的一个示例，可以针对上侧块A到D、左侧块I到L以及左上侧块Q的帧内预测模式来计算基于模板的绝对变换差值和。作为图10中的另一个示例，可以针对上侧块A、C、E、G、左侧块I、K、M、O以及左上侧块Q的帧内预测模式来计算基于模板的绝对变换差值和。

此外，针对MPM列表中的候选模式，可以通过计算基于模板的绝对变换差值和来确定CIIP模式的帧内预测模式。可以通过将MPM列表中的所有候选模式的方向性应用于模板中的参考像素来生成预测模板。本发明可以计算生成的预测模板中的像素与已经重构的模板中的像素之间的绝对变换差值和。在MPM候选模式中，用于生成产生计算的绝对变换差值和的最小和的预测像素的候选模式可以确定为CIIP模式的帧内预测模式。通过使用确定的CIIP模式的帧内预测模式，可以生成CIIP模式帧内预测块。通过将加权值应用于帧内预测块和帧间预测块，可以生成最终的基于CIIP的预测块。

图12a和图12b是示出根据本发明的至少一个实施方案的在组合的帧间-帧内预测模式下基于帧内预测模式将当前块分区为子块的方法的示意图。通过计算当前块的所有相邻参考块的帧内预测模式的基于模板的绝对变换差值和，可以确定CIIP模式的帧内预测模式。如果确定的CIIP模式的帧内预测模式是方向模式，则可以将当前块分区为子块。CIIP模式可以应用于每个分区的子块。

参考图12a，如果针对当前块的所有相邻参考块的帧内预测模式，通过计算基于模板的绝对变换差值和确定的CIIP模式的帧内预测模式大于或等于模式2并且小于或等于模式34，则当前块可以被竖直地分区。然而，确定的CIIP模式的帧内预测模式的范围不限于这些数字。当前块可以被分区为索引为0的子块、索引为1的子块、索引为2的子块以及索引为3的子块。由于当前块被竖直地分区，所以索引为0的子块、索引为1的子块、索引为2的子块以及索引为3的子块可以对应于竖直尺寸长于水平尺寸的矩形形状。

参考图12b，如果针对当前块的所有相邻参考块的帧内预测模式，通过计算基于模板的绝对变换差值和确定的CIIP模式的帧内预测模式大于或等于模式34并且小于或等于模式66，则当前块可以被水平地分区。然而，确定的CIIP模式的帧内预测模式的范围不限于这些数字。当前块可以被分区为索引为0的子块、索引为1的子块、索引为2的子块和索引为3的子块。由于当前块被水平地分区，所以索引为0的子块、索引为1的子块、索引为2的子块和索引为3的子块可以对应于水平尺寸长于竖直尺寸的矩形形状。

图13是示出根据本发明的至少一个实施方案的分配给子块的加权值的示意图。CIIP模式可以应用于图12a和图12b的不同分区的子块的每个。对于每个不同的子块，可以将不同的权重分配给CIIP模式的帧内预测块和帧间预测块。

参考图13，在图12a和图12b的索引为0的子块中，CIIP模式下的帧内预测块可以被分配权重6，并且CIIP模式下的帧间预测块可以被分配权重2。在索引为1的子块中，CIIP模式下的帧内预测块可以被分配权重5，并且CIIP模式下的帧间预测块可以被分配权重3。在索引为2的子块中，CIIP模式下的帧内预测块可以被分配权重3，并且CIIP模式下的帧间预测块可以被分配权重5。在索引为3的子块中，CIIP模式下的帧内预测块可以被分配权重2，并且CIIP模式下的帧间预测块可以被分配权重6。

参考图14，可以构造当前块的相邻块的模式的直方图。在生成的模式的直方图中，默认情况下，可以基于模式的出现频率的降序来排列模式。相应地，可以通过它们的高频率到递减的出现频率来排列模式。模式1、模式2、模式3、模式4、模式5、模式6和模式7可以代表任意的帧内预测模式。模式1、模式2、模式3、模式4、模式5、模式6和模式7可以代表当前块的相邻块的帧内预测模式。如果存在具有相同出现频率的多个帧内预测模式，则帧内预测模式可以从最低到最高模式编号排序。替选地，帧内预测模式可以从最高到最低模式编号排序。

参考图15，根据图14中生成的模式的直方图，可以计算对于第一索引模式(模式1)的基于模板的绝对变换差值和SATD_模式1(S1510)。索引可以递增1(S1520)。可以计算对于下一个索引模式的绝对变换差值和SATD_下一个(S1530)。可以确定SATD_模式n+1是否小于阈值*SATD_模式n(S1540)。这里，SATD_模式n+1可以对应于模式2的绝对变换差值和，并且SATD_模式n可以对应于模式1的绝对变换差值和。SATD_模式n+1可以对应于SATD_下一个，这是下一个索引模式的绝对变换差值和。阈值可以是任何值，只要阈值>0。如果SATD_模式n+1不满足SATD_模式n+1<阈值*SATD_模式n(S1540为否)，则模式n可以确定为CIIP模式的帧内预测模式(S1550)。如果SATD_模式n+1<阈值*SATD_模式n(S1540为是)，则可以确定模式n+1是否对应于最后的索引模式(S1560)。如果模式n+1是最后的索引模式(S1560为是)，则最后的索引模式可以确定为CIIP模式的帧内预测模式(S1570)。最后的索引模式可以对应于模式7。如果模式n+1不是最后的索引模式(S1560为否)，则索引可以递增1。可以对递增的索引模式计算绝对变换差值和。

以这种方式，当具有较小索引编号的模式的基于模板的绝对变换差值和小于具有较大索引编号的模式的基于模板的绝对变换差值和时，比较基于模板的绝对变换差值和的过程可以结束。在这种情况下，具有较小索引编号的模式可以确定为CIIP模式的帧内预测模式。替选地，如果当前被比较的索引编号是模式直方图中的最后的索引，则比较基于模板的绝对变换差值和的过程可以终止。以这种方式，可以降低复杂性。除了基于模板的绝对变换差值和外，还可以使用各种方法，例如基于模板的绝对差值和、或基于模板的误差平方和。

参考图16a，帧间预测的误差分布可以取决于水平/竖直坐标值。在帧间预测中，可以使用相对于当前块的中心的运动向量。相应地，帧间预测的误差可以随着从当前块的中心向外移动而增加。

参考图16b，帧间预测的误差分布可以取决于水平/竖直坐标值。在帧内预测中，在预测中使用的参考块可以在当前块的左上侧。相应地，帧内预测中的误差可以从左上侧到右下侧增加。

图17a和图17b是示出根据本发明的至少一个实施方案的8×8块的帧内预测的加权值和8×8块的帧间预测的加权值的示意图。在帧内预测中，在预测中使用的参考块可以在当前块的左上角。相应地，当前块的左上侧区域可以将较大的加权值分配给帧内预测信号，并且当前块的右下侧区域可以将较大的加权值分配给帧间预测信号。

参考图17a，在8×8大小的块中，左上侧区域可以将较大的加权值分配给帧内预测信号，并且右下侧区域可以将较小的加权值分配给帧内预测信号。

参考图17b，在8×8大小的块中，右下侧区域可以将较大的加权值分配给帧间预测信号，并且左上侧区域可以将较小的加权值分配给帧间预测信号。然而，本发明不限于前述实施方案。块的大小和形状可以是任意大小和形状。分配的加权值可以是任意的加权值。

图18a和图18b是示出根据本发明的另一个实施方案的大小为8×8块的帧内预测的加权值和大小为8×8块的帧间预测的加权值的示意图。在帧间预测中，可以使用相对于当前块的中心的运动向量。相应地，当前块的中心区域可以将较大的加权值分配给帧间预测信号，并且当前块的边缘区域可以将较大的加权值分配给帧内预测信号。

参考图18a，在8×8大小的块中，中心区域可以将较小的加权值分配给帧内预测信号，并且边缘区域可以将较大的加权值分配给帧内预测信号。

参考图18b，在8×8大小的块中，中心区域可以将较大的加权值分配给帧间预测信号，并且边缘区域可以将较小的加权值分配给帧间预测信号。然而，本发明不限于这些实施方案。块的大小和形状可以是任意大小和形状。分配的加权值可以是任意的加权值。

图19是示出根据本发明的至少一个实施方案的应用索贝尔滤波器的当前块的相邻参考像素的示意图。可以基于当前块的相邻参考像素来预测方向性。基于预测的方向性，可以确定CIIP模式的帧内预测模式。

参考图19，在当前块的相邻参考样本中可以存在重构的参考像素。索贝尔滤波器可以应用于重构的参考像素以计算那些像素的梯度。通过使用计算的梯度，可以生成梯度的直方图。可以从梯度的直方图中选择具有最大值的梯度。选择的梯度可以映射到帧内预测模式。映射的帧内预测模式可以确定为CIIP模式的帧内预测模式。这里，参考样本的大小M可以对应于大于或等于1的任何整数。因此，应用索贝尔滤波器的参考像素可以从单行的参考像素延伸到多行的参考像素。

参考图20，解码装置可以基于与当前块相对应并且存在于参考图像中的参考块来生成当前块的帧间预测块(S2010)。解码装置可以基于与当前块邻近的至少一个参考块、帧内预测模式列表、与当前块邻近的第一区域、当前块的最可能模式(most probable mode，MPM)列表以及与当前块邻近的重构的参考像素的至少一个来生成当前块的帧内预测块(S2020)。生成当前块的帧内预测块的步骤可以包括：基于与当前块邻近的至少一个参考块的帧内预测模式来生成帧内预测模式列表，从帧内预测模式列表选择帧内预测模式，以及基于帧内预测模式生成帧内预测块。这里，可以基于模式出现频率来选择帧内预测模式。生成当前块的帧内预测块的步骤可以包括：基于与当前块邻近的至少一个参考块的帧内预测模式来生成帧内预测模式列表，从帧内预测模式列表选择至少一个帧内预测模式，基于至少一个帧内预测模式生成至少一个预测块，以及通过对至少一个预测块进行加权平均来生成帧内预测块。这里，可以基于模式出现频率来选择至少一个帧内预测模式。

生成当前块的帧内预测块的步骤可以包括：通过将与当前块邻近的至少一个参考块的帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素，计算预测像素与第一区域中的重构像素之间的绝对变换差值和，基于绝对变换差值和推导当前块的帧内预测模式，以及基于当前块的帧内预测模式生成帧内预测块。这里，当前块的帧内预测模式可以对应于用于生成导致最小的绝对变换差值和的预测像素的参考块的帧内预测模式。生成当前块的帧内预测块的步骤可以包括：基于与当前块邻近的至少一个参考块的帧内预测模式来生成帧内预测模式列表，基于绝对变换差值和以及模式发生频率，从帧内预测模式列表推导当前块的帧内预测模式，以及基于当前块的帧内预测模式生成帧内预测块。

生成当前块的帧内预测块的步骤可以包括：将索贝尔滤波器应用于重构的并且与当前块邻近的参考像素以计算参考像素的梯度，基于参考像素的梯度生成梯度列表，从梯度列表选择一个梯度，基于所述一个梯度推导当前块的帧内预测模式，以及基于当前块的帧内预测模式生成帧内预测块。这里，可以基于梯度的大小选择一个梯度。生成当前块的帧内预测块的步骤可以包括：通过将当前块的MPM列表中的候选模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素，计算预测像素与第一区域中的重构像素之间的绝对变换差值和，基于绝对变换差值和推导当前块的帧内预测模式，以及基于当前块的帧内预测模式生成帧内预测块。这里，当前块的帧内预测模式可以对应于用于生成导致最小的绝对变换差值和的预测像素的候选模式。

解码装置可以通过对帧间预测块和帧内预测块进行加权平均来为当前块生成组合的帧间-帧内预测(CIIP)块(S2030)。可以基于帧内预测的误差分布和帧间预测的误差分布的至少一个来推导用于加权平均的加权值。生成当前块的CIIP块的步骤可以包括：基于当前块的帧内预测模式的方向性将当前块分区为四个子块，以及通过对四个子块的每个的帧间预测块和帧内预测块进行加权平均来生成当前块的CIIP块。这里，可以基于当前块的帧内预测模式的方向性来竖直或水平地分区当前块。四个子块可以各自具有在加权平均中使用的不同加权值。

参考图21，编码装置可以基于与当前块相对应并且存在于参考图像中的参考块来生成当前块的帧间预测块(S2110)。编码装置可以基于与当前块邻近的至少一个参考块、帧内预测模式列表、与当前块邻近的第一区域、当前块的最可能模式(MPM)列表以及与当前块邻近的重构的参考像素的至少一个来生成当前块的帧内预测块(S2120)。生成当前块的帧内预测块的步骤可以包括：基于与当前块邻近的至少一个参考块的帧内预测模式来生成帧内预测模式列表，从帧内预测模式列表选择帧内预测模式，以及基于帧内预测模式生成帧内预测块。这里，可以基于模式出现频率来选择帧内预测模式。生成当前块的帧内预测块的步骤可以包括：基于与当前块邻近的至少一个参考块的帧内预测模式来生成帧内预测模式列表，从帧内预测模式列表选择至少一个帧内预测模式，基于至少一个帧内预测模式生成至少一个预测块，以及通过对至少一个预测块进行加权平均来生成帧内预测块。这里，可以基于模式出现频率来选择至少一个帧内预测模式。

生成当前块的帧内预测块的步骤可以包括：通过将与当前块邻近的至少一个参考块的帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素，计算预测像素与第一区域中的重构像素之间的绝对变换差值和，基于绝对变换差值和确定当前块的帧内预测模式，以及基于当前块的帧内预测模式生成帧内预测块。这里，当前块的帧内预测模式可以对应于用于生成导致最小的绝对变换差值和的预测像素的参考块的帧内预测模式。生成当前块的帧内预测块的步骤可以包括：基于与当前块邻近的至少一个参考块的帧内预测模式来生成帧内预测模式列表，基于绝对变换差值和以及模式发生频率，从帧内预测模式列表确定当前块的帧内预测模式，以及基于当前块的帧内预测模式生成帧内预测块。

生成当前块的帧内预测块的步骤可以包括：通过将索贝尔滤波器应用于重构的并且与当前块邻近的参考像素来计算参考像素的梯度，基于参考像素的梯度生成梯度列表，从梯度列表选择一个梯度，基于所述一个梯度确定当前块的帧内预测模式，以及基于当前块的帧内预测模式生成帧内预测块。这里，可以基于梯度的大小选择一个梯度。生成当前块的帧内预测块的步骤可以包括：通过将MPM列表中的候选模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素，计算预测像素与第一区域中的重构像素之间的绝对变换差值和，基于绝对变换差值和确定当前块的帧内预测模式，以及基于当前块的帧内预测模式生成帧内预测块。这里，当前块的帧内预测模式可以对应于用于生成导致最小的绝对变换差值和的预测像素的候选模式。

编码装置可以通过对帧间预测块和帧内预测块进行加权平均来生成当前块的CIIP块(S2130)。可以基于帧内预测的误差分布和帧间预测的误差分布的至少一个来确定用于加权平均的加权值。生成当前块的CIIP块的步骤可以包括：基于当前块的帧内预测模式的方向性来将当前块分区为四个子块，以及通过对四个子块的每个的帧间预测块和帧内预测块进行加权平均来生成当前块的CIIP块。这里，可以基于当前块的帧内预测模式的方向性来竖直或水平地分区当前块。四个子块可以各自具有在加权平均中使用的不同加权值。

尽管描述了顺序执行的各个流程图中的步骤，但这些步骤仅仅例示了本发明的一些实施方案的技术思想。因此，本发明所属领域的普通技术人员可以通过改变在各个附图中描述的顺序或通过并行地执行两个或更多个步骤来执行步骤。因此，各个流程图中的步骤不限于所示的按发生时间排列的顺序。

应当理解，上述描述呈现了可以以各种其他方式实现的说明性实施方案。在一些实施方案中描述的功能可以通过硬件、软件、固件和/或它们的组合来实现。还应当理解，本说明书中描述的功能组件标记为“……单元”，以突出强调它们独立实现的可能性。

另一方面，在一些实施方案中描述的各种方法或功能可以实现为存储在非易失性记录介质中的指令，所述指令可以由一个或更多个处理器读取和执行。非易失性记录介质可以包括例如以计算机系统可读取的形式存储数据的各种类型的记录装置。例如，非易失性记录介质可以包括存储介质，例如可擦除可编程只读存储器(EPROM)、闪存驱动器、光盘驱动器、磁性硬盘驱动器和固态驱动器(SSD)等等。

尽管出于说明的目的描述了本发明的示例性实施方案，但是本发明所属领域的普通技术人员应当理解，在不脱离本发明的思想和范围的情况下，可以进行各种修改、添加和替换。因此，出于简洁和清楚起见描述了本发明的实施方案。本发明的实施方案的技术思想的范围不受例示的限制。相应地，本发明所属领域的普通技术人员应当理解，本发明的范围不受上述明确描述的实施方案的限制，而是受权利要求及其等同形式的限制。

Claims

1.一种视频解码方法，包括：

基于与当前块相对应并且存在于参考图像中的参考块来生成当前块的帧间预测块；

基于与当前块邻近的至少一个参考块、帧内预测模式列表、与当前块邻近的第一区域、当前块的最可能模式(MPM)列表以及与当前块邻近的重构的参考像素的至少一个来生成当前块的帧内预测块；以及

通过对帧间预测块和帧内预测块进行加权平均来生成当前块的组合的帧间-帧内预测(CIIP)块。

2.根据权利要求1所述的视频解码方法，其中，生成当前块的帧内预测块包括：

基于与当前块邻近的至少一个参考块的帧内预测模式来生成帧内预测模式列表；

从帧内预测模式列表选择帧内预测模式；以及

基于帧内预测模式生成帧内预测块，

其中，基于模式出现频率选择帧内预测模式。

3.根据权利要求1所述的视频解码方法，其中，生成当前块的帧内预测块包括：

从帧内预测模式列表选择至少一个帧内预测模式；

基于至少一个帧内预测模式生成至少一个预测块；以及

通过对至少一个预测块进行加权平均来生成帧内预测块，

其中，基于模式出现频率选择至少一个帧内预测模式。

4.根据权利要求1所述的视频解码方法，其中，生成当前块的帧内预测块包括：

通过将与当前块邻近的至少一个参考块的帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素；

计算预测像素与第一区域中的重构像素之间的绝对变换差值和；

基于绝对变换差值和推导当前块的帧内预测模式；以及

基于当前块的帧内预测模式生成帧内预测块，

其中，当前块的帧内预测模式是用于生成导致最小的绝对变换差值和的预测像素的参考块的帧内预测模式。

5.根据权利要求1所述的视频解码方法，其中，生成当前块的帧内预测块包括：

基于绝对变换差值和以及模式出现频率，从帧内预测模式列表推导当前块的帧内预测模式；以及

基于当前块的帧内预测模式生成帧内预测块。

6.根据权利要求1所述的视频解码方法，其中，生成当前块的帧内预测块包括：

将索贝尔滤波器应用于重构的并且与当前块邻近的参考像素，以计算参考像素的梯度；

基于参考像素的梯度生成梯度列表；

从梯度列表选择一个梯度；

基于一个梯度推导当前块的帧内预测模式；以及

基于当前块的帧内预测模式生成帧内预测块，

其中，基于梯度的大小选择一个梯度。

7.根据权利要求1所述的视频解码方法，其中，生成当前块的帧内预测块包括：

通过将当前块的MPM列表中的候选模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素；

基于绝对变换差值和推导当前块的帧内预测模式；以及

基于当前块的帧内预测模式生成帧内预测块，

其中，当前块的帧内预测模式是用于生成导致最小的绝对变换差值和的预测像素的候选模式。

8.根据权利要求1所述的视频解码方法，其中，基于帧内预测的误差分布和帧间预测的误差分布的至少一个来推导用于加权平均的加权值。

9.根据权利要求4所述的视频解码方法，其中，生成当前块的CIIP块包括：

基于当前块的帧内预测模式的方向性将当前块分区为四个子块；以及

对于四个子块的每个，通过对帧间预测块和帧内预测块进行加权平均来生成当前块的CIIP块。

10.根据权利要求8所述的视频解码方法，其中，基于当前块的帧内预测模式的方向性来竖直或水平地分区当前块，

其中，四个子块各自具有在加权平均中使用的不同加权值。

11.一种视频编码方法，包括：

12.根据权利要求11所述的视频编码方法，其中，生成当前块的帧内预测块包括：

基于与当前块邻近的至少一个参考块的帧内预测模式生成帧内预测模式列表；

从帧内预测模式列表选择帧内预测模式；以及

基于帧内预测模式生成帧内预测块，

其中，基于模式出现频率选择帧内预测模式。

13.根据权利要求11所述的视频编码方法，其中，生成当前块的帧内预测块包括：

从帧内预测模式列表选择至少一个帧内预测模式；

基于一个或更多个帧内预测模式生成至少一个预测块；以及

通过对至少一个预测块进行加权平均来生成帧内预测块，

其中，至少一个帧内预测模式是基于模式出现频率的。

14.根据权利要求11所述的视频编码方法，其中，生成当前块的帧内预测块包括：

基于绝对变换差值和确定当前块的帧内预测模式；以及

基于当前块的帧内预测模式生成帧内预测块，

15.根据权利要求11所述的视频编码方法，其中，生成当前块的帧内预测块包括：

基于绝对变换差值和以及模式出现频率，从帧内预测模式列表确定当前块的帧内预测模式；以及

基于当前块的帧内预测模式生成帧内预测块。

16.根据权利要求11所述的视频编码方法，其中，生成当前块的帧内预测块包括：

通过将索贝尔滤波器应用于重构的并且与当前块邻近的参考像素来计算参考像素的梯度；

基于参考像素的梯度生成梯度列表；

从梯度列表选择一个梯度；

基于一个梯度确定当前块的帧内预测模式；以及

基于当前块的帧内预测模式生成帧内预测块，

其中，基于梯度的大小选择一个梯度。

17.根据权利要求11所述的视频编码方法，其中，生成当前块的帧内预测块包括：

基于绝对变换差值和确定当前块的帧内预测模式；以及

基于当前块的帧内预测模式生成帧内预测块，

18.根据权利要求14所述的视频编码方法，其中，生成当前块的CIIP块包括：

基于当前块的帧内预测模式的方向性来将当前块分区为四个子块；以及

19.根据权利要求18所述的视频编码方法，

其中，基于当前块的帧内预测模式的方向性来竖直或水平地分区当前块，

其中，四个子块各自具有在加权平均中使用的不同加权值。

20.一种计算机可读记录介质，其存储由视频编码方法生成的比特流，所述视频编码方法包括：