CN116668688A - 视频信号解码装置、视频信号编码装置和发送数据的装置 - Google Patents

Abstract

本申请涉及视频信号解码装置、视频信号编码装置和发送数据的装置。公开了一种基于帧内预测模式的图像处理方法及其装置。尤其是，用于基于帧内预测模式处理图像的方法可以包括以下步骤：在当前块是非正方形块时，基于当前块的宽度信息和高度信息配置要用于当前块的预测的参考样本；推导当前块的帧内预测模式；以及通过基于当前块的帧内预测模式使用参考样本来生成当前块的预测样本。

Description

视频信号解码装置、视频信号编码装置和发送数据的装置

本申请是原案申请号为201780057048.8的发明专利申请(国际申请号：PCT/KR2017/001340，申请日：2017年2月7日，发明名称：基于帧内预测模式的图像处理方法及其装置)的分案申请。

技术领域

本发明涉及一种用于处理静止图像或运动图像的方法，更具体地，涉及一种用于基于帧内预测模式对静止图像或运动图像进行编码/解码的方法以及支持该方法的装置。

背景技术

压缩编码指的是通过通信线路发送数字化信息的一系列信号处理技术，或者以适用于存储介质的形式存储信息的技术。包括图片、图像、音频等的介质可以是用于压缩编码的对象，并且具体地，对图片执行压缩编码的技术称为视频图像压缩。

下一代视频内容被假定为具有场景表示的高维度、高空间分辨率和高帧速率的特征。为了处理这样的内容，将导致在存储器存储、存储器存取速率和处理功率方面的急剧增长。

因此，需要设计一种用于高效地处理下一代视频内容的编码工具。

发明内容

技术问题

本发明提出了一种当通过在帧内执行预测(或帧内预测)来以非正方形块为单位生成预测块时通过考虑块形状的特性来高效地执行预测的方法。

此外，本发明提出了一种通过考虑非正方形块的形状来配置要用于帧内预测的参考样本的方法。

此外，本发明提出了一种通过考虑非正方形块的形状来适应性地分布帧内预测模式的预测方向的方法。

此外，本发明提出了一种通过考虑非正方形块的形状来适应性地分割变换单元(即，执行变换的基本单位)的方法。

在本发明中要实现的技术目的不限于上述技术目的，并且本发明所属领域的普通技术人员从以下描述中可以明显地理解上面未描述的其它技术目的。

技术方案

在本发明的一个方面中，一种基于帧内预测模式处理视频的方法可以包括以下步骤：在当前块是非正方形块时，基于当前块的宽度和高度信息配置要用于当前块的预测的参考样本；推导当前块的帧内预测模式；以及基于当前块的帧内预测模式使用参考样本生成当前块的预测样本。

在本发明的另一方面中，一种基于帧内预测模式处理视频的装置可以包括：参考样本配置单元，其被配置为在当前块是非正方形块时，基于当前块的宽度和高度信息来配置要用于当前块的预测的参考样本；预测模式推导单元，其被配置为推导当前块的帧内预测模式；以及预测样本生成单元，其被配置为基于当前块的帧内预测模式使用参考样本生成当前块的预测样本。

优选地，推导当前块的帧内预测模式的步骤还包括基于当前块的宽度和高度信息适应性地确定可应用于当前块的多个帧内预测模式的步骤。可以在所确定的多个帧内预测模式当中推导出当前块的帧内预测模式。

优选地，在当前块的宽度为N且当前块的高度为M时，参考样本可以配置有与当前块的左上方相邻的一个样本、与当前块的左侧相邻的M个样本、与当前块的左下方相邻的N个样本、与当前块的顶部相邻的N个样本、以及与当前块的右上方相邻的M个样本。

优选地，可应用于当前块的多个帧内预测模式可以被确定为其中基于当前块的宽高比对预测方向进行差异化分布的帧内预测模式。

优选地，在当前块的宽度和高度当中的宽度更大时，可应用于当前块的多个帧内预测模式可以被确定为其中预测方向的数量在45°角的预测方向和135°角的预测方向之间比在135°角的预测方向和225°角的预测方向之间分布更多的帧内预测模式。

优选地，在当前块的宽度和高度当中的高度更大时，可应用于当前块的多个帧内预测模式可以被确定为其中预测方向的数量在135°角的预测方向和225°角的预测方向之间比在45°角的预测方向和135°角的预测方向之间分布更多的帧内预测模式。

优选地，可应用于当前块的多个帧内预测模式可以被确定为基于当前块的宽高比已经从中去除了特定数量的预测方向的帧内预测模式。

优选地，可以通过基于当前块的宽高比对特定角度范围的预测方向进行子采样来确定可应用于当前块的多个帧内预测模式。

优选地，可应用于当前块的多个帧内预测模式可以被确定为基于当前块的宽高比已经从中去除了特定数量的预测方向并且已经向包括垂直模式或水平模式的特定角度范围添加与所去除的预测方向的数量一样多的预测方向的帧内预测模式。

优选地，可应用于当前块的多个帧内预测模式可以被确定为基于当前块的宽高比已经从中去除了多个预测方向并且已经在邻近垂直模式或水平模式的多个预测方向之间添加与所去除的预测方向的数量一样多的预测方向的帧内预测模式。

优选地，该方法还包括基于当前块的宽高比确定是否将当前块分割成多个正方形子块。如果当前块未被分割成多个正方形子块，则可以以当前块为单位生成当前块的预测样本。如果当前块被分割成多个正方形子块，则可以以子块为单位生成当前块的预测样本。子块可以与当前块的残差信号进行变换的变换单位相同。

优选地，该方法还包括：在当前块的宽度和高度当中的宽度更大并且当前块的帧内预测模式的角度大于180°时，将当前块分割成多个正方形子块。可以基于当前块的帧内预测模式使用参考样本以子块为单位生成当前块的预测样本。子块可以与当前块的残差信号进行变换的变换单位相同。

优选地，该方法还包括：在当前块的宽度和高度当中的高度更大并且当前块的帧内预测模式的角度小于90°时，将当前块分割成多个正方形子块。可以基于当前块的帧内预测模式使用参考样本以子块为单位生成当前块的预测样本。子块可以与当前块的残差信号进行变换的变换单位相同。

优选地，该方法还包括将当前块分割成多个正方形子块。可以基于当前块的帧内预测模式，使用参考样本以子块为单位生成当前块的预测样本。子块可以与当前块的残差信号进行变换的变换单位相同。

技术效果

根据本发明的实施方式，通过结合非正方形块的形状来配置要用于预测的参考样本，能够高效地应用非正方形块中的帧内预测。

此外，根据本发明的实施方式，通过在具有较少误差的方向侧设置更多预测方向，能够提高预测性能并且能够增强编码性能。

此外，根据本发明的实施方式，通过去除具有更高预测误差的方向并且布置与所去除的方向的数量一样多的、由现有方法可能无法表示的详细方向，能够提高预测精度。

此外，根据本发明的实施方式，通过从非正方形块分割变换单元，能够减小距参考样本的距离，因此能够高效地减少预测误差并且能够提高预测精度。

在本发明中可以获得的效果不限于上述效果，并且本发明所属领域的普通技术人员从以下描述中可以清楚地理解上面未描述的其它技术效果。

附图说明

附图被包括在本文中以作为用于帮助理解本发明的说明书的一部分，其提供了本发明的实施方式，并且与以下的描述一起来说明本发明的技术特征。

图1例示了作为应用了本发明的实施方式的、执行静止图像或者视频信号的编码的编码器的示意性框图。

图2例示了作为应用了本发明的实施方式的、执行静止图像或者视频信号的解码的解码器的示意性框图。

图3是用于描述可以应用于本发明的编码单元的分割结构的图。

图4是用于描述可以应用于本发明的预测单元的图。

图5是应用了本发明的实施方式并且是例示帧内预测方法的图。

图6例示了根据帧内预测模式的预测方向。

图7是用于例示可以应用于本发明的块的分割结构的图。

图8是可以应用本发明的实施方式，并且是例示配置参考样本的方法的图。

图9是可以应用本发明的实施方式，并且是例示配置参考样本的方法的图。

图10是可以应用本发明的实施方式，并且是用于例示适应性地确定帧内预测模式的方法的图。

图11是可以应用本发明的实施方式，并且是例示适应性地确定帧内预测模式的方法的图。

图12是可以应用本发明的实施方式，并且是例示适应性地确定帧内预测模式的方法的图。

图13至图15是可以应用本发明的实施方式，并且是例示适应性地确定帧内预测模式的方法的图。

图16和图17是可以应用本发明的实施方式，并且是例示适应性地确定帧内预测模式的方法的图。

图18是例示根据本发明的实施方式的变换单元的分割方法的图。

图19是例示根据本发明的实施方式的变换单元的分割方法的图。

图20是例示根据本发明的实施方式的变换单元的分割方法的图。

图21是例示根据本发明的实施方式的变换单元的分割方法的图。

图22是例示根据本发明的实施方式的变换单元的分割方法的流程图。

图23是例示根据本发明的实施方式的变换单元的分割方法的图。

图24是例示根据本发明的实施方式的帧内预测方法的图。

图25是例示根据本发明的实施方式的帧内预测单元的图。

具体实施方式

在下文中，将通过参照附图来描述本发明的优选实施方式。在下面将与附图一起描述的说明书要描述本发明的示例性实施方式，并非旨在描述可以实现本发明的仅有实施方式。以下的描述包括特定细节以便提供对本发明的完整理解。但是，应该明白，对于本领域技术人员来说，可以在没有这些特定细节的情况下实施本发明。

在一些情形中，为了防止本发明的技术构思不清楚，可以省略公知的结构或者装置，或者公知的结构或者装置可以被绘制为围绕结构或者装置的核心功能的框图。

此外，尽管尽可能多地选择当前广泛地使用的常规术语作为本发明中的术语，但是在特定情形中使用由申请人任意选择的术语。由于在这样的情况下，将在说明书的相应部分中清楚地描述术语的含义，因此，应该理解，本发明并非由仅在本发明的说明书中使用的术语来简单地解释，而是应该领会术语的含义。

可以提供以下的描述中使用的特定术语以帮助理解本发明。此外，在本发明的技术构思的范围内，特定术语可以变型为其它形式。例如，信号、数据、样本、图片、帧和块等可以在每个编码过程中适当地替换和解释。

在下文中，在本说明书中，“处理单元”是指执行编码/解码处理过程(诸如预测、变换和/或量化)的单元。在下文中，为了便于描述，处理单元也可以称作“处理块”或者“块”。

处理单元可以解释为具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或者变换单元(TU)。

此外，处理单元可以被解释为用于亮度分量的单元或者用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或者变换块(TB)。另选地，处理单元可以对应于用于色度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或者变换块(TB)。此外，本发明不限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。

此外，处理单元本质上不限于正方形块，并且可以以具有三个或更多个顶点的多边形形式来构建。

此外，在下文中，在本说明书中，像素、图片元素等统称为样本。此外，使用样本可以意味着使用像素值、图片元素值等。

图1例示了作为本发明所应用于的实施方式的、执行静止图像或者视频信号的编码的编码器的示意性框图。

参考图1，编码器100可以包括视频分割单元110、减法器115、变换部120、量化单元130、解量化单元140、逆变换部150、滤波单元160、经解码图片缓冲器(DPB)170、预测单元180和熵编码单元190。此外，预测单元180可以包括帧间预测单元181和帧内预测单元182。

视频分割单元110将输入到编码器100的输入视频信号(或者图片或帧)分割为一个或多个处理单元。

减法器115通过从输入视频信号减去由预测单元180(即，帧间预测单元181或者帧内预测单元182)输出的预测信号(或者预测块)来生成残差信号(或者残差块)。生成的残差信号(或者残差块)被发送给变换部120。

变换部120通过将变换方案(例如，离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或者卡南-洛伊夫变换(Karhunen-Loeve transform，KLT))应用于残差信号(或者残差块)来生成变换系数。在这种情况下，变换部120可以通过使用应用于残差块的预测模式和基于残差块的尺寸所确定的变换方案执行变换，生成变换系数。

量化单元130对变换系数进行量化，并且将其发送给熵编码单元190，而熵编码单元190执行经量化信号的熵编码操作并将其作为比特流进行输出。

此外，由量化单元130输出的经量化信号可以用于生成预测信号。例如，可以通过经由解量化单元140和逆变换部150对经量化信号应用解量化和逆变换，来重构残差信号。可以通过将重构的残差信号加至由帧间预测单元181或者帧内预测单元182输出的预测信号来生成重构的信号。

此外，在这样的压缩过程期间，相邻块通过不同的量化参数来量化。因此，可能出现示出块边界的伪影(artifact)。这样的现象称为块伪影，其是用于评估图像质量的重要因素之一。为了减少这样的伪影，可以执行滤波过程。通过这样的滤波过程，块伪影被去除并且同时降低了当前图片的误差，从而改善图像质量。

滤波单元160对重构的信号应用滤波，并且通过回放装置进行输出，或者发送给经解码图片缓冲器170。发送给经解码图片缓冲器170的经滤波的信号可以在帧间预测单元181中用作参考图片。如上所述，在图片间预测模式中使用经滤波的图片作为参考图片，能够改善编码率以及图像质量。

经解码图片缓冲器170可以存储经滤波的图片，以便在帧间预测单元181中将其用作参考图片。

帧间预测单元181参照重构的图片来执行时间预测和/或空间预测，以便除去时间冗余和/或空间冗余。在这种情况下，因为用于执行预测的参考图片是当在以前编码/解码时以块为单位经历了量化或者解量化的经变换的信号，因此可能出现块伪影或者环形伪影。

因此，为了解决可归因于这种信号的不连续性或者量化的性能退化，通过将低通滤波器应用于帧间预测单元181，可以以子像素为单位来对像素之间的信号进行插值。在这种情况下，子像素是指通过应用插值滤波器生成的虚拟像素，并且整数像素是指存在于重构的图片中的实际像素。可以应用线性插值、双线性插值、维纳滤波器等等作为插值方法。

插值滤波器可以应用于重构的图片，并且可以改善预测的准确度。例如，帧间预测单元181可以通过将插值滤波器应用于整数像素生成插值像素并且通过使用包括插值像素的插值块作为预测块来执行预测。

帧内预测单元182参照与现在要编码的块相邻的样本来预测当前块。帧内预测单元182可以执行以下的处理以便执行帧内预测。首先，帧内预测单元182可以准备生成预测信号所必需的参考样本。此外，帧内预测单元182可以使用准备的参考样本来生成预测信号。此外，帧内预测单元182可以对预测模式进行编码。在这种情况下，可以通过参考样本填充和/或参考样本滤波来准备参考样本。因为参考样本经历了预测和重构过程，所以可能存在量化误差。因此，为了降低这种误差，可以对用于帧内预测的每个预测模式执行参考样本滤波过程。

通过帧间预测单元181或者帧内预测单元182生成的预测信号(或者预测块)可以用于生成重构信号(或者重构块)，或者可以用于生成残差信号(或者残差块)。

图2例示了作为应用了本发明的实施方式的、执行静止图像或者视频信号的解码的解码器的示意性框图。

参照图2，解码器200可以包括熵解码单元210、解量化单元220、逆变换部230、加法器235、滤波单元240、经解码图片缓冲器(DPB)250和预测单元260。此外，预测单元260可以包括帧间预测单元261和帧内预测单元262。

此外，通过解码器200输出的重构的视频信号可以通过回放装置来回放。

解码器200接收由图1中示出的编码器100输出的信号(即，比特流)。熵解码单元210对接收的信号执行熵解码操作。

解量化单元220使用量化步长信息(quantization step size information)，从经熵解码的信号获得变换系数。

逆变换部230通过应用逆变换方案对变换系数进行逆变换，来获得残差信号(或残差块)。

加法器235将获得的残差信号(或残差块)与由预测单元260(即，帧间预测单元261或者帧内预测单元262)输出的预测信号(或预测块)相加，从而生成重构信号(或重构块)。

滤波单元240对重构信号(或重构块)应用滤波，并且将经滤波的信号输出至回放装置，或者将经滤波的信号发送给经解码图片缓冲器250。发送给经解码图片缓冲器250的经滤波的信号可以在帧间预测单元261中用作参考图片。

在本说明书中，在编码器100的滤波单元160、帧间预测单元181和帧内预测单元182中描述的实施方式可以分别地等同地应用于解码器的滤波单元240、帧间预测单元261和帧内预测单元262。

处理单元分割结构

通常，基于块的图像压缩方法用于静止图像或者视频的压缩技术(例如，HEVC)中。基于块的图像压缩方法是通过将图像分割为特定块单元来处理图像的方法，并且可以降低存储器使用和计算负载。

图3是用于描述可以应用于本发明的编码单元的分割结构的图。

编码器将单个图像(或者图片)分割为四边形形式的编码树单元(CTU)，并且按照光栅扫描顺序依次逐个地编码CTU。

在HEVC中，CTU的尺寸可以确定为64×64、32×32和16×16中的一个。编码器可以基于输入视频信号的分辨率或者输入视频信号的特性来选择和使用CTU的尺寸。CTU包括用于亮度分量的编码树块(CTB)和用于与其相对应的二个色度分量的CTB。

一个CTU可以以四叉树结构进行分割。也就是说，一个CTU可以分割为各自具有正方形形式并且具有一半水平尺寸和一半垂直尺寸的四个单元，从而能够生成编码单元(CU)。四叉树结构的这种分割可以递归地执行。也就是说，以四叉树结构从一个CTU分等级地分割CU。

CU是指用于输入视频信号的处理过程(例如，编码，在其中执行帧内/帧间预测)的基本单位。CU包括用于亮度分量的编码块(CB)和用于与亮度分量相对应的两个色度分量的CB。在HEVC中，CU尺寸可以被确定为64×64、32×32、16×16和8×8中的一个。

参照图3，四叉树的根节点与CTU有关。四叉树被分割，直至达到叶节点。叶节点对应于CU。

对此进行更详细地描述。CTU对应于根节点，并且具有最小深度(即，深度＝0)值。根据输入视频信号的特性，CTU可以不被分割。在这种情况下，CTU对应于CU。

CTU可以以四叉树形式进行分割。结果，生成下节点，也就是说，深度1(深度＝1)。此外，属于深度为1的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3的(b)中，对应于节点a、b和j的CU(a)、CU(b)和CU(j)已经从CTU分割了一次，并且深度为1。

深度为1的节点中的至少一个可以以四叉树形式被分割。结果，生成具有深度1(即，深度＝2)的下节点。此外，属于深度为2的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3的(b)中，对应于节点c、h和i的CU(c)、CU(h)和CU(i)已经从CTU分割了两次，并且深度为2。

此外，深度为2的节点中的至少一个可以以四叉树形式再次进行分割。结果，生成具有深度3(即，深度＝3)的下节点。此外，属于深度为3的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3的(b)中，对应于节点d、e、f和g的CU(d)、CU(e)、CU(f)和CU(g)已经从CTU分割了三次，并且深度为3。

在编码器中，可以基于视频图像的特性(例如，分辨率)或者通过考虑编码率来确定CU的最大尺寸或者最小尺寸。此外，关于最大尺寸或者最小尺寸的信息或者能够推导出该信息的信息可以包括在比特流中。具有最大尺寸的CU称为最大编码单元(LCU)，而具有最小尺寸的CU称为最小编码单元(SCU)。

此外，具有树结构的CU可以以预定的最大深度信息(或者最大等级信息)分等级地分割。此外，每个分割的CU可以具有深度信息。由于深度信息表示CU的分割计数和/或分割度，深度信息可以包括关于CU的尺寸的信息。

由于LCU以四叉树形状进行分割，所以SCU的尺寸可以通过使用LCU的尺寸和最大深度信息来获得。或者，相反地，LCU的尺寸可以通过使用SCU的尺寸和树的最大深度信息来获得。

对于单个CU，表示相应CU是否被分割的信息(例如，分割CU标志(split_cu_flag))可以转发给解码器。该分割信息包括在除了SCU之外的所有CU中。例如，当表示是否分割的标志的值为“1”时，相应CU被进一步分割为四个CU，而当表示是否分割的标志的值为“0”时，相应CU不再分割，并且可以执行用于相应CU的处理过程。

如上所述，CU是在其中执行帧内预测(intra-prediction)或者帧间预测(inter-prediction)的编码的基本单位。HEVC将CU分割成预测单元(PU)，以更加有效地对输入视频信号进行编码。

PU是用于生成预测块的基本单位，并且即使在单个CU中，也可以以PU为单位以不同的方式生成预测块。然而，对于属于单个CU的PU不一起使用帧内预测和帧间预测，而属于单个CU的PU通过相同的预测方法(即，帧内预测或者帧间预测)来编码。

PU不以四叉树结构进行分割，而是在单个CU中以预定形状分割一次。这些将在下面通过参照附图来描述。

图4是用于描述可以应用于本发明的预测单元的图。

根据是使用帧内预测模式还是使用帧间预测模式作为PU所属的CU的编码模式，PU被不同地分割。

图4中的(a)例示了使用帧内预测模式时的PU，而图4中的(b)例示了使用帧间预测模式时的PU。

参照图4中的(a)，假设单个CU的尺寸是2N×2N(N＝4、8、16和32)，单个CU可以被分割为两种类型(即，2N×2N或者N×N)。

在这种情况下，如果单个CU被分割为2N×2N形状的PU，则这意味着仅一个PU存在于单个CU中。

此外，如果单个CU被分割为N×N形状的PU，则单个CU被分割为四个PU，并且对于每个PU单元生成不同的预测块。然而，只有在CU的用于亮度分量的CB的尺寸是最小尺寸(即，CU是SCU的情况)时，可以执行这样的PU分割。

参照图4中的(b)，假设单个CU的尺寸是2N×2N(N＝4、8、16和32)，单个CU可以被分割为八个PU类型(即，2N×2N、N×N、2N×N、N×2N、nL×2N、nR×2N、2N×nU和2N×nD)。

像在帧内预测中一样，只有在CU的用于亮度分量的CB的尺寸是最小尺寸(即，CU是SCU的情况)时，可以执行N×N形状的PU分割。

帧间预测支持在水平方向上分割的2N×N形状和在垂直方向上分割的N×2N形状的PU分割。

此外，帧间预测支持作为不对称运动分割(AMP)的nL×2N、nR×2N、2N×nU和2N×nD形状的PU分割。在这种情况下，“n”是指2N的1/4值。然而，如果PU所属于的CU是最小尺寸的CU，则不可以使用AMP。

为了在单个CTU中高效地编码输入视频信号，可以通过如下的处理过程基于最小率失真值来确定编码单元(CU)、预测单元(PU)和变换单元(TU)的最佳分割结构。例如，关于在64×64CTU中的最佳CU分割过程，可以通过从64×64尺寸的CU到8×8尺寸的CU的分割过程来计算率失真代价。详细过程如下。

1)通过对64×64尺寸的CU执行帧间/帧内预测、变换/量化、解量化/逆变换和熵编码来确定生成最小率失真值的PU和TU的最佳分割结构。

2)PU和TU的最佳分割结构被确定为将64×64CU分割为32×32尺寸的四个CU，并且生成每个32×32CU的最小率失真值。

3)PU和TU的最佳分割结构被确定为进一步将32×32CU分割为16×16尺寸的四个CU，并且生成每个16×16CU的最小率失真值。

4)PU和TU的最佳分割结构被确定为进一步将16×16CU分割为8×8尺寸的四个CU，并且生成每个8×8CU的最小率失真值。

5)通过将在过程3)中获得的16×16CU的率失真值与在过程4)中获得的四个8×8CU的率失真值之和进行比较，来确定在16×16块中的CU的最佳分割结构。也以相同方式对于其余三个16×16CU来执行这个过程。

6)通过将在过程2)中获得的32×32CU的率失真值与在过程5)中获得的四个16×16CU的率失真值之和进行比较，来确定在32×32块中的CU的最佳分割结构。也以相同方式对于其余三个32×32CU来执行这个过程。

7)最后，通过将在过程1)中获得的64×64CU的率失真值与在过程6)中获得的四个32×32CU的率失真值之和进行比较，来确定在64×64块中CU的最佳分割结构。

在帧内预测模式中，按照PU为单位选择预测模式，并且以实际的TU为单位对选择的预测模式执行预测和重构。

TU是指执行实际预测和重构的基本单位。TU包括用于亮度分量的变换块(TB)和用于与亮度分量相对应的两个色度分量的TB。

在图3的示例中，如同在一个CTU被以四叉树结构进行分割以生成CU的示例中一样，从要编码的一个CU以四叉树结构分等级地分割TU。

因为TU被以四叉树结构进行分割，所以从CU分割的TU可以被分割为更小和更低的TU。在HEVC中，TU的尺寸可以被确定为32×32、16×16、8×8和4×4中的一个。

返回参照图3，假设四叉树的根节点与CU相关。分割四叉树，直至达到叶节点，并且叶节点对应于TU。

对此进行更详细地描述。CU对应于根节点，并且具有最小深度(即，深度＝0)值。根据输入图像的特性，可以不分割CU。在这种情况下，CU对应于TU。

CU可以以四叉树形式进行分割。结果，生成具有深度1(深度＝1)的下节点。此外，属于深度为1的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3的(b)中，对应于节点a、b和j的TU(a)、TU(b)和TU(j)已经从CU分割了一次，并且深度为1。

深度为1的节点中的至少一个可以再次以四叉树形式进行分割。结果，生成具有深度2(即，深度＝2)的下节点。此外，属于深度为2的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3的(b)中，对应于节点c、h和i的TU(c)、TU(h)和TU(i)已经从CU分割了两次并且深度为2。

此外，深度为2的节点中的至少一个可以以四叉树形式再次进行分割。结果，生成具有深度3(即，深度＝3)的下节点。此外，属于深度为3的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3的(b)中，对应于节点d、e、f和g的TU(d)、TU(e)、TU(f)和TU(g)已经从CU分割了三次，并且深度为3。

具有树结构的TU可以以预定的最大深度信息(或者最大等级信息)分等级地分割。此外，每个分割TU可以具有深度信息。该深度信息可以包括关于TU的尺寸的信息，因为其指示TU的分割数和/或分割度。

指示相应TU是否已经相对于一个TU进行了分割的信息(例如，分割TU标志“split_transform_flag”)可以被传送给解码器。分割信息被包括在除了最小尺寸的TU之外的所有TU中。例如，如果指示TU是否已分割的标志的值为“1”，则相应TU被分割为四个TU。如果指示TU是否已分割的标志的值为“0”，则相应TU不再分割。

预测

为了重新配置对其执行解码的当前处理单元，可以使用包括当前处理单元的当前图片或其它图片的已解码的部分。

仅使用当前图片用于重构(即，仅对其执行帧内预测)的图片(条带)可被称作内图片(intra-picture)或I图片(条带)。为了预测每个单元使用最多一个运动矢量和参考索引的图片(条带)可以被称作预测图片或P图片(条带)。使用最多两个运动矢量和参考索引的图片(条带)可以被称作双预测图片或者B图片(条带)。

帧内预测意指从相同解码的图片(或条带)的数据元素(例如，采样值)推导出当前处理块的预测方法。也就是说，帧内预测意指参考当前图片内的重构的区域来预测当前处理块的像素值的方法。

帧间预测意指基于除当前图片以外的图片的数据元素(例如，采样值或运动矢量)来推导出当前处理块的预测方法。也就是说，帧间预测意指参考除当前图片以外的另一重构的图片内的重构的区域来预测当前处理块的像素值的方法。

在下文中，对帧内预测进行更具体的描述。

帧内预测(或在帧内的预测)

图5是应用了本发明的实施方式，并且是例示帧内预测方法的图。

参照图5，解码器推导当前处理块的帧内预测模式(S501)。

帧内预测可以依据预测模式而具有用于预测的参考样本的位置的预测方向。具有预测方向的帧内预测模式被称为帧内角度预测模式(Intra_Angular预测模式)。相反，不具有预测方向的帧内预测模式包括帧内平面(INTRA_PLANAR)预测模式和帧内DC(INTRA_DC)预测模式。

表1例示了帧内预测模式和相关名称，并且图6例示了根据帧内预测模式的预测方向。

[表1]

在帧内预测中，基于推导出的预测模式对当前处理块执行预测。用于预测的参考样本和详细预测方法依据预测模式而不同。如果当前块是帧内预测模式，则解码器推导当前块的预测模式以便执行预测。

解码器检查当前处理块的邻近样本是否能够用于预测，并构建要用于预测的参考样本(S502)。

在帧内预测中，当前处理块的邻近样本意指邻近nS×nS尺寸的当前处理块的左边界的样本、邻近当前处理块的左下方的总共2×nS个样本、邻近当前处理块的顶边界的采样、邻近当前处理块的右上方的总共2×nS个样本、以及邻近当前处理块的左上方的一个样本。

但是，当前处理块的一些邻近样本尚未编码或可能不可用。在这种情况下，解码器可以通过用可用样本替代不可用样本来构建要用于预测的参考样本。

解码器可以基于帧内预测模式对参考样本执行滤波(S503)。

是否对参考样本执行滤波可以基于当前处理块的尺寸来确定。此外，可以基于由编码器传送的滤波标志来确定参考样本的滤波方法。

解码器基于帧内预测模式和参考样本来生成用于当前处理块的预测块(S504)。也就是说，解码器基于在帧内预测模式推导的步骤(S501)中推导出的帧内预测模式和在参考样本配置步骤(S502)和参考样本滤波步骤(S503)中获得的参考样本，生成用于当前处理块的预测块(即，生成当前处理块内的预测样本)。

如果当前处理块已经以INTRA_DC模式编码，则为了使处理块之间边界的不连续性最小化，在步骤S504可以对预测块的左边界样本(即，预测块内邻近左边界的样本)和顶边界样本(即，预测块内邻近顶边界的样本)进行滤波。

此外，在步骤S504，相对于帧内角度预测模式的垂直模式和水平模式，如在INTRA_DC模式一样，可以对左边界样本或顶边界样本应用滤波。

更具体地，如果当前处理块已经以垂直模式或水平模式被编码，则基于位于预测方向上的参考样本的值可以推导预测样本的值。在这种情况下，在预测块的左边界样本或顶边界样本当中不位于预测方向上的边界样本可以邻近不用于预测的参考样本。也就是说，距未用于预测的参考样本的距离可以比距用于预测的参考样本的距离更近。

因此，依据帧内预测方向是垂直方向还是水平方向，解码器可以适应性地对左边界样本或顶边界样本应用滤波。也就是说，如果帧内预测方向是垂直方向，则解码器可以对左边界样本应用滤波，而如果帧内预测方向是水平方向，则解码器可以对顶边界样本应用滤波。

四叉树加二叉树(QTBT)

QTBT是指使用四叉树方法分割块然后使用二叉树方法执行附加分割的块结构。

具体地，在QTBT块分割结构中，在如现有方法中以四叉树形状执行块分割之后，通过分割标志信息的信令以二叉树形状附加执行分割。

图7是用于例示可应用于本发明的块的分割结构的图。

图7例示了QTBT结构的块分割结构。由实线划分的块表示以四叉树结构(即，四叉树形状)分割的块。在这种情况下，可以使用诸如图3中描述的方法之类的方法来分割四叉树结构。

此外，由虚线划分的块表示以二叉树结构(即，二叉树形状)分割的块。可以在以四叉树形状分割的块结构的基础上以二叉树结构执行附加分割。

具体地，在执行四叉树块分割之后，编码器可以通过用信号通知分割标志和指示水平方向分割或垂直方向分割的标志，以二进制树结构分割块。

根据QTBT块结构，依据视频的特性，可以存在除规则四边形(即，正方形)形状的块之外的矩形(即，非正方形)的块。此外，可以基于最终分割块来执行除预测之外的变换。

也就是说，在现有HEVC中，在帧内预测中，在正方形块中执行PU单元的预测和TU单元的变换和量化。相反，在QTBT块结构的帧内预测中，可以在除了规则四边形块之外的矩形块中执行帧内预测，并且可以基于没有PU或TU的现有层级结构的分割块来执行预测、变换和量化。

基于帧内预测模式的视频处理方法

如上所述，如果基于QTBT块结构执行帧内的预测(或帧内预测)，则与现有HEVC不同，除了正方形块之外，还可以在非正方形块中执行帧内预测。

本发明提出了一种通过在通过帧内预测以非正方形块单元生成预测块时考虑块形状的特性来高效地执行预测的方法。

实施方式1

如图5中所描述的，编码器/解码器可以识别邻近当前块的样本是否能够用于预测以便执行帧内预测，并且可以配置要用于预测的参考样本。

如果在正方形式块中执行帧内预测，如在现有HEVC中一样，邻近N×N尺寸的当前块的左边界的样本和邻近当前块的左下方的总共2xN个样本、邻近当前块的顶边界的样本和邻近当前块的右上方的总共2×N个样本、以及邻近当前块的左上方的一个样本可以被配置为要用于预测的参考样本。

此外，如果当前块的一些周围的样本尚未被解码或不可用，则编码器/解码器可以通过用可用样本替代不可用样本来配置要用于预测的参考样本。

相反，如上所述，除了正方形块之外，还可以在非正方形块中执行帧内预测。

因此，本实施方式提出了一种通过考虑非正方形块的形状来配置(或填充)要用于帧内预测的参考样本的方法。

图8是可以应用本发明的实施方式，并且是例示配置参考样本的方法的图。

参照图8中的(a)，帧内预测模式的预测方向可以具有45°至225°的角度。然而，这仅是用于基于现有帧内预测模式(参照图6)例示本发明的示例，并且可以应用于本发明的帧内预测模式不限于此。

在非正方形块的帧内预测方法中，为了等同地应用被应用于现有正方形块的帧内预测模式的方向，可以通过考虑当前块的水平长度(即，宽度)和垂直长度(即，高度)来配置(或准备)参考样本。

也就是说，编码器/解码器可以通过将具有45°至225°的角度的帧内预测模式的预测方向以及当前块的宽度和高度纳入考虑，来配置要用于当前块的预测的参考样本。

参照图8中的(b)，假设当前块(即，非正方形块)的宽度是W并且其高度是H的情况。

例如，如果在当前块中执行帧内预测，则邻近当前块的左上方的一个样本、邻近当前块的左侧的H个样本、邻近当前块的左下方的W个样本、邻近当前块的顶部的W个样本、和邻近当前块的右上方的H个样本可以被配置为要用于预测的参考样本。

此外，如果当前块的一些周围的样本尚未被解码或不可用，则编码器/解码器可以通过用可用样本替代不可用样本来配置要用于预测的参考样本。

此外，编码器/解码器可以填充参考样本，然后使用图5中描述的方法对参考样本执行滤波。

图9是可以应用本发明的实施方式，并且是例示配置参考样本的方法的图。

从图9中，如果在非正方形块中执行帧内预测，则可以看出帧内预测所需的最大参考样本区域。

具体而言，参照图9中的(a)，假设帧内预测模式的预测方向是45°角的情况。在当前块901的宽度是W并且其高度是H时，可以使用邻近当前块901的顶部的W个样本和邻近当前块901的右上方的H个样本来生成当前块901的预测样本。

参照图9中的(b)，假设帧内预测模式的预测方向是225°角的情况。在当前块902的宽度为W并且其高度为H时，可以使用邻近当前块902的左侧的H个样本和邻近当前块902的左下方的W个样本来生成当前块902的预测样本。

实施方式2

在帧内预测中，依据帧内预测模式的方向，参考样本的采样值被复制。因此，当预测样本与参考样本之间的距离增加时，与距参考样本的距离未增加的样本相比，预测精度可能劣化。此外，随着预测样本和参考样本之间距离的增加，预测误差可能增加，因此压缩性能可能由于残差信号增加而劣化。

描述了依据在非正方形块中的帧内预测模式的预测方向而发生的问题。

再次参照图9中的(a)，距参考样本的距离根据在相同预测方向上(即，45°角)当前块901内的预测样本(或当前块901的预测块)的位置而不同。

具体地，当前块901的右上方的样本与参考样本之间的距离近。相反，当前块901的右下方的样本与参考样本之间的距离相对远。也就是说，因为使用图9中的(a)所示位于每个箭头的起始点处的参考样本来执行预测，所以当前块901内的各预测样本可以根据其位置而具有不同的预测精度。

此外，随着当前块901的各预测样本与参考样本之间的距离变远，出现预测误差。因此，由于使用经转换的状态的样本来生成预测样本，因此随着距参考样本的距离变远，预测精度可能会劣化。

相反，返回参照图9中的(b)，可以看出，如果在相对于135°角的预测方向(即，例如，HEVC中的18号预测模式)与45°角对称的225°角的预测方向上执行预测，当前块902内的每个预测样本根据与参考样本的距离具有相同的预测误差。

换句话说，与图9中的(a)的45°角的预测方向不同，在当前块902中，具有相同垂直坐标的预测样本根据距参考样本的距离可以具有相同的预测误差，这是因为预测样本具有距参考样本恒定的距离。

此外，因为与45°角的预测方向的情况相比，预测样本和参考样本之间的距离更近，所以预测误差可以相对少发生。

也就是说，如果在具有相同形状的非正方形块中执行帧内预测，则依据帧内预测模式的方向，会发生不同的预测误差。因此，因为帧内预测模式的预测方向可以具有不同的预测性能，所以可以选择具有较小预测误差的预测方向作为帧内预测模式的概率可以更高。

因此，本实施方式提出了一种通过考虑非正方形块而适应性地重新分布(或分布或确定)帧内预测模式的预测方向的方法。

在现有的帧内预测方法中，所有预测方向均匀地(即，具有相同密度)设置。相反，在本实施方式中提出的方法通过在具有较小误差的方向侧设置更多预测方向，能够使预测性能最大化。

图10是可以应用本发明的实施方式，并且是用于例示适应性地确定帧内预测模式的方法的图。

参照图10，图10中的(a)例示了根据现有方法的帧内预测模式的分布方法，而图10中的(b)例示了根据本实施方式中提出的方法的帧内预测模式的分布方法。

参照图10中的(a)，根据现有方法，相对于关于135°角的预测方向对称的方向均匀的预测方向被用作帧内预测模式。

相反，参照图10中的(b)，根据本实施方式中提出的方法，可以在关于135°角的预测方向对称的方向当中、具有当前块的宽度和高度中的更长长度的方向侧上使用更多的预测方向。

换句话说，如果当前块的宽度和高度当中的宽度更大，则在45°角的预测方向和135°角的预测方向之间可以比在135°角的预测方向和225°角的预测方向之间分布更多数量的预测方向。如果当前块的宽度和高度中的高度更大，则可以在135°角的预测方向和225°角的预测方向之间比在45°角的预测方向和135°角的预测方向之间分布更多数量的预测方向。

因此，本实施方式提出了一种根据如QTBT块中一样具有各种宽(水平)高(垂直)比的块结构中的宽度和高度，差异化地分布帧内预测模式的预测方向(即，角度)的方法。

在下文中，基于使用(或应用)现有帧内预测模式而没有任何改变的情况来描述本实施方式，但是本发明不限于此。因此，本实施方式中提出的方法也可以应用于不使用现有帧内预测模式的情况，而无需任何变化。

在下文中，描述了适应性地确定帧内预测模式的各种方法作为示例。

如上所述，如果在非正方形块中执行帧内预测，则当前块内的预测样本与参考样本之间的距离可以根据帧内预测模式的预测方向而不同。此外，随着距参考样本的距离变远，预测误差可能上升并且预测精度可能劣化。

因此，编码器/解码器通过在帧内预测模式的预测方向中去除基于来自当前块的宽高比的帧内预测模式的预测方向中的特定数量的预测方向，能够减少用于在编码/解码过程中表示帧内预测模式的比特。

图11是可以应用本发明的实施方式，并且是例示适应性地确定帧内预测模式的方法的图。

参照在图11中的(a)，假设当前块的宽(或水平)高(或垂直)比为2：1的情况。

在这种情况下，如上所述，根据距参考样本的距离，225°角的预测方向可以比45°角的预测方向具有更高的预测误差。因此，编码器/解码器可以通过从现有的帧内预测模式中去除225°角的预测方向和邻近225°角的预测方向的两个预测方向(即，总共三个预测方向1101)，来重新分布帧内预测模式。

参照图11中的(b)，假设当前块的宽(或水平)高(或垂直)比为1：2的情况。

在这种情况下，如上所述，可能发生45°角的预测方向根据距参考样本的距离而比225°角的预测方向具有更高的预测误差的概率。因此，编码器/解码器可以通过从现有的帧内预测模式去除45°角的预测方向和邻近45°角的预测方向的两个预测方向(即，总共三个预测方向1102)来重新分布帧内预测模式。

在这种情况下，为了便于描述，假设并描述了去除的帧内预测模式的数量是3的情况，但是这仅是一个示例，并且本发明不限于此。

图12是可以应用本发明的实施方式，并且是例示适应性地确定帧内预测模式的方法的图。

参照图12中的(a)，假设当前块的宽(或水平)高(或垂直)比为2：1的情况。

在这种情况下，如上所述，可能发生225°角的预测方向根据距参考样本的距离而比45°角的预测方向具有更高的预测误差的概率。因此，编码器/解码器可以以通过关于225°角的预测方向对预测方向进行子采样或下采样从现有帧内预测模式中顺序地去除三个预测方向的方式，来重新分布帧内预测模式。

换句话说，可以通过关于225°角的预测方向针对每两个预测方向中具有较小角度的每个预测方向去除总共三个预测方向，来重新分布帧内预测模式。

参照图12中的(b)，假设当前块的宽(或水平)高(或垂直)比为1：2的情况。

在这种情况下，如上所述，可能发生45°角的预测方向根据距参考样本的距离而比225°角的预测方向具有更高的预测误差的概率。因此，编码器/解码器可以以通过关于45°角的预测方向对预测方向进行子采样或下采样从现有帧内预测模式中顺序地去除三个预测方向的方式，来重新分布帧内预测模式。

换句话说，编码器/解码器可以通过关于45°角的预测方向针对每两个预测方向具有更大角度的每个预测方向去除总共三个预测方向，来重新分布帧内预测模式。

在这种情况下，为了便于描述，假设并描述了去除的帧内预测模式的数量是3的情况，但是这仅是一个示例，并且本发明不限于此。此外，假设并描述了子采样或下采样比为1/2的情况，但是这仅是一个示例，并且本发明不限于此。

在这种情况下，该比意指在从其中去除预测方向的特定角度范围内在应用子采样或下采样之前的预测方向的分布度(或密度)与在应用子采样或下采样之后的预测方向的分布度(或密度)的比率。

为了通过图11和图12中描述的从帧内预测模式的预测方向中去除特定数量的预测方向的方法来减少表示预测方向的比特，在HEVC中的33种方向的基础上，必须去除总共16个方向。通过图11和图12中描述的方法去除的预测方向可以被放置在不能由现有预测方向表示的方向，因为如上所述，去除16个方向可能降低编码效率。

也就是说，通过细分和表示与所去除的方向的数量相对应的特定角度范围的预测方向，能够保持用于帧内预测模式的编码的比特，能够表示在传统技术中不能表示的详细方向，因此能够改善预测性能。

图13至图15是可以应用本发明的实施方式，并且是例示适应性地确定帧内预测模式的方法的图。

在下文中，在图13至图15中，为了便于描述，假设子采样或下采样比为1/2的情况，但是这仅是一个示例，并且本发明不限于此。也就是说，可以以任何比率执行子采样或下采样比。

此外，在图13至图15中，为了便于描述，假设通过图12中描述的方法去除两个预测模式的情况，但这仅是一个示例，并且本发明不限于此。通过图12中描述的方法可以去除预测模式并且可以去除两个或更少预测模式、或者两个或更多个预测模式。

参照图13中的(a)，如果当前块的宽度和高度比是2：1并且已经从帧内预测模式的预测方向中去除了两个预测方向，则编码器/解码器可以将两个预测方向中的一个预测方向1301放置在邻近垂直模式的左侧的两个预测方向之间，并且可以将另一个预测方向1302放置在邻近垂直模式的右侧的两个预测方向之间。

通过去除具有相对高的预测误差概率的预测方向并且添加不能由现有帧内预测模式的预测方向表示的预测方向，能够提高预测精度。

同样地，参照图13中的(b)，如果当前块的宽高比是1：2并且从帧内预测模式的预测方向中已经去除两个预测方向，则编码器/解码器可以将两个预测方向中的一个预测方向1303放置在邻近水平模式的上部的两个预测方向之间，并且可以将另一个预测方向1304放置在邻近水平模式的下部的两个预测方向之间。

尽管未在图13中示出，编码器/解码器可以通过在水平模式或垂直模式的预测方向与最接近每个预测方向的预测方向之间设置两个去除的预测方向，来分布预测模式。

参照图14中的(a)，如果当前块的宽高比是2：1并且在帧内预测模式的预测方向中已经去除两个预测方向，则编码器/解码器可以将两个预测方向中的一个预测方向1401放置在邻近水平模式的上部的两个预测方向之间，并且可以将另一个预测方向1402放置在邻近水平模式的下部的两个预测方向之间。

如上所述，通过去除具有相对高概率的预测误差的预测方向并且添加不能由现有帧内预测模式的预测方向表示的预测方向，能够提高预测精度。

同样地，参照图14中的(b)，如果当前块的宽高比是1：2并且在帧内预测模式的预测方向中已经去除两个预测方向，则编码器/解码器可以将两个预测方向中的一个预测方向1403放置在邻近垂直模式的左侧的两个预测方向之间，并且可以将另一个预测方向1404放置在邻近垂直模式的右侧的两个预测方向之间。

尽管未在图14中示出，可以通过在水平模式或垂直模式的预测方向与最接近每个预测方向的预测方向之间设置两个预测方向来分布预测模式。

参照图15中的(a)，如果当前块的宽高比是2：1并且以及从帧内预测模式的预测方向中去除两个预测方向，则编码器/解码器可以在45°或更小的角度的预测方向上设置两个预测方向1501。

通过去除具有相对高概率的预测误差的预测方向并且添加不能由现有帧内预测模式的预测方向表示的预测方向，能够提高预测精度。

如果如上所述地使用45°或更小的角度的预测方向，则可以用于预测的参考样本的范围可以是不同的。也就是说，在当前块(即，非正方形块)的宽度是W并且其高度是H时，依据预测方向的角度，可以使用比作为邻近当前块的右上方的采样的H个样本(参照图8中的(b))更大数量的样本来配置(或填充)参考样本。

同样地，参照图15中的(b)，如果当前块的宽高比是1：2并且在帧内预测模式的预测方向中已经去除两个预测方向，则编码器/解码器可以在225°或更大的角度的预测方向上设置两个预测方向1502。

如果如上所述使用225°或更大的角度的预测方向，则可以用于预测的参考样本的范围可以不同。也就是说，在当前块(即，非正方形块)的宽度是W并且高度是H时，依据预测方向的角度，可以使用比作为邻近当前块的左下方的采样的W个样本(参照图8中的(b))更大数量的样本来配置(或填充)参考样本。

以及在假设当前块的宽高比是2：1或1：2的情况下描述了适应性地分布帧内预测模式的方法。除了上述比率之外，本说明书中提出的发明可以等同地应用于其它情况。参照以下附图对此进行描述。

图16和图17是可以应用本发明的实施方式，并且是例示适应性地确定帧内预测模式的方法的图。

在图16和图17中，假设当前块的宽高比为N：M或M：N的情况(在这种情况下，N>M)。如上所述，在QTBT块结构中，可以确定具有各种宽高比的块。因此，本实施方式中提出的方法可以应用于可以以这种块结构确定的所有形状的非正方形块。

在下文中，在图16和图17中，为了便于描述，假设子采样或下采样比为1/2的情况，但是这仅是一个示例，并且本发明不限于此。也就是说，可以以任何比率来执行子采样或下采样比。

此外，在图16和图17中，为了便于描述，假设使用图12中描述的方法去除两个预测模式的情况，但这仅是一个示例，并且本发明不限于此。可以使用图11中描述的方法来去除预测模式，并且可以去除两个或更少个预测模式，或者两个或更多个预测模式。

参照图16中的(a)，如果当前块的宽度和高度比是N：M并且在帧内预测模式的预测方向中已经去除两个预测方向，则编码器/解码器可以将两个预测方向中的一个预测方向1601放置在邻近垂直模式的左侧的两个预测方向之间，并且可以将另一个预测方向1602放置在邻近垂直模式的右侧的两个预测方向之间。

通过去除具有相对高概率的预测误差的预测方向并且添加不能由现有帧内预测模式的预测方向表示的预测方向，能够提高预测精度。

同样地，参照图16中的(b)，如果当前块的宽高比是M：N并且在帧内预测模式的预测方向中已经去除两个预测方向，则编码器/解码器可以将两个预测方向中的一个预测方向1603放置在邻近水平模式的上部的两个预测方向之间，并且可以将另一个预测方向1604放置在邻近水平模式的下部的两个预测方向之间。

尽管未在图16中示出，可以通过在水平模式或垂直模式的预测方向与最接近每个预测方向的预测方向之间设置两个去除的预测方向来分布预测模式。

参照图17中的(a)，如果当前块的宽度和高度比是N：M并且在帧内预测模式的预测方向中已经去除了两个预测方向，则编码器/解码器可以将两个预测方向中的一个预测方向1701放置在水平模式的上部附近的两个预测方向之间，并且可以将另一个预测方向1702放置在与水平模式的下部相邻的两个预测方向之间。

如上所述，通过去除具有相对较高的预测误差概率的预测方向并且添加不能由现有帧内预测模式的预测方向表示的预测方向，可以提高预测精度。

同样地，参照图17中的(b)，如果当前块的宽度和高度比是M：N并且在帧内预测模式的预测方向中已经去除了两个预测方向，则编码器/解码器可以将两个预测方向中的一个预测方向1703放置在垂直模式的左侧附近的两个预测方向之间，并且可以将另一个预测方向1704放置在与垂直模式的右侧相邻的两个预测方向之间。

尽管未在图17中示出，编码器/解码器可以通过在水平模式或垂直模式的预测方向与最接近每个预测方向的预测方向之间设置两个去除的预测方向来分布预测模式。

实施方式3

本实施方式提出了一种通过考虑非正方形块在不添加单独语法的情况下基于帧内预测模式的方向和块的形状来分割变换单元的方法。

在下文中，在本发明的描述中，为了便于描述，将执行变换的单元表示为变换单元(TU)，但是本发明不限于此。也就是说，执行残差信号的变换的基本单位可以被称为除TU单元之外的不同名称。

如实施方式2中所述，如果在非正方形块中执行预测，则预测误差可以根据帧内预测模式的预测方向而不同。

当考虑这样的问题时，在诸如QTBT的与TU和PU无关的相同块结构中执行预测、变换、量化等的编码结构的编码效率不可避免地降低。

因此，本发明提出了TU的分割方法，以便解决在非正方形块中发生的上述问题。此外，本发明提出了一种通过在不添加单独语法的情况下确定TU的分割并执行帧内预测模式来提高编码效率的方法。

在QTBT结构中，CU、PU和TU未被分类，但是在本实施方式中提出的方法中，使用非正方形块的宽度(或水平)和高度(或垂直)的差异来分割TU。

如果在非正方形块中执行帧内预测，则编码器/解码器可以通过考虑帧内预测模式的方向来适应性地确定TU的分割。

图18是例示根据本发明的实施方式的变换单元的分割方法的图。

在图18中，假设当前块是非正方形块当中的高度比宽度长的块。

参照图18中的(a)，如果不存在TU的分割，则位于当前块的中心右侧的样本1801参考基于图18中的(a)所示的帧内预测模式确定的第一参考样本1802。此外，位于当前块的右下方的样本1803参考基于帧内预测模式确定的第二参考样本1804。

位于非正方形的当前块的右下方的样本1803与第二参考样本1804之间的距离远于位于中心右侧的样本1801与第二参考样本1804之间的距离。在这种情况下，如上所述，预测误差增加，并且预测精度可能劣化。因此，编码器/解码器可以通过把这样问题考虑进来，适应性地执行TU的分割。

图18中的(b)例示了当前块(即，非正方形块)被分割成两个正方形TU的情况。

也就是说，编码器/解码器可以基于帧内预测模式的方向将当前块分割成正方形TU，以解决图18中的(a)的问题。

顶部TU 1805内的右下方样本1807参考第一参考样本1808。在这种情况下，距参考样本1808的距离与图18中的(a)的情况相同。

相反，可以看出底部TU 1806内的右下方样本1809参考第二参考样本1810，因此与图18中的(a)的情况(即，当不存在TU的分割时)相比，右下方的样本1809和参考样本1810之间的距离减小。

此外，可以在帧内预测模式中分割的TU单元中执行实际预测和重新配置。

图19是例示根据本发明的实施方式的变换单元的分割方法的图。

位于当前块的中心右侧的样本1901参考基于图19中所示的帧内预测模式确定的第一参考样本1902。此外，位于当前块的右下方的样本1903参考基于帧内预测模式确定的第二参考样本1904。

在这种情况下，因为依据帧内预测模式的方向，在当前块内具有相同垂直坐标的预测样本之间距参考样本的距离相同，所以预测误差是相同的并且不会发生上述问题。因此，在这种情况下，通过执行变换、量化等而不执行TU的分割，能够获得增益变换性能。

也就是说，因为通过在非正方形块中基于帧内预测模式的预测方向适应性地执行TU的分割，减小预测样本和参考样本之间的距离，所以能够降低预测误差并且能够提高预测精度。

具体地，参照以下附图描述是否执行TU的分割的确定方法。

在下文中，为了便于描述，非正方形块当中的宽度大于高度的块被称为宽块，而非正方形块当中的高度大于宽度的块被称为窄块。

图20是例示根据本发明的实施方式的变换单元的分割方法的图。

图20中的(a)示出了在宽块的情况下帧内预测模式的预测方向的角度在180°和225°之间的情况。在这种情况下，通过执行TU的分割能够减小预测样本和参考样本之间的距离。

也就是说，当帧内预测模式的预测方向的角度在180°和225°之间时，编码器/解码器执行TU的分割。在这种情况下，TU可以分割成正方形块。也就是说，编码器/解码器将TU分割成各自具有当前块的高度作为一条边的长度的正方形块。

图20中的(b)示出了在窄块的情况下帧内预测模式的预测方向的角度在45°和90°之间的情况。在这种情况下，通过执行TU的分割能够减小预测样本和参考样本之间的距离。

也就是说，当帧内预测模式的预测方向的角度在45°和90°之间时，编码器/解码器执行TU的分割。在这种情况下，TU可以分成正方形块。也就是说，编码器/解码器将TU分割成各自具有当前块的宽度作为一条边的长度的正方形块。

图21是例示根据本发明的实施方式的变换单元的分割方法的图。

图21中的(a)示出了在宽块的情况下帧内预测模式的预测方向的角度在45°和180°之间的情况。

当帧内预测模式的预测方向的角度在45°和180°之间时，编码器/解码器可以不执行TU的分割。

图21中的(b)示出了在窄块的情况下帧内预测模式的预测方向的角度在90°和225°之间的情况。

当帧内预测模式的预测方向的角度在90°和225°之间时，编码器/解码器可以不执行TU的分割。

也就是说，如果根据距参考样本的距离的预测误差对应于恒定帧内预测模式，则编码器/解码器可以不执行TU的分割。

图22是例示根据本发明的实施方式的变换单元的分割方法的流程图。

编码器/解码器确定对其执行帧内预测的当前块是否是非正方形块(S2201)。

如果作为步骤S2201的确定结果，当前块是非正方形块，则编码器/解码器确定当前块的宽度是否大于其高度(S2202)。

如果作为步骤S2202的确定结果，当前块的宽度大于高度，则编码器/解码器确定帧内预测模式的角度是否大于180°(S2203)。

如果作为步骤S2203的确定结果，帧内预测模式的预测模式的角度大于180°，则编码器/解码器以分割后的TU为单位重构帧内预测块(S2205、S2206)。

也就是说，当帧内预测模式的预测模式的角度大于180°时，编码器/解码器对当前块执行TU的分割，并且以分割后的TU为单位重构帧内预测块。

如果作为步骤S2202的确定结果，当前块的宽度小于其高度，则编码器/解码器确定帧内预测模式的角度是否小于90°(S2204)。

如果作为步骤S2204的确定结果，帧内预测模式的预测模式的角度小于90°，则编码器/解码器以分割后的TU为单位重构帧内预测块(S2205、S2206)。

如果作为步骤S2201的确定结果，当前块不是非正方形块，如果作为步骤S2203的确定结果，帧内预测模式的预测模式的角度不大于180°，或者如果作为步骤S2204的确定结果，帧内预测模式的预测模式的角度不小于90°，则编码器/解码器重构当前块(S2207)。

也就是说，在这种情况下，编码器/解码器重构当前块，而不执行TU的分割。

实施方式4

本实施方式提出了一种通过考虑非正方形块来分割变换单元而不添加单独语法的方法。

具体地，提出了一种通过考虑非正方形块的宽高比来执行TU分割的方法。可以基于当前块的宽度和高度批量执行TU的分割，而不考虑帧内预测方向。

与实施方式3中提出的TU的适应性分割方法相比，本实施方式中提出的方法具有计算复杂度小的优点。

图23是例示根据本发明的实施方式的变换单元的分割方法的图。

图23中的(a)示出了在当前块的宽度(或水平度)是W并且其高度(或垂直度)是H时，宽高比是1：2的情况。在这种情况下，编码器/解码器可以将当前块分割成各自具有W×W尺寸的两个TU。

图23中的(b)示出了在当前块的宽度(或水平度)是W并且高度(或垂直度)是H时，宽高比是1：4的情况。在这种情况下，编码器/解码器可以将当前块分割成各自具有W×W尺寸的四个TU。

也就是说，在现有的QTBT块结构中，PU和TU不被分类。相反，根据本实施方式中提出的方法，TU的分割可以在非正方形块中批量执行。

通过如图18所描述的对非正方形块执行TU分割，能够基于帧内预测模式的预测方向来减小预测样本和参考样本之间的距离。因此，能够减少预测误差，并且能够提高预测精度。

此外，如实施方式3中一样，编码器/解码器基于分割后的TU执行编码/解码。换句话说，使用以分割后的TU为单位的实际参考样本，可以执行预测并且可以执行重新配置(即，重构)。

图24是例示根据本发明的实施方式的帧内预测方法的图。

如果当前块是非正方形块，则编码器/解码器基于当前块的宽度和高度信息，来配置要用于当前块的预测的参考样本(S2401)。

如图8中所描述的，在当前块的尺寸是N×M时，编码器/解码器可以使用邻近当前块的左上方的一个样本、邻近当前块的左侧的M个样本、邻近当前块的左下方的N个样本、邻近当前块的顶部的N个样本、以及邻近当前块的右上方的M个样本，来配置要用于当前块的预测的参考样本。

此外，如上所述，如果当前块的一些周围的样本尚未被解码或不可用，则编码器/解码器可以通过用可用样本替代不可用样本，来配置要用于预测的参考样本。

此外，在填充参考样本之后，编码器/解码器可以使用图5中描述的方法执行对参考样本的滤波。

编码器/解码器推导出当前块的帧内预测模式(S2402)。

编码器/解码器可以使用图5中描述的方法来推导当前块的帧内预测模式。

此外，编码器/解码器可以基于当前块的宽度和高度信息适应性地确定将要应用于当前块的多个帧内预测模式。在这种情况下，可以从多个确定的帧内预测模式当中推导出当前块的帧内预测模式。也就是说，当前块的帧内预测模式可以确定为多个确定的帧内预测模式之一。

如上所述，编码器/解码器可以基于当前块的宽高比来差异化地分布帧内预测模式候选的预测方向。

换句话说，可以基于当前块的宽高比，将可应用于当前块的多个帧内预测模式确定为具有差异化地分布的预测方向的帧内预测模式。

此外，如上所述，在当前块的宽度和高度中宽度较大时，编码器/解码器可以在45°角的预测方向和135°角的预测方向之间比在135°角的预测方向和225°角的预测方向之间分布更大数量的预测方向。

此外，在当前块的宽度和高度中高度较大时，编码器/解码器可以在135°角的预测方向和225°角的预测方向之间比在45°角的预测方向和135°角的预测方向之间分布更大数量的预测方向。

此外，如上所述，编码器/解码器通过在帧内预测模式的预测方向当中去除来自基于当前块的宽高比的帧内预测模式的预测方向中的特定数量的预测方向，能够减少在编码/解码过程中表示帧内预测模式的比特。

此外，如上所述，编码器/解码器以通过基于当前块的宽高比在帧内预测模式候选的预测方向中对特定角度范围的预测方向进行子采样来去除预测方向的方式，重新分布帧内预测模式。

此外，如上所述，编码器/解码器可以将去除的预测方向设置为不能由现有预测方向表示的方向。

具体地，可以基于当前块的宽高比来去除帧内预测模式候选的预测方向中的多个预测方向，并且可以向包括垂直模式或水平模式的特定角度范围添加与所去除的预测方向的数量对应的预测方向。

此外，可以基于当前块的宽高比来去除帧内预测模式候选的预测方向中的多个预测方向，并且可以在邻近垂直模式或水平模式的多个预测方向之间添加与所去除的预测方向的数量对应的预测方向。

编码器/解码器基于当前块的帧内预测模式使用参考样本生成当前块的预测样本(S2403)。

此外，如果在非正方形块中执行帧内预测，则编码器/解码器可以通过考虑帧内预测模式的方向来适应性地确定变换单元的分割。

例如，编码器/解码器可以基于当前块的宽高比确定是否将当前块分割成多个正方形子块。此外，在这种情况下，子块可以与当前块的残差信号进行变换的变换单位相同。如果当前块未被分割成多个正方形子块，则编码器/解码器可以以当前块为单位生成当前块的预测样本。如果当前块被分割成多个正方形子块，则编码器/解码器可以以子块为单位生成当前块的预测样本。

此外，例如，在当前块的宽度和高度当中的宽度更大并且当前块的帧内预测模式的角度大于180°时，编码器/解码器可以将当前块分割成多个正方形子块。在这种情况下，子块可以与当前块的残差信号进行变换的变换单位相同。此外，可以基于当前块的帧内预测模式使用参考样本以子块为单位生成当前块的预测样本。

此外，例如，在当前块的宽度和高度当中的高度更大并且当前块的帧内预测模式的角度小于90°时，编码器/解码器可以将当前块分割成多个正方形子块。在这种情况下，子块可以与当前块的残差信号进行变换的变换单位相同。此外，可以基于当前块的帧内预测模式使用参考样本以子块为单位生成当前块的预测样本。

此外，例如，编码器/解码器可以将当前块分割成多个正方形子块。在这种情况下，子块可以与当前块的残差信号进行变换的变换单位相同。此外，可以基于当前块的帧内预测模式使用参考样本以子块为单位生成当前块的预测样本。

图25是例示根据本发明的实施方式的帧内预测单元的图。

在图25中，为了便于描述，帧内预测单元已经被例示为单个块，但是帧内预测单元可以被实现为包括在编码器和/或解码器中的元件。

参照图25，帧内预测单元实现图5至图24中提出的功能、过程和/或方法。具体地，帧内预测单元可以包括参考样本配置单元2501、预测模式推导单元2502和预测样本生成单元2503。

如果当前块是非正方形块，则参考样本配置单元2501基于当前块的宽度和高度信息来配置要用于当前块的预测的参考样本。

如图8中所描述的，如果当前块的尺寸是N×M，则参考样本配置单元2501可以使用邻近当前块的左上方的一个样本、邻近当前块的左侧的M个样本、邻近当前块的左下方的N个样本、邻近当前块的顶部的N个样本、以及邻近当前块的右上方的M个样本，来配置要用于当前块的预测的参考样本。

此外，如上所述，如果当前块的一些周围的样本尚未被解码或不可用，则参考样本配置单元2501可以通过用可用样本替代不可用样本，来配置要用于预测的参考样本。

此外，在填充参考样本之后，参考样本配置单元2501可以使用图5中描述的方法来执行对参考样本的滤波。

预测模式推导单元2502推导当前块的帧内预测模式。

如上所述，预测模式推导单元2502可以基于当前块的宽高比来差异化地分布帧内预测模式候选的预测方向。

预测模式推导单元2502可以使用图5中描述的方法来推导当前块的帧内预测模式。

此外，预测模式推导单元2502可以基于当前块的宽度和高度信息，适应性地确定要应用于当前块的多个帧内预测模式。在这种情况下，可以从多个确定的帧内预测模式当中推导出当前块的帧内预测模式。也就是说，可以将当前块的帧内预测模式确定为多个确定的帧内预测模式中的一个帧内预测模式。

此外，如上所述，在当前块的宽度和高度当中的宽度更大时，预测模式推导单元2502可以在45°角的预测方向和135°角的预测方向之间比135°角的预测方向和225°角的预测方向之间分布更大数量的预测方向。

此外，在当前块的宽度和高度当中的高度更大时，预测模式推导单元2502可以在135°角的预测方向和225°角的预测方向之间比在45°角的预测方向和135°角的预测方向之间分布更大数量的预测方向。

此外，如上所述，预测模式推导单元2502通过在帧内预测模式的预测方向当中去除来自基于当前块的宽高比的帧内预测模式的预测方向中的特定数量的预测方向，能够减少在编码/解码过程中表示帧内预测模式的比特。

此外，如上所述，预测模式推导单元2502可以以通过基于当前块的宽高比在帧内预测模式候选的预测方向中对特定角度范围的预测方向进行子采样来去除预测方向的方式，来重新分布帧内预测模式。

此外，如上所述，预测模式推导单元2502可以将去除的预测方向放置为不能由现有预测方向表示的方向。

具体地，预测模式推导单元2502可以基于当前块的宽高比来去除帧内预测模式候选的预测方向当中的多个预测方向，并且可以向包括垂直模式或水平模式的特定角度范围添加与所去除的预测方向的数量相对应的预测方向。

此外，预测模式推导单元2502可以基于当前块的宽高比来去除帧内预测模式候选的预测方向中的多个预测方向，并且可以在邻近垂直模式或水平模式的多个预测方向之间添加与所去除的预测方向的数量相对应的预测方向。

预测样本生成单元2503基于当前块的帧内预测模式，使用参考样本生成当前块的预测样本。

此外，如上所述，如果在非正方形块中执行帧内预测，则编码器/解码器可以通过考虑帧内预测模式的方向来适应性地确定变换单元的分割。

在前述实施方案中，本发明的元件和特征已经以特定形式组合。除非另有明确说明，否则每个元件或特征可以认为是可选的。每个元件或特征可以以不与另一元件或特征组合的形式实现。此外，一些元件和/或特征可以组合以形成本发明的实施方式。结合本发明的实施方式描述的操作的顺序可以改变。实施方式的一些元件或特征可以包括在另一实施方式中，或者可以用另一实施方式的相应元件或特征代替。显然，可以通过组合权利要求书中没有明确引用关系的权利要求来构造实施方式，或者可以在提交申请之后通过修改将实施方式包括进来作为新的权利要求。

本发明的实施方式可以通过各种手段来实现，例如，硬件、固件、软件或它们的组合。在通过硬件实现的情况下，可以使用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器和/或微处理器来实现本发明的实施方式。

在通过固件或软件实现的情况下，本发明的实施方式可以以用于执行上述功能或操作的模块、过程或功能的形式实现。软件代码可以存储在存储器中并由处理器驱动。存储器可以位于处理器内部或外部，并且可以通过各种已知手段与处理器交换数据。

显然，对于本领域技术人员来说，在不脱离本发明的基本特征的情况下，本发明可以以其它特定形式实现。因此，详细描述不应被解释为对所有方面的限制，而应被解释为示例性的。本发明的范围应通过对所附权利要求的合理分析来确定，并且在本发明的等同范围内的所有变型都包括在本发明的范围内。

工业实用性

如上所述，已经出于示例性目的公开了本发明的优选实施方式，并且在不脱离所附权利要求中公开的本发明的技术精神和范围的情况下，本领域技术人员可以改进、改变、替代或添加各种其它实施方式。

Claims (12)

1.一种用于解码视频信号的装置，所述装置包括：

存储器，所述存储器用于存储所述视频信号；以及

处理器，所述处理器联接到所述存储器，

其中，所述处理器被配置为：

推导当前块的帧内预测模式；

基于所述当前块的宽度和高度信息来配置要用于所述当前块的预测的参考样本；并且

基于所述当前块的所述帧内预测模式，使用所述参考样本生成所述当前块的预测样本，

其中，在所述当前块是非正方形块时，从能应用于所述当前块的多个帧内预测模式中去除覆盖基于所述当前块的所述宽度和高度信息确定的第一角度范围的一个或更多个第一帧内预测模式，并且覆盖不同于所述第一角度范围的第二角度范围的一个或更多个第二帧内预测模式被添加到能应用于所述当前块的所述多个帧内预测模式。

2.根据权利要求1所述的装置，

其中，当所述当前块的宽度为N且所述当前块的高度为M时，所述参考样本配置有与所述当前块的左上方相邻的一个样本、与所述当前块的左侧相邻的M个样本、与所述当前块的左下方相邻的N个样本、与所述当前块的顶部相邻的N个样本、以及与所述当前块的右上方相邻的M个样本。

3.根据权利要求1所述的装置，

其中，能应用于所述当前块的所述多个帧内预测模式被确定为其中基于所述当前块的所述宽度和高度信息的比率来差异化地分布预测方向的帧内预测模式。

4.根据权利要求1所述的装置，

其中，当所述当前块的宽度和高度当中的所述宽度更大时，能应用于所述当前块的所述多个帧内预测模式被确定为以下帧内预测模式：其中相比于在135°角的预测方向和225°角的预测方向之间，在45°角的预测方向和135°角的预测方向之间分布有更大数量的预测方向的。

5.根据权利要求1所述的装置，

其中，当所述当前块的宽度和高度当中的所述高度更大时，能应用于所述当前块的所述多个帧内预测模式被确定为以下帧内预测模式：其中相比于在45°角的预测方向和135°角的预测方向之间，在135°角的预测方向和225°角的预测方向之间分布有更大数量的预测方向。

6.根据权利要求1所述的装置，

其中，所述第一帧内预测模式的数量与所述第二帧内预测模式的数量相同。

7.根据权利要求1所述的装置，其中，所述处理器还被配置为：

基于所述当前块的所述宽度和高度信息的比率，确定是否将所述当前块分割成多个正方形子块，

其中，如果所述当前块未被分割成多个正方形子块，则以当前块为单位生成所述当前块的所述预测样本，

其中，如果所述当前块被分割成多个正方形子块，则以子块为单位生成所述当前块的所述预测样本，并且

其中，所述子块与所述当前块的残差信号进行变换的变换单位相同。

8.根据权利要求1所述的装置，其中，所述处理器还被配置为：

当所述当前块的宽度和高度当中的所述宽度更大并且所述当前块的所述帧内预测模式的角度大于180°时，将所述当前块分割成多个正方形子块，

其中，基于所述当前块的所述帧内预测模式，使用所述参考样本以所述子块为单位生成所述当前块的所述预测样本，并且

其中，所述子块与所述当前块的残差信号进行变换的变换单位相同。

9.根据权利要求1所述的装置，其中，所述处理器还被配置为：

当所述当前块的宽度和高度当中的所述高度更大并且所述当前块的所述帧内预测模式的角度小于90°时，将所述当前块分割成多个正方形子块，

其中，基于所述当前块的所述帧内预测模式，使用所述参考样本以所述子块为单位生成所述当前块的预测样本，并且

其中，所述子块与所述当前块的残差信号进行变换的变换单位相同。

10.根据权利要求1所述的装置，其中，所述处理器还被配置为：

将所述当前块分割成多个正方形子块，

其中，基于所述当前块的所述帧内预测模式，使用所述参考样本以所述子块为单位生成所述当前块的所述预测样本，并且

其中，所述子块与所述当前块的残差信号进行变换的变换单位相同。

11.一种用于编码视频信号的装置，所述装置包括：

存储器，所述存储器用于存储所述视频信号；以及

处理器，所述处理器联接到所述存储器，

其中，所述处理器被配置为：

推导当前块的帧内预测模式；

基于所述当前块的宽度和高度来生成参考样本；并且

基于所述当前块的所述帧内预测模式使用所述参考样本来生成所述当前块的预测样本，

其中，在所述当前块是非正方形块时，从能应用于所述当前块的多个帧内预测模式中去除覆盖基于所述当前块的宽度和高度信息确定的第一角度范围的一个或更多个第一帧内预测模式，并且覆盖不同于所述第一角度范围的第二角度范围的一个或更多个第二帧内预测模式被添加到能应用于所述当前块的所述多个帧内预测模式。

12.一种发送用于图像的数据的装置，所述装置包括：

处理器，所述处理器被配置为获得用于所述图像的比特流；以及

发送器，所述发送器被配置为发送包括所述比特流的所述数据，

其中，所述处理器被配置为：

获得用于所述图像的所述比特流；并且

发送包括所述比特流的所述数据，

其中，对于获得所述比特流，所述处理器被配置为：

推导当前块的帧内预测模式；

基于所述当前块的宽度和高度来生成参考样本；以及

基于所述当前块的所述帧内预测模式使用所述参考样本来生成所述当前块的预测样本，

其中，在所述当前块是非正方形块时，从能应用于所述当前块的多个帧内预测模式中去除覆盖基于所述当前块的宽度和高度信息确定的第一角度范围的一个或更多个第一帧内预测模式，并且覆盖不同于所述第一角度范围的第二角度范围的一个或更多个第二帧内预测模式被添加到能应用于所述当前块的所述多个帧内预测模式。