CN118158404A - 图像编码/解码方法、记录介质和传输比特流的方法 - Google Patents

Abstract

公开了一种图像编码/解码方法、记录介质和传输比特流的方法。图像解码方法包括：得出当前块的多个控制点矢量；基于多个控制点矢量得出当前块的运动矢量；通过基于当前块的运动矢量执行帧间预测来生成当前块的预测块；获得当前块的变换系数；通过对变换系数进行逆变换来生成残差块；以及基于预测块和残差块重建当前块。

Description

图像编码/解码方法、记录介质和传输比特流的方法

本申请是申请号为201980031234.3，申请日为2019年3月25日，发明名称为“图像编码/解码方法和装置”的申请的分案申请。

技术领域

本发明涉及视频编码/解码方法和装置。

背景技术

最近，在各种应用领域中对诸如高清(HD)图像和超高清(UHD)图像的高分辨率和高质量图像的需求正在增加，因此，正在讨论高效图像压缩技术。

存在各种技术：例如，使用视频压缩技术根据在当前图片之前或之后的图片来预测在当前图片中包括的像素值的帧间预测技术；通过使用当前图片中的像素信息来预测在当前图片中包括的像素值的帧内预测技术；将短代码分配给具有高出现频率的值以及将长代码分配给具有低出现频率的值的熵编码技术。可以通过使用这样的图像压缩技术来有效地压缩图像数据，并且可以发送或存储图像数据。

发明内容

技术问题

用于解决以上问题的本发明的目的是提供用于基于参考像素的可用性来执行帧内预测的图像编码/解码方法和装置。

本发明的目的是提供帧间预测方法和装置。

本发明的目的是提供用于以子块为单位进行运动补偿的方法和装置。

本发明的目的是提供用于确定仿射候选的方法和装置。

技术解决方案

为了实现上述目的，根据本发明的实施方式的一种执行帧内预测的方法可以包括以下步骤：检查被指定用于获得相关性信息的参考像素区域；基于对参考像素的可用性的确定，来确定参考像素处理设置；以及根据所确定的参考像素处理设置来执行帧内预测。

根据本发明的图像编码/解码方法和装置可以：生成用于预测当前块的运动信息的候选列表；基于候选列表和候选索引来获得当前块的控制点矢量；基于当前块的控制点矢量来获得当前块的运动矢量；以及使用该运动矢量对当前块执行帧间预测。

在根据本发明的图像编码/解码装置中，候选列表可以包括多个仿射候选。

在根据本发明的图像编码/解码装置中，仿射候选可以包括空间候选、时间候选或构造候选中的至少一个。

在根据本发明的图像编码/解码装置中，可以以当前块的子块为单位获得当前块的运动矢量。

在根据本发明的图像编码/解码装置中，可以基于当前块的边界是否位于编码树块的边界(CTU边界)上来确定空间候选。

在根据本发明的图像编码/解码装置中，可以基于与当前块的拐角对应的控制点矢量中的至少两个控制点矢量的组合来确定构造候选。

有益效果

如上所述，可以通过使用本发明的基于参考像素的可用性来执行帧内预测的方法来提高编码性能。

根据本发明，可以通过基于仿射模型的帧间预测来提高图像的编码/解码性能。

根据本发明，可以通过以子块为单位的帧间预测来提高预测准确度。

根据本发明，可以通过高效的仿射候选确定来提高帧间预测的编码/解码效率。

附图说明

图1是根据本发明的实施方式的图像编码和解码系统的概念图。

图2是根据本发明的实施方式的图像编码装置的框图。

图3是根据本发明的实施方式的图像解码装置的框图。

图4是示出根据本发明的实施方式的帧内预测模式的示例性图。

图5是示出根据本发明的实施方式的用于定向模式和非定向模式的帧内预测的概念图。

图6是示出根据本发明的实施方式的关于颜色复制模式的帧内预测的概念图。

图7是示出根据本发明的实施方式的与颜色复制模式有关的每个颜色空间的对应块和与该对应块相邻的区域的示例性图。

图8是根据本发明的实施方式的设置用于在颜色复制模式下获得相关性信息的区域的示例性图。

图9是用于说明根据本发明的实施方式的用于帧内预测的参考像素配置的示例性图。

图10是示出根据本发明的实施方式的与用于帧内预测的目标块相邻的块的概念图。

图11是用于说明根据本发明的实施方式的在颜色复制模式下的参考像素的可用性的示例性图。

图12是用于说明根据本发明的实施方式的在颜色复制模式下的参考像素的可用性的示例性图。

图13是用于说明根据本发明的实施方式的在颜色复制模式下的参考像素的可用性的示例性图。

图14是示出根据本发明的实施方式的颜色复制模式的帧内预测方法的流程图。

图15是用于说明根据本发明的实施方式的在颜色复制模式下的预测的示例性图。

图16是用于说明根据本发明的实施方式的在颜色复制模式下的预测的示例性图。

图17是用于说明根据本发明的实施方式的在颜色复制模式下的预测的示例性图。

图18是根据本发明的实施方式的在颜色复制模式下执行校正的过程的流程图。

图19是用于说明根据本发明的示例性实施方式的应用于校正目标像素的滤波器类型的示例性图。

图20是用于说明根据本发明的实施方式的应用于校正目标像素的滤波器类型的示例性图。

图21示出了根据应用本发明的实施方式的帧间预测方法。

图22是应用本发明的实施方式并且涉及从空间/时间相邻块得出仿射候选的方法。

图23示出了在应用本发明的实施方式中基于空间/时间相邻块的运动矢量的组合来得出构造的候选的方法。

具体实施方式

根据本发明的图像编码/解码方法和装置可以包括以下步骤：检查被指定用于获得相关性信息的参考像素区域；基于对参考像素的可用性的确定，来确定参考像素处理设置；以及根据所确定的参考像素处理设置来执行帧内预测。

根据本发明的图像编码/解码方法和装置可以：生成用于预测当前块的运动信息的候选列表；基于候选列表和候选索引获得当前块的控制点矢量；基于当前块的控制点矢量来得出当前块的运动矢量；以及使用该运动矢量对当前块执行帧间预测。

在根据本发明的图像编码/解码装置中，候选列表可以包括多个仿射候选。

在根据本发明的图像编码/解码装置中，仿射候选可以包括空间候选、时间候选或构造候选中的至少一个。

在根据本发明的图像编码/解码装置中，可以以当前块的子块为单位获得当前块的运动矢量。

在根据本发明的图像编码/解码装置中，可以基于当前块的边界是否位于编码树块的边界(CTU边界)上来确定空间候选。

在根据本发明的图像编码/解码装置中，可以基于与当前块的拐角对应的控制点矢量中的至少两个控制点矢量的组合来确定构造候选。

本发明的实施方式

本发明可以应用于各种改变并且可以具有各种实施方式，并且将在附图中示出并且详细描述特定的实施方式。然而，这并不旨在将本发明限制为特定的实施方式，而是应被理解为包括本发明的构思和技术范围中包括的所有修改、等同物和替代物。

可以使用诸如第一、第二、A和B的术语来描述各种部件，但是这些部件不应受这些术语的限制。这些术语仅用于将一个部件与其他部件进行区分的目的。例如，在不脱离本发明的范围的情况下，第一部件可以被称为第二部件，并且类似地，第二部件可以被称为第一部件。术语“和/或”包括多个相关描述项的组合或者多个相关描述项中的任何一个。

当元件被称为“链接”或“连接”至另一元件时，该元件可以直接链接或连接至其他部件，但是应当理解，中间可以存在其他部件。另一方面，当部件被称为“直接链接”或“直接连接”至另一部件时，应当理解，中间没有其他部件存在。

本发明中使用的术语仅用于描述特定的实施方式，而并不旨在限制本发明。除非上下文另外清楚地指出，否则单数表达包括复数表达。在本发明中，诸如“包括”或“具有”的术语旨在指示在说明书中存在被描述的特征、数字、步骤、操作、部件、部分或其组合，并且应当理解，一个或更多个其他特征或数字、步骤、动作、部件、部分或其组合不被预先排除。

除非另外限定，否则本文所使用的所有术语——包括技术或科学术语——均与本发明所属领域的技术人员通常理解的含义相同。诸如在常用字典中限定的那些术语的术语应被解释为与相关技术的上下文中的含义一致，并且除非在本发明中明确限定，否则不应被解释为理想的或过于正式的含义。

通常，可以根据图像的颜色格式来配置一个或更多个颜色空间。根据颜色格式，颜色空间可以由具有特定尺寸的一个或更多个图片或具有不同尺寸的一个或更多个图片组成。例如，在YCbCr颜色配置中可以支持诸如4:4:4、4:2:2、4:2:0和单色(仅由Y组成)的颜色格式。例如，在YCbCr为4:2:0的情况下，颜色空间可以由一个亮度分量(在该示例中为Y)和两个色度分量(在该示例中为Cb/Cr)组成。在本文中，色度分量和亮度分量的组成比率可以具有1:2的水平和垂直比率。例如，在4:4:4的情况下，它的水平和垂直纵横比可能相同。当如以上示例中那样被配置为一个或更多个颜色空间时，可以将图片划分成每个颜色空间。

可以根据图像类型(例如，图片类型、切片类型、图块类型等)将图像分类成I、P、B等。在本文中，I图像类型可以是指在不使用参考图片的情况下进行自解码/解码的图像，P图像类型可以是指使用参考图片进行编码/解码但仅允许前向预测的图像，而B图像类型可以是指通过使用参考图片执行编码/解码来允许前向/后向预测的图像。此外，取决于编码/解码设置，可以对一些类型进行组合(组合P和B)，或者可以支持不同配置的图像类型。

图1是根据本发明的实施方式的图像编码和解码系统的概念图。

参照图1，图像编码装置(105)和解码装置(100)可以是个人计算机(PC)、笔记本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、便携式游戏机(PSP)、无线通信终端、诸如智能电话或电视的用户终端、或诸如应用服务器和服务服务器的服务器终端，并且可以包括各种设备，所述各种设备具有：用于与各种设备进行通信或者有线和无线通信的诸如通信调制解调器的通信设备；用于存储用于帧间或帧内预测的各种程序和数据以对图像进行编码或解码的存储器(120，125)；以及用于通过执行程序进行计算和控制的处理器(110，115)等。

此外，可以将由图像编码装置(105)编码为比特流的图像通过因特网、短程无线通信网络、无线LAN网络、无线宽带网络或移动通信网络或者通过诸如线缆或通用串行总线(USB)的各种通信接口实时地或非实时地发送至图像解码装置(100)，并且可以将该图像解码、重建为图像，并且在图像解码装置(100)中再现。此外，可以通过计算机可读记录介质将由图像编码装置(105)编码成比特流的图像从图像编码装置(105)发送至图像解码装置(100)。

上述图像编码设备和图像解码设备可以是单独的设备，但是根据实现方式可以被制成一个图像编码/解码设备。在这种情况下，作为与图像解码装置的一些部件基本相同的技术要素，图像编码装置的一些部件可以被实现为包括与图像解码装置的一些部件至少相同的结构或者执行至少相同的功能。

因此，在以下技术要素及其操作原理的详细描述中，将省略对应技术要素的重复描述。此外，由于图像解码装置对应于将由图像编码装置执行的图像编码方法应用于解码的计算装置，因此以下描述将集中于图像编码装置。

计算设备可以包括存储器和处理器，存储器存储实现图像编码方法和/或图像解码方法的程序或软件模块，处理器连接至存储器并且执行程序。在本文中，分别地，图像编码装置可以被称为编码器，并且图像解码装置可以被称为解码器。

图2是根据本发明的实施方式的图像编码装置的框图。

参照图2，图像编码装置(20)可以包括预测单元(200)、减法单元(205)、变换单元(210)、量化单元(215)、去量化单元(220)和逆变换单元(225)、加法器(230)、滤波器单元(235)、编码图片缓冲器(240)和熵编码器(245)。

预测单元(200)可以使用作为软件模块的预测模块来实现，并且可以通过针对要编码的块使用帧内预测方法或帧间预测方法来生成预测块。预测单元(200)可以通过预测当前要在图像中编码的当前块来生成预测块。换言之，预测单元(200)可以生成以下预测块，该预测块具有通过根据帧内预测或帧间预测对要在图像中编码的当前块的每个像素的像素值进行预测而生成的每个像素的预测像素值(预测的像素值)。此外，预测单元(200)可以将生成预测块所需的信息(例如，关于诸如帧内预测模式或帧间预测模式的预测模式的信息)发送至编码单元，以使编码单元对关于预测模式的信息进行编码。在本文中，可以根据编码/解码设置来确定执行预测的处理单元以及确定预测方法和特定内容的处理单元。例如，在预测单元中确定预测方法、预测模式等，并且可以在变换单元中执行预测。

在帧间预测单元中，可以根据运动预测方法来划分平移运动模型和非平移运动模型(仿射运动模型)。在平移运动模型的情况下，可以仅考虑平行运动来执行预测，而在非平移运动模型的情况下，可以考虑诸如旋转、透视和放大/缩小以及平行运动的运动来执行预测。假设单向预测，平移运动模型可能需要一个运动矢量，但非平移运动模型可能需要一个或更多个运动矢量。在非平移运动模型的情况下，每个运动矢量可以是应用于当前块的预设位置(例如，当前块的左上顶点和右上顶点)的信息，并且可以以像素或子块为单位来获取当前块的要通过对应的运动矢量预测的区域的位置。在帧间预测单元中，可以共同地应用以下描述的一些处理，并且可以根据运动模型单独地应用一些其他处理。

帧间预测单元可以包括参考图片构造单元、运动估计单元、运动补偿单元、运动信息确定单元和运动信息编码单元。参考图片构造单元可以将在当前图片之前或之后编码的图片包括在参考图片列表(L0，L1)中。可以从参考图片列表中包括的参考图片获得预测块，并且还可以根据编码设置将当前图片配置为参考图片并且将当前图片包括在参考图片列表中的至少一个中。

在帧间预测单元中，参考图片构造单元可以包括参考图片内插单元，并且可以根据内插精度对十进制像素单位执行内插处理。例如，可以将8抽头的基于DCT的内插滤波器应用于亮度分量，并且可以将4抽头的基于DCT的内插滤波器应用于色度分量。

在帧间预测单元中，运动估计单元可以是通过参考图片搜索与当前块具有高相关性的块的处理，并且可以使用诸如基于完全搜索的块匹配算法(FBMA)和三步搜索(TSS)的各种方法。此外，运动补偿单元是指通过运动估计处理来获得预测块的处理。

在帧间预测单元中，运动信息确定单元可以执行用于选择当前块的最佳运动信息的处理，并且可以通过诸如跳过模式、合并模式和竞争模式的运动信息编码模式来对运动信息进行编码。可以通过根据运动模型组合支持的模式来配置模式，并且跳过模式(平移)、跳过模式(除平移之外)、合并模式(平移)、合并模式(除平移之外)、竞争模式(平移)和竞争模式(除平移之外)可以作为模式的示例。根据编码设置，模式中的一些可以包括在候选组中。

运动信息编码模式可以从至少一个候选块获得当前块的运动信息预测值(运动矢量、参考图片、预测方向等)，并且当支持两个或更多个候选块时，可以存在最佳候选选择信息。在跳过模式(无残差信号)和合并模式(存在残差信号)中，可以将预测值用作当前块的运动信息，而在竞争模式中，可以存在当前块的运动信息与预测值之间的差信息。

可以根据运动信息编码模式来自适应地并且不同地构造当前块的运动信息预测值的候选组。在候选组中可以包括在空间上与当前块相邻的块(例如，左、上、左上、右上、左下的块等)的运动信息，并且在候选组中可以包括在时间上与当前块相邻的块的运动信息，并且在候选组中可以包括空间候选和时间候选的混合运动信息。

时间上相邻的块可以包括与当前块对应的另一图像中的块，并且可以是指位于该块的左、右、上、下、左上、右上、左下、右下的块等中的块。混合运动信息可以是指通过空间上相邻的块的运动信息和时间上相邻的块的运动信息被获得作为平均值、中值等的信息。

可以存在用于构造运动信息预测值的候选组的优先级顺序。可以根据优先级顺序来确定包括在预测值的候选组的配置中的顺序，并且可以在根据优先级顺序填充候选组的数目(根据运动信息编码模式确定的)时，完成候选组的配置。在本文中，可以按照空间上相邻的块的运动信息、时间上相邻的块的运动信息以及空间候选和时间候选的混合运动信息的顺序来确定优先级顺序，但是其他修改也是可能的。

例如，在空间上相邻的块中，可以按左-上-右上-左下-左上等的块的顺序将运动信息包括在候选组中，并且在时间上相邻的块中，可以按右下-中-右-下等的顺序将运动信息包括在候选组中。

减法单元(205)可以通过从当前块减去预测块来生成残差块。换言之，减法单元(205)可以通过计算要编码的当前块的每个像素的像素值与通过预测单元生成的预测块的每个像素的预测像素值之间的差来生成残差块，该残差块是具有块形式的残差信号。此外，减法单元(205)可以根据除通过稍后描述的块划分单元获得的块单元之外的单元来生成残差块。

变换单元(210)可以将属于空间域的信号变换成属于频域的信号，并且通过变换处理获得的信号被称为变换系数(经变换的系数)。例如，可以对从减法单元接收到的具有残差信号的残差块进行变换以获得具有经变换系数的变换块，并且根据编码设置来确定输入信号，该输入信号不限于残差信号。

变换单元可以使用诸如哈达玛变换(Hadamard Transform)、离散正弦变换(基于DST的变换)和离散余弦变换(基于DCT的变换)的变换技术来变换残差块。然而，本发明可以不限于此，并且可以使用改进和修改本发明的各种转换技术。

例如，可以支持变换技术中的至少一种，并且在每种变换技术中可以支持至少一种详细的变换技术。在这种情况下，详细的变换技术可以是其中在每个变换技术中一些基本矢量被不同地配置的变换技术。

例如，在DCT的情况下，可以支持DCT-I至DCT-VIII中的一种或更多种详细的变换技术，并且在DST的情况下，可以支持DST-I至DST-VIII中的一种或更多种详细的变换技术。一些详细的变换技术可以被配置成配置用于变换技术的候选组。例如，可以将DCT-II、DCT-VIII和DST-VII配置为执行变换的变换技术的候选组。

可以在水平/垂直方向上执行变换。例如，可以通过执行总的二维变换来将空间域中的像素值转换到频域中，其中，使用DCT-II的变换技术在水平方向上执行一维变换并且使用DST-VIII的变换技术在垂直方向执行一维变换。

可以使用一种固定的变换技术来执行变换，或者可以通过根据编码/解码设置自适应地选择变换技术来执行变换。在本文中，在自适应情况下，可以使用显式或隐式方法来选择变换技术。在显式的情况下，应用于水平方向和垂直方向的每个变换技术选择信息或变换技术集选择信息可以发生在诸如块的单元中。在隐式情况下，可以根据图像类型(I/P/B)、颜色分量、块尺寸、形状和帧内预测模式来限定编码设置，并且可以相应地选择预定义的变换技术。

此外，取决于编码设置，可以省略变换中的一些。这意味着可以显式或隐式地省略水平/垂直单元中的一个或更多个。

此外，变换单元可以将生成变换块所需的信息发送至编码单元以对该信息进行编码，将经编码信息记录到比特流，并且将其发送至解码器，并且解码器的解码单元可以解析所发送的信息，并且在逆变换的处理中使用该信息。

量化单元(215)可以对输入信号进行量化，并且通过量化处理获得的信号被称为量化系数。例如，可以通过对具有从变换单元接收到的残差变换系数的残差块进行量化来获得具有量化系数的量化块，并且根据编码设置来确定输入信号，该编码设置不限于残差变换系数。

量化单元可以使用诸如死区均匀阈值量化(Dead Zone Uniform ThresholdQuantization)、量化加权矩阵等的量化技术来对变换的残差块进行量化，但是该量化技术不限于此，并且可以使用对其进行改进和修改的各种量化技术。

根据编码设置，可以省略量化处理。例如，根据编码设置(例如，量化参数为0，即无损压缩环境)，可以省略量化处理(包括其逆处理)。作为另一示例，如果根据图像的特性未实现通过量化的压缩性能，则可以省略量化处理。在这种情况下，在量化块(M×N)中省略了量化处理的区域可以是整个区域或部分区域(M/2×N/2、M×N/2、M/2×N等)，并且可以隐式或显式地确定量化省略选择信息。

量化单元可以将生成量化块所需的信息发送至编码单元以对该信息进行编码，将经编码信息记录到比特流，并且将其发送至解码器，并且解码器的解码单元可以解析所发送的信息并且在去量化的处理中使用该信息。

尽管已经在通过变换单元和量化单元对残差块进行变换和量化的假设下描述了以上示例，但是可以通过对残差块的残差信号进行变换来生成具有变换系数的残差块，并且可以不执行量化处理。此外，不仅可以在不将残差信号变换成变换系数的情况下执行量化处理，而且还可以不执行变换处理和量化处理两者。这可以根据编码器设置来确定。

去量化单元(220)对由量化单元(215)量化的残差块进行逆量化。即，去量化单元(220)对量化频率系数序列进行逆量化，以生成具有频率系数的残差块。

逆变换单元(225)对由去量化单元(220)量化的残差块进行逆变换。即，逆变换单元(225)对经逆量化的残差块的频率系数进行逆变换，以生成具有像素值的残差块，即，重建的残差块。在本文中，逆变换单元(225)可以逆向地使用由变换单元(210)使用的变换方法来执行逆变换。

加法器(230)通过将由预测单元(200)预测的预测块和由逆变换单元(225)恢复的残差块相加来恢复当前块。将重建的当前块作为参考图片存储在编码图片缓冲器(240)中，并且可以在将来对下一个块、另一个块或另一个图片进行编码时用作参考图片。

滤波器单元(235)可以包括一个或更多个后处理滤波器处理，例如解块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)。解块滤波器可以去除由重建的图片中的块之间的边界引起的块失真。ALF可以基于通过将经由解块滤波器对块滤波之后的重建图像与原始图像进行比较而获得的值，来执行滤波。SAO可以针对被应用解块滤波器的残差块以像素为单位恢复与原始图像的偏移差。这些后处理滤波器可以应用于重建的图片或块。

编码图片缓冲器(240)可以存储通过滤波器单元(235)重建的块或图片。可以将存储在编码图片缓冲器(240)中的重建块或图片提供给执行帧内预测或帧间预测的预测单元(200)。

熵编码单元(245)根据各种扫描方法来扫描所生成的量化频率系数序列以生成量化系数序列，并且通过使用熵编码技术等进行编码来将该量化系数序列输出。可以将扫描图案设置为各种图案之一，例如锯齿形、对角线形和光栅形。此外，可以生成并输出包括从比特流中的每个分量发送的编码信息的编码数据。

图3是根据本发明的实施方式的图像解码装置的框图。

参照图3，图像解码装置(30)可以被配置成包括熵解码单元(305)、预测单元(310)、去量化单元(315)、逆变换单元(320)、加法器/减法器(325)、滤波器(330)和解码图片缓冲器(335)。

此外，预测单元(310)可以再次包括帧内预测模块和帧间预测模块。

首先，当接收到从图像编码装置(20)发送的图像比特流时，可以将其传送至熵解码单元(305)。

熵解码单元(305)可以对比特流进行解码，并且对包括量化系数的解码数据以及发送至每个部件的解码信息进行解码。

预测单元(310)可以基于从熵解码单元(305)发送的数据来生成预测块。在本文中，基于存储在解码图片缓冲器(335)中的参考图像，可以构造使用默认配置技术的参考图片列表。

帧间预测单元可以包括参考图片构造单元、运动补偿单元和运动信息解码单元，并且一些可以执行与编码器相同的处理，并且一些可以执行逆处理。

去量化单元(315)可以对从比特流提供并由熵解码单元(305)解码的经量化的变换系数进行逆量化。

逆变换单元(320)可以通过应用逆DCT、逆整数变换或类似的逆变换技术以变换系数，来生成残差块。

在这种情况下，去量化单元(315)和逆变换单元(320)可以逆向地执行由上述图像编码装置(20)的变换单元(210)和量化单元(215)执行的处理，并且可以以各种方式实现。例如，可以使用与变换单元(210)和量化单元(215)共享的相同处理和逆变换，并且可以使用来自图像编码装置(20)的关于变换和量化处理的信息(例如，变换尺寸和变换形状、量化类型等)来逆向地执行变换和量化处理。

可以将经历了去量化和逆变换处理的残差块与由预测单元(310)得出的预测块相加，以生成重建的图像块。加法可以由加法器/减法器单元(325)来执行。

针对重建的图像块，滤波器(330)可以在必要时应用解块滤波器以去除块(blocking)现象，并且还可以在解码处理之前和之后使用附加的环路滤波器以改善视频质量。

经重建和滤波的图像块可以被存储在解码图片缓冲器(335)中。

尽管在附图中未示出，但是图像编码/解码设备还可以包括图片划分单元和块划分单元。

图片划分单元可以将图片划分(或分割)成至少一个处理单元，例如颜色空间(例如，YCbCr、RGB、XYZ等)、图块、切片或基本编码单元(或最大编码单元)等。块划分单元可将基本编码单元划分成至少一个处理单元(例如，编码、预测、变换、量化、熵和环路内滤波器单元)。

可以通过以规则的间隔在水平和垂直方向上划分图片来获得基本编码单元。基于此，可以执行对图块、切片等的划分，但是可以不限于此。诸如图块和切片的划分单元可以由基本编码块的整数倍组成，但是位于图像边界处的划分单元中可能发生异常。为此，可以发生对基本编码块尺寸的调整。

例如，图片可以在被划分为基本编码单元之后被划分成划分单元，或者图片可以在被划分为划分单元之后被划分成基本编码单元。在本发明中，假设每个单元的分割和划分顺序是前者，但是可以不限于此，并且取决于编码/解码设置，后者也是可能的。在后者的情况下，基本编码单元的尺寸可以根据划分单元(图块等)被变换成自适应情况。即，这意味着可以支持对于每个划分单元具有不同尺寸的基本编码块。

在本发明中，将图片被分割成基本编码单元的情况设置为基本设置，并且将描述稍后描述的示例。默认设置可能意味着图片未被划分成图块或切片，或者图片是一个图块或一个切片。然而，如上所述，当首先基于获得的单元将每个划分单元(图块、切片等)分割和划分成基本编码单元(即，每个划分单元不是基本编码单元的整数倍等)时，应当理解，可以相同地或改变地来应用以下描述的各种实施方式。

在划分单元中的切片的情况下，其可以由根据扫描图案的一束至少一个连续块组成，并且在图块的情况下，其可以由呈矩形形状的一束空间上相邻的块组成，并且可以通过对所支持的其他附加单元的限定来配置。切片和图块可以是出于并行处理等目的而被支持的划分单元，并且为此，划分单元之间的参考可以受到限制(即，不能被参考)。

在切片的情况下，可以生成关于连续块的开始位置的信息作为每个单元的划分信息。在图块的情况下，可以生成关于水平方向和垂直方向的划分线的信息或者图块的位置信息(左上位置、右上位置、左下位置、右下位置)。

在这种情况下，可以根据编码/解码设置将切片和图块划分成多个单元。

例如，一些单元<A>可以是包括影响编码/解码处理的设置信息的单元(即，包括图块头部或切片头部)，并且一些单元<B>可以是不包括设置信息的单元。替选地，一些单元<A>可以是在编码/解码处理中不能参考其他单元的单元，并且一些单元<B>可以是可以参考其他单元的单元。此外，一些单元<A>可以具有包括其他单元<B>的垂直关系，或者一些单元<A>可以与其他单元<B>具有等同关系。

在本文中，A和B可以是切片和图块(或者图块和切片)。替选地，A和B可以由切片和图块中之一组成。例如，A可以是切片/图块<类型1>，并且B可以是切片/图块<类型2>。

在本文中，类型1和类型2可以分别是一个切片或图块。替选地，类型1(包括类型2)可以是多个切片或图块(一组切片或一组图块)，并且类型2可以是单个切片或图块。

如上所述，在假设图片由一个切片或图块组成的情况下描述了本发明，但是当出现两个或更多个划分单元时，以上描述可以应用于以下描述的实施方式并且在以下描述的实施方式中被理解。此外，A和B是划分单元可以具有的特性的示例，并且每个示例的A和B被混合的示例也是可能的。

同时，可以通过块划分单元将图片划分成不同尺寸的块。在本文中，块可以由根据颜色格式的一个或更多个块(例如，一个亮度块和两个色度块等)组成，并且可以根据颜色格式来确定块的尺寸。在下文中，为了便于描述，将基于根据一个颜色分量(亮度分量)的块进行描述。

应当理解，下面描述的内容针对一个颜色分量，但是该内容可以与根据颜色格式的比率成比例地应用于其他颜色分量(例如，在YCbCr为4:2:0的情况下，亮度分量和色度分量的水平长度与垂直长度的比为2:1)。此外，尽管可以取决于其他颜色分量(例如，取决于Cb/Cr中的Y的块划分结果)来执行块划分，但是应当理解，对于每个颜色分量可以进行独立的块划分。此外，尽管可以使用一个通用的块划分设置(考虑与长度比率的比例)，但是有必要考虑和理解根据颜色分量来使用各个块划分设置。

块可以具有诸如M×N的可变尺寸(M和N是诸如4、8、16、32、64和128的整数)，并且可以是用于执行编码的单元(编码块)。详细地，该块可以是作为预测、变换、量化和熵编码的基础的单元，并且在本发明中通常被称为块。在本文中，块不是仅指正方形的块，而是可以理解为包括诸如三角形和圆形的各种类型的区域的宽泛概念，并且将主要在正方形的情况下描述本发明。

可以关于图像编码设备和解码设备的每个部件来设置块划分单元，并且可以通过该处理来确定块的尺寸和形状。在本文中，可以根据部件不同地限定要设置的块，并且预测单元中的预测块、变换单元中的变换块和量化单元中的量化块可以与此对应。然而，本发明可以不限于此，并且可以另外限定根据其他部件的块单元。在本发明中，假设在每个部件中输入和输出是块(即，矩形)，但是在一些部件中，其他形状(例如，正方形、三角形等)的输入/输出也是可能的。

可以从较高的单元确定块划分单元的初始(或起始)块的尺寸和形状。例如，在编码块的情况下，基本编码块可以是初始块，并且在预测块的情况下，编码块可以是初始块。此外，在变换块的情况下，编码块或预测块可以是初始块，并且这可以根据编码/解码设置来确定。

例如，如果编码模式是帧内的，则预测块可以是变换块的较高单元，并且如果编码模式是帧间的，则预测块可以是独立于变换块的单元。作为划分的起始单元的初始块可以被划分成小尺寸的块，并且如果确定了根据块的划分的最佳尺寸和形状，则该块可以被确定为较低单元的初始块。作为划分的起始单元的初始块可以被考虑为较高单元的初始块。在本文中，较高单元可以是编码块，并且较低单元可以是预测块或变换块，但是不限于此。当如以上示例中那样确定较低单元的初始块时，可以如较高单元中那样执行用于找到块的最佳尺寸和形状的划分处理。

总之，块划分单元可以将基本编码单元(或最大编码单元)划分成至少一个编码单元(或较低编码单元)。此外，编码单元可以被划分成至少一个预测单元，并且可以被划分成至少一个变换单元。编码单元可以被划分成至少一个编码块，该编码块可以被划分成至少一个预测块，并且被划分成至少一个变换块。预测单元可以被划分成至少一个预测块，并且变换单元可以被划分成至少一个变换块。

在这种情况下，一些块可以与其他块组合以执行一个划分处理。例如，当将编码块和变换块组合为一个单元时，执行划分处理以获得最佳块尺寸和形状，其不仅可以是编码块的最佳尺寸和形状，而且还可以是变换块的最佳尺寸和形状。替选地，可以将编码块和变换块组合成一个单元，可以将预测块和变换块组合成一个单元，并且可以将编码块、预测块和变换块组合成一个单元。此外，其他块的组合也是可能的。然而，该组合不是在图像(图片、切片、图块等)内共同应用的，而是可以根据详细条件以块为单位(例如，图像类型、编码模式、块尺寸/形状、预测模式信息等)自适应地确定的。

如上所述，当找到块的最佳尺寸和形状时，可以生成模式信息(例如，划分信息等)。模式信息可以与由块所属于的部件生成的信息(例如，与预测有关的信息、与变换有关的信息等)一起存储在比特流中，并且发送给解码器，并且可以在解码器中以相同级别的单位被解析，并且被用于图像解码处理。

在下文中，将描述划分方法，并且为了便于描述，假设初始块为正方形的形式。然而，即使呈矩形的形式，也可以以相同或相似的方式来应用初始块，但不限于此。

可以支持用于块划分的各种方法，但是本发明将集中于基于树的划分，并且可以支持至少一个树划分。在这种情况下，可以支持四叉树(Quad Tree，QT)、二叉树(BT)、三叉树(TT)等。当支持一种树方法时，可以将其称为单个树划分，并且当支持两种或更多树方法时，可以将其称为多树方法。

四叉树划分意味着将块分别在水平和垂直方向上划分成两个，二叉树划分意味着将块在水平或垂直方向上划分成两个，而三叉树划分意味着将块在水平或垂直方向上划分成三个。

在本发明中，如果划分之前的块是M×N，则假设在四叉树划分的情况下，将该块划分成四个M/2×N/2，在二叉树划分的情况下，将该块划分成为M/2×N或M×N/2，并且在三叉树划分的情况下，将该块划分成M/4×N/M/2×N/M/4×N或M×N/4/M×N/2/M×N/4。然而，划分结果不限于以上情况，并且各种修改的示例是可能的。

取决于编码/解码设置，可以支持树划分方法中的一种或更多种。例如，可以支持四叉树划分，可以支持四叉树划分和二叉树划分，可以支持四叉树划分和三叉树划分，或者可以支持四叉树划分、二叉树划分和三叉树划分。

以上示例是基本划分方法是四叉树并且根据是否支持其他树而将二叉树划分和三叉树划分包括在附加划分模式中的情况的示例，但是可以进行各种修改。在本文中，可以根据编码/解码设置隐式地确定关于是否支持其他树的信息(bt_enabled_flag、tt_enabled_flag、bt_tt_enabled_flag等。其可以具有为0或1的值，如果为0：不支持；如果为1：支持)，或者可以以序列、图片、切片、图块等为单位显式地确定。

划分信息可以包括关于是否划分的信息(tree_part_flag.或qt_part_flag、bt_part_flag、tt_part_flag、bt_tt_part_flag。其可以具有为0或1的值，并且如果为0：不划分，并且如果为1：划分)。此外，可以根据划分方法(二叉树、三叉树)添加关于划分方向的信息(dir_part_flag.或bt_dir_part_flag、tt_dir_part_flag、bt_tt_dir_part_flag。其可以具有为0或1的值，如果为0：<水平>，如果为1：<垂直>)，该信息可以是在划分被执行时可以生成的信息。

当支持多树划分时，各种划分信息配置是可能的。以下将在假设如何在一个深度级别配置划分信息的示例的情况下进行描述(即，由于支持的划分深度被设置成一个或更多个，因此递归划分也是可能的，但是为了便于说明，假设在一个深度级别下进行描述)。

作为示例(1)，检查关于是否划分的信息。在本文中，如果不执行划分，则划分结束。

如果执行划分，则检查用于划分类型的划分信息(例如，tree_idx。如果0：QT；如果1：BT；如果2：TT)。在这种情况下，附加地根据所选择的划分类型来检查划分方向信息，并且处理进行至下一步骤(如果由于划分深度未达到最大值等原因而可能进行附加划分时，重新开始划分，并且如果划分是不可能的，则划分结束。)

作为示例(2)，检查关于是否针对一些树方法(QT)进行划分的信息，并且处理进行到下一步骤。在本文中，如果不执行划分，则检查关于是否针对一些树方法(BT)进行划分的信息。在本文中，如果不执行划分，则检查是否针对一些树方法(TT)进行划分的信息。在本文中，如果不执行划分，则划分处理结束。

如果执行一些树方法(QT)的划分，则处理进行至下一步骤。此外，如果执行一些树方法(BT)的划分，则检查划分方向信息，并且处理进行至下一步骤。此外，如果执行一些树方法(TT)的划分，则检查划分方向信息，并且处理进行至下一步骤。

作为示例(3)，检查关于是否针对一些树方法(QT)进行划分的信息。在本文中，如果不执行划分，则检查关于是否针对一些树方法(BT和TT)进行划分的信息。在本文中，如果不执行划分，则划分处理结束。

如果执行一些树方法(QT)的划分，则处理进行至下一步骤。此外，如果执行一些树方法(BT和TT)的划分，则检查划分方向信息，并且处理进行至下一步骤。

以上示例可以是树划分的优先级存在(示例2和3)或不存在(示例1)的情况，但是各种修改的示例是可能的。此外，在以上示例中，当前阶段的划分是用于说明与先前阶段的划分结果无关的情况的示例，但是也可以根据先前阶段的划分结果来设置当前阶段的划分。

例如，在示例1至示例3的情况下，如果在先前步骤中执行了一些树方法(QT)的划分并且该处理转至当前步骤，则可以在当前步骤中支持相同树方法(QT)的划分。

另一方面，如果在先前步骤中未执行一些树方法(QT)的划分，并且执行了其他树方法(BT或TT)的划分，并且该处理转至当前步骤，则也可以在后续步骤(包括当前步骤)中支持对除一些树方法(QT)外的一些树方法(BT和TT)的划分。

在以上情况下，这意味着支持块划分的树配置可以是自适应的，并且因此，上述划分信息配置也可以被不同地配置。(假设稍后要描述的示例是第三示例)，即，在以上示例中，如果在先前步骤中未执行一些树方法树方法(QT)的划分，则在当前阶段中可以在不考虑一些树方法(QT)的情况下执行划分处理。此外，可以通过移除关于相关树方法的划分信息(例如，关于是否划分的信息、关于划分方向的信息等。在该示例<QT>中，是关于是否划分的信息)来进行配置。

以上示例针对允许块划分的情况的自适应划分信息配置(例如，块尺寸在最大值与最小值之间的范围内，每种树方法的划分深度未达到最大深度<允许深度>等)，并且即使在块划分受到限制(例如，块尺寸不在最大值与最小值之间的范围内，每种树方法的划分深度达到最大深度等)时，自适应划分信息配置也是可能的。

如已经提及的，可以使用递归方法来执行本发明中的基于树的划分。例如，当具有划分深度k的编码块的划分标志为0时，在具有划分深度k的编码块中执行对编码块的编码，并且当具有划分深度k的编码块的划分标志是1时，根据划分方法在具有k+1的划分深度的N个子编码块中执行对编码块的编码(其中，N是2或更大的整数，例如2、3、4)。

可以通过以上处理将子编码块再次设置为编码块(k+1)，并且将子编码块划分成子编码块(k+2)，并且可以根据诸如划分范围和划分允许深度的划分设置来确定这样的分层划分方法。

在本文中，可以从一种或更多种扫描方法中选择用于表示划分信息的比特流结构。例如，可以基于划分深度顺序来配置划分信息的比特流，或者可以基于是否执行划分来构造划分信息的比特流。

例如，在划分深度顺序标准的情况下，它是指基于初始块获得当前级别深度处的划分信息以及获得下一级别深度处的划分信息的方法。此外，在关于是否执行划分的标准的情况下，这是指优先获取基于初始块划分的块中的附加划分信息的方法，并且可以考虑其他附加扫描方法。在本发明中，假设基于是否执行划分来配置划分信息的比特流。

如上所述，已经描述了块划分的各种情况，并且可以支持块划分的固定或自适应设置。

在本文中，与块划分有关的设置可以显式地包括以诸如序列、图片、切片和图块为单位的相关信息。替选地，可以根据编码/解码设置隐式地确定块划分设置，其中，可以根据诸如图像类型(I/P/B)、颜色分量、划分类型和划分深度的各种编码/解码元素中的一个或两个或更多个的组合来配置编码/解码设置。

在根据本发明的实施方式的图像编码方法中，帧内预测可以如下配置。预测单元的帧内预测可以包括：构造参考像素；生成预测块；确定预测模式；以及对预测模式进行编码。此外，图像编码装置可以被配置成包括参考像素配置单元、预测块生成单元和预测模式编码单元，其实现参考像素配置步骤、预测块生成步骤、预测模式确定步骤以及预测模式编码步骤。可以省略上述处理中的一些，或者可以添加其他处理。此外，可以按照上述顺序之外的顺序改变。

图4是示出根据本发明的实施方式的帧内预测模式的示例性图。

参照图4，说明了，假设将67种预测模式配置为用于帧内预测的预测模式候选组，并且其中65种是定向模式，而其中2种是非定向模式(DC、平面)。然而，它不限于此，并且各种配置是可能的。在本文中，定向模式可以被划分成斜率(例如，dy/dx)或角度信息(度)。此外，预测模式中的全部或部分可以被包括在亮度分量或色度分量的预测模式候选组中，并且其他附加模式可以被包括在预测模式候选组中。

在本发明中，定向模式的方向可以是指直线，并且弯曲定向模式也可以被配置为预测模式。此外，在非定向模式的情况下，预测模式可以包括：DC模式，用于获得具有当前块的相邻的邻近块(例如，左块、上块、左上块、右上块和左下块)的像素的平均值(或加权平均值等)的预测块；以及平面模式，用于通过对邻近块的像素的线性内插来获得预测块等。

在本文中，在DC模式中，可以从以诸如左、上、左+上、左+左下、上+右上、左+上+左下+右上等的各种组合分组的块中获得用于生成预测块的参考像素。此外，可以根据由图像类型、颜色分量、块尺寸/形状/位置限定的编码/解码设置来确定获得参考像素的块位置。

在本文中，在平面模式中，可以在由参考像素组成的区域(例如，左、上、左上、右上、左下等)以及不由参考像素组成的区域(例如，右、下、右下等)中获得用于生成预测块的像素。在不由参考像素组成的区域(即未编码)的情况下，可以通过使用由参考像素组成的区域中的一个或更多个像素(例如，照原样复制，加权平均等)隐式地获得该区域，或者可以显式地生成关于不由参考像素组成的区域中的至少一个像素的信息。因此，如上所述，可以使用由参考像素组成的区域和不由参考像素组成的区域来生成预测块。

图5是示出根据本发明的实施方式的用于定向模式和非定向模式的帧内预测的概念图。

参照图5的(a)，示出了根据在垂直(5a)方向、水平(5b)方向和对角线(5c至5e)方向上的模式的帧内预测。参照图5的(b)，示出了根据DC模式的帧内预测。参照图5的(c)，示出了根据平面模式的帧内预测。

除了以上描述之外，还可以包括附加的非定向模式。在本发明中，主要描述了线性定向模式以及DC模式和平面模式的非定向模式，但是也可以应用对其他情况的改变。

图4可以是与块的尺寸无关地被固定支持的预测模式。此外，根据块尺寸支持的预测模式可能与图4不同。

例如，预测模式候选组的数目可以是自适应的(例如，预测模式之间的角度均等间隔，但是角度被不同地设置。方向性模式的数目是9、17、33、65、129等)，或者预测模式候选组的数目可以是固定的，但可以具有不同的配置(例如，方向性模式角度、非方向性类型等)。

此外，图4可以是与块类型无关地被固定支持的预测模式。此外，根据块类型支持的预测模式可以与图4不同。

例如，预测模式候选组的数目可以是自适应的(例如，根据块的水平/垂直比率，将从水平或垂直方向得出的预测模式的数目设置为较大或较小)，或者预测模式候选组的数目可以是固定的，但是可以具有不同的配置(例如，更具体地根据块的水平/垂直比率来设置从水平或垂直方向得出的预测模式)。

替选地，较长的块长度的预测模式可以支持较大的数目，而较短的块长度的预测模式可以支持较少的数目。在图4中，在长块的情况下，预测模式间隔可以支持位于模式66右侧的模式(例如，基于第50个模式的角度为+45度或更大的模式，即具有诸如67至80的编号的模式)或位于模式2左侧的模式(例如，基于第18个模式的角度为-45度或更大的模式，即具有诸如-1至-14的编号的模式)。这可以根据块的水平长度与垂直长度的比率来确定，反之亦然。

在本发明中，主要将预测模式描述为其中预测模式是固定支持的预测模式(与任何编码/解码元素无关)的情况(如图4所示)，但是也可以根据编码设置来设置自适应支持的预测模式。

此外，在对预测模式进行分类时，水平模式和垂直模式(模式18和模式50)以及一些对角线模式(右上对角线<2>、右下对角线<34>、左下对角线<66>等)可以是标准，并且这可以是基于一些方向性(或45度、90度等角度)执行的分类方法。

此外，位于定向模式的两端的一些模式(模式2和模式66)可以是作为预测模式分类的基础的模式，这是在如图4所示的那样配置帧内预测模式时可能的示例。即，当预测模式配置是自适应的时，改变参考模式的示例也是可能的。例如，可以将模式2替换为具有小于或大于2的编号(-2、-1、3、4等)的模式，或者将模式66替换为具有小于或大于66的编号(64、66、67、68等)的模式。

此外，在预测模式候选组中可以包括用于颜色分量的附加预测模式。下面描述颜色复制模式和颜色模式作为预测模式的示例。

(颜色复制模式)

可以支持与从位于不同颜色空间中的区域获得用于生成预测块的数据的方法相关的预测模式。

例如，用于使用颜色空间之间的相关性在另一颜色空间中获取用于生成预测块的数据的方法的预测模式可以是其示例。

图6是示出根据本发明的实施方式的关于颜色复制模式的帧内预测的概念图。参照图6，当前颜色空间M的当前块C可以在同一时间t处使用不同颜色空间N的对应区域D的数据来执行预测。

在这种情况下，当以YCbCr作为示例时，颜色空间之间的相关性可以指Y与Cb、Y与Cr以及Cb与Cr之间的相关性。即，在色度分量(Cb或Cr)的情况下，可以将与当前块对应的亮度分量Y的重建块用作当前块的预测块(色度与亮度是稍后描述的示例的的默认设置)。替选地，可以将与某个色度分量(Cr或Cb)的当前块对应的某个色度分量(Cb或Cr)的重建块用作当前块的预测块。

在本文中，在一些颜色格式(例如，YCbCr为4:4:4等)中，与当前块对应的区域在每个图像中可以具有相同的绝对位置。替选地，在一些颜色格式(例如，YCbCr为4:2:0等)中，每个图像中的相对位置可以相同。可以根据取决于颜色格式的水平长度与垂直长度的比率来确定对应位置，并且可以通过将当前像素的坐标的每个分量乘以或除以取决于颜色格式的水平长度与垂直长度的比率，来获得颜色空间中的与当前图像的像素不同的对应像素。

为了便于描述，描述将主要集中在一些颜色格式(4:4:4)的情况下，但是应当理解，可以根据取决于颜色格式的水平长度与垂直长度的比率来确定其他颜色空间的对应区域的位置。

在颜色复制模式中，可以将不同的颜色空间的重建块用作预测块，或者可以将通过考虑颜色空间之间的相关性而获得的块用作预测块。通过考虑颜色空间之间的相关性而获得的块是指可以通过对现有块执行校正而获得的块。具体地，在{P＝a*R+b}的公式中，a和b是指用于校正的平均值，并且R和P分别是指在不同颜色空间中获得的值和当前颜色空间的预测值。在本文中，P是指通过考虑颜色空间之间的相关性而获得的块。

在该示例中，假设通过使用颜色空间之间的相关性而获得的数据被用作当前块的预测值，但是如下情况也是可能的：该数据被用作应用于现有块的预测值的校正值。即，可以使用不同颜色空间的残差值来校正当前块的预测值。

在本发明中，假设以前一种情况为前提，但是本发明可以不限于此，并且对将数据用作校正值的情况的相同或改变的应用也可以是可适用的。

在颜色复制模式中，可以根据编码/解码设置来确定是显式地还是隐式地支持颜色复制模式。在本文中，可以根据图像类型、颜色分量、块位置/尺寸/形状以及块宽度/长度比中的一个或者两个或更多个的组合来限定编码/解码设置。此外，在显式的情况下，相关信息可以被包括在序列、图片、切片或图块的单元中。此外，根据编码/解码设置，在一些情况下可以隐式地确定是否支持颜色复制模式，并且在一些情况下可以显式地生成相关信息。

在颜色复制模式中，可以根据编码/解码设置来显式地生成或隐式地获得颜色空间之间的相关性信息(a、b等)。

在这种情况下，要被比较(或参考)以获得相关性信息的区域可以是当前块(图6中的C)和不同颜色空间的对应区域(图6中的D)。替选地，该区域可以是当前块的相邻区域(图6中的C的左块、上块、左上块、右上块、左下块等)和不同颜色空间的对应区域的相邻区域(图6中的D的左块、上块、左上块、右上块、左下块等)。

在以上描述中，在前一种情况下，由于必须使用与当前块对应的块的数据直接获得相关性信息，因此它可以对应于显式地处理相关信息的示例。即，可以存在以下情况：由于当前块的数据尚未被编码，因此应当生成相关性信息。在后一种情况下，由于可以使用与当前块的相邻区域对应的块的相邻区域的数据来间接地获得相关性信息，因此这可以对应于隐式地处理相关信息的示例。

总之，在前一种情况下，通过比较当前块和对应块来获得相关性信息，而在后一种情况下，通过比较分别与当前块和对应块相邻的区域来获得相关性信息。此外，通过将相关性信息应用于对应块而获得的数据可以用作当前块的预测像素。

在本文中，在前一种情况下，可以按原样对相关性信息进行编码，或者可以将通过比较相邻区域而获得的相关性信息用作预测值来对关于差异的信息进行编码。相关性信息可以是当选择颜色复制模式作为预测模式时可能发生的信息。

在本文中，后一种情况可以理解为如下隐含的情况的示例：除了在预测模式候选组中选择颜色复制模式作为最佳模式之外，不存在另外生成的信息。即，这可以是在支持一个相关性信息的配置下可能的示例。

在支持两个或更多个相关性信息的设置中，除了选择颜色复制模式作为最佳模式之外，可能还需要用于相关性信息的选择信息。如在以上示例中，根据编码/解码设置，将显式情况和隐式情况混合的配置也是可能的。

在本发明中，将集中在以下情况进行描述：间接地获得相关性信息，并且所获得的相关性信息可以是N或更大(N是1或更大的整数，例如1、2、3)。关于相关性信息的数目的设置信息可以被包括在诸如序列、图片、切片、图块等的单元中。应当理解，在以下描述的一些示例中，当支持k个或更多个相关性信息时，其可以与当支持k个或更多个颜色复制模式时具有相同的含义。

图7是示出根据本发明的实施方式的与颜色复制模式有关的每个颜色空间的对应块和与该对应块相邻的区域的示例性图。参照图7，示出了当前颜色空间(M)和不同颜色空间(N)中的像素间对应关系(p和q)的示例，并且这可以理解为可能在一些颜色格式(4:2:0)下发生的示例。此外，可以确认用于获得相关性信息的对应关系(7a)和用于应用预测值的对应关系(7b)。

以下继续关于在颜色复制模式下获得相关性信息的描述。为了获得相关性信息，可以比较(或使用)每个颜色空间的预定区域(与当前块和对应于当前块的块中的每一个相邻的区域中的全部或一部分)中的像素的像素值(即，执行1:1像素值比较处理)。在这种情况下，可以基于每个颜色空间中的对应像素位置来获得要比较的像素值。像素值可以是从每个颜色空间中的至少一个像素得出的值。

例如，在一些颜色格式(4:4:4)中，色度空间中的一个像素的像素值和亮度空间中的一个像素的像素值可以用作与相关性信息获取处理对应的像素值。替选地，在一些颜色格式(4:2:0)中，色度空间中的一个像素的像素值和从亮度空间中的一个或更多个像素得出(即，通过下采样处理获得)的像素值可以用作与相关性信息获取处理对应的像素值。

具体地，在前一种情况下，可以将色度空间的p[x,y]与亮度空间的q[x，y]进行比较。在这种情况下，作为像素值，可以按原样使用一个像素的亮度值。在后一种情况下，可以将色度空间中的p[x,y]与亮度空间中的q[2x,2y]、q[2x,2y+1]、q[2x+1,2y]、q[2x+1,2y+1]等进行比较。

在本文中，由于必须执行1:1像素值比较，因此在亮度空间的情况下，可以将多个像素之一用作用于与色度像素的像素值进行比较的值。即，按原样使用多个像素之中的一个像素的亮度值。替选地，一个像素值可以从多个像素中的两个或更多个(k个，k是2或更大的整数，例如2、4、6等)像素中得出并且被用作要比较的值。即，可以将加权平均(可以向每个像素相等地分配权重或非均匀地分配权重)应用于两个或更多个像素。

当如以上示例中那样存在多个对应像素时，预定像素的像素值或者从两个或更多个像素得出的像素值可以用作要比较的值。在这种情况下，可以单独地或组合地使用用于根据编码/解码设置在每个颜色空间中得出要比较的像素值的两种方法中的一种。

以下可以是基于如下假设的描述：使用一个像素的像素值用于在当前颜色空间中进行的比较，并且可以使用其他颜色空间中的一个或更多个像素用于得出像素值。例如，假设颜色格式是YCbCr 4:2:0，则当前颜色空间是色度空间，而另一颜色空间是亮度空间。将集中于不同的颜色空间来描述用于得出像素值的方法。

例如，可以根据块的形状(水平长度与垂直长度的比率)来确定像素值。作为详细示例，可以将与当前块(或要预测的块)的较长边相邻的色度空间的p[x,y]与亮度空间的q[2x,2y]进行比较，并且将与较短边相邻的色度空间的p[x,y]与亮度空间中的q[2x,2y]和q[2x+1,2y]的平均值进行比较。

在这种情况下，可以将诸如以上的自适应设置应用于一些块类型(矩形)，而与水平长度与垂直长度的比率无关，或者可以仅当水平长度与垂直长度的比率大于或等于/大于特定比率(k:1或1:k，k为2或更大，例如2:1、4:1等)时才应用诸如以上的自适应设置。

例如，可以根据块的尺寸来确定像素值。作为详细示例，在当前块的尺寸大于或等于/大于特定尺寸(M×N。例如，2^m×2ⁿ，其中m和n是大于或等于1的整数，例如2至6)时，可以将色度空间的p[x,y]与亮度空间的q[2x+1,2y]进行比较，并且在当前块的尺寸小于或等于/小于特定尺寸时，可以将色度空间的p[x,y]与亮度空间的q[2x,2y]、q[2x,2y+1]的平均值进行比较。

在本文中，可以存在用于尺寸比较的边界值中的一个或更多个，或者诸如两个或更多个(M₁×N₁、M₂×N₂等)的自适应设置也是可能的。

以上示例是可以在计算量方面考虑的一些情况，并且包括与以上示例相反的情况的各种修改的示例是可能的。

例如，可以根据块的位置来确定像素值。作为详细示例，在当前块位于预设区域(假设在该示例中为最大编码块)内时，可以将色度空间的p[x,y]与亮度空间的q[2x,2y]、q[2x+1,2y]、q[2x,2y+1]、q[2x+1,2y+1]的平均值进行比较，并且当位于预设区域的边界(假设在该示例中为左上边界)处时，可以将色度空间的p[x,y]与亮度空间的q[2x+1,2y+1]进行比较。预设区域可以是指基于切片、图块、块等设置的区域。具体地，可以基于切片、图块和最大编码/预测/变换块的整数倍来获得预设区域。

作为另一示例，在当前块位于区域的某边界(假设在该示例中为上边界)处时，可以将与某边界(上)相邻的色度空间的P[x,y]与亮度空间的q[2x+1,2y+1]相比较，并且可以将与该区域的内部(左)相邻的色度空间的P[x,y]与q[2x,2y]、q[2x+1,2y]、q[2x,2y+1]、q[2x+1,2y+1]的平均值进行比较。

以上示例是可以在存储器方面考虑的一些情况，并且包括与以上示例相反的情况的、各种修改的示例是可能的。

通过上述示例，描述了在每个颜色空间中比较的像素值得出的各种情况。如在以上示例中，可以考虑各种编码/解码元素以及块的尺寸/形状/位置来确定用于获得相关性信息的像素值得出设置。

通过以上示例，描述了与当前块对应的块的一个或两个参考像素行分别被用作要被比较以获得相关性信息的区域的情况。即，在YCbCr 4:4:4的情况下，分别使用一个参考像素行，并且在其他格式中，在一些颜色空间中，是指如图7中的一些颜色空间<颜色N>中那样使用两个参考像素行的情况。此外，可以不限于这种情况，并且各种修改的示例可以是可能的。

下面将集中对当前颜色空间中的参考像素行进行描述，并且应当理解，在其他颜色空间中，可以根据颜色格式来确定参考像素行。例如，可以使用相同数目的参考像素行，或者可以使用两倍数目的参考像素行。

在本发明的颜色复制模式中，可以使用(或比较)k个参考像素行(其中k为1或更大的整数，例如1和2)来获得相关性信息。此外，可以固定地或自适应地使用k个参考像素行。下面，将描述设置参考像素行的数目的各种示例。

例如，可以根据块的形状(水平长度与垂直长度的比率)来确定参考像素行的数目。作为详细的示例，可以使用与当前块的较长侧相邻的两个参考像素行，并且可以使用与当前块的较短侧相邻的一个参考像素行。

在这种情况下，上述内容可以应用于一些块类型(矩形)，而不管水平长度与垂直长度的比率如何，或者可以仅在水平/垂直长度比率大于或等于特定比率(k:1或1:k。k是2或更大，例如2:1、4:1等)时应用上述内容。此外，对于水平长度与垂直长度的比率，存在两个或更多个边界值，在2:1或1:2的情况下，使用与较长侧(或较短侧)相邻的两个参考像素行，而在4:1或1:4的情况下，可以进行扩展，例如使用与较长侧(或较短侧)相邻的三个参考像素行。

在以上示例中，根据水平长度与垂直长度的比率，较长侧(或较短侧)使用s个参考像素行，并且较短侧(或较长侧)使用t个参考像素行。在这种情况下，可以是s大于或等于t(即，s和t是大于或等于1的整数)的情况的示例。

例如，可以根据块的尺寸来确定参考像素行的数目。作为详细的示例，在当前块的尺寸大于或等于/大于特定尺寸(M×N。例如，2^m×2ⁿ，其中m和n为大于或等于1的整数，例如2至6)时，可以使用两个参考像素行，并且当该尺寸小于或等于/小于预定尺寸时，可以使用一个参考像素行。

在本文中，可以如以上示例中那样存在用于尺寸比较的一个边界值，或者诸如两个或更多个(M₁×N₁、M₂×N₂等)的自适应设置可以是可能的。

例如，可以根据块的位置来确定参考像素行的数目。作为详细的示例，在当前块位于预设区域(能够从与获得相关性信息相关的先前描述得出。在该示例中假设最大编码块)内部时，可以使用两个参考像素行，并且在当前块位于预设区域的边界(在该示例中假设左上边界)处时，可以使用一个参考像素行。

作为另一示例，在当前块位于预设区域的某一边界(在此示例中假设上边界)处时，可以使用与某一边界(上)相邻的一个参考像素行，并且可以使用与预设区域的内部(左)相邻的两个参考像素行。

以上示例是可以在相关性信息的准确性和存储方面考虑的一些情况，并且包括与以上示例相反的情况的各种修改的示例是可能的。

通过上述示例，描述了在每个颜色空间中设置用于获得相关性信息的参考像素行的各种情况。如在以上示例中，可以考虑各种编码/解码元素以及块的尺寸/形状/位置来确定用于获得相关性信息的参考像素行设置。

下面描述要比较(或参考)以获得相关性信息的区域的另一情况。要比较的区域可以针对当前颜色空间中与当前块相邻的左、上、左上、右上、左下等的位置相邻的像素。

在这种情况下，可以设置要比较的区域，包括左、上、左上、右上和左下位置中的所有块。替选地，参考像素区域可以由在一些位置处的块的组合来配置。例如，要比较的区域可以由相邻块的组合来配置，相邻块的组合例如是左块/上块/左块+上块/左块+上块+左上块/左块+左下块/上块+右上块/左块+左上块+左下块/上块+左上块+右上块/左块+上块+右上块/左块+上块+左下块。

图8是根据本发明的实施方式的设置用于在颜色复制模式下获得相关性信息的区域的示例性图。图8中的a至图e可以对应于上述示例(左+上、上+右上、左+左下、左+上+右上、左+上+左下)，并且一些位置处的块可以被划分成子块，并且子块中的一些可以被设置为用于获得相关性信息的区域(图8中的f和g)。也就是说，可以将用于获得相关性信息的区域设置为位于一些方向上的一个或更多个子块。替选地，可以将用于获得相关性信息的区域设置为位于一些方向(a)上的一个或更多个块以及位于一些方向(b)上的一个或更多个子块(其中，a和b意味着不同的方向)。此外，可以通过使用非连续块来设置用于获得相关性信息的区域(图8中的h和i)。

总之，可以将用于获得相关性信息而要比较的区域配置为预定区域。替选地，可以以一些区域的各种组合来配置预定区域。即，要比较的区域可以是固定的，或者是根据编码/解码设置自适应配置的。

在下文中，将看一下在当前颜色空间中哪个方向相邻区域被配置为当前块的参考区域的各种示例。在本文中，假设在不同颜色空间的对应块中，根据当前颜色块的参考区域的配置来确定将什么方向相邻区域配置为参考区域。此外，假设基本参考区域由左块和上块组成。

例如，可以根据块的形状(水平/垂直长度比率)来确定基本参考区域。作为详细的示例，如果当前块在水平方向上较长，则左块、上块和右上块可以被设置为参考区域，并且如果当前块在垂直方向上较长，则左块、上块和左下块可以被设置为参考区域。

在这种情况下，上述内容可以应用于一些块形状(矩形)，而不管水平/垂直长度比率如何，或者可以仅在水平/垂直长度比率大于或等于/大于特定比率(k:1或1:k。k为2或更大，例如2:1、4:1等)时应用上述内容。此外，对于水平/垂直长度比率存在两个或更多个边界值，在2:1(或1:2)的情况下，左块、上块和右上块(或左块、上块和左下块)块被设置为参考区域，而在4:1(或1:4)的情况下，诸如上块和右上块(或左块和左下块)的扩展可以被设置为参考区域。

例如，可以根据块的尺寸来确定基本参考区域。作为详细示例，在当前块的尺寸大于或等于/大于特定尺寸(M×N。例如，2^m×2ⁿ，其中m和n为大于或等于1的整数，例如2至6)时，左块和上块可以被设置为参考区域，并且在当前块的尺寸小于或等于/小于特定尺寸时，可以将左块、上块和左上块设置为参考区域。

在这种情况下，可以存在用于尺寸比较的一个边界值，或者诸如两个或更多个(M₁×N₁、M₂×N₂等)的自适应设置可以是可能的。

例如，可以根据块的位置来确定基本参考区域。作为详细的示例，在当前块位于预设区域(能够从与获得相关性信息相关的先前描述得出。在该示例中假设最大编码块)内部时，左块、上块、左上块、右上块和左下块被设置为参考区域，并且在当前块位于预设区域的边界(在该示例中假设左上边界)处时，左块和上块被设置为参考区域。

作为另一示例，在当前块位于预设区域的某一边界(在该示例中假设上边界)处时，除与某一边界(上边界)相邻的块外，与预设区域相邻的左块和左下块可以被设置为参考区域。即，左块和左下块可以被设置为参考区域。

以上示例是可以在计算量、存储器等方面考虑的一些情况，并且包括与以上示例相反的情况的各种修改的示例是可能的。

通过上述示例，描述了在每个颜色空间中设置用于获得相关性信息的参考区域的各种情况。如在以上示例中，可以考虑各种编码/解码元素以及块的尺寸/形状/位置来确定用于获得相关性信息的参考区域设置。

此外，要比较的区域可以是在当前颜色空间中与当前块相邻的像素。在本文中，可以使用所有参考像素来获得相关性信息，或者可以使用所有参考像素中的一些来获得相关性信息。

例如，在当前块(基于图7中的颜色M)是具有像素范围(a,b)到(a+7,b+7)(即，8×8)的块时，假设要比较的区域(因为可以根据颜色格式解释对应块，因此省略该块)是当前块的左块和上块的一个参考像素行。

在这种情况下，在(a,b-1)到(a+7,b-1)和(a-1,b)到(a-1,b+7)的范围内的所有像素可以包括在要比较的区域中。替选地，可以包括(a,b-1)、(a+2,b-1)、(a+4,b-1)、(a+6,b-1)和(a-1,b)、(a-1,b+2)、(a-1,b+4)、(a-1,b+6)，它们是以上范围内的一些像素。替选地，可以包括(a,b-1)、(a+4,b-1)和(a-1,b)、(a-1,b+4)，它们是以上范围内的一些像素。

以上示例可以适用于减少获得相关性所需的计算量的量的目的。在设置被比较区域的参考像素采样以获得相关性信息时，可以考虑诸如块的尺寸/形状/位置的各种编码/解码元素以及以上已经描述的许多示例。此外，可以从先前的示例中得出相关应用的示例，并且因此省略详细描述。

通过上述各种示例，检查影响相关性信息的获取的各种元素(对应像素值的得出、参考像素行的数目、参考区域方向设置、参考像素采样等)。其中以上示例单独地或组合地影响相关性信息的获取的许多不同的情况可以是可能的。

以上描述可以被理解为用于获得一个相关性信息的预设处理。此外，如已经提及的，可以根据编码/解码设置来支持一个或更多个相关性信息。在这种情况下，可以通过放置两个或更多个预设设置(即，影响相关性信息的获取的元素的组合)来支持两个或更多个相关性信息。

总之，可以从当前块的相邻区域和对应块的相邻区域得出基于相关性信息的参数信息。即，可以基于相关性信息生成至少一个参数(例如，<a1,b1>、<a2,b2>、<a3,b3>等)，并且所述至少一个参数可以用作乘以不同颜色空间中的经重建块的像素的值或与该像素相加的值。

下面继续描述在颜色复制模式中应用的线性模型。通过应用通过以上处理获得的参数，可以执行基于以下线性模型的预测。

pred_sample_C(i，j)＝axrec_sample_D(i，j)+b

在以上等式中，pred_sample_C表示当前颜色空间中的当前块的预测像素值，并且rec_sample_D表示另一颜色空间中的对应块的重建像素值。可以通过使当前块的相邻区域与对应块的相邻区域之间的回归误差最小化来获得a和b，并且a和b可以通过以下等式来计算。

在以上等式中，D(n)表示对应块的相邻区域，C(n)表示当前块的相邻区域，并且N表示基于当前块的水平或垂直长度而设置的值(在该示例中，假设该值是水平或垂直长度的最小值的两倍)。

此外，可以使用诸如用于基于每个颜色空间的相邻区域的最小值和最大值来获得相关性信息的直线模型(直线方程)的各种方法。在这种情况下，作为用于获得相关性信息的模型，可以使用一个预设模型，或者可以选择多个模型中的一个。在本文中，选择多个模型中的一个的含义表示模型信息可以被视为是基于相关性信息的参数信息的编码/解码元素。即，当支持多个参数时，这可能意味着，即使剩余的相关性信息设置相同，也可以根据用于获得相关性的不同模型而将剩余的相关性信息设置分类为不同的参数信息。

在一些颜色格式(如果不是4:4:4)中，当前块的一个像素可以对应于对应块的一个或更多个(2、4等)像素。例如，在4:2:0的情况下，色度空间中的p[x,y]可以对应于亮度空间中的q[2x,2y]、q[2x,2y+1]、q[2x+1,2y]、q[2x+1,2y+1]等。

为了获得一个预测像素值，可以从预定像素或对应的多个像素中的两个或更多个像素的像素值(或预测值)(7b)中得出一个像素值。也就是说，为了获得一个预测像素值，可以获得在将相关性信息应用于另一颜色空间中的对应一个或更多个像素之前的重建值。取决于编码/解码设置，各种情况可以是可能的，并且由于可以从关于得出对应像素值以获得相关性信息(7a)的部分中得到相关描述，因此将省略对其的详细描述。然而，7a和7b可以具有相同或不同的设置。

(颜色模式)

可以支持与获得用于从位于不同颜色空间中的区域生成预测块的预测模式的方法相关的预测模式。

例如，用于获得用于使用颜色空间之间的相关性在另一颜色空间中生成预测块的预测模式的方法的预测模式可以是示例。即，颜色模式可以是，通过使用现有的预测方向和方法，根据与不同的颜色空间对应的块的预测模式自适应地确定的模式，而不具有任何特定的预测方向或预测方法。

在这种情况下，可以根据块划分设置来获得各种颜色模式。

例如，在根据一些颜色分量(亮度)的块划分的结果来隐式地确定一些颜色分量(色度)的块划分的设置(即，当显式地确定亮度分量的块划分时)，一些颜色分量(色度)的一个块可以对应于一些颜色空间(亮度)的一个块。因此，(假设4:4:4。对于其他格式，可以根据水平长度与垂直长度的比率来得出该示例的说明)，如果当前块(色度)具有(a,b)到(a+m,b+n)的像素范围，则即使当前块指向对应块(亮度)的(a,b)到(a+m,b+n)的像素范围内的任何像素位置，由于它指向一个块，因此可以在包括对应像素的块中获得一种预测模式。

替选地，在根据每个颜色分量支持单独的块划分(即，显式地确定每个颜色空间的块划分)的情况下，一些颜色分量(色度)的一个块可以对应于一些颜色空间(亮度)的一个或更多个块。因此，即使当前块(色度)具有与以上示例的像素范围相同的像素范围，根据块划分的结果，对应的块(亮度)也可以由一个或更多个块组成。因此，可以根据当前块的像素范围内的像素的位置，从由对应像素指示的对应块获得不同的预测模式(即，一个或更多个模式)。

如果色度分量的帧内预测模式候选组支持一种颜色模式，则可以设置从对应块的何处获得预测模式。

例如，可以在对应块的中心-左上-右上-左下-右下等的位置处获得预测模式。即，如果按以上顺序获得预测模式，但是对应块不可用(例如，编码模式是帧间等)，则可以获得与下一顺序对应的位置的预测模式。替选地，可以获得在该位置处的块中具有高频率(两次或更多次)的预测模式。

替选地，当支持多种颜色模式时，可以根据优先级设置在何处获得预测模式。替选地，根据优先级来获得一些预测模式以及获得在该位置处的块中具有高频率的预测模式的组合可以是可能的。在本文中，优先级是示例，并且各种修改的示例可以是可能的。

颜色模式和颜色复制模式可以是能够支持色度分量的预测模式。例如，可以配置用于色度分量的预测模式候选组，包括水平、垂直、DC、平面、对角线模式等。替选地，可以配置包括颜色模式和颜色复制模式的帧内预测模式候选组。

即，配置可以是定向+非定向+颜色模式或定向+非定向+颜色复制模式，或定向+非定向+颜色模式+颜色复制模式。此外，可以包括并配置用于附加色度分量的模式。

可以根据编码/解码设置来确定是否支持颜色模式和颜色复制模式，在这种情况下，可以进行隐式或显式处理。替选地，显式+隐式处理的混合配置可以是可能的。这包括与颜色模式和颜色复制模式相关的详细设置(例如，支持的模式的数目等)，使得可以进行隐式或显式处理。

例如，相关信息可以显式地包括在序列、图片、切片、图块、块等的单元中，或者可以根据各种编码/解码元素(例如，图像类型、块位置、块尺寸、块形状、块宽度/长度比率等)来隐式地确定相关信息。替选地，取决于编码/解码元素，可以隐式地确定一些条件，或者可以在一些条件下显式地生成相关信息。

图9是用于说明根据本发明的实施方式的用于帧内预测的参考像素配置的示例性图。预测块的尺寸和形状(M×N)可以通过块划分单元来获得。

被定义为帧内预测的最小块尺寸和最大块尺寸的块范围信息可以包括诸如序列、图片、切片、图块等的单元中的相关信息。通常，指定水平长度和垂直长度(例如，32×32、64×64等)，使得可以设置尺寸信息，但是也可以以水平长度与垂直长度的乘积的形式设置尺寸信息。例如，当水平与垂直的乘积是64时，最小块尺寸可以对应于4×16、8×8、16×4等。

此外，可以对通过指定水平长度和垂直长度来设置尺寸信息或者以乘积形式设置尺寸信息进行混合并使用。例如，对于最大块尺寸，如果水平长度与垂直长度的乘积是4096并且两个长度之一的最大值是64，则64×64可以对应于最大块尺寸。

如在以上示例中，除了最小块和最大块尺寸信息之外，还混合块划分信息以最终确定预测块的尺寸和形状。在本发明中，预测块的水平长度和垂直长度必须大于或等于s(例如，s是2的倍数，例如16、32)，并且水平/垂直长度之一大于或等于k(例如，k是4、8等)。此外，尽管可以分别在等于或小于v和w的设置(例如，v和w是2的倍数，例如16、32、64等)下定义块的水平长度和垂直长度。但是可以不限于此，并且各种块范围设置可以是可能的。

帧内预测通常可以以预测块为单位来执行，但是根据块划分单元的设置，可以以编码块、变换块等为单位来执行。在检查块信息之后，参考像素配置单元可以配置用于预测当前块的参考像素。在这种情况下，可以通过临时存储器(例如，阵列<Array>，第一阵列、第二阵列等)来管理参考像素，针对块的每个帧内预测处理生成并移除参考像素，并且可以根据参考像素的配置来确定临时存储器的尺寸。

在该示例中，描述了假设使用左块、上块、左上块、右上块和左下块进行当前块的预测，但是可以不限于此，并且可以使用具有不同配置的块候选组进行当前块的预测。例如，参考像素的相邻块的候选组可以是遵循光栅或Z扫描的示例，并且可以根据扫描顺序移除候选组中的一些候选或者候选组中的一些候选可以被配置成包括其他块候选(例如，右块、下块、右下块等)。

此外，如果支持某种预测模式(颜色复制模式)，则不同颜色空间的一些区域可以用于当前块的预测，并且其也可以被认为是参考像素。现有参考像素(当前块的空间相邻区域)和附加参考像素可以作为一个或单独地进行管理(例如，参考像素A和参考像素B。即，参考像素存储器可以被单独地命名，就好像临时存储器被单独地使用一样)。

例如，基本参考像素的临时存储器的尺寸可以为<2×blk_width+2×blk_height+1>(基于一个参考像素行)，并且附加参考像素的临时存储器的尺寸可以为<blk_width×blk_height>(当4:4:4时)(当4:2:0时需要blk_width/2×blk_height/2)。临时存储器尺寸是一个示例，并且不限于此。

此外，可以将其(包括要被比较(或参考)以获得相关性信息的当前块和对应块的相邻区域)作为参考像素来进行管理。即，可以根据颜色复制模式来管理附加参考像素。

总之，当前块的相邻区域可以被包括作为用于当前块的帧内预测的参考像素，并且根据预测模式，不同颜色空间的对应块及其相邻区域可以被包括作为参考像素。

图10是示出根据本发明的实施方式的与用于帧内预测的目标块相邻的块的概念图。详细地，图10的左侧表示在当前颜色空间中与当前块相邻的块，并且右侧表示在另一颜色空间中的对应块。为了便于描述，将在当前颜色空间中与当前块相邻的块是基本参考像素配置的假设下进行以下描述。

如图9所示，用于当前块的预测的参考像素可以被配置为左块、上块、左上块、右上块和左下块的相邻像素(图9中的Ref_L、Ref_T、Ref_TL、Ref_TR、Ref_BL)。在这种情况下，参考像素通常由最靠近当前块的相邻块的像素(图9中的a作为参考像素行)组成，但是也可以将其他像素(图9中的b和其他外部行上的像素)配置成参考像素。

与当前块相邻的像素可以被分类为至少一个参考像素行，并且最靠近当前块的像素可以被分类为ref_0{例如，当前块的边界像素与该像素之间的距离为1的像素。p(-1,-1)到p(2m-1,-1)，p(-1,0)到p(-1,2n-1)}、下一相邻像素被分类为ref_1{例如，当前块的边界像素与该像素之间的距离是2。p(-2,-2)到p(2m,-2)，p(-2,-1)到p(-2,2n)}、下一相邻像素被分类为ref_2{例如，当前块的边界像素与该像素之间的距离是3。p(-3,-3)到p(2m+1,-3)，p(-3,-2)到p(-3,2n+1)}。即，可以根据与当前块的边界像素相邻的像素距离将与当前块相邻的像素分类为参考像素行。

在本文中，所支持的参考像素行的数目可以是N或更多，并且N可以是1或更大的整数，例如1至5。在这种情况下，通常从最靠近当前块的参考像素行开始将参考像素行顺序地包括在参考像素行候选组中，但是不限于此。例如，当N为3时，可以将候选组顺序地配置为<ref_0、ref_1、ref_2>，或者还可以利用排除最近的参考像素行的配置或诸如<ref_0、ref_1、ref_3>、<ref_0、ref_2、ref_3>、<ref_1、ref_2、ref_3>的非顺序配置对候选组进行配置。

可以使用候选组中的所有参考像素行来执行预测，或者可以使用一些参考像素行(一个或更多个)来执行预测。

例如，可以根据编码/解码设置来选择多个参考像素行中的一个，并且可以使用参考像素行来执行帧内预测。替选地，可以选择多个参考像素行中的两个或更多个来使用对应的参考像素行(例如，将加权平均应用于每个参考像素行的数据)以执行帧内预测。

在本文中，可以隐式地或显式地确定参考像素行选择。例如，在隐式的情况下，这意味着根据编码/解码设置来确定参考像素行，编码/解码设置是根据诸如图像类型、颜色分量和块的尺寸/形状/位置中的一个或者两个或更多个元素的组合来定义的。此外，显式情况意味着可以以诸如块为单位生成参考像素行选择信息。

尽管本发明主要描述了使用最近的参考像素行来执行帧内预测的情况，但是应当理解，当使用多个参考像素行时，以下描述的各种实施方式可以应用于相同或类似的应用。

本发明的帧内预测的参考像素配置单元可以包括参考像素生成单元、参考像素内插单元和参考像素滤波器单元，并且可以包括以上配置的全部或部分。

可以通过检查参考像素配置单元中的参考像素的可用性来对可用参考像素和不可用参考像素进行分类。在本文中，当满足以下条件中的至少一个时，将参考像素的可用性确定为不可用。当然，可以基于稍后要描述的示例中未提及的附加条件来确定参考像素的可用性，但是在本发明中，假设其被限制为稍后要描述的示例中的条件。

例如，如果满足以下情况中的任何情况，则可以将参考像素确定为不可用：如果参考像素位于图片边界的外部；如果参考像素不属于与当前块相同的划分单元(例如，不能彼此参考的单元，例如切片和图块。然而，如果诸如切片或图块的单元具有可以相互参考的特性，则即使该单元不是同一划分单元，该例外也要被处理。)；以及如果没有完成编码/解码。也就是说，当以上条件都不满足时，可以将参考像素确定为可用。

此外，可以基于编码/解码设置来限制参考像素的使用。例如，即使根据以上条件确定参考像素是能够使用的，也可以根据是否执行受限的帧内预测(例如constrained_intra_pred_flag)来限制参考像素的使用。当对诸如通信环境的外部因素执行抗差错编码/解码时，或者当禁止将从另一图像参考和重建的块用作参考像素时，可以执行受限的帧内预测。

当禁用有限帧内预测(例如，I图片类型或者P或B图片类型中的constrained_intra_pred_flag＝0)时，参考像素候选块可以是可用的(然而，当满足上述条件时，例如位于图片边界内)。

替选地，当激活有限的帧内预测(例如，在P或B图片类型中constrained_intra_pred_flag被设置为1)时，可以根据编码模式(帧内或帧间)确定是否使用参考像素候选块。通常，参考像素候选块可以在帧内模式下使用，而可以不在帧间模式下使用。在以上示例中，假设根据编码模式确定是否使用参考像素候选块，但是可以根据各种其他编码/解码因素来确定是否使用参考像素候选块。

由于参考像素由一个或更多个块组成，因此当确认并分类参考像素的可用性时，可以将参考像素分类为三种情况：<全部可用>、<一些可用>和<不是全部可用>。在除<全部可用>的情况之外的所有情况下，可以填充或者生成在不可用候选块位置(A)处的参考像素。替选地，在预测处理中可以不使用不可用候选块位置处的参考像素，并且可以执行预测模式编码/解码，该预测模式编码/解码不包括根据位置(B)处的参考像素执行预测的预测模式。

当参考像素候选块可用时，对应位置处的像素可以被包括在当前块的参考像素存储器中。在这种情况下，像素数据可以被原样复制，或者可以通过诸如参考像素滤波和参考像素内插的处理而被包括在参考像素存储器中。

当参考像素候选块不可用时，可以在参考像素处理A或B设置下对像素数据进行处理。以下将描述根据每个设置的当参考像素候选块不可用时的处理的示例。

(A)当参考像素候选块不可用时，可以将通过参考像素生成处理获得的对应位置处的像素包括在当前块的参考像素存储器中。

以下描述作为参考像素生成处理的示例的生成在不可用位置处的参考像素的方法。

例如，可以使用任意像素值来生成参考像素。此处，任意像素值是指属于像素值范围(例如，基于位深度的像素值范围或者根据图像中的像素分布的像素值)的一个像素值(例如，像素值范围的最小值、最大值、中值等)。详细地，该示例可以在所有参考像素候选块都不可用时被应用，但不限于此，并且即使在仅一些参考像素候选块不可用时也可以被应用。

替选地，可以从其中已经完成图像编码/解码的区域生成参考像素。详细地，可以基于与不可用块相邻的至少一个可用块(或可用参考像素)来生成参考像素。在这种情况下，可以使用外推、内插和复制中的至少一种。

(B)当参考像素候选块不可用时，可以限制使用在对应位置处的像素的预测模式的使用。例如，在图9中，当TR位置处的参考像素不可用时，限制使用在对应位置处的像素执行预测的模式51至66(图4)的使用，并且可以允许使用在位置T、TL、L和BL处的参考像素而不是在TR位置处的参考像素执行预测的模式2至50(垂直模式)的使用(在该示例中，仅描述定向模式)。

作为另一示例，当所有位置处的参考像素都不可用时，可能不存在允许的预测模式。在这种情况下，如在A设置的一些配置中那样，可以使用任意像素值来生成预测块，并且可以将用于在对后续块的预测模式进行编码/解码的处理中参考的预设预测模式(例如，DC模式等)设置为对应块的预测模式。也就是说，可以隐式地省略对预测模式进行编码/解码的处理。

以上示例涉及与对预测模式进行编码/解码的处理相关联的情况。稍后将在支持A设置的假设下描述本发明的预测模式编码/解码单元。如果支持B设置，则可以改变预测模式编码/解码单元的部分配置。由于以上已经描述了在所有位置处的参考像素都不可用的情况，因此稍后将描述在一些位置处的参考像素不可用的情况。

例如，假设在MPM候选组中包括相邻块的预测模式。当相邻块的预测模式是使用对于当前块不可用的块位置处的参考像素的预测模式时，可以添加从MPM候选组中排除对应模式的处理。也就是说，可以在预测模式编码/解码单元中将检查不可用模式的处理添加到稍后要描述的检查冗余的处理。此处，可以通过各种限定来指定不可用模式，但是在该示例中，假设不可用模式是使用在不可用块位置处的参考像素的预测模式。因此，根据优先级执行预测模式的MPM候选组配置处理，但是可以通过检查冗余的处理和/或检查不可用模式的处理来确定是否包括在MPM候选组中。此处，如果当前优先级的预测模式未通过检查处理，则下一优先级的预测模式可以是MPM候选组配置处理中的候选。

替选地，假设当图9的TR位置、T位置和TL位置的参考像素不可用时，通过使用在这些位置处的像素执行预测的模式19至66的使用受到限制。在这种情况下，使用在L位置和BL位置处的参考像素执行预测的模式2至18可以是可用的预测模式。在这种情况下，假设包括在MPM候选组中的MPM候选的数目是6，则包括在非MPM候选组中的非MPM候选的数目可以是12。在这种情况下，将MPM候选的数目保持在6(与所有模式相比是大数目)可能是低效的。因此，当预测模式的使用由于不可用的参考像素而受到限制时，可以改变熵编码/解码设置，例如MPM候选的数目调整(例如，p->q，p>q)和二值化(例如，可变长度二值化A->可变长度二值化B等)。也就是说，可以支持自适应预测模式编码/解码，并且将省略其详细描述。

此外，相同地是，由于在非MPM候选组中不存在出现其使用受到不可用的参考像素限制的预测模式的可能性，因此可能不需要在候选组中包括对应的模式。这意味着在诸如调整非MPM候选的数目(例如，s->t，s->t)和二值化(例如，固定长度二值化->可变长度二值化等)的熵编码/解码的设置中，可以支持类似MPM候选组的自适应预测模式编码/解码。

通过以上示例，描述了当参考像素不可用时的各种处理示例。这可以发生在颜色复制模式以及一般预测模式的情况下。

接下来，当支持颜色复制模式时，基于参考像素的可用性执行分类，将参考像素分为可用参考像素和不可用参考像素，并且将描述其各种处理的示例。

图11是用于说明根据本发明的实施方式的在颜色复制模式下的参考像素的可用性的示例性图。图11假设当前块(当前颜色空间)和对应块(不同颜色空间)的左块和上块参考用于获得相关性信息的区域的情况以及部分颜色格式的情况(YCbCr 4:4:4)。

已经提及的是，可以基于当前块的位置(例如，它是否位于图片边界之外等)来确定参考像素的可用性。图11示出了基于当前块的位置的参考像素的可用性的各种示例。

在图11中，当前块的参考像素的可用性意味着与对应块相同的情况(结果)。然后，假设当前块被划分成另一颜色空间中的与当前颜色空间相同的划分单元(图块、切片等)(然而，有必要考虑颜色格式的组成比)。

图11中的a示出了所有参考像素可用的情况，图11中的b和c示出了一些参考像素(分别为上块和左块)可用的情况，并且图11中的d示出了所有参考像素不可用的情况。

除图11中的a外，由于至少一个参考像素不可用，因此需要对该参考像素进行处理。根据参考像素处理A设置，可以通过参考像素生成处理来执行填充不可用区域的处理。在这种情况下，可以通过上述参考像素生成处理(一般帧内预测)来处理当前块的参考像素。

对应块的参考像素可以与当前块相同地或不同地被处理。例如，如果在当前块的参考像素中的L2位置(参照图10)处的参考像素不可用，则可以通过任意像素值或者通过可用参考像素来生成对应块的参考像素。具体地，可用参考像素可以位于不可用参考像素的左/右或上/下方向(在该示例中为L1、L3等)，或者位于同一参考像素行(在该示例中为R3等)上。

另一方面，对应块的参考像素也可以通过任意像素值或者通过可用参考像素来生成。然而，可用参考像素的位置可以与当前块相同或不同。详细地，可用参考像素可以位于诸如左上、右上、左下、右下的各种方向以及不可用参考像素的左/右/上/下方向。由于当前块的编码/解码尚未完成，因此图10的像素a至p不属于可用参考像素。然而，由于对应块的编码/解码已完成，图10的像素aa至pp也可以属于可用参考像素。因此，可以通过使用诸如对可用参考像素的内插、外推、复制或滤波的各种方法来生成在不可用位置处的参考像素。

通过以上处理，可以生成诸如图11的b至d的不可用位置处的参考像素并且将其包括在参考像素存储器中，并且可以使用对应位置处的参考像素来获得如图11A所示的相关性信息。

以下继续对根据参考像素处理B设置的情况的描述。可能限制不可用位置处的参考像素的使用。此外，可能限制预测模式的使用，在该预测模式中，从不可用位置处的参考像素执行预测(应用自适应预测模式编码/解码等)。或者，其他处理也是可能的。

首先，将描述限制不可用位置处的参考像素的使用的情况。如图11A所示，使用当前块和对应块中的每一个的左块和上块来获取相关性信息，但是图11B和图11C对应于一些参考像素不可用的情况。在这种情况下，不使用不可用参考像素，并且可以通过使用可用参考像素来获得相关性信息。另一方面，可能有必要考虑没有足够的数据来获得相关性信息的情况。

例如，在当前块(M×N)的左(N)块和上(M)块是用于获得相关性信息的区域并且可用参考像素的数目大于或等于k(0＜k＜＝(M+N))时，在获得相关性信息的处理中可以使用参考像素。如果可用参考像素的数目小于或等于k，则在获得相关性信息的处理中不可以使用参考像素。

或者，当左块中的可用参考像素的数目大于或等于p(0<p<＝N)并且上块中的可用参考像素的数目大于或等于q(0<q<＝M)，在获得相关性信息的处理中可以使用参考像素。如果左块中的可用参考像素的数目小于或等于p或者上块中的可用参考像素的数目小于或等于q，则在获得相关性信息的处理中不可以使用参考像素。

前一种情况可以是根据在用于获得相关性信息的整个区域中的边界值条件进行分类。后一种情况可以是根据在用于获得相关性信息的某个(部分)区域中的边界值条件进行分类。在后一种情况下，其可以是将用于获得相关性信息的相邻区域分类成左位置、上位置、左上位置、右上位置和左下位置的示例，但是当基于各种相邻区域划分进行分类(例如，分类成左位置和上位置，在这种情况下，上+右上的块被分类成上*，而左+左下的块被分类成左*)时，其可以是适用的。。

在后一种情况下，对于每个区域，边界值设置可以是相同或不同的。例如，当在左块中所有参考像素(N)都可用时，可以在获得相关性信息的处理中使用参考像素，并且当在上块中至少有一个参考像素可用(即，某些参考像素可用)时，在获得相关性信息的处理中可以使用参考像素。

此外，在以上示例中，可以取决于颜色复制模式(例如，当支持图8A至图8C时)支持相同或不同的设置。可以根据其他编码/解码设置(例如，图像类型、块尺寸、形状、位置、块划分类型等)来不同地限定相关设置。

当不执行相关性信息获取处理(即，甚至在相关性信息获取处理中不使用一个参考像素)时，也可以隐式地获得相关性信息。例如，在颜色复制模式等式中，a和b可以分别被设置为1和0(即，使用对应块的数据照原样作为当前块的预测值)。替选地，可以使用已经在颜色复制模式下被编码/解码的块的相关性信息或预设的相关性信息。

替选地，可以用任意值(例如，像素值范围的位深度或最小值、中值、最大值等)填充当前块的预测值。也就是说，可以是与在一般帧内预测中所有参考像素都不可用时执行的方法类似的情况。

其中隐式地获得如以上示例中的相关性信息的情况或者其中用任意值填充预测值的情况可以是适用于如图11D所示的情况的示例。也就是说，这是因为在获得相关性信息的处理中甚至不使用一个参考像素。

以下描述限制使用从不可用位置处的参考像素执行预测的预测模式的情况。

图12是用于说明根据本发明的实施方式的颜色复制模式下的参考像素的可用性的示例性图。在稍后描述的示例中，假设当前块和对应块的左块、上块、右上块和左下块是用于获得相关性信息的区域。此外，支持三种颜色复制模式(模式A、模式B和模式C)，并且假设每种模式都从每个块的左+上、上+右上和左+左下的块中获得相关性信息。

参照图12，图12的a示出了当前块位于图像(图片、切片、图块等)内部的情况，并且图12的b示出了当前块位于图像的左边界处的情况。图12的c示出了当前块位于图像的上边界处的情况，并且图12的d示出了当前块位于图像的上边界和左边界处的情况。也就是说，假设基于当前块的位置确定参考像素的可用性。

参照图12，在图12的a中可以支持模式A、模式B和模式C，在图12的b中可以在支持模式B，在图12的c中可以支持模式C，而在图12的d中，没有模式可以被支持。也就是说，即使用于获得相关性信息的一个参考像素不可用，也可能不支持对应的模式。

例如，当构造色度分量的帧内预测模式候选组时，可以包括定向和非定向模式、颜色模式和颜色复制模式。在这种情况下，假设候选组中总共包括7种预测模式，其中包括4种预测模式(例如DC模式、平面模式、垂直模式、水平模式和对角线模式)、1种颜色模式和3种颜色复制模式。

如在以上示例中，可以排除从不可用参考像素获得相关性信息的颜色复制模式。在图12的c中，可以利用除模式C外的其余六种预测模式来构造色度分量的候选组。也就是说，可以将预测模式候选的数目从m调整为n(m>n。n是大于或等于1的整数)。可能需要改变熵编码/解码，例如，预测模式索引的设置和二值化等。

在图12的d中，可以排除模式A、模式B和模式C，并且可以利用诸如定向模式和非定向模式以及颜色模式的其余预测模式来构造总共四个候选。

如在以上示例中，可以通过基于不可用的参考像素限制对预测模式的使用来构造帧内预测模式候选组。

当如以上示例中那样应用参考像素处理B设置时，可以支持各种处理方法。根据编码/解码设置，可以基于一种处理方法隐式地或显式地执行参考像素处理和帧内预测。

在以上示例中，基于当前块的位置来确定相邻区域中的参考像素的可用性。也就是说，当前块和对应块在图像(图片、切片、图块、最大编码块等)中具有相同位置，并且因此，如果特定块(当前块或对应块)与图像边界相邻，则对应块也位于图像边界处。因此，当基于每个块的位置确定参考像素的可用性时，产生相同的结果。

此外，作为用于确定参考像素的概率的标准，以上已经描述了受限制的帧内预测等。当前块和对应块的相邻区域中的参考像素的概率可能不相同。

图13是用于说明根据本发明的实施方式的在颜色复制模式下的参考像素的可用性的示例性图。在稍后描述的示例中，假设当前块和对应块的左块和上块是用于获得相关性信息的区域。也就是说，可以是图12的模式A的描述，并且前提是在其他颜色复制模式中，可以以相同或类似的方式应用以下描述。

参照图13，可以划分成：两个块(当前块和对应块)的所有相邻区域都可用的情况(i)；相邻区域中的仅一些区域可用的情况(ii)；以及全部不可用的情况(iii)。此处，仅一些区域可用的情况(ii)可以划分成：在两个块中存在共同的可用区域的情况(ii-1)；以及在两个块中不存在共同的可用区域的情况(ii-2)。此处，在两个块中存在共同的可用区域的情况(ii-1)可以划分成：在两个块中区域完全匹配的情况(ii-1-1)；以及区域仅部分匹配的情况(ii-1-2)。

参照图13，在分类中，i和iii对应于图13的a和f，ii-2对应于图13的d和e，并且ii-1-1对应于图13的c，并且ii-1-2对应于图13的b。此处，与基于当前块(或对应块)的位置确定参考像素的概率的情况相比，ii-2和ii-1-2可能是要重新考虑的情况。

该处理可以包括在确定在颜色复制模式下的参考像素的概率的步骤中。根据确定结果，可以确定包括对参考像素的处理的颜色复制模式的帧内预测设置。下面将描述基于当前块和对应块的每个相邻区域的可用性的参考像素处理和帧内预测的示例。

在参考像素处理A设置的情况下，可以通过上述各种方法填充不可用位置处的参考像素。然而，根据两个块的相邻区域的可用性，可以根据分类不同地设置详细设置。以下描述ii-2和ii-1-2的情况，并且其他情况的描述可以与本发明的以上描述重复，因此将省略其详细描述。

例如，图13的d(ii-2)可以是当前块和对应块中不存在共同的可用区域的情况。此外，图13的b(ii-1-2)可以是当前块和对应块中的可用相邻区域部分地交叠的情况。在这种情况下，可以在获得相关性信息的处理中使用在不可用位置的相邻区域中填充数据的处理(例如，从可用区域填充)。

替选地，图13的e(ii-2)可以是当前块或对应块的所有相邻区域都不可用的情况。也就是说，两个块之一不具有要在获得相关性信息的处理中使用的数据，并且该区域可以填充有各种数据。

此处，可以使用任意值来填充区域，并且可以使用基于图像的像素值范围(或位深度)的最小值、中值、最大值等。

此处，可以通过诸如从另一颜色空间的可用相邻区域复制的方法来填充区域。在这种情况下，由于两个块的相邻区域通过以上处理具有相同的图像特性(即，相同的数据)，因此可以获得预设的相关性信息。例如，在相关性相关的等式中，a被设置为1，并且b被设置为0。这对应于复制对应块的数据作为当前块的预测值的情况，并且可以设置其他各种相关性信息。

在参考像素处理B设置的情况下，可以通过上述各种方法来限制不可用位置处的参考像素的使用或者对应颜色复制模式的使用。然而，详细设置可以根据可用性的分类进行不同的设置。以下描述情况ii-2和ii-1-2，并且其他情况的描述可以与本发明的以上描述重复，因此将省略其详细描述。

例如，图13的d和图13的e(ii-2)可以是当前块和对应块中不存在共同的可用区域的情况。由于在两个块中不存在可以被比较以获得相关性信息的交叠区域，因此可以限制对应颜色复制模式的使用。替选地，可以用任意值等来填充当前块的预测值。也就是说，这可能意味着不执行获得相关性信息的处理。

替选地，图13的b(ii-1-2)可以是当前块和对应块中的可用相邻区域部分地交叠的情况。因此，甚至仅在一些可用的相邻区域中，也可以执行获得相关性信息的处理。

图14是示出根据本发明的实施方式的颜色复制模式的帧内预测方法的流程图。参照图14，可以检查被指定用于获得相关性信息的参考像素区域(S1400)。此外，可以基于对指定的参考像素区域的可用性的确定来确定针对参考像素的处理设置(S1410)。此外，可以根据所确定的针对参考像素的处理设置来执行帧内预测(S1420)。此处，可以通过根据参考像素处理设置基于可用参考像素区域的数据获得相关性信息来生成根据颜色复制模式的预测块，或者可以生成填充有任意值的预测块。

总之，当支持颜色复制模式用于色度分量的帧内预测时，可以检查用于获得由颜色复制模式指定的相关性信息的比较区域。与一般帧内预测模式不同，颜色复制模式不仅可以检查当前块的相邻区域(尤其是用于相关性信息比较的区域)，而且还可以检查对应块的参考像素的可用性。可以根据预设的参考像素处理设置或者多个参考像素处理设置和参考像素的可用性之一来执行根据上述各种示例的参考像素处理和帧内预测。

此处，可以根据图像类型、颜色分量、块的尺寸/位置/形状、块的水平/垂直长度比、编码模式和帧内预测模式(例如，要被比较以获得颜色复制模式的相关性信息的区域的像素等的范围、位置、数目)或受限制的帧内预测设置隐式地确定参考像素处理设置；或者以例如序列、图片、切片、图块等为单位显式地生成相关信息。在这种情况下，参考像素处理设置可以被限定为受限于当前块(或当前图像)的状态信息或者对应块(或其他颜色图像)的状态信息；或者参考像素处理设置可以通过组合多个状态信息来限定。

尽管已经通过以上示例分别描述了参考像素处理设置A和B，但是两个设置可以单独地使用或组合地使用，并且这也可以基于状态信息或显式信息来确定。

在参考像素内插单元中完成参考像素构造之后，可以通过参考像素的线性内插来生成十进制单位中的参考像素。替选地，可以在以下描述的参考像素滤波器处理之后执行参考像素内插处理。

在这种情况下，在水平、垂直、一些对角线模式(例如，垂直/水平上45度差异的模式，例如右上对角线、右下对角线、左下对角线。对应于图4中的模式2、模式34和模式66)、非定向模式、颜色复制模式等的情况下，可以不执行内插处理，并且可以在其他模式(其他对角线模式)下执行内插处理。

可以根据预测模式(例如预测模式的方向性、dy/dx等)以及参考像素和预测像素的位置，确定执行内插的像素位置(也就是说，对哪个十进制单位进行了内插。从1/2到1/64等进行确定)。在这种情况下，可以应用一个滤波器(例如，假设滤波器具有用于确定滤波器系数或滤波器抽头的长度的相同方程。然而，假设仅根据小数单位的精度<例如，1/32、7/32、19/32>来调整系数)，而不管小数单位的精度如何，或者可以根据十进制单位来选择和应用多个滤波器中的一个(例如，假设滤波器具有用于确定滤波器系数或滤波器抽头的长度的独立方程)。

前一种情况可以是使用整数单位像素作为用于十进制单位像素的内插的输入的示例，而后一种情况可以是分阶段不同的输入像素的示例(例如，在1/2单位的情况下，使用整数像素。在1/4单位的情况下，使用整数和1/2单位像素等)，但是不限于此，并且在本发明中，将主要描述前一种情况。

对于参考像素内插，可以执行固定滤波或自适应滤波，并且这可以根据编码/解码设置(例如，图像类型、颜色分量、块位置/尺寸/形状、块宽度/高度比率、预测模式等中的一个或者两个或更多个的组合)来确定。

固定滤波可以使用一个滤波器执行参考像素内插，而自适应滤波可以使用多个滤波器中的一个执行参考像素内插。

在本文中，在自适应滤波的情况下，可以根据编码/解码设置隐式地或显式地确定多个滤波器中的一个。在本文中，滤波器的类型可以由4抽头DCT-IF滤波器、4抽头三次滤波器、4抽头高斯滤波器、6抽头维纳滤波器和8抽头卡尔曼滤波器组成。此外，也可以根据颜色分量定义所支持的不同滤波器候选组(例如，一些类型的滤波器是相同的或不同的，并且滤波器抽头的长度为短或长等)。

出于通过经由编码/解码处理减少剩余劣化来提高预测精度的目的，参考像素滤波器单元可以对参考像素执行滤波。在这种情况下使用的滤波器可以是低通滤波器，但不限于此。可以根据编码/解码设置(其可以从以上描述中得出)来确定是否应用滤波。此外，当应用滤波时，可以应用固定滤波或自适应滤波。

固定滤波意味着不执行参考像素滤波或者使用一个滤波器来应用参考像素滤波。自适应滤波意味着根据编码/解码设置来确定是否应用滤波，并且如果存在两个或更多个所支持的滤波器类型，则可以选择这些滤波器类型中的一个。

在这种情况下，可以支持按照各种滤波器系数(例如，如[1, 2, 1]/4的3抽头滤波器、如[2, 3, 6, 3, 2]/16的5抽头滤波器等)、滤波器抽头长度等分类为滤波器类型的多个滤波器。

在参考像素构造步骤中引入的参考像素内插单元和参考像素滤波器单元可以是用于提高预测精度的必要部件。可以独立地执行两个处理，但是将两个处理混合(即，被视为一个滤波)的配置也可以是可能的。

预测块生成单元可以根据至少一个预测模式生成预测块，并且基于预测模式使用参考像素。在这种情况下，取决于预测模式，可以在诸如外推的方法(定向模式)中使用参考像素，并且可以在诸如内插、平均(DC)或复制的方法(非定向模式)中使用参考像素。

以下描述根据预测模式使用的参考像素。

在定向模式的情况下，对于水平模式与一些对角线模式(右上对角线)之间的模式(图4中的模式2至17)，可以使用左下块和左块的参考像素(图10中的Ref_BL、Ref_L)；对于水平模式可以使用左块的参考像素；对于水平模式与垂直模式之间的模式(图4中的模式19至49)可以使用左块、左上块和上块的参考像素(图10中的Ref_L、Ref_TL、Ref_T)；对于垂直模式可以使用上块的参考像素(图10中的Ref_L)；并且对于垂直模式与一些对角线模式(左下对角线)之间的模式(图4中的模式51至66)，可以使用上块和右上块的参考像素(图10中的Ref_T、Ref_TR)。

此外，在非定向模式的情况下，可以使用位于左下块、左块、左上块、上块和右上块(图10中的Ref_BL、Ref_L、Ref_TL、Ref_T、Ref_TR)中的一个或更多个块中的参考像素。例如，参考像素可以以各种参考像素组合(例如左、上、左+上、左+上+左上、左+上+左上+右上和左下等)的形式用于帧内预测，并且这可以根据非定向模式(DC、平面等)来确定。在稍后描述的示例中，假设在DC模式下使用左块+上块，并且在平面模式下使用左块+上块+左上块+右上块作为参考像素进行预测。

此外，在颜色复制模式的情况下，另一颜色空间的重建块(图10中的Ref_C)可以用作参考像素。在稍后描述的示例中，将描述使用与当前块对应的块作为参考像素进行预测的情况。

在这种情况下，可以将用于帧内预测的参考像素分类为多个概念(或单元)。例如，可以将用于帧内预测的参考像素分类为一个或更多个类别，例如第一参考像素和第二参考像素。为了便于说明，将用于帧内预测的参考像素划分成第一参考像素和第二参考像素，但也可以理解，还支持其他附加参考像素。

此处，第一参考像素可以是直接用于生成当前块的预测值的像素，并且第二参考像素可以是间接用于生成当前块的预测值的像素。替选地，第一参考像素可以是用于生成当前块中的所有像素的预测值的像素，并且第二参考像素可以是用于生成当前块中的一些像素的预测值的像素。替选地，第一参考像素可以是用于生成当前块的第一预测值的像素，并且第二参考像素可以是用于生成当前块的第二预测值的像素。替选地，第一参考像素可以是基于当前块的预测方向的起点(或原点)定位的像素，并且第二参考像素可以是与当前块的预测方向无关地定位的像素。

如上所述，使用第二参考像素执行预测可以被称为预测块(或校正)处理。也就是说，可以将预测块校正单元添加到本发明的预测块生成单元。

在这种情况下，在预测块生成单元和预测块校正单元中使用的参考像素不限于每个配置中的第一参考像素和第二参考像素。也就是说，预测块生成单元可以使用第一参考像素或者使用第一参考像素和第二参考像素来执行预测。而且，预测块校正单元可以使用第二参考像素或者使用第一参考像素和第二参考像素来执行预测(或校正)。在本发明中，为了便于描述，有必要理解通过划分成多个像素来进行说明。

在本发明的帧内预测中，不仅可以使用第一参考像素执行预测，而且还可以使用第二参考像素执行预测(即，执行校正)，这可以根据编码/解码设置来确定。首先，关于是否支持第二参考像素(即，是否支持预测值校正)的信息可以以诸如序列、图片、切片、图块等为单位来生成。此外，即使确定显式地或隐式地支持第二参考像素，是对于所有块还是对于一些块支持第二参考像素以及与支持的块中的第二参考像素有关的详细设置(参考相关内容的以下描述)等可以基于根据图像类型、颜色分量、块的尺寸/形状/位置、块的水平/垂直长度比、编码模式、帧内预测模式、受限制的帧内预测设置等限定的编码/解码设置来确定。替选地，可以以诸如序列、图片、切片、图块等为单位来明确地确定相关的设置信息。

此处，针对一个像素的预测值所使用的第一参考像素和第二参考像素的数目可以分别为m和n，并且m和n具有(1:1)、(1:2或更大)、(2或更大:1)、(2或更大:2或更大)的像素数比。这可以根据预测模式、当前块的尺寸/形状/位置、像素位置等来确定。也就是说，m可以是1或更大的整数，例如，1、2、3等，并且n可以是1或更大的整数，例如，1、2、3、4、5、8等。

当施加至第一参考像素和第二参考像素(假设在该示例中各自使用一个像素)的权重是p和q时，p可以大于或等于q，并且p可以具有正值。q可以具有正值或负值。

在下文中，将描述使用第一参考像素生成预测块以及另外地一起使用第二参考像素以执行预测的情况。

例如，(参照图10)在右上对角线方向模式中，可以使用<Ref_BL+Ref_L>块或<Ref_BL+Ref_L+Ref_T+Ref_TR>块来执行预测。此外，在水平模式中，可以使用Ref_L块或<Ref_L+Ref_T+Ref_TL>块来执行预测。此外，在右下对角线方向模式中，可以使用<Ref_TL+Ref_T+Ref_L>块或<Ref_TL+Ref_T+Ref_L+Ref_TR+Ref_BL>块来执行预测。此外，在垂直模式中，可以使用Ref_T块或<Ref_T+Ref_L+Ref_TL>块来执行预测。此外，在左下对角线方向模式中，可以使用<Ref_TR+Ref_T>块或<Ref_TR+Ref_T+Ref_L+Ref_BL>块来执行预测。

作为另一示例，DC模式可以使用<Ref_T+Ref_L>块或<Ref_T+Ref_L+Ref_TL+Ref_TR+Ref_BL>块来执行预测。此外，在平面模式中，可以使用<Ref_T+Ref_L+Ref_TR+Ref_BL>块或<Ref_T+Ref_L+Ref_TR+Ref_BL+Ref_TL>块来执行预测。

此外，颜色复制模式可以使用Ref_C块或<Ref_C+(Ref_T或Ref_L或Ref_TL或Ref_TR或Ref_BL)>块来执行预测。替选地，可以使用<Ref_C+(Def_T或Def_B或Def_L或Def_R或Def_TL或Def_TR或Def_BL或Def_BR)>块来执行预测。此处，Def在图10中未示出，但Def是用于指代与Ref_C相邻的块(与当前块对应的块)的术语，并且Def_T至Def_BR可以是上、下、左、右、左上、右上、左下、右下方向上的相邻块。也就是说，在颜色复制模式中，可以使用Ref_C块、与当前块相邻的参考像素或与Ref_C相邻的参考像素(对应块)来执行预测。

以上示例示出了使用第一参考像素执行预测或者使用第一参考像素和第二参考像素执行预测的一些示例，但是不限于此，并且各种修改示例是可能的。

出于补偿现有预测模式的缺点的目的，可以执行使用多个参考像素生成或校正预测块的情况。

例如，在定向模式的情况下，其可以是出于通过假设在当前块的特定方向上存在边缘来提高预测的准确度的目的而支持的模式。然而，由于仅位于预测方向的起点处的参考像素不能准确地反映块中的变化，因此可能降低预测的准确度。替选地，在颜色复制模式的情况下，旨在通过同时反映来自其他颜色图像的相关性信息来执行预测，但是会反映出另一颜色图像中的块的边界处的劣化，因此可能降低预测的准确度。为了解决以上问题，可以另外地使用第二参考像素来提高预测准确度。

接下来，将描述在颜色复制模式下使用多个参考像素执行预测的情况。可以参照图10得出在稍后要描述的示例的附图中未描述的部分。此处，假设可以在先前的处理中或在稍后的处理中执行在颜色复制模式下获得相关性信息的处理，并且说明专注于概念部分。此外，除了从另一颜色空间获得预测值之外，可以以与其他帧内预测模式相同或类似的方式来应用稍后要描述的颜色复制模式下的帧内预测。

图15是用于说明根据本发明的实施方式的在颜色复制模式下的预测的示例性图。参照图15，可以在颜色复制模式下使用对应块的参考像素来生成预测块。

详细地，可以从当前块和对应块(p1)中的每一个的相邻区域(由颜色复制模式指定)获得相关性信息。此外，可以通过从对应块(p2)获得数据并应用先前获得的相关性信息(p3)来获得预测块(pred_t)。这可以用当前块的预测块(pred_f)来补偿(p4)。

由于以上示例可以得出在以上描述的颜色复制模式下的相关描述，因此将省略详细描述。

图16是用于说明根据本发明的实施方式的在颜色复制模式下的预测的示例性图。参照图16，在颜色复制模式中，可以使用对应的块和与其相邻的参考像素来生成以及校正预测块。

详细地，可以从当前块和对应块中的每一个的相邻区域获得相关性信息(p1)。此外，可以对对应块的数据执行校正。在这种情况下，可以将校正限制在对应块(d5)的内部，或者可以限制在与对应块相邻的块边界(d1至d9，除d5外)，或者可以跨对应的块的内和外边界(d1至d9)执行校正。也就是说，可以将对应块的数据和对应块的相邻区域用于校正。在这种情况下，执行校正的外边界可以是上、下、左、右、左上、右上、左下或右下方向(分别为d1至d9，除d5外)中的一个或更多个(可以包括全部)。

此外，可以通过经由对应块的校正处理获得数据(p2)并应用先前获得的相关性信息(p3)来获得预测块(pred_t)。这可以用当前块的预测块(pred_f)来补偿(p4)。

图17是用于说明根据本发明的实施方式的在颜色复制模式下的预测的示例性图。参照图17，在颜色复制模式中，可以使用与对应块和当前块相邻的参考像素来生成以及校正预测块。

详细地，可以从当前块和对应块中的每一个的相邻区域获得相关性信息(p1)。此外，可以通过从对应块获得数据(p2)并应用先前获得的相关性信息(p3)来获得预测块(pred_t)。这可以用当前块的第一预测块来补偿(p4)，并且可以对第一预测块(被称为预测块)执行校正。在这种情况下，可以将校正限制在对应块(c5)的内部，或者可以限制在与预测块相邻的块边界(c1至c6，除c5外)，或者可以跨预测块的内和外边界(c1至c6)执行校正。也就是说，可以使用预测块的数据(即，基于对应块的数据。此处，由于应用了相关性信息，因此使用“基于”的表达)以及与预测块相邻的数据(与当前块相邻的区域中的数据)用于校正。在这种情况下，被执行校正的外边界可以是上、左、左上、右上和左下方向(c1至c6中的每一个，但除c5外)中的一个或更多个(可以包括全部)。

可以用当前块的(第二或最后)预测块(pred_f)来补偿(p5)通过预测块的校正处理获得的数据。

图18是根据本发明的实施方式的在颜色复制模式下执行校正的过程的流程图。详细地，示出了通过选择参照图16和图17描述的校正处理之一来执行校正的处理。

参照图18，可以从当前块和对应块的相邻区域获得相关性信息(S1800)。此外，可以获得对应块的数据(S1810)。以下描述假设隐式地或显式地确定执行了预测块的校正。可以检查是在当前颜色空间中执行预测块校正还是在另一颜色空间中执行预测块校正(S1820)。

如果在当前颜色空间中校正预测块，则可以通过将相关性信息应用于对应块的数据来生成预测块(S1830)。这可以与一般颜色复制模式的处理相同。此外，可以使用与当前块相邻的区域来校正预测块(S1840)。在这种情况下，不仅可以使用当前块的相邻区域，而且还可以使用在预测块内部获得的数据。

如果在不同的颜色空间中校正预测块，则可以使用对应块的相邻区域来校正对应块(S1850)。在这种情况下，不仅可以使用对应块的相邻区域，而且还可以使用对应块内部的数据。此外，可以通过将相关性信息应用于经校正的对应块来生成预测块(S1860)。

可以用当前块的预测块来补偿通过以上处理获得的数据(S1870)。

图16和图17的应用示例由于在以上示例中根据颜色空间的分类而并非不兼容。也就是说，可以混合图16和图17的应用示例。例如，可以通过如图16所示的对应块的校正处理来获得当前块的预测块，并且可以通过图17所示的对所获得的预测块的校正处理来获得最终预测块。

在本发明的帧内预测中执行校正可以意味着将滤波应用于要校正的像素和其他像素(在该示例中为相邻像素)。在这种情况下，可以根据一个预设的滤波设置、或者多个滤波设置之一来执行滤波。此处，滤波设置可以是包括在与上述第二参考像素有关的详细设置中的内容。

滤波设置包括是否应用滤波，并且可以包括滤波器类型、滤波器系数、用于滤波器的像素位置等。此处，应用滤波设置的单位可以是块或像素单位。此处，编码/解码设置可以根据图像类型、颜色分量、颜色格式(即，颜色分量之间的组成比)、编码模式(帧内/帧间)、块的大小/形状/位置、块的宽度/垂直长度比率、块内的像素位置、帧内预测模式、受限制的帧内预测等来限定，并且可以用于滤波设置。此处，假设当前块来描述块，但可以将块理解为包括在颜色复制模式中与当前块相邻的块或者与对应块相邻的块的概念。换言之，这意味着可以使用当前块和其他块的状态信息作为用于滤波设置的输入变量。此外，关于滤波设置的信息可以被明确地包括在诸如序列、图片、切片、图块和块的单元中。

以下描述滤波设置中的滤波器类型。可以在水平、垂直或对角线之一上将滤波应用(即，一维)至校正目标像素的相邻像素。替选地，可以在左、右、上、下、左上、右上、左下和右下方向上将滤波应用(即，二维)至校正目标像素的在空间上相邻的像素。换言之，可以将滤波应用于M×N内与校正目标像素相邻的像素。在稍后描述的示例中，假设M和N两者为3或更小，但是M或N可以具有大于3的值。通常，相邻像素可以在校正目标像素周围具有对称形状或非对称形状。

图19是用于说明根据本发明的示例性实施方式的应用于校正目标像素的滤波器类型的示例性图。详细地，示出了在校正目标像素(图中的粗线)周围对称地应用滤波器的情况的示例。

参照图19，图19的a和图19的b表示水平方向和垂直方向上的3抽头滤波器。此外，图19的c和图19的d表示对角线方向(相对于垂直线倾斜-45度和+45度的角度)上的3抽头滤波器。此外，图19的e和图19的f表示具有(+)或(x)形状的5抽头滤波器。此外，图19的g表示正方形9抽头滤波器。

作为应用滤波的示例，可以将图19的a至图19的g应用于块的内部或外部(或边界)。

作为另一示例，图19的e至图19的g可以应用于该块内部。替选地，可以将图19的a至图19的d应用于块的边界。详细地，图19的a可以应用于块的左边界，并且图19的b可以应用于块的上边界。图19的c可以应用于块的左上边界，并且图19的d可以应用于块的右上边界和左下边界。

以上示例是基于校正目标像素的位置选择滤波器的一些情况，但是不限于此，并且包括相反情况的各种应用示例是可能的。

图20是用于说明根据本发明的实施方式的应用于校正目标像素的滤波器类型的示例性图。详细地，示出了在校正目标像素周围不对称地应用滤波器的情况的示例。

参照图20，图20的a和图20的b分别表示仅使用左像素和上像素的2抽头滤波器，并且图20的c表示使用左像素和上像素的3抽头滤波器。图20的d至图20的f分别表示在左上方向、上方向和左方向上的4抽头滤波器。图20的g至图20的j分别表示在上方向、左方向和右方向；上方向、左方向和下方向；下方向、左方向和右方向；以及上方向、下方向和右方向上的6抽头滤波器。

作为应用滤波的示例，可以将图20的a至图20的j应用于块的内部或外部。

作为另一示例，可以将图20的g至图20的j应用于该块内部。替选地，可以将图20的a至图20的f应用于块的边界。详细地，可以将图20的a至图20的f应用于块的左边界处，并且可以将图20的b至图20的e应用于块的左边界。可以将图20的c至图20的d应用于块的左上边界处。

以上示例是基于校正目标像素的位置选择滤波器的一些情况，但是不限于此，并且包括相反情况的各种应用示例可以是可能的。

图19和图20的滤波器系数可以被不同地设置。例如，在2抽头滤波器的情况下，可以应用1:1或1:3比率的权重(其中1和3是用于校正目标像素的权重)。在3抽头滤波器的情况下，可以应用1:1:2比率的权重(其中2是用于校正目标像素的权重)。在4抽头滤波器的情况下，可以应用1:1:1:5或1:1:2:4比率的权重(其中4和5是用于校正目标像素的权重)。在5抽头滤波器的情况下，可以应用1:1:1:1:4比率的权重(其中4是用于校正目标像素的权重)。在6抽头滤波器的情况下，可以应用1:1:1:1:2:2比率的权重(其中2是用于校正目标像素的权重)。在9抽头滤波器的情况下，可以应用1:1:1:1:1:1:1:1:8或1:1:1:1:2:2:2:2:4(此处，8和4是用于校正目标像素的权重)。在以上示例中，在除用于校正目标像素的权重外的其余权重中被应用最大权重的像素可以是与校正目标像素(与垂直或水平方向相邻)具有短距离的像素或者在对称结构中位于中心处的像素例如校正目标像素。以上示例仅是关于权重设置的一些情况，但不限于此，并且各种修改示例是可能的。

用于校正的滤波器可以根据编码/解码设置隐式地确定，或者可以显式地包括在诸如序列、图片、切片或图块的单元中。此处，可以从本发明的上述各种示例中得出用于限定编码/解码设置的描述。

在这种情况下，可以在该单元中生成指示是否支持多个滤波器的信息。如果不支持多个滤波器，则可以使用预设滤波器，并且如果支持多个滤波器，则可以附加地生成滤波器选择信息。在这种情况下，图19和图20所示的滤波器或其他滤波器可以被包括在候选组中。

接下来，假设如图16所示的那样在不同的颜色空间中执行校正，并且为此，参照图10(即，校正目标块是Ref_C)。在稍后描述的示例中，假设用于块的滤波器是通过先前的处理确定的，并且该滤波器被应用于块的全部像素或大部分像素。

基于与校正目标块相邻的区域的状态信息来支持批量滤波器，但是也可以基于校正目标像素的位置来支持自适应滤波器。

例如，可以将5抽头滤波器(图19的e)应用于在校正目标像素周围的Ref_C的aa至pp。在这种情况下，可以与校正目标像素的位置无关地应用相同的滤波器。此外，与在其上执行校正的块相邻的区域可以对应用滤波没有限制。

替选地，可以将5抽头滤波器应用于在校正目标像素周围的Ref_C的ff、gg、jj和kk(即，在块内部)，并且可以基于相邻块的状态将滤波应用于其他像素(块的边界)。详细地，当确定像素不可用时，例如，Ref_C的左块位于图片外部，或者编码模式是帧间模式(即，当受限制的帧内预测设置被激活时)，垂直方向上的滤波器(例如，图19的b)可以应用于Ref_C的aa、ee、ii和mm。替选地，当Ref_C的上块不可用时，可以将水平方向上的滤波器(例如，图19的a)应用于Ref_C的aa至dd。可以如在确定本发明的参考像素的可用性的部分中描述的那样确定像素的可用性。

基于帧内预测模式支持批量滤波器，但是也可以基于校正目标像素的位置来支持自适应滤波器。

例如，在颜色复制模式中的从左块和上块获得相关性信息的模式中，可以将9抽头滤波器(图19的g)应用于Ref_C的aa至pp。在这种情况下，可以与校正目标像素的位置无关地应用相同的滤波器。

替选地，在颜色复制模式中的从左块和左下块获得相关性信息的模式中，可以将9抽头滤波器应用于Ref_C的ee至pp，并且可以基于预测模式设置针对其他像素(上边界)应用滤波。在该示例中，由于从左块和左下块获得相关性信息，因此可以估计与上块的相关性会很低。因此，可以将下方向、左方向和右方向上的滤波器(例如，图20I)应用于Ref_C的aa至dd。

在本发明中，主要描述一些颜色格式(4:4:4)的颜色复制模式。根据颜色格式，在与校正相关的详细配置中可能存在差异。在该示例中，假设在不同的颜色空间中执行校正。

在颜色复制模式中，因为在一些颜色格式(4:4:4)中，当前颜色空间的一个像素对应于另一颜色空间的一个像素，因此从对应像素直接地获得相关性信息和预测值。

另一方面，在一些颜色格式(4:2:0)中，当前颜色空间的一个像素对应于另一颜色空间的一个或更多个像素(在该示例中为四个)。如果选择一个预设像素并且从该像素未获得相关数据，则可以需要从多个对应像素获得相关数据的下采样处理。

以下描述了根据每种颜色格式在颜色复制模式下进行预测和校正的处理。在稍后描述的示例中，假设针对一些格式(4:2:0)执行下采样处理。此外，将与当前块对应的块分别称为块A和B。

<1>4:4:4格式的帧内预测

<1-1>获得在块A的相邻区域中的像素值

<1-2>从块B的相邻区域获得与<1-1>的像素对应的像素值

<1-3>基于在每个颜色空间中的相邻区域的像素值获得相关性信息

<1-4>提取块B的像素和与其相邻的像素

<1-5>通过向<1-4>的像素应用滤波来进行块B校正

<1-6>获得与块A(M×N)的像素对应的块B(M×N)的像素值

<1-7>通过将相关性信息应用于<1-6>的像素值来生成预测像素

<2>4:2:0格式的帧内预测(1)

<2-1>获得在块A的相邻区域中的像素值

<2-2>从块B的相邻区域中提取与<2-1>的像素对应的像素和与其相邻的像素

<2-3>向<2-2>的像素应用下采样以获得在块B的相邻区域中的与<2-1>的像素对应的像素值

<2-4>基于在每个颜色空间中的相邻区域的像素值获得相关性信息

<2-5>提取块B的像素和与其相邻的像素

<2-6>通过向<2-5>的像素应用滤波进行块B校正

<2-7>提取与块A(M×N)的像素对应的块B(2M×2N)的像素以及与其相邻的像素

<2-8>向<2-7>的像素应用下采样以获得块B的像素值

<2-9>通过将相关性信息应用于<2-8>的像素值来生成预测像素

参照<1>和<2>的处理，在<1>中，在<1-5>中应用一个滤波，而在<2>中，在<2-6>和<2-8>中应用多重滤波。<2-6>可以是用于校正用于获得预测像素的数据的处理，并且<2-8>可以是用于获得预测像素的下采样处理，并且每个处理中的滤波器也被不同地配置。当然，由于每个处理而可以提高编码性能，但是可能会出现冗余的滤波效果。此外，由于滤波的数目增加而引起的复杂度增加可能不适用于一些配置文件。为此，在一些颜色格式中，可能需要支持将它们集成在一起的滤波。

<3>4:2:0格式的帧内预测(2)

<3-1>获得在块A的相邻区域中的像素值

<3-2>从块B的相邻区域中提取与<3-1>的像素对应的像素和与其相邻的像素

<3-3>向<3-2>的像素应用下采样以获得在块B的相邻区域中的与<3-1>的像素对应的像素值

<3-4>基于每个颜色空间中的相邻区域的像素值获得相关性信息

<3-5>提取块B的像素和与该其相邻的像素

<3-6>通过向<3-5>的像素应用滤波来进行块B校正

<3-7>获得与块A(M×N)的像素对应的块B(2M×2N)的像素值

<3-8>通过将相关性信息应用于<3-7>的像素值来生成预测像素

<4>4:2:0格式的帧内预测(3)

<4-1>获得在块A的相邻区域中的像素值

<4-2>从块B的相邻区域中提取与<4-1>的像素对应的像素和与其相邻的像素

<4-3>向<4-2>的像素应用下采样以获得在块B的相邻区域中的与<4-1>的像素对应的像素值

<4-4>基于每个颜色空间中的相邻区域的像素值获得相关性信息

<4-5>提取与块A(M×N)的像素对应的块B(2M×2N)的像素和与其相邻的像素

<4-6>向<4-5>的像素应用下采样以获得块B的像素值

<4-7>通过将相关性信息应用于<4-6>的像素值来生成预测像素

参考<3>的处理，省略了块B的下采样处理，并且将相关性信息应用于预设位置处的一个像素。相反，由于执行了校正处理，因此会发生消除下采样处理中的缺点的效果。

另一方面，参考<4>的处理，省略了校正处理，并且执行块B的下采样处理。相反，可以使用可以在下采样处理期间产生校正效果的滤波器。虽然可以将校正处理修改为包括在下采样中的配置，但是可以原样应用校正处理中的上述设置。也就是说，用于下采样的滤波器选择信息可以以较高单位显式地确定，或者可以根据编码/解码设置隐式地确定。此外，可以隐式地或显式地确定：是否仅使用块B的数据执行下采样；是否通过使用块B的数据以及左、右、上、下、左上、右上、左下和右下方向中的一个或更多个中的数据执行下采样。

预测模式确定单元执行用于在多个预测模式候选组中选择最佳模式的处理。通常，可以通过使用考虑块的失真{例如，当前块和重建块的失真，SAD(绝对差的和)、SSD(平方差的和)等}的率失真技术以及根据对应的模式生成的比特量来确定编码成本方面的最佳模式。基于通过以上处理确定的预测模式生成的预测块可以被发送至减法单元和加法单元。

为了确定最佳预测模式，可以搜索存在于预测模式候选组中的所有预测模式，或者可以通过另一决策过程来选择最佳预测模式，以用于降低计算量/复杂度的目的。例如，在第一步骤中，对于帧内预测模式的所有候选，选择在图像质量劣化方面具有良好性能的一些模式，并且在第二步骤中，可以通过不仅考虑图像质量劣化而且考虑针对在第一步骤中选择的模式生成的比特量来选择最佳预测模式。除了以上方法之外，可以应用各种降低计算量/复杂度的方法。

此外，预测模式确定单元可以是通常仅包括在编码器中的配置，但是也可以是根据编码/解码设置包括在解码器中的配置。例如，在后一种情况下，在模板匹配被包括为预测方法或者在当前块的相邻区域中获得帧内预测模式的方法情况下，使用在解码器中隐式地获取预测模式的方法。

预测模式编码单元可以对通过预测模式确定单元选择的预测模式进行编码。在预测模式候选组中，可以对与预测模式对应的索引信息进行编码，或者可以通过对预测模式进行预测来对关于预测模式的信息进行编码。前者可以是应用于亮度分量的方法，而后者可以是应用于色度分量的方法，但不限于此。

当预测和编码预测模式时，预测模式的预测值(或预测信息)可以被称为最可能模式(MPM)。MPM可以在一个预测模式中配置或者可以在多个预测模式中配置，并且MPM的数目(k。k为大于或等于1的整数，例如2、3、6)可以根据预测模式候选组的数目来确定。当MPM配置有多个预测模式时，其可以被称为MPM候选组。

MPM是被支持以有效地对预测模式进行编码的概念。实际上，候选组可以被配置为具有被生成为当前块的预测模式的概率高的预测模式。

例如，MPM候选组可以被配置有预设的预测模式(或统计上频繁的预测模式。DC、平面、垂直、水平以及一些对角线模式等)、相邻块(左块、上块、左上块、右上块、左下块等)的预测模式等。在这种情况下，可以从图10中的L0至L3(左块)、T0至T3(上块)、TL(左上块)、R0至R3(右上块)以及B0至B3(左下块)获得相邻块的预测模式。

如果可以从相邻块(例如，左块)中的两个或更多个子块位置(例如，L0、L2等)配置MPM候选组，则可以根据预定义的优先级(例如，L0——L1——L2等)在候选组中配置对应块的预测模式。替选地，如果无法从两个或更多个子块位置配置MPM候选组，则可以在候选组中配置与预定位置(例如，L0等)对应的子块的预测模式。具体地，在相邻块中，L3、T3、TL、R0和B0位置的预测模式可以被选择作为相邻块的预测模式，并且包括在MPM候选组中。以上描述是其中在候选组中配置了相邻块的预测模式的情况，但是不限于此。在以下描述的示例中，假定在候选组中配置了预定义位置的预测模式。

此外，当一个或更多个预测模式被配置为MPM候选组时，从一个或更多个所包括的预测模式得出的模式也可以被附加地配置为MPM候选组。具体地，当MPM候选组中包括k模式(定向模式)时，从该模式得出的模式(基于k的间隔为+a，-b的模式。a和b是等于或大于1的整数，例如1、2、3)可以进一步包括在MPM候选组中。

可能存在用于配置MPM候选组的优先级，并且可以按照相邻块的预测模式-预设预测模式-得出的预测模式等的顺序来配置MPM候选组。构造MPM候选组的处理可以通过根据优先级填充最大数目的MPM候选来完成。在与以上处理中先前包括的预测模式匹配的情况下，预测模式可以不被配置在候选组中，并且可以包括冗余检查过程，在该冗余检查过程中，顺序被传递到下一优先级候选。

以下假定MPM候选组由六个预测模式组成。

例如，可以以L-T-TL-TR-BL-平面-DC-垂直-水平-对角线模式的顺序配置候选群组。可能的情况是，在候选群组中优先配置相邻块的预测模式，并且附加地配置预定的预测模式。

替选地，可以按照L-T-平面-DC-<L+1>-<L-1>-<T+1>-<T-1>-垂直-水平-对角线模式的顺序来配置候选组。可能的情况是，优先配置相邻块的一些预测模式和一些预定预测模式，并且附加地配置在假定将出现与相邻块的预测模式类似的方向上的预测模式的情况下得出的模式以及一些预设的预测模式。

以上示例是关于MPM候选组的配置的一些情况，其可以不限于此，并且各种修改的示例可以是可能的。

MPM候选组可以基于候选组中的索引来使用二值化(例如一元二值化(UnaryBinarization)和截断莱斯二值化(Truncated Rice Binarization))。即，可以通过将短位分配给具有小索引的候选而将长位分配给具有大索引的候选来表示模式位。

未包括在MPM候选组中的模式可以被分类为非MPM候选组。此外，可以根据编码/解码设置将非MPM候选组分类成两个或更多个候选组。

以下内容的前提是：预测模式候选组中存在包括定向模式和非定向模式的67种模式，并且支持6个MPM候选，并且在非MPM候选组中配置61个预测模式。

当非MPM候选组被配置为一时，由于保留了未包括在MPM候选组配置过程中的预测模式，所以不需要附加的候选组配置过程。因此，基于非MPM候选组中的索引，可以使用二值化(例如固定长度二值化(Fixed Length Binarization)和截断一元二值化(TruncatedUnary Binarization))。

假定非MPM候选组由两个或更多个候选组组成，在该示例中，非MPM候选组被分类为非MPM_A(在下文中，A候选组)和非MPM_B(在下文中，B候选组)。假定A候选组(p。等于或大于MPM候选组的数目)构成具有以下预测模式的候选组，与候选B组(q。等于或大于A候选组的数目)相比，该预测模式更可能作为当前块的预测模式出现。在这种情况下，可以添加配置A候选组的处理。

例如，可以在A候选组中配置在定向模式之间具有相等间隔的一些预测模式(例如，模式2、4、6等)，或者预定的预测模式(例如，从包括在MPM候选组中的预测模式得出的模式等)。通过MPM候选组配置和A候选组配置的其余预测模式可以由B候选组组成，并且不需要附加的候选组配置过程。可以基于A候选组和B候选组中的索引来使用诸如固定长度二值化和截断一元二值化的二值化。

以上示例是其中配置了两个或更多个非MPM候选组的一些情况，其可以不限于此，并且各种修改的示例可以是可能的。

以下示出了用于预测和编码预测模式的处理。

可以检查关于当前块的预测模式是否与MPM(或MPM候选组中的一些模式)匹配的信息(mpm_flag)。

当其与MPM匹配时，可以根据MPM的配置(1、或2或更多)来附加地确认MPM索引信息(mpm_idx)。此后，完成当前块的编码处理。

当其与MPM不匹配时，如果非MPM候选组被配置为一，则可以检查非MPM索引信息(remaining_idx)。此后，完成当前块的编码处理。

如果非MPM候选组被配置为多个(在该示例中为两个)，则可以检查关于当前块的预测模式是否与A候选组中的一些预测模式匹配的信息(non_mpm_flag)。

如果其与A候选组匹配，则可以检查A候选组索引信息(non_mpm_A_idx)，而如果其与A候选组不匹配，则可以检查B候选组索引信息(remaining_idx)。

当预测模式候选组的配置固定时，由当前块支持的预测模式、由相邻块支持的预测模式以及预设的预测模式可以使用相同的预测编号索引。

同时，当预测模式候选组的配置是自适应的时，由当前块支持的预测模式、由相邻块支持的预测模式以及预设的预测模式可以使用相同的预测编号索引或不同的预测编号索引。参照图4进行以下描述。

在预测模式编码处理中，可以执行用于配置MPM候选组的预测模式候选组统一(或调整)处理。例如，当前块的预测模式可以是-5至61个模式预测模式候选组中的一个，并且相邻块预测模式可以是2至66个模式预测模式候选组中的一个。在这种情况下，相邻块的一些预测模式(模式66)可以是当前块的预测模式不支持的模式，因此可以执行在预测模式编码处理中对其进行统一的过程。即，这可以是在支持固定的帧内预测模式候选组的配置时不需要的过程，并且可以是在支持自适应的帧内预测模式候选组的配置时需要的过程，并且将省略其详细的描述。

与使用MPM的方法不同，可以通过将索引分配给属于预测模式候选组的预测模式来执行编码。

例如，如果根据预定的优先级将索引分配给预测模式，并且选择当前块的预测模式，则对索引进行编码的方法与此对应。这意味着固定地配置预测模式候选组，并且将固定的索引分配给预测模式。

替选地，当适应性地配置预测模式候选组时，固定的索引分配方法可能是不适合的。为此，根据自适应优先级将索引分配给预测模式，并且当选择当前块的预测模式时，可以应用对对应的索引进行编码的方法。这使得能够通过由于预测模式候选组的自适应配置而改变分配给预测模式的索引来有效地对预测模式进行编码。即，自适应优先级可以是将可能被选择作为当前块的预测模式的候选分配给其中出现短模式位的索引。

以下，假定支持包括预测模式候选组中的预设的预测模式(定向模式和非定向模式)、颜色复制模式以及颜色模式的8个预测模式(色度分量)。

例如，假定在平面、DC、水平、垂直和对角线模式(在该示例中为左下对角线)中支持四种预设的预测模式，并且支持一种颜色模式(C)和三种颜色复制模式(CP1、CP2、CP3)。分配给预测模式的索引的基本顺序可以按预设的预测模式-颜色复制模式-颜色模式等给出。

在这种情况下，作为预设的预测模式的定向模式、非定向模式以及颜色复制模式可以被容易地分类为其中区分预测方法的预测模式。然而，在颜色模式的情况下，其可以是定向模式或非定向模式，并且可能存在与预设的预测模式交叠的可能性。例如，当颜色模式是垂直模式时，可能出现作为预设的预测模式之一的垂直模式交叠的情况。

在根据编码/解码设置来自适应地调整预测模式候选组的数目的情况下，当发生交叠情况时，可以调整候选组的数目(8→7)。替选地，如果预测模式候选组的数目保持固定，则当发生交叠情况时，可以通过添加和考虑其他候选来分配索引，稍后将在该设置的假定下进行描述。此外，即使包括诸如颜色模式的可变模式，自适应预测模式候选组也可以是受支持的配置。因此，当执行自适应索引分配时，可以将其视为自适应预测模式候选组的配置的示例。

以下描述根据颜色模式执行自适应索引分配的情况。假设按平面(0)-垂直(1)-水平(2)-DC(3)-CP1(4)-CP2(5)-CP3(6)-C(7)的顺序来分配基本索引。此外，假设当颜色模式与预设的预测模式不匹配时，按以上顺序执行索引分配。

例如，当颜色模式与预设的预测模式之一(平面、垂直、水平、DC模式)匹配时，填充与颜色模式的索引7匹配的预测模式。匹配的预测模式的索引(0至3中之一)填充有预设的预测模式(左下对角线)。具体地，当颜色模式是水平模式时，可以执行诸如平面(0)-垂直(1)-左下对角线(2)-DC(3)-CP1(4)-CP2(5)-CP3(6)-水平(7)的索引分配。

替选地，当颜色模式与预设的预测模式之一匹配时，填充与索引0匹配的预测模式。然后，在颜色模式的索引7中填充预设的预测模式(左下对角线)。在这种情况下，如果填充的预测模式不是现有索引0(即，不是平面模式)，则可以调整现有索引配置。具体地，当颜色模式为DC模式时，可以执行诸如DC(0)-平面(1)-垂直(2)-水平(3)-CP1(4)-CP2(5)-CP3(6)-左下对角线(7)的索引分配。

以上示例是自适应索引分配的一些情况，并且不限于此，并且各种修改的示例是可能的。此外，基于候选组中的索引，可以使用固定长度二值化、一元二值化、截断一元二值化和截断莱斯二值化。

以下，将描述通过将索引分配给属于预测模式候选组的预测模式来执行编码的另一示例。

例如，通过按预测模式、预测方式等进行划分而分类成多个预测模式候选组并且通过向属于用于编码的候选组的预测模式分配索引来进行编码的方法与其对应。在这种情况下，候选组选择信息编码可以先于索引编码。例如，作为用于在相同颜色空间中执行预测的预测模式的定向模式、非定向模式和颜色模式可以属于一个候选组(在下文中称为S候选组)，并且作为用于在另一颜色空间中执行预测的预测模式的颜色复制模式可以属于一个候选组(在下文中称为D候选组)。

以下假设在预测模式候选组(色度分量)中支持包括预设预测模式、颜色复制模式和颜色模式的九种预测模式。

例如，假设在平面模式、DC模式、水平模式、垂直模式和对角线模式中支持四个预设预测模式，以及支持一个颜色模式(C)和四个颜色复制模式(CP1、CP2、CP3、CP4)。S候选组可以具有由预设预测模式和颜色模式组成的五个候选，并且D候选组可以具有由颜色复制模式组成的四个候选。

S候选组是自适应地配置的预测模式候选组的示例，并且以上已经描述了自适应索引分配的示例，因此将省略其详细描述。由于D候选组是固定配置的预测模式候选组的示例，因此可以使用固定的索引分配方法。例如，可以执行诸如CP1(0)-CP2(1)-CP3(2)-CP4(3)的索引分配。

基于候选组中的索引，可以使用诸如固定长度二值化、一元二值化、截断一元二值化和截断莱斯二值化的二值化。此外，各种修改的示例是可能的，而不限于上述示例。

通过预测模式编码单元生成的与预测有关的信息可以被发送至编码单元并且被包括在比特流中。

在根据本发明的实施方式的图像解码方法中，帧内预测可以如下配置。预测单元的帧内预测可以包括预测模式解码步骤、参考像素构造步骤和预测块生成步骤。此外，图像解码装置可以被配置成包括实现预测模式解码步骤、参考像素配置步骤和预测块生成步骤的预测模式解码单元、参考像素配置单元和预测块生成单元。可以省略一些上述处理或者可以添加其他处理，并且可以按照除上述顺序之外的顺序来改变上述处理。

由于图像解码装置的参考像素构造单元和预测块生成单元执行与图像编码装置的对应配置相同的作用，因此省略详细描述。预测模式解码单元可以相反地使用由预测模式编码单元使用的方法来执行。

图21示出了根据应用本发明的实施方式的帧间预测方法。

参照图21，可以生成用于预测当前块的运动信息的候选列表(S2100)。

候选列表可以包括一个或更多个基于仿射模型的候选(在下文中，称为仿射候选)。仿射候选可以表示具有控制点矢量的候选。控制点矢量表示用于仿射模型的控制点的运动矢量，并且可以针对块的拐角位置(例如，左上拐角、右上拐角、左下拐角或右下拐角中的至少一个)而限定。

仿射候选可以包括空间候选、时间候选或构造候选中的至少一个。此处，可以从与当前块空间上相邻的相邻块的矢量获得空间候选，并且可以从与当前块时间上相邻的相邻块的矢量获得时间候选。此处，相邻块可以表示利用仿射模型编码的块。矢量可以表示运动矢量或控制点矢量。

将参照图22详细描述基于空间/时间相邻块的矢量获得空间/时间候选的方法。

同时，可以基于当前块的空间/时间相邻块的运动矢量之间的组合来获得构造候选，这将参照图23详细进行描述。

可以基于预定优先级在候选列表中布置上述多个仿射候选。例如，可以以空间候选、时间候选和构造候选的顺序在候选列表中布置多个仿射候选。替选地，可以以时间候选、空间候选和构造候选的顺序在候选列表中布置多个仿射候选。然而，本发明不限于此，并且时间候选可以布置在构造候选之后。替选地，构造候选中的一些可以布置在空间候选之前，而其余的构造候选可以布置在空间候选之后。

可以基于候选列表和候选索引来获得当前块的控制点矢量(S2110)。

候选索引可以表示被编码成获得当前块的控制点矢量的索引。候选索引可以指定包括在候选列表中的多个仿射候选的任何一个仿射候选。可以使用由候选索引指定的仿射候选的控制点矢量来获得当前块的控制点矢量。

例如，假设当前块的仿射模型的类型是4参数(即，确定当前块使用两个控制点矢量)。在这种情况下，当由候选索引指定的仿射候选具有三个控制点矢量时，在三个控制点矢量中选择仅两个控制点矢量(例如，索引等于0和1的控制点矢量)，这两个控制点矢量可以被设置为当前块的控制点矢量。替选地，可以将指定的仿射候选的三个控制点矢量设置为当前块的控制点矢量。在这种情况下，可以将当前块的仿射模型的类型更新为6参数。

相反，假设当前块的仿射模型的类型是6参数(即，确定当前块使用3个控制点矢量)。在这种情况下，当由候选索引指定的仿射候选具有两个控制点矢量时，生成一个附加控制点矢量，并且可以将仿射候选的两个控制点矢量和附加控制点矢量设置为当前块的控制点矢量。可以基于仿射候选的两个控制点矢量、当前/相邻块的尺寸或当前/相邻块的位置信息中的至少一个来获得附加控制点矢量。替选地，可以将指定的仿射候选的两个控制点矢量设置为当前块的控制点矢量。在这种情况下，可以将当前块的仿射模型的类型更新为4参数。

可以基于当前块的控制点矢量来获得当前块的运动矢量(S2120)。

可以以当前块的子块为单位获得运动矢量。此处，N×M子块可以是矩形(N>M或N<M)或正方形(N＝M)。N和M的值可以是4、8、16、32或更大。子块的尺寸/形状可以是在解码装置中预定义的固定尺寸/形状。

替选地，可以基于上述块的属性不同地获得子块的尺寸/形状。例如，如果当前块的尺寸大于或等于预定阈值尺寸，则可以将当前块划分成第一子块的单元(例如，8×8、16×16)，否则，当前块可以被划分成第二子块的单元(例如，4×4)。替选地，可以通过编码装置对关于子块的尺寸/形状的信息进行编码并且用信号通知该信息。

可以使用获得的运动矢量对当前块执行帧间预测(S2130)。

具体地，可以使用当前块的运动矢量来指定参考块。可以针对当前块的每个子块指定参考块。每个子块的参考块可以属于一个参考图片。也就是说，属于当前块的子块可以共享一个参考图片。替选地，可以针对当前块的每个子块独立地设置参考图片索引。

可以将指定的参考块设置为当前块的预测块。可以以相同/相似的方式将上述实施方式不仅应用于合并模式，而且还应用于一般的帧间模式(例如，AMVP模式)。仅在当前块的尺寸大于或等于预定阈值尺寸时才可以执行上述实施方式。此处，阈值尺寸可以是8×8、8×16、16×8、16×16或更大。

图22是应用本发明的实施方式并且涉及从空间/时间相邻块获得仿射候选的方法。

为了便于解释，在本实施方式中，将描述从空间相邻块获得仿射候选的方法。

参照图5，当前块2200的宽度和高度分别是cbW和cbH，并且当前块的位置是(xCb，yCb)。空间相邻块2210的宽度和高度分别是nbW和nbH，并且空间相邻块的位置为(xNb，yNb)。图22示出了当前块的左上块作为空间相邻块，但不限于此。也就是说，空间相邻块可以包括当前块的左块、左下块、右上块、上块或左上块中的至少一个。

空间候选可以具有n个控制点矢量(cpMV)。此处，n的值可以是1、2、3或更大的整数。可以基于下述信息中的至少一个来确定n的值：关于是否以子块为单位进行解码的信息；关于是否利用仿射模型对块进行编码的信息；或关于仿射模型的类型(4参数或6参数)的信息。

信息可以被编码并且从编码装置用信号通知。替选地，在解码装置中，可以基于块的属性来获得信息中的全部或一些。此处，块可以表示当前块或当前块的空间/时间相邻块。该属性可以表示尺寸、形状、位置、划分类型、帧间模式、与残差系数相关的参数等。帧间模式是在解码装置中预定义的模式，并且可以表示合并模式、跳过模式、AMVP模式、仿射模型、帧内/帧间组合模式、当前图片参考模式等。替选地，可以在解码装置中基于块的上述属性来获得n的值。

在本实施方式中，n个控制点矢量可以被表示为第一控制点矢量(cpMV[0])、第二控制点矢量(cpMV[1])、第三控制点矢量(cpMV[2])、...、第n控制点矢量(cpMV[n-1])。例如，第一控制点矢量(cpMV[0])、第二控制点矢量(cpMV[1])、第三控制点矢量(cpMV[2])和第四控制点矢量(cpMV[3])可以是分别对应于左上样本、右上样本、左下样本和右下样本的矢量。此处，假设空间候选具有三个控制点矢量，并且三个控制点矢量可以是从第一控制点矢量至第n个控制点矢量中选择的任意控制点矢量。然而，本发明不限于此，并且空间候选可以具有两个控制点矢量，并且两个控制点矢量可以是从第一控制点矢量至第n个控制点矢量中选择的任意控制点矢量。

同时，根据图22中所示的边界2220是否是CTU边界，可以不同地获得空间候选的控制点矢量。

1.在当前块的边界(2220)不位于CTU边界上的情况下

可以基于空间相邻块的第一控制点矢量、预定差值、当前块的位置信息(xCb，yCb)或空间相邻块的位置信息(xNb，yNb)中的至少一个来获得第一控制点矢量。

差值的数目可以是1、2、3或更大。差值的数目可以基于块的上述属性不同地确定，或者可以是在解码装置中预定义的固定值。差值可以被限定为多个控制点矢量中的一个与另一个之间的差值。例如，差值可以：包括第二控制点矢量与第一控制点矢量之间的第一差值；第三控制点矢量与第一控制点矢量之间的第二差值；第四控制点矢量与第三控制点矢量之间的第三差值；或者第四控制点矢量与第二控制点矢量之间的第四差值中的至少一个。

例如，可以根据以下等式1获得第一控制点矢量。

[等式1]

cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb-yNb))

cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb-yNb))

在等式1中，变量mvScaleHor和变量mvScaleVer可以表示空间相邻块的第一控制点矢量，或者是通过对第一控制点矢量应用k的移位运算而得出的值。此处，k可以是1、2、3、4、5、6、7、8、9或更大的整数。变量dHorX和变量dVerX分别对应于第二控制点矢量与第一控制点矢量之间的第一差值的x分量和y分量。变量dHorY和变量dVerY分别对应于第三控制点矢量与第一控制点矢量之间的第二差值的x分量和y分量。可以根据下面的等式2导出上述变量。

[等式2]

mvScaleHor＝CpMvLX[xNb][yNb][0][0]＜＜7

mvScaleVer＝CpMvLX[xNb][yNb][0][1]＜＜7

dHorX＝(CpMvLX[xNb+nNbW-1][yNb][1][0]-CpMvLX[xNb][yNb][0][0])＜＜(7-log2NbW)

dVerX＝(CpMvLX[xNb+nNbW-1][yNb][1][1]-CpMvLX[xNb][yNb][0][1])＜＜(7-log2NbW)

dHorY＝(CpMvLX[xNb][yNb+nNbH-1][2][0]-CpMvLX[xNb][yNb][2][0])＜＜(7-log2NbH)

可以基于空间相邻块的第一控制点矢量、预定差值、当前块的位置信息(xCb，yCb)、块尺寸(宽度或高度)或空间相邻块的位置信息(xNb，yNb)中的至少一个来获得第二控制点矢量。此处，块尺寸可以表示当前块和/或空间相邻块的尺寸。差值如在与第一控制点矢量相关的部分中描述的那样，并且将省略对其的详细描述。然而，在获得第二控制点矢量的处理中使用的差值的范围和/或数目可以与第一控制点矢量不同。

例如，第二控制点矢量可以如下面的等式3中那样获得。

[等式3]

cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth-xNb)+dHorY*(yCb-yNb))

cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth-xNb)+dVerY*(yCb-yNb))

在等式3中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY如等式1中所述的那样，并且将省略对其的详细描述。

可以基于空间相邻块的第一控制点矢量、预定差值、当前块的位置信息(xCb，yCb)、块尺寸(宽度或高度)或空间相邻块的位置信息(xNb，yNb)中的至少一个来获得第三控制点矢量。此处，块尺寸可以表示当前块和/或空间相邻块的尺寸。差值如在与第一控制点矢量相关的部分中描述的那样，并且将省略对其的详细描述。然而，在获得第三控制点矢量的处理中使用的差值的范围和/或数目可以与第一控制点矢量或第二控制点矢量不同。

例如，第三控制点矢量可以如下面的等式4中那样获得。

[等式4]

cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb+cbHeight-yNb))

cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb+cbHeight-yNb))

在等式4中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY如等式1中所述的那样，并且将省略对其的详细描述。同时，通过上述处理，可以获得空间候选的第n个控制点矢量。

2.在当前块(2220)的边界位于CTU边界上的情况下

可以基于空间相邻块的运动矢量(MV)、预定差值、当前块的位置信息(xCb，yCb)或空间相邻块的位置信息(xNb，yNb)中的至少一个来获得第一控制点矢量。

运动矢量可以是位于空间相邻块的下部的子块的运动矢量。子块可以在位于空间相邻块的下部的多个子块中位于最左边、中心或最右边。替选地，运动矢量可以表示子块的运动矢量的平均值、最大值或最小值。

差值的数目可以是1、2、3或更大。差值的数目可以基于块的上述属性而不同地确定，或者可以是在解码装置中预定义的固定值。差值可以被限定为以子块为单位存储在空间相邻块中的多个运动矢量中的一个与另一个之间的差值。例如，差值可以表示空间相邻块的右下子块的运动矢量与空间相邻块的左下子块的运动矢量之间的差值。

例如，可以根据以下等式5获得第一控制点矢量。

[等式5]

cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb-yNb))

cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb-yNb))

在等式5中，变量mvScaleHor和mvScaleVer可以表示上述空间相邻块的运动矢量(MV)或通过将k的移位运算应用于运动矢量而得出的值。此处，k可以是1、2、3、4、5、6、7、8、9或更大的整数。

变量dHorX和变量dVerX分别对应于预定差值的x分量和y分量。此处，差值表示在空间相邻块中右下子块的运动矢量与左下子块的运动矢量之间的差值。可以基于变量dHorX和dVerX来得出变量dHorY和dVerY。可以根据下面的等式6导出上述变量。

[等式6]

mvScaleHor＝MVLX[xNb][yNb+nNbH-1][0]＜＜7

mvScaleVer＝MvLX[xNb][yNb+nNbH-1][1]＜＜7

dHorX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][0]-MvLX[xNb][yNb+nNbH-1][0])＜＜(7-log2NbW)

dVerX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][1]-MvLX[xNb][yNb+nNbH-1][1])＜＜(7-log2NbW)

dHorY＝-dVerX

dVerY＝dHorX

可以基于空间相邻块的运动矢量(MV)、预定差值、当前块的位置信息(xCb，yCb)、块尺寸(宽度或高度)或空间相邻块的位置信息(xNb，yNb)中的至少一个来获得第二控制点矢量。此处，块尺寸可以表示当前块和/或空间相邻块的尺寸。运动矢量和差值如在与第一控制点矢量相关的部分中所述的那样，并且将省略对其的详细描述。然而，在获得第二控制点矢量的处理中使用的运动矢量的位置、差值的范围和/或数目可以与第一控制点矢量不同。

例如，第二控制点矢量可以如下面的等式7中那样获得。

[等式7]

cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth-xNb)+dHorY*(yCb-yNb))

cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth-xNb)+dVerY*(yCb-yNb))

在等式7中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY如等式5中所述的那样，并且将省略对其的详细描述。

可以基于空间相邻块的运动矢量(MV)、预定差值、当前块的位置信息(xCb，yCb)、块尺寸(宽度或高度)或空间相邻块的位置信息(xNb，yNb)中的至少之一来获得第三控制点矢量。此处，块尺寸可以表示当前块和/或空间相邻块的尺寸。运动矢量和差值如在第一控制点矢量中所述的那样，并且将省略对其的详细描述。然而，在获得第三控制点矢量的处理中使用的运动矢量的位置、差值的范围和/或数目可以与第一控制点矢量或第二控制点矢量不同。

例如，第三控制点矢量可以如下面的等式8中那样获得。

[等式8]

cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb+cbHeight-yNb))

cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb+cbHeight-yNb))

在等式8中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY如等式5中所述的那样，并且将省略对其的详细描述。同时，通过上述过程，可以获得空间候选的第n个控制点矢量。

可以针对每个预定义的空间相邻块执行以上所描述的仿射候选获得处理。预定义空间相邻块可以包括当前块的左块、左下块、右上块、上块或左上块中的至少一个。

替选地，可以针对空间邻近块的每个组执行获得仿射候选的处理。此处，空间相邻块可以被分类成：包括左块和左下块的第一组；以及包括右上块、上块和左上块的第二组。

例如，可以从属于第一组的空间相邻块获得一个仿射候选。可以基于预定优先级执行该获得，直到找到可用的仿射候选为止。优先级可以按左块->左下块的顺序或相反的顺序。

类似地，可以从属于第二组的空间相邻块获得一个仿射候选。可以基于预定优先级执行该获得，直到找到可用的仿射候选为止。优先级可以按右上块->上块->左上块的顺序或相反的顺序。

可以以相同/相似的方式将上述实施方式应用于时间相邻块。此处，时间相邻块属于与当前块不同的图片，但是可以是与当前块位于相同位置处的块。位于相同位置处的块可以是包括当前块的左上样本的位置、中心位置或与当前块的右下样本相邻的样本的位置的块。

替选地，时间相邻块可以表示与位于相同位置处的块偏移预定视差矢量的位置处的块。此处，可以基于当前块的上述空间相邻块中的任何一个空间相邻块的运动矢量来确定视差矢量。

图23示出了在应用本发明的实施方式中基于空间/时间相邻块的运动矢量的组合来获得构造的候选的方法。

可以基于与当前块的拐角对应的控制点矢量(在下文中，被称为控制点矢量(cpMVCorner[n]))中的至少两个控制点矢量的组合来得出本发明的构造候选。此处，n可以为0、1、2或3。

可以基于空间和/或时间相邻块的运动矢量来得出控制点矢量。此处，空间相邻块可以包括下述中的至少一个：与当前块的左上样本相邻的第一相邻块(C、D或E)；与当前块的右上样本相邻的第二相邻块(F或G)；或者与当前块的左下样本相邻的第三相邻块(A或B)。时间相邻块可以是属于与当前块不同的图片的块，并且可以表示与当前块的右下样本相邻的第四相邻块(Col)。

第一相邻块可以表示位于当前块的左上(D)、上(E)或左(C)的相邻块。可以根据预定优先级来确定相邻块C、D和E的运动矢量是否可用，并且可以使用相邻块的可用运动矢量来确定控制点矢量。可以执行可用性确定，直到找到具有可用运动矢量的相邻块为止。此处，优先级可以按D->E->C的顺序。然而，其不限于此，并且可以按D->C->E、C->D->E或E->D->C的顺序。

第二相邻块可以表示位于当前块的上(F)或右上(G)的相邻块。类似地，可以根据预定优先级来确定相邻块F和G的运动矢量是否可用，并且可以使用相邻块的可用运动矢量来确定控制点矢量。可以执行可用性确定，直到找到具有可用运动矢量的相邻块为止。此处，优先级可以按F->G的顺序，或者按G->F的顺序。

第三相邻块可以表示位于当前块的左(B)或左下(A)的相邻块。类似地，可以根据预定优先级来确定相邻块的运动矢量是否可用，并且可以使用相邻块的可用运动矢量来确定控制点矢量。可以执行可用性确定，直到找到具有可用运动矢量的相邻块为止。此处，优先级可以按A->B的顺序，或者按B->A的顺序。

例如，第一控制点矢量(cpMVCorner[0])可以被设置为第一相邻块的运动矢量，并且第二控制点矢量(cpMVCorner[1])可以被设置为第二相邻块的运动矢量。此外，第三控制点矢量cpMVCorner[2]可以被设置为第三相邻块的运动矢量。第四控制点矢量cpMVCorner[3]可以被设置为第四相邻块的运动矢量。

替选地，第一控制点矢量至第四控制点矢量中的任何一个控制点矢量可以基于其他控制点矢量来获得。例如，可以通过将预定偏移矢量应用于第一控制点矢量来获得第二控制点矢量。偏移矢量可以是第三控制点矢量与第一控制点矢量之间的差矢量，或者偏移矢量可以通过将预定缩放因子应用于差矢量来获得。可以基于当前块和/或相邻块的宽度或高度中的至少一个来确定缩放因子。

通过以上所描述的第一控制点矢量至第四控制点矢量中的至少两个控制点矢量的组合，可以确定根据本发明的K个构造候选(ConstK)。K值可以是1、2、3、4、5、6、7或更大的整数。K值可以基于由编码装置用信号通知的信息来获得，或者可以是在解码装置中预定义的值。该信息可以包括指示包括在候选列表中的构造候选的最大数目的信息。

具体地，可以通过组合第一控制点矢量至第三控制点矢量来获得第一构造候选(Const1)。例如，第一构造候选(Const1)可以具有如下面的表1中所示的控制点矢量。同时，仅当第一相邻块的参考图片信息与第二相邻块和第三相邻块的参考图片信息相同时，才可以如表1中所示的那样构造控制点矢量。此处，参考图片信息可以表示指示参考图片在参考图片列表中的位置的参考图片索引，或者指示输出顺序的图片顺序计数(POC)值。

[表1]

索引	控制点矢量
		0	cpMvCorner[0]
1	cpMvCorner[1]
		2	cpMvCorner[2]

可以通过组合第一控制点矢量、第二控制点矢量和第四控制点矢量来获得第二构造候选(Const2)。例如，第二构造候选(Const2)可以具有如下面的表2所示的控制点矢量。同时，仅当第一相邻块的参考图片信息与第二相邻块和第四相邻块的参考图片信息相同时，才可以如表2中所示的那样构造控制点矢量。此处，参考图片信息如上所描述的。

[表2]

索引	控制点矢量
		0	cpMvCorner[0]
1	cpMvCorner[1]
		2	cpMvCorner[3]+cpMvCorner[1]-cpMvCorner[0]

可以通过组合第一控制点矢量、第三控制点矢量和第四控制点矢量来获得第三构造候选(Const3)。例如，第三构造候选(Const3)可以具有如下面的表3所示的控制点矢量。同时，仅当第一相邻块的参考图片信息与第三相邻块和第四相邻块的参考图片信息相同时，才可以如表2中所示的那样构造控制点矢量。此处，参考图片信息如上所描述的。

[表3]

索引	控制点矢量
		0	cpMvCorner[0]
1	cpMvCorner[3]+cpMvCorner[0]-cpMvCorner[2]
		2	cpMvCorner[2]

可以通过组合第二控制点矢量、第三控制点矢量和第四控制点矢量来获得第四构造候选(Const4)。例如，第四构造候选(Const4)可以具有如下面的表4所示的控制点矢量。同时，仅当第二相邻块的参考图片信息与第三相邻块和第四相邻块的参考图片信息相同时，才可以如表4中所示的那样构造控制点矢量。此处，参考图片信息如上所描述的。

[表4]

索引	控制点矢量
		0	cpMvCorner[1]+cpMvCorner[2]-cpMvCorner[3]
1	cpMvCorner[1]
		2	cpMvCorner[2]

可以通过组合第一控制点矢量和第二控制点矢量来获得第五构造候选(Const5)。例如，第五构造候选(Const5)可以具有如下面的表5所示的控制点矢量。同时，仅当第一相邻块的参考图片信息与第二相邻块的参考图片信息相同时，才可以如表5所示的那样构造控制点矢量。此处，参考图片信息如上所描述的。

[表5]

索引	控制点矢量
		1	cpMvCorner[0]
2	cpMvCorner[1]

可以通过组合第一控制点矢量和第三控制点矢量来获得第六构造候选(Const6)。例如，第六构造候选(Const6)可以具有如下面的表6所示的控制点矢量。同时，仅当第一相邻块的参考图片信息与第三相邻块的参考图片信息相同时，才可以如表6所示的那样构造控制点矢量。此处，参考图片信息如上所描述的。

[表6]

索引	控制点矢量
		1	cpMvCorner[0]
2	cpMvCorner[1]

在表6中，cpMVCorner[1]可以是基于第一控制点矢量和第三控制点矢量获得的第二控制点矢量。可以基于第一控制点矢量、预定差值或当前/相邻块的尺寸中的至少一个来获得第二控制点矢量。例如，第二控制点矢量可以如下面的等式9中那样获得。

[等式9]

cpMvCorner[1][0]＝(cpMvCorner[0][0]＜＜7)+((cpMvCorner[2][1]-cpMvCorner[0][1])＜＜(7+Log2(cbHeight/cbWidth)))

cpMvCorner[1][1]＝(cpMvCorner[0][1]＜＜7)+((cpMvCorner[2][0]-cpMvCorner[0][0])＜＜(7+Log2(cbHeight/cbWidth)))

以上所描述的第一构造候选至第六构造候选中的全部可以被包括在候选列表中，或者它们中的仅一些可以被包括在候选列表中。

根据本发明的方法可以以程序指令的形式来实现，该程序指令可以通过各种计算机装置执行并记录在计算机可读介质中。计算机可读介质可以单独地或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读介质上的程序指令可以针对本发明进行专门设计和配置，或者可以由计算机软件领域的技术人员获知并使用。

计算机可读介质的示例可以包括专门配置成存储和执行程序指令的硬件设备，例如ROM、RAM、闪速存储器等。程序指令的示例可以包括机器语言代码(例如由编译器产生的那些机器语言代码)以及可以由计算机使用解释器等执行的高级语言代码。上述硬件设备可以被配置成与至少一个软件模块一起操作以执行本发明的操作，并且反之亦然。

此外，以上描述的方法或装置可以通过组合其配置或功能的全部或一部分来实现，或者可以单独地实现。

尽管以上参考本发明的优选实施方式进行了描述，但是本领域技术人员将理解，可以在不脱离如所附权利要求书中阐述的本发明的精神和范围的情况下对本发明进行各种修改和改变。

工业实用性

本发明可以用于图像编码/解码方法和装置。

Claims (16)

1.一种通过图像解码装置执行的图像解码方法，所述方法包括：

得出当前块的多个控制点矢量；

基于所述多个控制点矢量得出所述当前块的运动矢量；

通过基于所述当前块的所述运动矢量执行帧间预测来生成所述当前块的预测块；

获得所述当前块的变换系数；

通过对所述变换系数进行逆变换来生成残差块；以及

基于所述预测块和所述残差块重建所述当前块。

2.根据权利要求1所述的方法，

其中，所述多个控制点矢量基于所述当前块的拐角位置来得出。

3.根据权利要求2所述的方法，

其中，所述多个控制点矢量的数目是2或3。

4.根据权利要求3所述的方法，

其中，在所述多个控制点矢量的数目是2的情况下，基于4参数仿射模型得出所述当前块的所述运动矢量，以及

在所述多个控制点矢量的数目是3的情况下，基于6参数仿射模型得出所述当前块的所述运动矢量。

5.根据权利要求4所述的方法，

其中，基于通过比特流用信号通知的信息来确定所述当前块的仿射模型是所述4参数仿射模型还是所述6参数仿射模型。

6.一种通过图像编码装置执行的图像编码方法，所述方法包括：

得出当前块的多个控制点矢量；

基于所述多个控制点矢量得出所述当前块的运动矢量；

通过基于所述当前块的所述运动矢量执行帧间预测来生成所述当前块的预测块；

基于所述预测块生成所述当前块的残差块；

通过对所述残差块的系数进行变换来生成所述当前块的变换系数；以及

将所述变换系数编码到比特流中。

7.一种存储通过图像编码方法生成的比特流的计算机可读记录介质，所述方法包括：

得出当前块的多个控制点矢量；

基于所述多个控制点矢量得出所述当前块的运动矢量；

通过基于所述当前块的所述运动矢量执行帧间预测来生成所述当前块的预测块；

基于所述预测块生成所述当前块的残差块；

通过对所述残差块的系数进行变换来生成所述当前块的变换系数；以及

将所述变换系数编码到所述比特流中。

8.一种传输通过图像编码方法生成的比特流的方法，所述图像编码方法包括：

得出当前块的多个控制点矢量；

基于所述多个控制点矢量得出所述当前块的运动矢量；

通过基于所述当前块的所述运动矢量执行帧间预测来生成所述当前块的预测块；

基于所述预测块生成所述当前块的残差块；

通过对所述残差块的系数进行变换来生成所述当前块的变换系数；以及

将所述变换系数编码到所述比特流中。

9.一种对图像进行解码的方法，包括：

获得当前色度块的第一预测样本；

获得所述当前色度块的第二预测样本；

基于所述第一预测样本和所述第二预测样本获得所述当前色度块的最终预测样本；

获得所述当前色度块的变换系数；

通过对所述变换系数进行逆变换来生成残差样本；以及

基于所述最终预测样本和所述残差样本重建所述当前色度块，

其中，所述第二预测样本基于对应于所述当前色度块的亮度块来获得。

10.根据权利要求9所述的方法，其中，所述第二预测样本进一步基于所述当前色度块和对应亮度块之间的相关性信息来获得。

11.根据权利要求10所述的方法，其中，所述第二预测样本通过将所述相关性信息应用于基于所述对应亮度块内的样本值计算的亮度分量的代表性样本值来获得。

12.根据权利要求10所述的方法，其中，所述相关性信息是从比特流中获得的。

13.根据权利要求11所述的方法，其中所述亮度分量的所述代表性样本值基于所述对应亮度块内的所述样本值的子采样和平均来计算。

14.一种对图像进行编码的方法，包括：

获得当前色度块的第一预测样本；

获得所述当前色度块的第二预测样本；

基于所述第一预测样本和所述第二预测样本获得所述当前色度块的最终预测样本；

基于所述最终预测样本生成所述当前色度块的残差样本；

通过对所述残差样本的系数进行变换来生成所述当前色度块的变换系数；以及

将所述变换系数编码到比特流中，

其中，所述第二预测样本基于对应于所述当前色度块的亮度块来获得。

15.一种传输通过图像编码方法生成的比特流的方法，所述图像编码方法包括：

获得当前色度块的第一预测样本；

获得所述当前色度块的第二预测样本；

基于所述第一预测样本和所述第二预测样本获得所述当前色度块的最终预测样本；

基于所述最终预测样本生成所述当前色度块的残差样本；

通过对所述残差样本的系数进行变换来生成所述当前色度块的变换系数；以及

将所述变换系数编码到所述比特流中，

其中，所述第二预测样本基于对应于所述当前色度块的亮度块来获得。

16.一种存储通过图像编码方法生成的比特流的非暂时性计算机可读记录介质，所述图像编码方法包括：

获得当前色度块的第一预测样本；

获得所述当前色度块的第二预测样本；

基于所述第一预测样本和所述第二预测样本获得所述当前色度块的最终预测样本；

基于所述最终预测样本生成所述当前色度块的残差样本；

通过对所述残差样本的系数进行变换来生成所述当前色度块的变换系数；以及

将所述变换系数编码到所述比特流中，

其中，所述第二预测样本基于对应于所述当前色度块的亮度块来获得。