CN116489347A - 对图像进行编/解码的方法和装置 - Google Patents

Abstract

本发明涉及对图像进行编/解码的方法和装置。对图像进行解码的方法包括：确定合并模式是否被应用于当前块；当合并模式被应用于当前块时，基于当前块的几何修改使用信息来确定几何修改信息是否被用于当前块的帧间预测；当几何修改使用信息指示几何修改信息被用于当前块的帧间预测时，通过基于参考图片和几何修改信息执行帧间预测来获得解码目标图片内的当前块的预测块；以及通过对预测块和残差块求和来获得当前块的重构块，其中用于几何修改信息的几何修改包括仿射修改，并且其中几何修改信息是从当前块的合并候选列表之中的合并候选导出的，并且合并候选列表包括通过当前块的至少一个相邻块导出的至少一个空间合并候选。

Description

对图像进行编/解码的方法和装置

本申请是申请日为2016年11月18日、申请号为201680067705.2、发明名称为“对图像进行编/解码的方法和编/解码图像的装置”的发明专利申请的分案申请。

技术领域

本发明一般涉及用于通过使用几何修改图像来对图像进行编码/解码的方法和装置，所述几何修改图像通过几何地修改参考图像来生成。

背景技术

随着高清晰度(HD)广播在全国范围内和全世界得到扩展，许多用户已经习惯于具有高分辨率和高图片质量的图像。因此，许多机构正在为下一个图像设备的发展提供动力。此外，随着对具有比HDTV高数倍的分辨率的超高清晰度(UHD)持续增长的兴趣，需要能够对具有更高分辨率和更高图像质量的图像进行压缩和处理的技术。

作为图像压缩技术，存在各种技术：诸如帧间预测技术，其中根据当前图片之前或之后的图片预测当前图片中包括的像素值；帧内预测技术，其中使用当前图像中的像素信息预测包括在当前图片中的像素值；用于压缩残留信号的能量的变换和量化技术；以及熵编码技术，其中短码被分配给具有高出现频率的值，并且长码被分配给具有低出现频率的值。使用这些图像压缩技术，可以在图像数据被有效地压缩的状态中传输和存储图像数据。

当全局运动被包括于在帧间预测期间所参考的参考图片中时，参考图片与当前图片之间的相似性降低。参考图片与当前图片之间的降低的相似性可能导致预测效率的降低。因此，需要改进以解决上述问题。

发明内容

技术问题

本发明旨在提出一种用于有效编码/解码图像的方法和装置。

另外，本发明提供一种用于通过参考参考图片和/或几何修改参考图片来进行帧内预测和/或帧间预测的方法和装置。

另外，本发明提供了一种用于对与几何修改图片有关的信息进行编码的方法和装置。

本发明要实现的技术目的不限于上述目的，并且本领域技术人员将从以下描述中理解未被描述的其他技术目的。

技术方案

根据本发明的一个方面，提供了一种用于编码图像的方法。该方法可以包括：通过几何地修改参考图片来生成几何修改参考图片；通过参考所述参考图片或几何修改参考图片执行帧间预测来生成编码目标图片内的当前块的预测块；和对当前块的帧间预测信息进行编码。

根据本发明的编码方法，该方法还可以包括：基于编码目标图片和参考图片之间的关系生成几何修改信息，并且所述几何修改参考图片可以基于所述几何修改信息生成。

根据本发明的编码方法，可以从通过参考所述参考图片的帧间预测生成的第一预测块或通过参考所述几何修改参考图片的帧间预测生成的第二预测块中选择所述预测块。

根据本发明的编码方法，所选择的预测块可以基于当前块的编码效率针对所述第一预测块和所述第二预测块中每一个来选择。

根据本发明的编码方法，可以基于速率失真成本来确定当前块的编码效率。

根据本发明的编码方法，可以通过根据与当前块毗邻的块的帧间预测信息进行预测来执行对帧间预测信息进行编码。

根据本发明的编码方法，对帧间预测信息进行编码可以包括：生成利用与当前块毗邻的一个或多个候选块构造的候选列表；选择包括在候选列表中的候选块中的一个候选块；和对用于在候选列表中包括的候选块当中识别所选择候选块的信息进行编码。

根据本发明的编码方法，帧间预测信息可以包括几何修改使用信息，并且几何修改使用信息可以是用于指示所述参考图片或所述几何修改参考图片是否被用于生成当前块的预测块的信息。

根据本发明的编码方法，当使用双向或更多方向预测来生成当前块的预测块时，将所述几何修改使用信息编码在与关于每个预测方向的信息和关于每个预测方向的几何修改使用信息的组合相对应的符号值中。

根据本发明的编码方法，可以通过对所述符号值和先前使用的与几何修改使用信息对应的符号值之间的差值进行编码来执行对所述符号值的编码。

根据本发明的另一方面，提供了一种用于解码图像的方法。该方法可以包括：解码当前块的帧间预测信息；和通过基于帧间预测信息执行帧间预测来生成解码目标图片内的当前块的预测块。

根据本发明的解码方法，帧间预测信息可以包括几何修改使用信息，并且所述几何修改使用信息可以是用于指示是参考图片还是几何修改参考图片被用于生成当前块的预测块的信息。

根据本发明的解码方法，当几何修改使用信息指示使用几何修改参考图片时，解码方法还可以包括：对几何修改信息进行解码；和通过基于所述几何修改使用信息几何地修改参考图片来生成几何修改参考图片，并且当前块的预测块可以通过参考几何修改参考图片的帧间预测而生成。

根据本发明的解码方法，可以通过预测与当前块毗邻的块的帧间预测信息来解码所述帧间预测信息。

根据本发明的解码方法，对帧间预测信息进行解码可以包括：生成利用与当前块毗邻的一个或多个候选块构造的候选列表；解码用于在候选列表中包括的候选块当中识别一个候选块的信息；基于识别信息从候选列表中包括的候选块当中选择一个候选块；和通过使用所选择的候选块的帧间预测信息来导出当前块的帧间预测信息。

根据本发明的解码方法，该方法还可以包括将所选择的候选块的帧间预测信息确定为当前块的帧间预测信息。

根据本发明的解码方法，当双向或更多方向预测用于生成当前块的预测块时，可以在与每个预测方向的信息和关于每个预测方向的几何修改使用信息的组合相对应的符号值中进行解码得到所述几何修改使用信息。

根据本发明的解码方法，解码符号值可以包括：解码在所述符号值和先前使用的与几何修改使用信息对应的符号值之间的差值；和将先前使用的与几何修改使用信息相对应的符号值相加到所解码的差值。

根据本发明的解码方法，可以基于解码目标图片和参考图片之间的关系来生成几何修改信息，并且可以具有各种形式，诸如全局运动信息(全局运动矢量)、转移几何修改矩阵、大小几何修改矩阵、旋转几何修改矩阵、仿射几何修改矩阵和投影几何修改矩阵。

仍然根据本发明的另一方面，提供了用于编码图像的装置。该装置可以包括：几何修改参考图片生成器，通过几何地修改参考图片来生成几何修改参考图片；帧间预测单元，通过参考参考图片或几何修改参考图片执行帧间预测来生成编码目标图片内的当前块的预测块；和编码器，用于对当前块的帧间预测信息进行编码。

根据本发明的又一方面，提供了一种用于解码图像的装置。该装置可以包括：解码器，对当前块的帧间预测信息进行解码；和帧间预测单元，通过基于帧间预测信息执行帧间预测来生成解码目标图片内的当前块的预测块，其中所述帧间预测信息包括几何修改使用信息，并且其中所述几何修改使用信息可以是用于指示参考图片还是几何修改参考图片被用于生成当前块的预测块的信息。

有利的效果

根据本发明，图像可以被有效地编码/解码。

另外，根据本发明，可以通过参考参考图片和/或几何修改图片来执行帧间预测和/或帧内预测。

此外，根据本发明，可以有效地编码与几何修改图片有关的信息。

由本发明获得的效果不限于上述的效果，并且本发明所属技术领域的普通技术人员根据以下描述可以清楚地理解其他未提及的效果。

附图说明

图1是示出应用了本发明实施例的图像编码装置的配置的框图。

图2是示出应用了本发明实施例的图像解码装置的配置的框图。

图3是示意地示出当对图像进行编码时的图像的分区(partition)结构的图。

图4是示出可以被包括在编码单元(coding unit，CU)中的预测单元(PU)的形式的图。

图5是示出可以被包括在编码单元(CU)中的变换单元(TU)的形式的图。

图6是示出帧内预测处理的示例的图。

图7是示出帧间预测处理的示例的图。

图8是示出根据本发明的图像的几何修改的实施例的转移修改的图。

图9是示出根据本发明的图像的几何修改的实施例的大小修改的图。

图10是示出根据本发明的图像的几何修改的实施例的旋转修改的图。

图11是示出根据本发明的图像的几何修改的实施例的仿射(affine)修改的图。

图12是示出根据本发明的图像的几何修改的实施例的投影修改的图。

图13是示出根据本发明的实施单应性的方法的示例的图。

图14是根据本发明的导出在两个图像之间对应的两个点之间的关系式的示例方法。

图15是示出根据本发明的基于几何修改矩阵和原始图像生成几何修改图像的方法的图。

图16是示出根据本发明的通过使用逆映射来生成几何修改图像的方法的图。

图17是示出根据本发明的基于几何修改矩阵和原始图像生成几何修改图像的方法的图，其中几何修改矩阵可以对应于几何修改信息。

图18是示出根据本发明实施例的参考图17所示的各种插值方法当中的双线性插值的图。

图19是示出根据本发明实施例的通过使用参考图片和/或几何修改图片进行运动预测的图。

图20是示出应用了本发明另一实施例的图像编码装置的配置的框图。

图21是示出应用了本发明另一实施例的图像解码装置的配置的框图。

图22是解释根据本发明实施例的包括使用几何修改使用信息的预测单元的编码器的操作的图。

图23是解释根据本发明实施例的包括几何修改使用信息预测器的编码器的操作的图。

图24是解释根据本发明实施例的生成几何修改使用信息的方法的图。

图25是根据本发明实施例的包括几何修改使用信息预测部分的帧间预测单元的配置图。

图26是解释几何修改使用信息的示例编码方法的图。

图27是解释几何修改使用信息的另一示例编码方法的图。

图28是解释通过使用合并模式来对图像进行编码的示例的图。

图29是示出包括在合并候选列表中的相邻块的图。

图30是解释生成几何修改参考图片的步骤的图。

图31是示出在编码目标图片内的块中包括的帧间预测信息的配置的示例图。

图32是解释预测当前图片内的当前块X的帧间预测信息的实施例的图。

图33是解释基于合并候选来预测当前块的帧间预测信息的实施例的图。

图34是解释基于合并候选列表来预测当前块的帧间预测信息的实施例方法的图。

具体实施方式

由于可以对本发明进行各种修改，并且存在本发明的各种实施例，所以现在将参考附图提供示例并且将对其进行详细描述。然而，本发明不限于此，并且示例性实施例可以被解释为包括本发明的技术概念和技术范围内的所有修改、等同物或替代物。在各个方面中，相似的附图标记指代相同或相似的功能。在附图中，为了清楚起见，元件的形状和尺寸可能被夸大，并且贯穿全文始终使用相同的附图标记来指定相同或相似的元件。在本发明的以下详细描述中，参考了以说明的方式示出了可以实践本发明的具体实施例的附图。足够详细地描述这些实施例以使本领域技术人员能够实施本公开。应该理解，本公开的各种实施例尽管不同，但并不一定是相互排斥的。例如，可以在其他实施例中实施本文结合一个实施例描述的具体特征、结构和特性，而不脱离本公开的精神和范围。另外，应该理解的是，可以修改每个公开的实施例内的各个元件的位置或布置，而不脱离本公开的精神和范围。因此，以下详细描述不应被视为具有限制意义，并且本公开的范围以及与权利要求所要求保护的范围等同的全部范围仅由所附权利要求限定、适当地解释。

在说明书中使用的术语“第一”、“第二”等可以用来描述各种组件，但是这些组件不应被解释为限于这些术语。这些术语仅用于区分一个组件与其他组件。例如，“第一”组件可以被称为“第二”组件，而不脱离本发明的范围，并且“第二”组件也可以类似地被称为“第一”组件。术语“和/或”包括多个项目的组合或多个项目中的任何一个。

当提到元件“耦合”或“连接”到另一元件时，这可能意味着它直接耦合或连接到另一元件，但是应该理解，可能在它们之间存在另一元件。另一方面，当提到元件“直接耦合”或“直接连接”到另一个元件时，应该理解，它们之间没有其他元件。

此外，独立地示出本发明的实施例中所示的构成部分，以表示彼此不同的特性功能。因此，这并不意味着每个构成部分是以分离的硬件或软件的构成单元所构成的。换句话说，为了方便起见，每个构成部分都包括列举的构成部分中的每一个。因此，每个构成部分的至少两个构成部分可以被组合以形成一个构成部分，或者一个构成部分可以被划分成多个构成部分以执行每个功能。如果不脱离本发明的本质，组合每个构成部分的实施例和一个构成部分被划分的实施例也包括在本发明的范围内。

本说明书中使用的术语仅用于描述特定实施例，并不旨在限制本发明。以单数形式使用的表达包含复数形式的表达，除非其在上下文中具有清楚的不同含义。在本说明书中，应该理解，诸如“包括”、“具有”等的术语旨在指示在说明书中公开的特征、数字、步骤、动作、元件、部分或其组合的存在，并且不旨在排除一个或多个其他特征、数字、步骤、动作、元件、部分或其组合可以存在或可以被添加的可能性。换句话说，当特定元件被称为“被包含”时，不排除相应元件以外的元件，而是附加元件可以被包括在本发明的实施例或本发明的范围中。

另外，一些组成部分可能不是执行本发明的基本功能的不可或缺的组成部分，而是仅改善其性能的选择性组成部分。除了用于改善性能的组成部分之外，本发明可以通过仅包括用于实施本发明的基本的不可或缺的组成部分来实施。除了仅用于提高性能的选择性组成部分以外，仅包含不可缺少的组成部分的结构也包含在本发明的范围内。

在下文中，将参考附图详细描述本发明的示例性实施例。在描述本发明的示例性实施例时，将不详细描述熟知的功能或构造，因为它们可能不必要地模糊了对本发明的理解。附图中相同的组成部分元件由相同的附图标记表示，并且将省略对相同元件的重复描述。

另外，在下文中，图像可以指代构成视频的图片，或者可以指代视频。例如，“对图像进行编码和/或解码”可以指代“对视频进行编码和/或解码”，或者可以指代“对构成视频的图像当中的单个图像进行编码和/或解码”。这里，图片可以指代图像。

编码器：可以指代编码装置。

解码器：可以指代解码装置。

解析：可以指代通过执行熵解码来确定语法元素值，或者可以指代熵解码器。

块：可以指代MxN矩阵的样本，这里，M和N是正整数。块可以指代二维矩阵的样本矩阵。

单元：可以指代对图像进行编码或解码的单元。当对图像进行编码和解码时，单元可以是通过对图像进行分区而生成的区域。可替换地，当图像被细分和编码或解码时，单元可以指代一个图像的所划分单元。在编码和解码的同时，可以针对每个单元执行预定的处理。单个单元可以被划分成更小的子单元。该单元根据其功能还可以指代块、宏块(MB)、编码单元(CU)、预测单元(PU)、变换单元(TU)、编码块(CB)、预测块(PB)或变换块(TB)。单元可以指代包括用于指示与块区分的用于每个块的亮度分量块、其对应的色度分量块、和语法元素的对象。该单元可能有不同的大小和形状。具体地，单元的形状可以包括诸如矩形、立方体、梯形、三角形、五边形等的二维形式。另外，单元的形状可以包括几何图形。此外，单元信息可以包括单元类型(诸如编码单元、预测单元、变换单元等)、单元大小、单元深度以及单元编码和解码的序列等中的至少一个。

重构相邻单元：可以指代已经在空间/时间上被编码或解码、并且与编码/解码目标单元毗邻的重构单元。

深度：指示单元的分区的程度。在树形结构中，最高节点可以指代根节点，最低节点可以指代叶节点。

符号：可以指代编码/解码目标单元的语法元素和编码参数，变换系数的值等。

参数集：可以对应于比特流内的结构中的报头信息。视频参数集、序列参数集、图片参数集和自适应参数集中的至少一个可以被包括在参数集中。另外，参数集可以包括切片(slice)报头和瓦片(tile)报头的信息。

比特流：可以指代包括已编码图像信息的比特串。

编码参数：不仅可以包括由编码器编码然后与语法元素一起发送到解码器的信息，还可以包括可以在编码或解码过程中导出的信息，或者可以指代编码和解码必需的参数。例如，编码参数可以包括如下的至少一个值和/或统计：帧内预测模式、帧间预测模式、帧内预测方向、运动信息、运动矢量、参考图像索引、帧间预测方向、帧间预测指示符、参考图像列表、运动矢量预测器、运动合并候选、变换类型、变换大小、关于是否使用附加变换的信息、环路内的滤波器信息、关于是否存在残差信号的信息、量化参数、上下文模型、变换系数、变换系数等级、所编码的块图案(block pattern)、所编码的块标志、图像显示/输出顺序、切片信息、瓦片信息、图片类型、关于是否使用运动合并模式的信息、关于是否使用跳过模式的信息、块大小、块深度、块分区信息、单元大小、单元分区信息等。

预测单元：可以指代在执行帧间预测或帧内预测时以及在对预测进行补偿时的基本单元。预测单元可以被划分成多个分区。分区中的每一个也可以是当执行帧间预测或帧内预测时以及在执行对预测的补偿时的基本单元。被分区的预测单元也可以指代预测单元。另外，单个预测单元可以被划分成更小的子单元。预测单元可以具有各种大小和形状。具体地，单元的形状可以包括诸如矩形、正方形、梯形、三角形、五边形等的二维形式。另外，单元的形状可以包括几何图形。

预测单元分区：可以指代预测单元的分区形式。

参考图片列表：可以指代包括用于帧间预测或运动补偿的至少一个参考图片的列表。参考列表的类型可以包括组合的列表(LC)、L0(列表0)、L1(列表1)、L2(列表2)、L3(列表3)等。至少一个参考图片列表可以用于帧间预测。

帧间预测指示符：可以指代编码/解码目标块的帧间预测方向(单向预测，双向预测)。可替换地，指示符可以指代用于生成编码/解码目标块的预测块的参考图片的数量，或者可以指当编码/解码目标块执行运动补偿时使用的预测块的数量。

参考图片索引：可以指代参考图片列表内的特定图片的索引。

参考图片：可以指代由用于帧间预测或运动补偿的特定单元所参考的参考图片。可选地，参考图像可以指代参考图片。

运动矢量：指代用于帧间预测或运动补偿的二维矩阵，或者可以是编码/解码目标图像与参考图像之间的偏移。例如，(mvX，mvY)可以指示移动向量，mvX可以是水平分量，并且mvY可以是垂直分量。

运动矢量候选：可以指代当预测运动矢量时变成预测候选的单元，或者可以指代单元的运动矢量。

运动矢量候选列表：可以指代配置有运动矢量候选的列表。

运动矢量候选索引：可以指代指示运动矢量候选者列表内的运动矢量候选的指示符，或者可以指代运动矢量预测器的索引。

运动信息：可以指代包括运动矢量、参考图像索引、帧间预测指示符、参考图像列表信息、参考图像、运动矢量候选、运动矢量候选索引等中的至少一个的信息。

变换单元：当执行诸如变换系数的变换、逆变换、量化、逆量化和编码/解码的残余信号的编码/解码时，可以指代基本单元。单个单元可以被划分成更小的子单元。该单位可能有不同的大小和形状。具体地，单元的形状可以包括诸如矩形、正方形、梯形、三角形、五边形等的二维形式。另外，单元的形状还可以包括几何图形。

缩放：可以指代将因子乘以变换系数等级，并且结果可以生成变换系数的过程。缩放还可以指代逆量化。

量化参数：可以指代用于在量化和逆量化中缩放变换系数等级的值。这里，量化参数可以是映射到量化的步长的值。

差量量化参数：可以指代编码/解码目标单元的预测量化参数与量化参数之间的残差值。

扫描：可以指代是在块或矩阵内对系数顺序进行排序的方法。例如，将二维矩阵排序为一维矩阵可以指代扫描或逆扫描。

变换系数：可以是执行变换之后生成的系数值。在本发明中，通过对变换系数应用量化来量化的变换系数等级可以被包括在变换系数中。

非零变换系数：可以指代其值或其大小不为0的变换系数。

量化矩阵：可以指代用于量化和逆量化以提高图像的质量的矩阵。量化矩阵也可以指代缩放列表。

量化矩阵系数：可以指代量化矩阵的每个元素。量化矩阵系数也可以指代矩阵系数。

默认矩阵：可以指代提前在编码器和解码器中定义的预定量化矩阵。

非默认矩阵：可以指代由用户发送/接收的量化矩阵，并且未提前在编码器和解码器中定义。

图1是示出应用本发明实施例的图像编码装置的配置的框图。

编码装置100可以是视频编码装置或图像编码装置。视频可以包括至少一个图像。编码装置100可以按时间顺序对视频的至少一个图像进行编码。

参考图1，编码装置100可以包括运动预测单元111、运动补偿单元112、帧内预测单元120、开关115、减法器125、变换单元130、量化单元140、熵编码单元150、逆量化单元160、逆变换单元170、加法器175、滤波器单元180和参考图片缓冲器190。

编码装置100可以以帧内模式或帧间模式或两者对输入图像进行编码。另外，编码装置100可以通过对输入图像进行编码来生成比特流，并且可以输出生成的比特流。当帧内模式被用作预测模式时，开关115可以切换到帧内。当帧间模式被用作预测模式时，开关115可以切换到帧间。这里，帧内模式可以被称为帧内预测模式，并且帧间模式可以被称为帧间预测模式。编码装置100可以生成输入图像的输入块的预测信号。作为块单元的预测信号可以被称为预测块。另外，在生成预测块之后，编码装置100可以对输入块和预测块之间的残差值进行编码。输入图像可以被称为作为当前编码的目标的当前图像。输入块可以被称为当前块、或者作为当前编码的目标的编码目标块。

当预测模式是帧内模式时，帧内预测单元120可以使用与当前块毗邻的先前编码块的像素值作为参考像素。帧内预测单元120可以通过使用用于空间预测的参考像素来执行空间预测，并且可以通过使用空间预测来生成输入块的预测样本。这里，帧内预测(intraprediction)可能指代帧内的预测(intra-frame prediction)。

当预测模式是帧间模式时，运动预测单元111可以在运动预测过程中搜索与参考图像的输入块最佳匹配的区域，并且可以通过使用搜索到的区域来导出运动矢量。参考图像可以被存储在参考图片缓冲器190中。

运动补偿单元112可通过使用运动矢量执行运动补偿来生成预测块。这里，运动矢量可以是在帧间预测中使用的二维矢量。另外，运动矢量可以指示当前图像与参考图像之间的偏移。这里，帧间预测(inter prediction)可能指代帧间的预测(inter-frameprediction)。

当运动矢量的值不是整数时，运动预测单元111和运动补偿单元112可以通过对参考图像中的部分区域应用插值滤波器来生成预测块。为了执行帧间预测或运动补偿，基于编码单元，可以在跳过模式、合并模式和AMVP模式当中确定包括在编码单元中的预测单元的运动预测方法、和运动预测的补偿方法。另外，可以根据模式执行帧间预测或运动补偿。

减法器125可通过使用输入块与预测块之间的残差值来产生残差块。残差块可以被称为残差信号。

变换单元130可以通过变换残差块来生成变换系数，并且可以输出变换系数。这里，变换系数可以是通过变换残差块而生成的系数值。在变换跳过模式中，变换单元130可以跳过残差块的变换。

量化变换系数等级可以通过对变换系数应用量化来生成。在下文中，在本发明实施例中，量化后的变换系数等级可以被称为变换系数。

量化单元140可以通过根据量化参数对变换系数进行量化来生成量化后的变换系数等级，并且可以输出该量化后的变换系数等级。这里，量化单元140可以通过使用量化矩阵来量化所述变换系数。

根据概率分布，熵编码单元150可以通过对由量化单元140计算的值或者在编码处理中计算的编码参数值等执行熵编码来生成比特流，并且可以输出该比特流。熵编码单元150可对用于对图像进行解码的信息和图像的像素的信息进行熵编码。例如，用于对图像进行解码的信息可以包括语法元素等。

当应用熵编码时，通过向具有高出现概率的符号分配少量比特并且向具有低出现概率的符号分配大量比特来表示符号，从而减小编码目标符号的比特流的大小。因此，可以通过熵编码来增加图像编码的压缩性能。对于熵编码，熵编码单元150可以使用诸如指数哥伦布(golomb)、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)的编码方法。例如，熵编码单元150可以通过使用可变长度编码/代码(VLC)表来进行熵编码。另外，熵编码单元150可以导出目标符号的二值化方法和目标符号/箱(bin)的概率模型，并且可以在之后使用导出的二值化方法或导出的概率模型来执行算术编码。

为了对变换系数等级进行编码，熵编码单元150可以通过使用变换系数扫描方法将二维块形式系数改变为一维矢量形式。例如，通过利用右上扫描来扫描块的系数，可以将二维块形式系数改变为一维矢量形式。根据变换单元的大小和帧内预测模式，可以使用沿列方向扫描二维块形式系数的垂直扫描、以及沿行方向扫描二维块形式系数的水平扫描，而不是使用右上扫描。换句话说，可以根据变换单元的大小和帧内预测模式来在右上扫描、垂直方向扫描和水平方向扫描当中确定扫描方法。

编码参数不仅可以包括由编码器编码然后与语法元素一起传送到解码器的信息，还可以包括可以在编码或解码过程中导出的信息，或者可以指代进行编码和解码必需的参数。例如，编码参数可以包括如下的至少一个值或统计：帧内预测模式、帧间预测模式、帧内预测方向、运动信息、运动矢量、参考图像索引、帧间预测方向、帧间预测指示符、参考图像列表、运动矢量预测器、运动合并候选、变换类型、变换大小、关于是否使用附加变换的信息、环路内的滤波器信息、关于是否存在残差信号的信息、量化参数、上下文模型、变换系数、变换系数等级、所编码的块图案、所编码的块标志、图像显示/输出顺序、切片信息、瓦片信息、图片类型、关于是否使用运动合并模式的信息、关于是否使用跳过模式的信息、块大小、块深度、块分区信息、单元大小、单元分区信息等。

残差信号可意指原始信号与预测信号之间的差。可替换地，残差信号可以是通过变换原始信号和预测信号之间的差而生成的信号。可替换地，残差信号可以是通过变换并量化原始信号和预测信号之间的差而生成的信号。残差块可以是残差信号，其是块单元。

当编码装置100通过使用帧间预测来执行编码时，编码后的当前图像可以用作之后将要处理的其它图像的参考图像。因此，编码装置100可以对编码后的当前图像进行解码，并且可以将解码后的图像存储为参考图像。为了执行解码，可以对编码后的当前图像执行逆量化和逆变换。

量化系数可以由逆量化单元160去量化，并且可以由逆变换单元170逆变换。可以通过加法器175将去量化的和逆变换的系数相加到预测块，由此可以生成重构块。

重构块可以通过滤波器单元180。滤波器单元180可以将去块滤波器、采样自适应偏移(SAO)和自适应环路滤波器(ALF)中的至少一个应用于重构块或重构图像。滤波器单元180可以被称为环路内滤波器。

去块滤波器可以去除在块之间的边界处发生的块失真。为了确定去块滤波器是否被操作，可以基于包括在块中的若干行或列中的像素来确定去块滤波器是否被应用于当前块。当去块滤波器应用于块时，可以根据所需的去块滤波强度来应用强滤波器或弱滤波器。另外，在应用去块滤波器时，当执行垂直滤波和水平滤波时，可以并行处理水平方向滤波和垂直方向滤波。

采样自适应偏移可以将最佳偏移值相加到像素值，以便补偿编码错误。样本自适应偏移可以利用像素来校正去块滤波后的图像与原始图像之间的偏移。为了对特定图片执行偏移校正，可以使用考虑每个像素的边缘信息而应用偏移校正的方法、或者将图像的像素分区为预定数量的区域、确定要执行偏移校正的区域、以及将偏移校正应用于所确定的区域的方法。

自适应环路滤波器可以基于通过比较重构图像和原始图像而获得的值来进行滤波。图像的像素可以被分区成预定的组，确定应用于每个组的单个滤波器，并且可以在每个组执行不同的滤波。关于是否应用自适应环路滤波器的信息可以被发送到每个编码单元(CU)。适用于每个块的自适应环路滤波器的形状和滤波器系数可以变化。另外，可以应用具有相同形式(固定形式)的自适应环路滤波器，而不管目标块的特性如何。

已经通过滤波器单元180的重构块可以被存储在参考图片缓冲器190中。

图2是示出应用了本发明实施例的图像解码装置的配置的框图。

解码装置200可以是视频解码装置或图像解码装置。

参考图2，解码装置200可以包括熵解码单元210、逆量化单元220、逆变换单元230、帧内预测单元240、运动补偿单元250、加法器255、滤波器单元260和参考图片缓冲器270。

解码装置200可以接收从编码装置100输出的比特流。解码装置200可以以帧内模式或帧间模式对比特流进行解码。另外，解码装置200可以通过解码来生成重构图像，并且可以输出重构图像。

当使用帧内模式作为在解码中使用的预测模式时，可以将开关切换到帧内。当使用帧间模式作为在解码中使用的预测模式时，可以将开关切换到帧间。

解码装置200可以从输入的比特流中获得重构的残差块，并且可以生成预测块。

当获得重构的残差块和预测块时，解码装置200可以通过将重构的残差块和预测块相加来生成作为解码目标块的重构块。解码目标块可以被称为当前块。

熵解码单元210可以通过根据概率分布对比特流进行熵解码来生成符号。生成的符号可以包括具有量化的变换系数等级的形式的符号。

这里，熵解码的方法可以类似于上述的熵编码的方法。例如，熵解码的方法可以是上述熵编码的方法的逆过程。

为了对变换系数等级进行解码，熵解码单元210可以通过使用变换系数扫描方法将一维块形式系数改变为二维矢量形式。例如，通过利用右上扫描来扫描块的系数，可以将一维块形式系数改变为二维矢量形式。根据变换单元的大小和帧内预测模式，可以使用垂直扫描和水平扫描而不是使用右上扫描。换句话说，可以根据变换单元的大小和帧内预测模式来在右上扫描、垂直方向扫描和水平方向扫描当中确定扫描方法。

量化的变换系数等级可以由逆量化单元220去量化，并且可以由逆变换单元230逆变换。量化的变换系数等级被去量化并被逆变换，以便生成重构的残差块。这里，逆量化单元220可以将量化矩阵应用到量化的变换系数等级。

当使用帧内模式时，帧内预测单元240可通过使用在解码目标块周围的先前解码块的像素值执行空间预测来生成预测块。

当使用帧间模式时，运动补偿单元250可以通过执行使用运动矢量和存储在参考图片缓冲器270中的参考图像两者的运动补偿来生成预测块。当运动矢量的值不是整数时，运动补偿单元250可以通过对参考图像中的部分区域应用插值滤波器来生成预测块。为了执行运动补偿，基于编码单元，可以在跳过模式、合并模式和AMVP模式当中确定包括在编码单元中的预测单元的运动预测方法和运动预测的补偿方法。另外，可以根据模式执行帧间预测或运动补偿。这里，当前图片参考模式可以意味着在具有解码目标块的当前图片内使用先前重构的区域的预测模式。先前重构的区域可以不与解码目标块毗邻。为了指定先前重构的区域，可以将固定矢量用于当前图片参考模式。另外，可以用信号发送用于指示解码目标块是否是在当前图片参考模式下解码的块的标志或索引，并且可以通过使用解码目标块的参考图片索引来导出该标志或索引。用于当前图片参考模式的当前图片可以存在于用于解码目标块的参考图片列表内的固定位置(例如，refIdx＝0的位置或最后位置)处。另外，可以在参考图片列表内可变地定位，并且为此，可以用信号发送用于指示当前图片的位置的附加参考图片索引。

通过加法器255可以将重构的残差块相加到预测块。通过将重构的残差块和预测块相加而生成的块可以通过滤波器单元260。滤波器单元260可以将去块滤波器、采样自适应偏移和自适应环路滤波器中的至少一个应用于重构块或重构图像。滤波器单元260可以输出重构图像。重构图像可以被存储在参考图片缓冲器270中，并且可以被用在帧间预测中。

图3是示意地表示对图像进行编码和解码时的图像的分区结构的图。图3示意性地示出了将单个单元分区为更低层的多个单元的示例。

为了有效地分区图像，可以在编码和解码的同时使用编码单元(CU)。单元可以指代1)语法元素，以及2)包括样本图像的块。例如，“单元的分区”可以指代“对应于该单元的块的分区”。块分区信息可以包括单元的深度信息。深度信息可以指示单元中的分区的数量和/或分区的程度。

参考图3，图像300被以最大编码单元(以下称为LCU)顺序分区，并且基于LCU确定分区结构。这里，LCU可以被用作编码树单元(CTU)。单个单元可以包括基于树结构的深度信息，并且可以被分层地分区。较低层的分区单元中的每一个可以包括深度信息。深度信息指示单元中的分区的数量和/或分区的程度，并且因此可以包括较低层的单元大小信息。

分区结构可以指代LCU 310内的编码单元(CU)的分布。CU可以是用于有效对图像进行编码的单元。分布可以基于单个CU是否将被分区为多个(包括2、4、8、16等的大于2的正整数)来确定。每个分区的CU的宽度大小和高度大小可以是单个CU的宽度大小的一半和高度大小的一半。可替换地，根据分区单元的数量，每个分区的CU的宽度大小和高度大小可以小于单个CU的宽度大小和高度大小。类似地，分区的CU可以递归地被分区成多个CU，每个CU从所分区CU中减小一半的宽度大小和高度大小。

这里，CU的分区可递归地执行直到预定深度。深度信息可以是指示CU的大小的信息。每个CU的深度信息可以存储在其中。例如，LCU的深度可以是0，并且最小编码单元(SCU)的深度可以是预定的最大深度。这里，LCU可以是如上所述的具有最大CU大小的CU，并且SCU可以是具有最小CU大小的CU。

每当LCU 310被分区并且其宽度大小和高度大小被减小时，CU的深度增加1。尚未执行分区的CU可以具有用于每个深度的2N×2N大小，并且已经执行了分区的CU可以从具有2N×2N大小的CU分区为多个CU，其中该多个CU的每个CU具有N×N大小。每当深度增加1时，N的大小减半。

参考图3，具有最小深度0的LCU的大小可以是64×64像素，并且具有最大深度3的SCU的大小可以是8×8像素。这里，具有64×64像素的LCU可以用深度0表示，具有32×32像素的CU可以用深度1表示，具有16×16像素的CU可以用深度2表示，并且具有8×8像素的SCU可以用深度3表示。

此外，关于特定CU是否将被分区的信息可以通过每个CU的1比特分区信息来表示。除SCU外，所有CU都可能包含分区信息。例如，当CU未被分区时，分区信息可以是0。可替换地，当CU被分区时，分区信息可以是1。

图4是示出可以被包括在CU中的预测单元(PU)的形式的图。

不再从LCU分区的CU当中分区的CU可以被分区为至少一个PU。这样的过程也可以指代分区。

预测单元(PU)可以是预测的基本单元。PU可以以跳过模式、帧间预测模式和帧内预测模式中的任何一种进行编码和解码。PU可以根据每种模式以各种形式分区。

如图4所示，在跳过模式中，CU内可能没有分区。另外，在CU内可以在没有分区的情况下支持具有与CU相同大小的2N×2N模式410。

在帧间预测模式中，在CU内可以支持8种分区形式，例如，2N×2N模式410、2N×2N模式415、N×2N模式420、N×N模式425、2N×nU模式430、2N×nD模式435、nL×2N模式440和nR×2N模式445。

图5是示出可包括在CU中的变换单元(TU)的形式的图。

变换单元(TU)可以是CU内的用于变换、量化、逆变换和逆量化过程的基本单元。TU可以具有矩形或方形形式。TU可以独立地由CU的大小和/或形式来确定。

不再从LCU分区的CU当中分区的CU可以被分区成一个或多个TU。这里，TU的分区结构可以是四叉树结构。例如，如图5所示，取决于四叉树结构，可以将单个CU 510分区一次或多次，使得CU 510由具有各种大小的TU形成。替换地，单个CU 510可以基于对CU进行分区的水平线和/或垂直线的数量被分区成至少一个TU。CU可以被分区成彼此对称的TU，或者可以被分区成彼此不对称的TU。为了分区成不对称的TU，可以用信号发送TU的大小和形式的信息，或者可以从CU的大小和形式的信息中导出该信息。

在执行变换的同时，可以通过使用预定方法之一来变换残差块。例如，预定方法可以包括离散余弦变换(DCT)、离散正弦变换(DST)或卡洛南-洛伊变换(Karhunen-Loèvetransform，KLT)。为了确定变换残差块的方法，可以通过使用预测单元的帧间预测模式信息、预测单元的帧内预测模式信息或变换块的大小和形式中的至少一个来确定该方法。或者，在一些情况下可以用信号发送指示该方法的信息。

图6是示出示例的图，该示例示出帧内预测模式。

帧内预测模式的数量可以根据预测单元(PU)的大小而变化，或者可以固定为N个数量，而与预测单元(PU)的大小无关。这里，N个数量可以包括35和67，或者可以是大于1的正整数。例如，编码器/解码器的预定帧内预测模式可以包括2个非角度模式和65个角度模式，如图6所示。两个非角度模式可以包括DC模式和平面模式。

帧内预测模式的数量可以根据颜色分量的类型而不同。例如，无论颜色分量是亮度信号还是色度信号，帧内预测模式的数量都可以变化。

PU可以具有NxN或2Nx2N大小的正方形。NxN大小可能包括4x4、8x8、16x16、32x32、64x64、128x128等。可替换地，PU可以具有MxN大小。这里，M和N可以是大于2的正整数，并且M和N可以是不同的数字。PU的单元可以是CU、PU和TU中的至少一个的大小。

帧内编码和/或解码可以通过使用包括在相邻重构单元中的采样值或编码参数来执行。

在帧内预测中，可以通过使用编码/解码目标块的大小中的至少一个来将参考采样滤波器应用于参考像素来生成预测块。应用于参考像素的参考滤波器的类型可能不同。例如，参考滤波器可以根据编码/解码目标块的帧内预测模式、编码/解码目标块的大小/形式、或者参考像素的位置而不同。“参考滤波器的类型可能不同”可以指代参考滤波器的滤波器系数、滤波器抽头的数量、滤波器强度、或滤波处理的数量可以不同。

为了执行帧内预测，可以通过与当前预测单元毗邻的相邻预测单元的帧内预测模式来预测当前预测单元的帧内预测模式。当通过使用相邻预测单元的帧内预测模式信息来预测当前预测单元的帧内预测模式、并且两种模式相同时，可以通过使用预定的标志来发送两种模式相同的信息。可替换地，当模式不同时，编码/解码目标块内的所有预测模式信息可以通过熵编码来编码。

图7是示出帧间预测处理的示例的图。

图7的矩形可以指代图像(或图片)。另外，图7的箭头可以指示预测方向。换句话说，图像可以根据箭头方向被编码和/或解码。根据编码类型，每个图像可以被分类为I图片(帧内图片)，P图片(单向预测图片)和B图片(双向预测图片)等。可以根据每个图片的编码类型来对每个图片进行编码和解码。

当编码目标图像是I图片时，可以在执行帧间预测的同时对目标图像本身进行帧内编码。当编码目标图像是P图片时，可以通过使用正向方向上的参考图像的帧间预测或者运动补偿来对目标图像进行编码。当编码目标图像是B图片时，可以通过使用正向方向和反向方向上的参考图片的帧间预测或运动补偿来对目标图像进行编码。可替换地，可以通过使用正向方向和反向方向上的参考图像的帧间预测来对目标图像进行编码。这里，在帧间预测模式的情况下，编码器可以执行帧间预测或运动补偿，并且解码器可以响应于编码器来执行运动补偿。通过使用参考图像而被编码和/或解码的P图片和B图片的图像被用于帧间预测。

以下，详细描述根据实施例的帧间预测。

帧间预测或运动补偿可以通过使用参考图像和运动信息来执行。另外，帧间预测可以使用上述的跳过模式。

参考图片可以是当前图片的先前图片或当前图片的后续图片中的至少一个。这里，在帧间预测中，可以预测基于参考图片的当前图片的块。这里，可以通过使用稍后将描述的指示参考图片的参考图片索引refIdx和运动矢量来指定参考图片内的区域。

在帧间预测中，可以选择对应于参考图片内的当前块的参考块。当前块的预测块可以通过使用所选择的参考块来生成。当前块可以是当前图片的块当中的当前编码或解码目标块。

运动信息可以从编码装置100和解码装置200的帧间预测处理中导出。另外，导出的运动信息可以用于帧间预测。这里，编码装置100和解码装置200可以通过使用重构的相邻块的运动信息和/或并置块(col块)的运动信息来提高编码和/或解码的效率。并置块可以是重构的并置图片(col图片)内在空间上对应于编码/解码目标块的块。重构的相邻块可以是当前图片内的块、以及通过编码和/或解码的重构块。另外，重构块可以是与编码/解码目标块毗邻的块、和/或位于编码/解码目标块的外角处的块。这里，位于编码/解码目标块的外角处的块可以是在垂直方向上毗邻的块，并且在垂直方向上毗邻的块在水平方向上与编码/解码目标块毗邻。可替换地，位于编码/解码目标块的外角处的块可以是在水平方向上毗邻的块，并且在水平方向上毗邻的块在垂直方向上与所述编码/解码目标块毗邻。

编码装置100和解码装置200中的每一个可以基于并置图片内在空间上对应于当前块的位置处存在的块来确定预定的相对位置。预定的相对位置可以位于在空间上对应于当前块的位置处存在的块的内部和/或外部。另外，编码装置100和解码装置200可以基于所确定的相对位置来导出并置块。这里，并置图片可以是参考图片列表中包括的参考图片中的至少一个图片。

导出运动信息的方法可以根据编码/解码目标块的预测模式而变化。例如，应用于帧间预测的预测模式可以包括高级运动矢量预测器(AMVP)模式、合并模式等。这里，合并模式可以指代运动合并模式。

例如，在应用高级运动矢量预测器(AMVP)模式的情况下，编码装置100和解码装置200可以通过使用恢复的相邻块的运动矢量和/或并置块的运动矢量来生成预测运动矢量候选列表。换句话说，恢复的相邻块的运动矢量和/或并置块的运动矢量可以被用作预测运动矢量候选。这里，并置块的运动矢量可以指代时间运动矢量候选，并且恢复的相邻块的运动矢量可以指代空间运动矢量候选。

编码装置100可以生成比特流，并且比特流可以包括运动矢量候选索引。换句话说，编码装置100可以对运动矢量候选索引进行熵编码以生成比特流。运动矢量候选索引可以指示在运动矢量候选列表中包括的预测运动矢量候选当中选择的最优预测运动矢量。可以通过比特流将运动矢量候选索引从编码装置100发送到解码装置200。

解码装置200可以通过比特流对运动矢量候选索引进行熵解码，并且通过使用熵解码后的运动矢量候选索引，在包括在运动矢量候选列表中的运动矢量候选当中选择解码目标块的运动矢量候选。

编码装置100可以计算编码目标块的运动矢量与运动矢量候选之间的运动矢量差(MVD)，并且可以对运动矢量差(MVD)进行熵编码。比特流可以包括熵编码的MVD。通过比特流将MVD发送到解码装置200。这里，解码装置200可以对来自比特流的MVD进行熵解码。解码装置200可以通过解码的MVD与运动矢量候选之和来导出解码目标块的运动矢量。

比特流可以包括指示参考图片的参考图片索引。参考图片索引可以被熵编码并且通过比特流从编码装置100发送到解码装置200。解码装置200可以通过使用相邻块的运动信息来预测当前块的运动矢量，并且可以通过使用预测的运动矢量和预测的运动矢量的残差值来导出解码目标块的运动矢量。解码装置200可以基于导出的运动矢量和参考图片索引信息来生成解码目标块的预测块。

作为导出运动信息的另一种方法，可以使用合并模式。合并模式可以指代多个块的运动合并。合并模式还可以指代将单个块的运动信息应用于另一个块。当应用合并模式时，编码装置100和解码装置200可以通过使用恢复的相邻块的运动信息和/或并置块的运动信息来生成合并候选列表。这里，运动信息可以包括1)运动矢量、2)参考图片索引、以及3)帧间预测指示符中的至少一个。预测指示符可以指示单向(LO预测，L1预测)或双向。

这里，合并模式可以在编码单元或预测单元(PU)的单元中应用。在通过CU单元或PU单元执行合并模式的情况下，编码装置100可以通过对预定的信息进行熵编码来生成比特流，并且将比特流发送到解码装置200。比特流可以包括预定的信息。预定的信息可以包括1)表示合并模式是否被用于每个块分区的合并标志，2)包括与编码目标块毗邻的相邻块当中的哪个块被合并的信息的合并索引。例如，与编码目标块毗邻的相邻块可以包括当前块的左毗邻块、编码目标块的上毗邻块、编码目标块的在时间上的相邻块等。

合并候选列表可以表示其中存储运动信息的列表。合并候选列表可以在执行合并模式之前生成。存储在合并候选列表中的运动信息可以是如下信息中的至少一个：与编码/解码目标块毗邻的相邻块的运动信息、在参考图片中与编码/解码目标块对应的并置块的运动信息、通过组合提前存在于合并运动候选列表中的运动信息而新生成的运动信息、和零合并候选。这里，与编码/解码目标块毗邻的相邻块的运动信息可以指空间合并候选，并且参考图片中与编码/解码目标块对应的并置块的运动信息可以指代时间合并候选。

在跳过模式的情况下，跳过模式将相邻块的运动信息应用于编码/解码目标块。跳过模式可以是用于帧间预测的其他模式之一。当使用跳过模式时，编码装置100可以通过对可以用于编码目标块的相邻块的信息进行熵编码来生成比特流，并将该比特流发送到解码装置200。编码装置100可以不将诸如语法信息的其他信息发送到解码装置200。语法信息可以包括运动矢量的残差信息、编码块标志和变换系数等级中的至少一个。

图8至18是示出通过几何地修改图像来生成几何修改图像的方法的图。

图像的几何修改可以指代几何地修改图像的光信息。光信息可以指代图像的每个点的亮度、颜色或色度。或者，光信息可以指代数字图像中的像素值。几何修改可以指代图像内的每个点的平行移动、图像的旋转、图像的大小改变等。

图8至12是分别示出根据本发明的图像的几何修改的图。每个图形的(x，y)指代修改前的原始图像的点。(x'，y')指代修改后对应于点(x，y)的点。这里，对应点指代通过几何修改来移动(x，y)的光信息的点。

图8是示出根据本发明的图像的几何修改的实施例的转移修改的图。

在图8中，tx指代已经在x轴上转移的每个点的位移，ty表示已经在y轴上转移的每个点的位移。因此，图像内的点(x'，y')通过将tx和ty相加到点(x，y)来导出，点(x，y)是修改前图像内的点。变换修改可以以图8所示的矩阵来表示。

图9是示出根据本发明的图像的几何修改的实施例的大小修改的图。

在图9中，sx指代在x轴方向上的大小修改倍数，而sy表示在y轴方向上的大小修改倍数。大小修改倍数可以指代修改前的图像与修改后的图像的大小比率。当大小修改倍数等于1时，表示修改前的图像大小等于修改后的图像大小。当大小修改倍数大于1时，表示修改后图像的大小被放大。当大小修改倍数小于1时，表示修改后图像的大小被减小。大小修改倍数始终具有大于0的值。因此通过将sx和sy乘以修改前的图像内的点(x，y)来导出修改了大小的修改后的图像内的点(x'，y')。大小修改可以用图9所示的矩阵表示。

图10是示出根据本发明的图像的几何修改的实施例的旋转修改的图。

在图10中，θ指代图像的旋转角度。在图10的实施例中，以修改前的图像的点(0,0)为中心执行旋转。可以通过使用θ和三角函数来导出修改后的已旋转修改的图像内的点(x'，y')。旋转修改可以用图10中所示的矩阵表示。

图11是示出根据本发明的图像的几何修改的实施例的仿射修改的图。

仿射修改指代复合地执行转移修改、大小修改和旋转修改的情况。仿射修改的几何修改可以根据应用于图像的转移修改、大小修改和/或旋转修改的顺序而变化。根据在组成仿射修改以及每个修改的复合体的多个修改之间的应用顺序，图像可以以倾斜以及转移修改、大小修改和旋转修改的形式修改。

在图11中，M_i可以是用于转移修改、大小修改或旋转修改的3×3矩阵。根据组成仿射修改的修改的顺序，可以通过将用于修改的每个矩阵彼此间的矩阵乘积来获得3x3矩阵。在图11中，矩阵A可以对应于通过矩阵M₁到矩阵M_n的矩阵乘积获得的3x3矩阵。矩阵A可以由元素a₁至a₆组成。矩阵p是修改前的图像内的点，其中该修改以矩阵表示。矩阵p'是修改后的图像内的点，并且对应于修改前的图像内的点p。因此，仿射修改可以表示为矩阵方程p'＝Ap。

图12是示出根据本发明的图像的几何修改的实施例的投影修改的图。

投影修改可以是扩展的仿射修改，其中透视(perspective)修改被相加到仿射修改。当三维空间中的目标投影到二维平面中时，根据相机或观察者的观看视角可能发生透视修改。在透视修改中，远处的目标被表示为小而近处的物体被表示为大。

在图12中，矩阵H可以用于投影修改。构成矩阵H的元素h₁至h₆可以对应于构成图11的仿射修改的矩阵A的元素a₁至a₆。因此，投影修改可以包括仿射修改。构成矩阵H的元素h₇和h₈可以是与透视修改相关的元素。

图像的几何修改是将图像几何修改为特定形式的方法。可以通过在矩阵中定义的几何修改来计算与几何修改前的图像内的点相对应的几何修改后的图像内的点。相反，单应性(homography)指代从分别具有彼此对应的点的两个图像中反向导出共同的几何修改矩阵的方法。

图13是示出根据本发明的实施单应性的方法的示例的图。

单应性可以基于对位于两个图像内且彼此对应的两个点进行识别来导出两个图像之间的几何修改关系。为此，可以使用特征点匹配。图像的特征点指代图像内具有描述性特征的点。

在步骤S1301和S1302中，单应性实施方法可以从原始图像和几何修改图像中提取特征点。根据提取方法或根据使用目的可以不同地提取图像的特征点。图像内亮度值发生显著变化的点、具有特定形状的区域的中心点或图像内目标的外角点可以用作特征点。可以通过使用诸如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、斑点检测等的算法来提取特征点。

在步骤S1303中，单应性实施方法可以基于从原始图像和几何修改图像提取的特征点来匹配特征点。详细地，每个提取的特征点都是描述性的，可以通过找到具有相似描述信息的点来匹配两个图像之间的特征点。匹配的特征点可以用作原始图像和几何修改图像彼此对应的点。

但是，特征点匹配可能不匹配实际上彼此对应的点。因此，在步骤S1304中，可以选择所导出的特征点当中的有效特征点。选择有效特征点的方法可以根据计算算法而变化。例如，可以使用如下方法，诸如基于描述信息排除不满足基准线的特征点的方法、通过匹配结果的分布来排除一致性非常低的特征点的方法、或使用随机样本一致(RANSAC)算法的方法。单应性实施方法可以根据特征点的匹配结果选择性地执行步骤S1304。换句话说，步骤S1304根据情况可以不执行。可替换地，步骤S1303和S1304可以合并。或者，单应性实施方法可以执行有效特征点的匹配过程，而不执行步骤S1303和S1304。

在步骤S1305中，单应性实施方法可以通过使用所选择的有效点来导出原始图像与几何修改图像之间的关系式。在步骤S1306中，单应性实施方法可以通过使用导出的公式来导出几何矩阵。或者，单应性实施方法可以不执行步骤S1306，并且以不同的形式输出除了几何修改矩阵之外的在步骤S1305获得的导出公式的信息。

图14是根据本发明的导出在两个图像内对应的两点之间的关系式的示例性方法。

图像的几何修改可以利用3×3矩阵H执行。因此，包括作为未知量的矩阵H的元素h₁至h₉的联立方程可以从矩阵公式p’＝Hp导出。这里，p意味着原始图像内的点，并且p’表示几何修改图像内对应于点p的点。通过将矩阵H的所有元素除以h₉，可以通过将H₉固定为1来简单地计算方程。另外，未知量的数量可以从9减少到8。

图14的元素k₁至k₈对应于h₁至h₈除以h₉的值。在其中h₉改变为1，以及h₁至h₈分别改变为k₁至k₈的几何矩阵可以执行相同的几何修改。因此，可能需要计算8个未知值。在图14中，可以以x'和y’的两种形式来表达单个点形式的彼此匹配的一对点的最终公式。可能需要至少4对彼此匹配的点，因为有8个未知的值。但是，如上所述，一对点可能彼此不匹配。或者，一对点可能错误匹配。即使选择了有效的特征点，也会发生这种错误。通过在计算几何修改矩阵的同时使用许多对彼此匹配的点，可以减少这种错误。因此，考虑到这些特征，可以确定将要使用的对点的数量。

图15是示出根据本发明的基于几何修改矩阵和原始图像生成几何修改图像的方法的图。

如图15所示，通过使用原始图像内的点的光信息，几何修改图像的生成可以对应于几何修改图像内对应点的光信息的生成。图15中的(x0，y0)，(x1，y1)和(x2，y2)指代原始图像内的不同点。另外，(x'0，y'0)，(x'1，y'1)和(x'2，y'2)是几何修正图像内分别对应于(x0，y0)，(x1，y1)和(x2，y2)的点。函数f通过使用原始图像内的点(x，y)和用于几何修改的附加信息α来计算几何修改图像内的x轴的对应x'坐标。函数g通过使用原始图像内的点(x，y)和用于几何修改的附加信息β来计算几何修改图像内的y轴的对应y'坐标。当以矩阵公式表达(x，y)、(x'，y')、函数f和函数g时，矩阵H可以指代几何修改方法。因此，可以通过使用矩阵H来找到在原始图像和几何修改图像内相互彼此对应的点。

图15的几何修改方法在离散采样图像信号中可能是有问题的，因为光信息仅被包括在具有离散图像信号的整数坐标的点中。因此，当在几何修正图像内并且与原始图像内的点相对应的点具有实数坐标时，将最接近的整数坐标的光信息分配给几何修正图像内的点。因此，光信息可能被重叠到几何修正图像内具有实数坐标的点的一部分，或光信息可能不被分配。在这种情况下，可以使用逆映射。

图16是示出根据本发明的通过使用逆映射来生成几何修改图像的方法的图。

图16的虚线矩形区域指代实际观察到的区域。可以导出与虚线矩形区域内的每个点对应的原始图像内的点。因此，原始图像的光信息可以被分配给几何修改图像内的所有点。然而，对应于(x'3，y'3)的点(x3，y3)可能位于原始图像的外部。在这种情况下，原始图像的光信息可能不会被分配给点(x'3，y'3)。在没有分配原始图像的光信息的点中，可以分配原始图像的相邻的光信息。换句话说，可以分配原始图像内最接近的点(例如(x4，y4))的光信息。

图17是示出根据本发明的基于几何修改矩阵和原始图像生成几何修改图像的方法的图，其中几何修改矩阵可以对应于几何修改信息。

在步骤S1701中，生成方法可以接收输入原始图像、几何修改矩阵和/或关于几何修改图像的当前点的信息。该生成方法可以通过使用原始图像和几何修改矩阵来计算与几何修改图像的当前点相对应的原始图像的点。计算出的原始图像的对应点可以是具有实数坐标的实数对应点。

在步骤S1702中，生成方法可以确定计算出的对应点是否位于原始图像内部。

在步骤S1702中，当所计算的对应点未位于在原始图像内部时，在步骤S1703中，生成方法可以用对应点改变与所计算的原始图像内的对应点最接近的点。

在步骤S1702中，当所计算的对应点位于原始图像内部时，生成方法可以执行步骤S1704。当在步骤1703中改变所计算的对应点时，生成方法可以执行步骤S1704。

在步骤S1704中，当对应点具有实数坐标时，生成方法可以识别具有整数坐标的最接近的点。当对应点具有整数坐标时，生成方法可跳过步骤S1704和S1705，并执行步骤S1706。

在步骤S1705中，生成方法可以通过插入具有整数坐标的识别点的光信息(例如，像素值)来生成具有实数坐标的点的光信息。作为插入的方法，可以使用Lanczos插值、S样条(S-Spline)插值、双三次插值。

在步骤S1706中，生成方法可以检查几何修改图像内的所有点是否完成它们的几何修改。然后，生成方法可以最终输出生成的几何修改图像。

当在步骤S1706中确定几何修改没有完成时，在步骤S1707中，生成方法可以将几何修改图像的当前点改变为另一点，并且可以重复步骤S1701至S1706。

图18是示出根据本发明的实施例的参考图17解释的各种插值方法当中的双线性插值的图。

在图18中，实数坐标(x，y)可以对应于图17的步骤S1704中提到的实数对应点。与坐标(x，y)毗邻的4个点(i,j)、(i，j+1)、(i+1，j)和(i+1，j+1)可以对应于图17的步骤S1704中提到的具有整数坐标的最接近点。I(x，y)可以指代点(x，y)的光信息，诸如亮度。a指代i与x之间的x轴距离，b指代j与y之间的y轴距离。1-a指代在i+1与x之间的x轴距离，1-b指代在j+1与y之间的y轴距离。可以通过使用x轴中的a与1-a的比率以及y轴中的b与1-b的比率从点(i，j)、(i，j+1)、(i+1，j)和(i+1，j+1)的光信息计算点(x，y)的光信息。

当编码器的帧间预测单元执行运动预测时，帧间预测单元可通过参考参考图片来预测编码目标图片(当前图片)内的编码目标区域(当前区域或当前块)。这里，当参考图片与编码目标图片之间的时间间隔很大时，或者在两个图像之间已经发生旋转、放大、缩小或诸如目标的视角改变的全局运动时，两个图像之间的像素一致性降低。因此，预测准确度可能降低并且编码效率可能降低。在这种情况下，编码器可以计算编码目标图片与参照图片之间的运动的改变，并且几何地修改参考图片，使得参考图片具有与所述编码目标图片类似的形式。可以参考图8至图18通过参考几何地修改参考图片。参考图片可以以帧、切片和/或块为单位进行几何地修改。通过几何修改参考图片而生成的图片可以被定义为几何修改图片。通过参考几何修改图片而不是参考图片来提高运动预测准确度。参考图片的整个或部分可以被定义为参考图像，并且几何地修改的参考图像可以被定义为几何修改图像。

运动信息可以通过执行当前块的帧间预测来生成。生成的运动信息可以被编码并被包括在比特流中。运动信息可以包括运动矢量、参考图像的数量、参考方向等。运动信息可以以配置图像的各种形式的单元被编码。例如，运动信息可以以预测单元(PU)来编码。在本发明中，运动信息可以指代帧间预测信息。

根据本发明的实施例，编码/解码目标图像不仅可以通过使用参考图像而且可以使用几何修改图像来预测。当使用几何修改图像时，可以附加地编码/解码几何修改信息。几何修改信息可以指代基于参考图像或参考图像的一部分来生成几何修改图像的所有种类的信息。例如，几何修改信息可以包括全局运动矢量、几何转移修改矩阵、几何大小修改矩阵、几何仿射修改矩阵和/或几何投影修改矩阵。

编码器可以基于编码目标图片与参考图片之间的关系来生成几何修改信息。几何修改信息可以用于生成几何修改图像，使得参考图片被几何地修改为与编码目标图片相似。编码器可以通过使用参考图片和几何修改图像两者来执行优化的编码。

图19是解释根据本发明的实施例的通过使用参考图片和/或几何修改图片来进行运动预测的图。

图19中的(a)是根据本发明实施例的编码器的运动预测的图。图19中的(b)是根据本发明实施例的解码器的运动预测的图。

首先，参照图19中的(a)，描述编码器的运动预测的示例。

在步骤S1901和S1902中，编码器可以指定编码目标图片和参考图片。编码器可以从参考图片列表中选择参考图片。参考图片列表可以配置有存储在参考图片缓冲器(重构图片缓冲器)中的参考图片。

在步骤S1903中，编码器可以基于编码目标图片和参考图片来生成几何修改信息。几何修改信息可以通过使用参考图8至图18说明的方法来生成。

在步骤S1904中，编码器可以基于所生成的几何修改信息从参考图片生成几何修改图片。编码器可以将生成的几何修改图片存储在几何修改图片缓冲器中。

在步骤S1905中，编码器可以通过参考参考图片和/或几何修改图片来执行运动预测。

在步骤S1906中，编码器可以基于参考信号来存储或更新具有最佳编码效率的最佳预测信息。可以使用速率失真成本(RD Cost)作为用于确定最优编码效率的指标。

在步骤S1907中，编码器可以确定是否对于参考图片列表内的所有参考图片应用了上述处理。如果不是，则可以在移动到步骤S1902之后重复上述步骤。如果是，则编码器可在步骤S1908中对最终确定的最优(或最佳)运动预测信息和/或几何修改信息进行编码。只有当几何修改图片被用于运动预测时，编码器才可以编码和发送几何修改信息。

作为图19中的(a)的运动预测的结果，编码器可以生成运动矢量和关于参考图片的信息作为帧间预测信息。关于参考图片的信息可以包括用于识别参考图片当中用于帧间预测的参考图片的信息(例如，参考图片索引)，和/或指示几何修改图片是否被参考的信息(例如，几何修改使用信息)。这些信息可以以各种单位发送。例如，可以以图片、切片、编码单元(CU)或预测单元(PU)为单位发送该信息。

图19中的(a)的每个步骤可被应用于编码目标图片的一部分和参考图片的一部分。这里，编码目标图片可以对应于编码目标图像，参考图片可以对应于参考图像，并且几何修改图片可以对应于几何修改图像。

接着，参照图19中的(b)，描述解码器的运动预测的示例。

在步骤S1911中，解码器可以接收并解码当前块的帧间预测信息。

在步骤S1912中，解码器可以基于帧间预测信息来选择参考图片。例如，解码器可以使用参考图片索引来选择参考图片。

在步骤S1913中，解码器可以基于帧间预测信息来确定是否使用几何修改图片。解码器可以使用用于步骤S1913的几何修改信息。

当在步骤S1913中确定几何修改图片不被使用时，在步骤S1915中，解码器可以通过参考在步骤S1912中选择的参考图片来执行帧间预测。

当在步骤S1913中确定要使用几何修改图片时，在步骤S1914中，解码器可以通过几何地修改在步骤S1912中选择的参考图片来生成几何修改图片。解码器可以通过几何地修改参考图片的一部分来生成几何修改图片。在这种情况下，参考图片的一部分可以对应于参考图像，并且几何修改图片可以对应于几何修改图像。

在步骤S1915中，解码器可以基于在步骤S1914中生成的几何修改图片来执行帧间预测。

图20是示出应用了本发明另一实施例的图像编码装置的配置的框图。

图20所示的编码装置可以包括几何修改图片生成单元2010、几何修改图片预测单元2015、扩展帧内预测单元2020、减法器2025、变换单元2030、量化单元2040、熵编码单元2050、逆量化单元2060、逆变换单元2070、加法器2075、去块滤波器单元2080以及采样自适应偏移单元2090。

几何修改图片生成单元2010可通过计算几何修改信息来生成几何修改图片2012，所计算的几何修改信息反映在编码目标图片2011与从重构图片缓冲器2013中构造的参考图片列表的参考图片之间的像素值的改变。生成的几何修改图片2012可以存储在几何修改图片缓冲器2016中。

几何修改图片预测单元2015可以包括几何修改图片缓冲器2016和帧间预测器2017。几何修改图片缓冲器2016可以存储在几何修改图片生成单元2010中生成的几何修改图片。帧间预测器2017可以通过使用存储在几何修改图片缓冲器的几何修改图片和从重构的图片缓冲器2013构造的参考图片列表的参考图片两者来执行运动预测。当在执行运动预测的同时参考几何修改图片时，用于生成几何修改图片的几何修改信息可以被发送到熵编码单元2050并且在熵编码单元2050中被编码。

扩展帧内预测单元2020可通过参考几何修改图片以及当前图片的已编码/解码信号来执行扩展帧内预测。

参考图20解释的编码装置的配置只是本发明的各种实施例之一，并不限于此。图20所示的编码装置的一些配置可以与其他配置合并或省略。可替换地，可以添加其他配置。另外，包括在几何修改图片生成单元2010和几何修改图片预测单元2015中的多个配置的一部分可以从几何修改图片生成单元2010和几何修改图片预测单元2015独立地配置。可替换地，它可以被包括在另一配置的子配置中，或者与另一配置合并。

图21是示出应用了本发明另一实施例的图像解码装置的配置的框图。

图21所示的解码装置可以包括熵解码单元2110、逆量化单元2120、逆变换单元2130、减法器2135、滤波器单元2140、扩展帧内预测单元2150、几何修改图片预测器2160和几何修改图片生成器2170。解码装置可以通过接收比特流2100来输出解码图片2180。

几何修改图片生成器2170可以通过使用从比特流2100提取并且熵解码的几何修改信息和从重构图片缓冲器2171构造的参考图片列表的参考图片来生成几何修改图片2172。

几何修改图片预测单元2160可以配置有用于存储几何修改图片的几何修改图片缓冲器2161和帧间预测器2162。

在几何修改图片生成器2170中生成的几何修改图片2172可以被存储在几何修改图片缓冲器2161中。存储在几何修改图片缓冲器2161中的几何修改图片2172可以用作帧间预测器2162中的参考信号。

帧间预测器2162可以基于从编码装置发送的信息通过使用参考图片和/或几何修改图片作为用于运动预测的参考信号来重构解码目标图片。

参考图21解释的解码装置的配置仅仅是本发明的各种实施例之一，并且不限于此。图21所示的解码装置的一些配置可以与其他配置合并或省略。可替换地，可以添加其他配置。另外，包括在几何修改图片生成器2170和几何修改图片预测单元2160中的多个配置的一部分可以从几何修改图片生成器2170和几何修改图片预测单元2160独立地配置。可替换地，它可以被包括在另一配置的子配置中，或者与另一配置合并。

根据本发明，几何修改使用信息可以不被编码并且可以被预测。几何修改使用信息可以是用于指示在帧间预测中使用的参考是否是通过几何修改生成的几何修改图片的信息。

使用几何修改图像的视频编码/解码装置需要识别参考图像或几何修改参考图像是否被用于当前块的帧间预测的信息。另外，当一个或多个参考图像被用于帧间预测时，所有参考图像可以是几何修改参考图像。可替换地，参考图像的一部分可以是几何修改参考图像。可替换地，参考图像都不是几何修改参考图像。可以针对每个块单元发送几何修改使用信息，所述几何修改使用信息指示在执行帧间预测的同时参考图像是按原样使用、还是通过对参考图像进行几何修改来使用参考图像。因此，可以使用大量的数据来编码几何修改使用信息。用于发送几何修改使用信息的块单元可以包括用于编码图像的所有类型的单元。例如，该单元可以是宏块、编码单元(CU)、预测单元(PU)等。

在编码/解码当前块的同时，本发明可以基于从时间上或空间上与当前块毗邻的块导出的几何修改使用信息来预测当前块的几何修改使用信息。因此，通过预测当前块的几何修改使用信息来省略附加数据发送。

图22是解释根据本发明实施例的包括几何修改使用信息预测单元的编码器的操作的图。

根据图22中示出的实施例的编码器可以包括图像间关系识别单元2210、图像几何修改单元2220、帧间预测单元2230和/或重构图片缓冲器2250。

图像间关系识别单元2210可以识别编码目标图片2260与存储在重构图片缓冲器2250中的参考图片之间的关系，并且生成图像间关系信息。图像间关系信息可以指代可以被用于将所述参考图片修改为与编码目标图片相似的信息。在本发明中，图像间关系信息可以指代几何修改信息。例如，所述图像间关系信息可以包括几何修改矩阵，和/或全局运动信息等。

图像几何修改单元2220可以基于在图像间关系识别单元2210中生成的图像间关系信息从参考图片生成几何修改参考图片。图15是生成几何修改参考图片的实施例。在图15所示的实施例中，矩阵H可以对应于图像间关系信息。参考图片(图15中的原始图像)的每个像素可以与几何修改参考图片(图15中的几何修改图像)的位置匹配。

帧间预测单元2230可以通过使用存储在重构图片缓冲器2250中的每个参考图片和/或每个对应的几何修改参考图片来确定具有最佳编码效率的参考图片，并且生成参考图片信息2280。参考图片信息2280可以包括指定用于由编码器进行帧间预测的参考图片的所有种类的信息。例如，参考图片信息2280可以包括指定参考图片缓冲器内的参考图片的信息(即，参考图片索引)、指示由编码目标块所参考的参考图片内的参考块的运动矢量等。帧间预测单元2230可以使用参考图片和/或其对应的几何修改参考图片的像素信息(像素值)以及模式信息2270。模式信息可以指代用于对每个参考图片和/或对应的几何修改参考图片进行编码/解码的所有种类的信息。模式信息可以包括参考图片的分区结构和/或预测信息(诸如运动信息)等。

帧间预测单元2230可以通过使用每个参考图片和/或对应的几何修改参考图片来执行用于对编码目标图片2260进行编码的帧间预测。帧间预测单元2230可以不使用所有参考图片，而是使用产生良好结果的一部分参考图片。

为了解码图像，解码器可能需要指示编码器在参考图片和/或对应的几何修改参考图片当中使用哪个参考图片的信息。例如，解码器可能需要最优(最佳)预测参考图片信息(例如，最优预测参考图片的数量或索引)2280和/或指示几何修改参考图片是否被用于帧间预测的几何修改使用信息2290。

几何修改使用信息预测器2240可以预测所述几何修改使用信息2290，并且根据预测结果对几何修改使用信息2290进行编码。在本发明中，几何修改使用信息预测器2240可以被包括在帧间预测单元2230中，并且预测几何修改使用信息2290。

在编码器中执行的操作可以在解码器中相同地执行以精确地重构信息。因此，当编码器中使用的几何修改使用信息在解码器中被相同地预测时，可以预测几何修改使用信息而无需附加数据发送。

图23是解释根据本发明实施例的包括几何修改使用信息预测单元(预测器)的编码器的操作的图。

根据图23所示的实施例的编码器可以包括重构图片缓冲器2310、图像间关系识别单元2320、图像几何修改单元2330、几何修改图片缓冲器2340、帧间预测单元2350和/或选择性的数据发送单元2370。

图像间关系识别单元2320可以对应于图22的图像间关系识别单元2210。图像间关系识别单元2320可以识别编码目标图片2300和每个参考图片之间的关系，并将所识别的信息作为图像间关系信息输出。图像间关系信息可以在图像几何修改单元2330使用。

图像几何修改单元2330可以对应于图22的图像几何修改单元2220。图像几何修改单元2330可以通过使用由图像间关系识别单元2320识别出的图像间关系信息从每个参考图片生成几何修改参考图片(几何修改图片)。几何修改参考图片缓冲器(几何修改图片缓冲器)2340可以管理几何修改参考图片。几何修改参考图片缓冲器2330可以利用重构图片缓冲器2310来管理。由图像几何修改单元2330生成的几何修改参考图片可以用于编码目标图片的帧间预测。

帧间预测单元2350可对应于图22的帧间预测单元2230。帧间预测单元2350可以通过使用参考图片和/或几何修改参考图片来执行帧间预测。

帧间预测单元2350可以包括几何修改使用信息预测器2360。几何修改使用信息2382可以指示用于帧间预测的参考图片是否是通过几何修改生成的几何修改图片。几何修改使用信息预测器2360可以预测关于针对编码目标块是否使用几何修改参考图片的信息。关于使用几何修改参考图片的信息可以指代识别用于帧间预测的所有参考图片当中的几何修改参考图片的各种各样的信息。

几何修改使用信息预测器2360可以包括相邻块识别单元2361、预测候选列表生成器2362、和/或预测候选选择器2363。

与编码目标块(当前块)毗邻的相邻块可用于预测几何修改使用信息2832。相邻块可以包括在时间和空间上与当前块毗邻的块。时间上毗邻的块可以包括图29的并置块(M和/或H)。空间上毗邻的块可以包括图29的块A0至B2。可替换地，除了图29的块A0至B2之外，空间上毗邻的块可以包括与当前块毗邻的块。可替换地，时间上相邻的块可以包括与当前块直接毗邻的块和与当前块间隔预定距离的块。

相邻块和当前块之间的预测相似性可用于预测几何修改使用信息2832。因此，为了预测几何修改使用信息2832，相邻块识别单元2261可以识别在时间和/或空间上与当前块毗邻的至少一个相邻块。相邻块识别单元2261可以通过检查相邻块是否存在、相邻块是否可用、和/或相邻块是否是帧间预测块等来识别相邻块。相邻块的可用性可以指代是否能够参考相邻块的信息。例如，当相邻块和当前块属于不同的瓦片和/或切片，或相邻块未通过并行处理或由其它原因所参考，则相邻块可以被确定为不可用。

预测候选列表生成器2362可以基于由相邻块识别器2361识别的相邻块的可用性和/或用于预测时相邻块的优先级来生成预测候选列表。

预测候选选择器2363可以选择预测候选列表内的一个预测候选。预测候选选择2363可以从包括在预测候选列表的预测候选当中选择具有最佳的预测结果的预测候选。当选择具有最佳预测的预测候选时，可以通过使用所选择的预测候选的帧间预测信息来预测当前块的帧间预测信息。帧间预测信息可以包括参考图片识别信息、几何修改使用信息和/或运动矢量。几何修改使用信息预测器2360可以在合并模式和其他帧间预测模式中使用。另外，可以基于帧间预测模式的数量来提供多个几何修改使用信息预测器2360。

当不可使用与当前块在时间和/或空间上毗邻的相邻块的预测时，或者当编码效率不佳时，可以使用最佳预测参考图片搜索单元2355。最佳预测参考图片的搜索单元2355可以不预测几何修改使用信息2382，并直接搜索能够导出当前块的最佳预测结果的参考图片。最佳预测参考图片搜索单元2355可以基于搜索到的参考图片来生成最佳预测参考图片信息2381和几何修改使用信息2382。

最佳预测参考图片信息2381可以指代关于在帧间预测的同时参考的参考图片的信息，并且可以包括参考图片的编号(索引)。当执行帧间预测时，最佳预测参考图片可参考在参考图片候选当中具有最佳编码效率的参考图片。

选择性的数据发送单元2370可以基于在帧间预测单元中使用的预测方法来在由帧间预测单元生成的信息当中选择和编码要被发送到解码器的信息，并且通过比特流发送编码信息。预测方法信息2380可以指示在帧间预测单元中使用的预测方法，并且可以通过比特流被编码和发送。预测方法可以包括用于执行帧间预测的包括合并模式以及AMVP模式的预测方法。

当通过预测几何修改使用信息来执行当前块的帧间预测时，可以不发送几何修改使用信息。解码器可以通过使用与编码器相同的方法来预测并获得几何修改使用信息。在这种情况下，选择性的数据发送单元不需要对几何修改使用信息进行编码。因此，可以减少到解码器的数据发送量。

图24是解释根据本发明实施例的生成几何修改使用信息的方法的图。

在步骤S2401中，生成方法可以确定编码目标块(当前块)的几何修改使用信息的可预测性。该确定可以基于在时间和/或空间上与编码目标块毗邻的相邻块的存在和可用性来执行。例如，当通过帧内预测来预测所有相邻块时，相邻块的参考图片信息和/或几何修改使用信息不可用，因此可以将编码目标块的几何修改使用信息确定为不可预测。

当生成方法在步骤S2401中确定几何修改使用信息不可预测时，在步骤S2402中，生成方法可以生成几何修改使用信息。在步骤S2402中的几何修改使用信息的生成可以通过在帧间预测当前块时直接搜索能够导出最佳预测结果的参考图片来执行，如图23的最佳预测参考图片搜索单元2355那样。

当生成方法在步骤S2401中确定几何修改使用信息是可预测的时，在步骤S2403中，生成方法可以预测几何修改使用信息。在步骤S2403中，生成方法可以基于与当前块毗邻的相邻块的帧间预测信息来预测几何修改使用信息，如图23的几何修改使用信息预测器2360所做的那样。

在步骤S2404中，生成方法可以确定是否校正几何修改使用信息。在步骤S2403中预测的几何修改使用信息可能不与最佳几何修改使用信息实际匹配。这种不匹配可能会降低编码性能。步骤S2404可以确定是否存在这种不匹配。

编码器可以检测由预测的几何修改使用信息引起的编码器的性能降低。例如，编码器可以包括通过计算率失真成本(在下文中称为RD成本)来导出最佳编码性能的最佳几何修改使用信息。

当生成方法在步骤S2404中确定不校正几何修改使用信息时，换句话说，预测的几何修改使用信息具有良好(或最佳)性能时，则生成方法可以不向解码器发送当前块的几何修改使用信息。解码器可以通过使用与编码器中使用的方法相同的方法来预测几何修改使用信息。因此，预测的几何修改使用信息也可以用作当前块的几何修改使用信息。

当生成方法在步骤S2404中确定要校正几何修改使用信息时，换句话说，预测的几何修改使用信息不同于最佳几何修改使用信息，生成方法可以校正预测的几何修改使用信息。例如，该生成方法可以通过使用步骤S2402中的方法、而不是使用预测几何修改使用信息来生成几何修改使用信息。可替换地，生成方法可以根据出现频率计算符号化的几何修改使用信息的残差，并且可以仅编码残差信息。可替换地，生成方法可以通过使用在时间和/或空间上与当前块毗邻的相邻块的几何修改使用信息来校正预测的几何修改使用信息。

图25是根据本发明实施例的包括几何修改使用信息预测器的帧间预测单元的配置图。

图25的帧间预测单元可以包括几何修改图像生成器2510、几何修改图像缓冲器2520、几何修改使用信息预测器2540、重构图像缓冲器2530和/或帧间预测器2550。

几何修改图像生成器2510可以基于编码/解码目标图像(当前图像)和参考图像之间的关系生成几何修改图像。可以通过使用参考图8至18的方法来生成几何修改图像。可以对参考图片的一部分或全部执行图像的几何修改。另外，几何修改图像生成器2510可以生成实际几何修改图像，该实际几何修改图像是通过几何修改参考图像或基于当前图像和参考图像生成的虚拟几何修改图像而生成的。虚拟几何修改图像可以指代包括能够导出几何修改图像内的每个像素的光信息、而不是几何修改图像内的每个像素的光信息(例如亮度、颜色和/或色度)的信息的几何修改图像。生成的几何修改图像可以被存储在几何修改图像缓冲器2520中。

几何修改使用信息预测器2540可以预测当前图像内的当前块的几何修改使用信息。可以基于与当前块毗邻的相邻块的帧间预测信息(几何修改使用信息)来执行几何修改使用信息的预测。几何修改使用信息的预测可以通过使用参考图22至图24所解释的方法来执行。预测的几何修改使用信息可以用于由帧间预测器2550对当前块进行帧间预测。

帧间预测器2550可通过使用存储在重构图像缓冲器2530中的至少一个重构图像和/或存储在几何修改图像缓冲器2520中的至少一个几何修改图像来执行当前块的帧间预测。帧间预测器2550可以基于几何修改使用信息来确定是参考重构图像还是参考对应的几何修改图像。

另外，可以在执行帧间预测的同时参考多个参考图像。这里，参考图像信息可以是多个。例如，当帧间预测是双向的，可以参考两个参考图像。这里，两个参考图像的参考图像信息可以被发送到解码器。

图26是解释几何修改使用信息的示例编码方法的图。

为了精确地预测当前块，编码方法可以使用至少一个参考图片。在这种情况下，在帧间预测中使用的参考图片的方向信息(预测方向信息)、用于识别参考图片的信息(参考图片识别信息)和/或关于参考图片是否被几何地修改的信息(几何修改使用信息)可以被编码。在步骤S2610中，编码方法可以基于用于当前块的帧间预测的至少一个参考图片来确定预测方向。结果，可以在步骤S2610中检查用于帧间预测的参考图片的数量。

在步骤S2620中，编码方法可以确定在帧间预测中使用的每个参考图片是否被几何地修改。换句话说，在步骤S2610中，编码方法可以分别确定所有参考图片是否是被几何地修改的参考图片。通过限制一些生成情况可以简化结果。

在步骤S2630中，编码方法可以通过步骤S2610和S2620生成当前块的几何修改使用信息。在步骤S2640中，编码方法可对所生成的几何修改使用信息进行熵编码。熵编码可以指代基于符号的出现频率的所有类型的编码。预测方向信息和/或几何修改使用信息可以被组合，并且每个组合可以被表达为单个符号。

另外，基于符号之间的相似性通过使用符号之间的残差，可以将生成的符号改变为用于熵编码的具有有利出现频率的符号。例如，当生成的符号是3、4、5和6时，可以通过生成通过从当前符号减去先前符号而获得的残差来在3、1、1和1中改变生成的符号。由于熵编码基于出现频率，并且1是高出现频率，所以改变的符号可以引起熵编码效率的提高。

图27是解释几何修改使用信息的另一示例编码方法的图。如参考图26所述，通过帧间预测而编码的信息可以包括预测方向信息和/或关于每个参考图片是否被几何地修改的信息。可以组合预测方向信息和/或关于每个参考图片是否被几何地修改的信息，并且每个组合可以被编码在单个符号中。

图27示出了具有两个最大预测方向的编码示例。

在图27中，HIdx可以是与预测方向信息和/或关于每个参考图片是否是被几何地修改的参考图片的信息的组合对应的符号。

在步骤S2710中，编码方法可以确定是否将双向预测用于编码目标块的帧间预测。当不使用双向预测时，编码方法可以移动到步骤S2740。

当使用双向预测时，在步骤S2720中，编码方法可确定几何修改图片是否用于双向预测的两个方向。

在步骤S2730中，当在步骤S2720中将几何修改图片用于双向预测的两个方向时，编码方法可以将HIdx确定为3。

在步骤S2740中，当在步骤S2720中几何修改图片没有用于双向预测的两个方向时，编码方法可以确定用于第一方向预测的参考图片是否是被几何地修改的参考图片。在步骤S2750中，当用于第一方向预测的参考图片是几何修改参考图片时，编码方法可以将HIdx确定为1。

在步骤S2760中，当用于第一方向预测的参考图片不是几何修改参考图片时，编码方法可以确定用于第二方向预测的参考图片是否是几何修改参考图片。在步骤S2780中，当用于第二方向预测的参考图片是几何修改参考图片时，编码方法可以将HIdx确定为2。

在步骤S2770中，当在步骤S2760中用于第二方向预测的参考图片不是几何修改参考图片时，编码方法可以将HIdx确定为0。

在步骤S2790中，编码方法可以对HIdx进行熵编码。步骤S2790的熵编码可以基于累积的HIdx的出现频率来执行。

图27是解释确定和编码与预测方向信息和/或关于每个参考图片是否被几何地修改的信息的组合相对应的符号(例如，HIdx)的实施例的图。图27所示方法的顺序可以改变。另外，分配给HIdx的值是区分该组合的值，并且可以将另一个值而不是上述值分配给HIdx。

根据本发明，可以使用合并模式来有效地对帧间预测信息进行编码。合并模式原样将相邻块的运动信息用于当前块的运动信息，并且没有任何校正。因此，用于校正运动信息的信息可能不会被另外发送给解码器。

图28至图34是解释通过使用合并模式来预测几何修改使用信息的示例的图。

图28是解释通过使用合并模式来对图像进行编码的示例的图。

在图28中，箭头指代对应块的相应运动矢量。图27中具有相似运动矢量的块可以被分组在一起，并且被分组的块可以由几个不同的区域表示，如图28所示。合并模式检查与当前块毗邻的候选块的运动信息，并且当候选块的运动信息与当前块的运动信息类似时，将候选块和当前块合并到同一组。因此，特定块的运动信息可以用于与特定块毗邻的另一块。

当合并模式用于当前块时，合并信息可以被编码，而不是运动信息被编码。合并信息可以包括是否要针对每个块分区执行合并模式的合并标志、以及关于从包括与当前块毗邻的至少一个合并候选的合并候选列表中选择合并候选信息。稍后将参考图29描述所述至少一个合并候选。可以将所选择的合并候选的运动信息用作当前块的运动信息。

图29是示出包括在合并候选列表中的相邻块的图。

在图29中，对应于单个CU的当前块X被划分成两个PU。两个PU的合并候选列表可基于包括所述两个PU的单个CU来配置。换句话说，可以通过使用与CU毗邻的相邻块来配置合并候选列表。例如，当相邻块A0的运动信息可用时，可以选择块A0并将其插入到合并候选列表中。如图29所示，相邻块可以包括A0、B1、B0、A0和B2，和/或位于参考图片内的相同位置的块H(或M)。合并候选列表可以包括预定数量的候选。基于预定顺序，相邻块可以被包括在合并候选列表中。预定顺序可以是A0→B1→B0→A0→B2→H(或M)。

这里，块H(或M)指代用于获得时间运动信息的候选块。块H可以指代参考图片内位于块X'的右下方的块，块X'位于与当前CU(X)相同的位置处。块M可以指代位于参考图片内的块X'中的块之一。在块X'的基础上，块H和块M可以用于时间候选以配置合并候选列表。当块H的运动信息不可用时，则可以使用块M。

合并候选列表可以包括基于包括在合并候选列表中的合并候选的组合而生成的组合的合并候选。

每个合并候选可以包括运动信息。根据本发明，每个合并候选不仅可以包括运动信息，还可以包括关于是否使用几何修改参考图片的信息(几何修改使用信息)，或者可以包括用于获得信息的结构。

图30至33是解释根据本发明实施例的预测几何修改使用信息的方法的图。

根据本发明的编码装置可以通过参考至少一个参考图片来执行帧间预测。另外，编码装置可参考通过几何地修改参考图片而生成的几何修改参考图片，以精确地执行帧间预测。因此，编码装置可能需要在执行编码目标块的帧间预测的同时确定是否使用几何修改参考图片。作为关于是否使用几何修改参考图片的信息，可以用信号发送几何修改使用信息。或者，可以通过使用稍后将描述的方法从相邻块预测几何修改使用信息。

图30是解释生成几何修改参考图片的步骤的图。

图30的图像间关系标识符3020可对应于图22的图像间关系标识符2210。图像间关系标识符3020可以导出能够几何地修改与编码目标图片相似的参考图像的几何修改信息。几何修改信息可以被表达为几何修改矩阵或像素位置之间的关系式。

图30的图像几何修改单元3010可对应于图22的图像几何修改单元2220。图像几何修改单元3010可通过使用从图像间关系标识符3020导出的几何修改信息而几何地修改参考图片来生成几何修改参考图片。参考图片N指代具有数量N的参考图片，并且几何修改参考图片N'指代通过几何地修改参考图片N而生成的几何修改参考图片。

图31是配置包括在编码目标图片内的块中的帧间预测信息的示例图。

参考图片缓冲器可以包括N个参考图片。几何修改参考图片缓冲器可以包括分别对应于所述N个参考图片的N个几何修改参考图片。相应的几何修改参考图片可以通过使用图30的方法几何地修改参考图片来生成。因此，几何修改参考图片缓冲器可以具有与参考图片缓冲器的参考图片的数量相同数量的几何修改参考图片。C1、C2和C3是作为编码目标图片内的已编码/解码块的块。每个块的帧间预测可以通过参考来自彼此的图片来执行。C1'、C2'和C3'指代分别由C1、C2和C3参考的区域。

帧间预测信息可以包括运动矢量和参考图片编号，和/或几何修改使用信息。运动矢量指代当前块和参考块的位置之间的位置差。MV1、MV2和MV3指代分别指示在C1和C1'、C2和C2以及C3和C3'之间的画面内的位置差的运动矢量。例如，当C1的当前图片内的位置是(10，5)并且C1'的参考图片N内的位置是(13，7)时，MV1变成(3，2)。参考图片编号指代用于指定参考图片缓冲器内的参考图片的编号(或索引)。在几何修改参考图片的情况下，参考图片编号指代指定用于生成几何修改参考图片的参考图片的编号。几何修改使用信息指示块的位置参考是否位于几何修改参考图片内。几何修改使用信息为O指代使用几何修改参考图片。或者，几何修改使用信息为X表示未使用几何修改参考图片。

图31所示的实施例涉及单向预测，并且几何修改使用信息可以被表示为O/X。当在执行帧间预测的同时参考两个或更多个参考图像时，可以通过定义与参考图26和27所描述的全部可能组合中的每一个相对应的符号值来使用几何修改使用信息。

图31中配置的帧间预测信息可以用作稍后将描述的当前块的帧间预测信息的预测候选。

图32是解释预测当前图片内的当前块X的帧间预测信息的实施例的图。

包括运动矢量、参考图片号和/或几何修改使用信息的当前块X的帧间预测信息可以根据与当前块X相邻的相邻块的帧间预测信息来预测。与当前块X相邻的相邻块可以包括参考图29描述的时间和/或空间相邻块。在图32中，已经编码并且在空间上与当前块X相邻的块C1、C2和C3被用作相邻块。根据合并模式，当预测当前块X的帧间预测信息时，相邻块C1、C2和C3可以变为合并候选。在图32中配置3个合并候选，但不限于此。

根据本发明，几何修改使用信息可被包括在通过合并模式预测导出的信息中。可以计算图32的合并候选C1、C2和C3的相应的预测成本。预测成本可以通过作为预测结果导出的预测精度与编码时生成的比特量的比率来计算。预测精度指代参考图片内的预测参考块与当前图片内的当前块的像素值之间的相似度。预测成本高意味着需要大量的比特来重构具有相同质量的块。一般来说，预测精度越高，预测成本越低。

图33是解释基于合并候选来预测当前块的帧间预测信息的实施例的图。

图33的实施例基于在图32中配置的合并候选之中具有最小预测成本的块C2来预测当前块X的帧间预测信息。详细地，可以将块C2的运动矢量、参考图片编号和/或几何修改使用信息设置为当前块X的运动矢量、参考图片编号和/或几何修改使用信息。可以从合并候选块C2预测当前块X的帧间预测信息。当使用合并模式时，编码器和解码器可以生成相同的合并候选列表。因此，编码器仅向解码器发送用于在合并候选列表内选择合并候选的信息(例如，合并索引)而不是当前块X的帧间预测信息。

在图33的实施例中，由于当前块X的帧间预测信息是从合并候选块C2导出的，所以当前块X的预测块和合并候选块C2的预测块在相同图片内毗邻。

对于在时间上和/或空间上彼此毗邻的相邻块，几何修改图片是否被参考是彼此相同或类似的。本发明通过使用这些特征来预测关于是否使用几何修改参考图片的信息。根据本发明，由于不发送几何修改使用信息，因此编码效率得到改善。例如，当通过使用相同的预测方法来匹配编码器和解码器的预测结果时，可以省略除预测信息之外的附加信息传输。

图34是解释基于合并候选列表来预测当前块的帧间预测信息的实施例方法的图。

图34的合并候选者列表可以包括5个合并候选。运动矢量、参考图片编号和/或几何修改使用信息的描述与参考图30至33的描述相同。由于合并候选1在合并候选当中具有最佳编码性能，所以该方法可以使用合并候选1的信息作为当前块的信息。

高级运动矢量预测(AMVP)模式而不是合并模式可以用于预测运动矢量。当使用AMVP模式时，也可以通过使用与当前块毗邻的相邻块来预测运动信息。可以通过使用与合并模式相同的方法找到运动信息；然而，AMVP模式中还可以包括运动信息的残差值、预测方向和/或参考图片索引信息的发送。根据本发明的几何修改使用信息的预测也可以应用于AMVP模式。例如，AMVP模式可以通过使用候选块的几何修改使用信息作为合并模式来导出当前块的几何修改使用信息，因为AMVP模式找到候选块作为合并模式的示例。候选块的几何修改使用信息可以原样用作当前块的几何修改使用信息。可替换地，当前块的几何修改使用信息与候选块之间的残差值可以通过比特流发送，并且当前块的几何修改使用信息可以从候选块的几何修改使用信息和残差值中导出。

通过使用两个参考图片执行帧间预测的解码器的帧间预测单元需要知道两个参考图片的信息。用于帧间预测的参考图片可以是作为存储在参考图片缓冲器(重构图像缓冲器)中的已解码图片的图片，或者是通过几何地修改已解码图片而生成的几何修改参考图片。参考图片缓冲器可以通过将已解码图片与其对应的几何修改参考图片进行匹配来管理几何修改参考图片。

这里，从编码器发送到解码器的信息可以包括：可以区分参考图片缓冲器内的参考图片的标识符(匹配已经解码的图片及其对应的几何修改参考图片)、和可以识别几何修改的参考图片的使用的标识符(例如，几何修改使用信息)。

本发明实施例的几何修改使用信息预测器可基于相邻块的修改使用信息来预测当前块的几何修改使用信息。详细地，可以通过使用相邻块的几何修改使用信息的统计来预测当前块的几何修改使用信息。该统计可以包括平均值、中值、分布、最大值、和/或最小值等。或者，可以通过使用从相邻块当中选择的相邻块的修改使用信息来预测当前块的几何修改使用信息。预测的几何修改使用信息可原样用于当前块的几何修改使用信息。可替换地，可以校正所预测的几何修改使用信息，然后将其用于当前块的几何修改使用信息。根据本发明，由于当前块的几何修改使用信息是通过相邻块的几何修改使用信息来预测的，所以可以省略当前块的几何修改使用信息的发送。

另外，通过使用预测的几何修改使用信息的一致性和统计出现频率来去除或减少重复的信息，从而可以以具有小的大小的符号来编码几何修改使用信息。

另外，根据本发明，可以使用参考图片(参考图像)或通过几何地修改参考图片而生成的几何修改参考图片(几何修改图像)来预测编码/解码目标块。当使用合并模式时，合并候选块和编码/解码目标块可以具有相似的运动信息。因此，在预测编码/解码目标块的同时识别几何修改参考图片的使用的信息可以与合并候选块的几何修改使用信息类似。根据本发明的实施例，可以通过使用这些特征来导出几何修改使用信息和运动信息。

另外，根据本发明的实施例，图像的信息可以通过使用不同的符号来表达。每个符号可能具有偏差的出现频率。熵编码指代考虑符号的出现频率的编码方法。根据熵编码，具有较高出现频率的符号被表达为具有较小的大小的符号，并且具有较低出现频率的符号被表示为具有较大的大小的符号，因此提高了编码效率。编码器可以计算每个符号的出现频率。然而，解码器可能不会接收关于每个符号出现频率的信息。因此，可以基于直到编码/解码已经进行的点的符号的出现频率来预测每个符号的出现频率。

表1和表2是示出根据本发明的编码单元(CU)和预测单元(PU)的语法配置的示例的视图。在表1和表2中，cu_跳过_标志(cu_skip_flag)为真(true)指代使用合并跳过模式。合并跳过模式指代其中附加信息的发送比合并模式的发送还更省略的合并模式。因此，就像合并模式一样，合并跳过模式可以应用于本发明，并因此不需要附加地发送几何修改使用信息。

合并_标志(merge_flag)表示是否使用合并模式。当合并模式被使用并应用于本发明时，不需要发送几何修改使用信息。可替换地，当不使用合并模式时，可以发送几何修改使用信息。

表1和表2的示例是当合并模式应用于本发明时CU和PU的语法配置。当不使用合并模式时，可以在比特流中包括几何修改使用信息的相关语法。

例如，修改_图像_参考_类型(modification_image_reference_type)指示几何修改使用信息，并且仅在未使用合并模式时才被发送。在表1和表2的示例中，当使用合并模式时，modification_image_reference_type不包括在比特流中。因此，通过在使用合并模式时不用信号发送几何修改使用信息，可以减少数据发送量。

[表1]

[表2]

在上述实施例中，基于具有一系列步骤或单元的流程图来描述方法，但是本发明不限于这些步骤的顺序，而是一些步骤可以与其它步骤同时执行或以不同的顺序执行。另外，本领域的普通技术人员应该理解，流程图中的步骤不排除彼此，并且其他步骤可以被添加到流程图中，或者一些步骤可以从流程图中删除，而不影响本发明的范围。

以上描述的内容包括各个方面的示例。当然，不可能为了描述各个方面而描述组件或方法的每个可能的组合，但是本领域的普通技术人员中的一员可以认识到许多进一步的组合和排列是可能的。因此，本主题说明书旨在涵盖落入所附权利要求的精神和范围内的所有这些改变、修改和变化。

计算机可读存储介质可以单独地或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读存储介质中的程序指令可以是为本发明特别设计和构造的或计算机软件领域的技术人员已知的任何程序指令。计算机可读存储介质的示例包括磁记录介质(诸如硬盘、软盘和磁带)；光学数据存储介质(诸如CD-ROM或DVD-ROM)；磁光介质(诸如光磁盘)；特别构造成存储和实施程序指令的硬件设备(诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存)。程序指令的示例不仅包括由编译器格式化的机器语言代码，还包括可由计算机使用解释器实施的高级语言代码。硬件设备可以被配置为由一个或多个软件模块操作(或反之亦然)以执行根据本发明的过程。

尽管已经根据诸如详细元素的特定条目以及有限的实施例和附图描述了本发明，但是它们仅被提供用于帮助对本发明的更一般的理解，并且本发明不限于上述实施例。本发明所属领域的技术人员将会理解，可以从以上描述进行各种修改和改变。

因此，本发明的精神将不应被限于上述实施例，并且所附权利要求及其等同物的整个范围将落入本发明的范围和精神内。

工业适用性

本发明可以用于编码/解码图像。

Claims (6)

1.一种用于对图像进行解码的方法，所述方法包括：

确定合并模式是否被应用于当前块；

当所述合并模式被应用于所述当前块时，基于所述当前块的几何修改使用信息来确定几何修改信息是否被用于所述当前块的帧间预测；

当所述几何修改使用信息指示所述几何修改信息被用于所述当前块的帧间预测时，通过基于参考图片和所述几何修改信息执行帧间预测来获得解码目标图片内的所述当前块的预测块；以及

通过对所述预测块和残差块求和来获得所述当前块的重构块，

其中用于所述几何修改信息的几何修改包括仿射修改，并且

其中所述几何修改信息是从所述当前块的合并候选列表之中的合并候选导出的，并且所述合并候选列表包括通过所述当前块的至少一个相邻块导出的至少一个空间合并候选。

2.根据权利要求1所述的方法，其中当所述几何修改使用信息指示使用所述几何修改信息时，所述当前块的3个控制点被用于获得所述当前块的所述预测块。

3.根据权利要求1所述的方法，其中所述几何修改信息由6个参数组成。

4.根据权利要求1所述的方法，其中所述几何修改是几何修改类型之一，并且所述几何修改类型包括几何转移修改、大小修改、旋转修改、仿射修改和投影修改中的至少一种。

5.一种用于对图像进行编码的方法，所述方法包括:

通过基于参考图片和几何修改信息执行帧间预测来获得编码目标图片内的当前块的预测块；

确定合并模式是否被应用于所述当前块；

当所述合并模式被应用于所述当前块时，对所述当前块的几何修改使用信息进行编码，所述几何修改使用信息指示几何修改信息是否被用于所述当前块的帧间预测；以及

通过从原始块减去所述预测块来获得所述当前块的残差块，

其中用于所述几何修改信息的几何修改包括仿射修改，并且

其中所述几何修改信息是基于所述当前块的合并候选列表之中的合并候选导出的，并且所述合并候选列表包括通过所述当前块的至少一个相邻块导出的至少一个空间合并候选。

6.一种用于存储通过编码方法生成的压缩视频数据的装置，其中所述编码方法包括：

通过基于参考图片和几何修改信息执行帧间预测来获得编码目标图片内的当前块的预测块；

确定合并模式是否被应用于所述当前块；

当所述合并模式被应用于所述当前块时，对所述当前块的几何修改使用信息进行编码，所述几何修改使用信息指示几何修改信息是否被用于所述当前块的帧间预测；以及

通过从原始块减去所述预测块来获得所述当前块的残差块，

其中用于所述几何修改信息的几何修改包括仿射修改，并且

其中所述几何修改信息是基于所述当前块的合并候选列表之中的合并候选导出的，并且所述合并候选列表包括通过所述当前块的至少一个相邻块导出的至少一个空间合并候选。