CN108141604A

CN108141604A - 图像编码和解码方法和图像解码设备

Info

Publication number: CN108141604A
Application number: CN201680045584.1A
Authority: CN
Inventors: 郑济昌; 金起佰; 金容熏; 李贞贤
Original assignee: NEO LAB CONVERGENCE Inc
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2015-06-05
Filing date: 2016-06-07
Publication date: 2018-06-08
Anticipated expiration: 2036-06-07
Also published as: CN108141604B; CN115002456A; EP3306935A1; EP4221202A1; CN115002455A; CN115002458A; US20180176596A1; CN115002457A; WO2016195453A1; EP3306935A4; CN115086653A; CN115086652A

Abstract

本发明公开了一种图像编码和解码方法以及图像解码设备，用于从包括当前画面的参考画面的参考块中选择预测候选，并且在图像编码和解码期间使用所选择预测候选来导出当前块的运动信息。图像编码和解码方法包括以下步骤：配置空间运动向量候选；确定当前画面内是否存在当前块的参考画面；当当前画面内存在当前块的参考画面时，添加在当前块之前编码的当前画面的另一块中的空间运动向量候选。

Description

图像编码和解码方法和图像解码设备

技术领域

本发明涉及一种图像编码和解码方法。更具体地，本发明涉及图像编码和解码方法以及图像解码设备，由此，该方法和设备从包括当前画面的参考画面的参考块中选择预测候选，并且当编码和解码图像时使用所选择的预测候选来导出用于当前块的运动信息。

背景技术

随着互联网和移动终端的普及和信息通信技术的发展，多媒体数据的使用正在迅速增加。因此，需要通过在各种系统内使用图像预测来提高图像处理系统的性能和效率，以对其提供各种服务或执行操作。

同时，在传统的图像编码和解码方法中，通过使用帧间预测方法在当前画面之后或之前的至少一个参考画面中预测当前块的邻居块的运动信息，或者通过使用帧内预测方法获得当前画面内的参考块中的运动信息来估计当前块的运动向量。

然而，在传统的帧间预测方法中，通过在画面之间使用时间预测模式来生成预测块，因此其计算变得复杂，并且帧内预测也变得复杂。

因此，需要提高传统的图像编码和解码方法中的图像编码或图像解码性能。

发明内容

技术问题

因此，考虑到现有技术中出现的上述问题而提出了本发明，并且本发明的一目的是要提供一种图像编码和解码方法以及图像解码设备，其中该方法和设备从包括当前画面的参考画面的预测候选中选择预测候选，并且在图像编码和解码时使用运动向量候选选择方法来导出当前块的运动信息。

本发明的另一目的是要提供一种图像编码和解码方法以及图像解码设备，其中该方法和设备在从包括当前画面的参考画面的参考块中选择预测候选时使用运动向量差以在图像编码和解码时导出当前块的运动信息。

本发明的又一目的是要提供一种图像编码和解码方法以及图像解码设备，其中该方法和设备在从包括当前画面的参考画面的参考块中选择预测候选时使用运动向量精度以在图像编码和解码时导出当前块的运动信息。

技术解决方案

为了实现上述目的，在本发明的一个方面中，提供了一种图像编码方法，该方法是在执行帧内预测时配置参考像素的图像编码方法，所述方法包括：当执行当前块的帧内预测时从邻居块获得当前块的参考像素；自适应地对参考像素执行滤波；根据当前块的预测模式，通过使用自适应地应用滤波的参考像素作为输入值来生成当前块的预测块；以及对预测块应用自适应后处理滤波器。

在此，在获得参考像素时，可以从邻居块获得当前块的参考像素。

在此，获得参考像素可以根据邻居块是否可用来确定。

在此，邻居块是否可用可由邻居块的位置或特定标志(constrained_intra_pred_flag)或两者来确定。在一个实施例中，当邻居块可用时，特定标志可具有值1。这可以表示当邻居块的预测模式是帧间模式时，对应块的参考像素可被用于预测当前块。

在此，特定标志(constrained_intra_pred_flag)可以根据邻居块的预测模式来确定，并且预测模式可以是帧内预测和帧间预测中的一个。

在此，当特定标志(constrained_intra_pred_flag)为0时，无论邻居块的预测模式如何，邻居块是否可用都变为“真”，并且当特定标志是1时，当邻居块的预测模式是帧内预测时，邻居块是否可用变为“真”，并且当邻居块的预测模式是帧间预测时，邻居块是否可用变成“假”。

在此，帧间预测可以通过参考至少一个参考画面来生成预测块。

在此，参考画面可以通过使用参考画面列表0(列表0)和参考画面列表1(列表1)来管理，并且先前的画面、随后的画面和当前画面中的至少一个可以被包括在列表0和列表1中。

在此，对于列表0和列表1，可以自适应地确定是否将当前画面包括在参考画面列表中。

在此，确定是否将当前画面包括在参考画面列表中的信息可以被包括在序列、参考画面参数集合等中。

为了实现上述目的，在本发明的另一方面中，提供了一种图像解码方法，其中，该方法是在计算设备中执行的图像解码方法，所述方法包括：从输入比特流获得指示邻居块的参考像素在序列或画面单元中是否可用的标志；当根据标志执行帧内预测时，确定邻居块的参考像素是否可用；当标志为0时，不管邻居块的预测模式如何，使用邻居块的参考像素来预测当前块；当标志为1时，当邻居块的预测模式是帧内预测时，使用邻居块的参考像素来预测当前块；以及当邻居块的预测模式是帧间预测时，不使用邻居块的参考像素来预测当前块。

在此，帧间预测可以基于在参考画面中执行块匹配来生成预测块。

在此，参考画面可以通过使用P画面中的列表0以及使用B画面中的列表0和列表1来管理。

在此，在帧间预测中，列表0可以包括当前画面。

在此，在帧间预测中，列表1可以包括当前画面。

在此，可以基于从序列参数传送的标志来确定是否将当前画面包括在列表0和列表1中。

在此，可以基于从画面参数传送的标志来确定是否将当前画面包括在列表0和列表1中。

为了实现上述目的，在本发明的另一方面中，提供了一种运动向量候选选择方法，所述方法包括：配置空间运动向量候选(第一候选)；确定当前画面中是否存在当前块的参考画面；以及当当前画面中存在当前块的参考画面时，添加在当前块之前被编码的当前画面的另一块的空间运动向量候选(第二候选)。

在此，运动向量候选选择方法可以进一步包括当当前画面中不存在当前块的参考画面时添加时间运动向量候选(第三候选)。

在此，运动向量候选选择方法可以进一步包括在添加空间运动向量候选和时间运动向量候选之后，配置包括第一候选、第二候选和第三候选的组合列表候选。

在此，运动向量候选选择方法可以进一步包括：在配置组合列表候选之后，确定当前画面是否是参考画面；以及当当前画面是参考画面并且组合列表候选内的运动向量候选的数量小于预设数量时，添加具有预设固定坐标的固定候选。

在此，运动向量候选选择方法可以进一步包括当当前画面不是参考画面并且组合列表候选内的运动向量候选的数量小于预设数量时，添加具有(0，0)坐标的固定候选。

在此，当前画面的其他块可以是面对当前块、在其与当前块之间具有当前块的邻居块的块，并且可以包括在当前画面中在当前块之前被编码的块。当前画面的另一块可以是通过在当前块之前执行帧间预测而编码的块。

为了实现上述目的，在本发明的另一方面中，提供了一种图像编码方法，所述方法包括：配置空间运动向量候选(第一候选)；确定当前画面内是否存在当前块的参考画面；当当前画面内存在当前块的参考画面时，添加在当前块之前被编码的当前画面的另一块的空间运动向量候选(第二候选)；当当前画面内不存在当前块的参考画面时，添加时间运动向量候选(第三候选)；以及基于包括第一候选、第二候选和第三候选中的任何一个的运动向量候选来执行参考像素滤波。

在此，图像编码方法可以进一步包括：在执行参考像素滤波之前，确定当前画面是否是参考画面；当当前画面是参考画面并且组合列表候选内的运动向量候选的数量小于预设数量时，添加具有预设固定坐标的固定候选；以及当当前画面不是参考画面并且组合列表候选内的运动向量候选的数量小于预设数量时，添加具有(0，0)坐标的固定候选。

在此，图像编码方法可以进一步包括：在执行参考像素滤波之后，通过执行帧内预测来生成预测块；以及对所生成的预测块的预测模式进行编码。

为了实现上述目的，在本发明的另一方面中，提供了一种图像编码方法，所述方法包括：配置空间运动向量候选(第一候选)；确定当前画面内是否存在当前块的参考画面；当当前画面内存在当前块的参考画面时，添加在当前块之前被编码的当前画面的另一块的空间运动向量候选(第二候选)；当当前画面内不存在当前块的参考画面时，添加时间运动向量候选(第三候选)；以及基于包括第二候选、第三候选和第一候选中的任何一个的运动向量候选来执行运动估计。

在此，图像编码方法可以进一步包括：在执行运动估计之前；确定当前画面是否是参考画面；当当前画面是参考画面并且组合列表候选内的运动向量候选的数量小于预设数量时，添加具有预设固定坐标的固定候选；以及当当前画面不是参考画面并且组合列表候选内的运动向量候选的数量小于预设数量时，添加具有(0，0)坐标的固定候选。

在此，图像编码方法可以进一步包括，在执行运动估计之后，执行内插。

为了实现上述目的，在本发明的另一方面中，提供了一种图像解码方法，所述方法包括：对编码画面熵解码；对解码画面执行去量化；在去量化的画面中执行逆变换；基于解码画面的头信息选择逆变换的图像的运动信息预测候选；以及基于以运动信息预测候选为基础获得的图像信息对逆变换的图像解码。

在此，在选择运动信息预测候选中，当前块的运动预测可以基于包括来自逆变换的图像内的当前画面的邻居块中的空间运动向量候选(第一候选)以及来自在当前块之前被编码的当前画面的其他块的空间运动向量候选(第二候选)的候选组来执行。

在此，在选择运动信息预测候选中，可以基于进一步添加时间运动向量候选(第三候选)的候选组来执行当前块的运动预测。

在此，在选择运动信息预测候选中，可以配置包括第一候选、第二候选和第三候选的组合列表候选组，并且可以确定当前块的当前画面是否是参考画面，以及当当前画面是参考画面并且组合列表候选内的运动向量候选的数量小于预设数量时，可以添加具有预设的固定坐标的固定候选。

在此，在图像解码方法的运动信息预测候选的选择中，当当前画面不是参考画面并且组合列表候选内的运动向量候选的数量小于预设数量时，添加具有(0，0)坐标的固定候选。

在此，当前画面的其他块可以是面对当前块、在其与当前块之间具有当前块的邻居块的块，并且包括在当前画面中的通过在当前块之前执行帧间预测而编码的块。

为了实现上述目的，在本发明的另一方面中，提供了一种图像编码方法，其中，该方法是从原始图像通过预测运动信息来生成预测图像的图像编码方法，所述方法包括：配置运动信息预测候选组；根据当前块的运动向量的精度单元改变属于候选组的候选块的运动向量；以及通过根据精度单元从当前块的运动向量中减去候选块的运动向量来计算差值。

为了实现上述目的，在本发明的另一方面中，提供了一种图像解码方法，其中，该方法是通过对编码图像进行熵解码来生成重建图像、对熵解码图像执行去量化、以及对去量化的图像执行逆变换的图像解码方法，所述方法包括：基于熵解码的图像的头信息来配置重建图像的运动信息预测候选组；根据当前块的运动向量的精度单元改变属于候选组的候选块的运动向量；以及通过根据精度单元从当前块的运动向量中减去候选块的运动向量来计算差分值。

在此，在改变候选块的运动向量时，可以根据当前块所放置的当前画面与参考画面之间的第一距离，以及候选块的画面和对应候选块的参考画面之间的第二距离来缩放运动向量。

在此，图像编码方法可以进一步包括：在计算差分值之后，基于第一距离和第二距离的平均距离来确定每个参考画面的内插精度。

在此，当当前块的参考画面与候选块的参考画面相同时，可以省略候选块的运动向量的改变。

在此，在改变候选块的运动向量时，可以根据当前块的运动向量精度将邻居块或相邻块的运动向量改变为当前块的运动向量精度单元。

在此，邻居块可以与当前块被包括并且被放置在另一块处。另外，邻居块可以是通过在当前块之前执行帧间预测来搜索其运动向量的块。

为了实现上述目的，在本发明的另一方面中，提供了一种包括存储程序或程序代码的存储器图像解码设备，所述程序或程序代码用于通过对编码图像进行熵解码来生成重建图像、对熵解码的图像执行去量化、以及对去量化的图像执行逆变换；以及处理器，其被连接到存储器并执行程序，处理器通过执行程序：基于熵解码的图像的头信息配置重建的图像的运动信息预测候选组；根据当前块的运动向量的精度单元改变属于候选组的候选块的运动向量；以及通过根据精度单元从当前块的运动向量中减去候选块的运动向量来计算差值。

在此，当处理器改变候选块的运动向量时，处理器可以根据当前块被放置的当前画面与参考画面之间的第一距离，以及候选块的画面和对应候选块的参考画面之间的第二距离来缩放运动向量。

在此，当处理器计算差分值时，处理器可以基于第一距离和第二距离的平均距离来确定每个参考画面的内插精度。

在此，当当前块的参考画面与候选块的参考画面相同时，处理器可以省略候选块的运动向量的改变。

在此，当处理器改变候选块的运动向量时，处理器可以根据当前块的运动向量精度将邻居块或相邻块的运动向量改变为当前块的运动向量精度单元。

在此，邻居块可以与当前块被包括并且被放置在另一块处，并且包括通过在当前块之前执行帧间预测来搜索运动向量的块。

为了实现上述目的，在本发明的另一方面中，提供了一种图像编码方法，所述方法包括：当参考画面的内插精度为第一值时，搜索用于参考参考画面的当前块的第一邻居块的运动向量的精度，所述精度等于第一值或者是大于第一值的第二值；搜索用于当前块的第二邻居块的运动向量的精度，所述精度是大于第二值的第三值；以及对用于第一块和第二块的运动向量的第一信息以及用于运动向量的精度的匹配信息编码。

为了实现上述目的，在本发明的另一方面中，提供了一种图像解码方法，所述方法包括：当参考画面的内插精度具有第一值时，搜索用于参考参考画面的当前块的第一邻居块的运动向量的精度，所述精度等于第一值或者是大于第一值的第二值；搜索用于当前块的第二邻居块的运动向量的精度，所述精度是大于第二值的第三值；以及基于运动向量的精度的匹配信息以及用于第一块和第二块的运动向量的信息的图像解码。

在此，当前画面的信息可以被添加到参考画面列表0和参考画面列表1的末尾。

在此，第一值可以是适当的分数。另外，第二值或第三值可以是整数。

在此，当在包括匹配信息的索引内第二值具有大于第三值的出现频率的出现频率时，第二值可以具有比第三值的二进制比特的数量更短的二进制比特数量。

在此，当第三值在索引内具有最高的出现频率时，第三值可以具有零值，也就是说，精度为0。

在此，第一邻居块或第二邻居块可以被包括在与当前块在空间上不同的块中并且被放置在与当前块在空间上不同的块上。第一邻居块或第二邻居块可以是通过在当前块之前执行帧间预测而编码的块。

在此，第一邻居块或第二邻居块的参考画面可以是当前画面。可以通过执行帧间预测来搜索第一邻居块或第二邻居块的运动向量。

为了实现上述目的，在本发明的另一方面中，提供了一种图像解码设备，包括：存储用于图像解码的程序或程序代码的存储器；以及连接到存储器的处理器，其中，处理器通过程序：当参考画面的内插精度为第一值时，搜索用于参考参考画面的当前块的第一邻居块的运动向量的精度，所述精度等同于第一值或者是大于第一值的第二值；搜索用于当前块的第二邻居块的运动向量的精度，所述精度是大于第二值的第三值；以及基于运动向量的精度的匹配信息以及用于第一块和第二块的运动向量的信息来解码图像。

有利效果

根据如上所述的根据本发明的实施例的图像编码和解码方法以及图像解码设备，可以在配置有图像处理系统或者包括这样的图像处理系统的各种系统中有效地选择用于图像编码和解码的运动向量候选，因此可以提高设备或系统的性能和效率。

另外，由于有效地选择了运动向量候选或运动信息预测候选，因此可以提高图像编码设备、图像解码设备或图像处理系统的性能和效率。

具体地，可以通过使用运动向量差选择运动向量，根据块或画面的精度以各种形式应用缩放或精度调整。另外，编码和解码的性能和效率可以通过从可应用的候选组中选择最优的候选、用当前块的运动向量计算差值、以及对计算的差值进行编码来提高。

另外，具体地，通过使用运动向量精度来选择运动向量，参考块可以被复制并用作当前画面内的预测块。因此，可以提高图像编码和解码的性能和效率。

另外，编码和解码的性能和效率可以通过使用帧内块复制或块匹配来扩展运动向量的精度并且通过将当前画面包括在运动向量的参考画面列表0(列表0)和参考画面列表1(列表1)中来提高。

附图说明

图1是用于示出使用本发明的图像编码设备或图像解码设备或两者的系统的视图。

图2是根据本发明的实施例的图像编码设备的框图。

图3是根据本发明的实施例的图像解码设备的框图。

图4是示出根据本发明的实施例的图像编码和解码方法中的P切片的帧间预测的示例视图。

图5是示出根据本发明的实施例的图像编码和解码方法中的B切片的帧间预测的示例视图。

图6是用于示出在根据本发明的实施例的图像编码和解码方法中生成一个方向上的预测块的示例视图。

图7是在根据本发明的实施例的图像编码和解码方法中配置参考画面列表的示例视图。

图8是在根据本发明的实施例的图像编码和解码方法中从参考画面列表执行帧间预测的另一示例视图。

图9是用于示出在根据本发明的实施例的图像编码方法中的帧内预测的示例视图。

图10是用于示出在根据本发明的实施例的图像编码方法中的P切片或B切片中的预测原理的示例视图。

图11是用于示出在图10的图像编码方法中执行的内插的示例视图。

图12是用于以编码单元的语法示出根据本发明的实施例的图像编码方法的主要过程的视图。

图13是用于示出当通过在图12中使用的当前画面中执行块匹配而生成预测块时，支持像帧间预测一样的对称划分或不对称划分的示例的示例图。

图14是用于示出帧间预测支持2N×2N和N×N作为图9的帧内预测的示例图。

图15是用于示出对在根据本发明的实施例的图像解码方法中的图像的a、b、c的位置(假设为x)存在的像素应用一维水平滤波器的过程的视图。

图16是根据比较示例的当前块和邻居块的示例图。

图17是根据另一比较示例的当前块和邻居块的示例图。

图18是根据又一比较示例的当前块和邻居块的示例图。

图19是在根据本发明的实施例的图像编码方法中可以选择的当前块和邻居块的示例图。

图20是用于示出在根据本发明的实施例的图像编码方法中当当前块的参考画面与候选块的参考画面之间的时间距离等于或大于预先确定的距离时从候选组中排除，并且当时间距离小于预先确定的距离时，根据距离执行缩放之后，将其包括在候选组中的情况的示例图。

图21是用于示出在根据本发明的实施例的图像编码方法中当通过当前块的画面参考是与当前画面不同的画面时将当前画面添加到预测候选组的情况的示例图。

图22是用于示出在根据本发明的实施例的图像编码方法中当由当前块参考的画面是当前画面时将当前画面添加到预测候选组的情况的示例图。

图23是根据本发明另一实施例的图像编码方法的流程图。

图24是用于示出当运动向量精度以块单元变化的视图。

图25是用于示出在根据本发明的实施例的图像编码方法中根据参考画面的内插精度确定块的运动向量精度的情况的视图。

图26是根据本发明的实施例的使用运动向量差的图像编码和解码方法的流程图。

图27～图32是用于示出在当以块单元确定内插精度时的各种情况下计算运动向量差的根据本发明的实施例的图像编码方法中的处理的视图。

图33～图36是用于示出在根据本发明的实施例的图像编码方法中表示运动向量差的精度的过程的视图。

图37示出了在根据本发明的实施例的图像编码和解码方法中的随机访问模式的参考结构的示例。

图38是用于示出在根据本发明的实施例的图像编码方法中单个画面可以具有至少两个内插精度的视图。

图39是示出当前画面是图38中的I画面时的参考画面列表的视图。

图40是示出当前画面是图38中的P画面时的参考画面列表的图。

图41是示出在根据本发明的实施例的图像编码和解码方法中当当前画面是B(2)时的参考画面列表的视图。

图42是示出在根据本发明的实施例的图像编码和解码方法中当当前画面是B(5)时的参考画面列表的视图。

图43是用于示出在根据本发明的实施例的图像编码和解码方法中根据参考画面的内插精度来确定每个块的运动向量精度的过程的视图。

图44是用于示出在根据本发明的实施例的图像编码/解码方法中当每个参考画面的内插精度是恒定时，自适应地确定每个块的运动向量精度的过程的视图。

具体实施方式

下面将参考附图来解释本发明的优选实施例。尽管本发明可以具有各种修改和配置，但是在此已经示出和解释了某些实施例。然而，这不应该被解释为将本发明限制为任何具体公开的配置，而应理解为包括在本发明的概念和技术范围下可以被包括的所有修改、等同或替换。

应当理解的是，尽管在此可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应该被这些术语限制。这些术语仅用于区分一个元件和另一元件。例如，第一元件可以被称为第二元件，并且相似地，第二元件可以被称为第一元件，而不背离本发明的范围。如在此所使用的，术语“和/或”包括相关所列项目的一个或多个的任何和所有组合。

应当理解的是，当元件被称为“连接”或“耦合”到另一元件时，其可以直接连接或耦合到另一元件，或者可以存在中间元件。相反，当元件被称为“直接连接”或“直接耦合”到另一元件时，不存在中间元件。

在此使用的术语仅用于描述特定实施例的目的，而不旨在限制本发明。如在此所使用的，除非上下文另有清楚地指出，否则单数形式“一”，“一个”和“该”也旨在包括复数形式。应当进一步理解的是，当在此使用时，术语“包括”、“包含”指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组。

除非另有定义，否则在此使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员通常理解的相同的含义。应当进一步理解的是，诸如在常用字典中定义的那些术语应该被解释为具有与其在相关领域的上下文中的含义一致的含义，并且除非在这里明确地如此定义，否则将不以理想的或过度形式的意义上被解释。

通常，视频可以被配置有一系列画面，并且每个画面可以被划分为诸如帧或块的预先确定的区域。另外，可以使用诸如编码树单元(coding tree unit，CTU)、编码单元(coding unit，CU)、预测单元(prediction unit，PU)、变换单元(transform unit，TU)的各种尺寸或术语(term)来提及划分的区域。每个单元可以配置有单个亮度块和两个色度块，并且单元可以根据颜色格式被不同地配置。另外，可以根据颜色格式来确定亮度块和色度块的尺寸。例如，在4：2：0的情况下，色度块可以让水平和垂直长度为亮度块的水平和垂直长度的1/2。对于上述单元和术语，可以参考传统HEVC(high efficiency video coding，高效视频编码)或H.264/AVC(advanced video coding，高级视频编码)的术语。

另外，编码或解码当前块或当前像素的同时，画面、块或像素参考被称为参考画面、参考块或参考像素。另外，本领域技术人员将理解，下面描述的术语“画面”可以用具有等同含义的诸如图像、帧等的其他术语来代替。

在下文中，将参考附图详细描述本发明的示例性实施例。为了便于彻底理解本发明，在附图中相同的附图标记表示相同的组件，并且将省略对相同组件的重复描述。

参考图1，使用图像编码设备或图像解码设备或两者的系统可以是诸如个人计算机(PC)、笔记本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、便携式游戏机(PlayStation Portable，PSP)、无线通信终端、智能电话、电视机等的用户终端11，或者可以是诸如应用服务器和服务服务器等的服务器终端12。上述系统可以被称为计算设备。

另外，计算设备可以包括各种设备，包括诸如用于在各种设备和有线和无线通信网络之间通信的通信调制解调器的通信设备，存储用于编码或解码图像或用于执行其的帧内或帧间预测的各种程序和数据的存储器18，以及用于通过执行程序来计算和控制的处理器14。

另外，在计算设备中，图像可以由图像编码设备编码成比特流，比特流可以通过使用诸如因特网、近场无线通信网络、无线LAN网络、WiBro网络、移动通信网络等的有线或者有线通信网络或通过使用诸如电缆、通用串行总线(USB)的各种通信接口实时或者非实时地被传送到图像解码设备，并且所传送的流可被解码，并在图像解码设备中以重建图像进行播放。另外，可以通过使用计算机可读记录介质将由图像编码设备编码成比特流的图像从编码设备传送到解码设备。

图2是根据本发明的实施例的图像编码设备的框图。图3是根据本发明的实施例的图像解码设备的框图。

如图2所示，根据实施例的图像编码设备20可以包括预测单元200、减法器205、变换单元210、量化单元215、去量化单元220、逆变换单元225、加法器230、滤波单元235、解码画面缓冲器240和熵编码单元245。另外，图像编码设备20可以进一步包括分区单元190。

另外，如图3所示，根据实施例的图像解码设备30可以包括熵解码单元305、预测单元310、去量化单元315、逆变换单元320、加法器325、滤波单元330和解码画面缓冲器335。

上述图像编码设备20和图像解码设备30可以是独立的设备。然而，根据实施方式，可以形成单个图像编码和解码设备。在此，图像编码设备20的预测单元200、去量化单元220、逆变换单元225、加法器230、滤波单元235和解码画面缓冲器240可以分别地并且实质上与图像解码设备30的预测单元310、去量化单元315、逆变换单元320、加法器325、滤波单元330和存储器335实质上相同，因此其结构相同或者可以被实现为执行相同的功能。另外，熵编码单元245可以通过相反地执行其功能来对应于熵解码单元305。因此，在下面对技术元件及其操作原理的详细描述中，将省略对对应技术元件的重叠描述。

另外，图像解码设备对应于其中将由图像编码设备执行的图像编码方法应用于图像解码方法的计算设备，因此在以下描述中，将主要描述图像编码设备。

计算设备可以包括存储用于实现图像编码方法或图像解码方法或两者的程序或者软件模块的存储器，以及与存储器关联地执行程序的处理器。另外，图像编码设备可以被称为编码器，并且图像解码设备可以被称为解码器。

将详细描述本实施例的图像编码设备的每个配置元件。

分区单元190可将输入图像划分为具有预先确定的尺寸(M×N)的块。在此，M或N是等于或大于1的任意自然数。

详细地说，分区单元190可以配置有画面分区单元和块分区单元。块的形式的尺寸可以根据图像的特征和分辨率来确定。由画面分区单元支持的块的尺寸或形式可以是在水平和垂直长度下由2的指数幂表示的M×N正方形形式(256×256、128×128、64×64、32×32、16×16、8×8、4×4等)或者可以是M×N矩形形式。例如，在具有高分辨率的8k UHD图像的情况下，输入图像可以被划分为256×256块尺寸，在HD图像的情况下，输入图像可以被划分为128×128块尺寸，并且在WVGA图像的情况下，输入图像可以被划分为16×16块尺寸。

块尺寸或形式的信息可以在序列单元、画面单元、切片单元等中设置。另外，可以将针对其的信息传送到解码器。换句话说，可以将信息设置在序列参数集合、画面参数集合、切片头或其组合单元中。

在此，序列可以是配置有若干场景的单元。另外，画面是指示单个场景或画面中的亮度分量(Y)或亮度和色度分量两者(Y、Cb和Cr)的术语，单个帧或单个域可以是根据环境的单个画面的范围。

切片可以指存在于相同访问单元中的单个独立切片片段或多个从属切片片段。访问单元表示一组网络抽象层(NAL)单元，并且网络抽象层与单个编码画面相关。NAL单元是在H.264/AVC和HEVC标准中以网络友好的语法结构配置的视频压缩比特流。通常，单个切片单元配置有单个NAL单元。在系统标准中，组成单个帧的NAL单元或NAL集合被认为是单个访问单元。

再次描述画面分区单元，可以用显式标志来配置块尺寸或形式(M×N)的信息。详细地说，显式标志可以包括块形式信息、当块是正方形时的长度信息、或者当块是矩形时每个长度或者水平和垂直长度之间的差。

例如，当M和N被配置为k的指数幂(假设k为2)(M＝2^m，N＝2ⁿ)时，可以使用诸如一元二值化方法、截断型一元二值化方法等的各种方法来编码m和n的信息，并传送给解码器。

另外，当由画面分区单元支持的最小可用划分尺寸(Minblksize)为I×J(为了便于说明，假设I＝J。当I是2ⁱ，并且J是2^j时)时，可以传送m-i或n-j的信息。作为另一个示例，当M和N不同时，可以传送m和n之间的差值(|m-n|)。另外，当由画面分区单元支持的最大可用划分尺寸(Maxblksize)是I×J时(为了便于说明，假设I＝J。当I是2ⁱ，并且J是2^j时)，可以传送i-m或n-j的信息。

在隐式的情况下，例如，当相关信息的语法存在但在编码器/解码器中未被检查时，编码器或解码器可以遵循基本的预设设置。例如，在检查块形式信息的同时没有检查相关语法时，可以将块形式设置为作为基本集合的正方形形式。

另外，当检查块尺寸信息，更详细地说，如以上示例，通过使用与最小可用划分尺寸(Minblksize)的差值来检查块尺寸信息时，可以检查与差值相关的语法。然而，当不可能检查与差值相关的语法时，它可以从与最小可用划分尺寸(Minblksize)相关的预设基本设置值中获得。

因此，画面分区单元的块尺寸或形式可以通过使用相关信息从编码器或解码器或两者显式地传送，或者可以根据图像的特性和分辨率隐式地确定。

如以上由画面分区单元划分和确定的块可被用作基本编码单元。另外，由画面分区单元划分和确定的块可以是组成诸如画面、切片、瓦片等的更高级别单元的最小单元，或者可以是诸如编码块、预测块、变换块、量化块、熵块、环路内滤波块等的最大单元。然而，一些块不限于此，并且例外是有可能的。例如，可以将环路内滤波块应用于大于上述块尺寸的单元。

块分区单元执行编码块、预测块、变换块、量化块、熵块、环路内滤波块等的划分。分区单元190可以通过被包括在每个配置中来执行其功能。例如，变换单元210可以包括变换块分区单元，并且量化单元215可以包括量化块分区单元。块分区单元的初始块尺寸或形式可以由先前步骤或通过更高级别块的划分结果来确定。

例如，在编码块的情况下，可以将由作为先前过程的画面分区单元获得的块设置为初始块。可替代地，在预测块的情况下，可以将通过划分比预测块更高级别的编码块而获得的块设置为初始块。可替代地，在变换块的情况下，可以将通过划分比变换块更高级别的编码块而获得的块设置为初始块。

确定初始块的尺寸或形式的条件不是固定的，并且可能存在其中一些被改变或排除的情况。另外，根据先前过程或更高级别块的划分状态(例如，编码块的尺寸、编码块的形式)和当前级别的设置条件(例如，变换块的支持的尺寸或形式)的至少一个组合，可能会影响当前级别的划分操作(是否可能被划分，可以被划分的块形式等)。

块分区单元可以支持基于四叉树的划分方法。换句话说，块可以被划分成具有垂直和水平长度是原始块的1/2的四个块。这意指，可以重复执行划分直到可用划分深度限制(dep_k，k意指可用划分次数的数量，当块具有可用划分深度限制(dep_k)时，块尺寸是(M>>k、N>>k))。

另外，可以支持基于二叉树的划分方法。这意指块可以被分成两个块，其中水平长度或垂直长度中的至少一个是原始块的1/2。四叉树划分和二叉树划分可以是对称划分或不对称划分。可以根据编码器/解码器的设置来确定使用哪个划分。在根据本实施例的图像编码方法中，主要以对称划分进行描述。

是否划分每个块可以通过使用划分标志(div_flag)来表示。当对应的值为1时，执行划分，并且当对应值为0时，不执行划分。可替代地，当对应值为1时，执行划分并且附加划分可用，并且当对应值为0时，不执行划分并且附加划分不可用。以上标志可以通过使用最小可用划分尺寸、可用划分深度限制等的条件来考虑是否执行划分，并且可以不考虑是否另外执行划分。

划分标志可以用于四叉树划分，并且也可以用于二叉树划分。在二叉树划分中，可以根据划分深度、编码模式、预测模式、尺寸、形式、类型(可以是编码类型、预测类型、变换类型、量化类型、熵类型或环路内滤波器中的一个，或者可以是亮度类型或色度类型中的一个)、切片类型、可用划分深度限制以及块的最小/最大可用划分尺寸中的至少一个或根据其组合来确定划分方向。另外，根据划分标志或对应的划分方向或两者，换句话说，块可以宽度被划分1/2或长度被划分1/2。

例如，假设当块具有M×N(M>N)尺寸并且M大于N使得支持长度划分，并且当前划分深度(dep_curr)小于可用划分深度限制，使得附加划分可用，则将1比特分配给以上划分标志。当对应值为1时，执行划分，否则不再有可用的划分。

单个划分深度可以用于四叉树划分和二叉树划分，或者各个划分深度可以用于四叉树划分和二叉树划分。另外，单个可用划分深度限制可以用于四叉树划分和二叉树划分，或者各个可用划分深度限制可以用于四叉树划分和二叉树划分。

作为另一示例，当块具有M×N(M>N)尺寸并且N等于预设的最小可用划分尺寸使得水平划分不被支持时，将1比特分配给以上划分标志。当对应值为1时，执行垂直划分，否则不执行划分。

另外，对于水平划分和垂直划分，可以支持各个的标志(div_h_flag和div_h_flag)。根据以上标志，可以支持二分划分。可以由水平划分标志(div_h_flag)或垂直划分标志(div_v_flag)来表示是否执行对每个块的水平或垂直划分，当水平划分标志(div_h_flag)或垂直划分标志(div_v_flag)为1时，执行水平或垂直划分，否则，不执行水平或垂直划分。

另外，当每个标志为1时，执行水平或垂直划分，并且附加水平或垂直划分可用，并且当每个标志为0时，不执行水平或垂直划分，并且不再有附加的水平或垂直划分可用。标志可以考虑是否通过使用最小可用划分尺寸、可用划分深度限制等的条件来执行划分，并且可以不考虑是否执行附加的划分。

另外，可以支持用于水平划分或垂直划分的标志(div_flag/h_v_flag)，并且可以根据以上标志来支持二元划分。划分标志(div_flag)可以表示是否执行水平或垂直划分，并且标志(h_v_flag)可以表示划分是在水平方向还是垂直方向上执行。当划分标志(div_flag)为1时，执行划分，并且根据划分方向标志(h_v_flag)执行水平或垂直划分。当划分标志(div_flag)为0时，不执行水平或垂直划分。

另外，当对应值为1时，根据划分方向标志(h_v_flag)执行水平或垂直划分并且附加的水平或垂直划分可用。当对应值为0时，不执行水平或垂直划分，并且不再有可用的水平或垂直划分。以上标志可以考虑是否通过使用最小可用划分尺寸、可用划分深度限制等的条件来执行划分，以及可以不考虑是否执行附加划分。

这样的划分标志可以用于水平和垂直划分中的每个，并且可以根据以上标志来支持二叉树划分。另外，当划分方向是预先确定的时，可以使用两个划分标志中的一个作为以上示例，或者可以使用两个划分标志。

例如，当使用所有以上标志时，块可以被划分成M×N、M/2×N、M×N/2和M/2×N/2中的任何形式。在此，标志可以以水平划分标志或垂直划分标志(div_h_flag/div_v_flag)的顺序被编码为00、10、01和11。

以上情况是其中划分标志被设置为被重叠使用的示例，并且划分标志可以被设置为不被重叠使用。例如，块可以以M×N、M/2×N和M×N/2的形式划分。在此，以上标志可以以水平或垂直划分标志的顺序被编码为00、01、10。可替代地，以上标志可以以划分标志(div_flag)和水平-垂直标志(h_v_flag)(表示划分是水平方向还是垂直方向的标志)的顺序被编码为00、10和11。在此，重叠的标志可以意指水平划分和垂直划分同时执行。

如上所述的四叉树划分和二叉树划分中的任何一个可以根据编码器或者解码器或者两者的设置被用在编码器或者解码器中或者两者中，或者可以被组合使用。例如，根据块尺寸或形式，可以确定四叉树划分或二叉树。换句话说，当块形式是M×N并且M大于N使得执行水平划分时，并且当块形式是M×N并且N大于M使得执行垂直划分时，可以支持二叉树划分。换句话说，当块形式是M×N并且N等于M时，可以支持四叉树划分。

作为另一示例，当M×M块尺寸等于或大于块划分边界值(thrblksize)时，可以支持二叉树划分，否则可以支持四叉树划分。

作为另一示例，当M×N块的M或N等于或小于第一最大可用划分尺寸(Maxblksize1)并且等于或大于第一最小可用划分尺寸(Minblksize1)时，可以支持四叉树划分。当M×N块的M或N等于或小于第二最大可用划分尺寸(Maxblksize2)并且等于或大于第二最小可用划分尺寸(Minblksize2)时，可以支持二叉树划分。

当被定义为最大可用划分尺寸和最小可用划分尺寸的第一划分支持范围和第二划分支持范围彼此重叠时，可以根据编码器和解码器的设置分配第一和第二划分中的优先级顺序。在本实施例中，第一划分可以是四叉树划分，且第二划分可以是二叉树划分。

例如，当第一最小可用划分尺寸(Minblksize1)为16，第二最大可用划分尺寸(Maxblksize2)是64，并且块在被划分之前具有64×64尺寸时，由于该块属于第一划分支持范围和第二划分支持范围，所以四叉树划分和二叉树划分都是可用的。当根据预设的设置将更高的优先级分配给第一划分(在本实施例中为四叉树划分)，并且划分标志(div_flag)为1时，执行四叉树划分，并且附加的四叉树划分是可用的。当划分标志(div_flag)为0时，不执行四叉树划分，并且不再执行四叉树划分。

以上标志可以考虑是否通过使用最小可用划分尺寸、可用划分深度限制等的条件来执行划分，以及可以不考虑是否执行附加划分。当划分标志(div_flag)为1时，由于尺寸大于第一最小可用划分尺寸(Minblksize1)，所以具有32×32尺寸的块被划分为四块，因此可以继续执行四叉树划分。当划分标志(div_flag)为0时，由于当前块尺寸64×64属于第二划分支持范围，所以不执行附加的四叉树划分，并且可以执行二叉树划分。

当划分标志(按照div_flag/h_v_flag的顺序)为0时，不再执行划分。当标志为10或11时，可以执行水平划分或垂直划分。当块在被划分之前具有32×32的尺寸并且划分标志(div_flag)为0使得不再执行四叉树划分，并且第二最大可用划分尺寸(Maxblksize2)为16时，由于当前块尺寸32×32不属于第二划分支持范围，所以不再支持划分。

在以上描述中，可以根据切片类型、编码模式和亮度/色度分量中的至少一个或者根据其组合来确定划分方法的优先级顺序。

作为另一示例，根据亮度和色度分量可以支持各种设置。例如，在亮度分量中确定的四叉树或二叉树划分的结构可以被原样用在色度分量中，而无需编码/解码附加的信息。可替代地，当支持用于亮度分量和色度分量的独立划分时，对于亮度分量可以支持四叉树和二叉树划分，并且对于色度分量可以支持四叉树划分。

另外，对于亮度和色度分量可以支持四叉树划分和二叉树划分，并且对于亮度和色度分量，划分支持范围可以是或者可以不是相同地或者成比例地设置。例如，当颜色格式是4：2：0时，色度分量的划分支持范围可以是亮度分量的划分支持范围的N/2。

作为另一示例，可以根据切片类型来设置不同的设置。例如，在I切片中，可以支持四叉树划分，在P切片中可以支持二叉树划分，并且在B切片中，可以支持四叉树划分和二叉树划分。

四叉树划分和二叉树划分可以根据如以上示例中的各种条件来设置和支持。上述示例不是特定于上述情况，而是可以包括彼此的条件相反的情况。可替代地，可以包括上述示例的至少一个条件或其组合。可替代地，在其他情况下，修改也是可用的。可以根据划分方法(四叉树划分、二叉树划分)、切片类型、亮度/色度分量和编码模式中的至少一个或根据其组合来确定以上可用划分深度限制。

另外，可以根据划分方法(四叉树划分、二叉树划分)、切片类型、亮度/色度分量和编码模式中的至少一个或根据其组合来确定划分支持范围。可以通过使用划分支持范围的最大值和最小值来表示针对其的信息。当信息被配置有显式标志时，该标志可以表示各个最大值和最小值的长度信息，或者最小值和最大值之间的差值的信息。

例如，当最大值和最小值被配置有k的指数幂(在此，假设k是2)时，可以通过使用各种二值化方法编码指数信息来将最大值和最小值的指数信息传送到解码设备。可替代地，可以传送最大值和最小值的指数差值。在此，传送的信息可以是最小值的指数信息和指数差值的信息。

根据以上描述，可以在序列单元、画面单元、切片单元、瓦片单元、块单元等中生成并传送与标志相关的信息。

块划分信息可以通过使用以上示例中描述的划分标志或者通过使用四叉树和二叉树划分标志的组合来表示。划分标志可以通过使用诸如一元二值化方法、截断型一元二值化方法等的各种方法通过编码对其的信息而被传送到解码设备。用于表示块的划分信息的划分标志的比特流结构可以是从至少一种扫描方法中选择。

例如，划分标志可以基于划分深度顺序(从dep0到dep_k)被配置在比特流中，或者划分标志可以基于是否执行划分而被配置在比特流中。基于划分深度顺序的方法是基于初始块获得当前深度级别的划分信息并获得下一级别深度中的划分信息的方法，并且基于是否执行划分的方法是基于初始块优先获得划分块中的附加划分信息的方法。可以包括和选择在以上示例中没有描述的其他扫描方法。

另外，根据实施方式，块分区单元而不是所描述的划分标志可以生成具有预定义的形式的块候选组的索引信息，并且表示所生成的索引信息。块候选组的形式可以是例如在划分之前块可能具有的形式，并且可以包括M×N、M/2×N、M×N/2、M/4×N、3M/4×N、M×N/4、M×3N/4、M/2×N/2的形式。

当如上所述确定了划分块的候选组时，可以使用诸如固定长度二值化方法、一元截断型二值化方法、截断型二值化方法等的各种方法来编码划分块形式的索引信息。作为上述的划分标志，划分块候选组可以根据块的划分深度、编码模式、预测模式、尺寸、形式、类型和切片类型中的至少一个、可用划分深度限制、以及可用划分的最小/最大尺寸或者根据其组合来确定。

对于下面的描述，假设第一候选列表(列表1)为(M×N、M×N/2)，第二候选列表(列表2)为(M×N、M/2×N、M×N/2和M/2×N/2)，第三候选列表(列表3)为(M×N、M/2×N、M×N/2)，以及第四候选列表(列表4)为(M×N、M/2×N、M×N/2、M/4×N、3M/4×N、M×N/4、M×3N/4、M/2×N/2)。例如，基于M×N来描述，当M＝N时，可以支持第二候选列表的划分块候选，当M≠N时，可以支持第三候选列表的划分块候选。

作为另一示例，当M×N的M或N等于或大于边界值(blk_th)时，可以支持第二候选列表的划分块候选，否则，可以支持第四候选列表的划分块候选。另外，当M或N等于或大于第一边界值(blk_th_1)时，可以支持第一候选列表的划分块候选。当M或N小于第一边界值(blk_th_1)但是等于或大于第二边界值(blk_th_2)时，可以支持第二候选列表的划分块候选。当M或N小于第二边界值(blk_th_2)时，可以支持第四候选列表的划分块候选。

作为另一示例，当编码模式是帧内预测时，可以支持第二候选列表的划分块候选，并且当编码模式是帧间预测时，可以支持第四候选列表的划分块候选。

尽管支持上述的划分块候选，但是根据每个块的二值化方法，比特配置可以相同或不同。例如，作为上述的划分标志，当根据块尺寸或形式，划分块候选的支持被限制时，比特配置可以根据对应块候选的二值化方法而变化。例如，当M>N时，根据水平划分的块形式，换句话说，M×N、M×N/2和M/2×N/2可以被支持，并且索引的二进制比特在划分块候选组(M×N、M/2×N、M×N/2、M/2×N/2)的M×N/2中和根据当前条件的M×N/2中可以彼此不同。

可以根据例如，在编码块、预测块、变换块、量化块、熵块、环路内滤波块等中使用的块类型来通过使用划分标志和划分索引方法中的一个来表示块划分和块形式的信息。另外，用于支持划分和块形式的块尺寸限制和可用划分深度限制可以根据每个块类型而变化。

在确定编码块之后，可以根据确定预测块、确定变换块、确定量化块、确定熵块、确定环路内滤波器等的过程来执行块单元的编码和解码。以上编码和解码过程的顺序不固定，有些顺序可以被改变或排除。每个块的尺寸和形式可以根据每个候选尺寸的编码成本和块的形式来确定，并且可以对每个确定的块的图像数据和诸如每个确定的块的确定的尺寸和形式的划分信息进行编码。

预测单元200可以通过使用作为软件模块的预测模块来实现，或者可以通过使用帧内预测方法或帧间预测方法来生成要被编码的块的预测块。在此，预测块是在像素差方面与要被编码的块紧密匹配的块，并且可以通过使用包括SAD(sum of absolutedifference，绝对差之和)和SSD(sum of square difference，平方差之和)的各种方法来确定。另外，在此，可以生成当解码图像块时可以使用的各种语法。预测块可以根据编码模式被分类为帧内块和帧间块。

帧内预测是使用空间相关性的预测方法，并且涉及通过使用先前被编码或解码的重建块的参考像素来预测当前块的方法。换句话说，通过帧内预测和重建而重配置的亮度值被用作编码器和解码器中的参考像素。帧内预测对于具有连续性的平面区域和具有预先确定的方向的区域可以是有效的，由于帧内预测使用空间相关性，确保了随机访问，并且可以使用帧内预测来防止误差扩散。

帧间预测涉及通过参考先前编码的或可在未来画面中编码的至少一个图像来使用时间相关性来去除重叠数据的压缩方法。换句话说，帧间预测可以通过参考先前或之后画面中的至少一个来生成具有高相似度的预测信号。使用帧间预测的编码器可以在参考画面中搜索与当前编码的块具有高相关性的块，并且将所选择的块的位置信息和残差信号传送到解码器。解码器可以通过使用传送图像的所选择的信息来生成与编码器的图像相同的预测块，并且通过补偿所传送的残差信号来配置重建的图像。

图4是示出根据本发明的实施例的图像编码和解码方法中的P切片的帧间预测的示例图。图5是示出根据本发明的实施例的图像编码和解码方法中的B切片的帧间预测的示例图。

在本实施例的图像编码方法中，由于帧间预测从具有高时间相关性的并且先前被编码的画面生成预测块，所以可以增加编码效率。当前(t)可以指要被编码并且基于图像画面的时间流或POC(picture order count，画面顺序计数)的当前画面，包括具有在当前画面的POC之前的第一时间距离(t-1)的第一参考画面，以及具有在第一时间距离之前的第二时间距离(t-2)的第二参考画面。

换句话说，如图4所示，在本实施例的图像编码方法中可以使用的帧间预测可以执行运动估计，该运动估计通过执行参考画面(t-1和t-2)的参考块与当前画面的当前块(当前(t))之间的块匹配，从已经编码的参考画面(t-1和t-2)中找到具有高相关性的最优预测块。为了根据需要进行精确估计，可以通过基于两个相邻像素之间布置至少一个子像素的结构通过内插找到最优预测块、以及通过对最优预测块进行运动补偿，来找到最终预测块。

另外，如图5所示，在本实施例的图像编码方法中可以使用的帧间预测可以从已经编码并且基于当前画面(当前(t))在两个方向上时间上存在的参考画面(t-1和t+1)生成预测块。另外，可以从一个参考画面生成两个预测块。

当通过帧间预测对图像进行编码时，可以对用于最优预测块的运动向量的信息和参考画面的信息进行编码。在本实施例中，当在一个方向或两个方向上生成预测块时，可以通过不同地配置参考画面列表而从对应的参考画面列表生成预测块。通常，在当前画面之前时间上存在的参考画面可以通过被分配给列表0(L0)来管理，并且在当前画面之后时间上存在的参考画面可以通过被分配给列表1(L1)来管理。

当配置参考画面列表0并且若干可用参考画面未被填充时，可以分配在当前画面之后存在的参考画面。相似地，当配置参考画面列表1并且若干可用参考画面未被填充时，可以分配在当前画面之后存在的参考画面。

图6是用于示出在根据本发明的实施例的图像编码和解码方法中生成一个方向上的预测块的示例图。

参考图6，根据本实施例的图像编码和解码方法可以从编码的参考画面(t-1和t-2)传统地找到预测块，除此之外，可以从在当前画面(当前(t))内已经编码的区域找到预测块。

换句话说，根据本实施例的图像编码和解码方法可以被实现为从先前被编码并且具有时间上高相关性的画面(t-1和t-2)生成预测块，并且还寻找具有空间上高相关性的预测块。寻找具有空间上高相关性的这样的预测块可以对应于通过使用帧内预测方法来找到预测块。为了从在当前画面中已经编码的区域执行块匹配，本实施例的图像编码方法可以通过与帧内预测模式结合来配置与预测候选相关的信息的语法。

例如，当支持n(n是任意自然数)个帧内预测模式时，可以通过使用通过将一个模式添加到帧内预测候选组而支持n+1个模式，并且满足2M-1≤n+1≤2M的M个比特来对帧内预测模式进行编码。另外，可以实现从诸如HEVC的最可能模式(most probable mode，MPM)的具有高可能性的预测模式的候选组中选择。另外，也可能优先编码比预测模式的编码更高的过程。

当通过在当前画面中执行块匹配来生成预测块时，图像编码方法可以通过结合帧间预测模式来配置相关信息的语法。作为附加的相关预测模式信息，可以使用与运动或位移相关的信息。与运动或位移相关的信息可以包括多个向量候选中的最优向量候选的信息、最优向量候选与实际向量之间的差值、参考方向、参考画面信息等

图7是在根据本发明的实施例的图像编码和解码方法中配置参考画面列表的示例图。图8是在根据本发明的实施例的图像编码和解码方法中从参考画面列表执行帧间预测的另一示例图。

参考图7，根据本实施例的图像编码方法可以从第一参考画面列表(参考列表0，L0)和第二参考画面列表(参考列表1，L1)对当前画面(当前(t))的当前块执行帧间预测。

参考图7和图8，参考画面列表0可以被配置有当前画面(t)之前的参考画面，并且t-1和t-2指示具有第一时间距离(t-1)和第二时间距离(t-2)，所述第一时间距离(t-1)和第二时间距离(t-2)具有在当前画面(t)的POC之前的(一个或多个)POC。另外，参考画面列表1可以被配置有当前画面(t)之后的参考画面，并且t+1和t+2指示具有在当前画面(t)的POC之后的(一个或多个)POC的参考画面。

配置参考画面列表的以上示例是用利用具有时间距离为1(基于本示例中的POC)的参考画面来配置参考画面列表的示例来描述的。然而，其可以被配置为具有不同时间距离的参考画面。换句话说，这意指参考画面之间的索引差和参考画面之间的时间距离差可以不成比例。另外，可以不基于时间距离来配置列表配置顺序。以上特征的描述将通过配置稍后将描述的参考画面列表的示例来确认。

根据切片类型(I、P或B)，可以从存在于列表中的参考画面执行预测。另外，当通过在当前画面(当前(t))中执行块匹配来生成预测块时，可以通过将当前画面添加到参考画面列表(参考列表0或参考列表1或两者)来使用帧间预测方法来执行编码。

如图8所示，可以将当前画面(t)添加到参考画面列表0(参考列表0)，或者可以将当前画面(当前(t))添加到参考画面列表1(参考列表1)。换句话说，可以通过将具有在当前画面(t)之前的时间距离(t)的参考画面添加到参考画面来配置参考画面列表0。然后，可以通过将具有在当前画面(t)之后的时间距离(t)的参考画面添加到参考画面来配置参考画面列表1。

例如，当配置参考画面列表0时，可以将当前画面之前的参考画面分配给参考画面列表0，然后分配当前画面(t)。当配置参考画面列表1时，可以将当前画面之后的参考画面分配给参考画面列表1，然后可以分配当前画面(t)。可替代地，当配置参考画面列表0时，可以分配当前画面(t)，然后可以分配当前画面之前的参考画面，并且当配置参考画面列表1时，可以分配当前画面(t)，然后可以分配当前画面之后的参考画面。

另外，当配置参考画面列表0时，可以分配当前画面之前的参考画面，可以分配当前画面之后的参考画面，然后可以分配当前画面(t)。相似地，当配置参考画面列表1时，可以分配当前画面之后的参考画面，可以分配当前画面之前的参考画面，然后可以分配当前画面(t)。以上示例不限于以上的情况，而是可以包括条件彼此相反的情况。其他情况的示例也是可能的。

可以在编码器/解码器中相同地设置是否在每个参考画面列表中包括当前画面(例如，不添加到任何列表、添加到列表0、添加到列表1、或者添加到列表0和1)，并且对其的信息可以以序列单元、画面单元、切片单元等来传送。可以通过使用诸如固定长度二值化方法、一元截断型二值化方法、截断型二值化方法等的方法来编码针对其的信息。

在本实施例的图像编码和解码方法中，不同于图7的方法，通过在当前画面(t)中执行块匹配来选择预测块，配置包括所选择的预测块的信息的参考画面列表，并且参考画面列表被用于编码和解码图像。

当配置参考画面列表时，可以不同地设置每个列表的顺序和规则、可用参考画面的数量。以上特征可以根据是否在列表中包括当前画面(是否包括当前画面作为帧间预测中的参考画面)、切片类型、列表重配置参数(可以应用于列表0和列表1中的每个，可以应用于列表0和列表1两者)、画面的组(group of picture，GOP)内的位置和时间层信息(时间id)中的至少一个，或者根据其组合来确定。针对其的信息可以以序列单元、画面单元等显式地传送。

例如，在P切片的情况下，参考画面列表0可以遵循列表配置规则A，而不管当前画面是否被包括在列表中。在B切片的情况下，当前画面中的参考画面列表0可以遵循列表配置规则C，并且参考画面列表1可以遵循列表配置规则C，不包括当前画面的参考画面列表0可以遵循列表配置规则D，并且参考画面列表1可以遵循列表配置规则E。在规则中，规则B和D可以彼此相同，并且规则C和E可以彼此相同。可以以与以上描述的参考画面列表配置示例中所描述的相同或修改的方式来配置列表配置规则。

作为另一示例，当当前画面被包括在列表中时，可以设置可用参考画面的第一数量，或者当当前画面未被包括在列表中时，可以设置可用参考画面的第二数量。可用参考画面的第一数量和可用参考画面的第二数量可以相同或不同。基本上，可用参考画面的第一数量和可用参考画面的第二数量之间的差可以被设置为1。

作为另一示例，当当前画面被包括在列表中并且应用列表重配置参数时，所有参考画面可以被包括在切片A中的列表重配置候选组中，并且部分参考画面可以被包括在切片B中的列表重配置候选组中。在此，可以通过当前画面是否被包括在列表中、时间层信息以及GOP内的位置来区分切片A或B。可以通过参考画面的POC或参考画面的索引、参考预测方向(当前画面之前/之后)以及当前画面是否处于列表中来确定是否包括在候选组中。

根据上述配置，当执行I切片的运动预测时，由于可以使用通过当前画面中的帧间预测编码的参考块，所以帧间预测可以是可用的或可被使用的。

另外，当配置参考画面列表时，索引分配或者列表配置顺序可以根据切片类型而变化。在I切片的情况下，作为参考画面列表配置的示例，可以通过增加当前画面(当前(t))的优先级来使用更小的索引(例如，诸如idx＝0，1，2)。另外，通过使用二值化方法(固定长度二值化方法、一元截断型二值化方法、截断型二值化方法等)可以减少在编码图像时使用的比特量，所述二值化方法使用对应参考画面列表的可用参考画面的数量作为最大值。

另外，在P或B切片的情况下，当通过在当前画面中执行块匹配来选择当前块的参考画面作为预测候选的概率被确定为低于通过使用其他参考画面来选择预测候选的概率时，通过降低在当前画面中执行块匹配的优先级并使用更高索引(例如，诸如idx＝C、C-1)，编码图像时的比特量可以通过使用各种二值化方法来减少，所述二值化方法使用对应参考画面列表的可用参考画面的数量作为最大值。

在以上示例中，可以以与参考画面列表配置的示例中描述的相同或修改的方法来配置当前画面的优先级的设置。另外，根据切片类型(例如，I切片)，可以通过不配置参考画面列表来省略参考画面的信息。例如，可以通过使用传统的帧间预测来生成预测块，但是帧间预测信息可以由排除了参考画面信息的帧间预测模式下的运动信息来表示。

可以根据切片类型来确定是否支持在当前画面中执行块匹配的方法。例如，可以将该方法设置为在I切片中支持当前块中的块匹配，但在P切片或B切片中不支持。对其他示例的修改也是可能的。

另外，是否支持在当前画面中执行块匹配的方法可以以画面单元、切片单元、瓦片单元等来确定，或者可以根据GOP内的位置、时间层信息(时间ID)等来确定。设置信息可以在编码的同时被传送，或者可以以序列单元、画面单元、切片单元等从编码器被传送到解码器。

另外，虽然与以上相关的设置信息或语法出现在更高级别单元中，并且与设置相关的操作被打开，并且与以上相同的设置信息或语法出现在更低级别单元中，但是更低级别单元的设置信息可以具有比更高级单元的设置信息更高的优先级。例如，当在序列单元、画面单元和切片单元中处理相同或相似的设置信息时，画面单元可以具有比序列单元的优先级更高的优先级，并且切片单元可以具有比画面单元的优先级更高的优先级。

图9是用于示出在根据本发明的实施例的图像编码方法中的帧内预测的示例图。

参考图9，根据本实施例的帧内预测方法可以包括参考样本填充、参考样本滤波、帧内预测和边界滤波的一系列步骤。

参考像素填充可以是参考像素配置的示例，参考像素滤波可以由参考像素滤波单元执行，帧内预测可以包括生成预测块并且编码预测模式，并且边界滤波可以是后处理滤波的示例。

换句话说，在本实施例的图像编码方法中执行的帧内预测可以包括配置参考像素、对参考像素进行滤波、生成预测块、对预测模式进行编码、以及后处理滤波。根据例如块尺寸、块形式、块位置、预测模式、预测方法、量化参数等可以省略以上步骤中的一个或一部分。可替代地，可以添加其他步骤，或者可以按照与上述顺序不同的顺序改变步骤。

上述配置参考像素、对参考像素进行滤波、生成预测块、对预测模式进行编码、以及后处理滤波可以以由连接到存储软件模块的存储器的处理器执行的形式来实现。因此，在下面的描述中，为了便于描述，作为由实现每个步骤的软件模块和执行步骤的处理器的组合所生成的执行其功能的功能单元或者配置单元或两者，参考像素配置单元、参考像素滤波单元、预测块生成单元、预测模式编码单元和后处理滤波单元中的每一个被称为每个步骤的执行单元。

更详细地描述每个配置，参考像素配置单元配置将被用于通过执行参考像素填充来预测当前块的参考像素。当参考像素不存在或不可用时，参考像素填充可用于通过复制最接近可用像素的像素的像素值来填充参考像素。当复制像素值时，可以使用重建画面缓冲器或解码画面缓冲器(DPB)。

换句话说，帧内预测通过使用在当前画面之前已被编码的块的参考像素来执行预测。为此，在参考像素的配置中，可以主要使用当前块的邻居块的邻居像素作为参考像素，换句话说，可以主要使用左侧、左上、左下、上侧和右上侧块作为参考像素。

然而，用于参考像素的邻居块的候选组是根据对块的编码顺序的光栅扫描或z扫描获得的示例。当根据诸如反向z扫描的编码顺序扫描方法获得邻居块的候选组时，除了以上侧块之外，右侧、右下和下侧块的邻居像素可以被用作参考像素。

另外，根据实施方式，根据帧内预测的每个步骤的配置，除了邻居像素之外，附加像素可以被替换，或者可以与传统参考像素结合使用。

另外，当通过帧内预测模式中的方向模式执行预测时，可以通过执行线性内插通过使用整数单元的参考像素来生成参考像素。通过使用存在于整数单元的位置处的参考像素来执行预测的模式包括诸如垂直方向、水平方向、45度和135度的多个模式。对于以上预测模式，生成实数的参考像素可能不是需要的。

在具有除了以上预测模式之外的其它方向的预测模式中内插的参考像素可以具有诸如1/2、1/4、1/8、1/16、1/32和1/64的1/2的指数幂的内插精度，或者可以具有1/2的倍数的精度。

这是因为由于可以根据所支持的预测模式的数量或预测模式的预测方向来确定内插精度。对于画面、切片、瓦片和块，可以支持恒定的内插精度。可替代地，可以根据块尺寸、块形式、所支持模式的预测方向等来支持自适应内插精度。在此，可以将模式的预测方向呈现为基于特定线(例如坐标平面上的正<+>x轴)的由模式指示的方向的倾斜信息或角度信息。

作为内插方法，可以通过使用邻居整数像素来执行线性内插。然而，也可以支持其他内插方法。对于内插，可以支持至少一个滤波器类型和若干抽头，例如，6抽头维纳滤波器、8抽头卡尔曼滤波器。可以根据块尺寸、预测方向等来确定执行哪种内插。另外，对其的信息可以以序列单元、画面单元、切片单元、块单元等来传送。

参考像素滤波单元可以在配置参考像素之后对参考像素执行滤波，从而减少编码时生成的劣化并提高预测效率。参考像素滤波单元可以根据块尺寸、块形式和预测模式隐式地或显式地确定滤波器类型以及是否应用滤波。换句话说，当应用抽头滤波器时，可以根据滤波器类型不同地确定滤波器系数。例如，可以使用诸如[1，2，1]/4和[1，6，1]/8的3抽头滤波器。

另外，参考像素滤波单元可以通过确定是否发送附加比特来确定是否应用滤波。例如，在隐式的情况下，参考像素滤波单元可以根据邻居参考块中的像素的特征(分布、标准偏差等)来确定是否应用滤波。

另外，参考像素滤波单元可以在相关标志满足诸如残差系数、帧内预测模式等的预设的隐藏条件时确定是否应用滤波。抽头的数量可以被设置，例如，为诸如[1，2，1]/4的小块(blk)的3抽头，以及为诸如[2，3，6，3，2]/16的大块(blk)的5抽头。可以通过是否执行滤波、是否执行一次滤波、是否执行两次滤波来确定应用次数的数量。

另外，参考像素滤波单元可以基本上对最接近当前块的邻居参考像素应用滤波。除了最接近的邻居参考像素之外，参考像素滤波单元可以考虑将滤波应用于附加的参考像素。例如，当替换最接近的邻居参考像素时，可以将滤波应用于附加参考像素，或者可以通过组合最接近邻居参考像素与附加参考像素来应用滤波。

可以恒定地或自适应地应用滤波。这可以根据当前块的尺寸或邻居块的尺寸、当前块或邻居的编码模式、当前块和邻居块的块边界特征(例如，边界是编码单元的边界还是变换单元边界的边界等)、当前块或邻居块的预测模式或方向、当前块或相邻块的预测方法、量化参数中的至少一个，或根据其组合来确定。

对其的确定可以在编码器/解码器中被相同地设置(隐式的)，或者可以通过考虑编码成本来确定(显式的)。基本上应用的滤波器是低通滤波器，并且可以通过以上因素来确定抽头的数量、滤波器系数、是否编码滤波器标志、滤波器应用次数的数量等。另外，对其的信息可以以序列单元、画面单元、切片单元和块单元来设置，并且可以将其传送到解码器。

当执行帧内预测时，预测块生成单元可以通过使用使用参考像素的外插方法、诸如使用参考像素平均值的内插方法(DC模式)、和平面模式、或者复制参考像素的方法来生成预测块。

在复制参考像素的方法中，可以通过复制单个参考像素来生成至少一个预测像素，或者可以通过复制至少一个参考像素来生成至少一个预测像素。复制的参考像素的数量可以等于或小于复制的预测像素的数量。

另外，根据预测方法，预测方法可以被分类为方向预测方法和非方向预测方法。具体而言，方向预测方法分类为线性方向方法和弯曲方向方法。线性方向方法使用外插方法，并通过使用位于预测方向线上的参考像素来生成预测块的像素。弯曲方向方法使用外插方法，并通过使用位于预测方向线上的参考像素来生成预测块的像素。然而，考虑到块的详细方向(例如，边缘)，可以改变像素单元的部分预测方向。在本实施例的图像编码和解码方法中，线性方向方法主要被描述为方向预测模式。

另外，在方向预测方法中，相邻预测模式之间的间隔可以是均匀的或不均匀的，并且这可以根据块尺寸或形式来确定。例如，当通过块分区单元将当前块划分成具有M×N尺寸的块，并且M等于N时，预测模式之间的间隔可以是均匀的，并且当M不等于N时，预测模式之间的间隔可能是不均匀的。

作为另一示例，当M大于N时，在垂直方向模式中，可以在接近垂直模式(90度)的预测模式之间设置精确的间隔，并且可以在远离垂直模式的预测模式之间分配宽的间隔。当N大于M时，在水平方向模式中，可以在接近水平模式(180度)的预测模式之间设置精确的间隔，并且可以在远离水平模式的预测模式之间分配宽的间隔。

以上的示例不限于以上情况，并且可以包括条件彼此相反的情况，并且其他情况的示例也可以被修改。在此，可以基于表示每个模式的方向的数值来计算预测模式之间的间隔。预测模式的方向可以在方向的倾斜信息或角度信息中量化。

另外，除了以上方法之外，可以通过使用空间相关性来包括其他方法来生成预测块。例如，可以生成使用诸如使用当前画面作为参考画面的运动搜索和补偿的帧间预测的参考块作为预测块。

在生成预测块时，可以根据以上预测方法通过使用参考像素来生成预测块。换句话说，可以通过使用诸如根据以上预测方法的对传统帧内预测的外推、内插、复制和平均等的方向预测或非方向预测方法来生成预测块，并且预测块可以通过使用帧间预测方法或通过使用其他附加方法来生成。

帧内预测方法在编码器/解码器的相同设置下可以被支持，并且可以根据切片类型、块尺寸、块形式来确定。可以根据所描述的预测方法中的至少一个或者根据其组合来支持帧内预测方法。帧内预测模式可以根据所支持的预测方法来配置。可以根据预测方法、切片类型、块尺寸、块形式等确定所支持的帧内预测模式的数量。对其的信息可以以序列单元、画面单元、切片单元、块单元等来设置和传送。

预测模式的编码可以将在根据每个预测模式的编码成本方面优化的模式确定为当前块的预测模式。

在一个实施例中，为了减少预测模式的比特量，预测模式编码单元可以使用至少一个邻居块的模式来预测当前块的模式。具有与当前块的模式相同的更高概率的模式(most_probable_mode，MPM)可以被包括在候选组中。邻居块的模式可以被包括在以上候选组中。例如，当前块的左上、左下、上侧、右上侧块的预测模式可以被包括在以上候选组中。

预测模式的候选组可以根据邻居块的位置、邻居块的优先级、划分块中的优先级、邻居块的尺寸或形式、预设特定模式、以及亮度块的预测模式(在色度块的情况下)中的至少一个或者根据其组合来配置。对其的信息可以以序列单元、画面单元、切片单元、块单元等来传送。

例如，当与当前块相邻的块被划分为至少两个块时，可以在编码器/解码器的相同的设置下确定两个被划分的块中的哪一个块的模式将被包括在当前块的模式预测候选中。

另外，例如，当当前块的邻居块当中的左侧块(M×M)通过块分区单元的四叉树划分被配置有三个划分块，使得左侧块包括从上到下方向的M/2×M/2、M/4×M/4和M/4×M/4块时，基于块尺寸，M/2×M/2块的预测模式可以被包括作为当前块的模式预测候选。

作为另一示例，当当前块的邻居块的上侧块(N×N)通过块分区单元的二叉树划分被配置有三个划分块，使得上侧块包括从左到右方向的N/4×N、N/4×N和N/2×N块时，根据预设顺序(从左到右分配优先级)，左侧的第一N/4×N块的预测模式被包括作为当前块的模式预测候选。

作为另一示例，当当前块的邻居块的预测模式是方向预测模式时，与对应模式(以上模式的方向的倾斜信息或角度信息)相邻的预测模式可以被包括在当前块的模式预测候选组中。

另外，可根据邻居块的预测模式配置或其组合来优先地包括预设模式(平面、DC、垂直、水平等)。另外，可以优选地包括邻居块的预测模式中具有高出现频率的预测模式。以上优先级可以意指被包括在当前块的模式预测候选组中的概率，以及在以上候选组配置中被分配有更高优先级或者索引的概率(换句话说，意指在二值化过程中被分配更少比特的概率)。

作为另一示例，当当前块的模式预测候选组内的模式的最大数量是k，左侧块被配置为具有比当前块的垂直长度更短的垂直长度的m个块，以及上侧块被配置为具有比当前块的水平长度更上的水平长度的n个块时，当邻居块的划分块的和(m+n)大于k时根据预设顺序(从左到右，从上到下)填充候选组。当邻居块的划分块的和(m+n)大于最大数量k时，邻居块(左侧块和上侧块)的预测模式以及除了邻居块之外的其它邻居块(例如，左下、左上、右上等)的块的预测模式可以被包括在当前块的模式预测候选组中。以上示例不限于以上情况，而是可以包括条件彼此相反的情况，并且其他情况的示例也是可能的。

因此，用于预测当前块的模式的候选块不限于特定位置的块。可以使用位于左侧、左上、左下、上侧和右上块中的至少一个的块的预测模式信息。考虑到作为上述示例的各种特征，当前块的预测模式可以组成候选组。

预测模式编码单元可以将预测模式分类为具有与当前块的模式相同的高概率的模式候选组(在本示例中被称为第一候选组)和另外的模式候选组(在本示例中被称为第二候选组)。可以根据当前块的预测模式属于的两个候选组中的哪一个来改变预测模式编码过程。

所有的预测模式可以通过对第一候选组的预测模式和第二候选组的预测模式求和来配置。可以根据切片类型、块尺寸和块形式中的至少一个或者根据其组合来确定第一候选组的预测模式的数量和第二候选组的预测模式的数量。根据候选组，可以应用相同的二值化方法或不同的二值化方法。

例如，可以将固定长度二值化方法应用于第一候选组，并且可以将一元截断型二值化方法应用于第二候选组。在以上描述中，使用两个候选组作为示例。候选组可以被扩展到具有与当前块的模式相同的高概率的第一模式候选组、具有与当前块的模式恒等的高概率的第二模式候选组、以及另外的模式候选组等，并且其变型也是可能的。

考虑与当前块和邻居块的边界相邻的参考像素与相邻当前块内的像素之间的相关性高，由后处理滤波单元执行的后处理滤波可以将先前生成的预测块的几个预测像素替换为通过对与边界相邻的至少一个参考像素和至少一个预测像素执行滤波而生成的值。可替代地，后处理滤波单元也可以将预测像素替换为通过将与块的边界相邻的参考像素之间的特征定量值(例如，像素值之间的差、倾斜信息等)应用于滤波而生成的值。除了以上方法之外，也可以向其添加具有相似目的的其他方法(通过使用参考像素来校正预测块的几个预测像素)。

在后处理滤波单元中，可以隐式地或显式地确定滤波器类型以及是否应用滤波。可以在编码器/解码器中设置参考像素、当前像素的位置和数量、以及在处理后滤波单元中使用的所应用的预测模式的类型。与以上相关的信息可以以序列单元、画面单元、切片单元等为单位传送。

另外，在后处理滤波中，可以在生成预测块之后执行诸如边界滤波的附加后处理。另外，考虑到参考块的像素的特征，可以对当前块执行与以上边界滤波相似的后处理滤波。通过对通过执行变换/量化而获得的残差信号、和在获得残差信号之后对其的逆过程，以及预测信号进行求和来重建当前块。

最后，通过使用以上过程来选择或获得预测块。与以上有关的信息可以是预测模式的信息，并且可以被传送到变换单元210，使得在获得预测块之后对残差信号进行编码。

图10是用于示出在根据本发明的实施例的图像编码方法中的P切片或B切片中的预测原理的示例图。图11是用于示出在图10的图像编码方法中执行的内插的示例图。

参考10，根据本实施例的图像编码方法可以包括运动估计步骤(运动估计模块)和内插步骤。可以将在运动估计步骤中生成的运动向量、参考画面索引以及参考方向的信息传送到内插步骤。在运动估计和内插中，可以使用存储在重建画面缓冲器(解码画面缓冲器，DPB)中的值。

换句话说，图像编码设备可以执行运动估计以从先前编码的画面中找到与当前块相似的块。另外，为了执行比实数单元更精确的预测，图像编码设备可以执行参考画面的内插。最后，图像编码设备可以通过预测因子(预测器)获得预测块。与以上有关的信息可以是运动向量、参考画面索引(或参考索引)、参考方向等。然后，图像编码设备可以对残差信号进行编码。

在本实施例中，由于帧内预测是在P切片或B切片中执行的，所以图像编码方法可以以支持帧间预测和帧内预测的图11的组合方法来实现。

如图11所示，根据本实施例的图像编码方法可以包括：参考样本填充、参考像素滤波、帧内预测、边界滤波、运动估计和内插。

在图像编码设备中，当在当前画面中支持块匹配时，I切片中的预测方法可以以图11所示的配置而不是图9所示的配置来实现。换句话说，图像编码设备可以使用I切片中的预测模式以及在P切片或B切片中生成的诸如运动向量、参考画面索引、参考方向等的信息以生成预测块。然而，由于参考画面是当前画面，因此可以有一些信息可以被省略。在一个实施例中，当参考画面是当前画面时，可以省略参考画面索引和参考方向。

另外，在图像编码设备中，当应用内插时，由于图像的特征，也就是说，由于计算机图形引起的图像的人造特征，块匹配可能不需要被执行直到实数单元，因此是否执行块匹配可以在编码器中设置，并且可以在序列单元、画面单元、切片单元等中设置。

例如，图像编码设备可以根据编码器的设置对用于帧间预测的参考画面不执行内插。各种设置是可用的，诸如当在当前画面中执行块匹配时执行内插等。换句话说，在本实施例的图像编码设备中，可以设置是否执行参考画面的内插。在此，可以确定是否执行组成参考画面列表的全部或部分参考画面的内插。

在一个实施例中，图像编码设备可以在由于图像具有其中存在参考块的人造特征，所以块匹配不需要直到实数单元时对一些块不执行内插，并且图像编码设备可以在由于图像是自然图像，所以块匹配需要直到实数单元时执行内插。

另外，在图像编码设备中，可以设置是否将块匹配应用于以块单元执行内插的参考画面。例如，当组合自然图像和人造图像时，可以对参考画面执行内插。当通过搜索人造图像的一部分来获得最优的运动向量时，可以以预先确定的单元(在此为整数单元)表示运动向量。另外，选择性地，当通过搜索自然图像的一部分来获得最优的运动向量时，可以以另一预先确定的单元(在此是1/4单元)表示运动向量。

参考图12，curr_pic_BM_enabled_flag可以表示指示在当前画面中是否允许块匹配的标志，并且可以以序列单元和画面单元来定义和传送。在此，通过在当前画面中执行块匹配来生成预测块可以意指通过帧间预测进行操作的情况。另外，可以假设作为不对残差信号进行编码的帧间方法的cu_skip_flag是在除I切片之外的P切片或B切片中支持的标志。在此，当curr_pic_BM_enabled_flag为ON时，在I切片中，可以在帧间预测模式中支持块匹配(BM)。

在根据本实施例的图像编码方法中，当通过在当前画面中执行块匹配来生成预测块时，可以支持跳过，并且除了块匹配之外，还可以支持对其他帧间方法的跳过。另外，根据条件，在I切片中可以不支持跳过。可以根据编码器的设置来确定是否支持跳过。

在一个实施例中，当在I切片中支持跳过时，通过使用if(cu_skip_flag)的特定标志，可以通过执行块匹配而不是与作为预测单元的prediction_unit()相关联地对残差信号进行编码来将预测块直接重建为重建块。另外，图像编码设备可以将通过在当前画面中执行块匹配来使用预测块的方法分类为帧间预测方法，并且通过使用为pred_mode_flag的特定标志来区分分类的方法。

另外，根据本实施例的图像编码设备可以在pred_mode_flag为0时将预测模式设置为帧间预测模式(MODE_INTER)，并且在pred_mode_flag为1时将其设置为帧内预测模式(MODE_INTRA)。以上方法可以与传统的帧内方法类似。为了与传统结构区分，可以将其分类为I切片中的帧间方法或帧内方法。换句话说，本实施例的图像编码设备可以不使用I切片中的时间相关性，而是使用时间相关性的结构。part_mode意指在编码单元中划分的块的块尺寸和块形式的信息。

下面提供在本实施例中使用的一些语法的示例。

序列参数中的sps_curr_pic_ref_enabled_flag的语法可以是指示是否使用IBC的标志。

画面参数中的pps_curr_pic_ref_enabled_flag的语法可以是指示是否在画面单元中使用IBC的标志。

另外，根据pps_curr_pic_ref_enabled_flag的语法的ON/OFF，确定是否增加当前画面的NumPicTotalCurr。

当配置参考画面列表0时，根据pps_curr_pic_ref_enabled_flag，可以确定是否将当前画面包括在参考画面中。

当配置参考画面列表1时，根据pps_curr_pic_ref_enabled_flag，可以确定是否添加当前画面的参考画面列表。

根据以上配置，根据以上标志，可以确定在帧间预测期间是否将当前画面包括在参考画面列表中。

参考图13，当通过在当前画面中执行块匹配来生成预测块时，根据本实施例的图像编码方法可以支持诸如2N×2N、2N×N、N×2N和N×Nm的对称划分，或者诸如nL×2N、nR×2N、2N×nU和2N×nD的不对称划分。

图14是用于示出帧间预测支持2Nx2N和NxN作为图9的帧内预测的示例图。块的各种尺寸和形式可以根据块分区单元的划分方法来确定。

参考图14，根据本实施例的图像编码方法可以支持2N×2N和N×N块作为在传统帧内预测中使用的预测块形式。这是示出了通过使用四叉树划分方法或根据预定义的预先确定的块候选组的划分方法，块分区单元支持正方形形式的示例。另外，在帧内预测中，可以通过将矩形形式添加到二叉树划分方法或预定义的预先确定的块候选组来支持另一块形式。对其的设置可以在编码器中执行。

另外，在编码器中，可以设置在帧内预测期间对当前画面执行块匹配(ref_idx＝curr)时是否应用跳过(skip)、是否对传统帧内预测应用跳过、以及是否要将新的帧内预测应用于具有另一(其他)划分形式的预测块(参考图13)。对其的信息可以以序列单元、画面单元、切片单元等来传送。

减法器205(参考图2)可以通过从要被编码的当前块的像素值中减去由预测单元200生成的预测块的像素值，并且通过推导像素差值来生成残差块。

变换单元210(参考图2)从减法器205接收作为当前块与通过帧内预测或帧间预测生成的预测块之间的差值的残差块，并且将接收到的残差块变换到频域。残差块的每个像素通过变换过程被变换为变换块的变换系数。变换块的尺寸和形式可以等于或小于编码单元的尺寸和形式。另外，变换块的尺寸和形式可以等于或小于预测单元的尺寸和形式。图像编码设备可以通过对多个预测单元进行分组来执行变换。

变换块的尺寸或形式可以由块分区单元确定，并且可以根据块划分来支持变换为正方形形式或矩形形式。与编码器/解码器中支持的变换相关的设置(支持的变换块的尺寸和形式)可以影响块划分的操作。

每个变换块的尺寸和形式可以根据对于变换块的尺寸和形式的每个候选的编码成本来确定，并且诸如每个确定的变换块的图像数据的划分信息、以及每个确定的变换块的尺寸和形式等可以被编码。

变换可以通过一维变换矩阵来执行。例如，每个变换矩阵可以自适应地用在离散余弦变换(discrete cosine transform，DCT)单元、离散正弦变换(discrete sinetransform，DST)单元、水平单元和垂直单元中。可以例如基于块尺寸、块形式、块类型(亮度/色度)、编码模式、预测模式信息、量化参数、邻居块的编码信息等来确定自适应使用。

例如，在帧内预测的情况下，当预测模式是水平方向时，可以在垂直方向上使用基于DCT的变换矩阵，并且可以在水平方向上使用基于DST的变换矩阵。另外，当预测模式是垂直方向时，可以在水平方向上使用基于DCT的变换矩阵，并且可以在垂直方向上使用基于DST的变换矩阵。

变换矩阵不限于以上描述。对其的信息可以通过使用隐式或显式的方法确定，并且可以根据块尺寸、块形式、编码模式、预测模式、量化参数、邻居块的编码信息中的至少一个或根据其组合来确定。信息可以以序列单元、画面单元、切片单元、块单元等来传送。

在此，当使用显式方法并且包括至少两个变换矩阵作为用于水平和垂直方向的候选组时，可以传送哪个变换矩阵用于每个方向的信息。可替代地，当用于各个水平和垂直方向的两个变换矩阵被分组成一对时，并且至少两对被包括在候选组中时，可以传送哪些变换矩阵用于水平和垂直方向的信息。

另外，考虑到图像的特征，可以省略变换的整个或部分。例如，可以省略水平和垂直分量中的任何一个或两者的变换。当帧内预测或帧间预测没有很好地执行，使得在当前块和预测块之间生成较大差异时，换句话说，当残差分量大并且执行变换时，在这样的情况下当执行编码时损失可以变大。变换的省略可以根据编码模式、预测模式、块尺寸、块形式、块类型(亮度/色度)、量化参数、邻居块的编码信息中的至少一个或根据其组合来确定。根据以上条件，可以通过使用隐式或显式方法来表示变换的省略。对其的信息可以以序列单元、画面单元、切片单元等为单位传送。

量化单元215(参考图2)对变换的残差分量执行量化。量化参数可以以块为单元确定，并且量化参数可以以序列单元、画面单元、切片单元、块单元等来设置。

在一个实施例中，量化单元215可通过使用从诸如左侧、左上、上侧、右上和左下块的当前块的邻居块中导出的一个或至少两个量化参数来预测当前量化参数。

另外，当不存在从邻居块预测的量化参数时，换句话说，当块位于画面、切片等的边界处时，量化单元215可以输出或传送与以序列单元、画面单元、切片单元等传送的基本参数的差值。当存在从邻居块预测的量化参数时，可以通过使用对应块的量化参数来传送差值。

其中导出量化参数的块的优先级可以是预设的，或者可以以序列单元、画面单元、切片单元等来传送。可以通过使用静区均匀阈值量化(dead zone uniform thresholdquantization，DZUTQ)方法、量化加权矩阵方法或从其修改的方法来量化残差块。因此，可以包括至少一种量化方法作为候选，并且该方法可以基于编码模式、预测模式信息等来确定。

例如，在量化单元215中，可以设置是否将量化加权矩阵应用于帧间编码单元和帧内编码单元等。另外，可以根据帧内预测模式应用不同的量化加权矩阵。假设量化加权矩阵具有M×N尺寸并且块具有与量化块的尺寸等同的尺寸，则可以将量化系数不同地应用于每个频率分量的每个位置。另外，量化单元215可以从各种传统量化方法中选择一个，并且量化单元215可以在相同设置下在编码器/解码器中使用。对其的信息可以以序列单元、画面单元、切片单元等来传送。

同时，图2和图3中所示的去量化单元220和315以及逆变换单元225和320可以通过反向地执行以上变换单元210和量化单元215的过程来实现。换句话说，去量化单元220可以对在量化单元215中生成的量化变换系数执行去量化，并且逆变换单元225可以通过对去量化的变换系数进行逆变换来生成重建的残差块。

在图2和3中所示的加法器230和324可以通过将由预测单元生成的预测块的像素值添加到重建的残差块的像素值来生成重建块。重建块可以被存储在解码画面缓冲器240和335中，并被提供给预测单元和滤波单元。

滤波单元235和330可以将诸如去块滤波器、采样自适应偏移(sample adaptiveoffset，SAO)和自适应环路滤波器(adaptive poop filter，ALP)的环路内滤波器应用于重建块。去块滤波器可以对重建块执行滤波，以去除在编码和解码时在块边界中生成的失真。SAO是滤波过程，其针对残差块以像素单元重建原始图像和重建图像之间的偏移差异。ALF可以执行滤波以最小化预测块与重建块之间的差异。ALF可以基于通过去块滤波器重建的块与当前块之间的比较值来执行滤波。

熵编码单元245可以对通过量化单元215量化的变换系数进行熵编码。例如，熵编码单元245可以执行诸如上下文自适应可变长度编码(context adaptive variablelength coding，CAVLC)、上下文自适应二进制运算编码(context adaptive binaryarithmetic coding，CABAC)、基于语法的上下文自适应二进制运算编码(syntax-basedcontext-adaptive binary arithmetic coding，SBAC)、概率区间划分熵(probabilityinterval partitioning entropy，PIPE)编码和其他编码方法的方法。

在熵编码单元245中，其中量化系数被编码的比特序列以及用于解码比特序列的各种种类的信息可以被包括在编码数据中。编码数据可以包括编码的块形式、量化系数和其中量化系数被编码的比特序列以及预测所需的信息等。在量化系数的情况下，二维量化系数可以被扫描到一维。量化系数根据图像特征可以具有不同的分布。特别地，在帧内预测的情况下，由于系数分布可以根据预测模式具有特定分布，因此可以不同地设置扫描方法。

另外，可根据要被编码的块的尺寸来不同地设置熵编码单元245。可以将诸如锯齿形图案、对角线图案、光栅图案等的各种图案中的至少一个设置为扫描图案或者其候选。扫描图案可以通过编码模式、预测模式信息等来确定，或者可以在相同设置下在编码器和解码器中使用。对其的信息可以以序列单元、画面单元、切片单元等来传送。

输入到熵编码单元245的量化的块(在下文中，量化块)可以具有等于或小于变换块的尺寸的尺寸。另外，量化块可以被划分为至少两个子块。当量化块被划分时，其的划分块中的扫描图案可被设置为与原始量化块的扫描图案等同或不同。

例如，当以锯齿形扫描图案扫描原始量化块时，可以将锯齿形扫描图案应用于所有子块。可替代地，锯齿形扫描图案可以被应用于位于包括DC分量的块的左上侧的子块，并且对角线扫描图案可以被应用于剩余块。对其的确定根据编码模式、预测模式信息等执行。

另外，在熵编码单元245中，扫描图案的开始位置基本上从左上位置开始。然而，根据图像特征，开始位置可以在右上位置、右下位置或左下位置。选择至少两个候选组中的哪一个的信息可以以序列单元、画面单元、切片单元等来传送。作为编码方法，可以使用熵编码方法，但是其不限于此。

同时，图2和3所示的去量化单元220的去量化和逆变换单元225的逆变换可以通过反向地配置量化单元215的量化和变换单元210的变换，以及通过组合基本滤波单元235和330来实现。

接下来，将在下面简要描述可以在本发明的图像编码设备中使用的内插。

为了通过执行块匹配来执行更精确的预测，以比整数单元更精确的实数单元的分辨率来执行内插。对于以上内插，可以使用基于离散余弦变换的内插滤波器(DCT-IF)方法。对于高效率视频编码(HEVC)中的内插，使用DCT-IF，例如，通过生成以整数之间的1/2和1/4单元像素来内插参考画面，并且通过对其进行参考通过执行块匹配来生成预测块。

表1

像素位置	滤波器系数(fi)
		0	0，0，0，64，0，0，0，0
1/4	-1，4，-10，58，17，-5，1，0
		1/2	-1，4，-11，40，40，-11，4，-1
3/4	0，1，-5，17，58，-10，4，-1

表2

像素位置	滤波器系数(fi)
		0	0，64，0，0
1/8	-2，58，10，-2
		1/4	-4，54，16，-2
3/8	-6，46，28，-4
		1/2	-4，36，36，-4
5/8	-4，28，46，-6
		3/4	-2，16，54，-4
7/8	-2，10，58，-2

表1和表2分别示出了在亮度分量和色度分量中使用的滤波器系数，对于亮度分量使用8抽头的DCT-IF滤波器，并且对于色度分量使用4抽头的DCT-IF滤波器。对于色度分量，可以根据颜色格式应用不同的滤波器。在YCbCr的4：2：0的情况下，可以应用表2中所示的滤波器。在4：4：4的情况下，可以应用表1中所示的滤波器或其他滤波器，而不是表2中的滤波器。在4：2：2的情况下，可以应用表2的水平的1D 4抽头滤波器和表1的垂直的1D 8抽头滤波器。

图15是用于示出在根据本发明实施例的图像解码方法中对图像的a、b、和c处的位置(假设为x)存在的像素应用一维水平滤波器的过程的视图。

如图15所示，对于位于第一像素(G)和与第一像素相邻的第二像素(H)之间的a、b和c的位置(假设为x)的子像素，可以应用1D水平滤波器。这可以表示为下面的公式。

x＝(f1*E+f2*F+f3*G+f4*H+f5*I+f6*J+32)/64

然后，对于位于d、h和n的位置(假设为y)的子像素，可以应用1D垂直滤波器。这可以表示为下面的公式。

y＝(f1*A+f2*C+f3*G+f4*M+f5*R+f6*T+32)/64

对于位于中心的子像素f、g、i、j、k、p、q和r，可以应用2D可分离滤波器。例如，可以通过对子像素a和位于垂直方向的像素进行内插并且通过使用内插的像素来对子像素e进行内插。然后，当在像素G和像素H之间内插子像素a时，执行1D水平滤波。然后，子像素e的值可以通过对通过1D水平滤波获得的子像素执行1D垂直滤波来获得。对于色度信号，可以执行相似的操作。

以上描述是内插的一部分。除了DCT-IF滤波器之外，还可以使用其他滤波器。滤波器类型和抽头的数量可以不同地应用于每个实数单元。例如，对于1/2单元，可以使用8抽头卡尔曼滤波器，对于1/4单元，可以使用6抽头维纳滤波器，并且对于1/8单元，可以使用2抽头的线性滤波器。滤波器系数可以通过使用诸如DCT-IF的固定系数或通过计算滤波器系数来编码。如上所述，对于画面可以使用单个内插滤波器，或者根据图像特性可以对每个区域使用不同的内插滤波器。可替代地，可以生成对其应用了多个内插滤波器的至少两个参考画面，并且可以选择参考画面中的一个。

根据诸如参考画面类型、时间层、参考画面的状态(例如，是否是当前画面)等的编码信息，可以应用不同的滤波器。上述信息可以以序列单元、画面单元，切片单元等被设置并且传送。

在详细描述可以在根据本实施例的图像编码方法中使用的运动估计、运动补偿和运动预测的改进方法之前，其的基本含义被定义如下。

在预测要被编码的当前块的运动时，运动估计指的是将图像帧划分为小块并且估计该小块从已经在时间上之前或之后被编码的帧(参考帧)的哪些块中被移动的过程。换句话说，运动估计可以是当对要压缩的当前块进行编码时找到最靠近目标块的块的过程。基于块的运动估计可以是估计视频对象或图像处理单元块(宏块)已经在时间上移动到哪个位置的过程。

运动补偿意指，为了编码当前图像，在通过使用先前被编码的参考图像的至少一部分区域来预测当前图像的运动估计期间，基于最优的预测块的运动信息(运动向量、参考画面索引)来生成当前块的预测块的过程。换句话说，运动补偿可以是要被编码的当前块与被发现为最接近当前块的参考块之间的差异，并且涉及生成错误块的过程。

运动预测意指当针对运动补偿执行编码时寻找运动向量的过程。跳过、时间预测、空间预测等被用于运动预测。跳过意指当图像的运动是恒定的使得在图像编码设备中预测的图像块的尺寸为0，或者当残差足够小以至可忽略不计时，省略对应图像块的编码。时间预测可以主要用于帧间预测，并且空间预测或时间预测可以主要用于帧内预测。

与帧间预测相关的信息可以包括用于区分参考画面列表方向(一个方向(L0和L1)、两个方向)的信息、区分参考画面列表内的参考画面的索引、运动向量等的信息。由于使用时间相关性，所以当使用与当前块相邻的块的运动向量与当前块的运动向量相同或相似的特性时，可以有效地对运动信息进行编码。

图16是根据比较示例的当前块和邻居块的示例图。图17是根据另一比较示例的当前块和邻居块的示例图。图18是根据又一比较示例的当前块和邻居块的示例图。

如图16所示，图16示出了当前块(当前PU)和邻居块(A、B、C、D和E)的示例。在空间上与当前块相邻的块，换句话说，左上块(A)、上侧块(B)、右上块(C)、左侧块(D)和左下块(E)中的至少一个块可以被选择作为候选，并且可以使用其的信息。

另外，可以选择存在于与所选参考画面或其邻居块(G)中的当前块对应的位置处的参考块(同位PU)内的块F作为候选，并且可以使用其的信息。图16示出了两个候选，除了位于中央的与当前块等同的块(F)之外，左上、上侧、右上、左侧、左下、下侧、右下和右侧块中的至少一个可以被选择作为候选。在此，可以根据画面类型、当前块的尺寸以及与空间上相邻的候选块的相关性来确定包括在候选组中的块的位置。另外，所选择的参考画面可以意指与当前画面之前或之后存在的画面具有1的距离的画面。

另外，如图17和图18所示，可以实现根据当前块(当前PU)的尺寸和位置使用特定块的信息。预测单元(PU)可以被称为执行预测单元的预测的基本单元。

在本实施例的图像编码方法中，空间上和时间上相邻的块的区域可以如下延伸。

图19是在根据本发明的实施例的图像编码方法中可以使用的当前块和邻居块的示例图。

参考图19，根据本实施例的图像编码方法在选择运动信息的预测候选时，可以通过使用与当前块相邻的编码块、位于在参考图像中与当前块等同或相邻的坐标处的块(同位块)、或者不相邻但位于相同空间的块的运动信息来有效地选择运动信息的候选块。在此，不相邻但位于相同空间的块可以用作包括位于基于编码模式的信息、参考画面索引、预设坐标等确定的当前块与对应块之间的至少一个其他块的块的候选。

为了减少运动信息的量，图像编码方法可以通过使用运动向量复制(motionvector copy，MVC)或运动向量预测(motion vector prediction，MVP)来对运动信息进行编码。

运动向量复制是导出运动向量的方法，并且实际上使用运动向量预测值(运动向量预测器)而不是传送运动向量差或参考画面索引。以上特征与HEVC中的合并模式部分相似。合并模式组合空间上和时间上相邻块的运动向量。然而，在本实施例的运动向量复制中，运动向量被用于在空间上和时间上不相邻的块(例如，块H、I和J)。考虑到以上特征，运动向量复制与合并模式有着不同的概念，并且可以有比合并模式更高的概念。另外，运动向量预测的目标是在生成预测块时生成最小运动向量差。

运动向量复制，如图19所示，可以从各种候选组的块中导出参考方向、参考画面索引和运动向量预测值。可以通过从各个候选组中选择n个候选块来传送运动向量，并且对n个候选块中的最优块的索引信息进行编码。在此，当n为1时，运动向量复制可以根据预设准则使用具有最高优先级的块的运动信息。另外，当n为2时，考虑到编码成本，运动向量复制可以确定哪个对于每个候选组是最佳的。

上述的n的信息可以固定在编码器或解码器中，或者可以以序列单元、画面单元、切片单元等来传送。在一个实施例中，n是1还是2可以基于邻居块的信息来确定。在此，当从候选组的块获得的运动向量通过在其之间进行比较而与预设准则类似时，确定至少两个候选组的生成是无意义的，并且运动向量预测值可以通过计算平均值或中值(mvA，mvB，...，mvJ)被生成为固定值。当确定生成至少两个候选组不是无意义的时，可以通过使用至少两个候选组来生成最优的运动向量预测值。

运动向量预测可以类似于运动向量复制来执行。然而，优先级的准则可以与运动向量复制等同或不同。另外，候选块的数量n可以等同或不同。对其的信息可以在编码器或解码器或者两者中被固定，或者可以以序列单元、画面单元、切片单元等被传送。

可以根据当前画面类型、时间层信息(时间id)等的信息来确定设置是否参考候选组。可以通过被固定来使用对其的信息，或者可以以序列单元、画面单元、切片单元来传送对其的信息。在此，设置是否参考候选组可以包括，例如，使用空间上相邻的块(A、B、C、D和E)、使用空间上相邻的块(A、B、C、D和E)和时间上相邻的块(H、I和J)、或者使用空间上相邻的块(A、B、C、D和E)和空间上分离的块(F和G)。

接下来，将在下面描述“块匹配可被应用于当前画面”的设置。

首先，描述I画面的情况，例如，由于空间上相邻块可以具有最高优先级，并且剩余块可以被设置为候选组。在一个实施例中，对参考块的可用性检查可以按照E→D→C→B→A→H→I→J的顺序执行。可用性可以通过候选块的编码模式、运动信息、候选块的位置等来确定。运动信息可以包括运动向量、参考方向、参考画面索引等。

由于当前画面是I画面，因此当编码模式是本实施例的帧内预测(在下文中，INTER)时存在运动信息。因此，根据优先级，可以检查编码模式是否是INTER。例如，当n为3，并且E由INTER编码时，E被从候选组中排除，并且检查下一D。当D由INTER编码时，在当前画面中执行块匹配，使得D具有运动信息，并且基于运动信息将D添加到候选组。之后，剩余两个n。然后，图像编码设备可以再次检查优先级。当如上填充了3个候选时，停止生成候选组。

可用性不仅仅由编码模式来确定，并且可以由画面边界、切片边界、瓦片边界等来确定。在边界的情况下，可用性被检查为不可用。另外，当确定块与已经被填充的候选等同或相似时，从候选中排除对应的块，参考像素配置单元检查下一候选的可用性。

在此，INTER与传统的帧间预测(inter)不同。换句话说，本实施例的INTER模式可以使用帧间预测(inter)的结构，并且在当前画面中生成预测块，因此INTER模式不同于在参考画面中生成预测块的帧间预测。换句话说，在本实施例的编码模式中，可以通过分类为INTER模式和帧内(intra，与传统的intra等同)来应用在当前画面中执行块匹配的方法。

同时，首先填充的候选的可用性可以不被检查。可用性可根据情况进行检查。换句话说，当候选块的运动向量范围等于或大于预先确定的准则或者超过画面边界、切片边界、瓦片边界等时，可用性可以不被检查。

在下文中，在执行编码时，将参考各种实施例描述按照描述的E→D→C→B→A→H→I→J的顺序对参考块进行可用性检查(参考图19)，并且获得预先确定的数量(例如，n＝3)的候选块。

<实施例1>

E(未编码)→D→C→B→A→H→I→J：排除E

E(去除)→D(帧间)→C→B→A→H→I→J：包括D

E(去除)→D(包括)→C(帧间)→B→A→H→I→J：包括C

(在检查相似性之后，块C被确定为不同)

E(去除)→D(包括)→C(包括)→B(帧内)→A→H→I→J：排除B

E(去除)→D(包括)→C(包括)→B(去除)→A(帧间)→H→I→J：包括A(在相似性检查之后，块A被检查为不同)

如上可以选择三个块(D、C和A)。

<实施例2>

E(帧间)→D→C→B→A→H→I→J：包括E

E(包括)→D(帧间)→C→B→A→H→I→J：包括D

(在相似性检查之后，块D被检查为与当前块等同或不相似)。

E(包括)→D(包括)→C(帧间)→B→A→H→I→J：排除C

(在相似性检查之后，块C被检查为等同或相似)。

E(包括)→D(包括)→C(去除)→B(边界)→A→H→I→J：排除B

E(包括)→D(包括)→C(去除)→B(去除)→A(帧内)→H→I→J：排除A

E(包括)→D(包括)→C(去除)→B(去除)→A(去除)→H(帧内)→I→J：包括H(在相似性检查之后，块H被检查为不同。)

如上可以选择三个块(E、D和H)。

<实施例3>

E(帧内)→D→C→B→A→H→I→J：排除E

E(去除)→D(帧内)→C→B→A→H→I→J：排除D

E(去除)→D(去除)→C(帧内)→B→A→H→I→J：排除C

E(去除)→D(去除)→C(去除)→B(边界)→A→H→I→J：排除B

E(去除)→D(去除)→C(去除)→B(去除)→A(帧内)→H→I→J：排除A

E(去除)→D(去除)→C(去除)→B(去除)→A(去除)→H(帧内)→I→J：排除H

E(去除)→D(去除)→C(去除)→B(去除)→A(去除)→H(去除)→I(帧间)→J：包括I

E(v)→D(去除)→C(去除)→B(去除)→A(去除)→H(去除)→I(包括)→J(帧间)：包括J(在相似性检查之后，块J被检查为不同。)

E(去除)→D(去除)→C(去除)→B(去除)→A(去除)→H(去除)→I(包括)→J(包括)：包括(-a，0)

在八个参考块的以上可用性检查中，两个参考块被选择为候选块。为了填充若干(n＝3)候选块，可以添加预设的固定坐标(-a，0)作为候选。

<实施例4>

E(帧内)→D→C→B→A→H→I→J：排除E

排除D

排除C

排除B

包括A

排除H

排除I

排除J

包括(-a，0)

包括(0，-b)

由于在八个参考块的以上可用性检查中一个参考块(A)被选择为候选块，为了填充预设数量(n＝3)的候选块，预设的两个固定坐标(-a，0)和(0，-b)可以被添加作为候选。

下面将描述实施例3和实施例4。

在实施例3中，当在预设候选组中找不到n个候选时，可以添加具有固定坐标的固定候选作为运动向量候选。换句话说，在HEVC的帧间预测模式中，可以添加零向量。然而，当作为本发明在当前画面中执行块匹配时，由于(0，0)向量在当前画面中不存在，所以如实施例3添加预设的虚拟零向量(-a，0)。

另外，实施例4示出了当在添加一个虚拟零向量之后通过执行可用性检查，若干运动向量候选没有被填充时，可以将预设的另一虚拟零向量(0，-b)添加到候选组。在此，考虑到块的长度尺寸或宽度尺寸，可以不同地设置(-a，0)的a和(0，-b)的b。

另外，在以上描述中，通过执行可用性检查来排除参考块，可以将其设置为不执行可用性检查。在此，由于不需要传送关于哪一个必须被传送的信息，当n被假设为2时，可以根据预设的设置自动地确定是使用两个值的平均值还是使用两个值中的一个值。在此，可以省略使用这两个值中的哪一个的索引信息。换句话说，可以省略运动向量预测值的索引。

在以上描述中，通过将整个候选组配置在单个组中来执行可用性检查。本发明不限于此，可以通过将候选组划分为至少两个组、并且对每个候选组执行可用性检查来选择候选。在此，假设候选块的数量(n)是2，每个组的候选的最大数量可以是等同的，或者可以被独立地设置。在一个实施例中，如下面的实施例，可以设置组1_1的一个候选和组1_2的一个候选。另外，每个组的优先级可以独立地设置。另外，在对组1_1和组1_2执行可用性检查之后，当不满足运动向量候选的数量的准则时，为了填充运动向量候选的数量，可以应用组2。组2可以包括具有固定坐标的固定候选。

例如，以下面的顺序描述可用性检查的顺序或者组1_1、组1_2和组2的优先级顺序以及组区分准则。

组1_1＝{A，B，C，I，J}，(C→B→A→I→J)，基于当前块的上侧块

组1_2＝{D，E，H}，(E→D→H)，基于当前块的左侧和左下块

组2＝{固定候选}，(-a，0)→(0，-b)，(-a，0)

综上所述，本实施例的图像编码设备可以空间上搜索运动向量复制候选或运动向量预测候选，并且根据搜索到的候选的结果以预设的固定候选的顺序生成候选组。

在下文中，将分开描述运动向量复制(MVC)和运动向量预测(MVP)。这是因为，缩放过程的包括是不同的。

将在下面首先描述运动向量预测(MVP)。

在P画面或B画面的情况下

将通过将时间候选(F和G)添加到上述候选(A，B，C，D，E，F，G，H，I和J)来进行描述。在本实施例中，假设候选被空间上搜索、时间上搜索，并且通过配置组合列表被搜索，并且固定候选被搜索。以上操作按照状态顺序执行。

首先，确定候选的优先级，并根据优先级执行可用性检查。假设运动向量候选的数量(n)被设置为2，并且其优先级如括号中所指示。

例如，当进行空间上搜索时，可以将其分类为以下组。

组1_1＝{A，B，C，I，J}，(C→B→A→I→J)

组1_2＝{D，E，H}，(D→E→H)

在本示例中，两个组中的组1_1包括基于当前块的直接地上侧、左上和右上块，并且组1_2包括基于当前块的直接地相邻的左侧、非直接地相邻的左侧和左下块。

作为另一示例，运动向量的候选块可以通过分类为三个组进行空间上搜索。该三个组可以分类如下。

组1_1＝{A，B，C}，(C→B→A)

组1_2＝{D，E}，(D→E)

组1_3＝{H，I，J}，(J→I→H)

在本实施例中，在三个组中，组1_1包括基于当前块的直接地上侧相邻、左上、右上块，组1_2包括基于当前块的直接地相邻的左侧和直接地相邻左下块，并且组1_3包括与当前块具有至少一个块的距离的不相邻块。

作为另一示例，运动向量的候选块可以通过使用其他方法进行分类来在空间上搜索。这三个组可以分类如下。

组1_1＝{B}

组1_2＝{D}

组1_3＝{A，C，E}，(E→C→A)

在本示例中，在三个组中，组1_1包括位于基于当前块的垂直方向的块，组1_2包括位于基于当前块的水平方向的相邻块，并且组1_3包括基于当前块的剩余相邻块。

如上所述，在P画面或B画面中，由于存在诸如参考方向、参考画面等的各种种类的可参考信息，所以可以根据以上信息来设置候选组。基于当前块具有与当前块的参考画面不同的参考画面的候选块可以被包括在候选组中。可替代地，考虑当前块的参考画面与候选块的参考画面之间的时间距离(计数的画面，POC)，可以缩放对应块的向量并将其添加到候选组。另外，可以根据当前块的参考画面是哪个画面来添加缩放的候选组。另外，当当前块的参考画面与候选块的参考画面之间的时间距离超过预先确定的距离时，将缩放块从候选组中排除。可替代地，当距离等于或小于预先确定的距离时，可以将缩放块添加到候选组。

上述相似性检查是比较和确定新添加的运动向量与已经包括在预测候选组中的运动向量有多相似的过程。根据该定义，它可以当x、y分量完全匹配时被设置为真，或者当分量具有等于或小于预先确定的阈值范围的差时被设置为真。

图20是用于示出在当当前块的参考画面与候选块的参考画面之间的时间距离等于或大于预先确定的距离时从候选组中排除，并且当时间距离小于预先确定的距离时，根据距离执行缩放之后，包括在候选组中的根据本发明实施例的图像编码方法中的情况的示例图。图21是用于示出在当通过当前块的画面参考是与当前画面不同的画面时将当前画面添加到预测候选组的根据本发明实施例的图像编码方法中的情况的示例图。图22是用于示出在当由当前块参考的画面是当前画面时将当前画面添加到预测候选组的根据本发明实施例的图像编码方法中的情况的示例图。

在根据本实施例的图像编码方法中，可以从基于当前画面的时间(t)在预先确定的时间(t-1，t-2，t-3，t-4，和t-5)之前编码的参考画面(rf1，rf2，rf3，rf4和rf5)，以及从在当前画面的当前块之前编码的当前画面内的候选块中选择运动信息预测候选。

参考图20，根据本实施例的图像编码方法可以从在当前画面(当前(t))之前时间上编码的参考画面(rf1，rf2，rf3，rf4和rf5)中选择当前块的运动信息预测候选。

在一个实施例中，当通过参考第二参考画面(rf1)来对当前块(B_t)进行编码时，对于参考基于第二参考画面(rf1)具有时间距离等于或大于3的画面的左上块(A)，不允许缩放，使得对应的运动向量(mvA_x'，mvA_y')不被包括在候选组中。然而，由于基于(t-2)，块具有小于3的时间距离，所以剩余块的运动向量可以通过被缩放而被包括在候选组中。包括在候选组中的运动向量的子集如下。

MVS＝{(mvB_x'，mvB_y')，(mvC_x'，mvC_y')，(mvD_x'，mvD_y')，(mvE_x'，mvE_y')}

换句话说，是否将运动向量包括在候选组中的准则可以基于当前块所参考的画面，或者可以基于当前画面。因此，是否将运动向量添加到候选组可以通过画面之间的距离来确定，并且对其的信息，例如，作为准则的阈值或画面的信息可以通过序列、画面、切片等来传送。在图20中，实线示出各个块的运动向量，并且虚线示出对当前块所参考的画面适当缩放的块。以上特征可以表示为下面的公式1。

[公式1]

缩放因子＝(POCcurr-POCcurr_ref)/(POCcan-POCcan_ref)

在公式1中，POCcurr意指当前画面的POC，POCcurr_ref意指当前块所参考的画面的POC，POCcan意指候选块的POC，并且POCcan_ref意指候选块所参考的画面的POC。在此，候选块的POC可以表示当候选块是空间上相邻候选块时与当前画面等同的POC，并且可以表示当候选块是对应于帧内在时间上等同的位置的块(同位块)时与当前画面不同的POC。

例如，如图21所示，当当前块(B_t)和参考画面不同以使得执行缩放时，通过缩放对应的运动向量获得的运动向量，例如，{(mvA_x'，mvA_y')，(mvC_x'，mvC_y')、(mvD_x'，mvD_y')和(mvE_x'，mvE_y')}可以被包括在候选组中。不太可能如在HEVC中那样即使参考画面索引不同时，运动向量被包括在候选组中的通常情况下，以上特征表示根据哪个参考画面被用作参考画面可能会存在限制。

另外，如图21所示，当当前块(B_t)所参考的画面是与当前画面(t)不同的另一画面(t-1，t-2，t-3)时，也就是说，在通常帧间预测(Inter)的情况下，并且当前画面是与作为当前块(B_t)的当前画面不同的画面时，除了当候选组的画面指示当前画面(t)时，对应的运动向量{(mvA_x，mvA_y)，(mvC_x，mvC_y)，(mvD_x，mvD_y)，(mvE_x，mvE_y)}可以被包括在候选组中。

另外，如图22所示，当当前块(B_t)所参考的画面为当前画面(t)时，可将当前画面(t)内的运动向量{(mvB_x，vB_y)，(mvC_x，mvC_y)}添加到候选组。换句话说，当指示相同的参考画面时，也就是说，当通过比较参考画面索引来指示相同的画面时，可以将对应的运动向量添加到候选组。这是因为，由于在当前画面(t)中执行块匹配，所以不需要在参考另一画面的传统帧间预测(帧间)中使用的运动信息。另外，除了在当前画面(t)中执行块匹配之外，当参考画面索引如在H.264/AVC中彼此不同时，它可以通过从候选组中排除的方法来实现。

本实施例示出了参考画面指示当前画面的示例条件。然而，可以扩展到参考画面不指示当前画面的情况。例如，可以使用诸如“使用比由当前块指示的画面更远的画面的块被排除”的设置(set)。在图16中，由于时间距离比t-2更远，所以一些块(A、B和E)可以从候选组中被排除。

在本实施例中，尽管当前块和参考画面是不同的，但是参考画面可以通过执行缩放而被包括在候选组中。假设运动向量候选的数量(n)是2。下面的组1_1和组1_2示出当前块的参考画面不是当前画面的情况。

组1_1包括基于当前块的相邻块或不相邻但上侧块(A、B、C、I和J)，并且块的可用性检查的优先级如下所述。

优先级顺序：C→B→A→I→J→C_s→B_s→A_s→I_s→J_s

组1_2包括基于当前块的相邻或不相邻但左侧和左下块(D、E、H)，并且块的可用性检查的优先级如下所述。

优先级顺序：D→E→H→D_s→E_s→H_s

按照以上顺序，具有带有下标(s)的符号的块涉及已经被缩放的块。

同时，在本实施例的修改示例中，首先，以预先确定的优先级顺序对组1_1的一些块(A、B、C、I和J)或者对组1_2的一些块(D、E和H)执行可用性检查。然后，当即使块被帧间编码但是其参考画面与当前块的参考画面不同，确定块不可用时，根据候选块的参考画面与当前画面(t)的距离来缩放块，然后可以根据预先确定的优先级对经缩放的块(C_s、B_s、A_s、I_s、J_s、D_s、E_s和H_s)附加地执行可用性检查。根据以上可用性检查，图像编码设备可以确定两个候选，从每个组一个候选，并且使用候选组的最优的候选块的运动向量作为当前块的运动向量预测值。

同时，当甚至没有从单个组，例如，组1_1获得单个候选块时，可以从另一组1_2获得两个候选块。换句话说，当两个候选不是从空间上相邻块填充时，可以从时间候选组中获得候选块。

在一个实施例中，当当前块的参考画面是当前画面时，可以使用位于时间上相邻的参考画面内的等同位置处的块(共同定位块)以及通过缩放以上块而获得的块。以上块(G、F、G_s和F_s)可以具有以下优先级顺序(G→F→G_s→F_s)。

与处理空间上相邻的候选块相似，根据优先级来执行可用性检查。当候选块的画面与候选块的参考画面之间的距离不同于当前画面与当前块的参考画面之间的距离时，可以对已经被缩放的候选块执行可用性检查。当当前块的参考画面是当前画面时，不执行以上过程。

组合列表

当出现在参考画面列表(L0和L1)中的每个参考画面的运动信息存在时，通过对当前块执行双向预测来获得参考画面列表(L0和L1)。可用性检查根据预设的候选组优先级来执行。在此，首先检查由双向预测编码的候选。

当各个参考画面不同时，执行缩放。在先前获得的候选块中，当空间上和时间上执行搜索时，当通过双向预测获得的块被添加到候选组时，并且当块的数量没有超过最大候选数量时，通过单向预测编码的块被添加到初步候选组。双向预测的候选可以通过组合以上候选而获得。

[表3]

候选索引	L0	L1
			0	mvA₁,ref1	mvA₂，ref0
1	mvB₁',ref1	mvB₂',ref0
			2	(mvC,ref0)
3		(mvD,ref0)
			4		(mvE,ref0)

(a)

(b)

首先，假设当前块的双向预测的运动信息是从L0中的参考画面1和L1中的参考画面0中参考的。在表3(a)中，被包括为第一候选的块的运动信息是(mvA₁，ref1)和(mvA₂，ref0)，并且被包括为第二候选的块的运动信息是(mvB₁'，ref1)和(mvB₂'，ref0)。在此，撇号符号(')意指是缩放的向量。在完成空间和时间搜索之后，当候选的数量是2时，在此，假设n是5，则可以根据预设的优先级将在先前的过程中单向预测的块添加到初步候选。

在表3(a)中，候选没有被填充与最大候选数量一样多，因此可以通过组合通过使用为mvC、mvD和mvE的剩余运动向量来执行缩放而获得的单向候选来添加新的候选。

在表3(b)中，可以根据当前块的参考画面来缩放通过单向预测获得的块的每个运动信息。在此，已经描述了通过使用单向候选来配置新组合的示例。然而，可以通过使用已经添加的各个双向参考画面(L0和L1)的运动信息来配置新的组合。在此，以上配置不是针对单向预测执行的。另外，当当前块的参考画面是当前画面时，不执行以上配置。

固定候选

当具有最大n个候选(在本实施例中，假设n为2)的候选块未由以上过程配置时，可以添加具有预设固定坐标的固定候选。可以使用具有诸如(0，0)、(-a，0)、(-2*a，0)和(0，-b)的固定坐标的固定候选，并且可以根据候选的最大数量设置固定候选的数量。

固定坐标可以如上设置，或者可以通过由以上过程计算被包括在候选组中的至少两个运动向量的平均值、加权平均值、中值直到目前来设置固定候选。当n为5，并且三个候选{(mvA_x，mvA_y)、(mvB_x，mvB_y)、(mvC_x，mvC_y)}相加直到当前为止，剩余的两个候选可以根据优先级由固定候选添加，可以从包括具有预设优先级的固定候选的固定候选组中选择固定候选。固定候选组可以包括诸如{(mvA_x+mvB_x)/2、(mvA_y+mvB_y)/2)、((mvA_x+mvB_x+mvC_x)/3、(mvA_y+mvB_y+mvC_y)/3)、(中位数(mvA_x，mvB_x，mvC_x)，中位数(mvA_y，mvB_y，mvC_y))等的固定候选。

另外，根据当前块的参考画面可以不同地设置固定候选。例如，当当前画面是参考画面时，可以将固定候选设置为(-a，0)、(0，-b)、(-2*a，0)等。当当前画面不是参考画面时，可以将固定候选设置为(0，0)、(-a，0)、(平均(mvA_x，...)、平均(mvA_y，...))等。也可以在编码器或解码器中预设对其的信息，或者可以以序列单元、画面单元、切片单元等来传送对其的信息。

在下文中，将以示例来描述应用了固定候选的实施例。在以下实施例中，假设n为3。

<实施例1：n＝3>

当当前块的参考画面是当前画面，并且当前块(B_t)的参考画面是参考画面(rf1和rf0)时。表示参考画面和其他画面的rf0、rf1、rf2、rf3、rf4和rf5的数字0、1、2、3、4和5作为示例被应用于本实施例，并且没有指定任何含义。

(空间搜索：E→D→A→B→C→E_s→D_s→A_s→B_s→C_s)

E(帧间，rf0)→D→A→B→C→E_s→D_s→A_s→B_s→C_s：排出E(由于当前块的参考画面是当前画面)

E(去除)→D(帧间，rf2)→A→B→C→E_s→D_s→A_s→B_s→C_s：排除D

E(去除)→D(去除)→A(帧间，rf1)→B→C→E_s→D_s→A_s→B_s→C_s：包括A

E(去除)→D(去除)→A(包括)→B(帧间，rf1)→C→E_s→D_s→A_s→B_s→C_s：包括B(在相似性检查之后，被确定为不同)

E(去除)→D(去除)→A(包括)→B(包括)→C(帧内)→E_s→D_s→A_s→B_s→C_s：排除C

E(去除)→D(去除)→A(包括)→B(包括)→C(去除)→E_s→D_s→A_s→B_s→C_s：排除E_s(由于当前块的参考画面是当前画面，因此不需要缩放。)

E(去除)→D(去除)→A(包括)→B(包括)→C(去除)→E_s(去除)→D_s→A_s→B_s→C_s：包括D_s(检查之后，确定相似性为不同。另外，由于参考画面不同，所以在D中被排除。在此，由于已经被缩放，所以不需要与参考画面进行比较。)

<实施例2：n＝3>

当当前块的参考画面是当前画面，并且当前块的参考画面是单个参考画面(rf0)时。

(空间搜索：E→D→A→B→C→E_s→D_s→A_s→B_s→C_s)

E(帧间，rf1)→D→A→B→C→E_s→D_s→A_s→B_s→C_s：排除E

E(去除)→D(帧内)A→B→C→E_s→D_s→A_s→B_s→C_s：排除D

E(去除)→D(去除)→A(帧间，rf0)→B→C→E_s→D_s→A_s→B_s→C_s：包括A

E(去除)→D(去除)→A(包括)→B(帧间，rf0)→C→E_s→D_s→A_s→B_s→C_s：包括B(根据相似性检查的结果)

E(去除)→D(去除)→A(包括)→B(包括)→C(去除)→E_s→D_s→A_s→B_s→C_s：从E_s排除C_s

由于三个候选还没有被填充，所以可以应用固定的候选，或者可以检查诸如H、I、J等的附加候选组。

<实施例3：n＝3>

当当前块的参考画面不是当前画面时，当前块的参考画面是单个参考画面(rf1)，并且添加从候选组中排除具有与当前块的参考画面的距离等于或大于2的参考画面的条件。在此，当参考画面(rfx-1)的(t-x)的数量x意指距当前画面(t)的距离时，可以从(t-2)不支持缩放。

空间搜索：E→D→A→B→C→E_s→D_s→A_s→B_s→C_s

E(帧内)→D→A→B→C→E_s→D_s→A_s→B_s→C_s：排除E

E(去除)→D(帧间，rf2)→A→B→C→E_s→D_s→A_s→B_s→C_s：排除D

E(去除)→D(去除)→A(包括)→B(帧间，rf3)→C→E_s→D_s→A_s→B_s→C_s：排除B

E(去除)→D(去除)→A(包括)→B(去除)→C(帧间，rf2)→E_s→D_s→A_s→B_s→C_s：排除C

E(去除)→D(去除)→A(包括)→B(去除)→C(去除)→E_s(帧内)→D_s→A_s→B_s→C_s：排除E_s

E(去除)→D(去除)→A(包括)→B(去除)→C(去除)→E_s(去除)→D_s→A_s→B_s→C_s：包括D_s(相似性检查，使用缩放的运动向量)

E(去除)→D(去除)→A(包括)→B(去除)→C(去除)→E_s(去除)→D_s(包括)→A_s→B_s→C_s：排除A_s(已经包括在A中)

E(去除)→D(去除)→A(包括)→B(去除)→C(去除)→E_s(去除)→D_s(包括)→A_s(去除)→B_s→C_s：排除B_s(由于参考画面的数量等于或大于2)

E(去除)→D(去除)→A(包括)→B(去除)→C(去除)→E_s(去除)→D_s(包括)→A_s(去除)→B_s(去除)→C_s：包括C_s(相似性检查，使用缩放的运动向量)

<实施例4：n＝3>

当当前块的参考画面不是当前画面，并且当前画面是特定参考画面(rf1)时。

(空间搜索：通过空间搜索来选择两个运动向量候选)

(时间搜索：G→F→G_s→F_s)

G(帧内)→F→G_s→F_s：排除G

G(去除)→F(帧间，rf3)→G_s→F_s：排除F(在此，假设缩放因子不是1。换句话说，当前画面的当前块和参考画面之间的距离不同于同位块的画面与对应块的参考画面之间的距离)。

G(去除)→F(去除)→G_s→F_s：排除G_s(由于G是帧内)

G(去除)→F(去除)→G_s(去除)→F_s：包括F_s(检查之后，确定相似性为不同。在此，由于运动向量是缩放向量，所以不需要与参考画面进行比较)

在下文中，将详细描述运动向量复制(MVC)。

P画面或B画面的描述

在本实施例中，假设还包括时间候选(F和G)。候选组包括A、B、C、D、E、F、G、H、I和J。虽然没有确定搜索顺序，但是在此假设MVC候选是空间上搜索、时间上搜索，以及通过配置组合列表来搜索，然后添加固定候选。

换句话说，在上述部分中，类似于以上实施例，以任意定义的顺序执行搜索，而不是通过使用预设顺序来执行搜索。确定优先级顺序，根据优先级执行可用性检查。假设n为5，那么优先级如括号中所表示的。

在以下描述中，将描述与所描述的运动向量预测(MVP)不同的部分。可以继续以上描述来描述MVP，但是排除缩放描述的部分。对于空间候选，可以在缩放被省略的同时执行可用性检查。然而，与MVC相似，可以从候选组中排除参考画面类型、与当前画面或当前块的参考画面的距离等。

当存在组合列表时，用于双向预测的候选可以通过组合如下表4的到目前为止添加的候选来配置。

表4

候选索引	L0	L1
			0	mvA,ref0
1	mvB,ref1
			2		mvC,ref0
3
			4

(a)

候选索引	L0	L1
			0	mvA,ref0
1	mvB,ref1
			2		mvC,ref0
3	mvA,ref0	mvC,ref0
			4	mvB,ref1	mvC,ref0

(b)

如表4(a)所示，可以通过组合使用参考列表L0的候选和使用参考列表L1的候选来将新的候选添加到运动向量候选组。当没有填充预设数量的运动向量时，如表4(b)所示，可以通过组合L0旁边的候选和使用L1的候选来添加新的候选。

以下将作为示例描述上述运动向量候选选择方法。假设在这个示例中n为3。

<实施例5：n＝3>

当当前块的参考画面不是当前画面，当前块的参考画面ref是1时。(空间搜索：B→D→C→E→A→J→I→H)

B(帧间，rf3)→D→C→E→A→J→I→H：包括B

B(包括)→D(帧间，rf1)→C→E→A→J→I→H：包括D(相似性检查)

B(包括)→D(包括)→C(帧内)→E→A→J→I→H：排除C

B(包括)→D(包括)→C(去除)→E(帧间，rf0)→A→J→I→H：排除E

B(包括)→D(包括)→C(去除)→E(去除)→A(帧间，rf3)→J→I→H：包括A(相似性检查)

<实施例6：n＝3>

当前块的参考画面是当前画面的示例如下。

(空间搜索：B→D→C→E→A→J→I→H)

B(帧间，rf1)→D→C→E→A→J→I→H：排除B

B(去除)→D(帧内)→C→E→A→J→I→H：排除D

B(去除)→D(去除)→C(帧间，rf0)→E→A→J→I→H：包括C

B(去除)→D(去除)→C(包括)→E(帧间，rf0)→A→J→I→H：包括E(相似性检查)

B(去除)→D(去除)→C(包括)→E(包括)→A(帧间，rf2)→J→I→H：排除A

B(去除)→D(去除)→C(包括)→E(包括)→A(去除)→J(帧间，rf0)→I→H：包括J(相似性检查)

编码可以根据诸如MVP、MVC等的模式来执行，其如上找到最优的运动信息的候选。

在跳过模式的情况下，编码可以通过使用MVC来执行。换句话说，可以在处理跳过标志之后对用于最优的运动向量候选的信息进行编码。当候选的数量为1时，可以省略以上处理。编码可以通过对作为当前块与预测块之间的差值的残差分量执行变换和量化而不是单独编码运动向量差来执行。

在不是跳过模式的情况下，通过根据优先级顺序执行MVC来检查是否处理运动信息。当运动信息被处理时，可以对最优的运动向量的候选组的信息进行编码。当运动信息没有通过执行MVP被处理时，可以通过执行MVP来处理运动信息。在执行MVP时，可以对最优的运动向量候选的信息进行编码。在此，当候选的数量为1时，可以省略运动信息的处理。另外，可以对关于与当前块的运动向量、参考方向、参考画面索引等的差值的信息进行编码，可以获得残差分量，并且可以通过执行变换和量化来执行编码。

之后，将省略与编解码器相关的部分，诸如熵和后处理滤波，以避免与以上描述的冗余。

下面将简要描述在以上图像编码方法中使用的运动向量选择方法。

图23是根据本发明另一实施例的图像编码方法的流程图。

参考图23，在根据本实施例的图像编码方法中选择运动向量的方法基本上包括：配置空间运动向量候选的步骤S231；确定当前画面内是否存在当前块(blk)的参考画面的步骤S232；当当前画面内存在当前块(blk)的参考画面时(是，Y)，添加当前画面的空间运动向量候选的步骤S233。步骤S233涉及检查附加空间运动向量候选并且添加检查的空间运动向量候选。

换句话说，在本实施例中，将运动向量添加到候选组的方法包括：通过执行MVC或MVP来配置候选组中的空间上相邻块的运动向量，并在当前块的参考画面是当前画面时添加存在于同一当前画面中的块的运动信息。诸如图19的I、J和H的块可对应于以上情况。以上块可以是不直接地与当前块相邻但最近由INTER编码的块。以上块意指候选组由位于空间上不同于通过MVC、MVP等获得的块的块配置。因此，以上块可以通过使用“添加的”或“附加的”来表示。

当当前块的参考画面不是当前画面时，可以从时间上相邻画面的块中设置候选组。然后，通过配置组合列表，用于双向预测的候选可以通过到目前为止添加的候选的组合来配置。另外，根据当前画面的参考画面可以包括固定候选。另外，当当前画面是参考画面时，具有预设固定坐标的固定候选可被添加到运动向量的候选组。否则，具有(0，0)坐标的固定候选可以被包括在运动向量的候选组中。

同时，在步骤S232中，当当前画面内不存在当前块(blk)的参考画面时(否，N)，可以执行搜索时间运动向量候选并且添加搜索到的时间运动向量候选的步骤S234。

然后，在步骤S235中，执行运动向量选择方法的图像编码设备可以配置包括在步骤S231、S233和S234中的至少一个中配置的运动向量候选的组合列表候选。

然后，在步骤S236中图像编码设备检查当前画面是否是参考画面，并且在步骤S237中，当当前画面是参考画面，并且组合列表候选的数量小于预设运动向量候选的数量时，添加具有预设固定坐标的固定候选。

同时，在步骤S236中，当当前画面不是参考画面时，图像编码设备在步骤S238中将具有(0，0)坐标的固定候选添加到候选组。

当通过以上运动向量选择方法配置参考像素时，可以执行图9的参考像素滤波，但是不限于此。在一个实施例中，当通过运动向量选择方法配置参考像素，并且基于以上执行运动估计时，可以执行图15的内插。

图24是用于示出当运动向量精度以块单元变化的视图。图18是用于示出在根据本发明的实施例的图像编码方法中根据参考画面的内插精度确定块的运动向量精度的的情况的视图。

在图24中，假设每个画面的小括号内所指的数量，也就是说，(2)，是内插精度深度信息。换句话说，在图24中，包括当前画面(t)和参考画面(t-1，t-2和t-3)的画面的各自的内插精度是恒定的，但是以块为单位自适应地确定运动向量精度。在图25中，根据参考画面的内插精度确定运动向量精度。在图25中，内插精度的深度信息

可基于上述的“运动信息预测候选选择”或“运动向量候选选择”针对以上两个各个情况生成运动向量预测值。

在本实施例中，用于预测运动向量的候选的最大数量可以被设置为3。在此，候选块可以被限于当前块的左侧、上侧和右上侧块。候选块可以用空间上和时间上相邻的块以及空间上不相邻的块来设置。

参考26，根据本实施例的图像解码方法可以通过使用预测单元来配置运动信息预测候选组，并且利用当前块的运动向量来计算差分值。

更详细地描述，首先，在步骤S262中，可以根据当前块的运动向量的精度单元来改变属于候选组的块的运动向量。

然后，运动向量缩放的步骤S264可以根据当前块的运动向量与参考画面之间的距离，也就是说，当前画面与参考画面之间的距离以及属于候选组的块的画面和对应块的参考画面之间的距离来执行。

然后，在步骤S266中，预测单元可以基于在单个画面中缩放的运动向量来获得当前块与对应块之间的运动向量差。

将通过使用以上步骤来详细描述获得运动向量差的方法。

图27～图32是用于示出在根据本发明的实施例的图像编码方法中当以块为单位确定内插精度时在各种情况下计算运动向量差的过程的视图。

当以画面为单位确定内插精度时

如图27所示，假设与当前块相邻的三个块是用于对运动信息进行编码的候选块。在此，假设当前画面(t)的内插精度是整数(Int)，第一参考画面(t-1)的内插精度是1/4，第二参考画面(t-2)的内插精度为1/4，并且第三参考画面(t-3)的内插精度为1/2。

在图27中，(A1)的块可以根据每个运动向量精度被表示为(A2)的块。

当设置指示与当前块的参考画面不同的参考画面的块通过考虑参考画面之间的候选执行缩放可被用作候选时，考虑(A3)的候选块的参考画面与当前块的参考画面之间的距离可对(A2)的块进行缩放。不缩放相同参考画面的块。当执行缩放时，当以上距离小于当前画面与参考画面之间的距离时，可以选择并应用四舍五入、向上取整和向下取整中的至少一个。然后，考虑到诸如(A4)的块的当前块的运动向量精度，可以调整候选块的运动向量。在本实施例中，假设右上块被选择为最优的候选。

在图27中，基于位于更低中心的当前块，由于右上块的精度是1/2单元，为了将单元改变为1/4单元，将单元乘以2。然而，在可替代的情况下，例如，当精度从1/8单元调整到1/4单元时，可以从候选组中选择最优的候选(MVcan)，并且可以计算与当前块的运动向量(MVx)的差值。然后可以对计算的差值进行编码。这可以表示为下面的公式。

MVD＝MVx-MVcan→(2/4，1/4)

在上述实施例中，首先执行缩放，然后调整精度，但是不限于此。可以首先调整精度，然后可以执行缩放。

假设以块为单位确定内插精度，当前块的参考画面和候选块的参考画面是等同的。

如图28所示，与当前块相邻的三个块是用于对运动信息进行编码的候选块。在此，假设参考画面的所有内插精度都是1/8。(B1)的块可以根据每个运动向量精度被表示为(B2)的块。由于当前块的参考画面和候选块的参考画面是等同的，所以省略了缩放。

然后，可以根据当前块的运动向量精度将(B2)的候选块的相应运动向量调整为(B3)的块。

然后，从候选组中选择最优的候选(MVcan)，计算与当前块的运动向量(MVx)的差值，并且对计算的差值进行编码。在图28中，基于位于更低中心的当前块，假设其上侧块被选择为最优的候选。

MVD＝MVx-MVcan→(1/2，-1/2)

在当以块为单位确定内插精度的情况下，并且当前块的参考画面和候选块的参考画面是不同的。

在本实施例中，假设参考画面的内插精度是等同的。在一个实施例中，参考画面的内插精度可以是1/8。

参考图29，(C1)的块可以根据每个运动向量精度被表示为(C2)的块。另外，由于当前块的参考画面和参考画面的参考画面是不同的，因此可以通过执行缩放来获得(C3)的块。

然后，在块(C3)中，考虑到当前块的运动向量精度，可以将候选块的运动向量调整为(C4)的块。然后，可以从候选组中选择最优的候选(MVcan)，可以计算当前块的运动向量(MVx)之间的差值(MVD)，并且可以对计算的差值(MVD)进行编码。在图29中，基于位于更低中心的当前块，假设其右上块被选择为最优的候选。这可以表示为下面的公式。

MVD＝MVx-MVcan→(1/4，3/4)

在以画面为单位确定内插精度的情况下，并且包括时间上定位的候选块。

在本实施例中，假设参考画面的内插精度是等同的。在一个实施例中，假设参考画面的内插精度是1/2。如图30所示，(D1)的块可以根据每个运动向量精度被表示为(D2)的块。在使用当前画面作为参考画面的块的情况下，由于它不是通常的运动预测，所以可以从候选组中排除(无效)对应的块。

然后，由于当前块的参考画面和候选块的参考画面是不同的，因此可以通过执行缩放来获得(D3)的块。在此，假设同位块的画面是特定参考画面(t-1)。

然后，在(D3)的块中，考虑到位于更低中心的当前块的运动向量精度，可以将候选块的运动向量调整为(D4)的块。然后，可以从候选组中选择最优的候选(MVcan)，可以计算与当前块的运动向量(MVx)的差值(MVD)，并且可以对计算的差值(MVD)进行编码。在本实施例中，假设选择同位块作为最优的候选。以上配置可以表示为下面的公式。

MVD＝MVx-MVcan→(2/4，2/4)

在以块为单位确定内插精度的情况下，并且当前块参考当前画面。

在本实施例中，假设参考画面的内插精度是等同的。在一个实施例中，参考画面的内插精度可以是1/4。

如图31所示，(E1)的块可以根据每个运动向量精度被表示为(E2)的块。在使用位于更低中心的当前画面的块被选择为参考画面的情况下，由于它不是通常的运动预测，并且在当前画面中执行块匹配，所以选择执行相同过程的上侧块作为候选，并且从候选组中排除(无效)剩余的块。

由于当前块的参考画面和候选块的参考画面是等同的，因此不执行缩放。然后，考虑到当前块的运动向量精度，可以将候选块的运动向量调整为(E3)的块。

然后，可以从候选组中选择最优的候选(MVcan)，可以计算与当前块的运动向量(MVx)的差值(MVD)，并且可以对计算的差值(MVD)进行编码。在本实施例中，假设选择上侧块作为最优的候选。以上配置可以表示为下面的公式。

MVD＝MVx-MVcan→(-5/2，-1/2)

然后，根据本实施例的图像编码和解码方法可以使用与要被编码的当前块相邻的参考块的信息。与以上有关，如图32所示，可以基于当前块使用邻居块的编码模式及其信息。

在图32中，上侧块(E5)是当前画面是I画面时的块，通过在当前画面中执行块匹配来生成预测块来执行编码。

在本实施例的帧间预测中，本实施例的方法应用于基于传统外推的方法。本实施例的帧间预测可以被表示为INTRA，并且当在当前画面中执行块匹配时可以包括Inter。

更详细地描述，在Inter的情况下，可以使用诸如运动向量、参考画面等的信息。当邻居块的编码模式和当前块的编码模式等同时，当按照规定的顺序对当前块进行编码时，可以使用对应块(E5、E6和E7)的信息。另外，对于不是直接地相邻的块，当通过检查在(E5)的块中的块的编码模式而将块添加到候选块，并且编码模式是帧间时，附加地检查参考画面(ref)，并且可以使用ref为t的块来编码当前块。当根据参考画面的内插精度确定运动向量精度时，例如，当当前画面的内插精度为整数单元时，Inter编码的块的运动向量可以表示为整数单元。

(E6)示出当前画面是P或B画面的情况。可以使用与要被编码的当前块相邻的参考块的信息。当根据参考画面的内插精度确定运动向量精度时，可以根据各个参考画面的内插精度来设置各个块的运动向量精度。

(E7)示出当前画面是P或B画面，并且当前画面被包括(使用)为参考画面的情况。可以根据参考块的内插精度来确定每个块的运动向量精度。

(E8)示出了使用同位块的信息来对当前块进行编码的情况。可以根据每个参考画面的内插精度来确定每个块的运动向量精度。

然后，当编码和解码时，可以执行编码运动信息。然而，在本实施例中，通过自适应地确定运动向量差值的精度来执行编码。换句话说，当参考画面的内插精度是恒定时，块之间的运动向量精度是恒定的。换句话说，可以根据参考画面的内插精度来确定运动向量精度。

在本实施例中，各种候选块中的最优的候选块的运动向量是(c，d)，并且当前块的运动向量是(c，d)。为了便于描述，假设参考画面是等同的。

如图33的(F1)所示，假设参考画面的内插精度是1/4。计算运动向量差(c-a，d-b)并将其传送到解码器。为此，在本实施例中，(F1)的块可以根据每个运动向量精度被表示为(F2)的块。由于参考画面是等同的，并且各个块的运动向量精度是等同的，所以(F2)的块的运动向量可以直接用于编码。

换句话说，如(F2)所示，当作为当前块的运动向量的(c，d)是(21/4，10/4)并且最优的候选块是左侧块时，作为左侧块的运动向量的(a，b)是(13/4，6/4)，因此它们之间的差值(c-d，d-b)变为(8/4，4/4)。由于运动向量精度是1/4单元，所以可以通过如下面的表5使用8和4以二值索引(bin索引)处理精度。然而，当传送运动向量差值的精度信息时，可以以短比特索引处理精度。

表

当传送当前块的运动向量差具有整数单元的精度的信息时，通过使用2和1可以使用比传统更短的bin索引，由此传统的bin索引的8和4被改变为整数单元。当使用各种二值化方法时，例如，当使用一元二值化方法时，为了传送以上差分值(8/4，4/4)，必须传送111111110+11110比特。然而，当传送对应于(2/1，1/1)，也就是说110+10的差分值和比特的精度信息时，通过使用更短的比特可以提高编码效率。

当运动向量差的精度用如图34所示的方法表示时，在以上情况下，可以传送11(整数)的信息和差分值(2/1，1/1)的信息。

在以上实施例中，针对x和y分量两者应用运动向量差精度。然而，可以独立地应用运动向量差精度。

在图35中，(G1)可以根据每个运动向量精度表示为(G2)。当参考画面是等同的，并且块的对应运动向量精度是等同的时，可以使用(G2)来编码运动向量。

当假设最优的候选块是当前块的左侧块时，对其的差分值可以被表示为(8/4，5/4)。当将运动向量差的精度分别应用于如以上所表示的最优的候选块的x和y时，可以将x表示为整数单元是2/1，并且可以将y表示为1/4单元是5/4。

当运动向量差的精度被表示为图34的表中的下面的树时，可以传送对x的11(整数)的信息，对y的0(1/4)的信息以及对每个差分值的2/1和5/4的信息(参考图36)。

换句话说，在以上情况下，如图36所示，可以从最大精度(1/4)到最小精度(整数)设置差分值精度的范围作为候选组。然而，本发明不限于以上配置，并且本发明可以配置各种候选组。它可以配置为包括最大精度(例如1/8)到最小精度(整数)中的至少两个单元的精度。

参考图37，首先，当从具有更低时间标识符(temporalID)的画面顺序地执行编码时，具有更低ID的I画面和P画面被分别编码，然后具有更高ID的B(2)被编码。假设具有等于或高于其自身的ID的画面未被参考，那么具有更低ID的画面可以被选择为参考画面。

首先，基于图37进行描述，用作参考画面的画面的内插精度可以通过是恒定的(例如，整数、1/2、1/4、1/8中的任一个)而被使用。可替代地，根据实施方式，可以不同地设置用作参考画面的画面的内插精度。例如，在I画面具有ID为0情况下，当I画面被用作某画面的参考画面时，通过计算画面之间的距离，I画面可以具有1、4和8的距离(在画面B4、B2和P1的情况下)。在P画面的情况下，P画面可以具有4、2和1(B2、B6和B8)的距离。在B2具有ID为1的情况下，B2可以具有2、1、1和2(B3，B5、B7和B6)的距离。在B3具有ID为2的情况下，可以具有距离1和1(B4和B5)的距离。

每个参考画面的内插精度可以基于与参考画面的平均距离来确定。换句话说，由于运动差低，所以对于更近的参考画面需要精确的内插。换句话说，对于与参考画面具有短平均距离的B3或B6，通过增加内插精度(例如，1/8)来执行内插。当与参考画面的距离等于或大于该值时，内插精度可以被降低。例如，内插精度可以被降低到1/4(参考下面的表6的情况1)。可替代地，当对于距离远的参考画面需要精确的内插精度时，可以应用与以上示例相反的方式。

另外，可以对被多次参考的画面执行更精确的内插。例如，可以通过增加B2的内插精度来执行内插。可替代地，可以对被更少参考的画面应用其他内插精度(参考下面的表6的情况2)。

另外，可以根据时间层来不同地应用内插精度。例如，对于具有ID为0的画面可以执行更精确的内插，并且对于具有其他ID的画面可以降低精度或者反之亦然(参考下面的表6的情况3)。

表6

显示	0	1	2	3	4	5	6	7	8
										编码	0	4	3	5	2	7	6	8	1
情况1	1/4	-	1/8	-	1/4	-	1/8	-	1/4
										情况2	1/4	-	1/4	-	1/8	-	1/4	-	1/4
情况3	1/8	-	1/4	-	1/4	-	1/4	-	1/8

因此，可以通过以画面单元设置内插精度来执行帧间预测。对其的信息可以在编码器或解码器中预定义，或者可以以序列单元、画面单元等来传送。

参考图38，图38示出了在当前画面中执行块匹配的示例。换句话说，图38示出了I0、P1和B2分别参考自身的情况。

在本实施例中，画面可以不参考具有高于其自身的ID的画面，并参考具有等于或低于其自身的ID的画面。实际上，尽管在图38中没有示出，但可以被包括在当具有2或3的temporalID的当前画面被选择为参考画面的情况中。以上情况意指可以根据temporalID来选择当前画面。除了时间标识符(temporalID)之外，可以根据画面类型来确定参考画面。

图38的情况与图37的情况相似，但是图38的情况示出了当对当前画面进行编码时当前画面被选择为参考画面的情况下的内插精度，以及通常情况的内插精度可以是等同的。另外，图38示出当当前画面被选择为参考画面时可以确定不同的内插精度。换句话说，单个画面可以具有至少两个内插精度。

到目前为止，已经描述了确定参考画面的内插精度，继续确定运动向量的精度的方法。在以下描述中，将描述确定运动向量的精度而不考虑内插精度的方法。

画面的内插精度可以是恒定的(例如，1/4)，但是可以以要被编码的画面的块单元设置块的运动向量精度。预设的运动向量精度被用作基本设置。在本实施例中，可以意指可以支持至少两个候选。例如，当参考画面的内插精度是1/4时，参考参考画面的块的运动向量通常必须被表示为1/4单元。然而，在本实施例中，运动向量可以被表示为通常的1/4单元，附加地被表示为1/2单元，或者附加地被表示为整数单元。

表7

表7示出了根据具有预先确定的常数的运动向量的精度的匹配。例如，为了表示1，精度可以对应于整数单元中的1、1/2单元中的2、1/4单元中的4。为了表示2，精度可以对应于整数单元的2、1/2单元的4和1/4单元中的8。

当基于参考特定画面的块的当前精度将精度增加2倍时，整数1变成1/2，并且1/2变成1/4，因此为了表示以上情况，数字变得加倍。当通过使用诸如一元二值化方法、截断型莱斯二值化方法、k阶指数哥伦布二值化方法等的各种二值化方法来表示以上情况时，当精度增加时表示其的比特的数量增加。

当内插精度增加时，例如从1/2增加到1/4，但是在更低的精度单元(例如，整数或1/2)中发现运动向量，由于比特数量增加，所以编码效率可能会降低。为了防止这种情况，在本实施例中，以块单元表示从中找到运动向量的精度单元的信息，并且在编码器或解码器中或两者中使用对其的信息。在此，可以有效地执行编码和解码。

例如，当通过使用一元二值化方法来对运动向量进行编码，并且向量的x分量是8/4并且向量的y分量是4/4时，需要二值化比特的111111110+11110来表示其。然而，根据本实施例，以上二值化比特可以以1/2单元(4/2，2/2)表示。在此，以上二值化可以表示为11110+110。另外，以上二值化可以以整数单元(2，1)表示。在此，以上二值化可以表示为110+10。

另外，传送在对运动向量进行编码时使用哪个精度单元的信息(例如，1/4单元中的0，1/2单元中的10以及整数单元中的11)，并且在以上情况下，以上二值化可以表示为11(精度单元)+110+10，因此可以使用比1/4单元的111111110+11110更少的比特。

因此，可以利用本实施例的运动向量的编码结果来传送/接收以整数单元表示对应块的运动向量精度的信息，因此可以减少传送/接收的编码比特。

另外，作为实施例，当运动向量的x和y分量是3/4和1/4时，由于分量不是以整数或1/2单元表示，所以该分量可以表示为1/4单元的1110+10。在此，根据本实施例的编码和解码可以通过传送以1/4单元表示对应块的运动向量精度的信息来执行。因此，以画面为单元的内插精度可以是恒定的，而以块为单元自适应地确定运动向量的精度。以块为单元的运动向量的2最大精度与参考画面的内插精度是等同的。

另外，在本实施例中支持的精确组可以被可变地配置。例如，假设参考画面的内插精度是1/8，则可以使用以上的整数、1/2、1/4和1/8单元的精度。可替代地，可以配置和使用诸如(1/2，1/4，1/8)、(1/4，1/8)、(整数，1/2，1/8)、(1/4，1/8)等的至少两个精度。

精度组可以设置为画面单元、切片单元等，或者可以考虑编码成本来确定。可以以序列单元、画面单元、切片单元等来传送对其的信息。另外，解码器可以选择所传送的集合中的一个，并且在确定运动向量精度时自适应地使用该集合。

另外，在本实施例中，可以通过使用固定长度二值化方法、一元二值化方法等根据配置的候选组的数量来表示用于选择精度的索引。将短比特分配给基于参考画面的精度，具有最高出现频率或具有最高出现频率的高机会的单元，否则，可以分配长比特。

例如，假设1/8单元具有最高出现频率，则可以分配0到1/8单元、10到1/4单元、110到1/2单元和111到整数单元。换句话说，最短的比特被分配给1/8单元，最长的比特被分配给整数单元。

另外，当1/4单元具有最高出现频率时，最短的比特被分配给1/4单元。另外，根据实施方式，固定长度可以被分配而不管出现频率如何。例如，固定长度可以根据统计出现频率来分配，例如，可以分配00到整数单元、01到1/2单元、10到1/4单元、和11到1/8单元。

另外，在本实施例中，当参考画面是特定画面时，也就是说，当参考画面是当前画面时，可以将高优先级分配给特定精度。当参考画面是当前画面时，可以将高优先级分配给整数单元。最短的比特可以被分配给基本的1/8单元，并且接下来的短比特被分配给整数单元。

换句话说，可以分配0到1/8单元、10到整数单元、110到1/4单元、以及11到1/2单元。另外，根据实施方式，最短的比特可以被分配给整数单元。例如，可以分配0到整数单元、10到1/8单元、110到1/4单元、以及111到1/2单元。

由于在包括屏幕内容的图像的情况下，对于实数单元中的对应部分很少执行运动搜索，而对于实数单元中的自然图像部分则大多执行运动搜索，所以可以如上分配比特。

换句话说，当图像被配置为包括图像的一部分是诸如计算机捕捉图像的屏幕内容区域和图像的其他部分是自然图像区域的两个区域的组合时，可以有效地应用本实施例的图像编码和解码方法。

另外，在本实施例中，可以使用用于预测当前块的运动信息的参考块的信息。在此，所使用的参考块可以使用第一空间上相邻块的信息。第一块可以包括基于当前块的左上、上侧、右上、左下块中的至少一个。

另外，可以使用存在于与所选参考画面中的当前块对应的位置处的参考块(同位块)的信息。除了同位块以外，参考块还可以基于位于当前块的等同位置的参考块(中心块)选择左上、上侧、右上、左侧、左下、下侧、右下和右侧块中的至少一个作为候选。在此，包括在候选组中的位置可以根据诸如画面类型、当前块的尺寸、模式、运动向量、参考方向等的编码相关参数、空间上相邻候选块之间的相关性等来确定。然后，所选择的参考画面可以意指与当前画面之前或之后存在的画面具有1的距离的画面。

另外，在本实施例中，可以使用与当前块不相邻但位于相同空间处的块的信息。该块可以包括基于编码模式、参考画面索引、预设坐标等的信息在所确定的当前块与对应块之间包括至少一个块的块作为候选。预设坐标可以被设置为具有与当前块的左上坐标的当前块的长度和宽度的预先确定的距离。

例如，假设参考左侧块和上侧块来表示当前块的运动向量的精度，并且使用截断型一元二值化方法来表示运动向量的精度。比特配置可以是0-10-110-111。当左侧块的运动向量的精度以1/2单元确定，并且上侧块的运动向量的精度以1/2单元确定，则当前块的运动向量可以以1/2单元表示具有很大变化是确定的，并且可以通过在各种单元之间分配最短比特来对精度相关信息进行二进制化。各种单元可以包括在设备中支持的整数、1/2、1/4、1/8单元，并且可以基本上被设置为1/8单元。

作为另一实施例，当左侧块的精度是1/4单元，并且上侧块的精度是1/8单元时，相对短的比特被分配给1/4单元和1/8单元，并且相对长的比特被分配给剩余的其他单元。在此，另外，当包括作为基本单元的1/8单元时，最短比特可以被分配给1/8单元。另外，在不包括基本单元的情况下，诸如左侧块的精度为1/4单元，上侧块的精度为1/2单元时，最短比特可以被分配给固定位置，使得可以首先使用固定位置。例如，当左侧块具有最高优先级时，最短比特可以被分配给1/4单元。

另外，在本实施例中，可以使用候选块的运动信息。除了运动向量之外，运动信息可以包括参考画面索引、参考方向等。在一个实施例中，当左侧块的精度是1/4单元并且上侧块的精度是整数单元时，并且当左侧块具有t-1作为参考画面，上侧具有t-2作为参考画面，并且当前块是t-2时，最高优先级被分配给具有相同参考画面的块，最短比特可以被分配给作为对应块的运动向量的精度的整数单元。

以上实施例简要地表示为以下的1)至4)。

1)(1/2，1/2)1/2-1/8-1/4-整数

2)(1/4，1/8)1/8-1/4-1/2-整数

3)(1/4，1/2)1/4-1/2-1/8-整数

4)(1/4，整数)整数-1/4-1/8-整数

另外，在本实施例中，可以根据当前画面类型的信息等以块单元自适应地或恒定地支持运动向量精度，而在画面单元中内插精度固定。

如图38所示，当当前画面是参考画面时，可以自适应地使用运动向量精度。可替代地，为了在诸如B4、B5、B7、B9的参考画面之间的距离短时找到更精确的运动，以块为单元的运动向量精度可以被支持到对应画面，并且恒定地运动向量精度可以被支持到剩余画面。

换句话说，当时间层信息(Temporal ID)为3时，针对对应的ID执行选择整数、1/2和1/4单元中的一个并支持所选择的单元，并且执行针对剩余ID使用和使用1/4单元。可替代地，在具有更远离参考画面的距离的P画面的情况下，假设存在具有精确运动的区域和具有非精确运动的区域，以块为单元自适应地确定运动向量精度。在其他画面的情况下，可以支持恒定的运动向量精度。

另外，根据实施方式，可以支持配置有不同精度的至少两个集合。例如，可以使用诸如(1/2，1/4)、(整数，1/2，1/4)、(1/2，1/4，1/8)、(整数，1/4)的精度候选中的至少两个(参考表8)。

表8

当以画面为单元设置内插精度时。

参考图39，可以通过在当前画面中执行块匹配来生成预测块。I画面被添加到参考画面(N)。表示为I*(0)意指当对当前画面进行编码时将当前画面选择为参考画面。

当以画面为单元设置内插精度时，其对应于允许直到整数单元的精度的情况，因此不执行内插。图像编码和解码设备可以参考参考画面列表0(L0)。

另外，除了根据画面类型、时间标识符(temporalID)等选择当前画面作为参考画面的情况之外，例如，当当前画面是I画面时允许块匹配，并且对于其他画面不允许块匹配，可以省略具有星号(*)符号的参考画面。

参考图40，P画面也可以被添加到参考画面。表示为P*(1)意指当对当前画面进行编码时将P画面选择作为当前画面。在此，I(0)具有不同于以上I*(0)的含义。换句话说，在I*(0)中，由于在编码期间执行运动搜索，所以可以在对其应用或者部分地应用诸如去块滤波器的后处理滤波的画面中执行运动搜索。然而，I(0)是在完成编码过程之后对其应用后处理滤波的画面，因此I(0)可以是具有相同POC的画面，但是由于对其应用了滤波，因此可以是不同的画面。

当选择先前的I画面作为参考画面时，对应画面的内插精度变为1/8单元，因此可以通过执行直到1/8单元的运动搜索来发现最优的运动矢量。当选择当前画面(P*(1))作为参考画面时，对应画面的内插精度变为整数单元，因此可以以整数单元执行运动搜索。

图41是示出在根据本发明的实施例的图像编码和解码方法中当当前画面是B(2)时的参考画面列表的视图。图42是示出在根据本发明的实施例的图像编码和解码方法中当当前画面是B(5)时的参考画面列表的视图。

参考图41，当当前画面为B(2)时，I画面(I(0))和P画面(P(1))被添加到参考画面，并且可以根据每个画面的内插精度对对应画面执行运动搜索直到精度单元。在本实施例中，可以在P画面中以1/4单元精度的精度搜索运动向量，并且可以在I画面中以1/8单元的精度搜索运动向量。

另外，参考图42，当当前画面为B(5)时，在参考画面中既不包括I画面，也不包括P画面，但可以根据多个参考画面{B(2),B(4),B(3)}的内插精度通过使用不同精度来搜索运动向量。

图43是用于示出在根据本发明的实施例的图像编码和解码方法中根据参考画面的内插精度来确定每个块的运动向量精度的的过程的视图。图44是用于示出在根据本发明的实施例的图像编码/解码方法中当每个参考画面的内插精度是恒定时，自适应地确定每个块的运动向量精度的过程的视图。

参考图43，当当前画面的内插精度为整数(Int)单元，并且三个参考画面(t-1，t-2和t-3)的内插精度分别为1/4、1/2和1/8单元时，并且当搜索参考参考画面的当前块的邻居块的运动矢量时，可以通过使用对应的参考画面的对应的内插精度的各自的精度来搜索邻居块的运动矢量。

参考图44，当当前画面和参考画面的内插精度是等同的时，诸如1/4单元，并且当搜索参考参考画面的当前块的邻居块的运动矢量时，可以通过使用对应于预先确定的内插精度各自的精度来搜索邻居块的运动矢量。然而，根据实施方式，尽管以块单元确定运动向量的精度，但是可以分别设置参考画面的内插精度。

在上述实施例中，根据参考画面的内插精度来确定运动向量的精度。可替代地，以块单元确定运动矢量的精度，而内插精度是固定的。然而，本发明不限于以上配置。可以组合分别设置参考画面的内插精度和以块单元确定运动向量的精度来配置。在此，运动向量的最大精度可以根据参考的画面的精度来确定。

根据上述实施例，在帧间预测期间，可以以画面或块单元自适应地设置内插精度。另外，可以根据GOP结构中的时间层、与参考的画面的平均距离等自适应地支持内插精度。另外，当根据精度对索引信息进行编码时，可以减少编码信息的量，并且可以通过使用各种方法来对索引信息进行编码。

在上述实施例中，当在解码编码的图像时使用上述运动矢量精度时，图像编码方法可以被使用，并被图像解码方法代替。另外，图像编码和解码方法可以通过至少一个用于编码和解码的装置、或者图像处理设备或配置有执行与以上装置对应的功能的配置单元的图像编码和解码设备来执行。

根据上述实施例，可以提供具有高性能和效率的编码和解码方法，该方法通常可以在诸如MPEG-2、MPEG-4、H.264等的国际编解码器或者其他编解码器、以及使用这些编解码器的介质和图像处理行业中使用。另外，将来，本发明的方法可以应用于当前高效率图像编码方法(HEVC)、以及使用标准编解码器和诸如H.264/AVC的帧内预测的图像处理领域。

尽管为了说明的目的已经描述了本发明的优选实施例，但是本领域的技术人员将会理解，在不脱离如在所附权利要求中所公开的本发明的范围和精神的情况下，可以进行各种修改、增加和替换。

Claims

1.一种图像编码方法，包括：

配置空间运动向量候选(第一候选)；

确定当前画面内是否存在当前块的参考画面；

当当前画面内存在当前块的参考画面时，添加在当前块之前被编码的当前画面的其他块的空间运动向量候选(第二候选)；

当当前画面内不存在当前块的参考画面时，添加时间运动向量候选(第三候选)；以及

基于包括第一候选、第二候选和第三候选中的任何一个的运动向量候选来执行参考像素滤波。

2.根据权利要求1所述的图像编码方法，在执行参考像素滤波之前，进一步包括：

确定当前画面是否是参考画面；

当当前画面是参考画面，并且组合列表候选内的运动向量候选的数量小于预设数量时，添加具有预设固定坐标的固定候选；以及

当当前画面不是参考画面，并且组合列表候选内的运动向量候选的数量小于预设数量时，添加具有(0，0)坐标的固定候选。

3.根据权利要求1所述的图像编码方法，在执行参考像素滤波之后，进一步包括：

通过执行帧内预测来生成预测块；以及

对所生成的预测块的预测模式进行编码。

4.根据权利要求1所述的图像编码方法，其中当前画面的其他块是面对当前块、在其与当前块之间具有当前块的邻居块的块，并且包括通过在当前块之前对当前画面执行帧间预测而编码的块。

5.一种图像解码方法，其中，所述方法是通过对编码的图像进行熵解码、对解码的图像执行去量化、以及对去量化的图像执行逆变换来生成重建的图像，所述方法包括：

基于通过熵解码获得的图像的头信息来配置重建的图像的运动信息预测候选组；

根据当前块的运动向量的精度单元改变属于候选组的候选块的运动向量；以及

根据来自当前块的运动向量的精度单元，通过减去候选块的运动向量来计算差值。

6.根据权利要求5所述的图像解码方法，其中，在改变运动向量时，根据当前块所处的当前画面与参考画面之间的第一距离、以及候选块的画面和对应候选块的参考画面之间的第二距离来缩放运动向量。

7.根据权利要求6所述的图像解码方法，在计算差值之后，进一步包括：基于第一距离和第二距离的平均距离来确定每个参考画面的内插精度。

8.根据权利要求5所述的图像解码方法，其中，当当前块的参考画面与候选块的参考画面等同时，省略运动向量的改变。

9.根据权利要求5所述的图像解码方法，其中，在改变运动向量时，根据当前块的运动向量精度将邻居块或相邻块的运动向量改变为当前块的运动向量精度单元。

10.根据权利要求9所述的图像解码方法，其中，邻居块被包括并且被放置在当前块的另一块处。

11.根据权利要求10所述的图像解码方法，其中，邻居块是其中通过在当前块之前执行帧间预测来搜索其的运动向量的块。

12.一种图像解码方法，包括：

当参考画面的内插精度是第一值时，搜索用于参考参考画面的当前块的第一邻居块的运动向量的精度，所述精度等同于第一值或者是大于第一值的第二值；

搜索用于当前块的第二邻居块的运动向量的精度，所述精度是大于第二值的第三值；以及

基于运动向量的精度的匹配信息针对第一块和第二块对运动向量的第一信息进行解码。

13.根据权利要求12所述的图像解码方法，其中，第一值是适当的分数，并且第二值或第三值是整数。

14.根据权利要求12所述的图像解码方法，其中，当在包括匹配信息的索引内第二值具有高于第三值的出现频率的出现频率时，第二值具有比第三值的二进制比特的数量更短的二进制比特的数量。

15.根据权利要求12所述的图像解码方法，其中，第一邻居块或第二邻居块是通过在当前块之前执行帧间预测而编码的块，并且第一邻居块或第二邻居块的参考画面是当前画面。

16.根据权利要求12所述的图像解码方法，其中，第一邻居块或第二邻居块被包括并且被定位在与当前块在空间上不同的另一块处。

17.一种图像解码设备，包括存储用于图像解码的程序或程序代码的存储器，以及连接到所述存储器的处理器，其中，所述处理器通过程序执行以下步骤：

当参考画面的内插精度为第一值时，搜索用于参考参考画面的当前块的第一邻居块的运动向量的精度，所述精度等同于第一值或者是大于第一值的第二值；

基于用于第一块和第二块的运动向量的信息以及运动向量的精度的匹配信息来解码图像。

18.根据权利要求17所述的图像解码设备，其中第一值是适当的分数，并且第二值或第三值是整数。

19.根据权利要求17所述的图像解码方法，其中，当在包括匹配信息的索引内第二值具有高于第三值的出现频率的出现频率时，第二值具有比第三值的二进制比特的数量更短的二进制比特的数量。

20.根据权利要求17所述的图像解码方法，其中，第一邻居块或第二邻居块是通过在当前块之前执行帧间预测而编码的块，并且第一邻居块或第二邻居块的参考画面是当前画面。