CN107925773A

CN107925773A - 使用自适应去块滤波编码和解码图像的方法及其装置

Info

Publication number: CN107925773A
Application number: CN201680047024.XA
Authority: CN
Inventors: 郑济昌; 金起佰
Original assignee: NEO LAB CONVERGENCE Inc
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2015-06-11
Filing date: 2016-06-13
Publication date: 2018-04-17
Anticipated expiration: 2036-06-13
Also published as: CN113473120A; EP3598760A1; US20240056613A1; EP3310054A1; US20230141171A1; CN115134607A; WO2016200242A1; CN115134610A; US20180176601A1; US11849152B2; CN107925773B; CN115134609A; US11616987B2; CN115134608A; CN115134611A; EP3310054A4

Abstract

公开了一种与自适应去块滤波有关的编码/解码方法和装置。提供了一种在帧间预测中执行自适应滤波的图像解码方法，该方法包括：从比特流中重建包括参考块的图像信号，其中在要编码的当前块的帧间预测中对所述参考块执行块匹配；从比特流获得指示所述参考块是否存在于所述当前块位于的当前图片内的标志；通过使用所述参考块重建所述当前块；基于所获得的标志自适应地对重建的当前块应用环路滤波器；以及将应用或者未应用所述环路滤波器的所述当前块存储在解码图片缓冲器(DPB)中。

Description

使用自适应去块滤波编码和解码图像的方法及其装置

技术领域

本发明涉及图像编码和解码技术。更具体地，本发明涉及一种用于根据预测模式使用自适应去块滤波编码和解码图像的方法及其装置。

背景技术

随着互联网和移动终端的普及以及信息和通信技术的发展，多媒体数据的使用已增加。因此，为了通过图像预测在各种系统中执行各种服务和操作，提高图像处理系统的性能和效率的需求已迅速增加。

同时，在现有的图像编码/解码技术中，在帧间预测方法中，在位于当前图片之前或之后的至少一个参考图片中预测当前块的相邻块的运动信息，或者在帧内预测方法中，通过从当前图片中的参考块获得运动信息来估计当前块的运动矢量。

然而，由于预测块是通过使用图片之间的时间预测模式来生成的，因此现有的帧间预测方法的问题在于其计算复杂。帧内预测方法的问题在于其编码复杂。

此外，图像编码包括预测、变换、量化和熵编码处理。在量化处理中，由于量化误差，在重建图片中会出现块状伪影和振铃现象，并且因此，重建图像的主观定义被劣化。

因此，在使用量化的传统图像编码和解码技术中，对重建图片执行滤波以提高主观定义。根据滤波后的图片是否在帧间预测模式中被用作参考图片，将与重建图片的滤波有关的传统技术分类成后置滤波器方法和环路滤波器方法。

在后置滤波器方法中，滤波就在重建图像被输出之前在图像解码器之外执行。在环路滤波器方法中，在对重建图片应用滤波之后，滤波后的图片被插入到解码图片缓冲器(DPB)中并且在帧间预测模式中被用作参考图片。

同时，在环路滤波器方法中，即，在去块滤波器方法中，当执行滤波时，存储在存储器中的重建像素被加载，并随后执行滤波。滤波后的像素被存储在存储器中，并因此导致频繁的存储器存取。此外，在去块滤波器方法中，滤波计算处理是复杂的。由于计算复杂度和用于存储器存取的开销，解码器具有20～30％的大复杂度。因此，在图像编码和解码技术中，需要对重建图片进行滤波的有效方法。

发明内容

技术问题

相应地，考虑到上述问题而提出了本发明，并且本发明的目的是提供一种用于使用自适应去块滤波编码和解码图像的方法及其装置。

本发明的另一目的是提供一种用于编码和解码图像的方法及其装置，从而可以提高图像处理系统的性能和效率。

技术方案

根据为了实现上述目的的一个方面，提供了一种在帧间预测中执行自适应滤波的图像解码方法，所述方法包括：通过对编码目标当前块执行帧间预测来搜索参考块；生成指示所找到的参考块是否存在于当前块位于的当前图片内的标志；通过使用所找到参考块重建当前块；基于所述标志自适应地对重建的当前块应用环路滤波器；并且将应用或者未应用环路滤波器的当前块存储在解码图片缓冲器(DPB)中。

这里，环路滤波器可以包括去块滤波器和采样自适应偏移(SAO)中的至少一种。

这里，在自适应地应用环路滤波器的情况下，当所述标志指示参考块存在于当前图片内时，不对重建的当前块应用环路滤波器。

这里，在自适应地应用环路滤波器的情况下，当所述标志指示参考块不存在于当前图片内时，对重建的当前块应用环路滤波器。

根据为了实现上述目的的另一个方面，提供了一种执行帧间预测的图像解码方法，所述方法包括：编码以及重建包括与当前块位于相同图片中的参考块的图像信号，其中在当前块的帧间预测中对参考块执行块匹配；将重建的图像信号存储在解码图片缓冲器(DPB)和独立的临时存储器中；并且使用重建的图像信号通过块匹配来执行当前块的帧间预测。

这里，在重建的图像信号被存储在临时存储器中的情况下，重建的图像信号通过环路滤波器和独立的滤波器之后被存储在临时存储器中。

这里，独立的滤波器对重建的图像信号中包括的参考块的左边界和上边界执行滤波。

这里，独立的滤波器对所述重建的图像信号中的变换块边界、预测块边界以及变换块和预测块的公共块边界中的至少一个边界执行滤波。

根据为了实现上述目的的另一个方面，提供了一种在帧间预测中执行自适应滤波的图像解码方法，所述方法包括：从比特流中重建包括参考块的图像信号，其中在要编码的当前块的帧间预测中对所述参考块执行块匹配；从所述比特流获得指示所述参考块是否存在于所述当前块位于的当前图片内的标志；通过使用所述参考块重建所述当前块；基于所获得的标志自适应地对重建的当前块应用环路滤波器；并且将应用或者未应用所述环路滤波器的所述当前块存储在解码图片缓冲器(DPB)中。

根据为了实现上述目的的另一个方面，提供了一种执行帧间预测的图像解码方法，所述方法包括：从比特流中重建包括与当前块位于相同图片中的参考块的图像信号，其中在所述当前块的帧间预测中对所述参考块执行块匹配；将重建的图像信号存储在解码图片缓冲器(DPB)和独立的临时存储器中；并且使用所述重建的图像信号通过块匹配来执行所述当前块的帧间预测。

根据为了实现上述目的的另一个方面，提供了一种在帧间预测中执行自适应滤波的图像解码装置，所述装置包括至少一个处理器，其中所述处理器被配置为：从比特流中重建包括参考块的图像信号，其中在要编码的当前块的帧间预测中对所述参考块执行块匹配；从所述比特流获得指示所述参考块是否存在于所述当前块位于的当前图片内的标志；通过使用所述参考块重建所述当前块；基于所获得的标志自适应地对重建的当前块应用环路滤波器；并且将应用或者未应用所述环路滤波器的所述当前块存储在解码图片缓冲器(DPB)中。

根据为了实现上述目的的另一个方面，提供了一种图像编码方法，所述方法包括：基于对通过逆量化及逆变换生成的解码图像和残差信号进行参考的预测信号生成重建信号；确定是否跳过对所述重建信号的滤波；以及当确定滤波没有被跳过时，执行去块滤波。

根据为了实现上述目的的另一个方面，提供了一种图像解码方法，所述方法包括：基于对通过逆量化及逆变换生成的解码图像和残差信号进行参考的预测信号生成重建信号；确定是否跳过对所述重建信号的滤波；以及当确定滤波没有被跳过时，执行去块滤波。

根据为了实现上述目的的另一个方面，提供了一种图像解码装置，所述装置包括熵解码器、逆量化单元、逆变换单元、加减单元、预测单元、滤波跳过确认单元、跳过选择电路、滤波器单元以及解码图片缓冲器，其中，所述滤波跳过确认单元位于所述加减单元和所述滤波器单元之间，所述跳过选择电路位于所述滤波跳过确认单元和所述滤波器单元之间的空间以及所述滤波跳过确认单元和解码图片缓冲器之间的空间，并且滤波跳过确认单元基于来自滤波跳过标志的选择信息来控制跳过选择电路。

根据为了实现上述目的的另一个方面，提供了一种图像编码方法，所述方法包括：基于对通过逆量化及逆变换生成的解码图像和残差信号进行参考的预测信号生成重建信号；确定是否跳过对所述重建信号的滤波；以及当确定滤波没有被跳过时，执行去块滤波，其中，所述执行去块滤波包括确认块边界的第一子步骤、设置滤波强度的第二子步骤以及确定是否应用滤波的第三子步骤。

根据为了实现上述目的的另一个方面，提供了一种图像解码方法，所述方法包括：基于对通过逆量化及逆变换生成的解码图像和残差信号进行参考的预测信号生成重建信号；确定是否跳过对所述重建信号的滤波；以及当确定滤波没有被跳过时，执行去块滤波，其中，所述执行去块滤波包括确认块边界的第一子步骤、设置滤波强度的第二子步骤以及确定是否应用滤波的第三子步骤。

根据为了实现上述目的的另一个方面，提供了一种图像解码装置，所述装置包括：存储器，存储用于基于对通过逆量化及逆变换生成的解码图像和残差信号进行参考的预测信号生成重建信号的解码程序，其中所述存储器存储用于在确定是否跳过对所述重建信号的滤波之后跳过或执行滤波的滤波程序；以及处理器，被耦合到所述存储器以执行解码程序或过滤程序的程序代码，其中通过所述程序代码，所述处理器被配置为：基于对通过逆量化及逆变换生成的解码图像和残差信号进行参考的预测信号生成重建信号；确定是否跳过对所述重建信号的滤波；以及当确定滤波没有被跳过时，执行去块滤波，其中，当执行去块滤波时，确认块边界，设置滤波强度，以及确定是否应用滤波。

根据为了实现上述目的的一个方面，提供了一种涉及在帧内预测中配置参考像素的图像编码方法，所述方法包括：在当前块的帧内预测中从相邻块中获得当前块的参考像素；自适应地对参考像素执行滤波；根据当前块的预测模式，通过使用对其应用自适应滤波的参考像素作为输入值来生成当前块的预测块；对预测块应用自适应后置滤波器。

这里，在获得参考像素时，可以从相邻块获得当前块的参考像素。

这里，可以根据相邻块的可用性来确定参考像素的获得。

这里，相邻块的可用性可以基于相邻块的位置和/或特定的标志(constrained_intra_pred_flag)来确定。例如，当相邻块可用时，特定的标志可以具有为1的值。当相邻块的预测模式是帧间模式时，块的参考像素在当前块的预测中可以不可用。

这里，可以基于相邻块的预测模式来确定特定的标志(constrained_intra_pred_flag)，并且预测模式可以是帧内预测模式或帧间预测模式。

这里，当特定的标志(constrained_intra_pred_flag)具有为0的值时，不管相邻块的预测模式如何，相邻块的可用性可以为“是”。当特定的标志具有为1的值以及相邻块的预测模式是帧内预测模式时，相邻块的可用性可以为“是”，并且当相邻块的预测模式是帧间预测模式时，相邻块的可用性可以为“否”的。

这里，在帧间预测中，可以通过参考至少一个参考图片来生成预测块。

这里，可以通过参考图片列表0(列表0)和参考图片列表1(列表1)来管理参考图片，并且一个或多个过去的图片、未来的图片、当前的图片可以被包括在列表0和列表1中。

这里，可以自适应地确定当前图片是否被包括在参考图片列表(列表0和列表1)中。

这里，用于确定当前图片是否被包括在参考图片列表中的信息可以被包括在序列参数集、参考图片参数集等之中。

根据为了实现上述目的的一个方面，提供了一种由计算设备执行的图像解码方法，所述方法包括：从输入比特流获得指示相邻块的参考像素可用性的在序列或图片单元中的标志；当基于所述标志执行帧内预测时，确定相邻块的参考像素的可用性；并且当所述标志具有为0的值时，不管相邻块的预测模式如何，在当前块的预测中使用相邻块的参考像素，并且当所述标志具有为1的值以及相邻块的预测模式是帧内预测模式时，在当前块的预测中使用相邻块的参考像素，并且当相邻块的预测模式是帧间预测模式时，在当前块的预测中不使用相邻块的参考像素。

这里，在帧间预测模式中，可以基于参考图片中的块匹配来生成预测块。

这里，参考图片可以通过P图片中的列表0来管理，并且参考图片可以通过B图片中的列表0和列表1来管理。

这里，在帧间预测模式中，列表0可以包括当前图片。

这里，在帧间预测模式中，列表1可以包括当前图片。

这里，可以基于从序列参数发送的标志来确定列表0和列表1中包括当前图片。

这里，可以基于从图片参数发送的标志来确定列表0和列表1中包括当前图片。

有益效果

当使用根据本发明实施例的使用自适应去块滤波编码和解码图像的方法及其装置时，可以改善去块滤波的性能，从而使图像处理系统或图像预测系统的性能可以改善。

此外，根据本发明，可以减少帧内预测块或帧间预测块的块效应，从而使主观定义可以提高，并可以提高编码效率。

附图说明

图1是图示根据本发明的使用用于编码图像的装置和/或解码图像的装置的系统的视图。

图2是图示根据本发明实施例的用于编码图像的装置的框图。

图3是图示根据本发明实施例的用于解码图像的装置的框图。

图4是图示根据本发明实施例的用于编码和解码图像的方法中P条带的帧间预测的示例性视图。

图5是图示根据本发明实施例的用于编码和解码图像的方法中B条带的帧间预测的示例性视图。

图6是图示根据本发明实施例的用于编码和解码图像的方法中以单向生成预测块的情况的示例性视图。

图7是图示根据本发明实施例的用于编码和解码图像的方法中参考图片列表的示例性视图。

图8是图示根据本发明实施例的用于编码和解码图像的方法中从参考图片列表执行帧间预测的另一示例的示例性视图。

图9是图示根据本发明实施例的用于编码图像的方法中帧内预测的示例性视图。

图10是图示根据本发明实施例的用于编码图像的方法中P条带或B条带中的预测原理的示例性视图。

图11是图示在图10的用于编码图像的方法中执行内插的情况的示例性视图。

图12是图示作为编码单元中的语法的根据本发明实施例的用于编码图像的方法的主要过程的的视图。

图13是图示当通过图12的在当前块中的块匹配生成预测块时，正像在帧间预测中那样支持对称类型分割或不对称类型分割的示例的示例性视图。

图14是图示正像图9的帧内预测那样，在帧间预测中支持2N×2N和N×N的示例的示例性视图。

图15是图示根据本发明实施例的用于编码图像的方法中对图像的位置a，b和c(假定x)处的像素执行1-D水平滤波的处理的视图。

图16是图示可以应用于根据本发明实施例的用于编码图像的方法的当前块和相邻块的示例性视图。

图17是图示在根据本发明实施例的用于编码图像的方法中，通过在当前块中的块匹配来生成预测块的示例性视图。

图18是图示在根据本发明实施例的用于编码图像的方法中，编码区域中的通过至少一个块匹配被用作预测块的参考块的示例性视图。

图19是图示根据本发明实施例的用于编码图像的装置的框图。

图20是图示根据本发明实施例的解码图像的装置的框图。

图21a至图21d是图示在根据本发明实施例的用于编码图像的方法中，在各种大小的块单元中进行发送的示例性视图。

图22是图示在根据本发明实施例的用于编码图像的方法中标志的发送的示例性视图。

图23是图示在根据本发明实施例的用于编码图像的方法和解码图像的方法中的滤波处理的流程图。

图24是图示可以应用于图23的用于编码图像方法的预测块或变换块的示例性视图。

图25是图示在图23的用于编码图像的方法中设置滤波强度的边界的示例性视图。

图26a至图26c是图示在图25的用于编码图像的方法中图像内的像素值的图案的示例性视图。

图27是图示在图23的用于编码/解码图像的方法中的滤波强度设置处理的流程图。

图28是图示在图23的用于编码图像的方法中的滤波强度设置处理的另一示例的流程图。

图29是图示在图23的用于编码/解码图像的方法中的滤波强度设置处理的又一示例的流程图。

图30是图示在图23的用于编码/解码图像的方法中的滤波强度设置处理的再一示例的流程图。

图31是图示在图23的用于编码图像的方法中的滤波应用确定处理的示例性视图。

图32是图示在图23的用于编码图像的方法中的滤波应用确定处理的另一示例的示例性视图。

图33是图示在图23的用于编码图像的方法中的滤波应用确定处理的再一示例的示例性视图。

具体实施方式

可以对本发明进行各种修改，并且本发明的各种实施例是可能的，现将参考附图提供并详细描述本发明的示例。然而，本发明不限于此，示例性实施例可以被解释为包括本发明技术概念和技术范围内的所有修改、等同物或替代物。

说明书中使用的术语“第一”、“第二”等可以用于描述各种组件，但这些组件不应被解释为受限于这些术语。这些术语仅用于将一个组件与其他组件进行区分。例如，“第一”组件可以被重命名为“第二”组件而不偏离本发明的范围，并且“第二”组件也可以类似地被重命名为“第一”组件。术语“和/或”包括多个项目的组合或多个项目中的任何一个。

应理解，在本说明书中，当元件被简单地称为“连接到”或“耦合到”另一元件而不是“直接连接到”或“直接耦合到”另一元件时，该元件可以是“直接连接到”或“直接耦合到”另一元件，或者可以是连接到或耦合到另一元件而具有其他元件介于其间。反之，应理解，当元件被称为“直接耦合到”或“直接连接到”另一元件时，则不存在介入元件。

本说明书使用的术语仅用于描述特定实施例，并且不旨在限制本发明。除非在上下文中明显具有不同含义，否则以单数形式使用的表述包含复数形式的表述。在本说明书中，应理解，诸如“包括”、“具有”等之类的术语旨在指示存在说明书中公开的特征、数量、步骤、动作、元件、部分或其组合，并且不旨在排除可以存在或可以添加一个或多个其他特征、数量、步骤、动作、元件、部分或其组合的可能性。

除非另有定义，否则本文所使用的包括技术和科学术语的所有术语具有与本发明所属领域的普通技术人员通常理解的相同含义。应理解，词典中定义的术语与现有技术背景下的术语相同，并除非在本说明书上下文中有明确的另外指明，否则不应理想地或过度形式化地定义这些术语。

通常，视频可以由一系列图片组成，并且每个图片可以被分割成诸如帧或块之类的预定区域。此外，预定区域作为一个块，可以被称为具有不同大小的编码树单元(CTU)、编码单元(CU)、预测单元(PU)和变换单元(TU)。每个单元可以由一个亮度块和两个色度块构成，并可以根据颜色格式而不同地被构成。此外，亮度块和色度块的大小可以根据颜色格式来确定。例如，在4:2:0的情况下，色度块的大小可以是亮度块的宽度和长度的1/2。对于这些单元和术语，可以参考现有的HEVC(高效视频编码)或H.264/AVC(高级视频编码)。

此外，被参考以对当前块或当前像素进行编码或解码的图片、块或像素是参考图片、参考块或参考像素。此外，本领域技术人员应理解，下文所使用的术语“图片”可以由具有相同含义的另一术语(诸如“图像”、“帧”等)进行替代。

在下文中，将参考附图详细描述本发明的优选实施例。在描述本发明时，附图中相同的组成元件由相同的附图标记表示以有助于对本发明的整体理解，并且省略对相同元件的重复描述。

图1是图示使用根据本发明的用于编码图像的装置和/或解码图像的装置的系统的视图。

参考图1，使用用于编码图像的装置和/或解码图像的装置的系统可以是用户终端11(诸如个人计算机(PC)、笔记本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、PlayStation portable(PSP)、无线通信终端、智能手机、电视(TV)等)或服务器终端12(诸如应用服务器、业务服务器等)。该系统可以被称为计算设备。

此外，计算设备可以包括各种设备，其包括诸如通信调制解调器等之类的用于与各种设备或有限/无线通信网络进行通信的通信设备、存储用于编码或解码图像的帧间或帧内预测的各种程序和数据的存储器18以及执行程序以执行计算和控制的处理器14。

此外，计算设备通过有线/无线通信网络(诸如互联网、无线局域网、WiBro网络和移动网络)或通过各种通信接口(诸如电缆、通用串行总线(USB)等)，将通过使用用于编码图像的装置在比特流中编码的图像实时或非实时地发送到解码图像的装置，以便解码图像的装置对图像进行解码以重建该图像。此外，用于编码图像的装置在比特流中编码的图像可以通过计算机可读记录介质被发送到解码图像的装置。

图2是图示根据本发明实施例的用于编码图像的装置的框图。图3是图示根据本发明实施例的用于解码图像的装置的框图。

如图2所示，根据实施例的用于编码图像的装置20可以包括：预测单元200、减法器205、变换单元210、量化单元215、逆量化单元220、逆变换单元225、加法器230，滤波器单元235、解码图片缓冲器(DPB)240和熵编码器245。此外，用于编码图像的装置20还可以包括分割单元190。

此外，如图3所示，根据实施例的解码图像的装置30可以包括：熵解码器305、预测单元310、逆量化单元315、逆变换单元320、加法器325、滤波器单元330和解码图片缓冲器335。

用于编码图像的装置20和解码图像的装置30可以是独立的装置，或可以被提供为用于编码和解码图像的单个装置。在这种情况下，用于编码图像的装置20中的预测单元200、逆量化单元220、逆变换单元225、加法器230、滤波器单元235和解码图片缓冲器240分别是与解码图像的装置30中的预测单元310、逆量化单元315、逆变换单元320、加法器325、滤波器单元330和解码图片缓冲器335实质相同的技术元件。用于编码图像的装置20和解码图像的装置30可以被实现为具有至少相同的结构或执行至少相同的功能。此外，当熵编码器245逆向执行其功能时，其也是熵解码器305。因此，在对技术元件和其操作原理进行的详细描述中，将省略对相互对应的技术元件的描述。

解码图像的装置对应于一种计算设备，该计算设备将通过编码图像的装置执行的编码图像的方法应用于解码，并因此在以下描述中，描述将集中在用于编码图像的装置。

计算设备可以包括存储用于实现用于编码图像的方法和/或用于解码图像的方法的程序和软件模块的存储器以及耦合到该存储器以执行程序的处理器。用于编码图像的装置可以被称为编码器，以及解码图像的装置可以被称为解码器。

以下将详细描述根据实施例的用于编码图像的装置的组件。

分割单元190将输入图像分割成具有预定大小(M×N)的块。这里，M或N是等于或大于1的任意自然数。

具体地，分割单元190可以由图片分割单元和块分割单元构成。块的大小或形状可以根据图像的特征、分辨率等来确定。图片分割单元所支持的块的大小或形状可以是宽度和长度被指示为2的指数的M×N的正方形(256×256、128×128、64×64、32×32、16×16、8×8、4×4等)或M×N的长方形。例如，在具有高分辨率的8k UHD图像的情况下，输入图像可以以256×256的大小进行分割。在1080p HD图像的情况下，输入图像可以以128×128的大小进行分割，并且在WVGA图像的情况下，输入图像可以以16×16的大小进行分割。

关于块的大小或形状的信息可以在诸如序列、图片、条带(slice)等单元中进行设置，并且相关的信息可以被发送到解码器。即，可以将相关的信息设置在序列参数集、图片参数集、条带头或其组合中。

这里，“序列”指的是由多个相关场景(scene)组成的单元。图片是用于一个场景或图片中的一系列亮度(Y)分量或亮度及色度(Y、Cb和Cr)分量的术语。根据情况，一幅图片的范围可以是一帧或一个视野(field)。

术语“条带”可以指的是一个独立的条带片段(slice segment)和存在于同一存取单元中的多个依赖的条带片段。存取单元可以表示与一个编码图片相关的一组NAL(网络抽象层)单元。该NAL单元是其中视频压缩比特流以网络友好的H.264/AVC和HEVC标准格式的语法结构。一个条带单元通常由一个NAL单元构成，并且在系统标准中，构成一帧的NAL或NAL集通常被认为是一个存取单元。

继续对图片分割单元的描述，关于块的大小(M×N)或形状的信息可以由显式的标志构成。具体地，当块是正方形时，关于块的大小的信息可以包括关于一个长度的信息，并且当块是长方形时，可以包括关于每个长度的信息，或关于宽度和高度之间差值的信息。例如，当M和N是k的幂运算(假定k是2)(M＝2^m,N＝2ⁿ)时，关于m和n的信息可以以诸如一元二值化、截断一元二值化等之类的各种方法进行编码，并且相关的信息可以发送到解码器。

此外，图片分割单元所支持的“最小分割可用大小”(Minblksize)可以提供关于I×J(为了便于解释，假定I＝J,I＝2ⁱ,J＝2^j)、m-i或n-j的信息。作为另一示例，当M与N不同时，可以提供m和n之间的差值(|m-n|)。可选地，图片分割单元所支持的“最大分割可用大小”(Maxblksize)可以提供关于I×J(为了便于解释，假定I＝J,I＝2ⁱ,J＝2^j)、i-m或n-j的信息。

这隐含着，例如，当相关信息的语法存在但在编码器/解码器中却无法得到验证时，编码器或解码器可以遵循预设的默认设置。例如，当相关语法无法在识别关于块的形状的信息的情况下得到验证时，块的形状可以被设置成作为默认设置的正方形。此外，当识别关于块的大小的信息时，具体地，在通过来自“最小分割可用大小”(Minblksize)的差值来识别关于块的大小的信息的情况下，当与差值相关的语法得到验证但却无法验证与“最小分割可用大小”(Minblksize)相关的语法时，可以从与“最小分割可用大小”(Minblksize)相关的默认设置值中获得该信息。

如上所述，在图片分割单元中，与块的大小或形状有关的信息可以显式地从编码器和/或解码器发送，或者可以根据图像的特性和分辨率来隐式地确定块的大小或形状。

如上所述，通过图片分割单元所分割和确定的块可以被用作默认编码单元。此外，通过图片分割单元所分割和确定的块可以是构成诸如图片、条带、瓦片(tile)等之类的上级单元的最小单元，或者可以是编码块、预测块、变换块、量化块、熵块、环路滤波块等的最大单元。然而，一些块不限于此，并且例外是可能的。例如，一些块(诸如环路滤波块)可以应用为比上述块的大小更大的单元。

块分割单元对编码、预测、变换、量化、熵以及环路滤波块进行分割。分割单元190可以被包括在每个组件中以执行功能。例如，变换单元210可以包括变换单元分割单元，以及量化单元215可以包括量化块分割单元。可以基于前一阶段的分割结果或上级块来确定块分割单元的初始块的大小或形状。

例如，在所述编码块的情况下，可以将通过前一阶段的图片分割单元获得的块设置为初始块。可选地，在所述预测块的情况下，可以将通过分割作为预测块的上一级别的编码块而获得的块设置为初始块。可选地，在所述变换块的情况下，可以将通过分割作为变换块的上一级别的编码块而获得的块设置为初始块。

用于确定初始块的大小或形状的条件并不总是固定，并且条件中的一些可以改变，或者例外可以存在。此外，基于前一阶段或上级块的分割状态(例如，编码块的大小、编码块的形状等)中的至少一个因素和当前级别的设置条件(例如，变换块的大小、所支持的变换块的形状等)的组合，可以影响当前级别的分割操作(分割可能性、分割可用块形状等)。

块分割单元可以支持基于四叉树的分割方法。即，预分割块可以被分割成具有其1/2宽度和1/2长度的四个块。可以基于初始块(dep_0)重复分割直到“分割可用深度限制”(dep_k,k是分割可用的次数，并且“分割可用深度限制”(dep_k)的块大小满足M>>k,N>>k)为止。

此外，可以支持基于二叉树的分割方法。预分割块可以被分割成具有其1/2宽度或1/2长度的两个块。基于四叉树的分割和基于二叉树的分割可以是对称分割或不对称分割。基于编码器/解码器的设置，可以确定使用何种分割方法。在本发明的用于编码图像的方法中将主要描述对称分割方法。

分割标志(div_flag)可以指示是否对每个块执行分割。当该值为1时，执行分割，并且当该值为0时，不执行分割。可选地，当该值为1时，执行分割，并且另外的分割是可能的，以及当该值为0时，不执行分割，并且另外的分割是不被允许的。根据诸如“最小分割可用大小”、“分割可用深度限制”等之类的条件，该标志可以仅考虑是否执行分割，并且可以不考虑是否执行另外的分割。

分割标志可被用于基于四叉树的分割和基于二叉树的分割。在基于二叉树的分割中，分割方向可以基于分割深度、编码模式、预测模式、大小、形状、块的类型(编码、预测、变换、量化、熵、环路滤波等中的一个或亮度和色度中的一个)、条带类型、“分割可用深度限制”、“最小/最大分割可用大小”中的至少一个因素或其组合来确定。此外，根据分割标志和/或分割方向，仅块的宽度可以被分割为1/2或仅其长度可以被分割为1/2。

例如，假定当块是M×N(M>N)并且M大于N时，水平方向的分割被支持，并且假定“当前分割深度”(dep_curr)小于“分割可用深度限制”从而使另外的分割是可能的，将1比特分配给分割标志。当该值为1时，执行水平方向的分割，并且当该值为0时，不执行另外的分割。在基于四叉树的分割和基于二叉树的分割中可以使用一个分割深度，或可以在基于四叉树的分割和基于二叉树的分割中的每个使用分割深度。此外，在基于四叉树的分割和基于二叉树的分割中可以使用一个“分割可用深度限制”，或可以在基于四叉树的分割和基于二叉树的分割中的每个使用“分割可用深度限制”。

作为另一示例，当块是M×N(M>N)，并且N等于预设的“最小分割可用大小”从而使得不支持水平方向的分割时，将1比特分配给分割标志。当该值为1时，执行垂直方向的分割，并且当该值为0时，不执行分割。

此外，用于水平方向的分割或垂直方向的分割的标志(div_h_flag,div_v_flag)可以被支持，并且基于该标志可以支持二进制分割。水平分割标志(div_h_flag)或垂直分割标志(div_v_flag)可以指示是否对每个块执行水平或垂直方向的分割。当水平分割标志(div_h_flag)或垂直分割标志(div_v_flag)具有为1的值时，执行水平或垂直方向的分割，并且当该值为0时，不执行水平或垂直方向的分割。

此外，当该标志具有为1的值时，执行水平或垂直方向的分割，并可以执行另外的水平或垂直方向的分割。当该值为0时，不执行水平或垂直方向的分割，并且可以不执行另外的水平或垂直方向的分割。根据诸如“最小分割可用大小”、“分割可用深度限制”等之类的条件，该标志可以仅考虑是否执行分割，并且可以不考虑是否执行另外的分割。

此外，用于水平方向的分割或垂直方向的分割的标志(div_flag/h_v_flag)可以被支持，并且基于该标志可以支持二进制分割。分割标志(div_flag)可以指示是否对每个块执行水平或垂直方向的分割，并且分割方向标志(h_v_flag)可以指示水平或垂直方向的分割。

当分割标志(div_flag)具有为1的值时，执行分割，并且基于分割方向标志(h_v_flag)执行水平或垂直方向的分割。当该值为0时，不执行水平或垂直方向的分割。此外，当该值为1时，基于分割方向标志(h_v_flag)执行水平或垂直方向的分割，并且可以执行另外的水平或垂直方向的分割。当该值为0时，不执行水平或垂直方向的分割，并且可以不执行另外的水平或垂直方向的分割。

根据诸如“最小分割可用大小”、“分割可用深度限制”等之类的条件，该标志可以仅考虑是否执行分割，或者可以不考虑是否执行另外的分割。

可以支持用于水平和垂直方向的分割中的每一个的分割标志，并且基于该标志可以支持基于二叉树的分割。此外，如上所述，当分割方向被预先确定时，仅两个分割标志中的一个可以被使用或者两个分割标志都可以被使用。

例如，当全部的标志被指示为可用时，块的形状可以被分割成M×N、M/2×N、M×N/2和M/2×N/2中的一个。在这种情况下，这些标志可以以水平分割标志或垂直分割标志的顺序(div_h_flag/div_v_flag)被编码为00、10、01和11。

上述情况是分割标志可以被重叠使用的设置的示例，但分割标志不可以被重叠使用的设置也是可能的。例如，分割块的形状可以被分割成M×N、M/2×N和M×N/2。在这种情况下，标志可以按分割标志(div_flag)和“水平垂直标志”(h_v_flag，其为指示分割方向是水平还是垂直的标志)的顺序被编码为0、10和11。这里，重叠可以表示水平方向的分割和垂直方向的分割被同时执行。

根据编码器和/或解码器的设置，基于四叉树的分割和基于二叉树的分割可以被单独或组合使用。例如，可以基于块的大小或形状来确定基于四叉树或基于二叉树的分割。即，当块的形状是M×N并且M大于N时，执行水平方向的分割。当块的形状是M×N并且N大于M时，基于垂直方向的分割可以支持基于二叉树的分割。当块的形状是M×N并且N等于M时，可以支持基于四叉树的分割。

作为另一示例，当块的大小(M×M)等于或大于“块分割边界值”(thrblksize)时，基于二叉树的分割可以被支持。当块的大小(M×M)小于“块分割边界值”时，基于四叉树的分割可以被支持。

作为另一示例，当块(M×N)的M或N等于或小于“第一最大分割可用大小”(Maxblksize1)并且等于或大于“第一最小分割可用大小”(Minblksize1)时，基于四叉树的分割可以被支持。当块(M×N)的M或N等于或小于“第二最大分割可用大小”(Maxblksize2)并且等于或大于“第二最小分割可用大小”(Minblksize2)时，基于二叉树的分割可以被支持。

当可以通过“最大分割可用大小”和“最小分割可用大小”定义的第一分割支持范围和第二分割支持范围彼此重叠时，可以根据编码器/解码器的设置给予第一或第二分割方法优先级。在实施例中，第一分割方法可以是基于四叉树的分割，而第二分割方法可以是基于二叉树的分割。例如，当“第一最小分割可用大小”(Minblksize1)是16而“第二最大分割可用大小”(Maxblksize2)是64并且预分割块是64×64时，其落入第一分割支持范围和第二分割支持范围内，并且因此可以使用基于四叉树的分割或基于二叉树的分割。

根据预先设置，在给予第一分割方法(在实施例中是基于四叉树的分割)优先级的情况下，当分割标志(div_flag)具有为1的值时，可以执行基于四叉树的分割，并且可以执行另外的基于四叉树的分割。当分割标志具有为0的值时，可以不执行基于四叉树的分割，并且可以不执行另外的基于四叉树的分割。可选地，当分割标志(div_flag)具有为1的值时，可以执行基于四叉树的分割，并且可以执行另外的基于四叉树或基于二叉树的分割。当分割标志具有为0的值时，可以不执行基于四叉树的分割，并且可以不执行另外的基于四叉树的分割，但可以执行基于二叉树的分割。根据诸如“最小分割可用大小”、“分割可用深度限制”等之类的条件，该标志可以仅考虑是否执行分割，并且可以不考虑是否执行另外的分割。

当分割标志(div_flag)具有为1的值时，执行分割以获得四个32×32大小的块。该块大于“第一最小分割可用大小”(Minblksize1)，并且因此可以执行另外的基于四叉树的分割。当分割标志具有为0的值时，可以不执行另外的基于四叉树的分割。当前块(64×64)的大小在第二分割支持范围内，并且因此可以执行基于二叉树的分割。当分割标志(按div_flag/h_v_flag的顺序)具有为0的值时，可以不再执行分割。当分割标志具有为10或11的值时，可以执行水平方向的分割或垂直方向的分割。

当预分割块是32×32并且由于分割标志(div_flag)的值为0从而不执行另外的基于四叉树的分割、以及“第二最大分割可用大小”(Maxblksize2)是16时，当前块的大小(32×32)可以落入第二分割支持范围内，并且因此可以不执行另外的分割。在以上描述中，可以根据条带类型、编码模式、亮度/色度分量等中的至少一个因素或其组合来确定分割方法的优先级。

作为另一示例，可以基于亮度和色度分量来支持各种设置。例如，在亮度分量中确定的四叉树或二叉树分割结构可以被用于色度分量而无需编码/解码另外的信息。可选地，当支持对亮度分量和色度分量的独立分割时，可以在亮度分量中支持四叉树和二叉树，并且可以在色度分量中支持基于四叉树的分割。

此外，在亮度和色度分量中，基于四叉树的分割和基于二叉树的分割可以被支持，但其分割支持范围对于亮度和色度分量来说可以相同或可以不同，或可以与亮度和色度分量成比例或可以不成比例。例如，当颜色格式是4:2:0时，色度分量的分割支持范围可以是亮度分量的分割支持范围的N/2。

作为另一示例，设置可以根据条带类型而不同。例如，在I条带中，基于四叉树的分割可以被支持，以及在P条带中，基于二叉树的分割可以被支持，并且在B条带中，基于四叉树的分割和基于二叉树的分割都可以被支持。

如上所述，可以基于各种条件来设置和支持基于四叉树的分割和基于二叉树的分割。这些示例不限于此，并且可以包括条件被切换的情况、一个或多个在示例中提及的因素或其组合的情况，并且示例可以被修改。可以根据分割方法(四叉树、二叉树)、条带类型、亮度/色度分量、编码模式等中的至少一个因素或其组合来确定“分割可用深度限制”。

此外，可以根据分割方法(四叉树、二叉树)、条带类型、亮度/色度分量、编码模式等中的至少一个因素或其组合来确定分割支持范围。相关的信息可以指示分割支持范围的最大值和最小值。当该信息被配置为显式的标志时，可以指示长度的最大值/最小值信息或关于长度的最小值和最大值之间差值的信息。

例如，当最大值和最小值是k的幂运算(假定k是2)时，可以通过各种二值化对最大值和最小值的指数信息进行编码以提供给解码装置。可选地，可以提供最大值和最小值的指数之间的差值。这里，所发送的信息可以是最小值的指数信息和关于指数的差值的信息。

根据以上描述，与标志有关的信息可以在序列、图片、条带、瓦片、块等单元中生成并发送。

上述分割标志可以通过四叉树或二叉树或其组合来指示块分割信息。分割标志可以以诸如一元二值化、截断一元二值化等之类的各种方法进行编码，从而使相关的信息可以被提供给解码装置。在分割标志的比特流结构上可以执行至少一种扫描(scanning)方法，以指示块的分割信息。

例如，可以基于分割深度顺序(从dep0到dep_k)来配置分割标志的比特流，或可以基于是否执行分割来配置分割标志的比特流。在基于分割深度顺序的方法中，基于初始块来获得当前级别的深度的分割信息，并随后获得下一级别的深度的分割信息。在基于是否执行分割的方法中，优先获得另外的基于初始块而分割的块的分割信息。可以选择在以上示例中未公开的其他扫描方法。

此外，根据实施方式，块分割单元可以生成并指示预定义的块候选组的索引信息，而不是上述的分割标志。块候选组的形状可以包括，例如作为预分割块可以具有的分割块形状的M×N、M/2×N、M×N/2、M/4×N、3M/4×N、M×N/4、M×3N/4、M/2×N/2等。

如上所述，当分割块的候选组被确定时，关于分割块形状的索引信息可以通过诸如固定长度二值化、截断一元二值化、截断二值化等各种方法来进行编码。正像上述分割标志那样，分割块候选组可以根据块的分割深度、编码模式、预测模式、大小、形状、块的类型、条带类型、“分割可用深度限制”、最大/最小分割可用大小等中的至少一个因素或其组合来确定。

为了以下解释，假定(M×N,M×N/2)是候选列表1(list1)，(M×N,M/2×N,M×N/2,M/2×N/2)是候选列表2(list2)，(M×N,M/2×N,M×N/2)是候选列表3(list3)以及(M×N,M/2×N,M×N/2,M/4×N,3M/4×N,M×N/4,M×3N/4,M/2×N/2)是候选列表4(list4)。例如，在基于M×N的描述中，在(M＝N)的情况下，可以支持候选列表2的分割块候选，并且在(M≠N)的情况下，可以支持候选列表3的分割块候选。

作为另一示例，当M×N中的M或N等于或大于边界值(blk_th)时，可以支持候选列表2的分割块候选。当M×N中的M或N小于边界值时，可以支持候选列表4的分割块候选。此外，当M或N等于或大于第一边界值(blk_th_1)时，可以支持候选列表1的分割块候选。当M或N小于第一边界值(blk_th_1)但等于或大于第二边界值(blk_th_2)时，可以支持候选列表2的分割块候选。当M或N小于第二边界值(blk_th_2)时，可以支持候选列表4的分割块候选。

作为另一示例，当编码模式是帧内预测时，可以支持候选列表2的分割块候选。当编码模式是帧间预测时，可以支持候选列表4的分割块候选。

即使支持相同的分割块候选，但根据每个块中二值化的比特配置可以是相同或不同的。例如，作为在分割标志中应用的情况下，当所支持的分割块候选根据块的大小或形状而受到限制时，根据相关的块候选的二值化的比特配置可以不同。例如，在(M>N)的情况下，可以支持由于水平方向的分割而得到的块形状，即M×N、M×N/2和M/2×N/2。根据分割块候选组(M×N、M/2×N、M×N/2和M/2×N/2)的M×N/2的索引的二进制比特可以与根据当前条件的M×N/2的索引的二进制比特不同。

根据块的类型(例如编码、预测、变换、量化、熵、环路滤波块)，关于块的分割和形状的信息可以通过使用分割标志或分割索引中的一个来指示。此外，根据块的类型，用于分割的块大小限制、块的形状以及“分割可用深度限制”可以不同。

在块单元中的编码和解码的处理包括编码块确定、预测块确定、变换块确定、量化块确定、熵块确定、环路滤波器确定等。编码和解码处理的顺序并不总是固定，并且可以改变或排除一些序列。基于根据块的大小和形状的每个候选的编码成本，每个块的大小和形状被确定，并且可以对所确定的块的图像数据和关于所确定的块的大小和形状的与分割相关的信息进行编码。

预测单元200可以通过使用作为软件模块的预测模块来实现，并且可以通过帧内预测方法或帧间预测方法生成编码目标块的预测块。这里，就像素差而言，预测块几乎与编码目标块匹配，并且像素差可以通过包括SAD(绝对差之和)和SSD(平方差之和)的各种方法来确定。此外，这里，可以生成能够用于解码图像块的各种语法。预测块可以根据编码模式被分类成帧内块和帧间块。

帧内预测是使用空间相关性的预测技术，其为通过使用先前当前图片中编码和解码的重建块的参考像素来预测当前块的预测方法。即，通过帧内预测和重新配置而重建的亮度值可以被编码器和解码器用作参考像素。帧内预测对于具有连续性的平坦区域和具有恒定方向性的平坦区域可以是有效的，并可以使用空间相关性来确保随机存取以及避免误差扩散。

在帧间预测中，参考至少一个过去和未来图片中编码的图像通过使用时间相关性去除数据冗余的压缩技术被使用。即，在帧间预测中，可以通过参考至少一个过去和未来图片来生成具有高相似性的预测信号。使用帧间预测的编码器可以在参考图片中搜索与当前要编码的块具有高相关性的块，并可以将所选择的块的位置信息和残差信号发送到解码器。解码器可以通过使用发送的图像的选择信息来生成与编码器相同的预测块，并可以通过对发送的残差信号进行补偿来配置重建的图像。

图4是图示根据本发明实施例的用于编码和解码图像的方法中P条带的帧间预测的示例性视图。图5是图示根据本发明实施例的用于编码和解码图像的方法中B条带的帧间预测的示例性视图。

在实施例的用于编码图像的方法中，由于预测块从具有高时间相关性的先前编码的编码图片生成，因此帧间预测可以提高编码效率。Current(t)可以表示要编码的当前图片，并且基于图片的时间流或POC(图片顺序计数)，可以包括具有在当前图片的POC之前第一时间距离(t-1)的第一参考图片和具有在第一时间距离之前的第二时间距离(t-2)的第二参考图片。

即，如图4所示，在可以应用于根据实施例的用于编码图像的方法的帧间预测中，通过当前图片(current(t))的当前块和参考图片(t-1,t-2)的参考块之间的块匹配，可以执行从先前编码的参考图片(t-1,t-2)搜索最优预测块的运动估计。为了准确估计，当基于在两个相邻像素之间布置至少一个子像素的结构执行内插处理之后，获得最优预测块，并随后执行运动补偿，从而获得最终的预测块。

此外，如图5所示，在可以应用于根据实施例的用于编码图像的方法的帧间预测中，预测块可以从基于当前图片(current(t))在时间上双向存在的编码的参考图片(t-1,t+1)中生成。此外，两个预测块可以从至少一个参考图片中生成。

当通过帧间预测对图像进行编码时，可以对关于最优预测块的运动矢量的信息和关于参考图片的信息进行编码。在实施例中，当以单向或双向生成预测块时，不同地构成参考图片列表，并且预测块可以从参考图片列表生成。基本上，时间上在当前图片之前存在的参考图片可以被分配给列表0(L0)来管理，并且在当前图片之后存在的参考图片可以分配给列表1(L1)来管理。

构成参考图片列表0时，当参考图片列表0未被填补至参考图片的允许数量时，可以分配在当前图片之后存在的参考图片。类似地，构成参考图片列表1时，当参考图片列表1未被填补至参考图片的允许数量时，可以分配在当前图片之前存在的参考图片。

图6是图示根据本发明实施例的用于编码和解码图像的方法中预测块以单向生成的情况的示例性视图。

参考图6，在根据实施例的用于编码和解码图像的方法中，正像传统方法那样，可以从先前编码的参考图片(t-1,t-2)搜索预测块，并且也可以从当前图片(current(t))中已经编码的区域搜索预测块。

即，在根据实施例的用于编码和解码图像的方法中，从具有时间上高相关性的先前编码的图片(t-1,t-2)可以生成预测块并可以搜索具有空间上高相关性的预测块。搜索具有空间上高相关性的预测块可以对应于以帧内预测的方式搜索预测快。为了从当前图片中已经编码的区域执行块匹配，根据实施例的用于编码图像的方法可以配置关于帧内预测模式中预测候选的信息的语法。

例如，当支持n个(n是任意自然数)帧内预测模式时，向帧内预测候选组添加一个模式以支持n+1个模式。满足2^M-1≤n+1<2^M的M个固定比特可以用于编码预测模式。此外，正像HEVC的MPM(最可能模式)那样，可以从候选组挑选具有高可能性的预测模式。此外，预测模式可以在对预测模式进行编码的前一阶段被优先编码。

当通过在当前图片中的块匹配生成预测块时，根据实施例的用于编码图像的方法可以配置关于帧间预测模式的信息的语法。关于运动或位移的信息可以作为关于预测模式的另外信息被使用。关于运动或位移的信息可以包括关于多个矢量候选的最优候选的信息、最优候选矢量和实际矢量之间差值、关于参考方向的信息、参考图片等。

图7是图示根据本发明实施例的用于编码和解码图像的方法中参考图片列表的示例性视图。图8是图示根据本发明实施例的用于编码和解码图像的方法中从参考图片列表执行帧间预测的另一示例的示例性视图。

参考图7，在根据实施例的用于编码图像的方法中，可以从第一参考图片列表(参考列表0，L0)和第二参考图片列表(参考列表1，L1)对当前图片(current(t))的当前块执行帧间预测。

参考图7和图8，参考图片列表0可以包括在当前图片(t)之前的参考图片。具有在当前图片(t)的POC之前的第一时间距离(t-1)和第二时间距离(t-2)的参考图片可以被指示为t-1和t-2。此外，参考图片列表1可以包括在当前图片(t)之后的参考图片。具有在当前图片(t)的POC之后的第一时间距离(t+1)和第二时间距离(t+2)的参考图片可以被指示为t+1和t+2。

在参考图片列表配置的上述示例中，参考图片列表被配置为具有在时间距离(基于实施例中的POC)上为1的差的参考图片，但参考图片之间在时间距离上的差可以不同地配置。即，参考图片之间的索引差和参考图片之间的时间距离差可以不成比例。此外，列表配置顺序可以不基于时间距离。这将在稍后描述的参考图片列表配置的示例中描述。

根据条带类型(I、P或B)，预测可以从列表的参考图片执行。当通过在当前图片(current(t))中的块匹配生成预测块时，通过将当前图片添加到参考图片列表(参考列表0和/或参考列表1)，可以以帧间预测的方式执行编码。

如图8所示，当前图片(t)可以被添加到参考图片列表0(参考列表0)，或当前图片(t)可以被添加到参考图片列表1(参考列表1)。即，可以通过将时间距离(t)的参考图片添加到在当前图片(t)之前的参考图片来配置参考图片列表0，并且可以通过将时间距离(t)的参考图片添加到在当前图片(t)之后的参考图片来配置参考图片列表1。

例如，当配置参考图片列表0时，可以将在当前图片之前的参考图片分配到参考图片列表0，并随后可以分配当前图片(t)。当配置参考图片列表1时，可以将在当前图片之后的参考图片分配到参考图片列表1，并随后可以分配当前图片(t)。可选地，当配置参考图片列表0时，可以分配当前图片(t)，并随后可以分配在当前图片之前的参考图片。当配置参考图片列表1时，可以分配当前图片(t)，并随后可以分配在当前图片之后的参考图片。

此外，当配置参考图片列表0时，可以分配在当前图片之前的参考图片，并随后可以分配在当前图片之后的参考图片和当前图片(t)。类似地，当配置参考图片列表1时，可以分配在当前图片之后的参考图片，并随后可以分配在当前图片之前的参考图片和当前图片(t)。这些示例不限于此，并且其可以包括条件被切换的情况，或可以被修改。

当前图片是否包括在每个参考图片列表中(例如，未添加到任何列表、或仅添加到列表0、或仅添加到列表1、或添加到列表0和1)可以在编码器/解码器中被同等地设置，并且其上的信息可以在序列、图片、条带等单元中进行发送。其上的信息可以通过诸如固定长度二值化、截断一元二值化，截断二值化等之类的方法进行编码。

不像图7的方法那样，在根据实施例的用于编码和解码图像的方法中，通过在当前图片(t)中执行块匹配来选择预测块，配置包括关于预测块的信息的参考图片列表，并且参考图片列表被用于编码和解码图像。

在配置参考图片列表时，每个列表配置顺序和规则的设置以及每个列表参考图片的允许数量可以不同，并可以根据当前图片是否被包括在列表中(当前图片是否作为帧间预测中的参考图片被包括)、条带类型、列表重新配置参数(可以分别应用于列表0和1，或可以一起应用于列表0和列表1)、GOP(图片组)内的位置、时间层信息(时间id)中的至少一个因素或其组合来确定。显式地，相关的信息可以在序列、图片等单元中进行发送。

例如，在P条带的情况下，不管当前图片是否被包括在列表中，参考图片列表0可以遵循列表配置规则A。在B条带的情况下，包括当前图片的参考图片列表0可以遵循列表配置规则B，并且参考图片列表1可以遵循列表配置规则C。不包括当前图片的参考图片列表0可以遵循列表配置规则D，并且参考图片列表1可以遵循列表配置规则E。在列表配置规则中，B可以等同于D，并且C可以等同于E。

列表配置规则与参考图片列表配置的示例可以相同，或可以被改变。作为另一示例，当列表中包括当前图片时，可以设置第一参考图片的允许数量。否则，可以设置第二参考图片的允许数量。第一参考图片的允许数量可以与第二参考图片的允许数量相同或不同。默认设置可以是第一参考图片的允许数量和第二参考图片的允许数量之间的差为1。

作为另一示例，当列表中包括当前图片并且列表重新配置参数被应用时，在条带A中，所有的参考图片可以被包括在列表重新配置候选组中，并且在条带B中，一些参考图片可以被包括在列表重新配置候选组中。这里，可以基于当前图片是否被包括在列表中、时间层信息、条带类型以及GOP内的位置来区分条带A或B。可以基于参考图片的POC或参考图片索引、参考预测方向(在当前图片之前/之后)、当前图片来确定是否被包括在候选组中。

根据上述配置，在帧间预测中编码的参考块被用于当前图片，并因此帧间预测被允许或被用于I条带的运动预测中。

此外，当配置参考图片列表时，索引分配或列表配置顺序可以根据条带类型而不同。在I条带的情况下，作为参考图片列表配置的示例，通过在当前图片(current(t))中增加优先级来使用较低索引(例如，idx＝0,1,2)。通过其中参考图片列表的参考图片的允许数量(C)为最大值的二值化(固定长度二值化、截断一元二值化、截断二值化等)，可以减少用于编码图像的比特数量。

此外，在P或B条带的情况下，对当前图片执行块匹配。选择当前块的参考图片作为预测候选的可能性低于选择另一参考图片作为预测候选的可能性，通过其中当前图片的块匹配的优先级被设置为低以使用较高索引(例如，idx＝C，C-1)并且参考图片列表的参考图片的允许数量是最大值的各种二值化方法，可以减少用于编码图像的比特数量。

设置当前图片的优先级可以与参考图片列表配置的示例相同，或可以以修改的方式配置。此外，根据条带类型(例如，I条带)，不配置参考图片列表，从而使得关于参考图片的信息可以省略。例如，预测块是通过现有的帧间预测生成的，但是除了参考图片信息之外，帧间预测信息可以利用帧间预测模式的运动信息来指示。

根据条带类型，可以支持或不支持用于执行在当前图片中的块匹配的方法。例如，有可能设置在当前块中的块匹配对I条带支持，而不对P条带或B条带支持，但不限于此。此外，用于支持在当前图片中的块匹配的方法可以在图片、条带、瓦片等单元中确定，或以GOP内的位置、时间层信息(时间ID)等来确定。设置信息可以在编码图像的处理中发送，或可以由编码器在序列、图片、条带等单元中发送到解码器。

此外，即使设置信息或语法存在于上级单元中并且与设置相关的操作处于开启状态，当在更低级别单元中存在相同的设置信息或语法时，更低级别单元中的设置信息具有比上级单元中的设置信息更高的优先级。例如，当相同或相似的设置信息在序列、图片和条带中处理时，该图片单元而不是该序列单元可以具有优先级，并且该条带单元而不是该图片单元可以具有优先级。例如，在序列参数中，用于支持在当前图片中的块匹配的标志可以是sps_curr_pic_BM_enabled_flag。在图片参数中，用于支持在当前图片中的块匹配的标志可以是pps_curr_pic_BM_enabled_flag。当sps_curr_pic_BM_enabled_flag开启而pps_curr_pic_BM_enabled_flag关闭时，可以不支持在当前图片中的块匹配。根据该标志，可以确定当前图片是否被包括在参考图片列表0中，并且可以确定当前图片是否被包括在参考图片列表1中。

参考图9，根据实施例的帧内预测方法可以包括一系列参考像素填充(参考样本填充)、参考像素滤波(参考样本滤波)、帧内预测和边界滤波。

参考像素填充步骤可以是参考像素配置步骤的示例，并且参考像素滤波可以由参考像素滤波器单元执行。在帧内预测中，预测块生成步骤和预测模式编码步骤可以被包括，并且边界滤波可以是后置滤波步骤的示例。

即，在根据实施例的用于编码图像的方法中执行的帧内预测中，可以包括参考像素配置步骤、参考像素滤波步骤、预测块生成步骤、预测模式编码步骤和后置滤波步骤。根据各种因素，例如块的大小、块的形状、块的位置、预测模式、预测方法、量化参数等，可以省略上述处理中的一种或一些，或可以添加另一处理，或可以改变上述顺序。

参考像素配置步骤、参考像素滤波步骤、预测块生成步骤、预测模式编码步骤和后置滤波步骤可以由耦合到其中存储有软件模块的存储器的处理器来执行。因此，在下文中，为了便于说明，作为用于执行由实现这些步骤的软件模块和其处理器的组合而生成的功能部分的功能的功能部分和/或组件，参考像素配置单元、参考像素滤波器单元、预测块生成单元、预测模式编码单元和后置滤波器单元可以被称为各自步骤的执行器。

详细描述每个组件，参考像素配置单元通过参考像素填充来配置要在当前块的预测中使用的参考像素。当参考像素不存在或不可用时，可以通过从相邻像素复制值的方法将参考像素填充用于参考像素。重建图片缓冲器或解码图片缓冲器(DPB)可以用于复制值。

也就是说，在帧内预测中，预测是通过使用在当前图片之前的编码的块的参考像素来执行的。为此，在参考像素配置步骤中，可以将诸如当前块的相邻块(即，左、左上、左下、上、右上块)之类的相邻像素用作参考像素。

然而，用于参考像素的相邻块的候选组仅是作为块的编码顺序的光栅扫描或z扫描的结果的示例。当使用逆Z扫描作为编码顺序扫描方法时，除了上述块之外，可以将诸如右、右下、下块等之类的相邻像素用作参考像素。

此外，根据实施方式，除了相邻像素之外的另外的像素可以根据帧内预测中的相位配置在替代或与现有参考像素的组合中进行使用。

此外，当以帧内预测模式中的角度模式执行预测时，可以使用通过线性内插的整数单元的参考像素来生成参考像素十进制单元。通过存在于整数单元位置的参考像素来执行预测的模式可以包括具有垂直、水平、45度角和135度角模式的一些模式。对于上述预测模式来说，可以不需要生成十进制单元的参考像素的处理。

在具有除了预测模式之外的不同角度的预测模式中，内插的参考像素可以具有诸如1/2、1/4、1/8、1/16、1/32和1/64等之类1/2的幂运算的内插精度，或可以具有1/2的倍数的精度。

内插精度可以根据所支持的预测模式的数量、预测模式的预测方向等来确定。可以在图片、条带、瓦片、块等中支持固定的内插精度，或可以根据块的大小、块的形状、所支持的模式的预测方向等来支持自适应的内插精度。这里，基于特定的线(例如，坐标平面上的正x轴)，模式的预测方向可以指示为模式所指示的方向的倾斜信息或角度信息。

作为一种内插方法，线性内插可以通过相邻的整数像素来执行，但也可以支持其他的内插方法。对于内插来说，至少一种的滤波器类型和至少一个的抽头数量可以被支持，例如6抽头维纳(Wiener)滤波器、8抽头卡尔曼(Kalman)滤波器等。根据块的大小，可以确定执行内插的预测方向等。此外，相关的信息可以通过序列、图片、条带、块等单元进行发送。

通过在配置参考像素之后的编码处理中减少剩余劣化，参考像素滤波器单元可以对参考像素执行滤波以提高预测效率。参考像素滤波器单元可以隐式地或显式地根据块的大小、块的形状和预测模式来确定滤波器的类型以及是否应用滤波。也就是说，即使对于具有相同抽头的滤波器来说，也可以根据滤波器的类型而不同地确定滤波器系数。例如，可以使用诸如[1,2,1]/4和[1,6,1]/8的3抽头滤波器。

此外，参考像素滤波器单元可以确定是否发送另外的比特，从而使得可以确定是否应用滤波。例如，隐式地，参考像素滤波器单元可以根据邻近参考块中像素的特性(方差、标准差等)来确定是否应用滤波。

此外，参考像素滤波器单元可以在相关标志满足残差系数、帧内预测模式等的预设的隐藏条件时确定是否应用滤波。例如，滤波器的抽头数量在小块(blk)中可以设置为诸如[1,2,1]/4之类的3抽头，并且在大块(blk)中可以设置为诸如[2,3,6,3,2]/16之类的5抽头。应用的数量可以基于是否执行滤波、是否执行一次滤波、是否执行两次滤波等来确定。

此外，参考像素滤波器单元可以默认地将滤波应用于紧邻当前块的参考像素。除了紧邻的参考像素之外，在滤波处理中也可以考虑另外的参考像素。例如，通过替换紧邻的参考像素，可以将滤波应用于另外的参考像素，或可以将滤波应用于紧邻的参考像素和另外的参考像素的组合。

可以固定地或自适应地应用滤波。滤波可以根据当前块的大小、相邻块的大小、当前块或相邻块的编码模式、当前块和相邻块的块边界特性(例如，编码单元的边界或变换单元的边界)、当前块或相邻块的预测模式或方向、当前块或相邻块的预测方法、量化参数等中的至少一个因素或其组合来确定。该确定可以具有相同的编码器/解码器设置(隐式)，或可以基于编码成本等来执行(显式)。默认的滤波器是低通滤波器，并且根据上述因素可以确定滤波器抽头的数量、滤波器系数、是否编码滤波器标志、滤波器应用的次数等。其上的信息可以在序列、图片、条带、块等单元中设置，并且该信息可以被发送到解码器。

在帧内预测中，预测块生成单元可以由通过参考像素的外插方法或由诸如参考像素的DC或平面模式之类的内插方法、或复制参考像素的方法来生成预测块。

在复制参考像素的方法中，一个参考像素可以被复制以生成至少一个预测像素，或至少一个参考像素可以被复制以生成至少一个预测像素。复制的参考像素的数量可以等于或小于复制的预测像素的数量。

此外，预测方法可以被分类成方向预测方法和非方向预测方法。具体地，方向预测方法可以被分类成线性方向方法和弯曲方向方法。线性方向方法使用外插方法，但预测块的像素是通过置于预测方向线上的参考像素而生成的。弯曲方向方法使用外插方法，但预测块的像素是通过置于预测方向线上的参考像素而生成的。可以基于块的具体方向(例如，边缘)来改变像素单元的部分预测方向。

在根据实施例的用于编码和解码图像的方法中，针对方向预测模式将主要描述线性方向方法。

此外，在方向预测方法中，相邻预测模式之间的间隔是相等或不等的，并且可以根据块的大小或形状来确定。例如，当通过块分割单元获得具有M×N的大小和形状的当前块时，在M等于N的情况下，预测模式之间的间隔可以是相等的。在M不同于N的情况下，预测模式之间的间隔可以是不等的。

作为另一示例，当M大于N时，具有垂直方向性的模式可以在接近垂直模式(90°)的预测模式之间分配密集的间隔，并可以在远离垂直模式的预测模式之间分配更宽的间隔。当N大于M时，具有水平方向性的模式可以在接近水平模式(180°)的预测模式之间分配密集的间隔，并可以在远离水平模式的预测模式之间分配更宽的间隔。

这些示例不限于此，并且可以包括条件被切换的情况，或可以被修改。这里，可以基于指示每个模式的方向性的数值来计算预测模式之间的间隔，并且可以通过方向的倾斜信息或角度信息来数值地表达预测模式的方向性。

此外，除了上述方法之外，使用空间相关性的方法可以被使用来生成预测块。例如，可以通过使用当前图片作为参考图片并且使用诸如运动搜索和补偿之类的帧间预测方法来生成作为预测块的参考块。

在预测块生成步骤中，可以根据预测方法，通过使用参考像素来生成预测块。也就是说，根据预测方法，可以通过方向预测方法或诸如现有帧内预测方法的外插、内插、复制和平均等之类的非方向预测方法来生成预测块。可选地，可以通过使用帧间预测方法或其他另外的方法来生成预测块。

帧内预测方法可以在相同的编码器/解码器设置下被支持，并且可以根据条带类型、块的大小、块的形状等来进行确定。可以根据上述预测方法中的至少一个或其组合来支持帧内预测方法。可以根据所支持的预测方法来配置帧内预测模式。所支持的帧内预测模式的数量可以根据预测方法、条带类型、块的大小、块的形状等来确定。相关的信息可以在序列、图片、条带、块等单元中进行设置和发送。

在预测模式编码步骤中，其中根据每个预测模式的编码成本是最优的模式可以在编码成本方面被确定为当前块的预测模式。

例如，预测模式编码单元可以使用至少一个相邻块的模式来预测当前块模式，以便减少用于预测模式的比特。预测模式可以被包括在与候选块模式相同的最可能模式(MPM)的候选组中，并且相邻块的模式可以被包括在候选组中。例如，候选组可以包括当前块的左上、左下、上、右上等块的预测模式。

预测模式的候选组可以根据相邻块的位置、相邻块的优先级、分割块的优先级、相邻块的大小或形状、预设的特定模式(在色度块的情况下)、亮度块的预测模式中的至少一个因素或其组合来配置。相关的信息可以在序列、图片、条带、块等单元中进行发送。

例如，在当前块和相邻块被分割成至少两个块时，可以在相同的编码器/解码器设置下确定分割块中的哪个块的模式作为当前块的模式预测候选被包括。此外，例如，块分割单元对当前块(M×M)的相邻块的左块执行基于四叉树的分割。当组成三个分割块并且从上到下的方向中包括M/2×M/2、M/4×M/4和M/4×M/4的块时，基于块的大小，M/2×M/2块的预测模式可以作为当前块的模式预测候选被包括。

作为另一示例，块分割单元对当前块(N×N)的相邻块中的上块执行基于二叉树的分割。当组成三个分割块并且从左到右的方向中包括N/4×N、N/4×N和N/2×N的块时，根据预设的顺序(从左到右分配的优先级)，左起第一个的N/4×N块的预测模式可以作为当前块的模式预测候选被包括。

作为另一示例，在当前块的相邻块的预测模式是方向预测模式时，与当前模式的预测方向(根据模式方向的倾斜信息或角度信息)相邻的预测模式可以被包括在当前块的模式预测候选组中。此外，根据预测模式配置或相邻块的组合，预设的模式(平面、DC、垂直、水平等)可以被优先包括。

此外，相邻块的预测模式中具有高发生频率的预测模式可被优先包括。优先级不仅表示被包括在当前块的模式预测候选组中的可能性，还表示在候选组配置中被分配更高优先级或索引的可能性(即，在二值化处理中被分配更少比特的更高可能性)。

作为另一示例，在当前块的模式预测候选组的最大数量是k的情况下，其中左块由长度小于当前块的高度的m个块组成并且上块由长度小于当前块的宽度的n个块组成，当相邻块的分割块的总和(m+n)大于k时，有可能根据预设的顺序(从左到右，从上到下)来填补候选组。当相邻块的分割块的总和(m+n)大于候选组的最大值k时，相邻块(左块和上块)的预测模式以及其它相邻块(例如，左下、左上、右上块等)的预测模式可以被包括在当前块的模式预测候选组中。这些示例不限于此，并且可以包括条件被切换的情况，或可以被修改。

如上所述，用于当前块的模式预测的候选块不限于特定的块位置，并且可以从位于左、左上、左下、上和右下的块中的至少一个块利用预测模式信息。如上述示例所示，可以考虑各种因素来配置当前块的预测模式候选组。

预测模式编码单元可以将最可能模式(MPM)的候选组(在实施例中被称为候选组1)与相反模式的候选组(在实施例中被称为候选组2)进行区分。根据当前块的预测模式属于候选组中的哪个候选组，编码预测模式的处理可以不同。

全体预测模式可以由候选组1的预测模式和候选组2的预测模式的总和组成。候选组1的预测模式的数量以及候选组2的预测模式的数量可以根据预测模式的总数、条带类型、块的大小、块的形状中的至少一个因素或其组合来确定。根据候选组可以应用相同的二值化或其他二值化。

例如，可以将固定长度二值化应用到候选组1，并且可以将截断一元二值化应用到候选组2。在以上描述中，以候选组的数量是2作为示例，但有可能扩展到具有与当前块模式相同的高可能性的模式的第一候选组、具有与当前块模式相同的高可能性的模式的第二候选组以及相反模式的候选组，并且变化也是允许的。

在通过后置滤波器单元执行的后置滤波步骤中，考虑当前块中的像素和与当前块及相邻块的边界相邻的参考像素之间的高相关性，在先前处理中生成的预测块的一些预测像素可以被替换为通过对至少一个预测像素和至少一个与该边界相邻的参考像素进行滤波而生成的值。可选地，预测像素也可以被替换为通过对与块的边界相邻的参考像素的特性的数值(例如，像素值中的差、倾斜信息等)进行滤波而生成的值。可以添加除了上述方法之外的并且具有类似目的(通过参考像素对预测块的一些预测像素进行校正)的另外的方法。

在后置滤波器单元中，可以隐式地或显式地确定滤波器的类型以及是否应用滤波。编码器/解码器可以设置后置滤波器单元使用的参考像素、当前像素的位置和数量以及预测模式的类型。相关的信息可以在序列、图片、条带等单元中进行发送。

此外，在后置滤波步骤中，生成预测块之后，可以执行诸如块边界滤波之类的另外的处理。此外，类似于边界滤波，考虑相邻参考块的像素的特性，可以对通过获取残差信号并随后将通过变换/量化处理及其逆处理而获得的残差信号和预测信号进行相加而重建的当前块执行后置滤波。

结果，预测块通过上述处理被选择或获得。从处理获得的信息可以包括与预测模式有关的信息，并且其在获取预测块之后可以被发送到变换单元210用于编码残差信号。

图10是图示根据本发明实施例的用于编码图像的方法中P条带或B条带中的预测原理的示例性视图。图11是图示在图10的用于编码图像的方法中执行内插的情况的示例性视图。

参考图10，根据实施例的用于编码图像的方法可以包括运动估计和内插步骤。在运动估计步骤中生成的关于运动矢量、参考图片索引和参考方向的信息可以提供给内插步骤。在运动估计步骤和内插步骤中，可以使用存储在解码图片缓冲器(DPB)中的值。

也就是说，用于编码图像的装置可以执行运动估计从而在先前编码的图片中找到与当前块相似的块。此外，用于编码图像的装置为了准确预测可以执行参考图片的内插。结果，用于编码图像的装置可以通过预测器获得预测块，并且关于该处理的信息可以包括运动矢量、参考图片索引(参考图片索引或参考索引)、参考方向等，并且接着可以执行残差信号编码。

在实施例中，由于对P条带或B条带执行帧内预测，因此可以实现如图11所示的支持帧间预测和帧内预测二者的组合方法。

如图11所示，根据实施例的用于编码图像的方法可以包括参考像素填充(参考样本填充)、参考像素滤波(参考样本滤波)、帧内预测、边界滤波、运动估计和内插的步骤。

当用于编码图像的装置支持在当前图片中的块匹配时，I条带中的预测方法可以通过图11而不是图9的配置来实现。也就是说，用于编码图像的装置可以使用I条带中的预测模式以及仅在P条带或B条带中出现的关于运动矢量的信息、参考图片索引、参考方向等来生成预测块。然而，由于参考图片是当前图片的特性，可以存在能够部分省略的信息。例如，当参考图片是当前图片时，可以省略参考图片索引和参考方向。

此外，在用于编码图像的装置中，当应用内插时，由于诸如计算机图形之类的人工图像的特性，可能不需要达到小数单元的块匹配，因此是否执行块匹配可以由编码器设置，并且可以在序列、图片、条带等单元中进行设置。

例如，用于编码图像的装置根据编码器的设置可以不对在帧间预测中使用的参考图片执行内插，并且可以不只有当在当前图片中执行块匹配时才执行内插。即，根据实施例的用于编码图像的装置可以设置是否对参考图片执行内插。这里，可以确定对参考图片列表中的所有参考图片还是一些参考图片执行内插。

例如，当用于编码图像的装置由于参考块中的图像的特性是人工图像从而不需要以十进制单元执行块匹配时，其可以不执行内插，并且当其由于自然图像从而需要以十进制单元执行块匹配时，其可以执行内插。

此外，用于编码图像的装置可以设置块匹配是否被应用于以块单元执行内插的参考图片上。例如，当自然图像和人工图像混合时，可以对参考图片执行内插。当最优运动矢量可以通过搜索人工图像的一部分而获得时，运动矢量可以以预定的单元(这里，假定为整数单元)来表示。当最优运动矢量可以通过有选择地搜索自然图像的一部分而获得时，运动矢量可以以另一特定的单元(这里，假定为1/4单元)来表示。

图12是图示作为编码单元中的语法的根据本发明实施例的用于编码图像的方法的主要过程的视图。

参考图12，curr_pic_BM_enabled_flag表示允许在当前图片中的块匹配的标志，并且可以在序列和图片单元中进行定义和发送。这里，通过对当前图片执行块匹配来生成预测块的处理可以表示通过帧间预测的操作。可以假定，作为不对残差信号进行编码的帧间技术的cu_skip_flag是仅由除了I条带以外的P条带或者B条带支持的标志。在这种情况下，当curr_pic_BM_enabled_flag开启时，I条带也可以支持帧间预测模式下的块匹配(BM)。

当通过在当前图片中的块匹配来生成预测块时，根据实施例的用于编码图像的方法可以支持跳过，并且可以在除了块匹配之外的帧内技术的情况下支持跳过。根据条件，I条带可以不支持跳过。是否执行跳过可以根据编码器的设置来确定。

例如，当在I条带中支持跳过时，通过作为特殊标志的if(cu_skip_flag)，预测块可以通过块匹配被直接重建为重建块，而不用通过与作为预测单元的prediction_unit()进行链接来编码残差信号。此外，用于编码图像的装置将通过在当前图片中的块匹配使用预测块的方法分类成帧间预测技术，并且可以通过作为特殊标志的pred_mode_flag来处理这样的分类。

此外，根据实施例的用于编码图像的装置可以在pred_mode_flag具有为0的值时将预测模式设置为帧间预测模式(MODE_INTER)，并且可以在pred_mode_flag具有为1的值时将预测模式设置为帧内预测模式(MODE_INTRA)。这是一种类似于现有技术的帧内技术，但是其在I条带中可以被分类成帧间技术或帧内技术从而与现有的结构相区别。也就是说，根据实施例的用于编码图像的装置在I条带中可以不使用时间相关性，但可以使用时间相关性的结构。part_mode表示关于在编码单元中被分割的块的大小和形状的信息。

这里，在序列参数中，支持在当前图片中的块匹配的标志可以是sps_curr_pic_BM_enabled_flag，并且在图片参数中，支持在当前图片中的块匹配的标志可以是pps_curr_pic_BM_enabled_flag。当sps_curr_pic_BM_enabled_flag开启并且pps_curr_pic_BM_enabled_flag关闭时，块匹配在当前图片中可以不被支持。根据该标志，可以确定当前图片是否被包括在参考图片列表0中，并且可以确定当前图片是否被包括在参考图片列表1中。

参考图13，在根据实施例的用于编码图像的方法中，当通过在当前图片中的块匹配生成预测块时，正像在帧间预测中那样，可以支持诸如2N×2N、2N×N、N×2N和N×N之类的对称分割或可以支持诸如nL×2N、nR×2N、2N×nU和2N×nD之类的不对称分割。

图14是图示正像图9的帧内预测那样，在帧间预测中支持2N×2N和N×N的示例的示例性视图。块的大小和形状可以根据块分割单元的分割方法来确定。

参考图14，在根据实施例的用于编码图像的方法中，可以像在现有的帧内预测中使用的预测块形状那样支持2N×2N和N×N。这是通过块分割单元中的四叉树分割方法或预定义的块候选组的分割方法来支持正方形形状的示例。在帧内预测中，通过向二叉树分割方法或预定义的块候选组添加长方形形状，其他的块形状可以被支持，并且其设置可以由编码器设置。

此外，在帧内预测中，编码器可以设置是否仅当对当前图片执行块匹配(ref_idx＝curr)时应用跳过、是否在现有的帧内预测中应用跳过以及是否在其他新的帧内预测中应用跳过。其上的信息可以在序列、图片、条带等单元中进行发送。

减法器205(参考图2)从要编码的当前块的像素值中减去由预测单元200生成的预测块的像素值，从而导出像素差值，并且生成残差块。

变换单元210(参考图2)从减法器205接收作为当前块和通过帧内预测或帧间预测生成的预测块之间的差值的残差块，并且在频域中对残差块进行变换。通过变换，残差块的每个像素对应于变换块的变换系数。变换块的大小和形状可以等于或小于编码单元。此外，变换块的大小和形状可以等于或小于预测单元的大小和形状。用于编码图像的装置可以同时对多个预测单元执行变换。

变换块的大小或形状可以通过块分割单元来确定，并且可以根据块分割来支持正方形形状或长方形形状的变换。编码器/解码器中支持的与变换相关的设置(所支持的变换块的大小、形状等)可以影响块分割。

根据每个候选的编码成本，可以确定变换块的大小和形状，并且可以对所确定的变换块的图像数据和关于所确定的变换块的大小和形状的分割信息进行编码。

变换可以由一维变换矩阵来执行。例如，可以在离散余弦变换(DCT)、离散正弦变换(DST)、水平和垂直单元中自适应地使用每个变换矩阵。自适应使用可以基于诸如块的大小、块的形状、块的类型(亮度/色度)、编码模式、预测模式信息、量化参数、相邻块的编码信息等来确定。

例如，在帧内预测中，当预测模式是水平模式时，可以在垂直方向上使用基于DCT的变换矩阵，并且可以在水平方向上使用基于DST的变换矩阵。此外，当预测模式是垂直模式时，可以在水平方向上使用基于DCT的变换矩阵，并且可以在垂直方向上使用基于DST的变换矩阵。

变换矩阵不限于以上描述。其上的信息可以通过使用隐式或显式方法来确定，或者可以根据块的大小、块的形状、编码方式、预测模式、量化参数、相邻块的编码信息等中的至少一个因素或其组合来确定。相关的信息可以在序列、图片、条带、块等单元中进行发送。

这里，在使用显式方法的情况下，当用于水平和垂直方向的至少两个变换矩阵是候选组时，可以发送关于对每个方向使用哪个变换矩阵的信息。可选地，对水平和垂直方向使用哪个变换矩阵被分组成一对，至少两对形成候选组，并且可以发送关于在水平和垂直方向上使用哪个变换矩阵的信息。

此外，考虑到图像的特性，可以省略部分变换或整体变换。例如，可以省略水平和垂直分量之一或二者。当不能很好地执行帧内预测或帧间预测并且当前块和预测块之间的差较大时，即，当残差分量大时，残差分量的变换中的编码损失可能较大。这可以根据编码模式、预测模式、块的大小、块的形状、块的类型(亮度/色度)、量化参数、相邻块的编码信息等中的至少一个因素或其组合来确定。其可以根据上述条件通过使用隐式或显式方法来指示，并且其上的信息可以在序列、图片、条带等单元中进行发送。

量化单元215(参考图2)可以对通过变换单元210变换的残差分量执行量化。量化参数可以在块单元中确定，并且量化参数可以在序列、图片、条带、块等单元中进行设置。

例如，量化单元215可以通过使用从诸如当前块的左、左上、上、右上、左下等相邻块导出的一个或至少两个量化参数来预测当前量化参数。

此外，当不存在从相邻块预测的量化参数时，即当块位于图片、条带等的边界处时，量化单元215可以输出或发送与在序列、图片、条带等单元中发送的默认参数的差值。当存在从相邻块预测的量化参数时，可以通过使用块的量化参数来发送差值。

用于导出量化参数的块的优先级可以是预设的，并且可以在序列、图片、条带等单元中进行发送。残差块可以通过死区统一阈值量化(DZUTQ)、量化加权矩阵或由此改进的技术来量化。至少一种量化技术可以被设置为候选，并且可以基于关于编码模式、预测模式等的信息来确定。

例如，量化单元215可以将量化加权矩阵设置为应用于帧间编码、帧内编码等，并且基于帧内预测模式可以具有其他的加权矩阵。假定块的大小等于M×N大小的量化块的大小，则可以通过针对每个频率分量的位置具有不同的量化系数来配置量化加权矩阵。此外，量化单元215可以选择多个现有的量化方法之一，或者可以在相同的编码器/解码器设置下使用。其上的信息可以在序列、图片、条带等单元中进行发送。

同时，图2和图3中所示的逆量化单元220和315以及逆变换单元225和320可以通过逆执行变换单元210和量化单元215的处理来实现。也就是说，逆量化单元220可以对由量化单元215生成的量化的变换系数执行逆量化，并且逆变换单元225可以通过对逆量化的变换系数进行逆变换来生成重建的残差块。

图2和图3中所示的加法器230和324可以将由预测单元生成的预测块的像素值添加到重建的残差块的像素值以生成重建块。重建块可以存储在编码和解码图片缓冲器240和335中，以被提供给预测单元和滤波器单元。

滤波器单元235(参考图2)可以将诸如去块滤波器、样本自适应偏移(SAO)、自适应环路滤波器(ALF)等之类的环路滤波器应用于重建块。去块滤波器可以对重建块执行滤波以去除在编码和解码期间发生的块边界之间的失真。SAO是对原始图像和以残差块的像素单元偏移的重建图像之间的差进行重建的滤波器处理。ALF可以执行滤波以最小化预测块和重建块之间的差。ALF可以基于通过去块滤波器的重建块和当前块之间的比较值来执行滤波。

熵编码器245(参考图2)可以对量化单元215量化的变换系数执行熵编码。例如，可以执行上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、基于语法的上下文自适应二进制算术编码(SBAC)以及通过使用其它编码方法实现的除了概率间隔分割熵编码(PIPE)的编码。

熵编码器245可以包括量化系数被编码的比特串以及将编码的比特串解码为编码数据所需的信息。编码数据可以包括编码块的形状、量化系数、量化块被编码的比特串以及预测所需的信息。在量化系数的情况下，可以在一维中扫描二维量化系数。量化系数的分布可以根据图像的特性而不同。特别地，在帧内预测的情况下，由于系数的分布可以根据预测模式而不同，可以不同地设置扫描方法。

此外，熵编码器245可以根据要编码的块的大小而不同地设置。扫描图案可以预设为诸如之字形、对角线、光栅等之类的各种图案中的至少一种，或作为候选，可以根据关于编码模式、预测模式等的信息来确定，并且可以以在编码器和解码器上使用相同的设置。其上的信息可以在序列、图片、条带等单元中进行发送。

输入到熵编码器245的量化的块(在下文中的量化块)的大小可以等于或小于变换块的大小。此外，量化块可以被分割成至少两个子块，在这种情况下，分割块中的扫描模式可以被设置为与现有量化块的扫描模式相同，或者可以被不同地设置。

例如，当现有量化块的扫描图案是之字形图案时，可以将之字形图案应用于所有子块。可选地，可以将之字形图案应用于具有平均值(DC)分量的位于块的左上的子块，并且可以将对角线图案应用于其他的块。这也可以根据关于编码模式、预测模式等的信息来确定。

此外，熵编码器245中的扫描图案的开始位置基本上从左上开始，但是根据图像的特性可以从右上、右下或左下开始。关于选择至少两个候选组中的哪个的信息可以在序列、图片、条带等单元中进行发送。作为编码技术，可以使用熵编码技术，但不限于此。

同时，图2和图3中所示的逆量化单元220的逆量化和逆变换单元225的逆变换可以通过逆配置量化单元215的量化和变换单元210的变换并且通过组合基本的滤波器单元235和330来实现。

接下来，如下将描述可以应用于根据本发明的用于编码图像的装置的内插。

为了提高通过块匹配的预测的准确，以十进制单元而不是整数单元的分辨率执行内插。作为内插方法，存在DCT-IF(基于离散余弦变换的内插滤波器)等。在HEVC(高效视频编码)中使用DCT-IF技术作为内插方法。例如，像素以整数之间的1/2和1/4单元生成，并且对参考图片执行内插。对其进行参考来执行块匹配以生成预测块。

[表1]

像素位置	滤波器系数(fi)
		0	0，0，0，64，0，0，0，0
1/4	-1，4，-10，58，17，-5，1，0
		1/2	-1，4，-11，40，40，-11，4，-1
3/4	0，1，-5，17，58，-10，4，-1

[表2]

像素位置	滤波器系数(fi)
		0	0，64，0，0
1/8	-2，58，10，-2
		1/4	-4，54，16，-2
3/8	-6，46，28，-4
		1/2	-4，36，36，-4
5/8	-4，28，46，-6
		3/4	-2，16，54，-4
7/8	-2，10，58，-2

表1和表2分别示出了在亮度分量和色度分量中使用的滤波器系数。对于亮度分量来说，使用8抽头，对于色度分量来说，使用4抽头的DCT-IF。对于色度分量来说，可以根据颜色格式不同地应用滤波器。在YCbCr的4：2：0的情况下，可以应用如表2中所示的滤波器。在4：4：4的情况下，可以应用如表1中所示的滤波器或其他滤波器而不是如表2中所示的滤波器。在4：2：2的情况下，可以应用如表2中所示的水平1-D 4抽头滤波器以及如表1中所示的垂直1-D 8抽头滤波器。

如图15所示，1-D水平滤波可以应用于在第一像素(G)和与其相邻的第二像素(H)之间的位置a、b和c处的子像素(假定x)。这在以下等式中指示。

x＝(f1*E+f2*F+f3*G+f4*H+f5*I+f6*J+32)/64

接下来，1-D垂直滤波可以应用于在位置d、h和n处的子像素(假定y)。这在以下等式中指示。

y＝(f1*A+f2*C+f3*G+f4*M+f5*R+f6*T+32)/64

2D可分离滤波可以应用于在中心处的子像素e、f、g、i、j、k、p、q和r。例如，在子像素e的情况下，对子像素a和垂直方向上的像素执行内插，并且接下来，通过使用这些像素执行内插。执行1-D水平滤波作为G和H之间的子像素a的内插，并且对从其获得的子像素执行1-D垂直滤波，从而可以获得子像素e。类似的操作可以在色度信号上执行。

以上描述仅是对内插的部分描述。除了DCT-IF以外，还可以使用其他滤波器，并且滤波器类型和抽头数量可以根据十进制单元而不同。例如，8抽头卡尔曼滤波器被应用于1/2，6抽头维纳滤波器被应用于1/4，2抽头线性滤波器被应用于1/8，从而使得像DCT-IF那样计算固定的系数或滤波器系数，并且滤波器系数可以被编码。如上所述，对于一个图片来说可以使用一个内插滤波器，或者可以根据图像的特性对不同的区域使用不同的内插滤波器。可选地，生成其上应用了多个内插滤波器的至少两个参考图片，并且可以选择所述至少两个参考图片中的一个。

根据诸如参考图片的类型、时间层、参考图片的状态(例如，其是否是当前图片)等之类的编码信息，可以应用不同的滤波器。上述信息可以被设置并且可以在序列、图片、条带等单元中进行发送。

接下来，在对可以应用于根据实施例的用于编码图像的方法的关于运动估计、运动补偿和运动预测的改进技术进行详细描述之前，这些术语的基本含义将在下文中定义。

在要编码的当前块的运动预测中，运动估计是将图像帧分割成小块并且从在时间上之前或之后的编码帧(参考帧)上的哪个块估计位移的处理。也就是说，运动估计是在编码当前块时寻找与目标块最相似的块的处理。基于块的运动估计是估计视频对象或屏幕处理单元的块(宏块等)在时间上已经移动到的位置的处理。

在运动补偿中，使用先前编码的参考图像中的至少部分区域来对当前图像进行编码，并且基于在运动估计中获得的最优预测块的的运动信息(运动矢量、参考图片索引)来生成当前块的预测块以预测当前图像。也就是说，运动补偿是生成作为要编码的当前块和被识别为最相似块的参考块之间的差的误差块的处理。

“运动预测”表示在编码中找到用于运动补偿的运动矢量。作为用于运动预测的主要技术，存在跳过、时间预测、空间预测等。跳过是指当屏幕的运动恒定并且由编码器预测的运动矢量的大小为零或残差小到可以忽略不计时跳过图像块的编码。时间预测可以主要用于帧间预测，并且空间预测可以主要用于帧内预测。

通过帧间预测获得的信息可以包括用于识别参考图片列表的方向(单向(L0，L1)和双向)的信息、识别参考图片列表中的参考图片的索引、运动矢量等。由于使用了时间相关性，当利用当前块和相邻块具有相同或相似运动矢量的特性时，可以有效地编码运动信息。

如图16所示，可以根据关于当前图片的类型、时间标识符(temporal id)等的信息来确定是否对当前块的相邻块的候选组进行参考的设置，并且其上的信息可以被固定或者可以在序列、图片、条带等单元中进行发送。

这里，是否对候选组进行参考的设置可以包括仅使用空间上相邻的块(A,B,C,D,E)，或使用空间上相邻的块(A,B,C,D,E)和时间上相邻的块(H,I,J)，或使用空间上相邻的块(A,B,C,D,E)和空间上相距较远的块(F,G)的设置。

接下来，如下将描述“块匹配可被应用于当前图片”的设置。

首先，在I图片的情况下，例如，空间上相邻的块具有优先级，并且剩余的块可以被设置为候选组。例如，可以以E→D→C→B→A→H→I→J的顺序验证参考块的可用性。可用性可以与预设的参考值比较，或者可以与其他可用性检查值相比较。可用性可以基于候选块的编码模式、运动信息、候选块的位置等来确定。运动信息可以包括运动矢量、参考方向、参考图片索引等。

由于当前图片是I图片，仅在其中编码模式是帧间预测(在此为INTER)的实施例中存在运动信息。因此，按优先级顺序首先检查是否是INTER。例如，当n是3并且E在INTER中被编码时，E被从候选组中排除并且D被检查。当D在INTER中被编码时，由于在当前图片中执行块匹配，运动信息存在。基于运动信息，D被添加到候选组。随后，n是2。接下来，用于编码图像的装置可以再次检查优先级。结果，当获得三个最终候选时，停止搜索候选组。

可以基于编码模式以及图片、条带、瓦片等的边界来确定可用性。在边界的情况下，可用性被检查为不可用。当确定块与已经填补的候选相同或相似时，将该块从候选中排除，并且参考像素配置单元可以检查后续候选的可用性。

这里，INTER与现有的帧间预测(帧间)不同。也就是说，实施例的INTER模式使用帧间预测(帧间)的结构，但是在当前图片中生成预测块，并且因此实施例的INTER模式不同于其中在参考图片中生成预测块的帧间预测。也就是说，在实施例的编码模式中，在当前图片中的块匹配的方法可以被分类成INTER模式和帧内模式(与现有的帧内相同)。

由于缩放处理可以被包括或可以不被包括，在下文中运动矢量复制(MVC)和运动矢量预测(MVP)将被分别描述。

首先，将描述运动矢量预测(MVP)。

P图片或B图片的情况

除了上述候选(A,B,C,D,E,F,G,H,I,J)之外，还将描述时间候选(F,G)。在实施例中，对候选进行空间搜索、时间搜索、通过配置混合列表进行搜索，并且随后找到恒定的候选。

首先，确定候选的优先级，并根据优先级来检查可用性。运动矢量的候选数量(n)可以被设置为2，并且优先级可以与括号中所描述的相同。

例如，当进行空间搜索时，块可以被分类为下列各组。

组1_1＝{A，B，C，I，J}，(C→B→A→I→J)

组1_2＝{D，E，H}，(D→E→H)

在实施例中，基于当前块，两个组中的组1_1包括紧邻的上块、左上块和右上块。基于当前块，组1_2包括与当前块相邻的左块和不与其相邻的左块以及左下块。

在另一实施例中，可以通过分类成三个组来对运动矢量的候选块进行空间搜索。这三个组可以如下进行分类。

组1_1＝{A，B，C}，(C→B→A)

组1_2＝{D，E}，(D→E)

组1_3＝{H，I，J}，(J→I→H)

在实施例的三个组中，基于当前块，组1_1可以包括紧邻当前块的左块、与其相邻的左块，以及与其相邻的右上块。基于当前块，组1_2可以包括紧邻当前块的左块，以及在紧邻的左块下方的块。组1_3可以包括不与当前块相邻的块，其间至少有一个块的间隔。

组1_1＝{B}

组1_2＝{D}

组1_3＝{A,C,E},(E→C→A)

在实施例的三个组中，基于当前块，组1_1可以包括位于垂直方向上的块。基于当前块，组1_2可以包括位于水平方向上的相邻块。基于当前块，组1_3可以包括剩余的相邻块。

如上所述，P图片或B图片具有诸如参考方向、参考图片等之类的可参考信息，并且因此可以根据该信息来设置候选组。基于当前块，具有与当前块的参考图片不同的参考图片的候选块可以被包括在候选组中。可选地，考虑当前块的参考图片和候选块的参考图片之间的时间距离(图片计数(POC))，可以对块的矢量进行缩放并将其添加到候选组。此外，可以根据当前块的参考图片是哪个图片来添加缩放的候选组。此外，在当前块的参考图片和候选块的参考图片之间的时间距离超过预设的距离时，可以将缩放块从候选组中排除，否则，缩放块可以被包括在候选组中。

上述相似性检查是比较和确定已经被包括在预测候选组中的运动矢量和要新添加到其上的运动矢量之间的相似性的处理。根据定义，当x和y分量完全匹配时，或者当差在预设的阈值范围内时，可以设置“是”。

在实施例中，将参考图片是当前图片的条件用作示例，但也可以使用参考图片不是当前图片的条件。例如，可以使用诸如“排除使用比当前块指示的图片更远的图片的块”之类的设置。在实施例中，即使当前块与参考图片不同，也可以通过缩放将块添加到候选组中。

混合列表

当执行当前块的双向预测并且参考图片列表(L0，L1)中的每个参考图片存在运动信息时，可以根据预设的候选组的优先级来检查可用性。在这种情况下，根据优先级，首先检查在双向预测中编码的块。

当参考图片不同时，执行缩放。在对候选进行空间或时间搜索时，当仅将双向预测块添加到候选组时，并且当不超过候选的最大数量时，将候选块中在单向预测中编码的块添加到初步候选组，并且可以用候选的组合来生成用于双向预测的候选。

[表3]

候选索引	L0	L1
			0	mvA₁,ref1	mvA₂,ref0
1	mvB₁’,ref1	mvB₂’,ref0
			2	(mvC,ref0)
3		(mvD,ref0)
			4		(mvE,ref1)

(a)

候选索引	L0	L1
			0	mvA₁,ref1	mvA₂,ref0
1	mvB₁’,ref1	mvB₂’,ref0
			2	mvC’,ref1	mvD,ref0
3	mvC’,ref1	mvE’,ref0
			4

(b)

首先的是，假定当前块的双向预测的运动信息在L0中的编号1和L1中的编号0的参考图片中被参考。在表3(a)中，第一候选块的运动信息是(mvA1，ref1)和(mvA2，ref0)，并且第二候选块的运动信息是(mvB1’，ref1)和(mvB2’，ref0)。这里，撇号(’)表示缩放的矢量。在进行空间和时间搜索之后，当候选的数量是2并且n是5时，可以根据预设的优先级将先前步骤中的单向预测块添加到初步候选组。

在表3(a)中，还没有找到候选的最大数量，并且因此可以通过使用剩余的运动矢量mvC、mvD和mvE对缩放的单向候选进行组合来添加新的候选。

在表3(b)中，根据当前块的参考图片来缩放单向预测块的运动信息。这里，已经描述了通过使用单向候选来生成新组合的示例，但是通过使用双向参考图片(L0和L1)的运动信息，新候选的组合是可能的。该部分不在诸如单向预测等情况下执行的。此外，在当前块的参考图片是当前图片时，可以不执行该部分。

恒定候选

通过上述处理，当不能配置候选块的最大数量n(在实施例中为2)时，可以添加具有预设的固定坐标的恒定候选。可以使用具有诸如(0,0)、(-a，0)、(-2*a，0)和(0，-b)之类的固定坐标的恒定候选，并且恒定候选的数量可以被设置为候选的最大数量。

上述固定坐标可以被设置，或者可以使用直到该时间点的候选组中包括的至少两个运动矢量的平均值、加权平均值、中值等来添加恒定候选。当n是5并且直到该时间点获得了三个候选{(mvA_x，mvA_y)，(mvB_x，mvB_y)，(mvC_x，mvC_y)}时，为了找到剩余的两个候选，生成具有预设优先级的包括恒定候选的候选组，并根据优先级添加恒定候选。恒定候选组可以包括例如((mvA_x+mvB_x)/2，(mvA_y+mvB_y)/2)，((mvA_x+mvB_x+mvC_x)/3，(mvA_y+mvB_y+mvC_y)/3)，(median(mvA_x，mvB_x，mvC_x)，median(mvA_y，mvB_y，mvC_y))等的恒定候选。

此外，根据当前块的参考图片，可以不同地设置恒定候选。例如，在当前图片是参考图片时，可以设置诸如(-a，0)、(0，-b)和(-2*a，0)之类的恒定候选。在当前图片不是参考图片时，可以设置诸如(0,0)、(-a，0)、(average(mvA_x，...)，average(mvA_y，...))之类的恒定候选。其上的信息可以在编码器或解码器中预设，或可以在序列、图片、条带等单元中进行发送。

在下文中，将详细描述运动矢量复制(MVC)。

对P图片或B图片的解释

在实施例中，时间候选(F和G)被包括。候选组可以包括A、B、C、D、E、F、G、H、I和J。搜索顺序不是预设的，但是这里，对MVC候选进行空间搜索、时间搜索、以及通过配置混合列表进行搜索，并且随后添加恒定候选。

也就是说，上述部分也使用任意设置的搜索顺序，而不使用预设的顺序。确定优先级，并且根据优先级检查可用性。假定n是5，并且优先级与括号中的相同。

在下文中，将仅描述与上述运动矢量预测(MVP)的不同之处。MVP可以提供不带有缩放的下列步骤。对于空间候选而言，可用性可以被检查而不用进行缩放处理。然而，类似于MVC，可以从候选组中排除参考图片的类型、到当前块的当前图片的参考图片的距离等。

当存在混合列表时，可以根据在表4中所示的直到该时间点所添加的候选的组合来生成用于双向预测的候选。

[表4]

候选索引	L0	L1
			0	mvA,ref0
1	mvB,ref1
			2		mvC,ref0
3
			4

(a)

候选索引	L0	L1
			0	mvA,ref0
1	mvB,ref1
			2		mvC,ref0
3	mvA,ref0	mvC,ref0
			4	mvB,ref1	mvC,ref0

(b)

如在表4(a)中所示，通过将使用参考列表L0的候选和使用参考列表L1的候选进行组合，可以将新候选添加到运动矢量候选组。如在表4(b)中所示，当运动矢量的预设数量(即，5)不能被找到时，可以通过将L0的后续候选和使用L1的候选进行组合来添加新候选。

可以根据诸如MVP、MVC等之类的模式来执行编码以找到最优运动信息候选。

在跳过模式中，MVC可以用于执行编码。也就是说，在处理跳过标志之后，可以对关于最优运动矢量候选的信息进行编码。当只存在一个候选时，该处理可以被省略。可以通过对作为当前块和预测块之间差值的残差分量执行变换、量化等来进行编码,而不对运动矢量差值进行编码，

当不在跳过模式中，确定是否通过具有优先级的MVC来处理运动信息。当确定通过MVC来处理运动信息时，可以编码关于最优运动矢量的候选组的信息。当确定不通过MVC来处理运动信息时，可以通过MVP来处理运动信息。在MVP的情况下，可以编码关于最优运动矢量候选的信息。这里，当只存在一个候选时，运动信息的处理可以被省略。可以编码关于与当前块的运动矢量的差值、参考方向、参考图片索引等的信息，并且可以获得残差分量，并且随后可以在其上执行变换和量化。

诸如后续的熵和后置滤波等之类的编解码器的描述将被省略以避免冗长。

同时，在用于编码或解码图像数据的方法中，数据级(data-level)并行化是一种将并行化程序中要处理的数据分割成多个单元并将数据分配给不同的核心或线程以便并行执行相同操作的方法。理论上说，由于考虑到核心或线程的性能限制，当配置并行性时图像处理速度会变得更快，因此并行性是性能的重要因素之一。

并行处理的数据单元可以是帧、条带或块。在下文中，经由并行处理来执行帧间预测。

图17是图示在根据本发明实施例的用于编码图像的方法中，通过在当前块中的块匹配来生成预测块的示例性视图。图18是图示在根据本发明实施例的用于编码图像的方法中，编码区域中的通过至少一个块匹配被用作预测块的参考块的示例性视图。

实施例可以应用于当在当前块中执行块匹配时，通过帧间编码结构执行编码的情况。

参考图17，包括在中心处的块(B_t)的四个块是编码目标当前块，并且箭头指示参考块以及指示参考块存在于当前图片中的情况。

在图18中，块(rfb)表示编码区域中的通过至少一个块匹配被用作预测块的参考块。

在已经在当前块之前被编码的区域的情况下，由于在当前图片中的块匹配仍在应用诸如去块滤波器和样本自适应偏移(SAO)之类的环路滤波器之前，因此在当前图片中的块匹配可能导致并行处理方面的问题。因此，在应用块匹配的滤波之前，可能需要另外的存储器。此外，在已经被编码的区域的情况下，因为该区域在应用环路滤波器之前已被编码，由于块之间的劣化可能难以生成最优预测块。

根据实施例，当引用用于解码图片缓冲器(DPB)中的当前图片以及当前图片中的其他块的存储器时，可能需要另外的存储器。这里，另外的存储器可以是与用于当前图片的现有存储器不同的当前图片存储器，或者可以是在编码或解码处理中使用的临时的当前图片存储器。此外，可能需要用于并行处理的另外的大容量存储器。

此外，当应用诸如去块滤波器和SAO之类的环路滤波器时，可以使用用于当前图片的存储器，并且当未应用环路滤波器时，可以使用另外的存储器。此外，根据环路滤波器的操作设置，在序列参数集、图片参数集、条带头等单元中可以不需要另外的存储器。例如，在去块滤波器关闭的环路滤波器操作设置中，SAO关闭以及ALF关闭，可以不需要另外的存储器，并且环路滤波器可以被配置为包括上述配置中的一些或另一配置。

如上所述，当前块在另一个块中参考的参考块可以被存储在另外的存储器中。这另外地减少了可用存储器的容量，并且因此有必要避免这种减少。在下文中，将描述通过自适应滤波来防止不必要的存储消耗。

参考图19，根据实施例的用于编码图像的装置可以包括预测单元200、加法器205、变换单元210、量化单元215、逆量化单元220、逆变换单元225、减法器230、解码图片缓冲器(DPB)240、熵编码器245、滤波跳过确认单元250、跳过选择电路260和滤波器单元290。

这里，预测单元200可以包括用于帧内预测的第一预测装置201和用于帧间预测的第二预测装置202。第一预测装置可以被称为帧内预测单元，并且第二预测装置可以被称为帧间预测单元。此外，加法器205和减法器230可以分别被称为第一加减单元和第二加减单元。

此外，滤波跳过确认单元250位于第二加减单元230和滤波器单元290之间，并且跳过选择电路260位于滤波跳过确认单元250和滤波器单元290之间的空间中以及滤波跳过确认单元250和解码图片缓冲器240之间的空间中。滤波跳过确认单元250基于来自滤波跳过标志的选择信息来控制跳过选择电路260，从而自适应地执行去块滤波。

此外，滤波器单元290可以被称为环路滤波器单元，并且可以包括去块滤波器270、采样自适应偏移(SAO)280和自适应环路滤波器(ALF)中的至少一个。滤波器单元290可以对重建图像执行滤波。

如下将详细描述去块滤波器270。也就是说，在预测、变换、量化和熵编码处理期间，在量化步骤中可能发生量化误差。使用量化参数值对其进行调整。当量化参数值较小时，对变换系数执行密集的量化，并且因此量化误差可能相对较小。当量化参数值较大时，量化误差可能相对较大。为了解决这个问题，对重建图片进行滤波，并因此可以减少图像质量劣化。为此，在根据实施例的用于编码图像的方法及其装置中，可以应用后置滤波或者使用去块滤波器的环路滤波。环路滤波器可以充当HEVC的基本编解码器。

参考图19，添加了滤波跳过确认单元250。滤波跳过确认单元250可以基于指示利用参考块的标志来控制跳过选择电路260以应用滤波器单元290以及选择跳过模式。相应地，无需另外的存储器，可以通过使用一个解码图片缓冲器(DPB)240来执行并行处理。

因此设置信息在编码器和解码器中可以是相同的，并且可以在编码器和解码器之间通过在序列、图片、条带等单元中进行发送。

图20是图示根据本发明实施例的用于解码图像的装置的框图。

参考图20，根据实施例的用于解码图像的装置可以包括：熵解码器305、逆量化单元315、逆变换单元320、第二加减单元、预测单元310、滤波器单元330、解码图片缓冲器(DPB)335a、滤波跳过确认单元350以及跳过选择电路360。

这里，预测单元310可以包括用于帧内预测的帧内预测单元311以及用于帧间预测的帧间预测单元312。滤波器单元330可以包括去块滤波器370以及样本自适应偏移(SAO)380。

滤波跳过确认单元350位于第二加减单元和滤波器单元330之间。跳过选择电路360位于滤波跳过确认单元350和滤波器单元330之间的空间中以及滤波跳过确认单元350和解码图片缓冲器335a之间的空间中。滤波跳过确认单元350基于来自滤波跳过标志的选择信息来控制跳过选择电路360，从而对编码块、预测块或变换块自适应地执行去块滤波。

也就是说，实施例的解码器可以基于从编码器发送的标志来指示切换操作，该切换操作指示是否跳过滤波。当滤波被跳过时，数据存储在DPB 335a中，否则，对数据执行滤波，并且数据在显示设备等上输出，或者数据被存储在DPB 335a中。也就是说，在获得重建图片并对重建图片进行滤波后，用于解码图像的装置可以将重建图片输出到显示设备，并且可以将重建图片存储在DPB 335a中以用作帧间预测中的参考图片。

用于上述滤波的标志可以在不同大小的块单元中进行发送。例如，如图21a所示，当最大编码单元是64×64时，标志可以被发送到最大编码单元。最大编码单元可以对应于编码树单元(CTU)。

此外，如图21b所示，最大编码单元可以以分割的编码单元进行发送。当在分割的单元中生成标志时，基于树的分割是可能的。在实施例中，最大编码单元可以被分割成四个子编码单元，或者四个子编码单元中的至少一个可以进一步被分割成四个子编码单元。

此外，如图21c所示，至少一个最大编码单元可以在捆绑(bundle)单元中发送。在实施例中，四个最大编码单元可以在一个捆绑单元中发送。

此外，如图21d所示，在捆绑单元中发送至少一个最大编码单元和以多个子编码单元发送最大编码单元的组合可以是可能的。

在上述情况下，分割方法是作为示例的基于四叉树的分割，但是可以根据用于分割单元的分割方法以各种块的大小和形状来执行分割。

关于块的最大大小和块的最小大小的信息可以在编码器和解码器中被同等地设置，并且其上的信息可以在序列、图片、条带等单元中进行发送。

参考图22，在根据实施例的用于编码或解码图像的方法中，可以发送用于自适应滤波的标志。

例如，当参考至少一个分割块时，即，当存在没有对其应用环路滤波器的任何块时，执行分割。当不能执行另外的分割时，可以发送用于自适应地应用环路滤波器的开/关标志。可以根据块的最大大小、图片类型等来确定用于对块进行分割的深度。然而，当所支持的深度是0时，可以不执行分割。其上的信息可以在序列、图片、条带等单元中进行发送。在实施例中，块的最大大小是64×64，并且所支持的深度最多到3(8×8)。这里，在发送块的分割信息的情况下，当相关的标志具有为1的值时，这表示块被分割，并且当相关的标志具有为0的值时，这表示块不被分割。可以根据Z扫描方向生成分割信息。

首先，表示用于64×64块(树结构的顶部)的分割的标志1(64×64分割)被发送，用于左上块(32×32)的标志1(32×32分割)被发送，以及标志0(16×16确定)、标志0(16×16确定)、标志0(16×16确定)和标志0(16×16确定)的4个子块(16×16)的分割信息可以被发送。接下来，用于右上块的标志0(32×32确定)被发送，表示不执行另外的分割，并且用于左下块的标志0(32×32确定)可以被发送。用于右下块(32×32)的标志1(32×32分割)被发送，并且用于左上块(16×16)的标志1被发送。在左上块(16×16)的情况下，其子块的大小(8×8)等于所支持的深度(8×8)，并因此不发送用于子块(8×8)的分割标志。可以发送用于剩余的块(16×16)的标志0(16×16确定)、标志0(16×16确定)和标志0(16×16确定)。也就是说，1100000011000可以作为指示是否执行分割的数据被发送。

通过以上处理，可以生成指示是否执行分割的信息，并随后可以生成关于是否应用滤波的信息。通过以上处理，可以以Z扫描方向发送是否对13个块应用滤波的标志0,0,1,1,0,1,1,0,1,0,0,1和0。

用于指示与块的分割信息有关的标志的分割标志的比特流结构可以选择一个或多个扫描方法中的一个。如上所述，利用Z扫描可以优先获得关于基于初始块所分割的块的另外的分割信息。可选地，存在一种遵循深度顺序的基于Z扫描的方法，其中获得基于初始块的当前级别深度处的分割信息，并且随后获得在后续级别深度处的分割信息。当使用上述方法时，可以发送标志1(64×64分割)、标志1(32×32分割)、标志0(32×32确定)、标志0(32×32确定)、标志1(32×32分割)、标志0(16×16确定)、标志0(16×16确定)、标志0(16×16确定)、标志0(16×16确定)、标志1(16×16分割)、标志0(16×16确定)、标志0(16×16确定)和标志0(16×16确定)。也就是说，1100100001000可以作为指示是否执行分割的数据被发送。可以使用在上述示例中没有示出的其他扫描方法。

在图22中，圆圈可以表示分割标志，方块可以表示滤波应用标志，斜线可以表示应用分割或滤波，以及无色可以表示不应用分割或滤波。

在实施例中，由于没有应用环路滤波器，所以在所编码的当前图片的数据中存在块之间的劣化。用于存储数据的存储器可以是用于编码或解码当前图片的临时存储器。当通过块匹配对劣化的数据进行参考时，由于块之间的劣化，预测的准确度可能降低。在这种情况下，在块的编码完成之前以及在进行到后续块之前，用于减少块劣化的滤波被应用在当前块的左侧和上侧之间的边界处，从而减少块劣化。

此外，右侧和下侧之间的边界可以在要编码的后续块中进行处理。可以根据诸如块边界的类型、块的最小大小等之类的预设的条件来确定要对其应用滤波的块边界。可以对变换块的边界、预测块的边界或者变换块和预测块公共的块边界执行滤波。可以设置执行滤波的块的最小大小，并且其上的信息可以在序列、图片、条带等单元中进行生成或发送。

此外，通过分析块边界处的块的特性，例如，编码模式、块边界特性、预测信息、编码系数等，可以设置是否应用滤波、滤波应用像素、滤波器类型等。与其相关的设置信息可以在编码器和解码器中被同等地设置，并且可以在序列、图片、条带等单元中进行发送。在上述实施例中所使用的滤波可以使用与现有的去块滤波器相同的配置或者一些其他的配置。

图23是图示在根据本发明实施例的用于编码图像的方法和用于解码图像的方法中的滤波处理的流程图。

参考图23，根据实施例的用于编码或解码图像的方法可以包括滤波步骤。

也就是说，实施例的滤波步骤可以包括在S231中的块边界确认步骤、在S233中的滤波强度设置步骤、在S235中的滤波应用确定步骤和在S237中的滤波应用步骤。

在S231中的块边界确认步骤、在S233中的滤波强度设置步骤、在S235中的滤波应用确定步骤和在S237中的滤波应用步骤可以由存储器(参考图1的附图标记18)或处理器(参考图1的附图标记14)来实现。存储器存储其程序、程序代码或软件模块，并且处理器耦合到存储器以执行程序。

也就是说，在根据实施例的用于编码或解码图像的装置中，滤波控制器(其为执行存储在相邻存储器中或从远程存储器发送的程序代码的处理器，或者是处理器的功能或结构部分)可以包括：实施在S231中的块边界确认步骤的块边界确认单元；实施在S233中的滤波强度设置步骤的滤波强度设置单元；实施在S235中的滤波应用确定步骤的滤波应用确定单元；以及实施在S237中的滤波应用步骤的滤波应用单元。

在下文中，将详细描述上述滤波步骤。

图24是图示可以应用于图23的用于编码图像的方法的预测块或变换块的示例性视图。

参考图24，在根据实施例的用于编码/解码图像的装置中，实施在S231中的块边界确认步骤的块边界确认单元将预设条件与要应用滤波处的块边界进行比较。当满足预设条件时，可以对边界应用滤波，否则，可以不应用滤波。预设条件可以包括诸如哪个块边界、块的最小大小等之类的设置信息。

此外，块边界确认单元可以对执行变换的块之间的边界或者对执行预测的块之间的边界执行滤波。关于是否对变换块边界执行滤波或者对预测块边界执行滤波或者以并行方式执行两者的设置信息可以在序列、图片、条带等单元中进行设置和发送。

此外，在块边界确认步骤S231中，可以设置执行滤波的块(M×N)的最小大小。该设置可以在序列、图片、条带等单元中进行发送。通过块分割单元，可以确定环路滤波器(在实施例中为去块滤波器)的块的大小和形状。可选地，可以根据另一类型的块的大小和形状进行确定。例如，块的最小大小可以等于或大于预测单元或变换单元的最小大小。预测块或变换块以64×64、32×32、16×16、8×8、4×4等的大小提供，并且可以以M×N的长方形形状提供。

在图24中，块边界(VEB1，VEB2，VEB3，VEB4)指示对其应用滤波的垂直边界。在图24中，块边界可以进一步包括对其应用滤波的水平边界。在图24中，当块的最大大小是64×64时，要对其应用滤波的块的最小大小可以是16×16。在这种情况下，块的最小大小可以根据色度分量或亮度分量的颜色格式或者针对每个色度分量来设置。

在图24中，当仅对垂直边缘边界的块边界应用滤波的情况下，第一编码单元(CU#1)可以是被分割成两个32×64大小的预测单元(PU)的64×64大小的CU(编码单元)，第二编码单元(CU#2)可以是作为一个64×64大小的预测单元(PU)的64×64大小的CU，第三编码单元(CU#3)可以是被分割成两个32×64大小的预测单元(PU)的64×64大小的CU，并且第四编码单元(CU#4)可以是被分割成两个32×64大小的预测单元(PU)的64×64大小的CU。当对水平边缘边界应用滤波时，除了第二编码单元之外的每个编码单元可以被分割成更多数量的预测单元。

参考图25，在根据实施例的用于编码/解码图像的装置中，实施在S233中的滤波强度设置步骤的滤波强度设置单元可以通过分析位于块边界的相对侧上的块的特性来设置使用哪个滤波器。也就是说，滤波强度设置单元可以基于使用哪个滤波器来确定滤波强度。

也就是说，滤波强度设置单元可以使用用于设置滤波强度的诸如块的编码模式、块边界特性、预测信息、编码系数等之类的信息。块边界特性可以包括关于块之间的边界是在编码单元还是在变换单元中的信息，并且预测信息可以包括关于帧内预测模式、运动矢量、参考图片等的信息。

基于上述信息，滤波强度设置单元可以确定对块边界应用哪个滤波强度或是不应用滤波。也就是说，滤波强度设置单元可以基于像素值来确定滤波强度，但这不是限制性的，并且可以基于块的信息来确定滤波强度。

当基于像素值确定滤波强度时，设置滤波强度的边界的像素单元可以是至少一行或一列。由于块边界特性，滤波强度可以根据要应用滤波的最小块的宽度和高度成比例地来确定。根据实施图片，滤波强度可以在条带中以固定的像素单元进行设置。与其相关的信息可以在编码器和解码器中被同等地设置，并且可以在序列、图片、条带等单元中进行发送。

在色度分量的情况下，如图25所示，通过使用具有介于其间的块边界(B5)的两个相对侧块(例如，P块和Q块)的编码信息，可以确定边界强度(BS)或滤波强度。例如，有可能参考P块像素的亮度分量，即与集合{p(3,0),p(2,0),p(1,0),p(0,0),p(3,1),p(2,1),p(1,1),p(0,1),p(3,2),p(2,2),p(1,2),p(0,2),p(3,3),p(2,3),p(1,3),和p(0,3)}中的元素相对应的像素处的滤波强度。此外，有可能参考Q块的像素的亮度分量，即，与集合{q(3,0),q(2,0),q(1,0),q(0,0),q(3,1),q(2,1),q(1,1),q(3,2),q(2,2),q(1,2),q(0,2),q(3,3),q(2,3),q(1,3),和q(0,3)}中的元素相对应的像素处的滤波强度。

例如，当两个块的大小等于或大于预设的大小时，参考亮度分量，否则，参考色度分量以设置滤波强度。在色度分量的情况下，所支持的滤波的类型和数量可以与亮度分量所支持的滤波的类型和数量相同或不同。例如，在亮度分量中，以0、1和2的强度应用滤波，并且在色度分量中，以0和1的强度应用滤波。

图26a至图26c是图示在图25的用于编码图像的方法中图像内的像素值的图案(pattern)的示例性视图。

在根据实施例的用于编码/解码图像的装置中，在通过滤波强度设置单元基于两个块(参考图25的在块边界B5的相对侧上的块)的信息确定了初级滤波强度后，滤波应用确定单元可以基于在块边界处的重建像素确定是否应用通过滤波强度设置单元获得的滤波强度。

如图26a和26b所示，当相邻像素之间存在变化或不存在变化时，相邻像素之间的变化是线性的，并且因此应用滤波以减少量化误差。

同时，如图26c所示，在相邻像素(p2,0和p1,0)之间的阶梯边缘形状的情况下，滤波可能使实际边缘失真，并且因此滤波可能阻碍编码效率。因此，在实施例中，通过检查关于在两个块的边界处的像素的变化量，可以确定是否应用滤波或者可以确定滤波应用像素。

在根据实施例的用于编码/解码图像的方法中，假定对垂直边界设置滤波强度。滤波强度被假定为从0到2的范围。

参考图27，在实现根据实施例的用于编码/解码图像的方法的用于编码/解码图像的装置中，在步骤S271中滤波控制器可以确定两个块中的任何一个是否被帧内编码。当确定结果为“是”时，在步骤S272中边界强度(BS)或滤波强度可以被设置为2。这里，当滤波强度具有高数字时，其表示滤波强度强。

作为在步骤S271中的确定结果，当两个块被帧间编码时，滤波控制器比较两个块的编码系数以确定滤波强度。也就是说，在步骤S273中滤波控制器可以确定一个块(P或Q)是否具有至少一个要编码的非零系数。当确定结果为“是”时，在步骤S277中滤波控制器可以将边界强度(BS)(即，滤波强度)设置为1。

同时，作为在步骤S273中的确定结果，当两个块不具有要编码的系数时，在步骤S274中滤波控制器可以确定参考图片(参考或ref)是否彼此相同或不同。当确定结果为“是”时，在步骤S277中滤波控制器可以将边界强度(BS)(即，滤波强度)设置为1。

同时，作为在步骤S274中的确定结果，当两个块不具有不同的参考图片时，在步骤S275中滤波控制器可以确定两个块的运动矢量的数量是否彼此不同。当确定结果为“是”时，在步骤S277处滤波控制器可以将边界强度(BS)(即，滤波强度)设置为1。

同时，作为在步骤S275中的确定结果，当两个块的运动矢量的数量相同时，在步骤S276中滤波控制器可以确定运动矢量之间的x和y分量的差是否等于或大于预设等级。当确定结果为“是”时，在步骤S277中滤波控制器可以将边界强度(BS)(即，滤波强度)设置为1。假定运动矢量精度为1/4，则以1/4为单元的数字4可以对应于以整数为单元的1。因此，根据运动矢量的精度，边界强度或边界值可以不同。例如，当两个块中的一个的运动矢量精度是整数并且另一个块的运动矢量精度是1/4时，可以通过将具有整数单元的块的运动矢量精度改变为1/4来执行步骤S276。可选地，当两个块中的一个块的运动矢量精度是1/4并且另一个块的运动矢量精度是1/8时，步骤S276处的x和y分量的差值设置可以从4改变到8。可选地，当两个块的运动矢量精度是整数时，可以通过将两个块的运动矢量精度改变成1/4来执行步骤S276。

同时，当在步骤S276中的确定结果为“否”时，滤波控制器可以确定两个块具有高相似性，并且可以将边界强度(BS)或滤波强度设置为0。这里，滤波强度为0表示不执行滤波。

在实施例中，步骤S271至S278的一系列步骤是可以修改的。例如，通过根据参考图片的距离来执行缩放可以省略在步骤S274中的确定是否使用另一参考图片。可以根据图像特征来修改在步骤S275中的确定运动矢量的数量之间的不同。此外，不同于步骤S273，即使两个块的编码系数具有非零系数，也可以在与频率系数位于频带的特定部分并且等于或小于预设等级的情况相同的条件下进行比较或确定。这里，位于频带的特定部分的情况可以包括：位于包括N×N频率块中的DC(直流)分量的低频分量的左上角的情况；以及非零系数在诸如<0,0>，<1,0>和<0,1>之类的位置处出现并且在其他位置处不出现的情况，并且其修改也是可能的。

与图27的实施例相比，本实施例是在当前图片作为参考图片被包括并且使用帧间编码方法的情况下的示例。与图27实施例重叠的部分的描述将被省略。

参考图28，在步骤S271处滤波控制器可以确定两个块(P和Q)中的任何一个是否被帧内编码。当确定结果为“是”时，边界强度(BS)或滤波强度可以被设置为2。当结果为“否”时，在步骤S271a中可以确定两个块中的任何一个是否使用当前图片作为参考图片。

当在步骤S271a中的确定结果为“是”时，滤波控制器可以将边界强度(BS)设置为2。同时，当结果为“否”时，在步骤S273中滤波控制器可以确定一个块(P或Q)是否具有至少一个要编码的非零系数。当在步骤S273处的确定结果为“是”时，滤波控制器可以将边界强度(BS)设置为2。当在步骤S273中的确定结果为“否”时，滤波控制器可以以图27的顺序执行其步骤S274至S278。

如上所述，在根据实施例的用于编码/解码图像的方法中，滤波强度可以根据块的参考图片是哪个图片而不同。同时，在实施例中，当两个块被帧间编码时，可以确定一个块是否使用当前图片作为参考图片，但是本发明不限于此，并且修改是可能的。

参考图29，在实现根据实施例的用于编码/解码图像的方法的用于编码/解码图像的装置中，当两个块具有当前图片作为参考图片时，在步骤S276a中滤波控制器可以将边界强度(BS)或滤波强度设置为1。

本实施例的滤波处理基本上可以等同于图27的实施例，除了在步骤S276中确定了运动矢量之间的x和y分量的差是否等于或大于两个块中的至少一个块的预设等级并且其结果为“否”后，执行在步骤S276a中的确定两个块(P和Q)是否使用当前图片作为参考图片(ref)之外。

本实施例是当前图片作为参考图片被包括并且使用帧内编码方法的示例。

参考图30，在实现根据实施例的用于编码/解码图像的方法的用于编码/解码图像的装置中，在步骤S271中滤波控制器可以确定两个块中的任一个是否被帧内编码。

当在步骤S271中的确定结果为“否”时，在步骤S273中滤波控制器可以确定一个块(P或Q)是否具有至少一个非零系数。当在步骤S273中的确定结果为“否”时，在步骤S274中滤波控制器可以确定参考图片(参考或ref)是否彼此相同或不同。当在步骤S274中的确定结果为“否”时，在步骤S275中滤波控制器可以确定两个块的运动矢量的数量是否彼此不同。当在步骤S275中的确定结果为“否”时，在步骤S276中滤波控制器可以确定运动矢量之间的x和y分量的差是否等于或大于预设等级。当在步骤S276中的确定结果为“否”时，滤波控制器可以确定两个块具有高相似性，并且在步骤S278中可以将边界强度(BS)或滤波强度设置为0。同时，当在步骤S273、S274、S275和S276中的确定结果为“是”时，在步骤S277中滤波控制器可以将边界强度(BS)(即，滤波强度)设置为1。

同时，当在步骤S271中的确定结果为“是”时，在步骤S271b中滤波控制器可以确定两个块(P和Q)是否执行帧内块匹配(intraMB)。当在步骤S271b中的确定结果为“否”时，在步骤S272处滤波控制器可以将边界强度(BS)或滤波强度设置为2。

同时，当在步骤S271b中的确定结果为“是”时，在步骤S273b中滤波控制器可以确定一个块(P或Q)是否具有至少一个要编码的非零系数。当步骤在S273b中的确定结果为“否”时，在步骤S275b中滤波控制器可以确定两个块的运动矢量的数量是否彼此不同。当步骤S275b中的确定结果为“否”时，在步骤S276b中滤波控制器可以确定运动矢量之间的x和y分量的差是否等于或大于预设等级。当在步骤S276b中的确定结果为“否”时，滤波控制器可以确定两个块具有高相似性，并且在步骤S278中可以将边界强度(BS)或滤波强度设置为0。当在步骤S273b、S275b和S276b中的确定结果为“是”时，在步骤S277中滤波控制器可以将边界强度(BS)(即，滤波强度)设置为1。

根据实施例，当两个块中的任何一个被帧内编码并且两个块不通过在当前图片中的块匹配被编码时，滤波强度可以被设置为2。此外，当两个块通过在当前图片中的块匹配被编码并且两个块中的任何一个具有要编码的非零系数时，滤波强度被设置为1。此外，当两个块不具有要编码的系数并且两个块的运动矢量的数量彼此不同时，滤波强度可以被设置为1。此外，当两个块的运动矢量的数量相同并且每个运动矢量的x和y分量的差等于或大于预设等级时，滤波强度可以被设置为1。当差小于预设等级时，两个块间的相似性较高并且滤波强度被设置为0。即，在实施例中，可以根据哪个参考图片被使用来不同地设置滤波强度。

图31至图33是图示在图23的用于编码图像的方法中的滤波应用确定处理的示例性视图。

参考图31至图33，滤波控制器可以计算每个块中的变化量和两个块边界处的变化量以确定滤波应用。在块边界(B5)相对侧的两个块中的左块被称为P块，以及右块被称为Q块。

P块中的变化量如下所示。

dp0＝|p(0,0)-p(1,0)x 2+p(2,0)|

dp1＝|p(0,1)-p(1,1)x 2+p(2,1)|

dp2＝|p(0,2)-p(1,2)x 2+p(2,2)|

dp3＝|p(0,3)-p(1,3)x 2+p(2,3)|

在变化量中，dpx(x包括0,1,2或3)指示对应像素中的变化量。

Q块中的变化量如下所示。

dq0＝|q(0,0)-q(1,0)x 2+q(2,0)|

dq1＝|q(0,1)-q(1,1)x 2+q(2,1)|

dq2＝|q(0,2)-q(1,2)x 2+q(2,2)|

dq3＝|q(0,3)-q(1,3)x 2+q(2,3)|

在上述变化量中，dqx(x包括0,1,2或3)指示对应像素中的变化量。

P块和Q块的块边界(B5)中的变化量如下所示。

dpq0＝|p(0,0)-q(0,0)|

dpq1＝|p(0,1)-q(0,1)|

dpq2＝|p(0,2)-q(0,2)|

dpq3＝|p(0,3)-q(0,3)|

在上述变化量中，dpqx(x包括0,1,2或3)指示对应像素中的变化量。

如上所述，可以以每个像素线(line)为单元测量变化量，或者可以以至少两个像素线为单元测量变化量。在是否以捆绑像素线为单元应用滤波的情况下，在随后的步骤中，可以确定滤波强度、滤波应用像素、滤波器系数等。

至少一个变化量可以被考虑，并且根据实施方式，除了上述三个变化量之外，还可以考虑另外的变化量。当考虑上述三个变化量时，可以通过将变化量与各自的边界值进行比较来确定是否应用滤波。

例如，在为了说明而限制于第一线时，P块中的变化量、Q块中的变化量以及PQ块边界(B5)处的变化量小于边界值(threshold_P，threshold_Q和threshold_PQ)，滤波被应用，并且当其大于边界值时，可以不应用滤波。

作为另一示例，当块边界中的变化量大于边界值并且块中至少一个的变化量小于边界值时，可以不应用滤波。

作为另一示例，当P块的变化量大于边界值并且Q块的变化量和PQ块边界的变化量小于边界值时，对P块变化量发生处的阶梯边缘部分进行检测，并且因此仅对所检测的Q块和P块中的阶梯边缘处部分执行滤波。

如上所述，可以在滤波应用单元中应用有限制的滤波。在这种情况下，可以通过量化参数、比特深度等来设置边界值。当两个块的量化参数不同时，可以选择两个块的量化参数中的一个或者可以使用其平均值。当通过平均值来设置边界值时，可以使用四舍五入来进行小数单元的处理。

此外，是否应用滤波可以基于像素值来确定。在这种情况下，是否应用滤波可以通过利用两个块的编码信息来确定。在这种情况下，如图31所示，两个块的编码模式可以是帧内模式，并且两个块的预测模式信息可以是相同的。应用滤波的边界可以是水平边缘边界，或者可以是由于两个块被包括在一个预测单元中但却具有不同的变换单元而获得的边界。

此外，如图32所示，通过两个块的模式，滤波控制器可以确定两个块有可能是在水平方向上存在连续相关性的块。在这种情况下，不同于图31的说明，滤波控制器可以在不测量变化量的情况下确定应用滤波。

此外，如图33所示，当两个块的编码模式是帧内模式并且两个块的预测模式信息相同时，滤波控制器可以测量上述变化量并且由于阶梯边缘出现的高可能性从而确定在像素单元中应用滤波。

根据实施例，滤波控制器或包括滤波控制器的用于编码/解码图像的装置可以基于两个块的编码模式、预测模式信息等，通过考虑两个块之间的相关性来确定是否应用滤波。由于编码系数可能影响滤波应用，滤波控制器可以考虑编码系数。

此外，当两个块的编码模式是帧内模式时，并且在两个块的预测模式中，左块是DC模式而右块是水平模式，并且当左块至少具有一个非零系数而右块不具有非零系数时，可以将左块确定为复杂区域并且该块的变化量可能等于或大于上述设置的边界值。然而，在这种情况下，由于图像特性指示复杂区域而不是边缘区域，变化量可能较高。因此，即使当变化量超过边界值时，也可以应用滤波。如上所述，除了测量变化量之外，还可以检查预测模式信息、编码系数等以确定是否应用滤波。

同时，在上述实施例中以滤波强度为0，1和2的情况作为示例，但也可以支持更小或更大的强度。这可以根据编码器/解码器的设置来进行修改，并且可以在序列、图片、条带等单元中进行发送。

再次参考图23，在S237处实施滤波应用步骤的滤波应用单元可以根据所确定的滤波强度和应用滤波的结果来应用滤波。滤波应用单元可以根据所确定的滤波强度以及通过除此之外的基于像素的分析来确定滤波器以及要应用于滤波的像素。该确定可以在基于前一阶段中应用的像素线的前进之后执行。

此外，滤波应用单元可以通过分析块边界处的像素的变化量来应用滤波。例如，可以基于下列1)至3)中的像素变化量(P块和Q块处的变化量，以及PQ边界处的变化量)来确定滤波强度和应用像素。根据变化量是大于还是小于边界值的结果，至少一个滤波器被选择用于滤波的应用。这里，不同的边界值可以应用于各自的情况。这里，边界值可以根据两个块的量化参数、比特深度等来确定。滤波器可以包括，例如强滤波器、弱滤波器等。

1)|p(0,0)-p(1,0)x 2+p(2,0)|+|q(0,0)-q(1,0)x 2+q(2,0)|

2)|p(0,0)-p(3,0)|+|q(0,0)-q(3,0)|

3)|p(0,0)-q(0,0)|

这里，可以基于在滤波中应用的像素的数量或者上述结果来确定滤波应用单元。也就是说，滤波应用单元可以对预设的候选像素应用滤波，或者可以基于上述结果设置不执行滤波的像素。滤波器可以具有以FIR(有限脉冲响应)形式的低通滤波器的特性。可以根据滤波器强度和/或像素的位置自适应地确定滤波器的输入像素。

此外，滤波应用单元可以根据两个块的编码模式来确定滤波器的应用像素。通常，在块的水平边界处，对垂直方向上的像素应用滤波，并且在垂直边界处，对水平方向上的像素应用滤波。然而，在实施例中，当两个块的编码模式是帧内模式以及两个块的预测模式是垂直模式时，并且在当前块的边界是垂直边界时，可以对水平边界处的水平像素执行滤波，以便减少量化误差。

此外，由于两个块中像素之间的垂直相关性高，当对垂直方向上的像素执行滤波时，与在水平方向上执行滤波的情况相比，可以有效地减少量化误差。在这种情况下，如下列1)和2)所示，可以获得垂直边界的垂直方向上的像素的像素变化量。根据变化量是大于还是小于边界值的结果，选择并且应用至少一个滤波器。此外，可以基于上述结果来确定在滤波中应用的像素数量。

1)|p(0,0)-p(0,1)|+|p(0,1)-p(0,2)|+|p(0,2)-p(0,3)|

2)|q(0,0)-q(0,1)|+|q(0,1)-q(0,2)|+|q(0,2)-q(0,3)|

此外，为了减少两个块之间的块劣化，滤波应用单元可以通过测量块边界处的像素之间的变化量来应用滤波。

根据实施例，当通过对当前图片进行块匹配来生成预测块时，可以根据去块滤波器是在现有帧内预测模式下还是在帧间预测模式下进行处理来确定其强度。当以帧间预测模式进行处理时，除了诸如两个块的编码模式、是否存在相同的参考图片、运动矢量的大小等之类影响去块滤波器强度确定的条件之外，还可以基于参考图片索引来确定滤波强度。

在实施例中，当自适应去块滤波被用于对编码图像进行解码的处理中时，用于编码图像的方法可以由用于解码图像的方法来代替。此外，用于编码/解码图像的方法可以由图像处理装置或用于编码和解码图像的装置来执行，其中该装置具有至少一种用于编码和解码的组件或用于执行对应于该组件功能的组件。

根据实施例，提供了一种高性能和高效率的图像编码/解码技术，其通常可用于使用帧内预测技术的诸如MPEG-2、MPEG-4、H.264等之类的国际编解码器、其他编解码器、使用这些编解码器的介质以及图像行业。此外，在未来，本发明预期将被应用于使用诸如现有的高效视频编码(HEVC)技术、以及H.264/AVC和帧内预测之类的标准编解码器的图像处理领域。

尽管为了说明性的目的已经公开了本发明的示例性实施例，但是本领域的技术人员将会理解，在不脱离所附权利要求所公开的本发明的范围和精神的情况下，可以进行各种修改、添加和替换。

Claims

1.一种在帧间预测中执行自适应滤波的图像解码方法，所述方法包括：

从比特流中重建包括参考块的图像信号，其中在要编码的当前块的帧间预测中对所述参考块执行块匹配；

从所述比特流获得指示所述参考块是否存在于所述当前块位于的当前图片内的标志；

通过使用所述参考块重建所述当前块；

基于所获得的标志自适应地对重建的当前块应用环路滤波器；并且

将应用或者未应用所述环路滤波器的所述当前块存储在解码图片缓冲器(DPB)中。

2.如权利要求1所述的方法，其中，所述环路滤波器包括去块滤波器和采样自适应偏移(SAO)中的至少一种。

3.如权利要求1所述的方法，其中，在自适应地应用所述环路滤波器的情况下，当所述标志指示所述参考块存在于所述当前图片内时，不对所述重建的当前块应用所述环路滤波器。

4.如权利要求1所述的方法，其中，在自适应地应用所述环路滤波器的情况下，当所述标志指示所述参考块不存在于所述当前图片内时，对所述重建的当前块应用所述环路滤波器。

5.一种执行帧间预测的图像解码方法，所述方法包括：

从比特流中重建包括与当前块位于相同图片中的参考块的图像信号，其中在所述当前块的帧间预测中对所述参考块执行块匹配；

将重建的图像信号存储在解码图片缓冲器(DPB)和独立的临时存储器中；并且

使用所述重建的图像信号通过块匹配来执行对于所述当前块的帧间预测。

6.如权利要求5所述的方法，其中在所述重建的图像信号被存储在所述临时存储器中的情况下，所述重建的图像信号通过环路滤波器和独立的滤波器之后被存储在所述临时存储器中。

7.如权利要求6所述的方法，其中，所述独立的滤波器对所述重建的图像信号中包括的所述参考块的左边界和上边界执行滤波。

8.如权利要求6所述的方法，其中，所述独立的滤波器对所述重建的图像信号中的变换块边界、预测块边界以及所述变换块和所述预测块的公共块边界中的至少一个边界执行滤波。

9.一种在帧间预测中执行自适应滤波的图像解码装置，所述装置包括至少一个处理器，

其中所述处理器被配置为：

通过使用所述参考块重建所述当前块；

10.如权利要求9所述的装置，其中，所述环路滤波器包括去块滤波器和采样自适应偏移(SAO)中的至少一种。

11.如权利要求9所述的装置，其中，在自适应地应用所述环路滤波器的情况下，当所述标志指示所述参考块存在于所述当前图片内时，不对所述重建的当前块应用所述环路滤波器。

12.如权利要求9所述的装置，其中，在自适应地应用所述环路滤波器的情况下，当所述标志指示所述参考块不存在于所述当前图片内时，对所述重建的当前块应用所述环路滤波器。

13.一种图像解码方法，所述方法包括：

基于对通过逆量化及逆变换生成的解码图像和残差信号进行参考的预测信号生成重建信号；

确定是否跳过对所述重建信号的滤波；以及

当确定滤波没有被跳过时，执行去块滤波，

其中，所述执行去块滤波包括确认块边界的第一子步骤、设置滤波强度的第二子步骤以及确定是否应用滤波的第三子步骤。

14.如权利要求13所述的方法，其中，在所述第一子步骤中，基于色度分量、亮度分量的颜色格式或针对每个色度分量来设置块的最小大小。

15.如权利要求13所述的方法，其中，在所述第二子步骤中，通过分析位于所述块边界的相对侧上的两个块的特性来确定要使用的滤波器，并且基于所确定的滤波器来确定所述滤波强度。

16.如权利要求15所述的方法，其中，通过使用关于所述两个块的编码模式、所述两个块中的每个块的特性或所述两个块之间的边界中的至少一个的信息、预测信息以及编码系数来确定所述要使用的滤波器。

17.如权利要求13所述的方法，其中，在所述第二子步骤中，基于实际像素值或相关块的信息来确定所述滤波强度。

18.如权利要求13所述的方法，其中，在所述第三子步骤中，通过将所述第二子步骤中获得的所述滤波强度应用于位于所述块边界处的重建像素来确定是否应用滤波。

19.如权利要求18所述的方法，其中，在所述第三子步骤中，基于对位于所述块边界的相对侧上的两个块之间边界处的像素所识别的变化量来确定是否应用滤波。

20.一种图像解码装置，所述装置包括：

存储器，存储用于基于对通过逆量化及逆变换生成的解码图像和残差信号进行参考的预测信号生成重建信号的解码程序，所述存储器存储用于在确定是否跳过对所述重建信号的滤波之后跳过或执行滤波的滤波程序；以及

处理器，被耦合到所述存储器以执行所述解码程序或所述滤波程序的程序代码，

其中通过所述程序代码，所述处理器被配置为：

确定是否跳过对所述重建信号的滤波；以及

当确定滤波没有被跳过时，执行去块滤波，

其中，当执行去块滤波时，确认块边界，设置滤波强度，以及确定是否应用滤波。