CN103765884A - 使用非对称插值滤波器的图像插值的方法及其设备 - Google Patents

Abstract

一种使用基于变换的插值滤波器的子像素单元图像插值方法包括：根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。

Description

使用非对称插值滤波器的图像插值的方法及其设备

技术领域

本发明涉及使用运动补偿的预测编码。

背景技术

在典型的图像编码和解码方法中，为了对图像编码，一个画面被划分为宏块。之后，通过使用帧间预测或帧内预测对每个宏块执行预测编码。

帧间预测表示通过去除画面之间的时间冗余来压缩图像的方法，其代表性示例是运动估计编码。在运动估计编码中，通过使用至少一个参考画面来预测当前画面的每个块。通过使用预定的评价函数在预定的搜索范围内找到与当前块最相似的参考块。

基于参考块预测当前块，并且通过从当前块减去作为预测结果产生的预测块所获得的残差块被编码。在此情况下，为了更加精确地执行预测，对搜索参考画面的范围执行插值，产生小于整像素单元（integer-pel-unit）像素的子像素单元（sub-pel-unit）像素，并且对产生的子像素单元像素执行帧间预测。

发明内容

技术问题

本发明提供一种用于确定对称或非对称插值滤波器的滤波器系数以便通过对整像素单元像素进行插值来产生子像素单元像素的方法和设备。

技术方案

根据本发明的一方面，提供一种使用基于变换的插值滤波器的图像插值方法，所述方法包括：根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称或非对称插值滤波器；以及通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。

有益效果

为了有效地执行图像插值，从用于产生子像素单元像素值的插值滤波器中，基于子像素单元插值位置不同地选择插值滤波器。插值滤波器可以是奇数或偶数抽头（tap）插值滤波器以进行子像素单元插值。插值滤波器可以根据插值位置被选择为对称或非对称插值滤波器。

附图说明

图1是根据本发明的实施例的图像插值设备的框图；

图2是用于描述整像素单元和子像素单元之间的关系的示图；

图3是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的邻近整像素单元像素的示图；

图4A至图4C是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的整像素单元像素的示例的示图；

图5A是用于描述根据本发明的实施例的使用相对于插值位置不对称设置的参考像素以确定子像素单元像素值的插值滤波方法的示图；

图5B是用于描述根据本发明的实施例的使用包括奇数个滤波器系数的插值滤波器以确定子像素单元像素值的插值方法的示图；

图6是根据本发明的实施例的基于平滑插值滤波器的平滑参数的平滑因子的曲线图；

图7是根据本发明的实施例的插值滤波器的幅频响应曲线图；

图8是根据本发明的实施例的图像插值方法的流程图；

图9A至图9D分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的3抽头至6抽头插值滤波器的滤波器系数；

图10A至图10C分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的7抽头插值滤波器的滤波器系数；

图11A至图11C分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的8抽头插值滤波器的滤波器系数；

图12A和图12B分别示出根据本发明的实施例的正则化的亮度插值滤波器和正则化的色度插值滤波器的滤波器系数；

图13A是根据本发明的实施例的使用插值滤波器的视频编码设备的框图；

图13B是根据本发明的实施例的使用插值滤波器的视频解码设备的框图；

图14A是根据本发明的实施例的使用插值滤波器的图像编码方法的流程图；

图14B是根据本发明的实施例的使用插值滤波器的图像解码方法的流程图；

图15是用于描述根据本发明的实施例的编码单元的构思的示图；

图16是根据本发明的实施例的基于编码单元的图像编码器的框图；

图17是根据本发明的实施例的基于编码单元的图像解码器的框图；

图18是示出根据本发明的实施例的根据深度的更深的编码单元和分区的示图；

图19是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图；

图20是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图；

图21是根据本发明的实施例的根据深度的更深的编码单元的示图；

图22至图24是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图；

图25是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单元之间的关系的示图；

图26是根据本发明的实施例的基于具有树结构的编码单元的使用插值滤波器的视频编码方法的流程图；

图27是根据本发明的实施例的基于具有树结构的编码单元的使用插值滤波器的视频解码方法的流程图。

最佳实施方式

根据本发明的一方面，提供一种使用基于变换的插值滤波器的图像插值方法，所述方法包括：根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。

对称插值滤波器可在由对称插值滤波器支持的区域中的插值位置的两侧包括相同数量的滤波器系数，非对称插值滤波器可在由非对称插值滤波器支持的区域中的插值位置的两侧包括不同数量的滤波器系数。

产生至少一个子像素单元像素值的操作可包括：如果非对称插值滤波器被选择，则通过使用非对称插值滤波器的滤波器系数执行滤波，以支持非对称地位于由非对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素；以及如果对称插值滤波器被选择，则通过使用对称插值滤波器的滤波器系数执行滤波，以支持对称地位于由对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素。

产生至少一个子像素单元像素值的操作可包括：如果包括奇数个滤波器系数的非对称奇数抽头插值滤波器从插值滤波器中被选择，则通过使用非对称奇数抽头插值滤波器的奇数个滤波器系数来执行滤波，以支持位于由非对称奇数抽头插值滤波器支持的区域中的插值位置的两侧的奇数个整像素单元像素；以及如果包括偶数个滤波器系数的对称偶数抽头插值滤波器从插值滤波器中被选择，则通过使用对称偶数抽头插值滤波器的偶数个滤波器系数来执行滤波，以支持位于由对称偶数抽头插值滤波器支持的区域中的插值位置的两侧的偶数个整像素单元像素。

为了对空域中的整像素单元像素进行插值，每个插值滤波器可包括通过将使用用于变换和逆变换的多个基函数的滤波器和非对称或对称窗口滤波器进行组合所获得的滤波器系数。

选择插值滤波器的操作可包括：从插值滤波器中选择被正则化的用于使作为使用所选择的插值滤波器的插值结果产生的频率响应误差最小化的插值滤波器，被正则化的插值滤波器可包括：i）包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii）包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。

根据本发明的另一方面，提供一种使用基于变换的插值滤波器的图像插值设备，所述设备包括：滤波器选择器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及插值器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。

根据本发明的另一方面，提供一种使用图像插值滤波器的视频编码设备，所述设备包括：编码器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中针对输入画面的每个块分别选择相对于由选择的插值滤波器支持的区域中的插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值，执行预测编码，并对根据预测编码的预测结果执行变换和量化；输出单元，输出通过对量化的变换系数和编码信息执行熵编码所产生的比特流；以及存储单元，存储插值滤波器的滤波器系数。

根据本发明的另一方面，提供一种使用图像插值滤波器的视频解码设备，所述设备包括：接收器和提取器，接收视频的编码的比特流，执行熵解码和解析，并提取视频的画面的编码信息和编码数据；解码器，对画面的当前块的编码数据的量化的变换系数执行反量化和逆变换，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值，并执行预测解码以恢复画面；以及存储单元，存储插值滤波器的滤波器系数。

根据本发明的另一方面，提供一种其上记录有用于执行上述的方法的程序的计算机可读记录介质。

具体实施方式

在下面的描述中，“图像”可全面地表示诸如视频的运动图像以及静止图像。

参照图1至图12B公开根据本发明的实施例的考虑平滑的使用非对称插值滤波器和对称插值滤波器的插值。此外，参照图13A至图27公开根据本发明的实施例的使用非对称插值滤波器和对称插值滤波器的视频编码和解码。具体地讲，参照图15至图25公开根据本发明的实施例的基于具有树结构的编码单元的使用非对称插值滤波器和对称插值滤波器的视频编码和解码。

现在将参照图1至图12B详细地描述根据本发明的实施例的考虑平滑的使用非对称插值滤波器和对称插值滤波器的插值。

图1是根据本发明的实施例的图像插值设备10的框图。

使用对称插值滤波器和非对称插值滤波器的图像插值设备10包括滤波器选择器12和插值器14。图像插值设备10的滤波器选择器12和插值器14的操作可由视频编码处理器、中央处理单元（CPU）和图形处理器协同控制。

图像插值设备10可接收输入图像，并可通过对整像素单元像素进行插值来产生子像素单元像素值。输入图像可以是视频的画面序列、画面、帧或块。

滤波器选择器12可基于子像素单元插值位置不同地选择用于产生位于整像素单元之间的至少一个子像素单元像素值的插值滤波器。

插值器14可通过使用滤波器选择器12所选择的插值滤波器对与子像素单元插值位置邻近的整像素单元像素进行插值，从而产生子像素单元像素值。对整像素单元像素进行插值滤波以产生子像素单元像素值的操作可包括：对包括与由插值滤波器支持的区域中的子像素单元插值位置邻近的整像素单元像素的整像素单元参考像素值进行插值滤波。

插值滤波器可包括用于基于多个基函数对整像素单元参考像素进行变换以及用于对作为变换结果产生的多个系数进行逆变换的滤波器系数。

插值滤波器可以是一维滤波器或二维滤波器。如果所选择的插值滤波器是一维滤波器，则插值器14可通过在两个或更多个方向上使用一维插值滤波器连续地执行滤波，从而产生当前的子像素单元像素值。

滤波器选择器12可根据子像素单元插值位置分别选择插值滤波器。插值滤波器可包括对称插值滤波器和非对称插值滤波器，其中，对称插值滤波器在由对称插值滤波器支持的区域中的插值位置的两侧包括相同数量的滤波器系数，非对称插值滤波器在由非对称插值滤波器支持的区域中的插值位置的两侧包括不同数量的滤波器系数。滤波器选择器12可根据子像素单元插值位置分别选择对称插值滤波器和非对称插值滤波器。

例如，7抽头插值滤波器可在由7抽头插值滤波器支持的区域中的插值位置的两侧包括三个滤波器系数和四个滤波器系数。在此情况下，7抽头插值滤波器可被视为非对称插值滤波器。

例如，8抽头插值滤波器可在由8抽头插值滤波器支持的区域中的插值位置的两侧包括四个滤波器系数和四个滤波器系数。在此情况下，8抽头插值滤波器可被视为对称插值滤波器。

如果滤波器选择器12选择了非对称插值滤波器，则插值器14可对相对于插值位置不对称设置的整像素单元像素执行滤波。否则，如果对称插值滤波器被选择，则插值器14可对相对于插值位置对称设置的整像素单元像素执行滤波。

插值滤波器可包括非对称奇数抽头插值滤波器和对称偶数抽头插值滤波器，其中，非对称奇数抽头插值滤波器包括奇数个滤波器系数，对称偶数抽头插值滤波器包括偶数个滤波器系数。滤波器选择器12可根据子像素单元插值位置分别选择非对称奇数抽头插值滤波器和对称偶数抽头插值滤波器。例如，1/2像素单元插值滤波器和1/4像素单元插值滤波器可被分别不同地选择。因此，8抽头插值滤波器（即，对称偶数抽头插值滤波器）可被选择为1/2像素单元插值滤波器，7抽头插值滤波器（即，非对称奇数抽头插值滤波器）可被选择为1/4像素单元插值滤波器。

为了对空域中的整像素单元像素进行插值，可通过将用于通过使用多个基函数执行变换和逆变换的滤波器系数和用于执行低通滤波的窗口滤波器系数进行组合来获得每个插值滤波器。

可基于相对于插值位置非对称的窗口滤波器或者相对于插值位置对称的窗口滤波器来产生插值滤波器。

还可通过将用于基于多个基函数执行变换和逆变换的滤波器和非对称窗口滤波器进行组合来产生非对称插值滤波器。

如果奇数抽头插值滤波器被选择，则插值器14可通过使用奇数抽头插值滤波器的奇数个滤波器系数来对相对于插值位置设置的奇数个整像素单元像素执行滤波。

如果偶数抽头插值滤波器被选择，则插值器14可通过使用偶数抽头插值滤波器的偶数个滤波器系数来对相对于插值位置设置的偶数个整像素单元像素执行滤波。

奇数抽头插值滤波器可在相应支持区域中的插值位置的两侧包括不同数量的滤波器系数，因此可以是非对称插值滤波器。偶数抽头插值滤波器可以是在相应支持区域中的插值位置的两侧包括相同数量的滤波器系数的对称插值滤波器。

滤波器选择器12可选择被正则化以使作为使用插值滤波器的插值结果产生的频率响应误差最小化的插值滤波器。例如，被正则化的插值滤波器可包括：i）包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii）包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。

此外，滤波器选择器12可根据颜色分量分别不同地选择插值滤波器。例如，被正则化的用于亮度像素的插值滤波器可被确定为1/4像素单元7抽头插值滤波器和1/2像素单元8抽头插值滤波器。被正则化的用于色度像素的插值滤波器可被确定为1/8像素单元、1/4像素单元和1/2像素单元4抽头插值滤波器。

确定的被正则化的用于色度像素的插值滤波器可包括：i）包括用于1/8插值位置的4抽头滤波器系数{-2,58,10,-2}并具有0.012的平滑度的1/8像素单元插值滤波器；ii）包括用于1/4插值位置的4抽头滤波器系数{-4,54,16,-2}并具有0.016的平滑度的1/4像素单元插值滤波器；iii）包括用于3/8插值位置的4抽头滤波器系数{-6,46,28,-4}并具有0.018的平滑度的1/8像素单元插值滤波器；以及iv）包括用于1/2插值位置的4抽头滤波器系数{-4,36,36,-4}并具有0.020的平滑度的1/2像素单元插值滤波器。

插值滤波器可以是镜面反射对称滤波器，其中，插值位置α的滤波器系数f(α)和插值位置(1-α)的滤波器系数f_l(1-α)可以相同。

用于亮度像素的1/4像素单元插值滤波器可以是镜面反射对称滤波器。因此，用于1/4插值位置的插值滤波器和用于3/4插值位置的插值滤波器可包括对称相同的系数。如果1/4像素单元7抽头亮度插值滤波器包括1/4插值位置的滤波器系数{-1,4,-10,58,17,-5,1}，则其可包括3/4插值位置的滤波器系数{1,-5,17,58,-10,4,-1}。

用于色度像素的1/8像素单元插值滤波器可以是镜面反射对称滤波器。因此，用于1/8插值位置的插值滤波器和用于7/8插值位置的插值滤波器可包括对称相同的系数。类似地，用于3/8插值位置的插值滤波器和用于5/8插值位置的插值滤波器可包括对称相同的系数。可基于包括通过使用多个基函数确定的滤波器系数的基于变换的插值滤波器来确定插值滤波器。此外，从基于变换的插值滤波器修改的平滑插值滤波器可被用于通过根据插值位置和整像素单元像素之间的距离改变其平滑度来执行滤波。

可基于插值位置和整像素单元像素之间的距离来确定平滑插值滤波器的平滑度。插值滤波器可根据其平滑度和子像素单元插值位置而包括不同的滤波器系数。

还可基于插值位置和与插值位置邻近的整像素单元像素之间的距离来确定平滑插值滤波器的平滑度。

此外，插值滤波器可包括用于允许远离插值位置的整像素单元参考像素被平滑的滤波器系数。

通过将用于执行变换和逆变换的滤波器系数和用于执行低通滤波的窗口滤波器系数进行组合所获得的平滑插值滤波器可包括用于将大权重给予接近于插值位置的整像素单元参考像素并将小权重给予远离插值位置的整像素单元参考像素的滤波器系数。

平滑插值滤波器可包括用于对整像素单元参考像素进行平滑、通过使用多个基函数对平滑后的整像素单元参考像素进行变换并且对作为变换结果产生的多个系数进行逆变换的滤波器系数。

平滑插值滤波器可根据其长度以及其平滑度和子像素单元插值位置而包括不同的滤波器系数。

此外，平滑插值滤波器可根据作为插值结果的缩放比例以及其平滑度、其长度和子像素单元插值位置而包括不同的滤波器系数。滤波器选择器12可选择滤波器系数增加到整数的平滑插值滤波器。插值器14对通过使用滤波器选择器12所选择的平滑插值滤波器而产生的像素值进行正则化。

此外，滤波器选择器12可根据像素特性不同地选择插值滤波器。插值器14可通过使用根据像素特性不同地选择的插值滤波器来产生子像素单元像素值。

可由滤波器选择器12选择的插值滤波器可包括平滑插值滤波器和不考虑平滑的一般插值滤波器。因此，根据图像特性，滤波器选择器12可选择完全不考虑平滑的一般插值滤波器。

例如，根据另一实施例，图像插值设备10可根据颜色分量通过使用不同的插值滤波器来执行图像插值。

根据另一实施例，滤波器选择器12可基于当前像素的子像素单元插值位置和颜色分量不同地选择插值滤波器。根据另一实施例，插值器14可通过使用所选择的插值滤波器对整像素单元像素进行插值，从而产生至少一个子像素单元像素值。

例如，滤波器选择器12可不同地确定用于亮度分量的插值滤波器和用于色度分量的插值滤波器。

为了对色度像素进行插值，滤波器选择器12可选择具有比用于亮度像素的插值滤波器的平滑度大的平滑度的平滑插值滤波器。

此外，为了对色度像素进行插值，可选择包括基于平滑参数确定的滤波器系数的插值滤波器或包括与窗口滤波器组合的滤波器系数的插值滤波器，其中，所述平滑参数具有比用于亮度像素的插值滤波器的平滑度大的平滑度，所述窗口滤波器比用于亮度像素的插值滤波器去除更多的高频分量。

为了获得色度分量的平滑插值结果，可选择通过将用于基于多个基函数执行变换和逆变换的滤波器系数和用于执行低通滤波的窗口滤波器系数进行组合所获得的平滑插值滤波器。

图像插值设备10可包括用于全面地控制滤波器选择器12和插值器14的CPU（未示出）。可选地，滤波器选择器12和插值器14可被各个处理器（未示出）驱动，并且处理器可彼此协同操作，从而操作整个图像插值设备10。可选地，在图像插值设备10外部的处理器（未示出）可控制滤波器选择器12和插值器14。

图像插值设备10可包括用于存储滤波器选择器12和插值器14的输入/输出（I/O）数据的一个或更多个数据存储单元（未示出）。图像插值设备10还可包括用于控制数据存储单元（未示出）的数据I/O的存储器控制器（未示出）。

图像插值设备10可包括包含用于执行图像插值的电路的另外的处理器。可选地，图像插值设备10可包括其上记录有图像插值模块的存储介质，CPU可调用并驱动图像插值模块以执行图像插值。

图像插值用于将低质量图像变换为高质量图像，将隔行扫描图像变换为逐行扫描图像，或者将低质量图像上采样为高质量图像。此外，当视频编码设备对图像编码时，运动估计器和补偿器可通过使用插值的参考帧执行帧间预测。可通过对参考帧进行插值以产生高质量图像并基于高质量图像执行运动估计和补偿来提高帧间预测的精确度。类似地，当图像解码设备对图像解码时，运动补偿器可通过使用插值的参考帧执行运动补偿，从而提高帧间预测的精确度。

此外，由图像插值设备10使用的平滑插值滤波器可通过使用插值滤波器减少插值结果中的高频分量来获得平滑的插值结果。由于高频分量降低了图像压缩的效率，因此还可通过执行平滑度可调的图像插值来提高图像编码和解码的效率。

此外，滤波器系数相对于插值位置对称设置的对称插值滤波器或滤波器系数相对于插值位置非对称设置的非对称插值滤波器可被选择性地使用。此外，作为插值滤波器，奇数抽头插值滤波器或偶数抽头插值滤波器可根据插值位置被选择性地使用。因此，图像插值设备10可对相对于插值位置非对称设置的整像素单元像素以及相对于插值位置对称设置的整像素单元像素执行图像插值滤波。

现在将参照图2至图7B详细地描述根据本发明的实施例的使用通过将用于基于多个基函数执行变换和逆变换的滤波器系数和窗口滤波器系数进行组合所获得的插值滤波器的插值。

图2是用于描述整像素单元和子像素单元之间的关系的示图。

参照图2，图像插值设备10通过对空域中的预定块20的位置“O”的整像素单元像素值进行插值来产生位置“X”的像素值。位置“X”的像素值是由α_x和α_y确定的插值位置的子像素单元像素值。虽然图2示出了预定块20是4×4块，但是本领域的普通技术人员将理解，块尺寸不限于4×4，可以大于或小于4×4。

在视频处理中，运动矢量用于对当前图像执行运动补偿和预测。根据预测编码，参考先前解码的图像以预测当前图像，并且运动矢量指示参考图像的预定点。因此，运动矢量指示参考图像的整像素单元像素。

然而，将被当前图像参考的像素可以位于参考图像的整像素单元像素之间。这样的位置被称为子像素单元位置。由于像素不存在于子像素单元位置，因此仅仅通过使用整像素单元像素值预测子像素单元像素值。换言之，通过对整像素单元像素进行插值来估计子像素单元像素值。

现在将参照图3和图4A至图4C详细地描述对整像素单元像素进行插值的方法。

图3是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的邻近整像素单元像素的示图。

参照图3，图像插值设备10通过对空域中的整像素单元像素值31和33进行插值来产生插值位置的子像素单元像素值35。插值位置由α确定。

图4A至图4C是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的整像素单元像素的示例的示图。

参照图4A，为了通过对两个整像素单元像素值31和33进行插值来产生子像素单元像素值35，使用包括整像素单元像素值31和33的多个邻近整像素单元像素值37和39。换言之，可通过对从第-（M-1）像素值到第M像素值的2M个像素值执行一维插值滤波来对第0像素和第1像素进行插值。

此外，虽然图4A示出了对水平方向上的像素值进行插值，但是可通过使用垂直方向或对角线方向上的像素值执行一维插值滤波。

参照图4B，可通过对垂直方向上的彼此邻近的像素P₀41和P₁43进行插值来产生插值位置α的像素值P(α)。当将图4A和图4B比较时，它们的插值滤波方法相似，其差异仅在于在图4B中对沿垂直方向排列的像素值47和49进行插值，而在图4A中对沿水平方向排列的像素值37和39进行插值。

参照图4C，类似地，通过对两个邻近的像素值40和42进行插值来产生插值位置α的像素值44。与图4A的差异仅在于使用沿对角线方向排列的像素值46和48，而非沿水平方向排列的像素值37和39。

除了图4A至图4C中示出的方向之外，可沿各种方向执行一维插值滤波。

可执行插值滤波以对用于产生子像素单元像素值的整像素单元像素进行插值。插值滤波可由下面的等式表示。

$p\left(\mathrm{\α}\right)=f\left(\mathrm{\α}\right)\×p={\mathrm{\Σ}}_{-M+1}^M{f}_m\·p_m$

通过根据2M个整像素单元参考像素{p_m}={p_-M+1,p_-M+2,...,p₀,p₁,...,p_M}的矢量p和滤波器系数{f_m}={f_-M+1,f_-M+2,...,f₀,f₁,...,f_M}的矢量f(x)的点积执行插值来产生像素值p(x)。由于滤波器系数f(α)根据插值位置α变化并且根据滤波器系数f(α)确定通过执行插值所获得的像素值p(α)，因此所选择的插值滤波器（即，确定的滤波器系数f(x)）极大地影响插值滤波的性能。

现在将详细地描述使用基于基函数的变换和逆变换的图像插值以及确定插值滤波器的方法。

使用变换和逆变换的插值滤波器首先通过使用具有不同频率分量的多个基函数来变换像素值。变换可包括从空域中的像素值到变换域中的系数的所有类型的变换，并且可以是离散余弦变换（DCT）。通过使用多个基函数变换整像素单元像素值。像素值可以是亮度像素值或色度像素值。基函数不限于特定的基函数，可包括用于将空域中的像素值变换为变换域中的像素值的所有基函数。例如，基函数可以是用于执行DCT和逆DCT（IDCT）的余弦或正弦函数。可选地，可使用诸如样条函数和多项式基函数的各种基函数。此外，DCT可以是修改的DCT（MDCT）或具有窗口的MDCT。

使用变换和逆变换的插值滤波器对用于执行变换的基函数进行移相，并对通过使用移相后的基函数产生的多个系数的值（即，变换域中的值）进行逆变换。作为逆变换结果，空域中的像素值被输出，并且输出的值可以是插值位置的像素值。

<使用基于正交基函数的正交变换和逆变换的滤波器系数>

现在将详细地描述插值器14使用基于正交基函数的变换和逆变换执行插值的情况。具体地讲，DCT被描述为变换的示例。

例如，参照图4A，为了通过使用包括整像素单元像素值31和33的多个邻近的整像素单元像素值37和39对两个整像素单元像素值31和33进行插值来产生子像素单元像素值35，可通过对从第-（M-1）像素值到第M像素值的2M个像素值执行一维DCT并基于移相后的基函数执行一维IDCT来对第0像素和第1像素进行插值。

插值器14首先对整像素单元像素值执行一维DCT。一维DCT可如等式38中所表示的被执行。

[等式38]

$C_k=\frac{1}{M}\underset{l=-M+1}{\overset{M}{\mathrm{\&Sigma;}}}p\left(l\right)\cos \left(\frac{(2l-1+2M)\mathrm{k\&pi;}}{4M}\right).$

O＜k≤2M-1

p(l)表示从第-（M-1）像素值到第M像素值的像素值37和39，C_k表示通过对像素值37和39执行一维DCT所产生的频域中的多个系数。在此情况下，k是满足上面等式38的条件的正整数。

在通过使用等式38对像素值37和39执行一维DCT之后，插值器14对如等式39中表示的系数执行逆变换。

[等式39]

$P\left(\mathrm{\&alpha;}\right)=\frac{C_o}{2}+\underset{k=1}{\overset{2M-1}{\mathrm{\&Sigma;}}}{C}_k\cos \left(\frac{(2\mathrm{\&alpha;}-1+2M)\mathrm{k\&pi;}}{4M}\right)$

α表示如图13中所示的两个像素值之间的插值位置，并可具有各种分数值，诸如1/2、1/4、3/4、1/8、3/8、5/8、7/8、1/16等。分数值不限于特定值，α可以是实值而非分数值。P(α)表示作为一维IDCT结果产生的插值位置α的子像素单元像素值35。

当等式39与等式38比较时，作为用于执行IDCT的基函数的余弦函数的相位根据分数α而非整数l被确定，因此，与用于执行一维DCT的基函数的相位不同。换言之，用于执行逆变换的每个基函数（即，余弦函数）的相位根据2α被移动。如果插值器14根据等式39基于移相后的余弦函数执行IDCT，则产生插值位置α的子像素单元像素值35，即，P(α)。

根据等式38的DCT由等式40中表示的行列式表示。

[等式40]

C＝D×REF

这里，C是以上结合等式38描述的2M个系数的2M×1矩阵，REF是以上结合等式38描述的整像素单元像素值（即，P_-(M-1),...P_M像素值）的2M×1矩阵。用于执行插值的整像素单元像素值的数量（即，2M）表示一维插值滤波器的抽头的数量。D是用于执行一维DCT的方阵并可如等式4中表示的被定义。

[等式4]

$D_{\mathrm{kl}}=\frac{1}{M}\cos \left(\frac{(2l-1+2M)\mathrm{k\&pi;}}{4M}\right)$

O≤k≤2M-1

-(M-1)≤l≤M

k和l是满足以上条件的整数，D_kl表示用于执行等式40中的DCT的方阵D的行k和列l。M与等式40中的M相同。

使用根据等式39的多个移相后的基函数的IDCT由等式5中表示的行列式表示。

[等式5]

P(α)＝W(α)×C

这里，P(α)与等式39的P(α)相同，W(α)是用于通过使用多个移相后的基函数执行一维IDCT的1×2M矩阵，并可如等式6中表示的被定义。

[等式6]

$w_0\left(\mathrm{\&alpha;}\right)=\frac{1}{2}$

$W_k\left(\mathrm{\&alpha;}\right)=\cos \left(\frac{(2\mathrm{\&alpha;}-1+2M)\mathrm{k\&pi;}}{4M}\right),$

1≤k≤2M-1

k是满足以上条件的整数，W_k(α)表示以上结合等式5描述的矩阵W(α)的列k。用于使用基于等式3和5的多个移相后的基函数执行一维DCT和一维IDCT的滤波器F(α)可如等式7中表示的被定义。

[等式7]

P(α)＝F(α)×REF

$F_l\left(\mathrm{\&alpha;}\right)=\underset{k=o}{\overset{2M-1}{\mathrm{\&Sigma;}}}{W}_k\left(\mathrm{\&alpha;}\right)D_{\mathrm{kl}}$

O≤k≤2M-1

-(M-1)≤l≤M

k和l是满足以上条件的整数，F_l(α)表示F(α)的列l，W(α)和D与等式40的W(α)和D相同。

<用于缩放插值的插值滤波器系数>

根据本发明的实施例的各种插值滤波器产生方法基于用于产生浮点数（而非整数）的算术表达，并且滤波器系数的绝对值通常不大于1。具体地讲，可通过子像素单元插值位置α产生实数（而非整数）的计算结果。

基于整数的计算的效率大于基于浮点数的计算的效率。如此，图像插值设备10可通过使用缩放比例将滤波器系数缩放为整数来提高插值滤波的计算效率。此外，由于像素值的比特深度增加，因此插值滤波的精确度也可被提高。

图像插值设备10可将滤波器系数f_m(α)乘以预定值，并可通过使用大的滤波器系数F_m(α)来执行图像插值。例如，滤波器系数F_m(α)可如等式8中所示从滤波器系数f_m(α)被缩放。

[等式8]

F_m(α)＝int(f_m(α)·2ⁿ)

为了计算的效率，缩放比例可以是2ⁿ的形式。n可以是0或正整数。使用被缩放了2ⁿ的滤波器系数的插值滤波结果与通过使用原始滤波器系数获得的结果相比可具有被缩放了n比特的比特深度。

使用缩放的滤波器系数F_m(α)的整数计算插值滤波可满足等式9。换言之，在通过使用缩放的滤波器系数F_m(α)执行插值滤波之后，缩放的比特深度必须被恢复到原始比特深度。

[等式9]

$p\left(\mathrm{\&alpha;}\right)=({\mathrm{\&Sigma;}}_{-M+1}^M{F}_m\left(\mathrm{\&alpha;}\right)\&CenterDot;p_m+\mathrm{offset})>>n$

在此情况下，偏移可以是2n-¹。

换言之，由于使用缩放的插值滤波器的缩放滤波结果必须被减小缩放比例（即，2ⁿ）以被恢复到原始比特，因此缩放滤波结果的比特深度可被减小n比特。

如果通过在水平方向上执行一维插值滤波并在垂直方向上执行一维插值滤波来执行两步插值滤波，则可减小总共2n比特。因此，如果第一一维插值滤波器被缩放n1比特并且第二一维插值滤波器被缩放n2比特，则在通过使用第一和第二一维插值滤波器执行两步插值滤波之后，可减小n1和n2之和，即，2n比特。第一一维插值滤波器可以是未被缩放的插值滤波器。

由于滤波器系数f_m(α)之和是1，则

[等式10]

${\mathrm{\&Sigma;}}_{-M+1}^M{f}_m\left(\mathrm{\&alpha;}\right)=\stackrel{\&OverBar;}{1}$

用于对缩放的插值滤波器的滤波器系数F_m(α)进行正则化的条件需要满足等式11。

[等式11]

${\mathrm{\&Sigma;}}_{-M+1}^M{F}_m\left(\mathrm{\&alpha;}\right)=2^n$

然而，根据等式11的正则化条件可引起舍入误差。图像插值设备10可基于根据等式11的正则化条件对缩放的滤波器系数F_m(α)进行舍入。对于正则化，可在原始值的预定范围内调整缩放的滤波器系数F_m(α)中的一些系数。例如，可在±1的范围内调整缩放的滤波器系数F_m(α)中的一些系数，以校正舍入误差。

对于具有奇数个参考像素的插值滤波器或相对于插值位置的非对称插值滤波器，插值器14可使用基于多个基函数的变换和逆变换来改变插值滤波器。

下面将描述使用包括奇数个滤波器系数的奇数抽头插值滤波器的图像插值，所述奇数抽头插值滤波器作为使用基于多个基函数的变换和逆变换的插值滤波器。

<非对称插值滤波器>

图5A是用于描述根据本发明的实施例的使用相对于插值位置不对称设置的参考像素以确定子像素单元像素值的插值滤波方法的示图。

假设为了计算子像素单元插值位置α的像素p(α)50，使用相对于插值位置α的左参考像素52和右参考像素54来执行插值滤波。左参考像素52的数量是3，右参考像素54的数量是5。由于插值滤波支持奇数像素，因此左参考像素52和右参考像素54相对于插值位置α非对称设置。

如以上结合等式38至40以及等式4至7所述，通过使用相对于插值位置α对称分布的2M个整像素单元参考像素p_-M+1,p_-M+2,...,p₀,p₁,...,p_M来执行插值滤波。即，如果参考像素被表示为p_l，则整数l的范围被表示为-M+1≤l≤M。

如果等式38至40以及等式4至7的插值位置α被平移到α-h，则可通过使用等式38至40以及等式4至7来产生使用如图5A中所示的相对于插值位置α非对称设置的参考像素的插值滤波器的滤波器系数。

换言之，如果非对称的左参考像素52和右参考像素54被表示为p_l，则整数l的范围是-M+1+h≤l≤M+h。在此情况下，M是4，h是1。左参考像素52的数量小于在2M个参考像素相对于插值位置α对称分布的情况下的数量。

根据等式38至40以及等式4至7的插值滤波器是一维滤波器。为了通过使用一维滤波器执行二维滤波，在垂直方向上并在水平方向上执行插值滤波。换言之，一维插值滤波被执行两次。从执行一维插值滤波两次的操作中，对于执行运动补偿，第二一维插值滤波使用滤波器抽头的数量增加一半的滤波器，第一一维插值滤波针对扩展块被执行。

当对块的左边界执行插值滤波时，块必须从左边界向左扩展。如果使用相对于插值位置α对称设置的2M个参考像素的对称插值滤波器被使用，则为了执行插值滤波，块必须向左扩展M个像素。

然而，如果使用相对于插值位置α非对称设置的参考像素的非对称插值滤波器被使用，则为了执行插值滤波，滤波区域必须向块的左边扩展M-h个像素。类似地，如果h是负方向，则当对块的右边界执行插值滤波时，滤波区域必须向块的右边扩展M+h个像素。换言之，如果对块的边界执行插值滤波，则与使用对称插值滤波器的情况相比，当使用非对称插值滤波器时，块的将被扩展的区域可以减小。如此，用于存储扩展区域的像素值的存储空间可以减小，并且用于扩展块的计算的量也可以减小。

<奇数抽头插值滤波器>

图5B是用于描述根据本发明的实施例的使用包括奇数个滤波器系数的插值滤波器以确定子像素单元像素值的插值方法的示图。

假设为了计算子像素单元插值位置α的像素p(α)55，插值滤波器使用参考像素{p_-2,p_-1,p₀,p₁,p₂}。参考像素的数量是5，即，奇数，并且相对于插值位置α的三个左参考像素51和两个右参考像素53可被参考以执行插值滤波。

由于左参考像素51和右参考像素53相对于插值位置α非对称设置，并且右参考像素53的数量小于左参考像素51的数量，因此图5B中示出的插值滤波器可以对块的右边界有效执行插值滤波。

首先，根据等式12至15，使用整数l的范围是-M+1≤l≤M-1的参考像素{p_l}并具有2M-1的滤波器尺寸Size（即，滤波器抽头的数量）的插值滤波器的滤波器系数{p(α)}被确定。

[等式12]

$D_{\mathrm{lk}}=\frac{2}{\mathrm{Size}}\cos \left(\frac{\mathrm{\&pi;k}(l+\mathrm{Size}/2)}{\mathrm{Size}}\right)$

-M+1≤l≤M-1；

0≤k≤Size-l

[等式13]

$W_k=\cos \left(\frac{\mathrm{\&pi;k}(\&Proportional;+\mathrm{Size}/2)}{\mathrm{Size}}\right);$

0≤k≤Size-1

[等式14]

${\mathrm{Filter}}_l(\&Proportional;)={\mathrm{\&Sigma;}}_{k=0}^{\mathrm{Size}-1}{W}_k{D}_{\mathrm{lk}}$

[等式15]

$p\left(\mathrm{\&alpha;}\right)={\mathrm{\&Sigma;}}_{l=-M+1}^{M-1}\mathrm{Filter}{\left(\mathrm{\&alpha;}\right)}_l\mathrm{pl}$

如果M是3，则可根据等式15确定图5B的插值滤波器系数。

可选地，根据等式16至19，使用整数l的范围是-M+2≤l≤M的参考像素{p_l}并具有2M-1的滤波器尺寸Size（即，滤波器抽头的数量）的插值滤波器的滤波器系数{p(α)}可被确定。

[等式16]

$D_{\mathrm{lk}}=\frac{2}{\mathrm{Size}}\cos \left(\frac{\mathrm{\&pi;k}(l+\mathrm{Size}/2)}{\mathrm{Size}}\right);$

-M+2≤l≤M;

0≤k≤Size-l

[等式17]

$W_k=\cos \left(\frac{\mathrm{\&pi;k}(\&Proportional;+\mathrm{Size}/2)}{\mathrm{Size}}\right)$

[等式18]

${\mathrm{Filter}}_l(\&Proportional;)={\mathrm{\&Sigma;}}_{k=0}^{\mathrm{Size}-1}{W}_k{D}_{\mathrm{lk}}$

[等式19]

$p\left(\mathrm{\&alpha;}\right)={\mathrm{\&Sigma;}}_{l=-M+2}^M\mathrm{Filterr}{\left(\mathrm{\&alpha;}\right)}_{\mathrm{lpl}}$

可对从图5B的参考像素向右平移1的像素执行使用根据等式19确定的滤波器系数的插值滤波。

在等式12至19中，α不限于等于或大于0并且等于或小于1的值。换言之，α可具有小于0的值或大于1的值。因此，基于等式12至19，可获得具有奇数个滤波器抽头的奇数抽头插值滤波器。由于滤波器抽头的数量是奇数，因此可对奇数个参考像素执行使用插值滤波器的插值滤波。

还可通过将使用相对于插值位置非对称设置的参考像素的插值滤波器和奇数抽头插值滤波器进行组合来获得插值滤波器。即，用于对相对于插值位置非对称设置的奇数个像素执行插值滤波的插值滤波器也是可用的。

如果等式12至15中的参考像素的中心被概括，则可根据等式20和21推导出插值滤波器的滤波器系数。

[等式20]

$C_k={\mathrm{\&Sigma;}}_{l=M_{\min }}^{M_{\max }}{D}_{\mathrm{lk}}\&CenterDot;p_l$

[等式21]

$D_{\mathrm{lk}}=\frac{2}{\mathrm{Size}}\&CenterDot;\cos \left(\frac{\mathrm{\&pi;}\&CenterDot;k\&CenterDot;(2\&CenterDot;l-2\&CenterDot;\mathrm{Center}+\mathrm{Size})}{2\&CenterDot;\mathrm{Size}}\right)$

这里，M_max和M_min分别表示参考像素中的最小索引值和最大索引值，并可表示参考像素的范围。因此，滤波器尺寸Size可被确定为M_max-M_min+1。例如，在7抽头插值滤波器中，如果M_max=3并且M_min=-3，则参考像素的中心索引Center可以是0。换言之，Center具有M_max和M_min的平均值。

此外，如果用于根据等式20和21的插值滤波器的基函数被表示为余弦变换函数的基函数Wk，则推导出等式22和23。

[等式22]

$p_{\mathrm{\&alpha;}}={\mathrm{\&Sigma;}}_{k=0}^{\mathrm{Size}-1}{W}_k\&CenterDot;C_k$

[等式23]

$W_0=\frac{1}{2};$ $W_k=\cos \left(\frac{\mathrm{\&pi;}\&CenterDot;k\&CenterDot;(2\&CenterDot;\mathrm{\&alpha;}-2\&CenterDot;\mathrm{Center}+\mathrm{Size})}{2\&CenterDot;\mathrm{Size}}\right);$

l≤k≤Size-1

因此，插值滤波器可以是使用相对于插值位置非对称设置的参考像素的非对称插值滤波器，并可包括滤波器系数的数量是奇数的奇数抽头插值滤波器。如以上结合等式38至40以及等式4至7所述，插值滤波器还可包括对称插值滤波器和偶数抽头插值滤波器。

通常，奇数抽头插值滤波器可以是非对称插值滤波器。然而，偶数抽头插值滤波器可以是对称插值滤波器或非对称插值滤波器。例如，如果8抽头插值滤波器在由对称的偶数抽头插值滤波器支持的区域中的插值位置的两侧包括四个滤波器系数和四个滤波器系数，则该8抽头插值滤波器可以是对称的偶数抽头插值滤波器，而如果其在非对称的偶数抽头插值滤波器支持的区域中的插值位置的两侧包括三个滤波器系数和五个滤波器系数，则其可以是非对称偶数抽头插值滤波器。

插值滤波器可包括通过根据插值位置调整插值滤波器的响应的平滑度所产生的滤波器系数。

现在将详细地描述窗口滤波器用于确定各种平滑插值滤波器的情况。

<使用窗口滤波器的平滑插值滤波器>

现在将详细地描述通过使用窗口滤波器对插值滤波器系数进行平滑的方法。

窗口滤波器可使用汉明（hamming）窗函数、余弦窗函数、指数窗函数、汉宁（hanning）窗函数、布莱克曼窗函数和三角窗函数。虽然为了方便解释，下面将描述通过使用特定窗函数对基于变换和逆变换的插值滤波器进行平滑的情况，但是本领域的普通技术人员将理解，除了所描述的窗函数之外，还可使用具有相似频率响应的其他窗函数。

根据汉明窗函数的窗口系数满足等式24。

[等式24]

$w\left(n\right)=0.54-0.46\cos \left(\frac{2\mathrm{\&pi;n}}{N}\right),0\&le;n\&le;N$

在包括汉明窗函数的各种窗函数中，输入n相对于N/2对称，并且频率响应与低通滤波器的频率响应相似。从窗函数的输入中，仅由窗函数所形成的窗口覆盖的输入可被输出。窗口尺寸N可被设置为大于原始插值滤波器的长度的正整数。例如，为了将窗函数应用于产生子像素单元像素（诸如1/2或1/4像素）的插值滤波器，窗函数的中心位置可被移动1/2或1/4像素。即，由于窗函数的中心位置被移动到插值位置，因此窗函数可以相对于插值位置对称。

例如，等式25和26分别示出用于1/2像素单元和1/4像素单元插值滤波器的汉明窗函数的窗口系数。

[等式25]

$w_{1/2}\left(n\right)=0.54-0.46\cos \frac{2\mathrm{\&pi;}}{N}(\frac{N-1}{2}+n)$

[等式26]

$w_{1/4}\left(n\right)0.54-0.46\cos \frac{2\mathrm{\&pi;}}{N}(\frac{2N-1}{4}+n)$

等式27依次示出作为用于根据子像素单元插值位置α产生的插值滤波器的窗函数的汉明窗函数、余弦窗函数和指数窗函数的窗口系数。

[等式27]

$w_{\mathrm{\&alpha;}}\left(n\right)=0.54-0.46\cos \left(\frac{2\mathrm{\&pi;}}{N}(\frac{N}{2}-\mathrm{\&alpha;}+m)\right)$

$w_{\mathrm{\&alpha;}}\left(n\right)=\cos \left(\mathrm{\&pi;}\frac{m-\&Proportional;}{N}\right)$

w_α(n)＝exp{-β(α-m)²}

通过将根据等式27的窗口系数与原始插值滤波器f_k(α)进行组合，可根据等式28确定平滑插值滤波器系数。

[等式28]

${\stackrel{\&OverBar;}{f}}_k\left(\mathrm{\&alpha;}\right)=f_k\left(\mathrm{\&alpha;}\right)w_{\mathrm{\&alpha;}}\left(k\right),k=-M+1,\&CenterDot;\&CenterDot;\&CenterDot;,M$

由于通过使用窗口滤波器确定平滑插值滤波器，因此可基于整像素单元参考像素和插值位置之间的距离来调整插值滤波器系数的权重。例如，可以以如下方式确定平滑插值滤波器：通过窗函数，在插值滤波器的滤波器系数中，对远离插值位置的整像素单元参考像素的滤波器系数进行极大地平滑，

而接近插值位置的整像素单元参考像素的滤波器系数没有很大地改变。

此外，如果通过使用窗口滤波器确定平滑插值滤波器，则可在整像素单元参考像素被平滑之后执行插值滤波。输入的整像素单元参考像素Ref={p_-M+1,p_-M+2,...,p₀,p₁,...,p_M}可能包括噪声，或者可由于诸如量化误差的误差而被损坏。如此，如果整像素单元参考像素在插值滤波被执行之前被平滑，则图像插值设备10可提高插值效果。

<使用非对称窗口滤波器的插值滤波器>

非对称窗口滤波器相对于滤波器的中心非对称。因此，用于插值滤波器的非对称窗口滤波器可被用于相对于插值位置非对称地执行插值滤波。

等式29示出最简形式的非对称窗口滤波器的滤波器系数w_l。

[等式29]

$w_l=\cos \left(\mathrm{\&pi;}\frac{l-\&Proportional;}{N-1}\right);$

-M_min≤l≤M_max

N表示窗口尺寸，M_min和M_max表示距插值位置最远的位置的参考像素。

可通过改变窗口尺寸N调整窗口滤波器的滤波器特性。窗口尺寸N可等于或大于插值滤波器的滤波器尺寸Size，并且可等于或小于滤波器尺寸Size的两倍（Size≤N≤2×Size）。

例如，当等式38至40以及等式4至7与等式29组合时，如果M是4的对称插值滤波器的滤波器系数被确定，则由于参考像素的数量（2M）是8，因此8抽头插值滤波器被获得。如果窗口尺寸N=13的窗函数被使用，则1/4像素单元插值滤波器和1/2像素单元插值滤波器的滤波器系数被如下表示。这里，使用的缩放因子S是64。

1/4像素单元插值滤波器系数{p_l}={-1,4,-10,57,19,-7,3,-1}

1/2像素单元插值滤波器系数{p_l}={-1,4,-11,40,40,-11,4,-1}

类似地，当等式38至40以及等式4至7与等式29组合时，如果M_min和M_max被不同地调整，则可通过使用非对称窗口滤波器来确定非对称插值滤波器的滤波器系数。

<使用两个参数的平滑插值滤波器>

平滑插值滤波器可基于两个参数确定滤波器系数的平滑度。通过将平滑矩阵S和基于变换和逆变换的插值滤波器系数进行组合所获得的子像素单元平滑插值滤波器系数满足等式30。

[等式30]

$\tilde{f}\left(\mathrm{\&alpha;}\right)=f{\left(\mathrm{\&alpha;}\right)}^T\&CenterDot;S$

等式31示出平滑矩阵S的示例。

[等式31]

s_ij＝0；

{s_ii＝１－σ_i；S_i，i+1＝σ_i};i＝-M+l

{s_ii＝1-2σ_i;s_i，i±1＝σ_i};-M+l≤i≤M

{s_ii＝1-σ_i；S_i，i-1＝σ_i};i＝M

根据等式31的平滑矩阵S是3-对角矩阵。换言之，在平滑矩阵S的分量中，除了一条中心对角线和两条彼此相应且与中心对角线邻近的对角线上的分量之外的分量都为0。

在平滑矩阵S中，可不管距将被插值的整像素单元像素的距离(i-α)而确定平滑度σ_i。在此情况下，根据平滑矩阵S的平滑可被称为均匀平滑。

此外，在平滑矩阵S中，可根据整像素单元像素位置的索引l来改变平滑度σ_i。在此情况下，根据平滑矩阵S的平滑可被称为非均匀平滑。例如，平滑度σ_i可满足等式32。

[等式32]

O_i＝β(i-α)¹

如果插值位置和整像素单元参考像素之间的距离大，则正索引l可增加平滑效果。因此，正索引l可根据插值位置和整像素单元参考像素之间的距离来控制平滑的速度。平滑参数β可控制插值位置周围的平滑的范围。

如果平滑参数β小于0，则根据等式13的平滑矩阵S可被改变为锐化滤波器。因此，如果小于0的平滑矩阵S与使用变换和逆变换的插值滤波器组合，则可产生用于放大高频分量的滤波器。

为了执行子像素单元预测，图像插值设备10可使用预先存储在存储器中的平滑插值滤波器系数数据。

图6是根据本发明的实施例的基于平滑插值滤波器的平滑参数β的平滑因子的曲线图67。

第一曲线68和第二曲线69示出用于基于离散变换对插值滤波器进行平滑的平滑因子。如果m大，即，如果距将被插值的整像素单元像素的距离增加，则平滑因子接近0。

这里，与平滑参数β大的情况下的第二曲线69相比，平滑参数β小的情况下的第一曲线68具有相对大的平滑因子的宽度。换言之，如果平滑插值滤波器的平滑参数β大，则低频分量可被主要过滤，因此，可产生相对强的平滑子像素单元像素值。如果平滑插值滤波器的平滑参数β相对小，则相对地高频分量可保持并被插值，因此，可产生子像素单元像素值。

以上描述了各种插值滤波器和滤波器系数。具体地讲，作为用于确定插值滤波器的滤波器系数的函数，窗函数、样条函数、多项式函数等可被使用。对于插值滤波器，函数的频率响应可根据频率变化，但是函数的频率响应的滤波器增益可接近1。因此，即使当频率变化时，图像插值设备10也可通过使用频率响应的滤波器增益最接近1的函数来确定滤波器系数，并可选择包括这些滤波器系数的插值滤波器。

<正则化的插值滤波器>

如果插值滤波器的滤波器尺寸增加，则插值的精确度可被提高。然而，如果滤波器尺寸增加，则高频分量保持在滤波结果中，因此，插值滤波器易受噪声影响。插值滤波器可通过使用具有插值位置α作为其中心的余弦窗函数来平滑参考像素值{p_l}，从而减小插值滤波结果中的噪声。通过使用余弦窗函数平滑参考像素值{p_l}的操作满足等式33。

[等式33]

$p_l=p_l\&CenterDot;\cos (\mathrm{\&pi;}\&CenterDot;\frac{l-\mathrm{\&alpha;}}{N})$

N表示用于平滑的窗口尺寸，但是可以不必是整数。因此，如果根据等式7的使用变换和逆变换的滤波与根据等式33的窗口滤波组合，则能够进行用于子像素单元插值位置α的平滑插值滤波。可通过使用有限脉冲响应（FIR）滤波器来执行平滑插值滤波，并且平滑插值滤波满足等式34和35。

[等式34]

$p_{\mathrm{\&alpha;}}={\mathrm{\&Sigma;}}_{l=M_{\min }}^{M_{\max }}{\mathrm{Filter}}_l\left(\mathrm{\&alpha;}\right)\&CenterDot;\mathrm{pl}$

[等式35]

${\mathrm{Filter}}_l\left(\mathrm{\&alpha;}\right)=\cos (\mathrm{\&pi;}\&CenterDot;\frac{l-\mathrm{\&beta;}}{N})\&CenterDot;{\mathrm{\&Sigma;}}_{k=0}^{\mathrm{Size}-1}{W}_k\left(\mathrm{\&alpha;}\right)\&CenterDot;D_{\mathrm{lk}}$

在等式34和35中，p_α表示作为平滑插值滤波结果产生的像素值，Filter_l(α)表示平滑插值滤波器的滤波器系数。M_min和M_max表示参考像素的范围。

在用于色度像素的平滑插值滤波器中，可调整平滑插值滤波器的平滑参数以更多地去除高频分量的影响。使用平滑参数的色度插值滤波器的滤波器系数可被确定为等式36和37所示。

[等式36]

${\tilde{W}}_k=\frac{W_k\left(\mathrm{\&alpha;}\right)}{1+\mathrm{\&sigma;}\&CenterDot;k^2},$

1≤k≤Size-1

[等式37]

${\mathrm{Filter}}_l\left(\mathrm{\&alpha;}\right)={\mathrm{\&Sigma;}}_{k=0}^{\mathrm{Size}-1}{\tilde{W}}_k\left(\mathrm{\&alpha;}\right)$

图7是根据本发明的实施例的插值滤波器的幅频响应曲线图70。

如果具有尺寸为1的谐波信号被输入到插值滤波器，则插值滤波器的幅频响应曲线图70可示出执行插值滤波的结果。

幅频响应曲线图70示出根据本发明的实施例的使用基于基函数的DCT和IDCT的8抽头平滑插值滤波器的第一频率响应71、根据本发明的实施例的正则化的8抽头平滑插值滤波器的第二频率响应72以及根据H.264视频编码标准的6抽头插值滤波器的第三频率响应73。

在第一频率响应71至第三频率响应73中，山丘711、715、721和731表示信号在相应频率处被放大，山谷713表示信号在相应频率处被抑制。输入信号被放大或被抑制的效果在插值滤波中是不合适的。

在理想的幅频响应74中，滤波器增益在所有频率处保持为1不变，因此，根本不存在山丘或山谷。这表示没有发生由于插值滤波导致的失真。

如果插值滤波器的频率响应接近于理想的幅频响应74，则插值滤波结果更加精确。与理想的幅频响应74相比插值滤波器的频率响应中的失真可被表示为插值滤波器的频率响应与理想的幅频响应74之差的平方，即，差区域的面积。

例如，与理想的幅频响应74相比正则化的平滑插值滤波器的频率响应中的失真可通过调整其窗口滤波器尺寸N和其平滑度σ而被最小化。与理想的幅频响应74相比正则化的平滑插值滤波器的频率响应中的失真对应于在幅频响应曲线图70中理想的幅频响应74和第二频率响应72之间的阴影区域的面积。即，如果阴影区域的面积小，则通过使用正则化的平滑插值滤波器执行的插值的精确度可被提高。

此外，由于随着频率接近π，FIR滤波器的频率响应接近0，因此FIR滤波器可不产生高频分量。此外，如果插值滤波器的截止水平（cut level）低，则插值滤波器可不恢复参考图像的详细信息。通常，如果滤波器的长度大，则高截止水平可被分配。在幅频响应曲线图70中，由于平滑插值滤波器和正则化的平滑插值滤波器的第一频率响应71和第二频率响应72的截止水平719和729高于H.264插值滤波器的第三频率响应73的截止水平739，因此平滑插值滤波器和正则化的平滑插值滤波器与H.264插值滤波器相比可更加精确地恢复参考图像的详细信息。

因此，与H.264插值滤波器相比，平滑插值滤波器可在执行插值滤波之后剩下输入信号的高频分量。此外，与H.264插值滤波器相比，平滑插值滤波器的失真区域相对小，因此，插值结果中的失真相对小。

从平滑插值滤波器中，正则化的平滑插值滤波器的第二频率响应72接近于理想的幅频响应74，并且未正则化的平滑插值滤波器的第一频率响应71具有由于山丘和山谷导致的相对大的失真区域。换言之，与正则化的平滑插值滤波器相比，未正则化的平滑插值滤波器的滤波结果可包括更多的不期望的伪影。

因此，作为根据本发明的实施例的插值滤波器的滤波器系数，与理想的幅频响应74相比，用于使失真区域最小化的正则化的平滑插值滤波器的滤波器系数可被选择。换言之，如果窗口滤波器尺寸N和平滑插值滤波器的平滑度σ被调整并且平滑插值滤波器的滤波器系数被正则化，则可确定用于使平滑插值滤波器的频率响应的失真区域最小化的滤波器系数。

因此，图像插值设备10的插值滤波器可包括考虑平滑所确定的滤波器系数。

<相移α&运动矢量值>

用于典型运动补偿的精确度是诸如1/2像素单元或1/4像素单元的1/2^p像素单元的子像素单元。然而，根据本发明的实施例的用于确定子像素单元插值滤波器的滤波器系数的插值位置α不限于1/2^p像素单元。

为了以除了1/2像素单元或1/4像素单元之外的子像素单元对插值位置α执行运动补偿，可使用1/2像素单元或1/4像素单元运动矢量的部分矢量。例如，假设1/2像素单元运动矢量MV的子像素单元分量集为{α,1/2,1-α}。由于在α小于1/4的情况下运动矢量MV的编码单元分量的长度减小，因此用于运动补偿的插值滤波的稳定性可被提高，并且可节省差分运动矢量的编码比特。

在视频编码中最通用的颜色格式是4:2:0格式。在此情况下，与亮度样本的数量的一半相应的色度样本可被编码。如果相同的运动矢量在亮度样本和色度样本之间共享，则色度运动矢量的尺寸是亮度运动矢量的尺寸的一半。因此，亮度插值滤波器的相移可与色度插值滤波器的相移同步。

例如，如果亮度插值滤波器的相移是{α_i}，则色度插值滤波器的相移可被同步到{α_i/2}∪{1-α_i/2}∪{1/2}。

例如，当通过使用运动矢量MV的子像素单元分量集执行运动补偿时，如果亮度插值滤波器的相移是{α,1/2,1-α}，则色度插值滤波器的相移可被同步到{α/2,(1-α)/2,1/2,1-α/2,1-(1-α)/2}。

作为根据本发明的实施例的插值滤波器，以上描述了使用基于多个基函数的变换和逆变换的插值滤波器、用于以子像素单元执行插值的插值滤波器、对称或非对称插值滤波器、奇数或偶数抽头插值滤波器、使用窗口滤波器的插值滤波器、考虑平滑的插值滤波器和正则化的插值滤波器。

上面提到的插值滤波器可分开操作或者可被组合。例如，根据本发明的实施例的插值滤波器可以以子像素单元执行插值，并可不管参考像素相对于插值位置是对称设置还是非对称设置来执行插值滤波。此外，由于滤波器系数的数量可以是偶数或奇数，因此插值滤波器可对奇数个整像素单元像素以及偶数个整像素单元像素执行插值滤波。此外，由于正则化的平滑插值滤波器的滤波器系数可被选择，因此参考像素的详细信息可保持，并且诸如噪声的不期望的高频分量可被最小化，从而使由于插值滤波导致的失真最小化。

图8是根据本发明的实施例的图像插值方法的流程图。

在操作81，从用于产生位于画面的整像素单元之间的至少一个子像素单元像素值的插值滤波器中，根据子像素单元插值位置分别选择对称或非对称插值滤波器。

所选择的非对称插值滤波器可以是奇数抽头插值滤波器。所选择的对称插值滤波器可以是偶数抽头插值滤波器。为了对空域中的整像素单元像素进行插值，插值滤波器可包括通过将使用基于多个基函数的变换和逆变换的滤波器和非对称或对称窗口滤波器进行组合所获得的滤波器系数。

被正则化的使作为当使用所选择的插值滤波器时的插值结果产生的频率响应误差最小化的插值滤波器被选择。此外，为了防止诸如噪声的高频分量被恢复，可选择包括用于平滑参考像素的滤波器系数的插值滤波器。

在操作83，通过使用在操作81选择的插值滤波器对整像素单元像素值进行插值，从而产生至少一个子像素单元像素值。

如果在操作81非对称插值滤波器被选择，则在操作83，可对相对于插值位置非对称设置的整像素单元像素执行滤波。如果在操作81对称插值滤波器被选择，则在操作83，可对相对于插值位置对称设置的整像素单元像素执行滤波。

此外，如果在操作81非对称奇数抽头插值滤波器被选择，则在操作83，可通过使用非对称奇数抽头插值滤波器的奇数个滤波器系数对相对于插值位置设置的奇数个整像素单元像素执行滤波。如果在操作81对称偶数抽头插值滤波器被选择，则在操作83，可通过使用对称偶数抽头插值滤波器的偶数个滤波器系数对相对于插值位置设置的偶数个整像素单元像素执行滤波。

现在将参照图9A至图12B描述根据子像素单元插值位置选择性地确定的对称或非对称插值滤波器的滤波器系数的各种示例。

根据上述原理，图9A至图12B中示出的插值滤波器是通过将使用基于多个基函数的变换和逆变换的子像素单元插值滤波器和用于平滑高频分量的窗口滤波器进行组合所获得的滤波器，并且包括窗口尺寸和平滑度被调整以使插值结果中的失真最小化的滤波器系数。此外，下面将描述各种对称和非对称插值滤波器以及奇数抽头和偶数抽头插值滤波器。

由于插值滤波器是镜面反射对称滤波器，因此可通过使用插值位置α的滤波器系数f_m(α)来确定插值位置(1-α)的滤波器系数f_m(1-α)。因此，在图9A至图12B示出的表格中，虽然仅示出了在运动矢量MV的子像素单元等于或小于1/2的情况下的插值滤波器系数{f_m(α)}，但是本领域的普通技术人员将理解，可确定在运动矢量MV的子像素单元大于1/2的情况下的其他插值滤波器系数{f_m(α)}。

首先，在图9A至图11C中示出的表格中，第一列中的“FracMV”表示用于1/2^p像素单元运动补偿的运动矢量MV的子像素单元。为了执行子像素单元插值滤波，“FracMV”的值可与第二列中的滤波器系数组合。第三列中的插值位置α是用于定义子像素单元插值位置的参数，并可表示从整像素单元起的相移量。第四列中的窗口滤波器尺寸N可以不必是整数。插值滤波器的缩放比特是6比特。

图9A至图9D分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的3抽头至6抽头插值滤波器的滤波器系数。

图9A示出作为3抽头插值滤波器并包括滤波器系数{p_-1,p₀,p₁}的非对称插值滤波器。因此，图9A中示出的插值滤波器可对相对于插值位置非对称设置的整像素单元像素执行插值滤波。例如，如果执行水平插值，则可对相对于插值位置的两个左整像素单元参考像素和一个右整像素单元参考像素执行插值滤波。

图9B示出作为4抽头插值滤波器并包括滤波器系数{p_-1,p₀,p₁,p₂}的对称插值滤波器。因此，图9B中示出的插值滤波器可对相对于插值位置对称设置的整像素单元像素执行插值滤波。例如，如果执行水平插值，则可通过使用相对于插值位置的两个左整像素单元参考像素和两个右整像素单元参考像素执行插值滤波。

图9C示出作为5抽头插值滤波器并包括滤波器系数{p_-1,p₀,p₁,p₂,p₃}的非对称插值滤波器。因此，如果执行水平插值，则可对相对于插值位置非对称设置的两个左整像素单元参考像素和三个右整像素单元参考像素执行插值滤波。

图9D示出作为6抽头插值滤波器并包括滤波器系数{p_-2,p_-1,p₀,p₁,p₂,p₃}的对称插值滤波器。因此，如果执行水平插值，则可通过使用相对于插值位置对称设置的三个左整像素单元参考像素和三个右整像素单元参考像素执行插值滤波。

图10A至图10C分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的7抽头插值滤波器的滤波器系数。

图10A示出包括滤波器系数{p_-3,p_-2,p_-1,p₀,p₁,p₂,p₃}的非对称插值滤波器。因此，如果通过使用图10A中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的四个左整像素单元参考像素和三个右整像素单元参考像素执行插值滤波。

图10B示出包括滤波器系数{p_-2,p_-1,p₀,p₁,p₂,p₃,p₄}的非对称插值滤波器。因此，如果通过使用图10B中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的三个左整像素单元参考像素和四个右整像素单元参考像素执行插值滤波。

图10C示出包括滤波器系数{p_-1,p₀,p₁,p₂,p₃,p₄,p₅}的非对称插值滤波器。因此，如果通过使用图10C中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的两个左整像素单元参考像素和五个右整像素单元参考像素执行插值滤波。

图11A至图11C分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的8抽头插值滤波器的滤波器系数。

图11A示出包括滤波器系数{p_-3,p_-2,p_-1,p₀,p₁,p₂,p₃,p₄}的对称插值滤波器。因此，如果通过使用图11A中示出的插值滤波器执行水平插值，则可对相对于插值位置对称设置的四个左整像素单元参考像素和四个右整像素单元参考像素执行插值滤波。

图11B示出包括滤波器系数{p_-2,p_-1,p₀,p₁,p₂,p₃,p₄,p₅}的非对称插值滤波器。因此，如果通过使用图11B中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的三个左整像素单元参考像素和五个右整像素单元参考像素执行插值滤波。

图11C示出包括滤波器系数{p_-4,p_-3,p_-2,p_-1,p₀,p₁,p₂,p₃}的非对称插值滤波器。因此，如果通过使用图11C中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的五个左整像素单元参考像素和三个右整像素单元参考像素执行插值滤波。

图12A和图12B分别示出根据本发明的实施例的正则化的亮度插值滤波器和正则化的色度插值滤波器的滤波器系数。

图12A和图12B示出所选择的如以上在<正则化的插值滤波器>中所描述的使失真区域最小化的正则化的插值滤波器的滤波器系数。

根据图12A，调整窗口滤波器尺寸N以对亮度插值滤波器进行正则化。从图9A至图11C中示出的各种插值滤波器中，具有8.7的窗口尺寸的7抽头插值滤波器{-1,4,-10,58,17,-5,-1}可被选择为用于执行1/4像素单元插值滤波的正则化的亮度插值滤波器。此外，具有9.5的窗口尺寸的8抽头插值滤波器{-1,4,-11,40,40,-11,4,-1}可被选择为用于执行1/2像素单元插值滤波的正则化的亮度插值滤波器。换言之，非对称插值滤波器可被选择为正则化的1/4像素单元亮度插值滤波器，对称插值滤波器可被选择为正则化的1/2像素单元亮度插值滤波器。

根据图12B，调整平滑度σ以对色度插值滤波器进行正则化。1/8像素单元4抽头对称插值滤波器可被选择为正则化的色度插值滤波器。

下面参照图13A至图27描述根据本发明的实施例的使用插值滤波器的视频编码和解码。下面参照图15至图25描述根据本发明的实施例的基于具有树结构的编码单元的视频编码和解码。下面参照图26和图27描述根据本发明的实施例的使用插值滤波器的视频编码和解码方法。

当对图像数据执行各种操作时，可将图像数据划分为数据组，并且可对相同数据组的数据执行相同操作。在下面的描述中，根据预定标准形成的数据组被称为“数据单元”，并且通过使用包括在数据单元中的数据来对每个“数据单元”执行操作。

<使用插值滤波器的视频编码和解码>

图13A是根据本发明的实施例的使用插值滤波器的视频编码设备100的框图。

视频编码设备100的编码器120和输出单元130的操作可由视频编码处理器、CPU和图形处理器协同控制。

为了对输入视频的当前画面进行编码，视频编码设备100将当前画面划分为具有预定尺寸的数据单元，并对每个数据单元进行编码。

例如，当前画面包括空域中的像素。为了同时对当前画面的在空间上邻近的像素进行编码，可以以如下方式将当前画面划分为具有预定尺寸的像素组：在预定范围内的邻近像素形成一个组。通过对划分的像素组的像素执行一系列编码操作，当前画面可被编码。

由于将被编码的画面的初始数据是空域中的像素值，因此每个像素组可被用作将被编码的数据单元。此外，当通过对空域中的像素组的像素值执行用于视频编码的变换而产生变换域中的变换系数时，变换系数被包括在具有与空域中的像素组相同尺寸的系数组中。因此，变换域中的变换系数的系数组也可被用作用于对画面进行编码的数据单元。

因此，在空域和变换域中，具有预定尺寸的数据组可被用作将被编码的数据单元。在此情况下，数据单元的尺寸可被定义为包括在数据单元中的数据的数量。例如，空域中的像素的数量或者变换域中的变换系数的数量可表示数据单元的尺寸。

可针对当前将被编码的视频的数据单元、条带、画面和画面序列中的任何数据级别的每个数据组来确定当前数据单元的编码方法或编码特性。

视频编码设备100可通过对每个数据单元执行包括帧间预测和帧内预测的预测编码、变换、量化和熵编码来对当前画面进行编码。

根据帧间预测，为了参考时间上的前一画面或下一画面的像素值来估计当前像素值，可确定参考画面的参考区域的像素值与当前画面的像素值之间的残差数据以及指示参考的像素值的参考数据。

为了更加精确地执行帧间预测，视频编码设备100可通过使用子像素单元像素值确定残差数据和参考数据。为了执行子像素单元帧间预测，视频编码设备100可通过对邻近的整像素单元像素进行插值来确定位于邻近的整像素单元像素之间的子像素单元像素值。

此外，可通过对包括邻近的整像素单元像素的两个或更多个整像素单元参考像素执行插值滤波来产生子像素单元像素值。用于执行插值滤波的参考像素可以是参考画面的像素。

为了有效地执行图像插值，视频编码设备100可选择性地确定插值滤波器系数。编码器120可包括图1中示出的图像插值设备10。换言之，为了执行子像素单元帧间预测，编码器120可通过使用包括由图像插值设备10基于变换和逆变换确定的滤波器系数的插值滤波器来产生子像素单元像素值。

为了有效地执行插值滤波，视频编码设备100可将插值滤波器系数预先存储在存储器中。根据插值位置、平滑度、滤波器抽头的数量、比特深度、缩放比例、基于变换的插值滤波的基函数、窗函数和窗口尺寸，各种插值滤波器系数可被存储在视频编码设备100的存储器中。

例如，i）包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器以及ii）包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器可被存储在存储器中，并可被用于执行插值滤波。

除了上面提到的插值滤波器系数之外，可根据如图9A至图12B中所示的各种基函数和窗函数修改的插值滤波器系数可被用于执行插值滤波。

如果通过使用存储在存储器中的滤波器系数执行插值滤波，则帧间预测的计算速度可被提高。

从多个插值滤波器中，编码器120可选择并使用对称或非对称插值滤波器以根据子像素单元插值位置α执行帧间预测。此外，可根据滤波器抽头的数量、比特深度、缩放比例、窗口滤波器尺寸、平滑度等确定适合于当前像素的插值滤波器。

编码器120可根据图像特性确定插值滤波器。例如，编码器120可根据像素的颜色分量确定不同的插值滤波器。例如，可分开选择用于亮度像素的插值滤波器和用于色度像素的插值滤波器，因此，可通过执行插值滤波分别产生子像素单元像素值。

可通过基于子像素单元插值、帧内预测、变换和量化执行帧间预测来对视频进行编码。

输出单元130可对编码信息进行编码并输出编码信息，并且可输出编码的画面数据。作为编码信息，关于选择的插值滤波器的信息可被另外编码。换言之，关于用于执行子像素单元预测编码的插值滤波器的信息可被编码。例如，解码器必须知道用于对图像进行编码的插值滤波器的情况，以通过使用在编码处理中使用的相同的插值滤波器对图像进行解码。为此，指示使用的插值滤波器的信息可与图像一起被编码。然而，如果滤波器基于先前的编码结果（即，上下文）被选择，则关于选择的滤波器的信息可以不被另外编码。

输出单元130可对编码信息和编码的画面数据执行熵编码，并可输出比特流。

图13B是根据本发明的实施例的使用插值滤波器的视频解码设备200的框图。

视频解码设备200包括接收器和提取器220以及解码器230。视频解码设备200的接收器和提取器220以及解码器230的操作可由视频解码处理器、图形处理器和CPU协同控制。

为了从比特流恢复图像，视频解码设备200可通过执行包括熵解码、反量化、逆变换、帧间预测/补偿和帧内预测/补偿的操作来对比特流的编码的画面数据进行解码。

接收器和提取器220接收并解析编码视频的比特流。接收器和提取器220可从解析的比特流提取当前画面的每个数据单元的编码数据以及包括关于将被用于对编码数据进行解码的编码方法的信息的编码信息。

如果编码信息包括插值滤波器信息，则解码器230可从插值滤波器信息读取关于用于执行子像素单元帧内预测的插值滤波器的信息，并可通过使用在编码处理中使用的插值滤波器来执行运动补偿。

解码器230可通过根据基于关于编码模式的信息确定的各种解码方法对编码的画面执行诸如熵解码、反量化、逆变换、帧间预测/补偿和帧内预测/补偿的各种解码操作来对编码的画面数据进行解码。

为了执行运动补偿，可通过使用参考数据确定在时间上位于当前画面前面或后面的参考画面的参考区域，并且可将参考区域的像素值和残差数据进行组合以恢复当前像素值。

如果残差数据和参考数据基于在编码处理中以子像素单元插值的像素而被确定，则解码器230还可基于以子像素单元插值的像素来执行运动补偿。为了执行子像素单元运动补偿，解码器230可通过对参考画面的邻近的整像素单元像素进行插值来产生子像素单元像素值。可通过对包括邻近的整像素单元像素的两个或更多个整像素单元参考像素执行插值滤波来产生子像素单元像素值。

为了有效地执行图像插值，视频解码设备200可选择性地确定插值滤波器系数。解码器230可包括图1中示出的图像插值设备10。换言之，为了执行子像素单元运动补偿，解码器230可通过使用基于变换的插值滤波器来产生子像素单元像素值。

为了有效地执行插值滤波，视频解码设备200可根据插值位置、平滑度、滤波器抽头的数量、比特深度、缩放比例和基于变换的插值滤波的基函数将各种可选的插值滤波器系数预先存储在存储器中。

如上所述，例如，i）包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器和ii）包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器中的至少一个可被存储在存储器中，并可被用于执行插值滤波。除了上面提到的插值滤波器系数之外，根据如图9A至图12B中所示的各种基函数和窗函数可修改的插值滤波器系数也可被用于执行插值滤波。

从多个插值滤波器中，解码器230可选择并使用适合于当前像素的插值滤波器，以根据子像素单元插值位置α、滤波器抽头的数量、比特深度、缩放比例等执行子像素单元运动补偿。

此外，解码器230可根据图像特性确定插值滤波器。例如，可根据像素的颜色分量确定不同的插值滤波器，可分开执行用于亮度像素的插值滤波和用于色度像素的插值滤波，因此，可分别产生插值的子像素单元像素值。

因此，解码器230可通过执行反量化/逆变换来恢复空域中的数据，并可通过基于子像素单元插值以及整像素单元插值执行帧内预测和运动补偿来恢复像素值和当前画面。如果画面被恢复，则视频可被解码。

图14A是根据本发明的实施例的使用插值滤波器的图像编码方法的流程图。

在操作1410，为了对输入视频的当前画面进行编码，执行使用子像素单元插值的预测编码。从用于产生子像素单元像素值的插值滤波器中，基于子像素单元插值位置和平滑度不同地选择插值滤波器。可基于插值位置和整像素单元之间的距离来确定插值滤波器的平滑度。

可通过对参考画面的两个或更多个整像素单元参考像素执行插值滤波来产生子像素单元像素值。通过使用所产生的子像素单元像素值确定残差数据和参考数据，从而执行预测编码。

为了有效地执行图像插值，可选择性地确定插值滤波器系数。存储器可存储对称插值滤波器和非对称插值滤波器、奇数抽头插值滤波器和偶数抽头插值滤波器以及正则化的插值滤波器的插值滤波器系数。从预先存储在存储器中的插值滤波器系数中，可根据子像素单元插值位置、平滑度、滤波器抽头的数量、比特深度、缩放比例、基于变换的插值滤波的基函数、窗口滤波器尺寸和颜色分量来选择期望的插值滤波器，并且可执行插值以产生子像素单元像素值。

在操作1420，对基于子像素单元插值和帧内预测的帧间预测结果执行变换和量化。

在操作1430，可通过以量化的变换系数的形式对编码信息和编码的画面数据执行熵编码来输出比特流。编码信息可包括关于用于执行子像素单元预测编码的插值滤波器的信息。

图14B是根据本发明的实施例的使用插值滤波器的图像解码方法的流程图。

在操作1450，编码视频的比特流被接收，被熵解码，并被解析以从比特流提取当前画面的量化的变换系数和编码信息。

如果编码信息包括关于插值滤波器的信息，则可从该信息读取所需的插值滤波器的类型。

在操作1460，根据基于从编码信息读取的编码模式确定的各种解码方法，对量化的变换系数执行反量化和逆变换，添加残差数据，从而恢复空域中的数据。

在操作1470，可通过基于编码模式执行诸如运动补偿和帧内预测的各种解码操作来对编码的画面数据进行解码。

具体地讲，如果编码的残差数据和参考数据基于以子像素单元插值的像素而被提取，则可基于以子像素单元插值的像素执行运动补偿。从用于产生子像素单元像素值的插值滤波器中，基于子像素单元插值位置和平滑度不同地选择插值滤波器。

为了有效地执行图像插值，可选择性地确定插值滤波器系数。存储器可存储对称插值滤波器和非对称插值滤波器、奇数抽头插值滤波器和偶数抽头插值滤波器以及正则化的插值滤波器的插值滤波器系数。从预先存储在存储器中的插值滤波器系数中，可根据子像素单元插值位置、平滑度、滤波器抽头的数量、比特深度、缩放比例、基于变换的插值滤波的基函数、窗口滤波器尺寸和颜色分量来选择期望的插值滤波器，并且可执行插值以产生子像素单元像素值。

由于对通过使用预先存储在存储器中的插值滤波器系数被插值的像素执行运动补偿，因此可提高计算速度。存储器可存储对称插值滤波器和非对称插值滤波器以及奇数抽头插值滤波器和偶数抽头插值滤波器。

通过使用参考数据确定参考画面和参考区域，并且可通过对参考画面的两个或更多个整像素单元参考像素执行插值滤波来产生子像素单元像素值。可通过将产生的子像素单元像素值和残差数据进行组合来执行运动补偿，因此，可执行预测解码。

在操作1480，通过使用执行预测解码所获得的像素值来恢复当前画面，从而视频被解码。

<基于具有树结构的编码单元使用插值的视频编码和解码>

现在将参照图13至图27详细地描述根据本发明的实施例的基于具有树结构的编码单元使用插值滤波器的视频编码和解码设备以及与视频编码和解码设备相应的视频编码和解码方法。

视频编码设备100可基于具有树结构的编码单元和变换单元来对视频进行编码。

可基于当前画面的最大编码单元对视频的当前画面进行划分。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。最大编码单元可以是具有32×32、64×64、128×128、256×256等尺寸的数据单元，其中，数据单元的形状是宽度和长度均为2的若干次方的正方形。编码器120可对至少一个最大编码单元中的每一个的画面数据进行编码。

根据本发明的实施例的编码单元可以由最大尺寸和深度来表征。深度表示编码单元在空间上从最大编码单元被划分的次数，并且随着深度加深，根据深度的更深的编码单元可从最大编码单元被划分为最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于与每个深度相应的编码单元的尺寸随着最大编码单元的深度加深而减小，因此与上级深度相应的编码单元可包括与下级深度相应的多个编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的更深的编码单元。由于根据本发明的实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空域的图像数据可根据深度被分层分类。

限制最大编码单元的高度和宽度被分层划分的总次数的编码单元的最大深度和最大尺寸可以被预先确定。

编码器120对通过根据深度划分最大编码单元的区域所获得的至少一个划分区域进行编码，并根据所述至少一个划分区域确定用于最终输出编码的图像数据的深度。换言之，编码器120通过根据当前画面的最大编码单元对根据深度的更深的编码单元中的图像数据进行编码并选择具有最小编码误差的深度来确定编码深度。

编码器120可输出与确定的编码深度相应的编码单元的编码的图像数据。此外，编码器120可将关于确定的编码深度的信息发送到输出单元130，使得关于编码深度的信息可被编码为编码信息。

基于与等于或低于最大深度的至少一个深度相应的更深的编码单元对最大编码单元中的图像数据进行编码，并且基于每个更深的编码单元比较对图像数据进行编码的结果。在比较更深的编码单元的编码误差之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。

随着编码单元根据深度被分层划分，并且随着编码单元的数量增加，最大编码单元的尺寸被划分。此外，即使编码单元在一个最大编码单元中对应于相同深度，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与该相同深度相应的编码单元中的每一个划分到更低的深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像数据也被划分为根据深度的区域，并且编码误差可根据所述一个最大编码单元中的区域而不同，因此，编码深度可根据图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元划分最大编码单元的图像数据。

因此，编码器120可确定包括在最大编码单元中的具有树结构的编码单元。根据本发明的实施例的“具有树结构的编码单元”包括包含在最大编码单元中的所有更深的编码单元中的与被确定为编码深度的深度相应的编码单元。编码深度的编码单元可在最大编码单元的相同区域中根据深度被分层确定，并且可在不同区域中被独立地确定。类似地，当前区域中的编码深度可独立于另一区域中的编码深度而被确定。

根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元执行划分的次数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单元执行划分的总次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度是0时，最大编码单元被划分一次的编码单元的深度可被设置为1，最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度为0、1、2、3和4的5个深度级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据最大编码单元执行预测编码和变换。根据最大编码单元，还基于根据等于最大深度的深度或小于最大深度的深度的更深的编码单元执行预测编码和变换。

由于每当最大编码单元根据深度被划分时更深的编码单元的数量增加，因此对随着深度加深产生的所有更深的编码单元执行包括预测编码和变换的编码。为了便于描述，现在将基于最大编码单元中的当前深度的编码单元描述预测编码和变换。

视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。

例如，视频编码设备100可不仅选择用于对图像数据进行编码的编码单元，而且选择与编码单元不同的数据单元，以对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元，即，基于不再被划分为与更低深度相应的编码单元的编码单元，执行预测编码。下文中，不再被划分并且变为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元所获得的分区可包括通过划分预测单元的高度和宽度中的至少一个所获得的预测单元或数据单元。

例如，当2N×2N（其中，N是正整数）的编码单元不再被划分并且变为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对称地划分预测单元的高度或宽度所获得的对称分区、通过非对称地划分预测单元的高度或宽度（诸如1:n或n:1）所获得的分区、通过在几何上划分预测单元所获得的分区以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一种。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。此外，可仅对2N×2N的分区执行跳过模式。在编码单元中对一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。

视频编码设备100还可不仅基于用于对图像数据进行编码的编码单元而且基于与编码单元不同的数据单元来对编码单元中的图像数据执行变换。

为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变换。例如，用于变换的变换单元可包括用于帧内模式的数据单元和用于帧间模式的数据单元。

与编码单元类似地，编码单元中的变换单元可递归地被划分为更小尺寸的区域，从而可以以这些区域为单位独立地确定变换单元。因此，可以按照根据变换深度的具有树结构的变换单元来划分编码单元中的残差数据。

还可在变换单元中设置指示通过划分编码单元的高度和宽度而执行划分以达到变换单元的次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的尺寸也是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。换言之，可根据变换深度设置具有树结构的变换单元。

根据编码深度的编码信息不仅需要关于编码深度的信息，而且需要关于预测编码和变换的信息。因此，编码器120不仅确定具有最小编码误差的编码深度，而且确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。对于帧间预测，根据编码深度的编码信息可包括与用于对子像素单元进行插值的插值滤波相关的信息。

此外，编码器120可基于在每个最大编码单元或当前编码单元中预先限制性地设置的变换单元的最大划分级别，通过使用具有树结构的变换单元执行变换以对编码单元进行编码。

在根据深度的每个更深的编码单元中，具有小于或等于编码单元的尺寸的基本变换单元可被分层划分为更低变换深度的变换单元。具有树结构的变换单元可包括具有当前允许的最大尺寸的基本变换单元以及与针对编码单元允许的最大划分级别相关的更低级别的变换单元。

在根据当前编码单元中的变换深度在每个级别中执行变换之后，编码器120可确定具有树结构的变换单元，所述具有树结构的变换单元独立于邻近区域的变换单元并且根据变换深度形成相同区域中的变换单元之间的分层结构。

换言之，可通过使用各种尺寸的变换单元对每个编码单元执行变换然后比较变换的结果来确定具有树结构的变换单元。在编码单元正被确定时，可确定用于变换编码单元的变换单元。每当根据一个或更多个深度中的每个深度的编码单元被编码时，根据一个或更多个变换深度中的每个变换深度的变换单元可被用于执行变换。

必须针对每个编码单元确定具有最小编码误差的变换单元。为了在变换单元中确定具有最小编码误差的变换深度，可测量编码误差并在根据深度的所有更深的变换单元中比较编码误差。变换单元可被确定为用于使编码单元的变换误差最小化的数据单元。

因此，由于具有最小编码误差的根据深度的更深的编码单元和更深的变换单元的组合在最大编码单元的每个区域中被单独地确定，因此可确定具有树结构的编码单元和具有树结构的变换单元。

稍后将参照图15至图25详细地描述根据本发明的实施例的在最大编码单元中确定具有树结构的编码单元、分区以及具有树结构的变换单元的方法。

编码器120可通过使用基于拉格朗日乘子的率失真优化来测量根据深度的更深的编码单元的编码误差。

视频编码设备100可以以比特流的形式输出基于由编码器120确定的至少一个编码深度被编码的最大编码单元的图像数据以及被输出单元130编码的关于根据编码深度的编码模式的信息。

随着画面基于具有树结构的编码单元、预测单元和变换单元被编码所确定的关于根据深度的更深的编码单元的编码模式的信息可被包括在比特流的头、序列参数集（SPS）或画面参数集（PPS）中。

可通过对图像的残差数据进行编码来获得编码的图像数据。

关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元中的分区类型、预测模式和变换单元的尺寸的信息。

关于编码深度的信息可通过使用根据深度的划分信息来定义，其表示是否对更低深度（而非当前深度）的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码和输出，因此，划分信息可被定义为不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，因此，划分信息可被定义为划分当前编码单元以获得更低深度的编码单元。

如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。由于在当前深度的一个编码单元中存在更低深度的至少一个编码单元，因此，对更低深度的每个编码单元重复地执行编码，从而可针对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，因此，可针对一个最大编码单元确定关于至少一个编码模式的信息。此外，最大编码单元的图像数据的编码深度可根据位置而不同，这是因为图像数据根据深度被分层划分，因此，可针对图像数据设置关于编码深度和编码模式的信息。

因此，输出单元130可将关于相应的编码深度和编码模式的编码信息分配到包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。

根据本发明的实施例的最小单元是通过将构成最低深度的最小编码单元划分四次所获得的矩形数据单元。可选地，最小单元可以是可被包括在在最大编码单元中包括的所有的编码单元、预测单元、分区单元和变换单元中的最大矩形数据单元。

例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息和根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息和关于分区的尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息和关于帧内模式的插值方法的信息。

关于根据画面、条带或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入比特流的头、SPS或PPS中。

在视频编码设备100中，更深的编码单元可以是通过将上述的作为一层的上级深度的编码单元的高度和宽度划分两次所获得的编码单元。换言之，当当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。此外，具有2N×2N尺寸的当前深度的编码单元可包括最多四个更低深度的编码单元。

因此，视频编码设备100可通过基于考虑当前画面的特性确定的最大深度和最大编码单元的尺寸针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元来形成具有树结构的编码单元。此外，由于可通过使用各种预测模式和变换中的任何一种对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。

因此，如果具有高分辨率或大数据量的图像以传统宏块被编码，则对于每个画面宏块的数量过度增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压缩信息，并且数据压缩效率降低。然而，通过使用视频编码设备100，图像压缩效率可以提高，这是因为在考虑图像的特性时调整编码单元，同时在考虑图像的尺寸时增大编码单元的最大尺寸。

输出单元130可对编码信息进行编码，并输出编码信息，其中，编码信息指示用于基于具有树结构的编码单元和具有树结构的变换单元对视频进行编码的编码方法。编码信息可包括关于与编码深度相应的编码单元的各种编码模式的信息以及关于编码深度的信息。

用于视频解码设备200的各种操作的诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息的各种术语的定义与参照视频编码设备100描述的术语的定义相同。

接收器210接收编码视频的比特流。接收器和提取器220解析接收的比特流。接收器和提取器220从解析的比特流提取用于每个编码单元的编码的画面数据，并将提取的画面数据输出到解码器230，其中，编码单元具有根据每个最大编码单元的树结构。接收器和提取器220可从关于当前画面的头、SPS或PPS提取关于当前画面的编码单元的最大尺寸的信息。

此外，接收器和提取器220可从解析的比特流提取关于具有根据每个最大编码单元的树结构的编码单元的编码信息。从编码信息提取关于编码深度和编码模式的信息。将提取的关于编码深度和编码模式的信息输出到解码器230。换言之，比特流中的图像数据可被划分为最大编码单元，从而解码器230可针对每个最大编码单元对图像数据进行解码。

可针对关于与编码深度相应的至少一个编码单元的信息来设置关于根据最大编码单元的编码深度和编码模式的信息，并且关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。对于帧间预测，可根据编码深度从编码信息提取与用于对子像素单元进行插值的插值滤波相关的信息。此外，可提取根据深度的划分信息，作为关于编码深度的信息。

由接收器和提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于如下编码深度和编码模式的信息，所述编码深度和编码模式被确定为当编码器（诸如视频编码设备100）根据每个最大编码单元针对根据深度的每个更深的编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。

由于关于编码深度和编码模式的编码信息可被分配到相应编码单元、预测单元和最小单元中的预定数据单元，因此接收器和提取器220可根据预定数据单元提取关于编码深度和编码模式的信息。关于编码深度和编码模式的相同信息被分配到的预定数据单元可被推断为包括在相同最大编码单元中的数据单元。

解码器230可通过使用根据深度的划分信息确定当前最大编码单元的至少一个编码深度。如果划分信息表示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，解码器230可通过使用关于与编码深度相应的每个编码单元的预测单元的分区类型、预测模式和变换单元的尺寸的信息来对当前最大编码单元中的与每个编码深度相应的至少一个编码单元的编码的画面数据进行解码，并输出当前最大编码单元的图像数据。

换言之，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被视为将在相同编码模式下被解码器230解码的一个数据单元。

解码器230可通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的编码的画面数据进行解码来恢复当前画面。分区类型、预测模式和变换单元可被读取作为包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元的编码模式。解码处理可包括包含帧内预测和运动补偿的预测以及逆变换。

解码器230可基于关于具有树结构的编码单元的预测单元的预测模式和分区类型的信息来根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。

此外，解码器230可读取具有树结构的变换单元的结构，并可基于变换单元对每个编码单元执行逆变换。

当针对每个最大编码单元递归地执行编码时，视频解码设备200可获得关于产生最小编码误差的至少一个编码单元的信息，并可使用该信息对当前画面进行解码。换言之，可对被确定为每个最大编码单元中的最佳编码单元的具有树结构的编码单元进行解码。此外，考虑图像数据的分辨率和量来确定编码单元的最大尺寸。

因此，即使图像数据具有高分辨率和大量数据，也可通过使用关于从编码器接收的最佳编码模式的信息，通过使用根据图像数据的特性适应性地确定的编码模式和编码单元的尺寸有效地对图像数据进行解码并恢复图像数据。

图15是用于描述根据本发明的实施例的编码单元的概念的示图。

编码单元的尺寸可被表示为宽度×高度，并且可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，最大深度是1。图15中示出的最大深度表示从最大编码单元到最小解码单元的划分总数。

如果分辨率高或数据量大，则编码单元的最大尺寸可以大，从而不但提高编码效率，而且精确地反映图像的特性。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。

由于视频数据310的最大深度是2，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元以及因通过将最大编码单元划分两次而深度加深到两层的长轴尺寸为32和16的编码单元。同时，由于视频数据330的最大深度是1，因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元以及因通过将最大编码单元划分一次而深度加深到一层的长轴尺寸为8的编码单元。

由于视频数据320的最大深度是3，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元以及因通过将最大编码单元划分三次而深度加深到3层的长轴尺寸为32、16和8的编码单元。随着深度加深，可精确表示详细信息。

图16是根据本发明的实施例的基于编码单元的图像编码器400的框图。

图像编码器400执行视频编码设备100的编码器120的操作以对图像数据进行编码。换言之，帧内预测器410对当前帧405中的处于帧内模式下的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495对当前帧405中的处于帧间模式下的编码单元执行帧间估计和运动补偿。

为了通过使用子像素单元中的参考像素精确地执行运动估计，运动估计器420和运动补偿器425可通过对整像素单元中的像素进行插值来产生子像素单元中的像素。用于产生子像素单元中的像素的插值滤波器可以是以上结合图1和图13A描述的插值滤波器。

从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被恢复为空域中的数据，恢复的空域中的数据在通过去块单元480和环路滤波单元490进行后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。

为了将图像编码器400应用在视频编码设备100中，图像编码器400的所有元件（即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和环路滤波单元490）必须在考虑每个最大编码单元的最大深度时基于具有树结构的编码单元中的每个编码单元来执行操作。

具体地，帧内预测器410、运动估计器420和运动补偿器425必须在考虑当前最大编码单元的最大尺寸和最大深度时确定具有树结构的编码单元中的每个编码单元的分区和预测模式，并且变换器430必须确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。

图17是根据本发明的实施例的基于编码单元的图像解码器500的框图。

解析器510从比特流505解析将被解码的编码的图像数据和解码所需的关于编码的信息。编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过逆变换器540被恢复为空域中的图像数据。

帧内预测器550针对空域中的图像数据对处于帧内模式下的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对处于帧间模式下的编码单元执行运动补偿。

为了通过使用子像素单元中的参考像素精确地执行运动估计，运动补偿器560可通过对整像素单元中的像素进行插值来产生子像素单元中的像素。用于产生子像素单元中的像素的插值滤波器可以是以上结合图2和图13B描述的插值滤波器。

通过帧内预测器550和运动补偿器560的空域中的图像数据在通过去块单元570和环路滤波单元580进行后处理之后可被输出为恢复帧595。此外，通过去块单元570和环路滤波单元580进行后处理的图像数据可被输出为参考帧585。

为了在视频解码设备200的解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。

为了将图像解码器500应用在视频解码设备200中，图像解码器500的所有元件（即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580）必须基于针对每个最大编码单元的具有树结构的编码单元来执行操作。

具体地，帧内预测器550和运动补偿器560必须确定具有树结构的编码单元中的每个编码单元的分区和预测模式，并且逆变换器540必须确定每个编码单元的变换单元的尺寸。

图18是示出根据本发明的实施例的根据深度的更深的编码单元和分区的示图。

视频编码设备100和视频解码设备200使用分层编码单元，以便考虑图像的特性。编码单元的最大高度、最大宽度和最大深度可根据图像的特性适应性地确定，或者可由用户不同地设置。根据深度的更深的编码单元的尺寸可根据编码单元的预定最大尺寸来确定。

在根据本发明的实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均为64，最大深度为4。在此情况下，最大深度表示从最大编码单元到最小编码单元执行划分的总次数。由于深度沿分层结构600的纵轴加深，因此更深的编码单元的高度和宽度均被划分。此外，沿分层结构600的横轴示出作为用于每个更深的编码单元的预测编码的基础的预测单元或分区。

换言之，在分层结构600中，编码单元610是最大编码单元，其中，深度为0，尺寸（即，高度×宽度）为64×64。深度沿纵轴加深，存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630以及尺寸为8×8且深度为3的编码单元640。尺寸为8×8且深度为3的编码单元640是最小编码单元。

编码单元的预测单元和分区根据每个深度沿横轴排列。换言之，如果尺寸为64×64且深度为0的编码单元610是预测单元，则该预测单元可被划分为包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。

类似地，尺寸为32×32且深度为1的编码单元620的预测单元可被划分为包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624或尺寸为16×16的分区626。

类似地，尺寸为16×16且深度为2的编码单元630的预测单元可被划分为包括在编码单元630中的分区，即，尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634或尺寸为8×8的分区636。

类似地，尺寸为8×8且深度为3的编码单元640的预测单元可被划分为包括在编码单元640中的分区，即，尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644或尺寸为4×4的分区646。

为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码器120针对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。

包括相同范围和相同尺寸的数据的根据深度的更深的编码单元的数量随着深度加深而增加。例如，需要与深度2相应的四个编码单元以涵盖在与深度1相应的一个编码单元中包括的数据。因此，为了比较根据深度的相同数据的编码结果，与深度1相应的编码单元和与深度2相应的四个编码单元均被编码。

为了针对深度中的当前深度执行编码，可通过针对沿分层结构600的横轴的与当前深度相应的编码单元中的每个预测单元执行编码来针对当前深度选择最小编码误差。可选地，可通过针对随深度沿分层结构600的纵轴加深的每个深度执行编码，通过将根据深度的最小编码误差进行比较来搜索最小编码误差。编码单元610中的具有最小编码误差的深度和分区可被选择为编码单元610的编码深度和分区类型。

图19是用于描述根据本发明的实施例的编码单元710和变换单元720之间的关系的示图。

视频编码设备100或视频解码设备200根据针对每个最大编码单元的尺寸小于或等于最大编码单元的编码单元来对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择在编码期间用于变换的变换单元的尺寸。

例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。

此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的变换单元中的每一个执行变换来对尺寸为64×64的编码单元710的数据进行编码，并随后可选择具有最小编码误差的变换单元。

图20是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图。

视频编码设备100的输出单元130可对针对与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810和关于变换单元的尺寸的信息820进行编码，并发送信息800、信息810和信息820，作为关于编码模式的信息。

信息800表示关于通过将当前编码单元的预测单元进行划分所获得的分区的形状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可被划分为尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806和尺寸为N×N的分区808中的任何一个。这里，关于分区类型的信息800被设置为指示尺寸为2N×N的分区804、尺寸为N×2N的分区806和尺寸为N×N的分区808之一。

信息810表示每个分区的预测模式。例如，信息810可指示对由信息800表示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。

信息820表示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。

视频解码设备200的接收器和提取器220可根据每个更深的编码单元提取信息800、810和820，并且使用信息800、810和820来进行解码。

图21是根据本发明的实施例的根据深度的更深的编码单元的示图。

划分信息可被用于指示深度的改变。划分信息表示当前深度的编码单元是否被划分为更低深度的编码单元。

用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括如下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918。图21仅示出通过将预测单元910进行对称划分所获得的分区类型912至918，但是分区类型不限于此，预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每个分区类型，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。

将在分区类型912至918中包括预测编码的编码的误差进行比较，并且在分区类型中确定最小编码误差。如果编码误差在分区类型912至916之一中最小，则预测单元910可不被划分到更低深度。

如果编码误差在分区类型918中最小，则深度从0改变到1以在操作920划分分区类型918，并对深度为2且尺寸为N_0×N_0的编码单元930重复地执行编码以搜索最小编码误差。

用于对深度为1且尺寸为2N_1×2N_1（=N_0×N_0）的编码单元930进行预测编码的预测单元940可包括如下分区类型的分区：尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946和尺寸为N_1×N_1的分区类型948。

如果编码误差在分区类型948中最小，则深度从1改变到2以在操作950划分分区类型948，并对深度为2且尺寸为N_2×N_2的编码单元960重复地执行编码以搜索最小编码误差。

当最大深度为d时，可分配根据深度的更深的编码单元，直到深度变为d-1，并且可对划分信息进行编码，直到深度为0至d-2之一。换言之，当执行编码直到在与深度d-2相应的编码单元在操作970被划分之后深度为d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括如下分区类型的分区：尺寸为2N_(d-1)×2N_(d-1)的分区类型992、尺寸为2N_(d-1)×N_(d-1)的分区类型994、尺寸为N_(d-1)×2N_(d-1)的分区类型996和尺寸为N_(d-1)×N_(d-1)的分区类型998。

可对分区类型992至998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。

即使当分区类型998具有最小编码误差时，由于最大深度为d，因此深度为d-1的编码单元CU_(d-1)也不再被划分到更低深度，并且构成当前最大编码单元900的编码单元的编码深度被确定为d-1，且当前最大编码单元900的分区类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d且具有最低深度d-1的最小编码单元980不再被划分到更低深度，因此不设置用于最小编码单元980的划分信息。

数据单元999可以是针对当前最大编码单元的“最小单元”。根据本发明的实施例的最小单元可以是通过将最小编码单元980划分四次所获得的矩形数据单元。通过重复地执行编码，视频编码设备100可通过将根据编码单元900的深度的编码误差进行比较来选择具有最小编码误差的深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的编码模式。

如此，在所有深度1至d中比较根据深度的最小编码误差，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息被编码和发送。此外，由于编码单元从深度0被划分到编码深度，因此仅编码深度的划分信息被设置为0，除了编码深度之外的深度的划分信息被设置为1。

视频解码设备200的接收器和提取器220可提取和使用关于编码深度的信息以及编码单元900的预测单元，以对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息来将划分信息为0的深度确定为编码深度，并使用关于相应深度的编码模式的信息来进行解码。

图22至图24是用于描述根据本发明的实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。

编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度相应的具有树结构的编码单元。预测单元1060是编码单元1010中的每一个的预测单元的分区，变换单元1070是编码单元1010中的每一个的变换单元。

当在编码单元1010中最大编码单元的深度为0时，编码单元1012和1054的深度为1、编码单元1014、1016、1018、1028、1050和1052的深度为2、编码单元1020、1022、1024、1026、1030、1032和1048的深度为3，编码单元1040、1042、1044和1046的深度为4。

在预测单元1060中，通过对编码单元1010中的编码单元进行划分来获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。换言之，编码单元1014、1022、1050和1054中的分区类型具有尺寸2N×N，编码单元1016、1048和1052中的分区类型具有尺寸N×2N，编码单元1032中的分区类型具有尺寸N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。

在小于编码单元1052的数据单元中对变换单元1070中的编码单元1052的图像数据执行变换或逆变换。此外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052在尺寸和形状方面不同于预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052。换言之，视频编码设备100和视频解码设备200可对相同编码单元中的数据单元单独地执行帧内预测、运动估计、运动补偿、变换和逆变换。

因此，在最大编码单元的每个区域中对具有分层结构的编码单元中的每一个递归地执行编码，以确定最佳编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表1示出了可由视频编码设备100和视频解码设备200设置的编码信息。

表1

视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，视频解码设备200的接收器和提取器220可从接收的比特流提取关于具有树结构的编码单元的编码信息。

划分信息表示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分到更低深度的深度是编码深度，因此可针对编码深度定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分的编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式之一。可在所有分区类型中定义帧内模式和帧间模式，仅在尺寸为2N×2N的分区类型中定义跳过模式。

关于分区类型的信息可指示通过将预测单元的高度或宽度进行对称划分所获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型以及通过将预测单元的高度或宽度进行非对称划分所获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按照1:3和3:1将预测单元的高度进行划分分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按照1:3和3:1将预测单元的宽度进行划分分别获得尺寸为nL×2N和nR×2N的非对称分区类型。

变换单元的尺寸可被设置为帧内模式下的两种类型和帧间模式下的两种类型。换言之，如果变换单元的划分信息是0，则变换单元的尺寸可以是作为当前编码单元的尺寸的2N×2N。如果变换单元的划分信息是1，则可通过划分当前编码单元来获得变换单元。此外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，而如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。

关于具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可包括预测单元和最小单元中的至少一个，所述预测单元和最小单元包含相同的编码信息。

因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否包括在与编码深度相应的相同编码单元中。此外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，从而可确定最大编码单元中的编码深度的分布。

因此，如果当前编码单元基于邻近数据单元的编码信息被预测，则可直接参考和使用与当前编码单元邻近的更深的编码单元中的数据单元的编码信息。

可选地，如果当前编码单元基于邻近数据单元的编码信息被预测，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并可参考搜索到的邻近编码单元来对当前编码单元进行预测。

图25是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单元之间的关系的示图。

最大编码单元1300包括编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可被设置为0。关于尺寸为2N×2N的编码单元1318的分区类型的信息可被设置为如下分区类型之一：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336和尺寸为nR×2N的分区类型1338。

变换单元的划分信息（TU尺寸标记）是一种变换索引，并且与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而变化。

例如，当分区类型被设置为对称（即，分区类型1322、1324、1326或1328）时，如果TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标记是1，则设置尺寸为N×N的变换单元1344。

当分区类型被设置为非对称（即，分区类型1332、1334、1336或1338）时，如果TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1352，如果TU尺寸标记是1，则设置尺寸为N/2×N/2的变换单元1354。

参照图21，TU尺寸标记是具有值0或1的标记，但是TU尺寸标记不限于1比特，在TU尺寸标记从0增加时，变换单元可被分层划分为具有树结构。TU尺寸标记可被用作变换索引的示例。

在此情况下，实际使用的变换单元的尺寸可通过使用根据本发明的实施例的变换单元的TU尺寸标记以及变换单元的最大尺寸和最小尺寸来表示。根据本发明的实施例，视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码。最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记的编码结果可被插入SPS中。根据本发明的实施例，视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记对视频进行解码。

例如，（a）如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则（a-1）当TU尺寸标记是0时，变换单元的尺寸可以是32×32，（a-2）当TU尺寸标记是1时，变换单元的尺寸可以是16×16，（a-3）当TU尺寸标记是2时，变换单元的尺寸可以是8×8。

作为另一示例，（b）如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则（b-1）当TU尺寸标记是0时，变换单元的尺寸可以是32×32。这里，TU尺寸标记不能被设置为除0以外的值，这是因为变换单元的尺寸不能小于32×32。

作为另一示例，（c）如果当前编码单元的尺寸是64×64并且最大TU尺寸标记是1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不能被设置为除0或1以外的值。

因此，如果当TU尺寸标记是0时，进行如下定义：最大TU尺寸标记是“MaxTransformSizeIndex”，最小变换单元尺寸是“MinTransformSize”并且根变换单元尺寸是“RootTuSize”，则可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”可通过等式（1）来定义：

CurrMinTuSize=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))（1）

与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，根变换单元尺寸“RootTuSize”可表示可在系统中选择的最大变换单元尺寸。在等式（1）中，“RootTuSize/(2^MaxTransformSizeIndex)”表示当根变换单元尺寸“RootTuSize”被划分与最大TU尺寸标记相应的次数时的变换单元尺寸，“MinTransformSize”表示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中的较小的值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。

根据本发明的实施例，根变换单元尺寸“RootTuSize”可根据预测模式的类型而变化。

例如，如果当前预测模式是帧间模式，则“RootTuSize”可通过使用下面的等式（2）来确定。在等式（2）中，“MaxTransformSize”表示最大变换单元尺寸，“PUSize”表示当前预测单元尺寸。

RootTuSize=min(MaxTransformSize,PUSize).........(2)

即，如果当前预测模式是帧间模式，则当TU尺寸标记是0时根变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中的较小的值。

如果当前分区单元的预测模式是帧内模式，则“RootTuSize”可通过使用下面的等式（3）来确定。在等式（3）中，“PartitionSize”表示当前分区单元的尺寸。

RootTuSize=min(MaxTransformSize,PartitionSize)...........(3)

即，如果当前预测模式是帧内模式，则根变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸中的较小的值。

然而，根据分区单元中的预测模式的类型而变化的当前最大变换单元尺寸（根变换单元尺寸“RootTuSize”）仅是示例，本发明不限于此。

图26是根据本发明的实施例的基于具有树结构的编码单元的使用插值滤波器的视频编码方法的流程图。

在操作2610，为了对输入视频的当前画面进行编码，将当前画面划分为至少一个最大编码单元。可对通过根据深度划分每个最大编码单元的区域所获得的至少一个划分区域中的每一个进行编码。为了根据深度对每个划分区域进行编码，对基于子像素单元插值和帧内预测的帧间预测结果执行变换和量化。

这里，可通过将根据深度对划分区域编码的结果进行比较来确定用于根据至少一个划分区域输出最终编码结果的划分深度，并且可确定包括在当前最大编码单元中且具有树结构的编码单元。与具有树结构的编码单元一样，可确定具有树结构的变换单元。换言之，作为画面的编码结果，与确定的具有树结构的编码单元一样，具有树结构的变换单元的编码结果可被输出为画面的编码的数据。

可对编码单元的每个预测单元或分区执行帧间预测。可参考通过执行子像素单元插值所产生的像素来预测当前预测单元或分区的运动。从用于产生子像素单元像素值的插值滤波器中，基于子像素单元插值位置不同地选择插值滤波器。为了有效地执行图像插值，可选择性地确定插值滤波器系数。插值滤波器可根据插值位置被选择为对称插值滤波器或非对称插值滤波器。插值滤波器可以是奇数抽头插值滤波器或偶数抽头插值滤波器。

从预先存储在存储器中的插值滤波器系数中，可根据子像素单元插值位置、平滑度、滤波器抽头的数量、比特深度、缩放比例、基于变换的插值滤波的基函数、窗口滤波器尺寸和颜色分量来选择期望的插值滤波器，并且可执行插值以产生子像素单元像素值。

在操作2620，将作为根据每个最大编码单元的至少一个划分区域的最终编码结果获得的图像数据以及关于编码深度和编码模式的信息输出为比特流。

关于编码模式的信息可包括关于编码深度的信息或划分信息、关于预测单元的分区类型的信息、关于预测模式的信息以及关于变换单元的树结构的信息。编码信息可包括关于用于执行子像素单元预测编码的插值滤波器的信息。关于编码模式的编码的信息可与编码的图像数据一起被发送到解码设备。

图27是根据本发明的实施例的基于具有树结构的编码单元的使用插值滤波器的视频解码方法的流程图。

在操作2710，接收并解析编码视频的比特流。

在操作2720，从解析的比特流提取被分配到最大编码单元的当前画面的编码的图像数据以及关于根据最大编码单元的编码深度和编码模式的信息。可从编码信息提取关于执行子像素单元运动补偿所需的插值滤波器的信息。

可从编码信息提取关于编码深度和编码模式的信息。根据关于编码深度和编码模式的信息，可将最大编码单元划分为具有树结构的编码单元。此外，根据包括在提取的信息中的关于变换单元的树结构的信息，可确定根据编码单元中的变换深度的具有树结构的变换单元。

在操作2730，通过使用关于根据每个最大编码单元的编码深度和编码模式的信息，可基于具有树结构的编码单元、预测单元和具有树结构的变换单元对每个最大编码单元的图像数据进行解码。由于基于关于编码深度和编码模式的信息对当前编码单元进行解码，因此可通过使用从具有树结构的变换单元中确定的变换单元对当前编码单元进行逆变换。

可通过基于编码模式对编码单元的每个预测单元或分区执行诸如运动补偿和帧内预测的各种解码操作来对编码的画面数据进行解码。

具体地讲，如果基于在子像素单元中插值的像素提取编码的残差数据和参考数据，则可基于在子像素单元中插值的像素对当前预测单元或当前分区执行运动补偿。从用于产生子像素单元像素值的插值滤波器中，可基于子像素单元插值位置不同地选择插值滤波器。插值滤波器可根据插值位置被选择为对称插值滤波器或非对称插值滤波器。插值滤波器可以是奇数抽头插值滤波器或偶数抽头插值滤波器。

为了有效地执行图像插值，可选择性地确定插值滤波器系数。从预先存储在存储器中的插值滤波器系数中，可根据子像素单元插值位置、平滑度、滤波器抽头的数量、比特深度、缩放比例、基于变换的插值滤波的基函数、窗口滤波器尺寸和颜色分量来选择期望的插值滤波器，并且可执行插值以产生子像素单元像素值。

通过使用参考数据确定参考画面和参考区域，并且可通过对参考画面的两个或更多个整像素单元参考像素执行插值滤波来产生子像素单元像素值。可通过将产生的子像素单元像素值和残差数据进行组合来对当前预测单元或当前分区执行运动补偿，因此，可执行预测解码。

由于每个最大编码单元被解码，因此可恢复空域中的图像数据，并且可恢复为画面序列的视频和画面。恢复的视频可通过再现设备被再现，可被存储在存储介质中，或者可在网络中被传送。

本发明的实施例可被写为计算机程序，并可被实施在使用计算机可读记录介质执行这些程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质（例如，ROM、软盘、硬盘等）和光记录介质（例如，CD-ROM或DVD）。

尽管已经参照本发明的优选实施例具体示出和描述了本发明，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。优选实施例应仅被视为描述性意义而非限制的目的。因此，本发明的范围不是由本发明的具体实施方式限定的，而是由权利要求限定的，并且在所述范围内的所有差异将被视为包括在本发明中。

Claims (15)

1.一种使用基于变换的插值滤波器的图像插值方法，所述方法包括：

根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及

通过使用所选择的插值滤波器对整像素单元像素进行插值来产生所述至少一个子像素单元像素值。

2.根据权利要求1所述的方法，其中，为了对空域中的整像素单元像素进行插值，每个插值滤波器包括通过将使用用于变换和逆变换的多个基函数的滤波器和非对称或对称窗口滤波器进行组合所获得的滤波器系数，

其中，对称插值滤波器在由对称插值滤波器支持的区域中的插值位置的两侧包括相同数量的滤波器系数，非对称插值滤波器在由非对称插值滤波器支持的区域中的插值位置的两侧包括不同数量的滤波器系数。

3.根据权利要求1所述的方法，其中，产生所述至少一个子像素单元像素值的操作包括：

如果非对称插值滤波器被选择，则通过使用非对称插值滤波器的滤波器系数执行滤波，以支持非对称地位于由非对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素；以及

如果对称插值滤波器被选择，则通过使用对称插值滤波器的滤波器系数执行滤波，以支持对称地位于由对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素。

4.根据权利要求1所述的方法，其中，产生所述至少一个子像素单元像素值的操作包括：

如果包括奇数个滤波器系数的非对称奇数抽头插值滤波器从插值滤波器中被选择，则通过使用非对称奇数抽头插值滤波器的奇数个滤波器系数来执行滤波，以支持位于由非对称奇数抽头插值滤波器支持的区域中的插值位置的两侧的奇数个整像素单元像素；以及

如果包括偶数个滤波器系数的对称偶数抽头插值滤波器从插值滤波器中被选择，则通过使用对称偶数抽头插值滤波器的偶数个滤波器系数来执行滤波，以支持位于由对称偶数抽头插值滤波器支持的区域中的插值位置的两侧的偶数个整像素单元像素。

5.根据权利要求1所述的方法，其中，选择插值滤波器的操作包括：从插值滤波器中选择被正则化的用于使作为使用所选择的插值滤波器的插值结果产生的频率响应误差最小化的插值滤波器，

其中，被正则化的插值滤波器包括：i）包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii）包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。

6.一种使用基于变换的插值滤波器的图像插值设备，所述设备包括：

滤波器选择器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及

插值器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生所述至少一个子像素单元像素值。

7.根据权利要求6所述的设备，其中，对称插值滤波器相对于插值位置包括相同数量的滤波器系数，非对称插值滤波器相对于插值位置包括不同数量的滤波器系数，

其中，为了对空域中的整像素单元像素进行插值，每个插值滤波器包括通过将使用用于变换和逆变换的多个基函数的滤波器和非对称或对称窗口滤波器进行组合所获得的滤波器系数。

8.根据权利要求6所述的设备，其中，插值器进行如下操作：

如果非对称插值滤波器被选择，则通过使用非对称插值滤波器的滤波器系数执行滤波，以支持非对称地位于由非对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素；以及

如果对称插值滤波器被选择，则通过使用对称插值滤波器的滤波器系数执行滤波，以支持对称地位于由对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素。

9.根据权利要求6所述的设备，其中，插值器进行如下操作：

如果包括奇数个滤波器系数的非对称奇数抽头插值滤波器从插值滤波器中被选择，则通过使用非对称奇数抽头插值滤波器的奇数个滤波器系数来执行滤波，以支持位于由非对称奇数抽头插值滤波器支持的区域中的插值位置的两侧的奇数个整像素单元像素；以及

如果包括偶数个滤波器系数的对称偶数抽头插值滤波器从插值滤波器中被选择，则通过使用对称偶数抽头插值滤波器的偶数个滤波器系数来执行滤波，以支持位于由对称偶数抽头插值滤波器支持的区域中的插值位置的两侧的偶数个整像素单元像素。

10.根据权利要求6所述的设备，其中，滤波器选择器从插值滤波器中选择被正则化的用于使作为使用所选择的插值滤波器的插值结果产生的频率响应误差最小化的插值滤波器，

其中，被正则化的插值滤波器包括：i）包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii）包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。

11.一种使用图像插值滤波器的视频编码设备，所述设备包括：

编码器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中针对输入画面的每个块分别选择相对于由选择的插值滤波器支持的区域中的插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生所述至少一个子像素单元像素值，执行预测编码，并对根据预测编码的预测结果执行变换和量化；

输出单元，输出通过对量化的变换系数和编码信息执行熵编码所产生的比特流；以及

存储单元，存储插值滤波器的滤波器系数。

12.根据权利要求11所述的设备，其中，存储单元存储如下插值滤波器的滤波器系数：i）包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii）包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。

13.一种使用图像插值滤波器的视频解码设备，所述设备包括：

接收器和提取器，接收视频的编码的比特流，执行熵解码和解析，并提取视频的画面的编码信息和编码数据；

解码器，对画面的当前块的编码数据的量化的变换系数执行反量化和逆变换，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生所述至少一个子像素单元像素值，并执行预测解码以恢复画面；以及

存储单元，存储插值滤波器的滤波器系数。

14.根据权利要求13所述的设备，其中，存储单元存储如下插值滤波器的滤波器系数：i）包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii）包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。

15.一种其上记录有用于执行权利要求1所述的方法的程序的计算机可读记录介质。

Images