CN101641960A - 使用自适应内插滤波器对图像编码与解码的方法和设备 - Google Patents

Abstract

提供一种使用当前块的邻近区域和参考图像的相应邻近区域产生内插滤波器以及使用产生的内插滤波器内插参考图像的图像编码方法和设备及其图像解码方法和设备。通过根据当前块的运动向量的分数像素分辨率内插与当前块的邻近区域相应的参考图像的邻近区域并且确定使参考图像的内插的邻近区域与当前块的邻近区域之间的差值最小化的内插滤波器系数，使用关于邻近区域的信息自适应地产生当前块的运动补偿所需的内插滤波器。

Description

使用自适应内插滤波器对图像编码与解码的方法和设备

技术领域

与本发明一致的设备和方法涉及内插用于运动补偿的参考图像的内插滤波器，更具体地说，涉及使用当前块的邻近区域和参考图像的相应邻近区域来产生内插滤波器，使用产生的内插滤波器来内插参考图像及其图像解码方法和设备。

背景技术

在图像压缩方法中，诸如MPEG-1、MPEG-2、MPEG-4和H.264/MPEG-4先进视频编码(AVC)，为了对图像进行编码，将单个图像划分为宏块。其后，以帧间预测编码和帧内预测编码中可用的所有编码模式对每个宏块进行编码，并且根据对宏块进行编码所需的比特率以及原始宏块和解码的宏块之间的失真度，选择编码模式，并且对宏块进行编码。

帧间预测包括：使用位于当前编码的图像之前或之后的至少一个参考图像，通过搜索与当前编码的块相似的参考图像的区域，产生运动向量，并且通过使用产生的运动向量执行运动补偿，产生当前块的预测块。

以比整数像素分辨率更精确的分数像素分辨率为单位执行运动补偿，从而增加预测准确度。例如，在通过产生参考图像的整数像素之间存在的分数像素(诸如二分之一像素、四分之一像素和八分之一像素)对参考图像进行内插之后，使用内插的参考图像执行运动补偿预测。

图1是用于解释根据现有技术的参考图像内插处理的示图。在图1中，使用理想的正方形指示的像素表示整数像素，使用圆环指示的像素表示整数像素之间存在的二分之一像素。另外，正方形框中的大写字母表示执行内插之前的整数像素，圆环中的小写字母表示执行内插之前的整数像素之间的二分之一像素。

参照图1，通过在水平方向上应用6阶滤波器来产生水平方向上位于彼此邻近的两个整数像素之间的二分之一像素。例如，通过使用等式c＝(E-5F+20G+20H-5I+J)/32将6阶有限脉冲响应(FIR)滤波器应用于位于与将被内插的二分之一像素c相同行的6个整数像素，产生在水平方向上位于整数像素G和H之间的二分之一像素c。分配给与将被内插的二分之一像素邻近的6个整数像素的权重{1，-5，20，20，-5，1}(在等式中使用的)被称为滤波器系数。

类似地，通过在垂直方向上应用6阶FIR滤波器来产生垂直方向上位于彼此邻近的两个整数像素之间的二分之一像素。例如，通过使用等式f＝(A-CF+20G+20M-5R+T)/32将6阶FIR滤波器应用于位于与二分之一像素f相同列的6个整数像素，产生在垂直方向上位于整数像素G和M之间的二分之一像素f。

根据现有技术，内插滤波器的滤波器系数总是固定的。这是因为如果将不同的内插滤波器应用到每个块，则应用到每个块的滤波器系数必须被发送到用于对图像进行解码的解码器。然而，由于编码的块可具有不同的图像特性，因此，如果执行将相同内插滤波器应用到所有块的运动补偿预测，则预测性能可能效率低。

发明内容

技术方案

本发明的示例性实施例提供了一种使用将被编码的当前块的邻近区域的数据以及参考图像的相应邻近区域的数据来自适应地产生内插滤波器的图像编码方法和设备及其图像解码方法和设备。

本发明的示例性实施例还提供了一种在不另外发送内插滤波器系数的情况下产生用于多个块中的每一个的内插滤波器系数的图像编码方法和设备。

有益效果

根据本发明的示例性实施例，通过产生用于多个块中的每一个的内插滤波器并且执行运动预测补偿，能够减小运动补偿值与原始图像数据之间的差值，这样减小了残差数据的大小并且增加了图像压缩效率。

另外，即使不发送所有内插滤波器系数，也能够使用邻近区域的先前编码的数据来自适应地确定内插滤波器系数。

附图说明

图1是用于解释根据现有技术的参考图像内插处理的示图；

图2是根据本发明的示例性实施例的图像编码设备的框图；

图3是用于解释根据本发明的示例性实施例的使用图2示出的图像编码设备对当前块执行运动预测的处理的示图；

图4是用于解释根据本发明的示例性实施例的在图2示出的图像编码设备的运动预测器中使用分数像素分辨率对当前块执行运动预测的处理的示图；

图5是根据本发明的示例性实施例的图2示出的图像编码设备的内插滤波器产生器的框图；

图6示出根据本发明的示例性实施例的在图2示出的内插滤波器产生器中用于产生内插滤波器的当前块的邻近区域、参考图像的邻近区域和参考图像的内插的邻近区域；

图7示出根据当前块的运动向量的分数像素分辨率的参考图像的邻近区域和参考图像的内插的邻近区域；

图8是用于解释根据本发明的示例性实施例的内插参考图像的邻近区域的处理的示图；

图9是用于解释根据本发明的另一示例性实施例的内插参考图像的邻近区域的处理的示图；

图10是用于解释根据本发明的另一示例性实施例的内插参考图像的邻近区域的处理的示图；

图11A示出当前块的邻近区域，图11B示出通过内插与图11A示出的当前块的邻近区域相应的参考图像的邻近区域而产生的参考图像的内插的邻近区域；

图12是根据本发明的示例性实施例的图像编码方法的流程图；

图13是根据本发明的示例性实施例的图像解码设备的框图；以及

图14是根据本发明的示例性实施例的图像解码方法的流程图。

最佳方式

根据本发明的一方面，提供一种图像编码方法，所述方法包括：通过使用分数像素分辨率对当前块执行运动预测来产生将被编码的当前块的运动向量；确定与当前块的邻近区域相应的参考图像的邻近区域，当前块的邻近区域已经被编码和解码；根据当前块的运动向量的分数像素分辨率产生用于内插参考图像的邻近区域中整数像素之间的分数像素的内插滤波器，所述内插滤波器内插参考图像的邻近区域以最小化参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值；使用产生的内插滤波器内插通过具有分数像素分辨率的运动向量指示的当前块的相应块。

根据本发明的另一方面，提供一种图像编码设备，所述设备包括：运动预测器，通过使用分数像素分辨率对当前块执行运动预测来产生将被编码的当前块的运动向量；内插滤波器产生器，使用与当前块的邻近区域相应的参考图像的邻近区域，根据当前块的运动向量的分数像素分辨率产生用于内插参考图像的邻近区域中整数像素之间的分数像素的内插滤波器，所述当前块的邻近区域已经被编码和解码，所述内插滤波器内插参考图像的邻近区域以最小化参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值；内插器，使用产生的内插滤波器内插通过具有分数像素分辨率的运动向量指示的当前块的相应块。

根据本发明的另一方面，提供一种图像解码方法，所述方法包括：从接收的比特流提取将被解码的当前块的运动向量信息；如果提取的当前块的运动向量是具有分数像素分辨率的运动块，则确定与当前块的邻近区域相应的参考图像的邻近区域，所述当前块的邻近区域已经被解码；根据当前块的运动向量的分数像素分辨率产生用于内插参考图像的邻近区域中整数像素之间的分数像素的内插滤波器，所述内插滤波器内插参考图像的邻近区域以最小化参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值；使用产生的内插滤波器内插通过具有分数像素分辨率的运动向量指示的当前块的相应块。

根据本发明的另一方面，提供一种图像解码设备，所述设备包括：运动向量提取器，从接收的比特流提取将被解码的当前块的运动向量信息；内插滤波器产生器，如果提取的当前块的运动向量是具有分数像素分辨率的运动块，则使用与当前块的邻近区域相应的参考图像的邻近区域，根据当前块的运动向量的分数像素分辨率产生用于内插参考图像的邻近区域中整数像素之间的分数像素的内插滤波器，所述当前块的邻近区域已经被解码，所述内插滤波器内插参考图像的邻近区域以最小化参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值；内插器，使用产生的内插滤波器内插通过具有分数像素分辨率的运动向量指示的当前块的相应块。

具体实施方式

将通过参照附图解释本发明的示例性实施例详细描述本发明。

图2是根据本发明的示例性实施例的图像编码设备200的框图。

参照图2，根据本发明的当前示例性实施例的图像编码设备200包括：运动预测器210、参考图像内插器220、存储单元230、内插滤波器产生器240、内插器250、运动补偿器260、减法器270、编码器280和解码器290。

运动预测器210使用参考图像的数据通过执行运动预测来产生当前块的运动向量。

图3是用于解释根据本发明的实施例的使用运动预测器210对当前块执行运动预测的处理的示图。

参照图3，运动预测器210在包括位于与当前块311相同空间位置的参考图像320的相应块321的预定范围内的邻近像素的搜索区域322中搜索与当前图像310的正被编码的当前块311最相似的相应块，并且基于最相似相应块与当前块311之间的位置差值来产生运动向量。这里，使用作为参考图像320的存储在存储单元230中的整数像素单元参考图像以及参考图像内插器220使用分数像素分辨率(诸如二分之一像素分辨率、四分之一像素分辨率和八分之一像素分辨率)内插的参考图像。

参照图2，参考图像内插器220使用根据现有技术的6阶有限脉冲响应(FIR)滤波器、2阶均值滤波器或线性内插滤波器对存储在存储单元230中的参考图像执行内插。详细地，参考图像内插器220使用滤波器系数为{1，-5，20，20，-5，1}的6阶FIR滤波器对二分之一像素执行内插，使用用于获得邻近整数像素或二分之一像素的均值的2阶均值滤波器对四分之一像素执行内插，使用根据距离邻近整数像素的长度的系数通过线性内插对八分之一像素执行内插。由于6阶FIR滤波器、2阶均值滤波器和线性内插滤波器是现有技术，因此将不提供其详细描述。

图4是用于解释根据本发明的示例性实施例的在图2示出的运动预测器210中使用分数像素分辨率对当前块执行运动预测的处理的示图。参照图4，执行在使用二分之一像素分辨率内插的参考图像的搜索区域40中搜索与当前块最相似的相应块42的处理。在图4中，虚线块41表示与当前块相同空间位置的参考图像的块，圆环表示整数像素，叉表示二分之一像素。

参照图4，如果假设已经确定在使用二分之一像素分辨率内插的参考图像的搜索区域40中的与当前块最相似的相应块42，则运动预测器210通过计算与当前块相同空间位置的参考图像的块41与相应块42之间的空间位置差值，产生当前块的运动向量43。在图4中，基于当前块的左上边缘的整数像素的位置与相应块42的左上边缘的二分之一像素的位置之间的差值，运动向量43是(4.5，-3)。尽管图4示出了具有二分之一像素分辨率的运动向量，但是根据参考图像的内插的分辨率，当前块的运动向量43可以具有l/2ⁿ(n是正整数)像素分辨率。

图5是根据本发明的示例性实施例的图2示出的内插滤波器产生器240的框图。图6示出根据本发明的示例性实施例的在图2示出的内插滤波器产生器240中用于产生内插滤波器的当前图像600的当前块601的邻近区域602、参考图像610的邻近区域611和参考图像610的内插的邻近区域。

参照图5和图6，内插滤波器产生器240包括参考图像邻近区域内插器241和滤波器系数确定单元242。

如果运动预测器210产生的当前块601的运动向量具有分数像素分辨率，则参考图像邻近区域内插器241使用当前块601的邻近区域602，根据当前块601的运动向量的分数像素分辨率，在参考图像610的邻近区域611的整数像素之间内插分数像素，其中，邻近区域602已经被编码和解码，参考图像610的邻近区域611相应于当前块601的邻近区域602。如果当前块的运动向量的水平分量和垂直分量都是整数，则可以就这样使用运动向量指示的参考图像的相应块，因此省略内插处理。

如果假设根据光栅扫描顺序按照从左到右从上到下的顺序对形成当前图像600的每个块进行编码，则当前块601的邻近区域602(其中，邻近区域602已经被编码和解码)成为包括位于当前块601的左上方的像素的预定大小的区域，如图6所示。这里，可使用当前块601的运动向量或当前块601的邻近区域602的运动向量来确定参考图像610的邻近区域611。也就是说，可通过将当前块601的运动向量应用到当前块601的邻近区域602而不进行改变，从参考图像610来确定相应的邻近区域611，或者可使用形成当前块601的邻近区域602的块的运动向量来确定参考图像610中的相应的邻近区域611。

如果当前块601的运动向量或当前块601的邻近区域602的运动向量具有分数像素分辨率，则使用取整函数或修整函数将运动向量的水平分量和垂直分量中的分数像素分辨率分量变换到整数，并且可使用变换的运动向量确定参考图像610的邻近区域612。例如，当使用当前块601的运动向量确定与当前块601的邻近区域602相应的参考图像610的邻近区域611时，如果当前块601的运动向量是(-1.25，4.75)，则可通过将当前块601的运动向量变换为(-1，5)并将变换的运动向量应用到当前块601的邻近区域602来确定参考图像610的邻近区域611。使用这种运动向量变换处理以省略内插处理来确定参考图像610的邻近区域611。

滤波器系数确定单元242计算参考图像610的内插的邻近区域612中的像素与当前块601的邻近区域602中的相应像素之间的差值的和，并且确定内插滤波器系数，从而最小化差值的和。例如，当使用误差平方和(SSE)时，滤波器系数确定单元242可将参考图像610的内插的邻近区域612中的像素与当前块601的邻近区域602中的相应像素之间的差值进行平方，将平方的差值相加，通过每个内插滤波器系数对SSE求偏微分，并且将使SSE的偏微分为0的最终内插滤波器系数确定为内插滤波器系数。

图7示出根据当前块的运动向量的分数像素分辨率的参考图像的邻近区域和参考图像的内插的邻近区域。在图7中，标号711指示的区域表示与当前块的邻近区域相应的参考图像的邻近区域，标号712指示的区域表示通过在参考图像的邻近区域711中的整数像素之间内插二分之一像素而产生的参考图像的内插的邻近区域。另外，在图7中，圆环表示整数像素，叉表示二分之一像素。

如果假设当前块的运动向量在水平方向上具有二分之一像素分辨率(0.5，0)，则为了获得当前块的运动补偿值，必须内插水平方向上彼此相邻的参考图像的整数像素之间的二分之一像素。在这种情况下，根据现有技术，使用6阶FIR滤波器内插当前块的运动向量指示的参考图像的相应块。参照图7，根据本发明的实施例的参考图像邻近区域内插器241与当前块的邻近区域相应的参考图像的邻近区域711的在水平方向上彼此相邻的整数像素之间内插二分之一像素，而不是直接内插与当前块相应的参考图像区域。

图8是用于解释根据本发明的实施例的内插参考图像的邻近区域的处理的示图。

参考图8，如果仅当前块的运动向量的水平分量具有如图7所示的分数像素分辨率，如图7所示，则参考图像邻近区域内插器241通过定义用于将权重分配给参考图像的邻近区域中水平方向上与分数像素801邻近的N(N为正整数)个整数像素的N×1大小的掩摸(mask)800，将掩摸800中的N个邻近整数像素乘以分配的权重，并且将相乘的结果相加，产生将被内插的分数像素801的内插值。

例如，如果假设N＝6，则将被内插的在分数像素801的水平方向上邻近的6个整数像素是D1、D2、D3、D4、D5和D6，并且分别分配给邻近整数像素D1、D2、D3、D4、D5和D6的权重是W1、W2、W3、W4、W5和W6，使用等式1获得分数像素801的内插值p。

p＝W1×D1+W2×D2+W3×D3+W4×D4+W5×D5+W6×D6(等式1)

参考图像邻近区域内插器241通过如等式1将预定权重分配给参考图像的邻近区域中的整数像素，将邻近整数像素乘以分配的权重，并且将相乘的结果相加，产生与当前块的邻近区域相应的参考图像的内插的邻近区域。

图9是用于解释根据本发明的另一示例性实施例的内插参考图像的邻近区域的处理的示图。

参照图9，如果仅当前块的运动向量的水平分量和垂直分量中的垂直分量具有分数像素分辨率，则参考图像邻近区域内插器241通过定义用于将权重分配给参考图像的邻近区域中垂直方向上与分数像素901邻近的M(M为正整数)个整数像素的1×M大小的掩摸900，将掩摸900中的M个邻近整数像素乘以分配的权重，并且将相乘的结果相加，产生将被内插的分数像素901的内插值。

例如，假设当前块的运动向量为(3，0.5)，即，仅在垂直分量上具有分数像素分辨率。另外，假设M＝6，则将被内插的在分数像素901的垂直方向上邻近的6个整数像素是D7、D8、D9、D10、D11和D12，并且分别分配给邻近整数像素D7、D8、D9、D10、D11和D12的权重是W7、W8、W9、W10、W11和W12，则使用等式2获得分数像素901的内插值q。

q＝W7×D7+W8×D8+W9×D9+W10×D10+W11×D11+W12×D12(等式2)

图10是用于解释根据本发明的另一示例性实施例的内插参考图像的邻近区域的处理的示图。

参照图10，如果当前块的运动向量的水平分量和垂直分量都具有分数像素分辨率，则参考图像邻近区域内插器241通过定义用于将权重分配给与参考图像的邻近区域中的分数像素1001邻近的整数像素的N×M大小的掩摸1000，将掩摸1000中的N×M个邻近整数像素乘以分配的权重，并且将相乘的结果相加，产生将被内插的分数像素1001的内插值。

例如，假设当前块的运动向量为(3.5，0.5)，即，在水平分量和垂直分量上都具有分数像素分辨率。在这种情况下，如果假设对存在于参考图像的邻近区域中的整数像素之间的将被内插的分数像素1001定义N×M大小的掩摸1000，并且定义的N×M大小的掩摸1000中的(i，j)位置(i＝1，...，N，j＝1，...，M)的邻近整数像素是Dij并且分配给邻近整数像素Dij的权重是Wij，则使用等式3获得分数像素1001的内插值r。

r＝W11×D11+W12×D12+...+W43×D43+W44×D44(等式3)

根据当前块的运动向量的分数像素分辨率内插参考图像的邻近区域的处理不限于上面描述的示例性实施例。例如，还可将使用N×M大小的掩摸内插参考图像的邻近区域的处理应用于仅有当前块的运动向量的水平分量和垂直分量中的任何一个具有分数像素分辨率的情况。另外，在当前块的运动向量的水平分量和垂直分量都具有分数像素分辨率时，可使用N×1大小的掩摸内插水平方向上彼此相邻的整数像素之间的分数像素，并且可使用1×M大小的掩摸内插垂直方向上彼此相邻的整数像素之间的分数像素。

图11A示出当前块的邻近区域1110，图11B示出通过内插与图11A示出的当前块的邻近区域1110相应的参考图像的邻近区域而产生的参考图像的内插的邻近区域1120。在图11A和图11B中，Pij表示位于(i，j)的当前块的邻近区域1110的像素的值，Pij′表示与当前块的邻近区域1110中位于(i，j)的像素相应的参考图像的内插的邻近区域1120的像素值。

参照图11A和图11B，如果参考图像邻近区域内插器241根据当前块的运动向量的分数像素分辨率通过内插参考图像的邻近区域中整数像素之间的分数像素，产生参考图像的内插的邻近区域1120，则滤波器系数确定单元242计算参考图像的内插的邻近区域1120中每个像素与当前块的邻近区域1110中每个相应像素之间的差值，即，Pij-Pij′，并且计算当前块的邻近区域1110中的像素与参考图像的邻近区域中的相应内插的分数像素之间的误差值的和E。如上所述，如果使用SSE，则滤波器系数确定单元242如[公式1]E＝∑(Pij-Pij′)²中计算彼此相应的像素之间的差值的平方和，并且确定使误差值的和E最小化的掩摸的权重。可通过将分配给邻近整数像素的权重设置为变量对误差值的和E求偏微分并计算使偏微分的误差值的和E为0的权重，来确定使误差值的和E最小化的掩摸的权重。确定的权重与内插滤波器的滤波器系数相应，并且通过应用具有确定的滤波器系数的内插滤波器内插与当前块相应的参考图像的块。

确定用于内插参考图像的邻近区域的N×M大小的掩摸中的权重的处理概括为下面的描述。

如上所述，必须确定掩摸中的权重，以最小化参考图像的内插的邻近区域中的每个像素与当前块的邻近区域中的每个相应像素之间的误差值的和。

如果假设在时间t编码的当前图像的当前块的邻近区域是O_wy ^t，与当前块的邻近区域相应的参考图像的内插的邻近区域是P^t(MV^t)，N×M大小的掩摸中(i，j)位置(i＝1，..，N，j＝1，...，M)的滤波器权重为W_i，j，当前块的邻近区域W_wy ^t与参考图像的内插的邻近区域P^t(MV^t)之间的差值是R_wy ^t，则如等式4使用参考图像的内插的邻近区域P^t(MV^t)和差值R_wy ^t来表示当前块的邻近区域O_wy ^t，[公式2] $O_{\mathrm{wy}}^t=P^t\left({\mathrm{mv}}^t\right)+R_{\mathrm{wy}}^t$ (等式4)。

可通过将N×M大小的掩摸与使用当前块的运动向量mv^t确定的参考图像的邻近区域D^t-1中的整数像素合并，将(i，j)位置的滤波器权重W_i，j乘以参考图像的邻近区域中的整数像素，并且将相乘的结果相加(等式5)，来计算参考图像的内插的邻近区域P^t(mv^t)。这里，运动向量mv^t可使用当前块的运动向量作为使用取整函数或修整函数逐个整数像素变换的向量。

[公式3] $P^t\left({\mathrm{mv}}^t\right)=\underset{i,j}{\mathrm{\Σ}}{W}_{i,j}\×D_{x+i,y+j}^{t-1}\left({\mathrm{mv}}^t\right)$ (等式5)

如上所述，必须确定掩摸的权重W_i，j，以最小化当前块的邻近区域与参考图像的内插的邻近区域之间的误差值的和。如果SSE用作误差值的和，则使用等式6计算SSE。

[公式4]

$\mathrm{SSE}=\underset{\mathrm{xy}}{\mathrm{\Σ}}{\left(R_{\mathrm{xy}}^t\right)}^2=\underset{\mathrm{xy}}{\mathrm{\Σ}}{(O_{\mathrm{xy}}^t-\underset{\mathrm{ij}}{\mathrm{\Σ}}(W_{i,j}\×D_{x+i,y+j}^{t-1}\left({\mathrm{mv}}^t\right)))}^2$

(等式6)

可通过在N×M大小的掩摸中的任意(k，l)位置的权重W_kl对SSE求偏微分，并且确定使偏微分的值为0的权重，确定使SSE最小化的权重，如等式7所示。

[公式5]

$\frac{\∂\mathrm{SSE}}{\∂W_{\mathrm{kl}}}=\underset{\mathrm{xy}}{\mathrm{\Σ}}(2\×(O_{\mathrm{xy}}^t-\underset{\mathrm{ij}}{\mathrm{\Σ}}{W}_{i,j}\×D_{x+i,y+j}^{t-1}\left({\mathrm{mv}}^t\right))\×(-D_{x+k,y+l}^{t-1}\left({\mathrm{mv}}^t\right)))$

$=-2\×\underset{\mathrm{xy}}{\mathrm{\Σ}}{(O_{\mathrm{xy}}^t\×D_{x+i,y+j}^{t-1}\left({\mathrm{mv}}^t\right))}^2+2\×\underset{\mathrm{ij}}{\mathrm{\Σ}}(W_{i,j}\×(\underset{\mathrm{xy}}{\mathrm{\Σ}}{D}_{x+i,y+j}^{t-1}\left(\mathrm{mv}\right)\×D_{x+i,y+j}^{t-1}\left({\mathrm{mv}}^t\right)))=0$

(等式7)

通过使用指示互相关的预定算子C如等式8来表示等式7。

[公式6]

$C_{k,l}^{O^t{D}^{t-1}}-\underset{\mathrm{ij}}{\mathrm{\Σ}}(W_{\mathrm{ij}}\×C_{i,j,k,l}^{D^{t-1}{D}^{t-1}})=0$

(等式8)

在等式8中，如果[公式7] $G_{\mathrm{kl}}^{O^t{D}^{t-1}}=C_{k,l}^{O^t{D}^{t-1}}$ 和[公式8] $G_{\mathrm{ij},\mathrm{kl}}^{D^{t-1}{D}^{t-1}}=C_{i,j,k,l}^{D^{t-1}{D}^{t-1}},$ 则使用等式9来表示等式8。

[公式9]

$G_{\mathrm{kl}}^{O^t{D}^{t-1}}-\underset{\mathrm{ij}}{\mathrm{\Σ}}(W_{\mathrm{ij}}\×G_{\mathrm{ij},\mathrm{kl}}^{D^{t-1}{D}^{t-1}})=0$

(等式9)

通过使用矩阵表达式来表示等式9，获得等式10。

[公式10]

$G_{1\×\mathrm{MN}}^{O^t{D}^{t-1}}-G_{\mathrm{MN}\×\mathrm{MN}}^{D^{t-1}{D}^{t-1}}\×W_{1\×\mathrm{MN}}=0$

(等式10)

通过基于指示权重的一维矩阵表达式W_1×MN来排列等式10，获得等式11。

[公式11]

$W_{1\×\mathrm{MN}}={\left[G_{\mathrm{MN}\×\mathrm{MN}}^{D^{t-1}{D}^{t-1}}\right]}^{-1}\·G_{1\×\mathrm{MN}}^{O^t{D}^{t-1}}$

(等式11)

也就是说，可通过使用每个权重作为参数来内插参考图像的邻近区域中的整数像素之间的分数像素，对参考图像的内插的邻近区域与当前块的邻近区域之间的差值的平方值的和求偏微分，并且计算使平方值的和的偏微分为0的权重，确定根据本发明的示例性实施例中N×M大小的掩摸中NM权重。

再参照图2，内插器250使用内插滤波器产生器240产生的内插滤波器来内插与当前块相应的参考图像区域。运动补偿器260通过从内插的参考图像获取当前块的运动向量指示的当前块的运动补偿值，产生当前块的预测块。

减法器270计算残差块，所述残差块为预测块与原始输入块之间的差值。编码器280通过对残差块进行变换、量化和熵编码来产生比特流。另外，编码器280使用根据本发明的示例性实施例产生的内插滤波器，将当前块的运动向量信息和指示是否已经内插当前块的相应块的二进制信息插入产生的比特流的预定区域。也就是说，通过将根据现有技术内插参考图像时具有值“0”或者根据本发明的示例性实施例通过使用邻近区域的数据产生内插滤波器来内插参考图像时具有值“1”的一比特标记插入比特流，解码设备可确定是否产生了内插滤波器。根据本发明的示例性实施例，通过仅通知解码设备是否为每个块产生了内插滤波器，解码设备可产生内插滤波器，以通过与编码设备相同的处理内插用于当前块的运动补偿的参考图像。

图12是根据本发明的示例性实施例的图像编码方法的流程图。

参照图12，在操作1210，通过以分数像素分辨率执行当前块的运动预测，产生当前块的运动向量。如上所述，可通过使用根据现有技术的6阶FIR滤波器、2阶均值滤波器或线性内插滤波器内插参考图像的搜索区域并且搜索与当前块最相似的块，确定当前块的运动向量。

在操作1220，确定与当前块的邻近区域相应的参考图像的邻近区域。可通过将当前块的运动向量应用于当前块的邻近区域或者使用邻近区域的运动向量来确定参考图像的邻近区域。

在操作1230，根据当前块的运动向量的分数像素分辨率内插参考图像的邻近区域中整数像素之间的分数像素。如上所述，如果仅当前块的运动向量的分量中的水平分量具有分数像素分辨率，则使用N×1大小的掩摸或N×M大小的掩摸内插参考图像的邻近区域中整数像素之间的分数像素。如果仅当前块的运动向量的分量中的垂直分量具有分数像素分辨率，则使用1×M大小的掩摸或N×M大小的掩摸内插参考图像的邻近区域中整数像素之间的分数像素。如果当前块的运动向量的水平分量和垂直分量都具有分数像素分辨率，则使用N×M大小的掩摸内插参考图像的邻近区域中整数像素之间的分数像素，或者可通过使用N×1大小的掩摸内插水平方向上邻近的整数像素之间的分数像素并通过使用1×M大小的掩摸内插垂直方向上邻近的整数像素之间的分数像素，来内插参考图像的邻近区域中整数像素之间的分数像素。

在操作1240，确定使参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值最小化的权重，即滤波器系数。如上所述，可通过使用SSE计算当前块的邻近区域中的每个像素与参考图像的邻近区域中的每个相应内插的分数像素之间的误差值的和，通过使用每个权重作为参数对误差值的和求偏微分，并且确定使偏微分的误差值的和为0的权重，确定用于内插与当前块相应的参考图像的相应块的内插滤波器系数。

在操作1250，使用具有确定的内插滤波器系数的内插滤波器来内插当前块的相应块。然后，通过获取当前块的运动向量指示的参考块的相应块来产生当前块的预测块，并且通过对作为预测块与原始像素块之间的差值的残差块进行变换、量化和熵编码来产生比特流。将运动向量信息和预定二进制信息插入产生的比特流的预定区域，所示预定二进制信息指示当前块是否是使用利用根据本发明的示例性实施例产生的内插滤波器内插的参考图像的运动块。

图13是根据本发明的示例性实施例的图像解码设备1300的框图。

参照图13，根据本发明的当前示例性实施例的图像解码设备1300包括熵解码器1310、重新排列单元1315、反量化器1320、逆变换器1325、加法器1330、内插滤波器产生器1335、内插器1340、运动补偿器1345和帧内预测器1350。

熵解码器1310接收压缩的比特流，通过对压缩的比特流进行熵解码来产生量化的系数，并且提取将被解码的当前块的运动向量信息以及指示是否已经应用根据本发明的示例性实施例的自适应内插滤波器的二进制信息。重新排列单元1315重新排列量化的系数，反量化器1320和逆变换器1325通过对量化的系数分别进行反量化和逆变换来恢复残差。

如果当前块的提取的运动向量是具有分数像素分辨率的运动块，则内插滤波器产生器1335使用与已经解码的当前块的邻近区域相应的参考图像的邻近区域根据当前块的运动向量的分数像素分辨率来产生内插滤波器，以内插参考图像的邻近区域中的整数像素之间的分数像素，内插滤波器内插参考图像的邻近区域以最小化参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值。由于图13示出的内插滤波器产生器1335的配置和操作与图2示出的内插滤波器产生器240的配置和操作相同，因此不提供内插滤波器产生器1335的详细描述。

内插器1340使用内插滤波器产生器1335产生的内插滤波器来内插与当前块相应的参考图像区域。

运动补偿器1345从内插的参考图像获取当前块的运动补偿值，加法器1330通过将当前块的运动补偿值与恢复的残差相加来对当前块进行解码。

图14是根据本发明的实施例的图像解码方法的流程图。

参照图14，在操作1410，从接收的比特流提取当前块的运动向量。

在操作1420，如果提取的运动向量具有分数像素分辨率，则确定与已经解码的当前块的邻近区域相应的参考图像的邻近区域。可通过将当前块的运动向量应用于当前块的邻近区域或者使用邻近区域的运动向量来确定参考图像的邻近区域。

在操作1430，根据当前块的运动向量的分数像素分辨率来内插参考图像的邻近区域中整数像素之间的分数像素。如上所述，通过结合预定大小的掩摸(所述预定大小的掩摸用于将权重分配给与存在于参考图像的邻近区域中的整数像素之间的将被内插的每个分数像素邻近的整数像素)并且计算通过将掩摸中的邻近整数像素与分配的权重相乘并将相乘结果相加而获得的加权和来内插分数像素。在这种情况下，以使用权重作为参数的函数的形式来表示内插的分数像素。

在操作1440，确定使参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值最小化的权重，即滤波器系数。例如，可通过使用SSE计算当前块的邻近区域中的每个像素与参考图像的邻近区域中的每个相应内插的分数像素之间的误差值的和，通过使用每个权重作为参数对误差值的和求偏微分，并且确定使偏微分的误差值的和为0的权重，确定内插滤波器系数。

在操作1450，使用具有确定的内插滤波器系数的内插滤波器来内插当前块的相应块。然后，使用内插的参考图像来获取当前块的运动补偿值，并且通过将运动补偿值与残差相加来对当前块进行解码。

可自适应地使用根据本发明的示例性实施例的内插滤波器以及根据现有技术的内插滤波器。也就是说，通过将使用根据现有技术内插的参考图像而产生的比特流的率失真代价与使用根据本发明的实施例内插的参考图像而产生的比特流的率失真代价进行比较，编码设备可确定用于产生比特流的代价相对低的内插滤波器作为最终应用的内插滤波器。另外，根据本发明的实施例的内插滤波器可取代整个传统内插滤波器或仅部分传统内插滤波器，并且可通过将其添加到传统内插滤波器来使用根据本发明的实施例的内插滤波器。

本发明也可实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是能够存储其后能够由计算机系统读取的数据的任何类型存储装置。所述计算机可读记录介质的例子包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。

尽管已经参照本发明的示例性实施例具体显示并描述了本发明，但是本领域的技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种改变。优选实施例应该被认为仅是描述性的而不是限制的目的。因此，不是由本发明的详细描述来限定本发明的范围，而是由权利要求来限定本发明的范围，该范围内的所有差异将被解释为包括在本发明中。

Claims (24)

1、一种图像编码方法，包括：

通过使用分数像素分辨率对当前块执行运动预测来产生将被编码的当前块的运动向量；

确定与当前块的邻近区域相应的参考图像的邻近区域，当前块的邻近区域已经被编码和解码；

根据当前块的运动向量的分数像素分辨率产生用于内插参考图像的邻近区域中整数像素之间的分数像素的内插滤波器，所述内插滤波器内插参考图像的邻近区域以最小化参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值；

使用产生的内插滤波器内插通过具有分数像素分辨率的运动向量指示的当前块的相应块。

2、如权利要求1所述的图像编码方法，其中，产生当前块的运动向量的步骤包括：

使用6阶有限脉冲响应FIR滤波器、2阶均值滤波器和线性内插滤波器中的至少一个来内插参考图像的搜索区域以达到分数像素分辨率；

在参考图像的内插的搜索区域中确定与当前块最相似的相应块的位置；

基于当前块的位置与参考图像的相应块的位置之间的差值来计算当前块的运动向量。

3、如权利要求1所述的图像编码方法，其中，使用当前块的运动向量或者当前块的邻近区域的运动向量来确定与当前块的邻近区域相应的参考图像的邻近区域。

4、如权利要求3所述的图像编码方法，还包括：

如果选择的运动向量具有分数像素分辨率，则使用取整函数或修整函数将选择的运动向量的水平分量和垂直分量中具有分数像素分辨率的分量值变换为整数值。

5、如权利要求1所述的图像编码方法，其中，产生内插滤波器的步骤包括：

通过结合用于基于分数像素将权重分配给邻近整数像素的掩摸，并且计算通过将掩摸中的邻近整数像素与分配的权重相乘并将相乘的结果相加而获得的加权和，内插参考图像的邻近区域中整数像素之间的将被内插的分数像素；

计算当前块的邻近区域中的像素与参考图像的邻近区域中的相应的内插的分数像素之间的误差值的和；

确定使误差值的和最小化的掩摸的权重。

6、如权利要求5所述的图像编码方法，其中，确定掩摸的权重的步骤包括：通过使用分配给邻近整数像素的权重作为变量对误差值的和求偏微分并且计算使偏微分的误差值的和为0的权重，来确定掩摸的权重。

7、如权利要求5所述的图像编码方法，其中，误差值的和使用通过将当前块的邻近区域中的每个像素与参考图像的邻近区域中的每个相应的内插的分数像素之间的差值相乘并且将所述差值相乘的结果相加而获得的误差平方和。

8、如权利要求1所述的图像编码方法，还包括：

通过对当前块的内插的相应块与原始输入块之间的差值进行变换、量化和熵编码中的至少一个来产生比特流；

将当前块的运动向量信息和二进制信息插入产生的比特流的区域，所述二进制信息指示是否已经使用用于内插参考图像的邻近块的内插滤波器内插当前块的相应块。

9、一种图像编码设备，包括：

运动预测器，通过使用分数像素分辨率对当前块执行运动预测来产生将被编码的当前块的运动向量；

内插滤波器产生器，使用与当前块的邻近区域相应的参考图像的邻近区域，根据当前块的运动向量的分数像素分辨率产生用于内插参考图像的邻近区域中整数像素之间的分数像素的内插滤波器，所述当前块的邻近区域已经被编码和解码，所述内插滤波器内插参考图像的邻近区域以最小化参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值；

内插器，使用产生的内插滤波器来内插通过具有分数像素分辨率的运动向量指示的当前块的相应块。

10、如权利要求9所述的图像编码设备，还包括：

参考图像内插器，使用6阶有限脉冲响应FIR滤波器、2阶均值滤波器和线性内插滤波器中的至少一个来内插参考图像的搜索区域以达到分数像素分辨率，

其中，运动预测器在参考图像的内插的搜索区域中确定与当前块最相似的相应块的位置，并且基于当前块的位置与参考图像的相应块的位置之间的差值来计算当前块的运动向量。

11、如权利要求9所述的图像编码设备，其中，使用当前块的运动向量或者当前块的邻近区域的运动向量来确定与当前块的邻近区域相应的参考图像的邻近区域。

12、如权利要求9所述的图像编码设备，其中，内插滤波器产生器还包括：

参考图像邻近区域内插器，通过结合用于基于分数像素将权重分配给邻近整数像素的掩摸，并且计算通过将掩摸中的邻近整数像素与分配的权重相乘并将相乘的结果相加而获得的加权和，内插参考图像的邻近区域中整数像素之间的将被内插的分数像素；

滤波器系数确定单元，计算当前块的邻近区域中的像素与参考图像的邻近区域中的相应的内插的分数像素之间的误差值的和，并且确定使误差值的和最小化的掩摸的权重。

13、如权利要求12所述的图像编码设备，其中，滤波器系数确定单元使用分配给邻近整数像素的权重作为变量对误差值的和求偏微分并且确定使偏微分的误差值的和为0的权重作为滤波器系数。

14、一种图像解码方法，包括：

从接收的比特流提取将被解码的当前块的运动向量信息；

如果提取的当前块的运动向量是具有分数像素分辨率的运动块，则确定与当前块的邻近区域相应的参考图像的邻近区域，所述当前块的邻近区域已经被解码；

根据当前块的运动向量的分数像素分辨率产生用于内插参考图像的邻近区域中整数像素之间的分数像素的内插滤波器，所述内插滤波器内插参考图像的邻近区域以最小化参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值；

使用产生的内插滤波器内插通过具有分数像素分辨率的运动向量指示的当前块的相应块。

15、如权利要求14所述的图像解码方法，其中，使用当前块的运动向量或者当前块的邻近区域的运动向量来执行确定与当前块的邻近区域相应的参考图像的邻近区域的处理。

16、如权利要求15所述的图像解码方法，还包括：

如果选择的运动向量具有分数像素分辨率，则使用取整函数或修整函数将选择的运动向量的水平分量和垂直分量中具有分数像素分辨率的分量值变换为整数值。

17、如权利要求14所述的图像解码方法，其中，产生内插滤波器的步骤包括：

通过结合用于基于分数像素将权重分配给邻近整数像素的掩摸，并且计算通过将掩摸中的邻近整数像素与分配的权重相乘并将相乘的结果相加而获得的加权和，内插参考图像的邻近区域中整数像素之间的将被内插的分数像素；

计算当前块的邻近区域中的像素与参考图像的邻近区域中的相应的内插的分数像素之间的误差值的和；

确定使误差值的和最小化的掩摸的权重。

18、如权利要求17所述的图像解码方法，其中，确定掩摸的权重的步骤包括：通过使用分配给邻近整数像素的权重作为变量对误差值的和求偏微分并且计算使偏微分的误差值的和为0的权重，来确定掩摸的权重。

19、如权利要求18所述的图像解码方法，其中，误差值的和使用通过将当前块的邻近区域中的每个像素与参考图像的邻近区域中的每个相应的内插的分数像素之间的差值相乘并且将所述差值相乘的结果相加而获得的误差平方和。

20、一种图像解码设备，包括：

运动向量提取器，从接收的比特流提取将被解码的当前块的运动向量信息；

内插滤波器产生器，如果提取的当前块的运动向量是具有分数像素分辨率的运动块，则使用与当前块的邻近区域相应的参考图像的邻近区域，根据当前块的运动向量的分数像素分辨率产生用于内插参考图像的邻近区域中整数像素之间的分数像素的内插滤波器，所述当前块的邻近区域已经被解码，所述内插滤波器内插参考图像的邻近区域以最小化参考图像的内插的邻近区域与当前块的相应邻近区域之间的差值；

内插器，使用产生的内插滤波器内插通过具有分数像素分辨率的运动向量指示的当前块的相应块。

21、如权利要求20所述的图像解码设备，其中，内插滤波器产生器还包括：

参考图像邻近区域内插器，通过结合用于基于分数像素将权重分配给邻近整数像素的掩摸，并且计算通过将掩摸中的邻近整数像素与分配的权重相乘并将相乘的结果相加而获得的加权和，内插参考图像的邻近区域中整数像素之间的将被内插的分数像素；

滤波器系数确定单元，计算当前块的邻近区域中的像素与参考图像的邻近区域中的相应的内插的分数像素之间的误差值的和，并且确定使误差值的和最小化的掩摸的权重。

22、如权利要求21所述的图像解码设备，其中，滤波器系数确定单元使用分配给邻近整数像素的权重作为变量对误差值的和求偏微分并且确定使偏微分的误差值的和为0的权重作为滤波器系数。

Images