CN101663898B - 二维自适应内插滤波器的滤波系数决定方法 - Google Patents

Abstract

能够以较少的计算量高效率地决定恰当的滤波系数的二维自适应内插滤波器的滤波系数决定方法包括：运动检测步骤(S100)，以构成对象图片的块为单位，以小数像素精度来检测该块的图像相对于参考图片的运动，以作为运动矢量；确定步骤(S102)，从具有被检测出小数像素精度的运动矢量的多个块中，确定具有表示参考图片上的小数像素位置(p，q)的运动矢量的一个以上的块；以及决定步骤(S104)，根据在所述确定步骤确定的一个以上的块的图像，和由所述一个以上的块的第一运动矢量表示的参考图片上的一个以上的块的图像，来决定小数像素位置(p，q)的滤波系数。

Description

二维自适应内插滤波器的滤波系数决定方法

技术领域

本发明涉及用于压缩运动图像数据的方法，尤其涉及决定用于运动补偿的自适应内插滤波器的滤波系数的方法。

背景技术

运动图像数据被用于不断增多的应用程序，也就是说从电视电话、电视会议到DVD(Digital Versatile Disk：数字多用途光盘)、数字电视都采用了运动图像数据。在运动图像数据被发送之时，相当多的数据量不得不通过以往的传输信道中有限的频带来被发送，在运动图像数据被记录之时，相当多的数据量不得不被记录在以往的容量有限的记录介质中。在利用以往的信道以及媒介发送或记录数字数据的情况下，自然需要压缩或减少数字数据的量。

为了压缩运动图像数据而开发了众多运动图像编码标准。这些标准例如是以H.26x来表示的ITU-T标准和以MPEG-x表示的ISO/IEC标准。目前最新最先进的运动图像编码标准是以H.264/MPEG-4AVC来表示的标准。

成为大部分这些标准的基础的编码方法由以下所示的(a)至(d)的主要阶段构成。

(a)为了以块为单位对各个视频帧进行数据压缩，因而将各个视频帧分为由像素构成的二维的块。

(b)将时间上的预测技术适用于各个块，并通过使预测误差从空域转变为频域，从而使时间和空间的运动图像信息无相关化。

(c)通过对作为上述的结果的变换系数进行量化，从而减少数据全体的量。

(d)通过对被量化的变换系数进行熵编码从而压缩差分数据。

被大多数的最新技术的运动编码标准所使用的时间上的预测技术是运动补偿。在此预测技术中，为了表现由对象以及摄像机的运动而产生的图像的运动，针对运动图像数据的各个块决定一个以上的运动矢量。根据被决定的运动矢量，块的图像内容至少作为在此之前被编码的块的图像内容的确实的延长而被检测。预测的内容和实际的图像内容之间残留的不一致性被称为预测误差。并且，不是实际的图像内容，而是上述的预测误差与运动矢量一起被编码。这样，被编码的信息的量的大幅度减少是在大部分的“自然的”运动图像序列中实现的。

可以明确知道，压缩效率主要取决于运动预测的精度。像H.264/AVC这样现代的运动图像编码标准考虑了具有小数像素精度的运动矢量。即，该运动矢量可以在不受与像素位置相关联的整数值所限的情况下，表示两个像素之间的位置。通常，运动矢量以1/2像素或1/4像素精度来决定。在这种情况下，运动图像的分辨率是最初的运动图像的分辨率的两倍或四倍。具有小数像素精度的运动矢量能够参考参考图像内的各个采样所取的位置之间的位置，内插用于计算被预测的图像。通常，被预先规定的内插滤波器被用于计算所需的小数像素的像素值。

图1是H.264/AVC中运动图像编码装置的一个例子的方框图。

该运动图像编码装置300利用采用了被固定的滤波系数的二维内插滤波器，以小数像素精度进行运动补偿。并且，运动图像编码装置300包括减法器310，根据输入图像(输入信号)的对象块、和被存储在存储器340中的先被编码以及解码的块(预测信号)，来决定对象块和预测信号的差分。具体而言，按照H.264/AVC标准，输入图像被分为宏块。运动图像编码装置300利用差分脉冲编码调制(DPCM)，该差分脉冲编码调制根据作为输入图像的输入运动图像序列的对象块、和先被编码以及被解码的块(局部被解码的图像)，传输与预测信号之间的差分。这些差分由减法器310来决定。此减法器310接受被编码的对象块，并从中减去预测信号。

被局部解码的图像由被组装到运动图像编码装置300中的解码部(逆量化/逆变换部330、加法器335以及解块滤波器337)来提供。解码部以相反的方法来执行编码步骤。即，逆量化/逆变换部330对量化系数进行逆量化，并使逆变换适用于逆量化系数。加法器335使被解码的差分加在预测信号上，并生成被局部解码的图像。并且，解块滤波器337使被解码的图像的去块效应(blocking artifacts)减少。

由运动图像编码装置300利用的预测类型取决于，宏块是以“帧内”模式还是以“帧间”模式来被编码的。在“帧内”模式中，在H.264/AVC，为了预测下一个宏块，根据相同图像中已经被编码的宏块，来利用预测模式。在“帧间”模式中，利用连续的若干个帧所对应的块之间的运动补偿预测。

只有帧内编码图像(I图像)与以前被解码的图像无关被解码。I图像将误差恢复力提供给被编码的运动图像序列。并且，向作为被编码的数据的比特流的入口点，为了能够随机访问，也就是说在被编码的运动图像序列的范围内为了访问I图像，而由I图像提供。帧内模式(帧内预测部350所进行的处理)和帧间模式(运动补偿预测部360所进行的处理)之间的切换由切换开关380来控制。

在“帧间”模式中，通过利用运动补偿，宏块可以从前面的帧所对应的块来预测。运动检测由接收对象输入信号和局部解码图像的运动检测部370来实现。该运动检测可以检测二维的运动矢量。并且，该运动矢量表示对象块和前面的帧所对应的块之间的像素的运动。根据被检测出的运动，运动补偿预测部360输出预测信号。

为了使预测精度最佳化，运动矢量以小数像素精度(例如1/2像素或1/4像素精度)来决定。具有小数像素精度的运动矢量表示，在前面的帧的范围内像素值不能利用的位置(即小数像素位置)。因此，为了执行运动补偿需要像素值的空间内插。根据H.264/AVC标准，固定滤波系数和具有双线性过滤(Bi-linear Filtering)的6抽头维纳内插滤波器被适用于获得小数像素位置的像素值。

内插的过程如以下所示。

1.1/2像素位置通过利用水平以及垂直方向上的6抽头滤波器而被算出。

2.1/4像素位置通过采用了现有的整数像素值和已经被计算出的1/2像素值的双线性过滤而被算出。

滤波系数由于是被固定的，因此可以通过运动图像解码装置得知。因此，在将滤波系数发送到运动图像解码装置时不需要开销额外量数据。

在“帧内”以及“帧间”的编码模式中，对象块和预测信号的差分由变换/量化部320变换为变换系数。通常使用的是，像二维的离散余弦变换(DCT)这种正交变换或者这种正交变换的整数形式。

变换系数是为了减少编码数据的量而被量化的。量化步骤由确定精度和在编码各个频率系数时所使用的比特数量化表来控制。通常，比起细微的内容而言，低的频率分量对画质而言更为重要，因此，比起高频成分而言，对低频成分进行编码时会更加耗费较多的比特。

量化系数的二维阵列由于要通过熵编码部390，因此被变换为一维。这个变换是以事先规定的序列通过扫描阵列而被执行的。通过这种方法而得到的量化系数的一维序列被压缩成，由被称为游程(Run)-等级(Level)的数的组而组成的列。最后，Run-Level序列被编码为可变长(可变长编码(VLC))的二进制的代码名。该代码名被最佳化，以便以较短的代码名而被分配到在典型的运动图像中最频繁出现的Run-Level的组。作为结果而产生的比特流或者与运动信息一起被多路复用后被保存到记录介质，或者被发送到运动图像解码装置一侧。

运动图像解码装置在为了再构成被编码的图像情况下，以与编码方法相反的方法进行解码。

图2是H.264/AVC中的运动图像解码装置的一个例子的方框图。

在运动图像解码装置400，首先将被熵编码的量化系数和运动矢量在熵解码部490进行熵解码。该步骤在逆变换中被需要，包括逆扫描，该逆扫描将被熵解码的量化系数的序列排列成二维的块。被解码的量化系数的块被输出到逆量化/逆变换部420，被解码的运动矢量被输出到运动补偿预测部460。按照运动矢量的实际的值，像素值的内插将在执行运动补偿时被需要。逆量化以及逆变换的结果包括预测误差，加法器435将该预测误差加到由帧间模式中的运动补偿预测部460生成的预测信号中，或者加到由帧内模式中的帧内预测部450生成的预测信号中。这样，被再构成的图像被输出到解块滤波器437，在解块滤波器437处理的信号被保存到用于帧内预测部450以及运动补偿预测部460的存储部440。

而且，在H.264/AVC之后的标准中，为了改善预测精度和压缩效率，考虑到的是，将预先规定的内插滤波器(二维固定内插滤波器)替换为尤其适用于处理对象的运动图像的统计特性的二维自适应内插滤波器。即，编码效率对预测精度的依存性较大，并且，该预测精度依存于运动检测和运动补偿的精度。因此，通过将在运动补偿中所使用的二维固定内插滤波器替换为适用于运动图像的统计特性的二维自适应内插滤波器，从而能够提高编码效率。并且，能够降低被压缩的运动图像数据所特有的假信号效应和摄像机噪声。

通常，用于图像处理的二维自适应内插滤波器被分类为能够分离的和不能够分离的。能够分离的分离型二维自适应内插滤波器被分离成两个一维滤波器。两个一维滤波器的连续使用相当于使用原来的二维自适应内插滤波器。在不能分离的非分离型二维内插滤波器中不存在这种一维滤波器。

分离型二维自适应内插滤波器与非分离型二维自适应内插滤波器相比，由于针对图像的能够适用于滤波器的系数的数量较少，因此，在计算负担不大这一点上具有优势。例如，在非分离型的情况下，6×6抽头二维滤波器合计具有36个系数，而分离型的情况下，2个一维滤波器合计仅具有6+6个系数。

例如，在非专利文献1以及非专利文献2中公开了决定这种分离型二维自适应内插滤波器的滤波系数的方法。在非专利文献1和2的方法之中，为了使预测图像和对象图像之间的误差成为最小，从而对水平方向上的一维滤波器的滤波系数和垂直方向上的一维滤波器的滤波系数分别进行决定。

非专利文献1：Kimata H.et al“3D adaptive motion vector codingintegrated with block-based adaptive interpolation filter”

非专利文献2：Wedi，Thomas“Advanced motion compensated predictionmethods”

然而，即使是上述以往的分离型二维自适应内插滤波器的滤波系数决定方法，也会出现为了决定滤波系数而计算量增多的问题。即，在上述以往的滤波系数决定方法中，考虑包括对象图像(对象块)的图片全体，由于为了使预测图像和对象图像之间的误差成为最小而决定滤波系数，因此造成计算量增大。

发明内容

因此，本发明鉴于上述的问题，目的在于提供一种二维自适应内插滤波器的滤波系数决定方法，能够以较少的计算量高效率地决定恰当的滤波系数。

为了达成上述的目的，本发明所涉及的二维自适应内插滤波器的滤波系数决定方法，根据被排列成二维的整数像素的像素值，决定用于算出被内插在整数像素之间的小数像素的像素值的二维自适应内插滤波器的滤波系数，其中包括：运动检测步骤，以构成对象图片的块为单位，以小数像素精度来检测该块的图像相对于参考图像的运动，以作为运动矢量；第一确定步骤，从具有由所述运动检测步骤检测出的小数像素精度的运动矢量的多个块中，确定具有第一运动矢量的一个以上的块，该第一运动矢量表示，与近旁的整数像素之间具有预先规定的相对位置关系的所述参考图像上的小数像素位置；以及第一决定步骤，根据在所述第一确定步骤确定的一个以上的块的图像，和由所述一个以上的块的第一运动矢量表示的参考图像上的一个以上的块的图像，来决定所述小数像素位置的滤波系数。

例如，在与邻近的整数像素之间具有预先规定的相对位置关系的小数像素位置为位置(p，q)的情况下，具有表示参考图片上的小数像素位置(p，q)的第一运动矢量的多个块，能够从对象图片中被确定。并且，位置(p，q)表示由彼此邻近的四个整数像素所围成的范围内的位置，即表示局部坐标上的位置。并且，根据被确定的多个块，小数像素位置(p，q)的滤波系数被决定。这样，在本发明能够从构成对象图片的所有块中筛选具有表示小数像素位置(p，q)的运动矢量，并仅根据被筛选的多个块，来决定小数像素位置(p，q)的滤波系数。因此，设想构成对象图片的所有块的运动矢量表示参考图片上的所有小数像素位置，由于可以不必根据所有的块的图像来决定小数像素位置(p，q)的滤波系数，因此能够大幅度地降低用于计算滤波系数的计算量，从而能够高效率地决定恰当的滤波系数。并且，在本发明中由于是在决定滤波系数之前以小数像素精度来进行运动矢量检测的，因此，不必在滤波系数决定后重新对小数像素精度的运动矢量进行检测，从而减轻了处理负担。并且，上述的参考图像可以不仅是一张参考图片，而可以是多张参考图片以及构成图片的切片。并且，在第一决定步骤，例如决定小数像素位置的滤波系数，以使对象图片的被确定的各个块的图像，和该各个块的运动矢量所表示的参考图像上的各个块的图像的各个差分的平方和成为最小。

并且，也可以是，所述二维自适应内插滤波器能够被分离成：第一一维内插滤波器，用于算出被内插于在第一方向上被排列成一维的多个像素间的小数像素位置的、小数像素的像素值，所述第一方向是指，水平方向以及垂直方向的某一方向，以及第二一维内插滤波器，用于算出被内插于在第二方向上被排列成一维的多个像素将的小数像素位置的、小数像素的像素值，所述第二方向是指，与所述第一方向不同的水平方向或垂直方向；在所述第一确定步骤，确定具有表示第一小数像素位置的所述第一运动矢量的一个以上的块，所述第一小数像素位置是指，满足所述预先规定的相对位置关系，并且是所述第一方向上的小数像素位置，而且是所述第二方向上的整数像素位置；在所述第一决定步骤，决定所述第一小数像素位置上的所述第一一维内插滤波器的滤波系数；所述滤波系数决定方法进一步包括：第二确定步骤，从具有由所述运动检测步骤检测出的小数像素精度的运动矢量的多个块中，确定具有表示所述参考图像上的第二小数像素位置的第二运动矢量的一个以上的块，所述参考图像上的第二小数像素位置是指，与邻近的整数像素之间具有其他的被预先规定的相对位置关系，且在所述第二方向上位于小数像素位置；以及第二决定步骤，根据在所述第二确定步骤确定的一个以上的块的图像，和由所述一个以上的块的第二运动矢量表示的参考图像上的一个以上的块的图像，来决定所述第二小数像素位置上的所述第二一维内插滤波器的滤波系数。

这样，进而，由于二维自适应内插滤波器的滤波系数能够被分离为第一以及第二一维内插滤波器的滤波系数并被决定，因此能够进一步降低用于算出滤波系数的计算量。并且，通过第一确定步骤以及第一决定步骤，例如能够决定针对第一小数像素位置(p，0)的一维水平内插滤波器的滤波系数，通过第二确定步骤以及第二决定步骤，例如能够决定针对第二小数像素位置(p，q)(但是q≠0)的一维垂直内插滤波器的滤波系数。这样，能够以较少的计算量高效率地决定第一小数像素位置(p，0)以及第二小数像素位置(p，q)的恰当的滤波系数。并且，例如，在1/4像素精度的情况下，通过使p变化为p＝1，…，3，从而能够算出所有的第一小数像素位置(p，0)的滤波系数，通过使p变化为p＝0，…，3，使q变化为q＝1，…，3，从而能够算出所有的第二小数像素位置(p，q)的滤波系数。

例如，在所述第二确定步骤，确定具有表示所述第二小数像素位置的所述第二运动矢量的一个以上的块，所述第二小数像素位置是指，满足所述其他的预先规定的相对位置关系，并且是所述第一方向上的整数像素位置，而且是第二方向上的小数像素位置。

据此，能够算出第二小数像素位置(0，q)(但是q≠0)的滤波系数。并且，例如，在1/4像素精度的情况下，通过使q变化为q＝1，…，3，从而能够算出在第一方向上的整数像素位置的所有的第二小数像素位置(0，q)的滤波系数。

并且，在所述第二确定步骤，确定具有表示所述第二小数像素位置的所述第二运动矢量的一个以上的块，所述第二小数像素位置是指，满足所述其他的预先规定的相对位置关系，并且是所述第一方向以及第二方向上的小数像素位置；在所述第二决定步骤，使在所述第一决定步骤决定的所述第一一维内插滤波器的滤波系数适用于所述第一小数像素位置，并利用适用后的结果来决定所述第二小数像素位置上的滤波系数。

这样，能够算出第二小数像素位置(p，q)(但是p≠0以及q≠0)的滤波系数。并且，例如，在1/4像素精度的情况下，通过使p变化为p＝0，…，3，使q变化为q＝1，…，3，从而能够算出在第一方向以及第二方向上的小数像素位置的所有的第二小数像素位置(p，q)的滤波系数。并且，此时，通过将第一一维内插滤波器的滤波系数适用于第一小数像素位置，从而该第一小数像素位置的小数像素的像素值被算出，利用该小数像素的像素值来决定第二小数像素位置的滤波系数。

并且，在所述第一决定步骤，决定针对所述小数像素位置的滤波系数，以使以下的图像的差分成为最小，这些图像是指：由所述第一确定步骤确定的一个以上的块的图像，和由所述一个以上的块的第一运动矢量表示的参考图像上的一个以上的块的图像。例如，在所述第一决定步骤，通过解使所述差分成为最小的线性方程，从而决定针对所述小数像素位置的滤波系数。

这样，能够决定恰当的适合于参考图片的图像的滤波系数，即能够决定恰当的适合于该图像的滤波系数。而且，在利用线性方程的情况下，能够进一步降低计算量，且高效率地决定恰当的滤波系数。

并且，本发明所涉及的运动图像压缩方法压缩运动图像，其中可以包括：滤波系数决定步骤，通过执行上述本发明的二维自适应内插滤波器的滤波系数决定方法中所包括的所有步骤，从而决定所述二维自适应内插滤波器的滤波系数；运动补偿步骤，将具有表示所述小数像素位置的运动矢量的块作为对象块，通过针对所述对象进行运动补偿，从而生成所述对象块的预测图像；以及编码步骤，对图像的差分和滤波系数进行编码，所述图像的差分是指由所述运动补偿步骤生成的预测图像和所述对象块的图像的差分，所述滤波系数是由所述滤波系数决定步骤决定的；在所述运动补偿步骤，通过将在所述滤波系数决定步骤决定的滤波系数适用于所述小数像素位置，从而算出被内插于所述小数像素位置的小数像素的像素值，并生成具有被算出像素值的小数像素的所述预测图像。

这样，由于通过上述的滤波系数决定方法决定小数像素位置的滤波系数，并利用该滤波系数生成对象块的预测图像，因此能够以较少的计算量来生成与对象块的图像极为接近的预测图像。这样，能够高效率地降低对象块的图像和预测图像的差分的编码量。而且，由于滤波系数也被编码，因此能够将该被编码的滤波系数输出到解码装置，该解码装置通过解码并利用该被编码的滤波系数，从而能够恰当地解码对象块。

并且，也可以是，在所述滤波系数决定步骤，在按照每个小数像素位置决定针对该小数像素位置的滤波系数之时，针对在水平方向上或垂直方向上与规定的小数像素位置对称的位置上的小数像素位置，决定与针对所述规定的小数像素位置而决定的滤波系数相同的滤波系数。

这样，只要决定了规定地小数像素位置的滤波系数，其他的小数像素位置的滤波系数也能够被同时决定。而且，由于其他的小数像素位置在水平方向上或垂直方向上与规定的小数像素位置成为对称，因此，即使针对其他的小数像素位置，也能够决定恰当的滤波系数。这样，能够以更少的计算量来决定恰当的滤波系数。并且，例如，在滤波系数决定步骤，即使在表示应该决定滤波系数的决定对象的小数像素位置的运动矢量没有被检测出的情况下，也能够利用与该决定对象的小数像素位置在水平方向或垂直方向成为对称的其他的小数像素位置的滤波系数，来决定恰当的该决定对象的小数像素位置的滤波系数。

并且，也可以是，针对小数像素位置的所述二维自适应内插滤波器的滤波系数，由针对以下像素的每一个的系数构成，这些像素是指，在水平方向或垂直方向上被配置成夹着所述小数像素位置的多个像素；在所述滤波系数决定步骤，在决定针对所述小数像素位置的滤波系数之时，决定所述滤波系数，以使在所述多个像素中，针对规定的像素的系数和针对其他的像素的系数相同，所述其他的像素是指，在以所述小数像素位置为中心，在水平方向或垂直方向上与所述规定的像素对称位置上的像素。例如，在所述滤波系数决定步骤，决定针对所述小数像素位置的滤波系数，以使针对所述多个像素的每一个的系数在水平方向或垂直方向上成为对称。

这样，针对多个像素的每一个的系数由于在水平方向或垂直方向成为对称，因此能够以更少的计算量来算出恰当的滤波系数。

并且，本发明不仅能够作为这样的滤波系数决定方法以及运动图像压缩方法来实现，而且能够作为通过这些方法来决定滤波系数，并压缩运动图像的装置或集成电路来实现，也能够作为使计算机执行这些方法中所包括的各个步骤的程序、以及存储这些程序的记录介质来实现。

本发明的二维自适应内插滤波器能够以较少的计算量高效率地决定恰当的滤波系数。

附图说明

图1是以往的运动图像编码装置的一个构成例子的方框图。

图2是以往的运动图像编码装置的一个构成例子的方框图。

图3是本发明的实施例中的运动图像编码装置的一个例子的方框图。

图4示出了在本发明的实施例中算出滤波系数的小数像素位置。

图5A示出了针对本发明的实施例中的小数像素位置而被算出的滤波器系数的具体例子。

图5B示出了针对本发明的实施例中的小数像素位置而被算出的滤波系数的具体例子。

图6示出了本发明的实施例中的参考图片中的各个小数像素位置和运动矢量。

图7示出了本发明的实施例中的对象图片中的被确定的块。

图8是本发明的实施例中的运动检测部以及具有自适应滤波器的运动补偿预测部的处理工作的流程图。

图9是本发明的实施例中的运动图像解码装置的一个例子的方框图。

图10示出了本发明的实施例中的1/4像素精度的参考图片的像素位置以及像素值。

图11示出了由本发明的实施例中的一维水平内插滤波器内插的小数像素以及其滤波系数。

图12示出了由本发明的实施例中的一维垂直内插滤波器内插的小数像素以及其滤波系数。

图13A是示出在规定的条件中，对本发明的编码效率和以往例子的编码效率进行比较的图。

图13B是示出在其他条件中，对本发明的编码效率和以往例子的编码效率进行比较的图。

图14是示出对适用于本发明的分离型二维自适应内插滤波器时的计算量和适用于以往的非分离型二维自适应内插滤波器时的计算量进行比较的图。

符号说明

100 运动图像编码装置

120 变换/量化部

130 逆量化/逆变换部

150 帧内预测部

160 具有自适应滤波器的运动补偿预测部

170 运动检测部

200 运动图像解码器具

220 逆量化/逆变换部

250 帧内预测部

260 具有自适应滤波器的运动补偿预测部

具体实施方式

以下，参照附图对本发明的实施例中的运动图像编码装置(运动图像压缩装置)进行说明。

本实施例中的运动图像编码装置能够以较少的计算量高效率地算出恰当的分离型二维自适应内插滤波器的滤波系数。并且，该运动图像编码装置利用被算出的滤波系数进行运动补偿，这样，能够高效率地且恰当地对运动图像进行编码。

图3是本实施例中的运动图像编码装置的一个例子的方框图。

在本实施例中的运动图像编码装置100包括：减法器110、变换/量化部120、逆量化/逆变换部130、加法器135、解块滤波器137、存储器140、帧内预测部150、具有自适应滤波器的运动补偿预测部160、运动检测部170、切换开关180、以及熵编码部190。

并且，本实施例中的运动图像编码装置100在运动检测部170以及具有自适应滤波器的运动补偿预测部160具有特征。也就是说，减法器110、变换/量化部120、逆量化/逆变换部130、加法器135、解块滤波器137、存储器140、帧内预测部150、以及切换开关180分别具有与以往的运动图像编码装置300的减法器310、变换/量化部320、逆量化/逆变换部330、加法器335、解块滤波器337、存储器340、帧内预测部350、以及切换开关380同样的功能。并且，在本实施例中，运动检测部170和具有自适应滤波器的运动补偿预测部160构成滤波系数决定装置。

减法器110获得表示运动图像的输入信号。输入信号由多个图片构成，这些图片由多个块(宏块)构成。即，减法器110按顺序获得这些块，在每当获得之时，就将该块作为对象块来处理。而且，减法器110按照每个对象块获得从帧内预测部150或具有自适应滤波器的运动补偿预测部160输出的、表示与该对象块相对应的预测图像的预测信号。并且，减法器110通过从对象块中减去预测信号所表示的预测图像，从而生成与该对象块相对应的预测误差，并将该预测误差输出到变换/量化部120。

变换/量化部120从减法器110获得预测误差，并通过对这些预测误差进行离散余弦变换等正交变换，从而生成正交变换系数。而且，变换/量化部120通过对这些正交变换系数进行量化，从而生成量化系数，并输出到逆量化/逆变换部130以及熵编码部190。

逆量化/逆变换部130在从变换/量化部120中获得量化系数之后，通过对这些量化系数进行逆量化，从而生成正交变换系数。并且，逆量化/逆变换部130通过针对这些正交变换系数进行逆离散余弦变换等逆正交变换，从而生成预测误差，并将这些预测误差输出到加法器135。

加法器135对从逆量化/逆变换部130输出的预测误差和从帧内预测部150或表示从具有自适应滤波器的运动补偿预测部160输出的预测信号的预测图像进行加法运算。并且，加法器135将表示这些加法结果的局部解码图像输出到解块滤波器137。

解块滤波器137通过对这些局部解码图像进行解块滤波，从而去除该局部解码图像中的编码失真，并将被去除了编码失真的局部解码图像存储到存储器140。

局部解码图像由解块滤波器137被依次存储到存储器140中。这样，针对以后的对象块生成预测图像时所使用的参考图片被存储到存储器140中。

帧内预测部150对对象块进行画面内预测(帧内预测)。即，帧内预测部150根据被存储在存储器140的若干个局部解码图像，针对对象块生成预测图像，并将表示该预测图像的预测信号输出到切换开关180。

在切换开关180针对对象块进行画面内预测(帧内预测)的情况下，从帧内预测部150输出的预测信号被输出到减法器110，在针对对象块进行画面间预测(帧间预测)的情况下，从具有自适应滤波器的运动补偿预测部160输出的预测信号被输出到减法器110。

熵编码部190获得从变换/量化部120输出的量化系数、从具有自适应滤波器的运动补偿预测部160输出的滤波系数、以及从运动检测部170输出的运动矢量，并通过对他们进行熵编码，从而生成并输出作为比特流的编码信号。

运动检测部170依次获得被包含在输入信号中的块，在每当获得之时，就将该获得的块作为对象块来处理。并且，运动检测部170从被存储在存储器140中的参考图片中，检测具有与该对象块所表示的图像近似的图像的块。即，运动检测部170将参考图片中的对象块的图像的运动作为运动矢量来检测，并将运动矢量输出到具有自适应滤波器的运动补偿预测部160以及熵编码部190。

在此，运动检测部170以小数像素精度来进行检测，并输出小数像素精度的运动矢量。即，运动检测部170首先将参考图片的像素精度从整数像素精度变换为小数像素精度，并利用该小数像素精度的参考图片来进行运动检测。这样，为了变换像素精度，运动检测部170使具有预先规定的滤波系数的二维固定内插滤波器适用于该参考图片。该二维固定内插滤波器例如是具有H.264/AVC标准所规定的固定滤波系数和双线性滤波器的6抽头维纳内插滤波器。并且，小数像素精度例如可以是1/2像素精度以及1/4像素精度。

具有自适应滤波器的运动补偿预测部160依次获得由输入信号表示的对象图片中所包含的各个块，并从运动检测部170依次获得该各个块所对应的小数像素精度的运动矢量。并且，具有自适应滤波器的运动补偿预测部160根据获得的各个块以及各个运动矢量，算出适用于参考图片的分离型二维自适应内插滤波器的滤波系数，并将该滤波系数输出到熵编码部190。

并且，具有自适应滤波器的运动补偿预测部160利用被算出的滤波系数，对对象块进行运动补偿。即，具有自适应滤波器的运动补偿预测部160使具有像上述这样被算出的滤波系数的分离型二维自适应内插滤波器，适用于由对象块所具有的小数像素精度的运动矢量所表示的参考图片中的块。这样，具有自适应滤波器的运动补偿预测部160将原先由二维固定内插滤波器算出的、上述块中所包含的小数像素的像素值，作为适用于分离型二维自适应内插滤波器的值来重新算出。据此，具有自适应滤波器的运动补偿预测部160生成针对具有被重新算出的像素值的小数像素的对象块的预测图像，表示该预测图像的预测信号被输出到切换开关180。

在此，对由本实施例中的具有自适应滤波器的运动补偿预测部160所执行的滤波系数的算出处理以及运动补偿进行说明。

图4示出了被算出滤波系数的小数像素位置。并且，图4中的黑圆点表示整数像素位置，白圆圈表示小数像素位置。

具有自适应滤波器的运动补偿预测部160在如图4所示的1/4像素精度的情况下，算出针对由(p，q)＝(1，0)、(2，0)、(3，0)、(0，1)、(0，2)、(0，3)、(1，1)、(1，2)、(1，3)、(2，1)、(2，2)、(2，3)、(3，1)、(3，2)以及(3，3)所表示的15个小数像素位置的滤波系数。在此，位置(p，q)表示，将由4个整数像素所构成的最小的范围作为一个整数单位范围时，该整数单位范围上的坐标位置，即表示图片上的各个整数单位范围内的共同的坐标位置。换言之，位置(p，q)表示，小数像素位置和其邻近的整数像素位置(0，0)之间的相对位置关系。具体而言，位置p表示在水平方向上排列的整数像素间的坐标位置，位置q表示在垂直方向上排列的整数像素间的坐标位置。并且，一个整数单位范围中包括：位置(p，q)＝(0，0)的整数像素和上述15个小数像素位置上的小数像素。并且，针对上述15个位置算出的滤波系数例如是针对同一图片中的所有整数单位范围被共同算出的。即，多个整数单位范围的每一个具有相同的小数像素位置(p，q)，针对相同的小数像素位置(p，q)算出相同的滤波系数。

并且，针对一个小数像素位置的滤波系数例如由对6个整数像素的像素值分别加权的系数的集合来表示。

图5A以及图5B示出了针对小数像素位置而被算出的滤波系数的具体例子。

如图5A所示，具有自适应滤波器的运动补偿预测部160将针对在水平方向排列的整数像素间的位置(p，0)(在此，p≠0)的一维水平内插滤波器的滤波系数g^(p)，例如作为大致以该位置(p，0)为中心，对在水平方向上排列的6个整数像素的像素值进行加权的系数g_i ^(p)(i＝-2，-1，0，1，2，3)的集合来算出。并且，上述的位置(p，0)(在此，p≠0)在水平方向上位于小数像素位置，且在垂直方向位于整数像素位置，以下，将这样的位置(p，0)称为小数整数像素位置(第一小数像素位置)。

并且，如图5B所示，具有自适应滤波器的运动补偿预测部160将针对在垂直方向排列的整数像素间的位置(0，q)的一维垂直内插滤波器的滤波系数h^(q)，例如作为大致以该位置(0，q)(在此，q≠0)为中心，对在垂直方向上排列的6个整数像素的像素值进行加权的系数h_j ^(q)(j＝-2，-1，0，1，2，3)的集合来算出。并且，上述的位置(0，q)在水平方向上位于整数像素位置，且在垂直方向上位于小数像素位置，以下，将这样的位置(0，q)(在此，q≠0)称为整数小数像素位置(第二小数像素位置)。

并且，具有自适应滤波器的运动补偿预测部160在算出针对既不位于小数整数像素位置又不位于整数小数像素位置的位置(p，q)(在此，p≠0且q≠0)的一维垂直内插滤波器的滤波系数h^(p，q)的情况下，将针对该小数像素位置的滤波系数h^(p，q)，作为大致以该小数像素位置为中心，对在垂直方向上排列的多个小数像素的像素值进行加权的系数的集合来算出。并且，在垂直方向上排列的多个小数像素位于小数整数像素位置。并且，上述的位置(p，q)(在此，p≠0且q≠0)在水平方向以及垂直方向上均位于小数像素位置，以下将这样的位置(p，q)称为小数小数像素位置(第二或第三小数像素位置)。

例如，具有自适应滤波器的运动补偿预测部160将针对位置(p，q)的滤波系数h^(p，q)，作为大致以该位置(p，q)为中心，对在垂直方向上排列的小数整数像素位置的多个小数像素的像素值进行加权的系数h_j ^(p，q)(j＝-2，-1，0，1，2，3)的集合来算出。

并且，上述的小数整数像素位置、整数小数像素位置以及小数小数像素位置是被包含于上述的整数单位范围内的小数像素位置，在整数单位范围的每一个中，具有相同的小数像素位置，即具有相同的小数整数像素位置、相同的整数小数像素位置、以及相同的小数小数像素位置。

即，本实施例中的分离型二维自适应内插滤波器被分离为一维水平内插滤波器和一维垂直内插滤波器。具有自适应滤波器的运动补偿预测部160在算出位于小数整数像素位置的小数像素的像素值时，使该小数整数像素位置(p，0)适用一维水平内插滤波器的滤波系数g^(p)。具体而言，具有自适应滤波器的运动补偿预测部160，使在水平方向上夹着小数整数像素位置(p，0)而排列的多个整数像素的像素值的每一个与系数g_i ^(p)相乘，并使他们相加，将相加后的结果作为位于该小数整数像素位置的小数像素的像素值来算出。并且，具有自适应滤波器的运动补偿预测部160在算出位于整数小数像素位置(0，q)的小数像素的像素值时，使一维垂直内插滤波器的滤波系数h^(q)适用于该整数小数像素位置(0，q)。具体而言，具有自适应滤波器的运动补偿预测部160，使在垂直方向上夹着整数小数像素位置(0，q)而排列的多个整数像素的像素值的每一个与系数h_j ^(q)相乘，并使他们相加，将相加后的结果作为位于该整数小数像素位置的小数像素的像素值来算出。

并且，具有自适应滤波器的运动补偿预测部160在算出位于小数小数像素位置(p，q)(在此，p≠0且q≠0)的小数像素的像素值时，例如，首先通过使一维水平内插滤波器的滤波系数g^(p)适用于小数整数像素位置(p，0)，从而算出位于小数整数像素位置(p，0)的小数像素的像素值。之后，具有自适应滤波器的运动补偿预测部160使一维垂直内插滤波器的滤波系数h^(p，q)适用于小数小数像素位置(p，q)。具体而言，具有自适应滤波器的运动补偿预测部160，使在垂直方向上夹着小数小数像素位置(p，q)而排列的多个小数整数像素位置(p，0)的小数像数的像素的每一个与系数h_j ^(p，q)像成，并使他们相加，将相加后的结果作为位于该小数小数像素位置的小数像素的像素值来算出。

在此，本实施例中的具有自适用滤波器的运动补偿预测部160在算出分离型的二维自适应内插滤波器的上述这种滤波系数时，首先，针对对象块中所包含的各个块，利用被检测出的小数像素精度的运动矢量，从对象图片中找出具有表示参考图片中的规定的小数整数像素位置的运动矢量的一个以上的块。这样，能够从对象图片的全体中筛选，针对该小数整数像素位置算出滤波系数时所需要的块。

图6示出了参考图片中的各个小数像素位置和运动矢量。并且，图6中的叉号表示小数整数像素位置，三角表示整数小数像素位置，圆圈表示小数小数像素位置。

例如，具有自适应滤波器的运动补偿预测部160确定被检测出运动矢量mv的对象图片中的一个以上的块，所述运动矢量mv示出小数整数像素位置(p，q)＝(1，0)。并且，具有自适应滤波器的运动补偿预测部160仅利用对象图片中所包含的被确定的一个以上的块，而不利用对象图片中的其他的块，算出针对位置(p，q)＝(1，0)的滤波系数。

图7示出了在对象图片中被确定的块。

例如，具有自适应滤波器的运动补偿预测部160从对象图片Pc中确定分别具有三个运动矢量mv1、mv2、mv3的三个块Bk1、Bk2、Bk3，所述三个运动矢量mv1、mv2、mv3示出参考图片Pr中的小数整数像素位置(p，q)＝(1，0)。并且，由运动矢量mv1、mv2、mv3示出的参考图片Pr中的块Bkr1、Bkr2、Bkr3，从整数像素位置分别偏离了上述的小数整数像素位置，也就是说在水平方向上偏离了1/4像素。

具有自适应滤波器的运动补偿预测部160算出针对小数整数像素位置(p，q)＝(1，0)的一维水平内插滤波器的滤波系数，以使差分D1和差分D2以及差分D3的和(D1+D2+D3)成为最小，所述差分D1是对象图片Pc的块Bk1与由该块Bk1的运动矢量mv1表示的参考图片Pr中的块Bkr1的差分，所述差分D2是对象图片Pc的块Bk2与由该块Bk2的运动矢量mv2表示的参考图片Pr中的块Bkr2的差分，所述差分D3是对象图片Pc的块Bk3与由该块Bk3的运动矢量mv3表示的参考图片Pr中的块Bkr3的差分。算出针对小数整数像素位置(p，q)＝(1，0)的一维水平内插滤波器的滤波系数。换言之，具有自适应滤波器的运动补偿预测部160对滤波系数进行最佳化，以使上述的和(D1+D2+D3)成为最小。并且，上述的差分例如是对象图片的块的各个整数像素的像素值和与该各个整数像素相对应的参考图片的块的各个小数像素的像素值的差分的平方和。并且，具有自适应滤波器的运动补偿预测部160在对滤波系数进行最佳化时，例如可以使滤波系数适当地变化，一边算出小数像素的像素值，一边决定使上述差分成为最小的滤波系数。或者，具有自适应滤波器的运动补偿预测部160通过解后述的线性方程来决定滤波系数。

这样，具有自适应滤波器的运动补偿预测部160在算出针对位置(p，q)＝(1，0)的滤波系数的情况下，以与上述同样的处理，来算出针对剩余的小数整数像素位置的一维水平内插滤波器的滤波系数。即，具有自适应滤波器的运动补偿预测部160算出针对位置(p，q)＝(2，0)和(3，0)的滤波系数。

之后，本实施例中的具有自适应滤波器的运动补偿预测部160从对象图片中找出具有表示参考图片中的规定的整数小数像素位置的运动矢量的一个以上的块。这样，能够从对象图片的全体中筛选，针对该整数小数像素位置算出滤波系数时所需要的块。

例如，具有自适应滤波器的运动补偿预测部160通过进行与上述同样的最佳化，从而算出针对整数小数像素位置上的位置(p，q)＝(0，1)、(0，2)以及(0，3)的一维垂直内插滤波器的滤波系数。

而且，本实施例中的具有自适应滤波器的运动补偿预测部160从对象图片中找出具有表示参考图片中的规定的小数小数像素位置的小数像素的运动矢量的一个以上的块。这样，能够从对象图片的全体中筛选，针对该小数小数像素位置算出滤波系数时所需要的块。

例如，具有自适应滤波器的运动补偿预测部160通过进行与上述同样的最佳化，从而算出针对小数小数像素位置上的位置(p，q)＝(1，1)、(1，2)、(2，1)、(2，2)、(2，3)、(3，1)、(3，2)以及(3，3)的一维垂直内插滤波器的滤波系数。另外，在此情况下，具有自适应滤波器的运动补偿预测部160利用以前算出的小数整数像素位置的滤波系数，算出该小数整数像素位置的像素值，并利用该像素值进行针对小数小数像素位置的滤波系数的最佳化。

图8是示出本实施例中的运动检测部170以及具有自适应滤波器的运动补偿预测部160的处理工作的流程图。

首先，运动检测部170以对象图片中的块为单位，利用二维固定内插滤波器，检测小数像素精度的运动矢量(步骤S100)之后，具有自适应滤波器的运动补偿预测部160从对象图片中确定具有表示参考图片中的规定的小数整数像素位置的运动矢量的一个以上的块(步骤S102)。

具有自适应滤波器的运动补偿预测部160利用对象图片中所包含的块中的、在步骤S102确定的块，而不利用对象图片中除此之外的块，来算出针对上述小数整数像素位置的滤波系数(步骤S104)。这样，在针对一个小数整数像素位置的滤波系数被算出时，具有自适应滤波器的运动补偿预测部160判别是否存在没有被算出滤波系数的其他的小数整数像素位置(步骤S106)。

在此，具有自适应滤波器的运动补偿预测部160在判别为存在没有被算出滤波系数的其他的小数整数像素位置的情况下(步骤S106的是)，针对该小数整数像素位置重复执行从步骤S102的处理。并且，具有自适应滤波器的运动补偿预测部160在判别为不存在没有被算出滤波系数的其他的小数整数像素位置的情况下(步骤S106的否)，从该对象图片中确定具有表示参考图片中的规定的整数小数像素位置的运动矢量(步骤S108)。

具有自适应滤波器的运动补偿预测部160利用对象图片中所包含的块中的、在步骤S108确定的块，而不利用对象图片中除此之外的块，来算出针对上述整数小数像素位置的滤波系数(步骤S110)。这样，在针对一个整数小数像素位置的滤波系数被算出时，具有自适应滤波器的运动补偿预测部160判别是否存在没有被算出滤波系数的其他的整数小数像素位置(步骤S112)。

在此，具有自适应滤波器的运动补偿预测部160在判别为存在没有被算出滤波系数的其他的整数小数像素位置的情况下(步骤S112的是)，针对该整数小数像素位置重复执行从步骤S108的处理。并且，具有自适应滤波器的运动补偿预测部160在判别为不存在没有被算出滤波系数的其他的整数小数像素位置的情况下(步骤S112的否)，从该对象图片中确定具有表示参考图片中的规定的小数小数像素位置的运动矢量(步骤S114)。

具有自适应滤波器的运动补偿预测部160利用对象图片中所包含的块中的、在步骤S114确定的块，而不利用对象图片中除此之外的块，来算出针对上述小数小数像素位置的滤波系数(步骤S116)。这样，在针对一个小数小数像素位置的滤波系数被算出时，具有自适应滤波器的运动补偿预测部160判别是否存在没有被算出滤波系数的其他的小数小数像素位置(步骤S118)。

在此，具有自适应滤波器的运动补偿预测部160在判别为存在没有被算出滤波系数的其他的小数小数像素位置的情况下(步骤S118的是)，针对该小数小数像素位置重复执行从步骤S114的处理。并且，具有自适应滤波器的运动补偿预测部160在判别为不存在没有被算出滤波系数的其他的小数小数像素位置的情况下(步骤S112的否)，则判断为针对分离型二维自适应内插滤波器的所有的小数像素位置的滤波系数已被算出。并且，具有自适应滤波器的运动补偿预测部160利用在步骤S100被检测出的运动矢量和被算出的滤波系数，对对象块进行运动补偿(步骤S220)。

这样，在本实施例中，对象图片中的各个块的运动矢量以小数像素精度被检测出，具有表示参考图片中的小数像素位置(p，q)的运动矢量的多个块从对象图片中被确定。并且，根据这些被确定的多个块，能够决定小数像数位置(p，q)的滤波系数。即，在本实施例中，从构成对象图片的所有块中筛选具有表示小数像素位置(p，q)的运动矢量的块，并仅根据被筛选的多个块来决定小数像素位置(p，q)的滤波系数。因此，设想构成对象图片的所有的块的运动矢量表示参考图片中的所有的小数像素位置，由于没有根据所有的块的图像来决定小数像素位置(p，q)的滤波系数，因此，能够大幅度地降低在算出滤波系数时的计算量，并且能够高效率地决定适当的滤波系数。并且，在本实施例中，在决定分离型二维自适应内插滤波器的滤波系数之前被检测出的小数像素精度的运动矢量被利用于运动补偿(块的编码)，被包含在编码信号中。即，在本实施例中，在决定滤波系数之前就以小数像素精度检测了运动矢量并利用于运动补偿，因此，在滤波系数决定后，不需要重新检测被利用于运动补偿且应该被包含在编码信号中的小数像素精度的运动矢量，从而能够减轻处理负担。并且，本发明是在分离型二维自适应内插滤波器的滤波系数被决定后，进一步利用该滤波系数检测小数像素精度的运动矢量的，因此，不会防止该运动矢量被利用于运动补偿。

图9是示出本实施例中的运动图像解码装置的一个例子的方框图。

本实施例中的运动图像解码装置200包括：逆量化/逆变换部220、加法器235、解块滤波器237、存储器240、帧内预测部250、具有自适应滤波器的运动补偿预测部260、切换开关280以及熵解码部290。

熵解码部290获得从运动图像编码装置100输出的作为比特流的编码信号，并对该编码信号进行熵解码。通过该熵解码，熵解码部290从编码信号中取出量化系数、运动矢量以及滤波系数，量化系数被输出到逆量化/逆变换部220，运动矢量以及滤波系数被输出到具有自适应滤波器的运动补偿预测部260。

逆量化/逆变换部220与运动图像编码装置100中的逆量化/逆变换部130具有同样的功能和构成，从熵解码部290取出的量化系数被逆量化为正交变换系数，该正交变换系数被逆正交变换为预测误差后，被输出到加法器235。

加法器235具有与运动图像编码装置100的加法器135相同的功能和构成。即，加法器235使从逆量化/逆变换部220输出的预测误差和从帧内预测部250或具有自适应滤波器的运动补偿预测部260输出的预测信号所表示的预测图像相加。并且，加法器135将表示上述的加法结果的解码图像输出到解块滤波器237。

解块滤波器237具有与运动图像编码装置100的解块滤波器137相同的功能和构成。即，解块滤波器237通过对这些解码图像进行解块滤波，从而去除该解码图像中的编码失真，并将被去除了编码失真的解码图像存储到存储器240。

存储器240与运动图像编码装置100的存储器140同样，依次存储有由解块滤波器237存储的解码图像。这样，针对以后的对象块生成预测图像时所使用的参考图片被存储到存储器240中。

帧内预测部250具有与运动编码装置100中的帧内预测部150相同的功能与构成。即，帧内预测部250针对对象块进行画面内预测(帧内预测)，将表示针对该对象块的预测图像输出到切换开关280。

切换开关280具有与运动图像编码装置100的切换开关180相同的功能和构成。即，在切换开关280针对对象块进行画面内预测(帧内预测)的情况下，从帧内预测部250输出的预测信号被输出到加法器235，在针对对象块进行画面间预测(帧间预测)的情况下，从具有自适应滤波器的运动补偿预测部260输出的预测信号被输出到加法器235。

具有自适应滤波器的运动补偿预测部260具有与运动图像编码装置100的具有自适应滤波器运动补偿预测部160相同的功能和构成。即，具有自适应滤波器的运动补偿预测部260在获得与从熵解码部290输出的各个块相对应的小数像素精度的运动矢量时，根据具有这些运动矢量的块，算出分离型二维自适应内插滤波器的滤波系数。并且，具有自适应滤波器的运动补偿预测部260利用被算出的滤波系数，对对象块进行运动补偿，这样，生成针对这些对象块的预测图像，并将表示这些预测图像的预测信号输出到切换开关280。由该具有自适应滤波器的运动补偿预测部260进行的滤波系数的算出以及运动补偿，与上述的具有自适应滤波器的运动补偿预测部160所进行的滤波系数的算出以及运动补偿相同。

以下，对决定分离型二维自适应内插滤波器的滤波系数的方发进行具体说明。

图10示出了1/4像素精度的参考图片的像素位置以及像素值。

黑圆点表示整数像素位置(即原来的图像的采样位置)，圆圈表示需要内插像素值的小数像素位置。并且，本发明能够适用于所有的小数像素精度(其中包括小数像素精度在垂直方向以及水平方向上不同的情况)。

在此，以下，将n定义为小数像素精度(即，在1/2像素精度的情况下，n＝2，在1/4像素精度的情况下，n＝4等)。参考图片上的位置由整数像素精度或小数像素精度表示。(x，y)以整数像素精度表示参考图片上的坐标位置，(nx+p，ny+q)以小数像素精度表示参考图片上的坐标位置。即，以小数像素精度表示的整数像素位置(nx，ny)和以整数像素精度表示的整数像素位置(x，y)一致。并且，以小数像素精度表示的(nx+p，ny+q)如上述的(p，q)不表示各个整数单位范围的共同的位置，而表示参考图片上的特定的一个位置。以下，为了将(p，q)与(nx+p，ny+q)区别，而将(p，q)称为局部坐标上的位置。并且，将P_x，y定义为原来的参考图片的整数像素位置(x，y)上的像素的像素值。而且，将Pa_nx+p，0定义为以参考图片上的小数像素精度表示的一个位置(nx+p，0)中的像素的像素值，将Pb_nx+p，ny+q定义为以参考图片上的小数像素精度表示的一个位置(nx+p，ny+q)中的像素的像素值(参照图10)。

运动矢量由mv＝(v_x，v_y)来表示。即，运动矢量501、502、503是通过分别将由小数像素精度表示的水平方向以及垂直方向的位置代入到成分v_x以及v_y来表示的。满足v_x mod n＝0的运动矢量503表示x方向(水平方向)的整数像素位置。满足v_x mod n＝1，…，(n-1)的运动矢量501、502表示x方向的小数像素位置。对于y方向(垂直方向)也是同样，运动矢量501表示y方向的整数像素位置，运动矢量502、503表示y方向的小数像素位置。

在本实施例中的分离型二维自适应内插滤波器如以上所述，能够被分为一维水平内插滤波器和一维垂直内插滤波器。具体而言，在垂直方向上，在整数像素位置上的像素，也就是说位置(nx+p，y)上的像素的像素值Pa_nx+p，y利用一维水平内插滤波器，由以下的(公式1)来表示。

(公式1)

${\mathrm{Pa}}_{\mathrm{nx}+p,y}=\underset{i}{\mathrm{\Σ}}{g}_i^{\left(p\right)}{P}_{x-i,y}$

在此，g_i ^(p)是针对局部坐标上的位置(p，0)的水平方向上的滤波系数g^(p)中所包含的多个系数，在6抽头滤波器的情况下，是具有i＝-2，-1，0，1，2，3的一维水平内插滤波器的离散系数。即，针对局部坐标上的位置(p，0)的一维水平内插滤波器的滤波系数g^(p)，由六个系数g_-2 ^(p)、g_-1 ^(p)、g₀ ^(p)、g₁ ^(p)、g₂ ^(p)、g₃ ^(p)构成。并且，P_x-i，y是整数像素位置(x-i，y)(i＝-2，-1，0，1，2，3)上的整数像素的像素值。这样，在垂直方向上，在整数像素位置上的像素，也就是说，位置(nx+p，y)上的像素的像素值Pa_nx+p，y是由以下的值来表示的，所述值是指，对在水平方向上排列的六个整数像素的像素值P_x-i，y(i＝-2，-1，0，1，2，3)分别乘以系数g_i ^(p)(i＝-2，-1，0，1，2，3)并合计出来的结果。这样，水平方向的滤波系数g^(p)依存局部坐标上的特定的位置p。因此，一维水平内插滤波器的滤波系数g^(p)针对各个位置p而被决定。

图11示出了由一维水平内插滤波器内插的小数像素以及滤波系数。并且，在该图11中，黑圆点表示具有已知的像素值的整数像素，白圆圈表示需要被内插的小数像素。

滤波系数g^(p)是针对局部坐标上的小数整数像素位置(p，0)(p＝1，…，(n-1))的每一个而被决定的。例如，在n＝4的情况下，针对小数整数像素位置(1，0)决定滤波系数g⁽¹⁾，针对小数整数像素位置(2，0)决定滤波系数g⁽²⁾，针对小数整数像素位置(3，0)决定滤波系数g⁽³⁾。

这样，在一维水平内插滤波器的滤波系数g^(p)被决定的情况下，位置(nx+p，y+q)上的像素的像素值Pb_nx+p，y+q利用一维垂直内插滤波器，由以下的(公式2)来决定。

(公式2)

${\mathrm{Pb}}_{\mathrm{nx}+p,\mathrm{ny}+q}=\underset{j}{\mathrm{\Σ}}{h}_j^{(p,q)}{\mathrm{Pa}}_{\mathrm{nx}+p,y-j}=\underset{i,j}{\mathrm{\Σ}}{g}_i^{\left(p\right)}{h}_j^{(p,q)}{P}_{x-i,y-j}$

在此，h_j ^(p，q)是针对局部坐标上的位置(p，q)的垂直方向的滤波系数h^(p，q)中所包含的多个系数。例如，在六抽头滤波器的情况下，h_j ^(p，q)是具有j＝-2，-1，0，1，2，3的一维垂直内插滤波器的离散系数。即，针对局部坐标上的位置(p，q)的一维垂直内插滤波器的滤波系数h^(p，q)，由六个系数h_-2 ^(p，q)、h_-1 ^(p，q)、h₀ ^(p，q)、h₁ ^(p，q)、h₂ ^(p，q)、h₃ ^(p，q)构成。并且，P_x-i，y是垂直方向上的整数像素位置上的像素，也就是说，是位置(nx+p，y-j)(j＝-2，-1，0，1，2，3)上的像素的像素值。因此，系数h_j ^(p，q)也与在水平方向被内插的小数像素的像素值Pa_nx+p，y-j相乘。这样，位置(nx+p，ny+q)上的像素的像素值Pb_nx+p，ny+q是由以下的值来表示的，所述值是指，对在垂直方向上排列的六个像素的像素值Pa_nx+p，y-j(j＝-2，-1，0，1，2，3)分别乘以系数h_j ^(p，q)(j＝-2，-1，0，1，2，3)并合计出来的结果。这样，垂直方向的滤波系数h^(p，q)依存局部坐标上的特定的位置(p，q)。因此，一维垂直内插滤波器的滤波系数h^(p，q)针对各个位置(p，q)的像素而被决定。

图12示出了由一维垂直内插滤波器内插的小数像素以及滤波系数。并且，在该图中，黑圆点表示具有已知的像素值的整数像素，白圆圈表示需要被内插的小数像素。

滤波系数h_j ^(p，q)针对局部坐标上的小数像素位置(p，q)(p＝0，…，(n-1)以及q＝1，…，(n-1))的每一个而被决定。例如，在n＝4的情况下，针对12个小数像素的每一个决定滤波系数h_j ^(p，q)。具体而言，针对小数像素位置(0，1)决定滤波系数h_j ^(0，1)，针对小数像素位置(1，1)决定滤波系数h_j ^(1，1)，针对小数像素位置(1，2)决定滤波系数h_j ^(1，2)。

并且，在本实施例中，由于适用了一维水平内插滤波器以及一维垂直内插滤波器，因此需要不使整数像素位置的像素的像素值发生变化。换言之，要求一维水平内插滤波器以及一维垂直内插滤波器不对整数像素的像素产生影响。因此，在p和q分别成为0的情况下，需要满足以下的(公式3)所示的条件。

(公式3)

在此，δ_k，l是克罗内克符号(kronecker delta)，若k＝l，则δ_k，l＝1，若k≠l则δ_k，l＝0。而且，由于适用了一维垂直内插滤波器，因此要求一维水平内插滤波器的结果(小数像素的像素值)不发生变化。换言之，要求一维垂直内插滤波器不对作为一维水平内插滤波器的结果的小数像素的像素值产生影响。因此，在q为0的情况下，需要满足以下的(公式4)所示的条件。

(公式4)

$h_j^{(p,0)}={\mathrm{\δ}}_{j,0}$

因此，即使在p和q分别成为0的情况下，实质上存在的滤波系数为：针对(n-1)个小数整数像素位置的一维水平自适应内插滤波器的滤波系数g⁽¹⁾，…，g^(n-1)、和针对n(n-1)个的小数像素位置(整数小数像素位置以及小数小数像素位置)的一维垂直内插滤波器的滤波系数h^(0，1)，…，h^(0，n-1)，h^(1，1)，…，h^(n-1，n-1)。

在本实施例中，首先，从对象图片中确定具有小数像素精度的运动矢量mv＝(v_x，vy)(v_x mod n≠0、v_y mod n＝0)的一个以上的块，该小数像素精度的运动矢量表示参考图片中的各个局部坐标的规定的小数整数像素位置(p，0)(p≠0)。并且，在本实施例中，一维水平内插滤波器的滤波系数g^(p)(系数g_i ^(p))被最佳化，以使以下(公式5)所示的预测误差(e_p)²成为最小。

(公式5)

${\left(e_p\right)}^2=\underset{x,y}{\mathrm{\Σ}}{(S_{x,y}-\underset{i}{\mathrm{\Σ}}{g}_i^{\left(p\right)}{P}_{\mathrm{xd}-i,\mathrm{yd}})}^2$

在此，S_x，y是由对象图片上的整数像素精度所表示的位置(x，y)上的整数像素的像素值，P_xd-i，yd是以前被解码的参考图片上的整数像素位置(xd-i，yd)上的像素的像素值。并且，xd由xd＝x+[[v_x/n]]而被定义，yd由yd＝y+[[v_y/n]]而被定义，p由p＝v_x mod n来表示。并且，[[A]]是表示自变量A以下的最大的整数的地板函数(floor function)。并且，如以上所述，由于满足了v_y mod n＝0，因此，yd由yd＝y+[[v_y/n]]＝y+v_y/n来表示。

即，位置(xd，yd)是从参考图片上的小数像素位置(x+v_x/n，y+v_y/n)角度来看，在水平方向上邻近的整数像素位置，所述参考图片上的小数像素位置(x+v_x/n，y+v_y/n)由参考图片上的整数像素位置(x，y)和小数像素精度的运动矢量mv＝(v_x，v_y)来表示。并且，位置(xd-i，yd)例如可以通过i＝-2，-1，0，1，2，3来表示在水平方向连续排列的6个整数像素位置。

x和y能够取得的范围是由具有表示各个局部坐标中规定的小数整数像素位置(p，0)的运动矢量的对象图片上的一个以上的块所构成的范围，针对所述一个以上的块内的(x，y)，进行上述(公式5)所示的预测误差的最小化。并且，上述的块与宏块相对应。即，x和y能够取得的范围由具有运动矢量(即满足v_x mod n＝p以及v_y mod n＝0的运动矢量)的(一个以上的运动图像中的)若干个或所有的宏块的(不连续的)结合构成，所述运动矢量表示各个局部坐标中的相同的小数像素位置。

如以上所述，在本实施例中，一维水平内插滤波器的滤波系数g^(p)被决定成，能够使(公式5)所示的预测误差最小化。在这样的最小化(最佳化)的算法中也可以适用任意的周知技术(例如梯度下降法、模拟退火算法等)。例如，最佳的滤波系数g^(p)可以通过解由(公式5)的偏导数推导出的线性方程来决定。该线性方程如以下的(公式6)所示。

(公式6)

$0=\frac{\∂}{{\∂g}_k^{\left(p\right)}}\underset{x,y}{\mathrm{\Σ}}{(S_{x,y}-\underset{i}{\mathrm{\Σ}}{g}_i^{\left(p\right)}{P}_{\mathrm{xd}-i,\mathrm{yd}})}^2=-2\underset{x,y}{\mathrm{\Σ}}{P}_{\mathrm{xd}-i,\mathrm{yd}}(S_{x,y}-\underset{i}{\mathrm{\Σ}}{g}_i^{\left(p\right)}{P}_{\mathrm{xd}-i,\mathrm{yd}})$

通过进行这样的最佳化，针对局部坐标上的一个小数整数像素位置(p，0)的一维水平内插滤波器的滤波系数g^(p)被决定。并且，针对其他的小数整数像素位置(p，0)也反复执行同样的最佳化，针对该位置的滤波系数g^(p)被依次决定。

通过利用如上述这样被决定的一维水平内插滤波器的滤波系数g^(p)，从而以前被解码的参考图片上的、在水平方向上为小数像素位置、在垂直方向上为整数像素位置的小数像素的像素值Pa_nx+p，y，由上述的(公式1)算出。

并且，在本实施例中，从对象图片中确定具有小数像素精度的运动矢量mv＝(v_x，vy)(v_y mod n≠0)的一个以上的块，该小数像素精度的运动矢量mv＝(v_x，v_y)(v_y mod n≠0)表示除参考图片中的各个局部坐标上的小数整数像素位置以外的、相同的小数像素位置(p，q)(q≠0)。并且，在本实施例中，一维垂直内插滤波器的滤波系数h^(p，q)(系数h_j ^(p，q))是通过对考虑了垂直方向的小数像素的运动而进行的预测误差的最小化，从而在第二步骤决定的。即，该滤波系数h^(p，q)被最佳化，以使以下的(公式7)所示的预测误差(e_p，q)²成为最小。

(公式7)

${\left(e_{p,q}\right)}^2=\underset{x,y}{\mathrm{\Σ}}{(S_{x,y}-\underset{j}{\mathrm{\Σ}}{h}_j^{(p,q)}{\mathrm{Pa}}_{\mathrm{nx}+v_x,\mathrm{yd}-j})}^2$

在此，S_x，y是由对象图片上的整数像素精度表示的位置(x，y)上的整数像素的像素值，Pa_nx+vx，yd-j是参考图片上的小数整数像素位置或整数像素位置上的位置(nx+v_x，yd-j)的像素的像素值。并且，p由p＝v_x mod n来表示，q由q＝v_y mod n≠0来表示。即，位置(nx+v_x，yd)是从参考图片上的小数像素位置(x+v_x/n，y+v_y/n)角度来看，在垂直方向上邻近的小数整数像素位置或整数像素位置，所述参考图片上的小数像素位置(x+v_x/n，y+v_y/n)由参考图片上的整数像素位置(x，y)和小数像素精度的运动矢量mv＝(v_x，v_y)来表示。并且，位置(nx+v_x，yd-j)例如可以通过j＝-2，-1，0，1，2，3来表示在垂直方向连续排列的6个小数整数像素位置或6个整数像素位置。

x和y能够取得的范围是由具有表示各个局部坐标中规定的小数整数像素位置(p，q)(q≠0)的运动矢量的对象图片上的一个以上的块所构成的范围，针对所述一个以上的块内的(x，y)，进行上述(公式7)所示的预测误差的最小化。并且，上述的块与宏块相对应。即，x和y能够取得的范围由具有运动矢量(即满足v_x mod n＝p以及v_y modn＝q≠0的运动矢量)的若干个或所有的宏块的(不连续的)结合构成，所述运动矢量表示各个局部坐标中的相同的小数像素位置。

如以上所述，在本实施例中，一维垂直内插滤波器的滤波系数h^(p，q)被决定成，能够使(公式7)所示的预测误差最小化。在这样的最小化(最佳化)的算法中也可以适用任意的周知技术(例如梯度下降法、模拟退火算法等)。例如，最佳的滤波系数h^(p，q)可以通过解由(公式7)的偏导数推导出的线性方程来决定。该线性方程如以下的(公式8)所示。

(公式8)

$0=\frac{\∂}{\∂h_k^{(p,q)}}\underset{x,y}{\mathrm{\Σ}}{(S_{x,y}-\underset{j}{\mathrm{\Σ}}{h}_j^{(p,q)}{\mathrm{Pa}}_{\mathrm{nx}+v_x,\mathrm{yd}-j})}^2$

$=-2\underset{x,y}{\mathrm{\Σ}}{\mathrm{Pa}}_{\mathrm{nx}+v_x,\mathrm{yd}-k}(S_{x,y}-\underset{j}{\mathrm{\Σ}}{h}_j^{(p,q)}{\mathrm{Pa}}_{\mathrm{nx}+v_x,\mathrm{yd}-j})$

通过进行这样的最佳化，针对局部坐标上的一个小数整数像素位置(p，q)(q≠0)的一维垂直内插滤波器的滤波系数h_j ^(p，q)被决定。并且，针对其他的小数整数像素位置(p，q)(q≠0)也反复执行同样的最佳化，针对该位置的滤波系数h^(p，q)被依次决定。

通过利用如上述这样被决定的一维垂直内插滤波器的滤波系数h_j ^(p，q)，从而以前被解码的参考图片上的、小数像素位置(p，q)(q≠0)的小数像素的像素值Pb_nx+p，ny+q，由上述的(公式2)算出。

这样，本实施例中的分离型二维自适应内插滤波器被分离为一维水平内插滤波器和一维垂直内插滤波器。并且，一维水平内插滤波器的滤波系数g^(p)和一维垂直内插滤波器的滤波系数h^(p，q)被分别算出。而且，在运动补偿中，利用被算出的滤波系数g(p)，在垂直方向上为整数像素位置、在水平方向上为小数像素位置的小数像素的像素值被算出，并利用被算出的滤波系数h^(p，q)，在垂直方向的小数像素位置上的小数像素的像素值被算出。并且，在针对对象块的运动补偿中，仅利用针对由该对象块所具有的小数像素精度的运动矢量mv所表示的局部坐标上的位置(p，q)的滤波系数。这样，参考图片上的各个局部坐标中的上述位置(p，q)上的小数像素的像素值被算出，由位置(p，q)上的小数像素构成的预测图像被生成。

在上述的说明中，g^(p)以及h^(p，q)分别作为水平以及垂直的一维内插滤波器的滤波系数而被定义，一维水平内插滤波器的滤波系数是在一维垂直内插滤波器的滤波系数之前而被决定的。然而，若要使一维垂直内插滤波器的滤波系数在一维水平内插滤波器的滤波系数之前被决定，则可以改变g^(p)以及h^(p，q)的作用。

并且，在上述的说明中，一维垂直内插滤波器的滤波系数h^(p，q)依存于水平方向的小数像素位置p。不过，滤波系数h^(p，q)也可以不依存于小数像素位置p，可以在水平方向上不变。在这种情况下，滤波系数h^(p，q)成为h^(q)，即使在这种情况下也能够达到与h^(p，q)的情况类似的效果。并且，在这种情况下，能够使一维垂直内插滤波器的滤波系数的数量减少为(n-1)，这样，能够减少信号开支(signaling overhead)。

而且，不首先执行一维水平内插滤波器的滤波系数的算出，可以对一维垂直内插滤波器的水平方向采用与g^(p)同样的方法来决定不变的滤波系数h^(q)。在这种情况下，由于滤波系数h^(q)(系数h_j ^(q))不依存于p，因此(公式7)中的p被替换为p＝0。这样，滤波系数h^(q)被决定为如以下(公式9)所示的，使预测误差(e_0，q)²成为最小。并且，在(公式9)中，满足xd＝x+[[v_x/n]]、v_x mod n＝0、yd＝y+[[v_y/n]]以及v_y mod n＝q的关系。

(公式9)

${\left(e_{0,q}\right)}^2=\underset{x,y}{\mathrm{\Σ}}{(S_{x,y}-\underset{j}{\mathrm{\Σ}}{h}_j^{\left(q\right)}{\mathrm{Pa}}_{\mathrm{nx}+v_x,\mathrm{yd}-j})}^2=\underset{x,y}{\mathrm{\Σ}}{(S_{x,y}-\underset{j}{\mathrm{\Σ}}{h}_j^{\left(q\right)}{\mathrm{Pa}}_{\mathrm{xd},\mathrm{yd}-j})}^2$

该(公式9)与(公式5)具有相似的关系。即，x和y能够取得的范围是由具有表示各个局部坐标中规定的整数小数像素位置(0，q)的运动矢量的对象图片上的一个以上的块所构成的范围，针对所述一个以上的块内的(x，y)，进行上述(公式9)所示的预测误差的最小化。并且，上述的块与宏块相对应。即，x和y能够取得的范围由具有运动矢量(即满足v_x mod n＝0以及v_y mod n＝q的运动矢量)的若干个或所有的宏块的(不连续的)结合构成，所述运动矢量表示各个局部坐标中的相同的小数像素位置。

并且，在本实施例中，包含在滤波系数中的各个系数被分别独立地决定。不过，以被适用了滤波系数的小数像素位置为中心，被加权了各个系数的各个像素在水平方向上或垂直方向被对称地排列的情况下，利用此对称性，可以使该小数像素位置的滤波系数中所包含的系数中，对相互对称的位置上的像素进行加权的系数相等。据此，能够进一步减少为了发送滤波系数的开销额外量。即，在上述这种情况下，小数像素位置的滤波系数中所包含的系数，可以如(公式10)所示，由水平方向或垂直方向的镜像来决定。例如在1/4像素精度(n＝4)的情况下，使(公式10)适用于p＝2和/或q＝2的小数像素位置的滤波系数。

(公式10)

g_i ^(p)＝g_-i ^(p)h_j ^(p ，q)＝h_-j ^(p，q)

并且，在本实施例中，针对小数像素位置的各个滤波系数被分别独立地决定。然而，在以彼此相邻的整数像素的中间点为中心，该整数像素间的两个小数像素位置在水平方向或垂直方向被对称地排列的情况下，可以利用该对称性，使该两个小数像素位置的滤波系数相等。据此，能够进一步减少为了发送滤波系数的开销额外量。即，在上述这种情况下，被对称排列的小数像素位置的滤波系数，可以如(公式11)所示，由水平方向或垂直方向的镜像来决定。例如在1/4像素精度(n＝4)的情况下，p＝3的小数像素位置的滤波系数被决定为，与p＝1的小数像素位置的滤波系数相同的滤波系数。

(公式11)

g^(p)＝g^(n-p)h^(p，q)＝h^(p，n-q)

在此，例如在由运动检测部170没有检测出表示小数像素位置(3，0)的运动矢量时，由于具有运动矢量mv的块不在对象图片中，因此会出现利用预测误差不能算出该小数像素位置(3，0)的滤波系数的情况。然而，若小数像素位置(1，0)的滤波系数能够利用预测误差来算出，通过利用上述的对称性(公式11)，从而能够将该小数像素位置(3，0)的滤波系数决定为小数像素位置(1，0)的滤波系数。

另外，除利用上述这种对称性以外，也可以将该小数像素位置(3，0)的滤波系数决定为针对以前的图片算出的小数像素位置的滤波系数。而且，也可以将小数像素位置(3，0)的滤波系数决定为默认的滤波系数。并且，也可以不决定小数像素位置(3，0)的滤波系数。在这种情况下，该小数像素位置的滤波系数不被使用，运动图像编码装置100不向运动图像解码装置200发送该小数像素位置的滤波系数。

而且，如(公式12)所示，也可以决定滤波系数以满足(公式10)以及(公式11)的关系。

(公式12)

g_i ^(p)＝g_-i ^(n-p)h_j ^(p，q)＝h_-j ^(p，n-q)

并且，在本发明中，不受上述这种对称性所限，为了减少用于发送滤波系数的开销额外量，也可以利用包括旋转对称的其他的对称性。

这样，在由运动检测部170没有检测出表示规定的小数像素位置的运动矢量时，且具有该运动矢量的块在对象图片上没有被确定的情况下，具有自适应滤波器的运动补偿预测部160可以通过利用上述这种像素位置的对称性以及其他的图片的滤波系数、默认值的滤波系数等，从而决定所述规定的小数像素位置的滤波系数。并且，具有自适应滤波器的运动补偿预测部160也可以如以上所述那样，不决定所述规定的小数像素位置的滤波系数。

以下，利用图13A图13B以及图14来对本发明的效果进行说明。

图13A以及图13B是示出对本实施例中的运动图像的编码装置100的编码效率和以往的例子中的编码效率的计测结果进行比较的图。并且，在图13A所示的编码效率和图13B所示的编码效率中，作为计测这些效率的条件的输入图像不同。

在这样的图13A以及图13B中示出了对以下的编码效率进行的比较，这些编码效率是指：利用本实施例中的分离型二维自适应内插滤波器进行运动补偿的运动图像编码装置100的编码效率，利用以往的H.264/AVC的二维固定内插滤波器进行运动补偿的运动图像编码装置的编码效率，以及利用以往的非分离型二维自适应内插滤波器进行运动补偿的运动图像编码装置的编码效率。如这些图所示，通过本实施例中的分离型二维自适应内插滤波器的编码效率，与通过以往的非分离型二维自适应内插滤波器的编码效率大致相同，比通过以往的二维固定内插滤波器的编码效率高。

图14示出了对本实施例中的运动图像编码装置100所进行的滤波的计算量和以往的滤波的计算量进行的比较。

如图14所示，在适用以往的非分离型二维自适应内插滤波器(6x6抽头滤波器)时所需要的计算量为360。而在适用本实施例中的运动图像编码装置100所进行的分离型二维自适应内插滤波器(6抽头滤波器)时所需要的计算量为90。这样，在本实施例中能够降低滤波的计算量。

并且，在本实施例中，针对一张参考图片决定一个分离型二维自适应内插滤波器。即，若在一张参考图片上的小数像素位置(p，q)相同，则对这些位置决定相同的滤波系数。但是，本发明并非受此所限，也可以针对多个图片(序列)以及切片决定一个分离型二维自适应内插滤波器。在这种情况下，序列以及切片中的小数像素位置(p，q)若相同，则针对这些位置决定相同的滤波系数。即，在本发明中，也可以将图片、切片或序列等作为滤波决定单位，并按照这些滤波决定单位，针对这些滤波决定单位中所包含的小数像素位置(p，q)来决定分离型二维自适应内插滤波器的滤波系数。

并且，方框图(图3以及图9等)中的各个功能块可以作为典型的集成电路的LSI来实现。这些功能块可以分别被制成一个芯片，也可以将这些功能块的一部分或全部集中在一个芯片中。例如，可以将存储器以外的功能块集中在一个芯片中。在此，虽然列举了LSI，不过也可以根据集成度的不同而称为IC、系统LSI、超级LSI、极超级LSI。并且，集成电路化的方法也不仅限于LSI，也可以以专用的电路或通用处理器来实现。LSI制造后，也可以利用能够程序化的现场可编程门阵列(FPGA：Field Programmable Gate Array)，或利用可再构成LSI内部的电路单元的接续或设定的可重装处理器。

而且，若随着半导体技术的进步或派生的其它技术而出现可以替换LSI等集成电路的技术的情况下，当然也可以利用这些新出现的技术使功能块集成化。也会有适应生物技术的可能性。

本发明的二维自适应内插滤波器的滤波系数决定方法能够达到以较少的计算量高效率地决定适当的滤波系数，例如能够适用于运动图像编码装置以及电视摄影机、具有照相机的移动电话等。

Claims (20)

1.一种二维自适应内插滤波器的滤波系数决定方法，根据被排列成二维的整数像素的像素值，决定用于算出被内插在整数像素之间的小数像素的像素值的二维自适应内插滤波器的滤波系数，其特征在于，包括：

运动检测步骤，以构成对象图片的块为单位，以小数像素精度来检测该块的图像相对于参考图像的运动，以作为运动矢量；

第一确定步骤，从具有由所述运动检测步骤检测出的小数像素精度的运动矢量的多个块中，确定具有第一运动矢量的一个以上的块，该第一运动矢量表示与邻近的整数像素之间具有预先规定的相对位置关系的所述参考图像上的小数像素位置；以及

第一决定步骤，根据在所述第一确定步骤确定的一个以上的块的图像，和由所述一个以上的块的第一运动矢量表示的参考图像上的一个以上的块的图像，来决定所述小数像素位置的滤波系数。

2.如权利要求1所述的二维自适应内插滤波器的滤波系数决定方法，其特征在于，

所述二维自适应内插滤波器能够被分离成：

第一一维内插滤波器，用于算出被内插于在第一方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第一方向是指水平方向以及垂直方向的某一方向，以及

第二一维内插滤波器，用于算出被内插于在第二方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第二方向是指与所述第一方向不同的水平方向或垂直方向；

在所述第一确定步骤中，

确定具有表示第一小数像素位置的所述第一运动矢量的一个以上的块，所述第一小数像素位置是指满足所述预先规定的相对位置关系、并且在所述第一方向上位于小数像素位置、而且在所述第二方向上位于整数像素位置；

在所述第一决定步骤中，

决定所述第一小数像素位置上的所述第一一维内插滤波器的滤波系数；

所述滤波系数决定方法进一步包括：

第二确定步骤，从具有由所述运动检测步骤检测出的小数像素精度的运动矢量的多个块中，确定具有表示所述参考图像上的第二小数像素位置的第二运动矢量的一个以上的块，所述参考图像上的第二小数像素位置是指与邻近的整数像素之间具有其他的被预先规定的相对位置关系、且在所述第二方向上位于小数像素位置；以及

第二决定步骤，根据在所述第二确定步骤确定的一个以上的块的图像，和由所述一个以上的块的第二运动矢量表示的参考图像上的一个以上的块的图像，来决定所述第二小数像素位置上的所述第二一维内插滤波器的滤波系数。

3.如权利要求2所述的二维自适应内插滤波器的滤波系数决定方法，其特征在于，

在所述第二确定步骤中，

确定具有表示所述第二小数像素位置的所述第二运动矢量的一个以上的块，所述第二小数像素位置是指满足所述其他的预先规定的相对位置关系、并且在所述第一方向上位于整数像素位置、而且在第二方向上位于小数像素位置。

4.如权利要求2所述的二维自适应内插滤波器的滤波系数决定方法，其特征在于，

在所述第二确定步骤中，

确定具有表示所述第二小数像素位置的所述第二运动矢量的一个以上的块，所述第二小数像素位置是指满足所述其他的预先规定的相对位置关系、并且在所述第一方向以及第二方向上位于小数像素位置；

在所述第二决定步骤中，

使在所述第一决定步骤决定的所述第一一维内插滤波器的滤波系数适用于所述第一小数像素位置，并利用适用后的结果来决定所述第二小数像素位置上的滤波系数。

5.如权利要求1所述的二维自适应内插滤波器的滤波系数决定方法，其特征在于，

在所述第一决定步骤中，

决定针对所述小数像素位置的滤波系数，以使下述差分和成为最小，该差分和是：由所述第一确定步骤确定的一个以上的块的图像中的每一个和与其对应的由所述第一运动矢量表示的参考图像上的块的图像之间的差分的和。

6.如权利要求5所述的二维自适应内插滤波器的滤波系数决定方法，其特征在于，

在所述第一决定步骤中，

通过解使所述差分和成为最小的线性方程，从而决定针对所述小数像素位置的滤波系数。

7.一种运动图像压缩方法，压缩运动图像，其特征在于，

该运动图像压缩方法包括：

滤波系数决定步骤，通过执行权利要求1中所述的二维自适应内插滤波器的滤波系数决定方法中所包括的所有步骤，从而决定所述二维自适应内插滤波器的滤波系数；

运动补偿步骤，将具有表示所述小数像素位置的运动矢量的块作为对象块，通过针对所述对象块进行运动补偿，从而生成所述对象块的预测图像；以及

编码步骤，对图像的差分和滤波系数进行编码，所述图像的差分是指由所述运动补偿步骤生成的预测图像和所述对象块的图像之间的差分，所述滤波系数是由所述滤波系数决定步骤决定的；

在所述运动补偿步骤中，

通过将在所述滤波系数决定步骤决定的滤波系数适用于所述小数像素位置，从而算出被内插于所述小数像素位置的小数像素的像素值，并生成具有被算出的像素值的小数像素的所述预测图像。

8.如权利要求7所述的运动图像压缩方法，其特征在于，

所述二维自适应内插滤波器能够被分离成：

第一一维内插滤波器，用于算出被内插于在第一方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第一方向是指水平方向以及垂直方向的某一方向，以及

第二一维内插滤波器，用于算出被内插于在第二方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第二方向是指与所述第一方向不同的水平方向或垂直方向；

在所述滤波系数决定步骤中，

决定针对所述参考图像上的第一小数像素位置的第一一维内插滤波器的滤波系数，所述参考图像上的第一小数像素位置是指满足在与邻近的整数像素之间的预先规定的相对位置关系、并且在所述第一方向上位于小数像素位置、而且在第二方向上位于整数像素位置；

而且决定针对所述参考图像上的第二小数像素位置的第二一维内插滤波器的滤波系数，所述参考图像上的第二小数像素位置是指与邻近的整数像素之间具有其他的预先规定的相对位置关系、并且在所述第一方向以及第二方向上位于小数像素位置；

在所述运动补偿步骤中，

将具有表示所述第二小数像素位置的运动矢量的块作为对象块来处理，并通过将所述第一一维内插滤波器的滤波系数适用于所述第一小数像素位置，而且，将所述第二一维内插滤波器的滤波系数适用于所述第二小数像素位置，从而算出被内插于所述第二小数像素位置的小数像素的像素值，并生成具有被算出的像素值的小数像素的所述预测图像。

9.如权利要求8所述的运动图像压缩方法，其特征在于，

在所述运动补偿步骤中，

在不使所述参考图像的整数像素的像素值变化的状态下，将所述第一一维内插滤波器的滤波系数适用于所述第一小数像素位置。

10.如权利要求9所述的运动图像压缩方法，其特征在于，

在所述运动补偿步骤中，

在不使下述像素值变化的状态下，将所述第二一维内插滤波器的滤波系数适用于所述第二小数像素位置，这些像素值是指：所述参考图像的整数像素的像素值，和通过适用所述第一一维内插滤波器的滤波系数而决定的所述第一小数像素位置的小数像素的像素值。

11.如权利要求7所述的运动图像压缩方法，其特征在于，

在所述滤波系数决定步骤中，

按照每个小数像素位置，来决定针对该小数像素位置所特有的二维自适应内插滤波器的滤波系数；

在所述运动补偿步骤中，

在算出被内插在规定的小数像素位置的小数像素的像素值之时，将针对所述规定的小数像素位置而决定的二维自适应内插滤波器的滤波系数适用于该规定的小数像素位置。

12.如权利要求11所述的运动图像压缩方法，其特征在于，

所述二维自适应内插滤波器能够被分离成：

第一一维内插滤波器，用于算出被内插于在第一方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第一方向是指水平方向以及垂直方向的某一方向，以及

第二一维内插滤波器，用于算出被内插于在第二方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第二方向是指与所述第一方向不同的水平方向或垂直方向；

在所述滤波系数决定步骤中，

针对在所述第一方向上为小数像素位置且在第二方向上为整数像素位置的第一小数像素位置，决定所述第一一维内插滤波器的滤波系数；

在所述运动补偿步骤中，

通过仅将所述第一一维内插滤波器的滤波系数适用于所述第一小数像素位置，从而算出被内插于所述第一小数像素位置的小数像素的像素值。

13.如权利要求11所述的运动图像压缩方法，其特征在于，

所述二维自适应内插滤波器能够被分离成：

第一一维内插滤波器，用于算出被内插于在第一方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第一方向是指水平方向以及垂直方向的某一方向，以及

第二一维内插滤波器，用于算出被内插于在第二方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第二方向是指与所述第一方向不同的水平方向或垂直方向；

在所述滤波系数决定步骤中，

针对在所述第一方向上为整数像素位置且在第二方向上为小数像素位置的第二小数像素位置，决定所述第二一维内插滤波器的滤波系数；

在所述运动补偿步骤中，

通过仅将所述第二一维内插滤波器的滤波系数适用于所述第二小数像素位置，从而算出被内插于所述第二小数像素位置的小数像素的像素值。

14.如权利要求11所述的运动图像压缩方法，其特征在于，

所述二维自适应内插滤波器能够被分离成：

第一一维内插滤波器，用于算出被内插于在第一方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第一方向是指水平方向以及垂直方向的某一方向，以及

第二一维内插滤波器，用于算出被内插于在第二方向上被排列成一维的多个像素间的小数像素位置的小数像素的像素值，所述第二方向是指与所述第一方向不同的水平方向或垂直方向；

在所述滤波系数决定步骤中，

针对第三小数像素位置决定所述第二一维内插滤波器的滤波系数，针对其他的小数像素位置决定所述第一一维内插滤波器的滤波系数，所述第三小数像素位置是指在所述第一方向上为小数像素位置且在第二方向上为小数像素位置；

在所述运动补偿步骤中，

通过将所述第一一维内插滤波器的滤波系数适用于所述其他的小数像素位置，并将所述第二一维内插滤波器的滤波系数适用于所述第三小数像素位置，从而算出被内插于所述第三小数像素位置的小数像素的像素值。

15.如权利要求7所述的运动图像压缩方法，其特征在于，

在所述滤波系数决定步骤中，

在按照每个小数像素位置决定针对该小数像素位置的滤波系数之时，

针对在水平方向上或垂直方向上与规定的小数像素位置对称的位置上的其他小数像素位置，决定与针对所述规定的小数像素位置而决定的滤波系数相同的滤波系数。

16.如权利要求7所述的运动图像压缩方法，其特征在于，

针对小数像素位置的所述二维自适应内插滤波器的滤波系数，由针对下述多个像素的每一个像素的系数构成，这些多个像素是指，被排列成在水平方向或垂直方向上夹着所述小数像素位置的多个像素；

在所述滤波系数决定步骤中，

在决定针对所述小数像素位置的滤波系数之时，决定所述滤波系数，以使在所述多个像素中，针对规定的像素的系数和针对其他的像素的系数相同，所述其他的像素是指在以所述小数像素位置为中心，在水平方向或垂直方向上与所述规定的像素对称位置上的像素。

17.如权利要求16所述的运动图像压缩方法，其特征在于，

在所述滤波系数决定步骤中，

决定针对所述小数像素位置的滤波系数，以使针对所述多个像素的每一个像素的系数在水平方向或垂直方向上成为对称。

18.如权利要求7所述的运动图像压缩方法，其特征在于，

在所述滤波系数决定步骤中，

将图片、构成图片的切片、或包括多个图片的序列作为滤波决定单位，并按照每个所述滤波决定单位，来决定针对该滤波决定单位中所包含的所述小数像素位置的二维自适应内插滤波器的滤波系数。

19.一种二维自适应内插滤波器的滤波系数决定装置，根据被排列成二维的整数像素的像素值，决定用于算出被内插在整数像素之间的小数像素的像素值的二维自适应内插滤波器的滤波系数，其特征在于，包括：

运动检测单元，以构成对象图片的块为单位，以小数像素精度来检测该块的图像相对于参考图像的运动，以作为运动矢量；

确定单元，从具有由所述运动检测单元检测出的小数像素精度的运动矢量的多个块中，确定具有第一运动矢量的一个以上的块，该第一运动矢量表示与邻近的整数像素之间具有预先规定的相对位置关系的所述参考图像上的小数像素位置；以及

决定单元，根据在所述确定单元确定的对象图片的一个以上的块的图像，和由所述一个以上的块的第一运动矢量表示的参考图像上的一个以上的块的图像，来决定所述小数像素位置的滤波系数。

20.一种集成电路，根据被排列成二维的整数像素的像素值，决定用于算出被内插在整数像素之间的小数像素的像素值的二维自适应内插滤波器的滤波系数，其特征在于，包括：

运动检测单元，以构成对象图片的块为单位，以小数像素精度来检测该块的图像相对于参考图像的运动，以作为运动矢量；

确定单元，从具有由所述运动检测单元检测出的小数像素精度的运动矢量的多个块中，确定具有第一运动矢量的一个以上的块，该第一运动矢量表示与邻近的整数像素之间具有预先规定的相对位置关系的所述参考图像上的小数像素位置；以及

决定单元，根据在所述确定单元确定的对象图片的一个以上的块的图像，和由所述一个以上的块的第一运动矢量表示的参考图像上的一个以上的块的图像，来决定所述小数像素位置的滤波系数。

Images