CN102668568A - 图像处理设备和方法及程序 - Google Patents

Abstract

本发明涉及能够减小包括在流中的比特量和存储器的使用区域的图像处理设备、方法和程序。在图像编码设备51中，当对象片是B片时，可变内插滤波器（AIF）的抽头数目例如被确定为4个抽头。因此，即使在执行4×4尺寸的双向预测的情况下，除了在内插处理后获得的4×4空白方块的像素外，仅需从帧存储器读入施加斜线的方块的像素，即前方向和后方向的98=2×49个像素。换言之，与传统情况相比，内插处理不再需要由黑方块指示的32个像素。本发明例如能够应用于例如基于H.264/AVC方法进行编码的图像编码设备。

Description

图像处理设备和方法及程序

技术领域

本发明涉及一种图像处理设备和方法，特别涉及这样一种图像处理设备和方法，其中在B片（slice）的情况下能够减少包括在流中的比特量和存储器的使用区域。

背景技术

作为用于压缩图像信息的标准规范，H.264和MPEG-4Part 10（先进视频编码，下文称作H.264/AVC）是可用的。

在H.264/AVC中，执行关注于帧或场之间的相关的帧间预测。在帧间预测中执行的运动补偿处理中，通过帧间预测使用已经存储并且能够参考的图像的区域的一部分生成预测图像（下文称作帧间预测图像）。

例如，在如图1所示已经存储并且能够参考的图像的5个帧被确定为参考帧的情况下，参考5个参考帧之一的图像（下文称作参考图像）的一部分构造要进行帧间预测的帧（原始帧）的帧间预测图像的一部分。要注意，通过基于参考帧和原始帧的图像检测的运动矢量，确定要用作帧间预测图像的一部分的参考图像的部分的位置。

更具体地讲，如图2所示，在参考帧中的面部11在原始帧中在朝右下方向移动并且面部11的下部约1/3被隐藏的情况下，检测到表示与朝右下方向相反的朝左上方向的运动矢量。然后，参考参考帧中的部分12按照由运动矢量表示的运动所移至的位置处的面部11的部分13，构造原始帧中隐藏的面部11的部分12。

另外，在H.264/AVC中，在运动补偿处理中期望增强诸如1/2或1/4的运动矢量分数精度的分辨率。

在如上所述的分数精度的这种运动补偿处理中，称作子像素（Subpel）的虚拟分数位置处的像素被设置在相邻像素之间，并且还执行生成这种子像素的处理（下文称作内插）。换言之，在分数精度的运动补偿处理中，运动矢量的最小分辨率是分数位置处的像素，因此，执行用于生成分数位置的像素的内插。

图3示出了通过内插使在垂直方向和水平方向上像素的数目增加到4倍的图像的像素。要注意，在图3中，空白方块表示处于整数位置的像素（整数像素（Int.pel）），施加了斜线的方块表示分数位置处的像素（子像素）。另外，方块中的字母表示该方块表示的像素的像素值。

通过内插生成的分数位置处的像素的像素值b、h、j、a、d、f和r由下面给出的表达式（1）表示。

b＝(E-5F+20G+20H-5I+J)/32

h＝(A-5C+20G+20M-5R+T)/32

j＝(aa-5bb+20b+20s-5gg+h)/32

a＝(G+b)/2

d＝(G+h)/2

f＝(b+j)/2

r＝(m+s)/2...(1)

要注意，像素值aa、bb、s、gg和hh能够与b类似地进行确定；cc、dd、m、ee和ff与h类似地进行确定；像素值c能够与a类似地进行确定；像素值f、n和q能够与d类似地进行确定；e、p和g能够与r类似地进行确定。

以上给出的表达式（1）是在H.264/AVC等中采用的表达式，尽管表达式根据标准的差别而不同，但是表达式的目的相同。通过具有偶数数目的抽头的有限脉冲响应（FIR（Finit-duration Impulse Response））滤波器能够实现这些表达式。例如，在H.264/AVC中，使用具有6个抽头的内插滤波器。

同时，在非专利文献1和2中，在最近的研究报告中列出了自适应内插滤波器（AIF）。在使用这个AIF的运动补偿处理中，通过自适应改变用于内插并且具有偶数个抽头的FIR滤波器的滤波器系数，能够降低图形失真或编码失真的影响从而减小运动补偿的误差。

参照图4描述在非专利文献2中公开的可分离自适应内插滤波器（下文称作可分离AIF）。要注意，在图4中，施加了斜线的方块表示整数位置处的像素（整数像素（Int.pel）），空白方块表示分数位置处的像素（子像素）。另外，方块中的字母表示该方块表示的像素的像素值。

在可分离AIF中，执行水平方向上非整数位置的内插作为第一步骤，执行垂直方向上非整数位置的内插作为第二步骤。要注意，还可以颠倒针对水平和垂直方向的处理顺序。

首先，在第一步骤中，借助过FIR滤波器，根据下面表达式（2）基于整数位置处的像素的像素值E、F、G、H、I和J，计算分数位置处的像素的像素值a、b和c。这里，h[pos][n]是滤波器系数，pos表示图3所示的子像素的位置而n表示滤波器系数的编号。这个滤波器系数被包括在流信息中并且应用于解码侧。

a＝h[a][0]×E+h1[a][1]×F+h2[a][2]×G+h[a][3]×H+h[a][4]×I+h[a][5]×J

b＝h[b][0]×E+h1[b][1]×F+h2[b][2]×G+h[b][3]×H+h[b][4]×I+h[b][5]×J

c＝h[c][0]×E+h1[c][1]×F+h2[c][2]×G+h[c][3]×H+h[c][4]×I+h[c][5]×J...(2)

要注意，与像素值a、b、c类似，还能够确定像素值G1、G2、G3、G4、G5的行的分数位置处的像素的像素值（a1、b1、c1、a2、b2、c2、a3、b3、c3、a4、b4、c4、a5、b5、c5）。

然后，作为第二步骤，根据下面的表达式（3）计算像素值a、b、c之外的像素值d到o。

d＝h[d][0]×G1+h[d][1]×G2+h[d][2]×G+h[d][3]×G3+h[d][4]*G4+h[d][5]×G5

h＝h[h][0]×G1+h[h][1]×G2+h[h][2]×G+h[h][3]×G3+h [h][4]*G4+h[h][5]×G5

l＝h[l][0]×G1+h[l][1]×G2+h[l][2]×G+h[l][3]×G3+h[l][4]*G4+h[l][5]×G5

e＝h[e][0]×a1+h[e][1]×a2+h[e][2]×a+h[e][3]×a3+h[e][4]*a4+h[e][5]×a5

i＝h[i][0]×a1+h[i][1]×a2+h[i][2]×a+h[i][3]×a3+h[i][4]*a4+h[i][5]×a5

m＝h[m][0]×a1+h[m][1]×a2+h[m][2]×a+h[m][3]×a3+h[m][4]*a4+h[m][5]×a5

f＝h[f][0]×b1+h[f][1]×b2+h[f][2]×b+h[f][3]×b3+h[f][4]*b4+h[f][5]×b5

j＝h[j][0]×b1+h[j][1]×b2+h[j][2]×b+h[j][3]×b3+h[j][4]*b4+h[j][5]×b5

n＝h[n][0]×b1+h[n][1]×b2+h[n][2]×b+h[n][3]×b3+h[n][4]*b4+h[n][5]×b5

g＝h[g][0]×c1+h[g][1]×c2+h[g][2]×c+h[g][3]×c3+h[g][4]*c4+h[g][5]×c5

k＝h[k][0]×c1+h[k][1]×c2+h[k][2]×c+h[k][3]×c3+h[k][4]*c4+h[k][5]×c5

o＝h[o][0]×c1+h[o][1]×c2+h[o][2]×c+h[o][3]×c3+h[o][4]*c4+h[o][5]×c5...(3)

要注意，尽管在上述的方法中，所有的滤波器系数彼此独立，但是在非专利文献2中，示出了下面的表达式（5）。

尽管上述的AIF改进了内插滤波器的性能，但是由于滤波器系数被包括在流信息中，所以存在开销，并且根据情况，可能出现编码效率下降。因此，通过非专利文献3的参考软件，通过以片为单位将ON/OFF（开/关）标记的信息包括在流信息中可以控制是否使用AIF。

特别地，在解码侧，对流信息进行解码并且读取AIF ON/OFF标记。如果标记信息指示使用AIF，则进一步从流信息读取滤波器系数并且将其用作对象片的内插滤波器的滤波器系数。如果标记信息指示不使用AIF，则使用上文描述的H.264/AVC的FIR滤波器的滤波器系数。

另外，在H.264/AVC方法中，宏块尺寸是16×16像素。然而，对于如变成下一代编码方法的对象的UHD（超高清：4000×2000像素）这样的大画面帧，将宏块尺寸设置成16×16像素不是最佳的。

因此，在非专利文献4等中，提出了将宏块尺寸扩大到例如32×32像素的这样的大尺寸。要注意，上述的常规技术的附图适合用于本发明的说明。

现有技术文献

非专利文献

非专利文献1：Yuri Vatis,Joern Ostermann,“Prediction of P-B-Frames Using a Two-dimensional Non-separable Adaptive WienerInterpolation Filter for H.264/AVC,”ITU-T SG16 VCEG 30^th Meeting,Hangzhou China,October 2006

非专利文献2：Steffen Wittmann,Thomas Wedi,“Separableadaptive interpolation filte,”ITU-T SG16COM16-C219-E,June 2007

非专利文献3：KTA Reference Software version 2.2r1，searchedthe Internet on November 25,2009.<URL:http://iphome.hhi.de/suehring/tml/download/KTA/jm11.Okta2.2r1.zip>

非专利文献4：“Video Coding Using Extended Block Sizes,”VCEG-AD09,ITU-Telecommunications Standardization Sector STURY GROUPQuestion 16-Contribution 123,Jan.2009

发明内容

技术问题

如上所述，如果使用AIF，则内插滤波器的滤波器系数能够以片为单位进行改变。然而，滤波器系数信息必须被包括在流信息中，并且滤波器系数信息的比特量可能变成开销并且编码效率可能下降。

尤其对于B画面（B picture），开销变得相对更大。例如，在关于画面类型按B、P、B、P、B、P、......的顺序每两个画面设置P画面而B画面设置在P画面之间的情况下，与P画面相比，在B画面中产生的比特量通常较小。尽管认为这源于由于能够使用时间距离小的参考图像或者能够使用双向预测所以B画面的帧间预测的画面质量增强的事实，但是在任何比率，B画面的开销的比率大于P画面的开销的比率。

结果，通过B画面，AIF的效果受到限制。具体地讲，尽管AIF提高了内插滤波器的性能，但是滤波器系数信息的开销变成负担，并且这增加了编码效率损失的机会。

此外，由于使用内插滤波器，所以与要输出的像素的数目相比，必须输入的像素的数目（即，必须从帧存储器读入的像素的数目）增加，由此可能会导致存储器的传送区域变大。

例如，如果想要在上文参照图3描述的通过H.264/AVC方法的内插方法中生成分数位置处的像素的像素值j，则通过将像素值E、F、G、H、I和J输入到6抽头内插滤波器获得像素值b。类似地，还获得像素值aa、bb、s、gg和hh。然后，通过将获得像素值aa、bb、b、s、gg和hh输入到6抽头内插滤波器，获得像素值j。因此，用于获得一个像素的像素值j的整数位置处的像素的数目等于图3所示的空白方块的数目，即，36个。

同时，考虑以块为单位，在要确定的像素值是分数像素的像素值e、f、g、i、j、k、m、n或o的情况下，作为最小块尺寸应用于4×4像素的运动补偿的像素的数目是如图5所示的9×9=81像素。这是因为由于6抽头的FIR滤波器另外需要周围像素，所以除了内插处理后获得的4×4空白方块像素以外，还需要施加斜线的那些方块的像素。

当块尺寸减小时，除了在内插处理以后获得的像素的数目以外要由帧存储器读入的像素的数目增加，其结果是，存储器的使用区域增加。

另外，在B画面的情况下，如图6所示能够使用双向预测。在图6中，按显示顺序示出画面，并且按显示顺序在编码对象画面前后并置已经编码的参考画面。在编码对象画面是B画面的情况下，例如由编码对象画面的对象预测块所示，参考前后（双向）的参考画面的两个块，并且编码对象画面可以具有向前方向上L0预测的运动矢量和向后方向上L1预测的另一运动矢量。

因此，在利用4×4像素的块尺寸执行双向预测的情况下，如图7所示，除了内插处理后获得的空白方块的4×4像素以外，还需要向前方向和向后方向的施加斜线的方块的像素，即，81×2=162像素。

与上文描述的非专利文献2的可分离AIF类似，刚刚描述的这个事实也同样存在。例如，认识到如果尝试内插上文描述的图4的像素值e、f、g、i、j、k、m、n和o，则需要整数位置处的周围6×6像素。

鉴于如上所述的这种情形完成了本发明并且在B片的情况下本发明能够减少包括在流中的比特量和存储器的使用区域。

技术方案

根据本发明的第一方面的图像处理设备，包括：内插滤波器，具有可变滤波器系数，用于以分数精度内插与编码的图像对应的参考图像的像素；解码装置，对编码的图像和与编码的图像对应的运动矢量进行解码；抽头数目确定装置，确定为编码的图像的片的每种类型确定的所述内插滤波器的抽头数目；以及运动补偿装置，使用由滤波器系数的数目等于由该抽头数目确定装置确定的抽头数目的该内插滤波器内插的参考图像和由该解码装置解码的运动矢量生成预测图像。

该解码装置还可以对该内插滤波器的滤波器系数进行解码。

图像处理设备还可以包括滤波器系数计算装置，用于计算当编码对象的图像是B片时使参考图像与预测图像之间的差减小的滤波器系数。

该抽头数目确定装置可以当编码对象的图像是B片时把该内插滤波器的抽头数目确定为小于在编码对象的图像是B片之外的任何其它片的情况下的抽头数目的抽头数目。

根据本发明的第一方面的图像处理方法，包括由图像处理设备执行的如下步骤：对编码的图像和与编码的图像对应的运动矢量进行解码；确定为编码的图像的片的每种类型确定的内插滤波器的抽头数目；以及使用由滤波器系数的数目等于所确定的抽头数目的内插滤波器内插的参考图像和解码的运动矢量生成预测图像。

根据本发明的第一方面程序使计算机发挥图像处理设备的作用，该图像处理设备包括：解码装置，对编码的图像和与编码的图像对应的运动矢量进行解码；抽头数目确定装置，确定为编码的图像的片的每种类型确定的该内插滤波器的抽头数目；以及运动补偿装置，使用由滤波器系数的数目等于由该抽头数目确定装置确定的抽头数目的该内插滤波器内插的参考图像和由该解码装置解码的运动矢量生成预测图像。

根据本发明的第二方面的图像处理设备，包括：运动预测装置，执行编码对象的图像与参考图像之间的运动预测以检测运动矢量；内插滤波器，具有可变滤波器系数，用于以分数精度内插参考图像的像素；抽头数目确定装置，基于编码对象的图像的片的类型确定该内插滤波器的抽头数目；系数计算装置，使用由该运动预测装置检测的运动矢量计算由该抽头数目确定装置确定的抽头数目的该内插滤波器的滤波器系数并且将预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数；以及运动补偿装置，使用由通过该系数计算装置选择的滤波器系数的该内插滤波器内插的参考图像和由该运动预测装置检测的运动矢量生成预测图像。

根据本发明的第二方面的图像处理方法，包括由图像处理设备执行的如下步骤：执行编码对象的图像与参考图像之间的运动预测以检测运动矢量；基于编码对象的图像的片的类型确定具有可变滤波器系数的用于以分数精度内插参考图像的像素的内插滤波器的抽头数目；使用检测的运动矢量计算所确定的抽头数目的内插滤波器的滤波器系数并且将预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数；以及使用由选择的滤波器系数的内插滤波器内插的参考图像和由运动预测装置检测的运动矢量生成预测图像。

根据本发明的第二方面的程序使计算机发挥图像处理设备的作用，该图像处理设备包括：运动预测装置，执行编码对象的图像与参考图像之间的运动预测以检测运动矢量；抽头数目确定装置，基于编码对象的图像的片的类型确定具有可变滤波器系数的用于以分数精度内插参考图像的像素的内插滤波器的抽头数目；系数计算装置，使用由该运动预测装置检测的运动矢量计算由该抽头数目确定装置确定的抽头数目的该内插滤波器的滤波器系数并且将预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数；以及运动补偿装置，使用由通过该系数计算装置选择的滤波器系数的该内插滤波器内插的参考图像和由该运动预测装置检测的运动矢量生成预测图像。

在本发明的第一方面中，对编码的图像和与编码的图像对应的运动矢量进行解码。然后，确定针对编码图像的片的每种类型确定的内插滤波器的抽头数目，并且使用由滤波器系数的数目与所确定的抽头数目相等的内插滤波器所内插的参考图像和解码的运动矢量生成预测图像。

在本发明的第二方面中，在编码对象的图像与参考图像之间执行运动预测以检测运动矢量，并且基于编码对象的图像的片的类型确定具有可变滤波器系数的用于以分数精度内插参考图像的像素的内插滤波器的抽头数目。然后，使用检测的运动矢量计算所确定的抽头数目的内插滤波器的滤波器系数，并且把预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数。然后，使用由选择的滤波器系数的内插滤波器内插的参考图像和由运动预测装置检测的运动矢量生成预测图像。

要注意，上述的图像处理设备可以单独设置为彼此独立的设备或者可以均被构造为构成一个图像编码设备或一个图像解码设备的内部块。

有益效果

利用本发明，能够减少包括在流中的比特量和存储器的使用区域。另外，利用本发明，尤其在B画面的情况下，能够减少包括在流中的比特量和存储器的使用区域。

附图说明

图1是示出常规帧间预测的图。

图2是详细示出常规帧间预测的图。

图3是示出内插的图。

图4是示出可分离AIF的图。

图5是示出常规存储器的使用区域的图。

图6是示出双向预测的图。

图7是示出在双向预测的情况下的常规存储器的使用区域的图。

图8是示出应用了本发明的图像编码设备的第一实施例的结构的框图。

图9是示出运动预测和补偿部分的结构的例子的框图。

图10是示出在四个抽头的情况下的可分离AIF的图。

图11是示出水平方向的滤波器系数的计算的图。

图12是示出垂直方向的滤波器系数的计算的图。

图13是示出图8的图像编码设备的编码处理的流程图。

图14是示出图13的步骤S22的运动预测和补偿处理的流程图。

图15是示出本发明的效果的图。

图16是示出应用了本发明的图像解码设备的第一实施例的例子的框图。

图17是示出图16的运动补偿部分的结构的例子的框图。

图18是示出图17的图像解码设备的解码处理的流程图。

图19是示出图18的步骤S139的运动补偿处理的流程图。

图20是示出扩张块尺寸的例子的图。

图21是示出计算机的硬件的结构例子的框图。

图22是示出应用了本发明的电视接收机的主要结构的例子的框图。

图23是示出应用了本发明的便携式电话机的主要结构的例子的框图。

图24是示出应用了本发明的硬盘记录器的主要结构的例子的框图。

图25是示出应用了本发明的图像编码设备的第二实施例的结构的框图。

具体实施方式

在下文中，参照附图描述本发明的实施例。

[图像编码设备的结构的例子]

图8示出了作为应用了本发明的图像处理设备的图像编码设备的第一实施例的结构。

这个图像编码设备51例如基于H.264和MPEG-4Part 10（先进视频编码）（下文中称作H.264/AVC）方法对向其输入的图像进行压缩编码。

在图8的例子中，图像编码设备51由A/D转换器61、屏幕重排序缓冲器62、算术运算部分63、正交变换部分64、量化部分65、无损编码部分66、累积缓冲器67、逆量化部分68、逆正交变换部分69、算术运算部分70、去块滤波器71、帧存储器72、开关73、帧内预测部分74、运动预测和补偿部分75、预测图像选择部分76和速率控制部分77构成。

A/D转换器61将向其输入的图像进行A/D转换并且将所得图像输出到屏幕重排序缓冲器62以存储在屏幕重排序缓冲器62中。屏幕重排序缓冲器62将存储在其中的显示顺序的帧的图像重新排列成用于对应于GOP（Group of Picture，画面组）的编码的帧的顺序。

算术运算部分63从自屏幕重排序缓冲器62读取的图像减去通过预测图像选择部分76选择的来自帧内预测部分74的预测图像或者来自运动预测和补偿部分75的预测图像，并且将差信息输出到正交变换部分64。正交变换部分64对来自算术运算部分63的差信息执行诸如离散余弦变换或Karhunen-Lowe变换的正交变换并且输出变换系数。量化部分65对从正交变换部分64输出的变换系数进行量化。

从量化部分65输出的量化的变换系数被输入到无损编码部分66，通过该无损编码部分66，对量化的变换系数执行诸如可变长度编码或算术编码的无损编码并且执行压缩。

无损编码部分66从帧内预测部分74获取指示帧内预测的信息并且从运动预测和补偿部分75获取代表帧间预测模式等的信息。要注意，指示帧内预测的信息和指示帧间预测的信息在下文中被分别称作帧内预测模式信息和帧间预测模式信息。

无损编码部分66对量化的变换系数进行编码并且对指示帧内预测的信息、指示帧间预测模式的信息等进行编码，并且使用所得代码作为压缩图像的首标信息的一部分。无损编码部分66将编码的数据提供给累积缓冲器67以累积到累积缓冲器67中。

例如，无损编码部分66执行无损编码处理（例如，可变长度编码或算术编码）。作为可变长度编码，在H.264/AVC方法中规定的CAVLC（Context-Adaptive Variable Length Coding，上下文自适应可变长度编码）等是可用的。作为算术编码，CABAC（Context-AdaptiveBinary Arithmetic Coding，上下文自适应二进制算术编码）等是可用的。

例如，累积缓冲器67将从无损编码部分66提供的数据作为编码压缩数据输出到在下一级的没有示出的记录设备或发送路径。

同时，从量化部分65输出的量化的变换系数还输入到逆量化部分68，由逆量化部分68对它进行逆量化，并且逆量化的变换系数由逆正交变换部分69进行逆正交变换。通过算术运算部分70，逆正交变换的输出与从预测图像选择部分76提供的预测图像进行相加，从而使它被转换成局部解码图像。去块滤波器71去除解码图像的块失真并且将所得图像提供给帧存储器72以累积在帧存储器72中。另外，在由去块滤波器71执行去块滤波处理之前的图像被提供给并累积在帧存储器72中。

开关73将累积在帧存储器72中的参考图像输出到运动预测和补偿部分75或者帧内预测部分74。

在图像编码设备51中，例如，来自屏幕重排序缓冲器62的I画面、B画面和P画面被提供给帧内预测部分74作为要经历帧内预测（还称作帧内处理）的图像。另外，从屏幕重排序缓冲器62读取的B画面和P画面被提供给运动预测和补偿部分75作为要经历帧间预测（还称作帧间处理）的图像。

帧内预测部分74基于从屏幕重排序缓冲器62读取的用于帧内预测的图像和从帧存储器72提供的参考图像，执行所有候选帧内预测模式的帧内预测处理以生成预测图像。

因此，帧内预测部分74针对所有候选帧内预测模式计算成本函数值并且选择展示出计算的成本函数值中的最小值的帧内预测模式中的那一个作为最佳帧内预测模式。

这个成本函数还称作RD（Rate Distortion，速率失真）成本，并且基于如例如由JM（Joint Model，联合模型）（即，H.264/AVC方法的参考软件）规定的高复杂度模式或低复杂度模式的技术计算它的值。

具体地讲，在采用高复杂度模式作为用于成本函数值的计算技术的情况下，临时针对所有候选帧内预测模式执行直到编码处理的处理，并且针对帧内预测模式计算由下面的表达式（4）表示的成本函数。

Cost(Mode)＝D+λ·R  ...(4)

D是原始图像与解码图像之间的差（失真），R是包括直到正交变换系数的产生码量，λ是作为量化参数QP的函数给出的拉格朗日乘数。

另一方面，在采用低复杂度模式作为用于成本函数值的计算技术的情况下，针对所有候选帧内预测模式执行帧内预测图像的生成以及表示帧内预测模式的信息的首标比特的计算等，并且针对帧内预测模式计算由下面的表达式（5）表示的成本函数。

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit  ...(5)

D是原始图像与解码图像之间的差（失真），Header_Bit是帧内预测模式的首标比特，并且QPtoQuant是作为量化参数QP的函数给出的函数。

在低复杂度模式下，仅仅需要针对所有帧内预测模式生成帧内预测图像并且不需要执行编码处理，因此，算术运算量会小。

帧内预测部分74将在最佳帧内预测模式下生成的预测图像和该预测图像的成本函数值提供给预测图像选择部分76。在由预测图像选择部分76选择在最佳帧内预测模式下生成的预测图像的情况下，帧内预测部分74将表示最佳帧内预测模式的信息提供给无损编码部分66。无损编码部分66对这个信息进行编码并且使用编码的信息作为压缩图像的首标信息的一部分。

从屏幕重排序缓冲器62读取以进行帧间处理的图像和经由开关73来自帧存储器72的参考图像被提供给运动预测和补偿部分75。运动预测和补偿部分75基于对象块是包括在P片还是B片中，即，基于片的类型，确定抽头数目。例如，在B片的情况下把抽头数目确定为小于在P片的情况下的抽头数目的抽头数目。运动预测和补偿部分75使用具有带有依据片的类型的抽头数目的固定系数的内插滤波器，执行参考图像的滤波处理。要注意，滤波器系数固定的表示并不意味着将滤波器系数固定为1个，但是它表示针对AIF（自适应内插滤波器）的变化的固定并且自然地可以替换系数。在下文中，由固定内插滤波器执行的滤波处理被称作固定滤波处理。

运动预测和补偿部分75基于要进行帧间处理的图像和在固定滤波处理后的参考图像，在所有候选帧间预测模式下执行块的运动预测以为每个块生成运动矢量。然后，运动预测和补偿部分75为在固定滤波处理后的参考图像执行补偿处理以生成预测图像。此时，运动预测和补偿部分75针对所有候选帧间预测模式确定处理对象的块的成本函数值并且确定预测模式，并且确定在所确定的预测模式下的处理对象的片的成本函数值。

另外，运动预测和补偿部分75使用生成的运动矢量、要进行帧间处理的图像和参考图像确定具有可变系数并且具有适合于片的类型的抽头数目的内插滤波器（AIF（自适应内插滤波器））的滤波器系数。然后，运动预测和补偿部分75使用确定的滤波器系数的滤波器，针对参考图像执行滤波处理。要注意，由可变内插滤波器执行的滤波处理在下文中还称作可变滤波处理。

运动预测和补偿部分75基于要进行帧间处理的图像和可变滤波处理后的参考图像，在所有候选帧间预测模式下执行块的运动预测以再次生成每个块的运动矢量。然后，运动预测和补偿部分75为可变滤波处理后的参考图像执行补偿处理以生成预测图像。此时，运动预测和补偿部分75针对所有候选帧间预测模式确定处理对象的块的成本函数值并且确定预测模式，并且然后确定在所确定的预测模式下的处理对象的片的成本函数值。

然后，运动预测和补偿部分75将固定滤波处理后的成本函数值与可变滤波处理后的成本函数值进行比较。运动预测和补偿部分75采用成本函数值中具有较低值的那一个并且将预测图像和成本函数值输出到预测图像选择部分76，并且设置指示处理对象的片是否使用AIF的AIF使用标记。

在由预测图像选择部分76选择最佳帧间预测模式下的对象块的预测图像的情况下，运动预测和补偿部分75将指示最佳帧间预测模式的信息（帧间预测模式信息）输出到无损编码部分66。

此时，运动矢量信息、参考帧信息、片的信息和AIF使用标记以及在使用AIF的情况下的滤波器系数等被输出到无损编码部分66。无损编码部分66再次对来自运动预测和补偿部分75的信息执行诸如可变长度编码或算术编码的无损编码处理并且将所得信息插入到压缩图像的首标部分中。

预测图像选择部分76基于从帧内预测部分74或运动预测和补偿部分75输出的成本函数值，从最佳帧内预测模式和最佳帧间预测模式中确定最佳预测模式。然后，预测图像选择部分76选择确定的最佳预测模式的预测图像并且将该预测图像提供给算术运算部分63和70。此时，如虚线所示，预测图像选择部分76将预测图像的选择信号提供给帧内预测部分74或者运动预测和补偿部分75。

速率控制部分77基于在累积缓冲器67中累积的压缩图像，控制量化部分65的量化操作的速率从而使得不会出现上溢或下溢。

[运动预测和补偿部分的结构的例子]

图9是示出运动预测和补偿部分75的结构的例子的框图。要注意，在图9中，省去了图8的开关73。

在图9的例子中，运动预测和补偿部分75由固定6抽头滤波器81、固定4抽头滤波器82、可变6抽头滤波器83、6抽头滤波器系数计算部分84、可变4抽头滤波器85、4抽头滤波器系数计算部分86、选择器87和88、运动预测部分89、运动补偿部分90、选择器91和控制部分92构成。

来自屏幕重排序缓冲器62的输入图像（要进行帧间处理的图像）被输入到6抽头滤波器系数计算部分84、4抽头滤波器系数计算部分86和运动预测部分89。来自帧存储器72的参考图像被输入到固定6抽头滤波器81、固定4抽头滤波器82、可变6抽头滤波器83、6抽头滤波器系数计算部分84、可变4抽头滤波器85和4抽头滤波器系数计算部分86。

固定6抽头滤波器81是在H.264/AVC方法中规定的具有固定系数的6抽头的内插滤波器。固定6抽头滤波器81对来自帧存储器72的参考图像执行滤波处理并且将固定滤波处理后的参考图像输出到选择器87。

固定4抽头滤波器82是具有固定系数的4抽头的内插滤波器，并且对来自帧存储器72的参考图像执行滤波处理并且将固定滤波处理后的参考图像输出到选择器87。

可变6抽头滤波器83是具有可变系数的6抽头的内插滤波器，并且使用由6抽头滤波器系数计算部分84计算的6抽头的滤波器系数对来自帧存储器72的参考图像执行滤波处理并且将可变滤波处理后的参考图像输出到选择器88。

6抽头滤波器系数计算部分84使用来自屏幕重排序缓冲器62的输入图像、来自帧存储器72的参考图像和来自运动预测部分89的第一次的运动矢量，计算用于使可变6抽头滤波器83的滤波处理后的参考图像近似于输入图像的6抽头的滤波器系数。6抽头滤波器系数计算部分84将计算的滤波器系数提供给可变6抽头滤波器83和选择器91。

可变4抽头滤波器85是具有可变系数的4抽头内插滤波器，使用由4抽头滤波器系数计算部分86计算的4抽头滤波器系数对来自帧存储器72的参考图像执行滤波处理并且将可变滤波处理后的参考图像输出到选择器88。

4抽头滤波器系数计算部分86使用来自屏幕重排序缓冲器62的输入图像、来自帧存储器72的参考图像和来自运动预测部分89的第一次的运动矢量，计算用于将可变4抽头滤波器85的滤波处理后的参考图像向着输入图像进行调整的4抽头滤波器系数。4抽头滤波器系数计算部分86将计算的滤波器系数提供给可变4抽头滤波器85和选择器91。

在控制部分92的控制之下，在处理对象的片是P片的情况下，选择器87选择固定6抽头滤波器81的固定滤波后的参考图像并且将选择的参考图像输出到运动预测部分89和运动补偿部分90。在控制部分92的控制之下，在处理对象的片是B片的情况下，选择器87选择固定4抽头滤波器82的固定滤波后的参考图像并且将选择的参考图像输出到运动预测部分89和运动补偿部分90。

在控制部分92的控制之下，在处理对象的片是P片的情况下，选择器88选择可变6抽头滤波器83的可变滤波后的参考图像，并且将选择的参考图像输出到运动预测部分89和运动补偿部分90。在控制部分92的控制之下，在处理对象的片是B片的情况下，选择器88选择可变4抽头滤波器85的可变滤波后的参考图像并且将选择的参考图像输出到运动预测部分89和运动补偿部分90。

具体地讲，在处理对象的片是P片的情况下，选择器87和88选择6抽头，而在处理对象的片是B片的情况下，选择4抽头。

运动预测部分89基于来自屏幕重排序缓冲器62的输入图像和来自选择器87的固定滤波后的参考图像针对所有候选帧间预测模式生成第一次的运动矢量，并且将生成的运动矢量输出到6抽头滤波器系数计算部分84、4抽头滤波器系数计算部分86和运动补偿部分90。另外，运动预测部分89基于来自屏幕重排序缓冲器62的输入图像和来自选择器88的可变滤波后的参考图像针对所有候选帧间预测模式生成第二次的运动矢量并且将生成的运动矢量输出到运动补偿部分90。

运动补偿部分90使用第一次的运动矢量对来自选择器87的固定滤波后的参考图像执行补偿处理以生成预测图像。然后，运动补偿部分90为每个块计算成本函数值以确定最佳帧间预测模式并且在确定的最佳帧间预测模式下计算对象片的第一次的成本函数值。

运动补偿部分90随后使用第二次的运动矢量对来自选择器88的可变滤波后的参考图像执行补偿处理以生成预测图像。然后，运动补偿部分90为每个块计算成本函数值以确定最佳帧间预测模式并且在确定的最佳帧间预测模式下计算对象片的第二次的成本函数值。

然后，运动补偿部分90关于该对象片将第一次的成本函数值与第二次的成本函数值进行比较并且确定使用滤波器中展示出较低值的那一个。具体地讲，在第一次的成本函数值较低的情况下，运动补偿部分90关于对象片确定使用固定滤波器并且将用固定滤波后的参考图像生成的预测图像和成本函数值提供给预测图像选择部分76并且然后将AIF使用标记的值设置成0（未使用）。另一方面，在第二次的成本函数值较低的情况下，运动补偿部分90关于对象片确定使用可变滤波器。然后，运动补偿部分90将用可变滤波后的参考图像生成的预测图像和成本函数值提供给预测图像选择部分76并且将AIF使用标记的值设置成1（使用）。

在预测图像选择部分76选择帧间预测图像的情况下，在控制部分92的控制之下，运动补偿部分90将最佳帧间预测模式的信息、包括片的类型的片的信息、AIF使用标记、运动矢量、参考图像的信息等输出到无损编码部分66。

在预测图像选择部分76中选择帧间预测图像并且可变滤波器要被用于对象片的情况下，当对象片是P片时，在控制部分92的控制之下，选择器91将来自6抽头滤波器系数计算部分84的滤波器系数输出到无损编码部分66。在预测图像选择部分76中选择帧间预测图像并且可变滤波器要被用于对象片的情况下，当对象片是B片时，在控制部分92的控制之下，选择器91将来自4抽头滤波器系数计算部分86的滤波器系数输出到无损编码部分66。

控制部分92响应于对象片的类型，控制选择器87、88和91。具体地讲，在对象片是P片的情况下，控制部分92确定滤波器的抽头数目应该是6抽头，但是在对象片是B片的情况下，控制部分92确定滤波器的抽头数目应该是4抽头，小于P片的情况下的抽头数目。

另一方面，如果接收到表示选择来自预测图像选择部分76的帧间预测图像的信号，则控制部分92执行使得运动补偿部分90和选择器91向无损编码部分66输出所需信息的控制。

要注意，尽管在图9的例子中彼此分离地提供了固定6抽头滤波器81和固定4抽头滤波器82，但是可以仅提供固定6抽头滤波器81从而使得响应于片选择性地执行6抽头和4抽头的滤波处理之一。类似地，尽管描述了彼此分离地提供可变6抽头滤波器83和可变4抽头滤波器85的例子，但是可以仅提供可变6抽头滤波器83从而使得响应于片选择性地执行6抽头和4抽头的滤波处理之一。在这个实例中，可以仅提供一个滤波器系数计算部分从而使得响应于片选择性地执行6抽头和4抽头的滤波处理之一。

[内插处理方法]

例如，可变6抽头滤波器83通过在上文参照图4描述的可分离自适应内插滤波器（下文称作可分离AIF）执行内插处理。要注意，尽管在上文中参照图4描述了6抽头的可分离AIF，但是参照图10描述由可变4抽头滤波器85执行的4抽头的可分离AIF。

要注意，在图10中，施加斜线的方块表示整数位置处的像素（整数像素（Int.pel）），空白方块表示分数位置处的像素（子像素）。另外，方块中的字母表示由方块表示的像素的像素值。

另外，在4抽头可分离AIF中，与6抽头的情况类似，在第一步骤执行水平方向的非整数位置的内插，在第二步骤执行垂直方向的非整数位置的内插。要注意，也可以颠倒水平方向和垂直方向的处理顺序。

首先，在第一步骤，借助FIR滤波器，根据下面的表达式（6），基于整数位置处的像素的像素值E、F、G、H、I和J计算分数位置处的像素的像素值a、b和c。这里，h[x][y]是滤波器系数并且包括在流信息中并且由解码侧使用。

a＝h1[a][1]×F+h2[a][2]×G+h[a][3]×H+h[a][4]×I

b＝h1[b][1]×F+h2[b][2]×G+h[b][3]×H+h[b][4]×I

c＝h1[c][1]×F+h2[c][2]×G+h[c][3]×H+h[c][4]×I    ...(6)

另外，要注意，能够与像素值a、b和c相类似地确定像素值G2、G3和G4的行中的分数位置处的像素的像素值（a2、b2、c2、a3、b3、c3、a4、b4、c4）。

然后，在第二步骤，根据下面的表达式（7）计算像素值a、b和c之外的像素值d到o。

d＝h[d][1]×G2+h[d][2]×G+h[d][3]×G3+h[d][4]*G4

h＝h[h][1]×G2+h[h][2]×G+h[h][3]×G3+h[h][4]*G4

l＝h[l][1]×G2+h[l][2]×G+h[l][3]×G3+h[l][4]*G4

e＝h[e][1]×a2+h[e][2]×a+h[e][3]×a3+h[e][4]*a4

i＝h[i][1]×a2+h[i][2]×a+h[i][3]×a3+h[i][4]*a4

m＝h[m][1]×a2+h[m][2]×a+h[m][3]×a3+h[m][4]*a4

f＝h[f][1]×b2+h[f][2]×b+h[f][3]×b3+h[f][4]*b4

j＝h[j][1]×b2+h[j][2]×b+h[j][3]×b3+h[j][4]*b4

n＝h[n][1]×b2+h[n][2]×b+h[n][3]×b3+h[n][4]*b4

g＝h[g][1]×c2+h[g][2]×c+h[g][3]×c3+h[g][4]*c4

k＝h[k][1]×c2+h[k][2]×c+h[k][3]×c3+h[k][4]*c4

o＝h[o][1]×c2+h[o][2]×c+h[o][3]×c3+h[o][4]*c4  ...(7)

[滤波器系数的计算方法]

现在，描述由6抽头滤波器系数计算部分84执行的滤波器系数的计算方法。

关于滤波器系数的计算方法，由于多种类型可应用于AIF的内插方法，所以尽管略有不同，但是它们在使用最小二乘法的这种基本部分是相同的。描述了一种作为代表的内插方法，其中，在水平内插处理后，由可分离AIF（自适应内插滤波器）在两个阶段执行垂直方向的内插。

图11表示可分离AIF的水平方向的滤波。在图11所示的水平方向的滤波中，施加斜线的方块表示整数位置处的像素（整数像素（Int.pel）），空白方块表示分数位置处的像素（子像素）。另外，方块中的字母表示由方块表示的像素的像素值。

首先，执行水平方向的内插，即，确定图11的像素值a、b和c的分数位置的像素位置的滤波器系数。这里，由于使用6抽头滤波器，所以为了计算分数位置处的像素值a、b和c，使用整数位置处的像素值C1、C2、C3、C4、C5和C6，并且计算滤波器系数以使下面的表达式（8）最小。

$e_{\mathrm{sp}}^2={\mathrm{\&Sigma;}}_{x,y}{[S_{x,y}-{\mathrm{\&Sigma;}}_{i=0}^5{h}_{\mathrm{sp},i}\&CenterDot;P_{\tilde{x}+i,y}]}^2...\left(8\right)$

这里，e是预测误差，sp是分数位置处的像素值a、b和c之一，S是原始信号，P是解码的参考像素值，x和y是原始信号的对象的像素位置。

另外，在表达式(8)中，

是下面的表达式(9)。

$\tilde{x}=x+{\mathrm{MV}}_x-\mathrm{FilterOffset}...\left(9\right)$

通过第一次的运动预测检测MV_x和sp，并且其中MV_x是整数精度的水平方向的运动矢量，sp表示分数位置的像素位置并且对应于运动矢量的分数部分。FilterOffset对应于通过从滤波器的抽头数目的一半减去1获得的值，并且这里，2＝6/2-1。h是滤波器系数，i假设从0到5的值。

像素值a、b和c的最佳滤波器系数能够被确定为使e的平方最小的h。如下面的表达式(10)所示，获得联立方程从而使得通过预测误差的平方对h的偏微分获得的值设置成零。通过求解该联立方程，能够确定关于从0到5的i的彼此独立的滤波器系数，其中，分数位置的像素值(sp)是a、b和c。

$0=\frac{{\left({\&PartialD;e}_{\mathrm{sp}}\right)}^2}{{\&PartialD;h}_{\mathrm{sp},i}}$

$=\frac{\&PartialD;}{{\&PartialD;h}_{\mathrm{sp},i}}{\left[{\mathrm{\&Sigma;}}_{x,y}\right[S_{x,y}-{\mathrm{\&Sigma;}}_{i=0}^5{h}_{\mathrm{sp},i}{P}_{\tilde{x}+i,y}\left]\right]}^2$

$={\mathrm{\&Sigma;}}_{x,y}[S_{x,y}-{\mathrm{\&Sigma;}}_{i=0}^5{h}_{\mathrm{sp},i}{P}_{\tilde{x}+i,y}]P_{\tilde{x}+i,y}$

$\&ForAll;\mathrm{sp}\&Element;\{a,b,c\}$

$\&ForAll;i\&Element;\left\{\mathrm{0,1,2,3,4,5}\right\}...\left(10\right)$

更具体地讲，针对所有块，通过第一次的运动搜索确定运动矢量。确定像素值a、b和c从而使得使用其分数位置是像素值a的块作为运动矢量的输入数据来确定表达式(10)中的下面的表达式(11)，并且能够关于像素值a的像素位置的内插的滤波器系数

将其求解。

$P_{\tilde{x}+i,y},S_{x,y}...\left(11\right)$

由于水平方向的滤波器系数被确定并且变得可以执行内插处理，所以如果关于像素值a、b和c执行内插，则获得图12所示的垂直方向的这种滤波。在图12中，使用最佳滤波器系数内插像素值a、b和c，并且还在像素值A3与A4之间、像素值B3与B4之间、像素值D3与D4之间、像素值E3与E4之间以及像素值F3与F4之间执行内插。

具体地讲，在图12所示的可分离AIF的水平方向的滤波中，施加斜线的方块表示整数位置处的像素或者已经通过水平方向的滤波确定的分数位置处的像素，空白方块表示要通过水平方向的滤波确定的分数位置处的像素。另外，方块中的字母表示由方块表示的像素的像素值。

另外，在图12所示的垂直方向的情况下，与水平方向的情况类似，能够确定使下面的表达式（12）的预测误差最小的滤波器系数。

$e_{\mathrm{sp}}^2={\mathrm{\&Sigma;}}_{x,y}{[S_{x,y}-{\mathrm{\&Sigma;}}_{j=0}^5{h}_{\mathrm{sp},j}\&CenterDot;{\hat{P}}_{\tilde{x},\tilde{y}+j}]}^2...\left(12\right)$

这里，表达式（13）表示已经编码的参考像素或者内插的像素、表达式（14）和表达式（15）。

$\hat{P}...\left(13\right)$

$\tilde{x}=4\&CenterDot;x+{\mathrm{MV}}_x...\left(14\right)$

$\tilde{y}=y+{\mathrm{MV}}_y-\mathrm{FilterOffset}...\left(15\right)$

另外，通过第一次的运动预测检测MV_y和sp，并且其中MV_y是整数精度的垂直方向的运动矢量并且sp表示分数位置的像素位置并且对应于运动矢量的分数部分。FilterOffset对应于通过从滤波器的抽头数目的一半减去一获得的值，并且这里是2=6/2-1。h是滤波器系数，并且j为从0到5。

与水平方向的情况类似，计算滤波器系数h使得可以使表达式（12）的预测误差的平方最小。因此，从表达式（16）可以看出，通过预测误差的平方对h的偏微分获得的结果被设置成零以获得联立方程。通过关于分数位置处的像素（即，像素值d、e、f、g、h、i、j、k、l、m、n和o）求解联立方程，能够获得分数位置处的像素的垂直方向的内插滤波器的最佳滤波器系数。

$0=\frac{{\left({\&PartialD;e}_{\mathrm{sp}}\right)}^2}{{\&PartialD;h}_{\mathrm{sp},j}}$

$=\frac{\&PartialD;}{{\&PartialD;h}_{\mathrm{sp},j}}{\left[{\mathrm{\&Sigma;}}_{x,y}\right[S_{x,y}-{\mathrm{\&Sigma;}}_{j=0}^5{h}_{\mathrm{sp},j}{\hat{P}}_{\tilde{x},\tilde{y}+j}\left]\right]}^2$

$={\mathrm{\&Sigma;}}_{x,y}[S_{x,y}-{\mathrm{\&Sigma;}}_{j=0}^5{h}_{\mathrm{sp},j}{\hat{P}}_{\tilde{x},\tilde{y}+j}]{\hat{P}}_{\tilde{x},\tilde{y}+j}$

$\&ForAll;\mathrm{sp}\&Element;\{d,e,f,g,h,i,j,k,l,m,n,o\}...\left(16\right)$

现在，描述由4抽头滤波器系数计算部分86执行的滤波器系数的计算方法。尽管在6抽头的滤波器系数的计算方法中，作为滤波器系数的下标的i和j的范围为从0到5，但是由于抽头数目下降到四个抽头，所以i和j下降到0到3。FilterOffset对应于通过从滤波器的抽头数目的一半减去1获得的值，并且这里为1=4/2-1。

具体地讲，在四个抽头的情况下，使用下面的表达式（17）替代针对6抽头的情况的表达式（8），并且使用下面的表达式（18）替代表达式（10）。另外，在4抽头的情况下，使用下面的表达式（19）替代针对6抽头的情况的表达式（12），并且使用下面的表达式（20）替代表达式（16）。除了这些以外，4抽头的情况下的计算方法与6抽头的情况类似。

$e_{\mathrm{sp}}^2={\mathrm{\&Sigma;}}_{x,y}{[S_{x,y}-{\mathrm{\&Sigma;}}_{i=0}^3{h}_{\mathrm{sp},i}\&CenterDot;P_{\tilde{x}+i,y}]}^2...\left(17\right)$

$0=\frac{{\left({\&PartialD;e}_{\mathrm{sp}}\right)}^2}{{\&PartialD;h}_{\mathrm{sp},i}}$

$=\frac{\&PartialD;}{{\&PartialD;h}_{\mathrm{sp},i}}{\left[{\mathrm{\&Sigma;}}_{x,y}\right[S_{x,y}-{\mathrm{\&Sigma;}}_{i=0}^3{h}_{\mathrm{sp},i}{P}_{\tilde{x}+i,y}\left]\right]}^2$

$={\mathrm{\&Sigma;}}_{x,y}[S_{x,y}-{\mathrm{\&Sigma;}}_{i=0}^3{h}_{\mathrm{sp},i}{P}_{\tilde{x}+i,y}]P_{\tilde{x}+i,y}$

$\&ForAll;\mathrm{sp}\&Element;\{a,b,c\}$

$\&ForAll;i\&Element;\left\{\mathrm{0,1,2,3}\right\}...\left(18\right)$

$e_{\mathrm{sp}}^2={\mathrm{\&Sigma;}}_{x,y}{[S_{x,y}-{\mathrm{\&Sigma;}}_{j=0}^3{h}_{\mathrm{sp},j}\&CenterDot;{\hat{P}}_{\tilde{x},\tilde{y}+j}]}^2...\left(19\right)$

$0=\frac{{\left({\&PartialD;e}_{\mathrm{sp}}\right)}^2}{{\&PartialD;h}_{\mathrm{sp},j}}$

$=\frac{\&PartialD;}{{\&PartialD;h}_{\mathrm{sp},j}}{\left[{\mathrm{\&Sigma;}}_{x,y}\right[S_{x,y}-{\mathrm{\&Sigma;}}_{j=0}^3{h}_{\mathrm{sp},j}{\hat{P}}_{\tilde{x},\tilde{y}+j}\left]\right]}^2$

$={\mathrm{\&Sigma;}}_{x,y}[S_{x,y}-{\mathrm{\&Sigma;}}_{j=0}^3{h}_{\mathrm{sp},j}{\hat{P}}_{\tilde{x},\tilde{y}+j}]{\hat{P}}_{\tilde{x},\tilde{y}+j}$

$\&ForAll;\mathrm{sp}\&Element;\{d,e,f,g,h,i,j,k,l,m,n,o\}...\left(20\right)$

[图像编码设备的编码处理的说明]

现在，参照图13的流程图描述图8的图像编码设备51的编码处理。

在步骤S11，A/D转换器61对向其输入的图像进行A/D转换。在步骤S12，屏幕重排序缓冲器62存储从A/D转换器61向其提供的图像并且执行从显示顺序到编码顺序的画面重排序。

在步骤S13，算术运算部分63对在步骤S12重排序的图像与预测图像之间的差进行算术运算。在要执行帧间预测的情况下，预测图像经由预测图像选择部分76从运动预测和补偿部分75提供给算术运算部分63，但是在要执行帧内预测的情况下预测图像经由预测图像选择部分76从帧内预测部分74提供给算术运算部分63。

差数据的数据量小于原始数据的数据量。因此，与原样对图像进行编码的另选情况相比较，能够压缩数据量。

在步骤S14，正交变换部分64对从算术运算部分63向其提供的差信息进行正交变换。具体地讲，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。在步骤S15，量化部分65对变换系数进行量化。当在这个量化时，如在下文描述的步骤S26的处理中所述地控制速率。

以上述的方式量化的差信息基本上被局部地解码。具体地讲，在步骤S16，逆量化部分68用与量化部分65的特性对应的特性，对由量化部分65量化的变换系数进行逆量化。在步骤S17，逆正交变换部分69用与正交变换部分64的特性对应的特性，对由逆量化部分68逆量化的变换系数进行逆正交变换。

在步骤S18，算术运算部分70将从预测图像选择部分76向其输入的预测图像加到局部解码的差信息以生成局部解码的图像（与对算术运算部分63的输入对应的图像）。在步骤S19，去块滤波器71对从算术运算部分70输出的图像进行滤波。结果，去除了块失真。在步骤S20，帧存储器72存储滤波的图像。要注意，没有被去块滤波器71进行滤波的图像也从算术运算部分70提供并且存储到帧存储器72中。

在步骤S21，帧内预测部分74执行帧内预测处理。具体地讲，帧内预测部分74基于从屏幕重排序缓冲器62读取以进行帧内预测的图像和经由开关73从帧存储器72向其提供的图像，执行所有候选帧内预测模式的帧内预测处理以生成帧内预测图像。

帧内预测部分74计算所有候选帧内预测模式的成本函数值。帧内预测部分74确定帧内预测模式中展示出计算的成本函数值中的最小值的那个作为最佳帧内预测模式。然后，帧内预测部分74将在最佳帧内预测模式下生成的帧内预测图像和成本函数值提供给预测图像选择部分76。

在步骤S22，运动预测和补偿部分75执行运动预测和补偿处理。在下文中参照图14描述步骤S22的运动预测和补偿处理的细节。

通过这个处理，根据片的类型的抽头数目的固定滤波器和可变滤波器被用于执行滤波处理，并且滤波后的参考图像被用于为每个块确定运动矢量和预测模式以计算对象片的成本函数值。然后，通过固定滤波器得到的对象片的成本函数值和通过可变滤波器得到的对象片的成本函数值彼此进行比较，并且基于比较结果确定是否要使用AIF（可变滤波器）。然后，运动预测和补偿部分75将与所述确定对应的预测图像和成本函数值提供给预测图像选择部分76。

在步骤S23，预测图像选择部分76基于从帧内预测部分74和运动预测和补偿部分75输出的成本函数值确定最佳帧内预测模式和最佳帧间预测模式之一作为最佳预测模式。然后，预测图像选择部分76选择确定的最佳预测模式的预测图像并且将该预测图像提供给算术运算部分63和70。这个预测图像被用于如上文所述的步骤S13和S18处的算术运算。

要注意，预测图像的这个选择信息被提供给帧内预测部分74或运动预测和补偿部分75。在选择最佳帧内预测模式的预测图像的情况下，帧内预测部分74将代表最佳帧内预测模式的信息（即，帧内预测模式信息）提供给无损编码部分66。

在选择最佳帧间预测模式的预测图像的情况下，运动预测和补偿部分75的运动补偿部分90将代表最佳帧间预测模式的信息、运动矢量信息和参考帧信息提供给无损编码部分66。另外，运动补偿部分90将每个片的片信息和AIF使用标记信息输出到无损编码部分66。

另外，在预测图像选择部分76选择帧间预测图像并且可变滤波器要用于对象片的情况下，当对象片是P片时，选择器91在控制部分92的控制之下将来自6抽头滤波器系数计算部分84的滤波器系数输出到无损编码部分66。在预测图像选择部分76选择帧间预测图像并且可变滤波器要用于对象片的情况下，当对象片是B片时，选择器91在控制部分92的控制之下将来自4抽头滤波器系数计算部分86的滤波器系数输出到无损编码部分66。

在步骤S24，无损编码部分66对从量化部分65输出的量化的变换系数进行编码。具体地讲，通过可变长度编码、运算编码等对差图像进行可逆编码并且进行压缩。此时，如上所述在步骤S23输入到无损编码部分66的来自帧内预测部分74的帧内预测模式信息或者来自运动预测和补偿部分75的最佳帧间预测模式以及如上所述的各种信息被编码并且附加到首标信息。

例如，针对每个宏块，对指示帧间预测模式的信息进行编码。针对每个对象块，对运动矢量信息或参考帧信息进行编码。另外，针对每个片，对片信息、AIF使用标记信息和滤波器系数进行编码。

在步骤S25，累积缓冲器67累积差信号作为压缩的信号。累积在累积缓冲器67中的压缩图像被合适读取并且通过传输路径发送到解码侧。

在步骤S26，速率控制部分77基于累积在累积缓冲器67中的压缩图像控制量化部分65的量化操作的速率从而使得不会出现上溢或下溢。

[运动预测和补偿处理的说明]

现在，参照图14的流程图描述图13的步骤S22的运动预测和补偿处理。

在从屏幕重排序缓冲器62提供的处理对象的图像是要进行帧间处理的图像的情况下，要参考的图像从帧存储器72进行读取并且经由开关73提供给固定6抽头滤波器81和固定4抽头滤波器82。另外，要参考的图像还被输入到可变6抽头滤波器83、6抽头滤波器系数计算部分84、可变4抽头滤波器85和4抽头滤波器系数计算部分86。

在步骤S51，固定6抽头滤波器81和固定4抽头滤波器82执行参考图像的固定滤波处理。具体地讲，固定6抽头滤波器81对来自帧存储器72的参考图像执行滤波处理并且将固定滤波处理后的参考图像输出到选择器87。固定4抽头滤波器82对来自帧存储器72的参考图像执行滤波处理并且将固定滤波处理后的参考图像输出到选择器87。

在步骤S52，控制部分92确定处理对象的片是否是B片，并且如果确定处理对象的片是B片，则控制部分92控制选择器87选择来自固定4抽头滤波器82的固定滤波后的参考图像。然后，处理进行到步骤S53。

由于来自固定4抽头滤波器82的固定滤波后的参考图像被从选择器87输入到运动预测部分89和运动补偿部分90，所以在步骤S53，运动预测部分89和运动补偿部分90执行第一次的运动预测并且使用由固定4抽头滤波器82滤波的参考图像确定运动矢量和预测模式。

具体地讲，运动预测部分89基于来自屏幕重排序缓冲器62的输入图像和来自选择器87的固定滤波后的参考图像，为所有候选帧间预测模式生成第一次的运动矢量，并且将生成的运动矢量输出到运动补偿部分90。要注意，第一次的运动矢量还输出到6抽头滤波器系数计算部分84和4抽头滤波器系数计算部分86，籍此它们被用于下文描述的步骤S56的处理。

运动补偿部分90使用第一次的运动矢量对来自选择器87的固定滤波后的参考图像执行补偿处理以生成预测图像。然后，运动补偿部分90为每个块计算成本函数值并且将这些函数值进行互相比较以确定最佳帧间预测模式。

另一方面，如果在步骤S52确定处理对象的片不是B片，即，如果确定处理对象的片是P片，则选择器87选择来自固定6抽头滤波器81的固定滤波后的参考图像。然后，处理进行到步骤S54。

由于来自固定6抽头滤波器81的固定滤波后的参考图像被从选择器87输入到运动预测部分89和运动补偿部分90，所以在步骤S54，运动预测部分89和运动补偿部分90执行第一次的运动预测并且使用由固定6抽头滤波器81滤波的参考图像确定运动矢量和预测模式。

具体地讲，运动预测部分89基于来自屏幕重排序缓冲器62的输入图像和来自选择器87的固定滤波后的参考图像为所有候选帧间预测模式生成第一次的运动矢量，并且将生成的运动矢量输出到运动补偿部分90。要注意，第一次的运动矢量还被输出到6抽头滤波器系数计算部分84和4抽头滤波器系数计算部分86，其中它们被用于下文描述的步骤S56的处理中。

运动补偿部分90使用第一次的运动矢量对来自选择器87的固定滤波后的参考图像执行补偿处理以生成预测图像。然后，运动补偿部分90为每个块计算成本函数值并且将这些成本函数值互相比较以确定最佳帧间预测模式。

在对每个块执行上述处理并且对象片中的所有块的处理结束后，在步骤S55，运动补偿部分90利用第一次的运动矢量并且在最佳帧间预测模式下计算对象片的第一次的成本函数值。

在步骤S56，6抽头滤波器系数计算部分84和4抽头滤波器系数计算部分86使用来自运动预测部分89的第一次的运动矢量计算6抽头的滤波器系数和4抽头的滤波器系数。

具体地讲，6抽头滤波器系数计算部分84使用来自屏幕重排序缓冲器62的输入图像、来自帧存储器72的参考图像和来自运动预测部分89的第一次的运动矢量计算用于使可变6抽头滤波器83的滤波处理后的参考图像近似于输入图像的6抽头的滤波器系数。此时，使用上文给出的表达式（8）、（10）、（12）和（16）。6抽头滤波器系数计算部分84将计算的滤波器系数提供给可变6抽头滤波器83和选择器91。

同时，4抽头滤波器系数计算部分86使用来自屏幕重排序缓冲器62的输入图像、来自帧存储器72的参考图像和来自运动预测部分89的第一次的运动矢量计算用于使可变4抽头滤波器85的滤波处理后的参考图像近似于输入图像的4抽头的滤波器系数。此时，使用上文给出的表达式（17）、（18）、（19）和（20）。4抽头滤波器系数计算部分86将计算的滤波器系数提供给可变4抽头滤波器85和选择器91。

要注意，当选择最佳帧间预测模式的预测图像并且可变滤波器应用于上文描述的图13的步骤S23的对象片时，响应于对象片的类型，被提供给选择器91的滤波器系数被输出到无损编码部分66并且在步骤S24进行编码。

在步骤S57，可变6抽头滤波器83和可变4抽头滤波器85执行参考图像的可变滤波处理。具体地讲，可变6抽头滤波器83使用由6抽头滤波器系数计算部分84计算的6抽头的滤波器系数对来自帧存储器72的参考图像执行滤波处理并且将可变滤波处理后的参考图像输出到选择器88。

同时，可变4抽头滤波器85使用由4抽头滤波器系数计算部分86计算的4抽头的滤波器系数对来自帧存储器72的参考图像执行滤波处理并且将可变滤波处理后的参考图像输出到选择器88。

在步骤S58，控制部分92确定处理对象的片是否是B片。如果确定处理对象的片是B片，则控制部分92控制选择器88选择来自可变4抽头滤波器85的可变滤波后的参考图像。然后，处理进行到步骤S59。

由于来自可变4抽头滤波器85的可变滤波后的参考图像被从选择器88输入到运动预测部分89和运动补偿部分90，所以在步骤S59，运动预测部分89和运动补偿部分90执行第二次的运动预测并且使用由可变4抽头滤波器85滤波的参考图像确定运动矢量和预测模式。

具体地讲，运动预测部分89基于来自屏幕重排序缓冲器62的输入图像和来自选择器88的可变滤波处理后的参考图像为所有候选帧间预测模式生成第二次的运动矢量并且将生成的运动矢量输出到运动补偿部分90。

运动补偿部分90使用第二次的运动矢量对来自选择器88的可变滤波后的参考图像执行补偿处理以生成预测图像。然后，运动补偿部分90为每个块计算成本函数值并且将这些成本函数值互相比较以确定最佳帧间预测模式。

另一方面，如果在步骤S58确定处理对象的片不是B片，即，如果确定处理对象的片是P片，则选择器88选择来自可变6抽头滤波器83的可变滤波后的参考图像。然后，处理进行到步骤S60。

由于来自可变6抽头滤波器83的可变滤波后的参考图像被从选择器88输入到运动预测部分89和运动补偿部分90，所以在步骤S60，运动预测部分89和运动补偿部分90执行第二次的运动预测并且使用由可变6抽头滤波器83滤波的参考图像确定运动矢量和预测模式。

具体地讲，运动预测部分89基于来自屏幕重排序缓冲器62的输入图像和来自选择器88的可变滤波后的参考图像为所有候选帧间预测模式生成第二次的运动矢量。然后，运动预测部分89将生成的运动矢量输出到运动补偿部分90。

运动补偿部分90使用第二次的运动矢量对来自选择器88的可变滤波后的参考图像执行补偿处理以生成预测图像。然后，运动补偿部分90为每个块计算成本函数值并且将这些成本函数值互相比较以确定最佳帧间预测模式。

对每个块执行上述的这些处理，并且在对象片中的所有块的处理结束后，在步骤S61，运动补偿部分90利用第二次的运动矢量和最佳帧间预测模式计算对象片的第二次的成本函数值。

在步骤S62，运动补偿部分90将对象片的第一次的成本函数值与第二次的成本函数值互相比较以确定对象片的第一次的成本函数值是否小于第二次的成本函数值。

如果确定对象片的第一次的成本函数值小于第二次的成本函数值，则处理进行到步骤S63。在步骤S63，运动补偿部分90确定为对象片使用固定滤波器并且将（利用固定滤波后的参考图像生成的）第一次的预测图像和成本函数值提供给预测图像选择部分76并且然后将对象片的AIF使用标记设置成0。

如果确定对象片的第一次的成本函数值不小于第二次的成本函数值，则处理进行到步骤S64。在步骤S64，运动补偿部分90确定为对象片使用可变滤波器（AIF）并且将（利用可变滤波后的参考图像生成的）第二次的预测图像和成本函数值提供给预测图像选择部分76并且然后将对象片的AIF使用标记的值设置成1。

如果在上文所述的图13的步骤S23选择了最佳帧间预测模式的预测图像，则在控制部分92的控制之下，对象片的AIF使用标记的设置信息与片信息一起被输出到无损编码部分66。然后，在步骤S24对AIF使用标记的信息进行编码。

如上所述，在图像编码设备51中，由于当对象片是B片时设置的可变内插滤波器（AIF）的抽头数目小于当对象片是P片时的抽头数目，所以能够减少要包括在流信息中的滤波器系数的数目。

具体地讲，由于B片的编码比特量原本小于P片的编码比特量，所以如果AIF的滤波器系数被包括到流信息中，则开销在比率上变大。因此，如果滤波器的抽头数目下降，则滤波器系数减少，结果，能够减少要包括到流信息中的滤波器系数的开销。结果，能够提高编码效率。

另外，在可变内插滤波器的抽头数目减少的情况下，要从帧存储器进行读入的像素数据量减少。

具体地讲，由于如以上参照图7所述6抽头的内插滤波器在常规上被用于任何片，所以在执行4×4尺寸的双向预测的情况下，需要从帧存储器读入前方向和后方向的162=2×81像素。

与之相对，在图像编码设备51中，当对象片是B片时，可变内插滤波器（AIF）的抽头数目例如设置成4个抽头，因此，即使在执行4×4尺寸的双向预测的情况下，除了在内插处理后获得的4×4空白方块的像素以外，仅需要如图15所示从帧存储器读入前方向和后方向的施加斜线的方块的像素，即，98=2×49像素。

换言之，与常规情况相比较，内插处理不再需要由黑方块指示的32像素。因此，由于要从帧存储器读入的像素的数目减少，所以能够减少帧存储器的使用区域。

编码压缩图像经由预定传输路径发送并且由图像解码设备解码。

[图像解码设备的结构的例子]

图16示出了作为应用了本发明的图像处理设备的图像解码设备的第一实施例的结构。

图像解码设备101由累积缓冲器111、无损解码部分112、逆量化部分113、逆正交变换部分114、算术运算部分115、去块滤波器116、屏幕重排序缓冲器117、D/A转换器118、帧存储器119、开关120、帧内预测部分121、运动补偿部分122和开关123构成。

累积缓冲器111对发送至此的压缩图像进行累积。无损解码部分112根据与无损编码部分66的编码方法对应的方法，对从累积缓冲器111向其提供并且由图8的无损编码部分66编码的信息进行解码。逆量化部分113根据与图8的量化部分65的量化方法对应的方法，对由无损解码部分112解码的图像进行逆量化。逆正交变换部分114根据与图8的正交变换部分64的正交变换方法对应的方法对逆量化部分113的输出进行逆正交变换。

逆正交变换的输出被加到从开关123向其提供的预测图像并且由算术运算部分115进行解码。去块滤波器116去除解码的图像的块失真并且将所得图像提供给帧存储器119从而累积在帧存储器119中并且还将所得图像输出到屏幕重排序缓冲器117。

屏幕重排序缓冲器117执行图像的重排序。具体地讲，通过图8的屏幕重排序缓冲器62被重排序成用于编码的顺序的帧的顺序被重排序成原始显示顺序。D/A转换器118对从屏幕重排序缓冲器117向其提供的图像进行D/A转换并且将所得图像输出到未示出的显示单元，从而在显示单元上进行显示。

开关120从帧存储器119读取要参考的图像并且将该图像输出到运动补偿部分122。另外，开关120从帧存储器119读取要用于帧内预测的图像并且将该图像提供给帧内预测部分121。

通过解码首标信息获得的表示帧内预测模式的信息被从无损解码部分112提供给帧内预测部分121。帧内预测部分121基于这个信息生成预测图像并且将生成的预测图像输出到开关123。

通过解码首标信息获得的信息内的帧间预测模式信息、运动矢量信息、参考帧信息、AIF使用标记信息、滤波器系数等被从无损解码部分112提供给运动补偿部分122。针对每个宏块发送帧间预测模式信息。针对每个对象块发送运动矢量信息和参考帧信息。针对每个对象片发送包括片的类型的信息的片信息、AIF使用标记信息、滤波器系数等。

运动补偿部分122首先基于对象片是P片还是B片，即，基于片的类型，确定抽头数目。例如，如果对象片是B片，则抽头数目被确定成小于对象片是P片的情况下的值。

在对象片使用AIF的情况下，由于滤波器系数从无损解码部分112提供给运动补偿部分122，所以运动补偿部分122使用抽头的系数根据片的类型可变的内插滤波器对来自帧存储器119的参考图像执行可变滤波处理。

或者，如果包括对象块的对象片不使用AIF，则运动补偿部分122使用抽头的系数根据片的类型固定的内插滤波器对来自帧存储器119的参考图像执行固定滤波处理。然后，运动补偿部分122使用来自无损解码部分112的运动矢量对固定滤波处理后的参考图像执行补偿处理以生成对象块的预测图像。生成的预测图像经由开关123输出到算术运算部分115。

开关123选择由运动补偿部分122或帧内预测部分121生成的预测图像并且将该预测图像提供给算术运算部分115。

[运动补偿部分的结构的例子]

图17是示出运动补偿部分122的详细结构的例子的框图。要注意，在图17中，省去了图17的开关120。

在图18的例子中，运动补偿部分122由固定6抽头滤波器131、固定4抽头滤波器132、可变6抽头滤波器133、可变4抽头滤波器134、选择器135到137、运动补偿处理部分138和控制部分139构成。

对于每个片，表示片的类型的片信息和AIF使用标记信息被从无损解码部分112提供给控制部分139，并且根据片的类型，滤波器系数被提供给可变6抽头滤波器133或可变4抽头滤波器134。另外，来自无损解码部分112的表示每个宏块的帧间预测模式的信息或者每个块的运动矢量被提供给运动补偿处理部分138，同时参考帧信息被提供给控制部分139。

在控制部分139的控制之下，来自帧存储器119的参考图像被输入到固定6抽头滤波器131、固定4抽头滤波器132、可变6抽头滤波器133和可变4抽头滤波器134。

固定6抽头滤波器131是在H.264/AVC方法中规定的具有固定系数的6抽头的内插滤波器，并且对来自帧存储器119的参考图像执行滤波处理并且将固定滤波处理后的参考图像输出到选择器135。

固定4抽头滤波器132是具有固定系数的4抽头的内插滤波器，并且对来自帧存储器119的参考图像执行滤波处理并且将固定滤波处理后的参考图像输出到选择器135。

可变6抽头滤波器133是具有可变系数的6抽头的内插滤波器，并且使用从无损解码部分112提供的6抽头的滤波器系数对来自帧存储器119的参考图像执行滤波处理并且将可变滤波处理后的参考图像输出到选择器136。

可变4抽头滤波器134是具有可变系数的4抽头的内插滤波器，并且使用从无损解码部分112提供的4抽头的滤波器系数对来自帧存储器119的参考图像执行滤波处理并且将可变滤波处理后的参考图像输出到选择器136。

在处理对象的片是P片的情况下，在控制部分139的控制之下，选择器135选择来自固定6抽头滤波器131的固定滤波后的参考图像并且将选择的参考图像输出到选择器137。在处理对象的片是B片的情况下，在控制部分139的控制之下，选择器135选择来自固定4抽头滤波器132的固定滤波后的参考图像并且将选择的参考图像输出到选择器137。

在处理对象的片是P片的情况下，在控制部分139的控制之下，选择器136选择来自可变6抽头滤波器133的可变滤波后的参考图像并且将选择的参考图像输出到选择器137。在处理对象的片是B片的情况下，在控制部分139的控制之下，选择器136选择来自可变4抽头滤波器134的可变滤波后的参考图像并且将选择的参考图像输出到选择器137。

在处理对象的片使用AIF的情况下，在控制部分139的控制之下，选择器137选择来自选择器136的可变滤波后的参考图像并且将选择的参考图像输出到运动补偿处理部分138。在处理对象的片没有使用AIF的情况下，在控制部分139的控制之下，选择器137选择来自选择器135的固定滤波后的参考图像并且将选择的参考图像输出到运动补偿处理部分138。

运动补偿处理部分138使用来自无损解码部分112的运动矢量对从选择器137输入的滤波后的参考图像执行内插处理并且生成对象块的预测图像，然后将生成的预测图像输出到开关123。

控制部分139针对每个片获取来自无损解码部分112的包括片的类型的信息的片信息和AIF使用标记，并且基于包括处理对象块的片的类型控制选择器135和136的选择。具体地讲，在包括在处理对象块中的片是P片的情况下，控制部分139控制选择器135和136选择6抽头滤波后的参考图像。然而，在包括处理对象块的片是S片的情况下，控制部分139控制选择器135和136选择4抽头滤波后的参考图像。

另外，控制部分139参考获取的AIF使用标记并且基于是否使用AIF来控制选择器137的选择。具体地讲，在包括处理对象块的片使用AIF的情况下，控制部分139控制选择器137选择来自选择器136的可变滤波后的参考图像。然而，在包括处理对象块的片没有使用AIF的情况下，控制部分139控制选择器137选择来自选择器135的固定滤波后的参考图像。

要注意，尽管与图9的例子的情况类似，图17也示出了固定6抽头滤波器131和固定4抽头滤波器132彼此独立地提供的例子，但是可以仅仅使用固定6抽头滤波器131从而使得响应于片而选择性地执行6抽头和4抽头滤波处理之一。类似地，尽管描述了可变6抽头滤波器133和可变4抽头滤波器134彼此独立地提供的例子，但是可以仅仅使用可变6抽头滤波器133从而使得响应于片而选择性地执行6抽头和4抽头滤波处理之一。

[图像解码设备的解码处理的说明]

现在，参照图18的流程图描述由图像解码设备101执行的解码处理。

在步骤S131，累积缓冲器111对发送至此的图像进行累积。在步骤S132，无损解码部分112对从累积缓冲器111向其提供的压缩图像进行解码。具体地讲，由图8的无损编码部分66编码的I画面、B画面和P画面被解码。

此时，还针对每个块对运动矢量信息、参考帧信息等进行解码。另外，针对每个宏块，还对预测模式信息（表示帧内预测模式或帧间预测模式的信息）等进行解码。另外，针对每个片，还对包括片的类型的信息的片信息、AIF使用标记信息、滤波器系数等进行解码。

在步骤S133，逆量化部分113利用与图8的量化部分65的特性对应的特性对由无损解码部分112解码的变换系数进行逆量化。在步骤S134，逆正交变换部分114利用与图8的正交变换部分64的特性对应的特性对由逆量化部分113逆量化的变换系数进行逆正交变换。结果，与图8的正交变换部分64的输入对应的差信息（算术运算部分63的输出）被解码。

在步骤S135，算术运算部分115将通过下文描述的步骤S141的处理选择并且经由开关123向其输入的预测图像加到差信息，由此解码出原始图像。在步骤S136，去块滤波器116对从算术运算部分115输出的图像进行滤波。籍此去除了块失真。在步骤S137，帧存储器119存储滤波的图像。

在步骤S138，无损解码部分112基于压缩图像的首标部分的无损解码结果，确定压缩图像是否是帧间预测图像，即，无损解码结果是否包括表示最佳帧间预测模式的信息。

如果在步骤S138确定压缩图像是帧间预测图像，则无损解码部分112将运动矢量信息、参考帧信息、表示最佳帧间预测模式的信息、AIF使用标记信息、滤波器系数等提供给运动补偿部分122。

然后，在步骤S139，运动补偿部分122执行运动补偿处理。在下文中参照图19描述步骤S139的运动补偿处理的细节。

通过这个处理，当对象片使用AIF时，具有适合于片的类型的抽头数目的可变滤波器被用于执行滤波处理。在对象片没有使用AIF的情况下，具有适合于片的类型的抽头数目的固定滤波器被用于执行滤波处理。然后，使用运动矢量对滤波处理后的参考图像执行补偿处理，并且由此生成的预测图像被输出到开关123。

另一方面，如果在步骤S138确定压缩图像不是帧间预测图像，即，在无损解码结果包括表示最佳帧内预测模式的信息的情况下，无损解码部分112将表示最佳帧内预测模式的信息提供给帧内预测部分121。

然后，在步骤S140，帧内预测部分121在表示来自无损解码部分112的信息的最佳帧内预测模式下对来自帧存储器119的图像执行帧内预测处理以生成帧内预测图像。然后，帧内预测部分121将帧内预测图像输出到开关123。

在步骤S141，开关123选择并向算术运算部分115输出预测图像。具体地讲，由帧内预测部分121生成的预测图像或由运动补偿部分122生成的预测图像被提供给开关123。因此，提供的预测图像被选择并输出到算术运算部分115并且被加到如上所述在步骤S135的逆正交变换部分114的输出。

在步骤S142，屏幕重排序缓冲器117执行重排序。具体地讲，由图像编码设备51的屏幕重排序缓冲器62为了编码而重排序的帧的顺序被重排序成原始显示顺序。

在步骤S143，D/A转换器118将来自屏幕重排序缓冲器117的图像进行D/A转换。这个图像被输出到未示出的显示单元并且进行显示。

[图像解码设备的运动补偿处理的描述]

现在，参照图19的流程图描述图18的步骤S139的运动补偿处理。

在步骤S151，可变6抽头滤波器133或者可变4抽头滤波器134从无损解码部分112获取滤波器系数。如果6抽头的滤波器系数被发送到此，则可变6抽头滤波器133获取该6抽头的滤波器系数，但如果4抽头的滤波器系数被发送到此，则可变4抽头滤波器134获取该4抽头的滤波器系数。要注意，由于仅在使用AIF的情况下针对每个片发送滤波器系数，所以在任何其它情况下步骤S151的处理被跳过。

在控制部分139的控制之下，来自帧存储器119的参考图像被输入到固定6抽头滤波器131、固定4抽头滤波器132、可变6抽头滤波器133和可变4抽头滤波器134。

在步骤S152，固定6抽头滤波器131、固定4抽头滤波器132、可变6抽头滤波器133和可变4抽头滤波器134对来自帧存储器119的参考图像执行滤波处理。

具体地讲，固定6抽头滤波器131对来自帧存储器119的参考图像执行滤波处理并且将固定滤波处理后的参考图像输出到选择器135。固定4抽头滤波器132对来自帧存储器119的参考图像执行滤波处理并且将固定滤波处理后的参考图像输出到选择器135。

可变6抽头滤波器133使用从无损解码部分112向其提供的6抽头的滤波器系数对来自帧存储器119的参考图像执行滤波处理并且将可变滤波处理后的参考图像输出到选择器136。可变4抽头滤波器134使用从无损解码部分112向其提供的4抽头的滤波器系数的内插滤波器对来自帧存储器119的参考图像执行滤波处理并且将可变滤波处理后的参考图像输出到选择器136。

在步骤S153，控制部分139从无损解码部分112获取片的类型的信息和AIF使用标记信息。要注意，由于针对每个片上述信息被发送到并且由控制部分139获取，所以在任何其它情况下这个处理被跳过。

在步骤S154，控制部分139确定处理对象片是否是B片。如果确定处理对象片是B片，则处理进行到步骤S155。

在步骤S155，在控制部分139的控制之下，选择器135选择来自固定4抽头滤波器132的固定滤波后的参考图像并且将选择的参考图像输出到选择器137。同时，在控制部分139的控制之下，选择器136选择来自可变4抽头滤波器134的可变滤波后的参考图像并且将选择的参考图像输出到选择器137。

另一方面，如果在步骤S154确定处理对象片不是B片，即，如果确定处理对象片是P片，则处理进行到步骤S156。

在步骤S156，如果处理对象片是P片，则在控制部分139的控制之下，选择器135选择来自固定6抽头滤波器131的固定滤波后的参考图像并且将选择的参考图像输出到选择器137。另一方面，如果处理对象片是P片，则在控制部分139的控制之下，选择器136选择来自可变6抽头滤波器133的可变滤波处理后的参考图像并且将选择的参考图像输出到选择器137。

在步骤S157，控制部分139参考来自无损解码部分112的AIF使用标记信息以确定处理对象片是否使用AIF，并且如果确定处理对象片使用AIF，则处理进行到步骤S158。在步骤S158，在控制部分139的控制之下，选择器137选择来自选择器136的可变滤波后的参考图像并且将选择的参考图像输出到运动补偿处理部分138。

如果在步骤S157确定处理对象没有使用AIF，则处理进行到步骤S159。在步骤S159，在控制部分139的控制之下，选择器137选择来自选择器135的固定滤波后的参考图像并且将选择的参考图像输出到运动补偿处理部分138。

在步骤S160，运动补偿处理部分138获取对象块的运动矢量信息和包括对象块的宏块的帧间预测模式信息。

在步骤S161，运动补偿处理部分138使用获取的运动矢量对由选择器137选择的参考图像执行补偿以生成预测图像并且将生成的预测图像输出到开关123。

如上所述，在图像编码设备51和图像解码设备101中，利用适合于片的类型的抽头数目的AIF滤波器执行滤波处理。

因此，不仅在图像编码设备51中，而且在图像解码设备101中，要从帧存储器读入的像素的数目减少，因此能够减小帧存储器的使用区域。

要注意，尽管在上述描述中，对于P片，抽头数目设置成6抽头，而对于S片，抽头数目设置成4抽头，但是S片的抽头数目不限于4抽头，只要它小于P片的抽头数目即可。例如，S片的抽头数目可以是两个、三个或五个抽头。

另外，尽管以上描述涉及响应于片的类型而改变滤波器的抽头数目的例子，但是在B片和双向模式的情况下可以改变滤波器的抽头数目。

尽管以可分离AIF的内插滤波器作为例子给出以上描述，但是滤波器的结构不限于可分离AIF的结构。换言之，即使滤波器的结构不同，本发明仍可应用于该滤波器。

[应用于扩展宏块尺寸的说明]

图20是示出在非专利文献4中提出的块尺寸的例子的图。在非专利文献4中，宏块尺寸被扩展成32×32像素。

在图20的上段，按照从左开始的顺序显示了由32×32像素构成并且划分成32×32像素、32×16像素、16×32像素和16×16像素的块（分区）的宏块。在图20的中段，按照从左开始的顺序显示了由16×16像素构成并且划分成16×16像素、16×8像素、8×16像素和8×8像素的块（分区）的块。另外，在图20的下段，按照从左开始的顺序显示了由8×8像素构成并且划分成8×8像素、8×4像素、4×8像素和4×4像素的块（分区）的块。

具体地讲，32×32像素的宏块能够按图20的上段所示的32×32像素、32×16像素、16×32像素和16×16像素的块进行处理。

在上段的右侧所示的16×16像素的块能够按在中段所示的16×16像素、16×8像素、8×16像素和8×8像素的块进行处理，这与在H.264/AVC方法中类似。

中段的右侧所示的8×8像素的块能够按在下段所示的8×8像素、8×4像素、4×8像素和4×4像素的块进行处理，这与在H.264/AVC方法中类似。

通过如上所述的这种分层结构，在非专利文献4的提议中，尽管关于16×16像素或更小的块保持了与H.264/AVC方法的兼容性，但是更大的块被定义为它们的超集。

本发明也能适用于如上所述提出的这种扩展宏块尺寸。

另外，尽管在以上描述中，H.264/AVC方法被用作编码方法的基础，但是本发明不限于此并且可以应用于使用执行任何其它运动预测和补偿处理的编码方法/解码方法的图像编码设备/图像解码设备。

要注意，本发明可以应用于用于经由诸如卫星广播、有线电视、互联网或便携式电话机的网络介质接收通过诸如MPEG、H.26x中的离散余弦变换的正交变换和运动补偿进行压缩的图像信息（比特流）的图像编码设备和图像解码设备。另外，本发明能够应用于当在诸如光盘或磁盘和闪存的存储介质上处理时使用的图像编码设备和图像解码设备。另外，本发明还能够应用于包括在这些图像编码设备和图像解码设备等中的运动预测补偿设备。

要注意，尽管上述一系列处理可以通过硬件执行，但是也可以通过软件执行。在这一系列处理由软件执行的情况下，构成软件的程序被安装到计算机中。这里，计算机包括并入到专用硬件中的计算机、通过安装各种程序能够执行各种功能的通用的个人计算机等。

[个人计算机的结构的例子]

图21是示出根据程序执行本发明的一系列处理的计算机的硬件的结构的例子的框图。

在该计算机中，CPU（中央处理单元）201、ROM（只读存储器）202和RAM（随机存取存储器）203经由总线204彼此连接。

输入/输出接口205也连接到总线204。输入部分206、输出部分207、存储部分208、通信部分209和驱动器210连接到输入/输出接口205。

输入部分206包括键盘、鼠标、麦克风等。输出部分207包括显示单元、扬声器等。存储部分208包括硬盘、非易失性存储器等。通信部分209包括网络接口等。驱动器210驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质211。

在以如上所述的这种方式构造的计算机中，CPU 201将例如存储在存储部分208中的程序经由输入/输出接口205和总线204加载到RAM203中并且执行该程序以执行上文描述的一系列处理。

由计算机（CPU 201）执行的程序能够记录到可移动介质211中或可移动介质211上并且作为可移动介质211被提供做为例如封装介质等。另外，程序能够通过有线或无线传输介质（例如，局域网、互联网或数字广播）提供。

在计算机中，通过将可移动介质211加载到驱动器210中，程序能够经由输入/输出接口205安装到存储部分208中。另外，程序能够由通信部分209经由有线或无线传输介质接收并且安装到存储部分208中。或者，程序能够被预先安装在ROM 202或者存储部分208中。

要注意，要由计算机执行的程序可以是按照根据在本说明书中描述的顺序的时间序列执行处理的程序，或者并行执行或在例如被调用时的必要定时执行处理的程序。

本发明的实施例不限于上文描述的实施例，并且在不脱离本发明的主题的情况下可以以各种方式进行修改。

例如，上文描述的图像编码设备51或图像解码设备101能够应用于任意电子设备。在下面描述几个例子。

[电视接收机的结构的例子]

图22是示出使用应用了本发明的图像解码设备的电视接收机的主要部件的例子的框图。

图22所示的电视接收机300包括地波调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320和显示面板321。

地波调谐器313经由天线接收陆地模拟广播的广播波信号，解调该广播信号以获取视频信号并且将视频信号提供给视频解码器315。视频解码器315对从地波调谐器313向其提供的视频信号执行解码处理并且将所得数字成分信号提供给视频信号处理电路318。

视频信号处理电路318对从视频解码器315向其提供的视频数据执行例如去噪的预定处理并且将所得视频数据提供给图形生成电路319。

图形生成电路319通过基于经由网络向其提供的应用的处理，生成要在显示面板321上显示的节目的视频数据或图像数据并且将生成的视频数据或图像数据提供给面板驱动电路320。另外，图形生成电路319还合适地执行诸如向面板驱动电路320提供通过生成用于显示由用户用于选择项目的屏幕图像的视频数据（图形）并且在节目的视频数据上叠加该视频数据获得的视频数据的处理。

面板驱动电路320基于从图形生成电路319向其提供的数据，驱动显示面板321从而使得上文描述的节目的视频或者各种类型的屏幕图像在显示面板321上进行显示。

显示面板321由LCD（液晶显示）单元等形成并且在面板驱动电路320的控制之下显示节目的视频。

电视接收机300还包括音频A/D（模拟/数字）转换电路314、音频信号处理电路322、回声抵消/音频合成电路323、音频放大电路324和扬声器325。

地波调谐器313对接收的广播波信号进行解调以不仅获取视频信号还获取音频信号。地波调谐器313将获取的音频信号提供给音频A/D转换电路314。

音频A/D转换电路314对从地波调谐器313向其提供的音频信号执行A/D转换处理并且将所得数字音频信号提供给音频信号处理电路322。

音频信号处理电路322对从音频A/D转换电路314向其提供的音频数据执行例如去噪的预定处理并且将所得音频数据提供给回声抵消/音频合成电路323。

回声抵消/音频合成电路323将从音频信号处理电路323向其提供的音频数据提供给音频放大电路324。

音频放大电路324对从回声抵消/音频合成电路323向其提供的音频数据执行D/A转换处理和放大处理以将音频数据调整到预定声音水平从而从扬声器325输出声音。

另外，电视接收机300包括数字调谐器316和MPEG解码器317。

数字调谐器316经由天线接收数字广播（陆地数字广播、BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，对广播波信号进行解调以获取MPEG-TS（运动图像专家组-传输流）并且将MPEG-TS提供给MPEG解码器317。

MPEG解码器317解除施加到从数字调谐器316向其提供的MPEG-TS的扰乱以提取作为再现对象（观看对象）的包括节目的数据的流。MPEG解码器317对构成提取的流的音频包进行解码并且将所得音频数据提供给音频信号处理电路322。另外，MPEG解码器317对构成该流的视频包进行解码并且将所得视频数据提供给视频信号处理电路318。另外，MPEG解码器317经由未示出的路径将从MPEG-TS提取的提取EPG（电子节目指南）数据提供给CPU 332。

电视接收机300使用上文所述的图像解码设备101作为以这种方式对视频包进行解码的MPEG解码器317。因此，MPEG解码器317能够减少帧存储器的使用区域并且减少要包括在流信息中的滤波器系数的开销，这与图像解码设备101的情况类似。

与从视频解码器315提供的视频数据的情况类似，从MPEG解码器317提供的视频数据经历由视频信号处理电路318执行的预定处理。然后，由图形生成电路319等生成的视频数据被合适地叠加在应用了预定处理的视频数据上，并且所得数据经由面板驱动电路320提供给显示面板321从而数据的图像显示在显示面板321上。

与从音频A/D转换电路314提供的音频数据的情况类似，从MPEG解码器317提供的音频数据经历由音频信号处理电路322执行的预定处理。然后，经历预定处理的音频数据经由回声抵消/音频合成电路323提供给音频放大电路324，通过其对该音频数据执行D/A转换处理和放大处理。结果，被调整到预定音量的声音从扬声器325输出。

电视接收机300还包括麦克风326和A/D转换电路327。

A/D转换电路327接收由电视接收机300中的设置用于语音谈话的麦克风326取得的用户的语音信号。A/D转换电路327对接收的语音信号执行预定的A/D转换处理并且将所得数字语音数据提供给回声抵消/音频合成电路323。

在从A/D转换电路327向回声抵消/音频合成电路323提供电视接收机300的用户（用户A）的语音数据的情况下，回声抵消/音频合成电路323对用户A的语音数据执行回声抵消。然后，回声抵消/音频合成电路323使得通过与回声抵消后的其它声音数据等进行合成获得的语音数据经由音频放大电路324从扬声器325进行输出。

另外，电视接收机300还包括音频编解码器328、内部总线329、SDRAM（同步动态随机存取存储器）330、闪存331、CPU 332、USB（通用串行总线）接口333和网络接口334。

A/D转换电路327接收由电视接收机300中的设置用于语音谈话的麦克风326取得的用户的语音信号。A/D转换电路327对接收的语音信号执行A/D转换处理并且将所得数字语音数据提供给音频编解码器328。

音频编解码器328将从A/D转换电路327向其提供的语音数据转换成用于经由网络发送的预定格式的数据并且经由内部总线329将该数据提供给网络接口334。

网络接口334经由与网络终端335连接的线缆连接到网络。网络接口334将从音频编解码器328向其提供的语音数据例如发送到连接到该网络的不同设备。另外，网络接口334经由网络终端335接收例如从经由网络连接的不同设备发送的声音数据，并且经由内部总线329将该声音数据提供给音频编解码器328。

音频编解码器328将从网络接口334向其提供的声音数据转换成预定格式的数据并且将该预定格式的数据提供给回声抵消/音频合成电路323。

回声抵消/音频合成电路323对从音频编解码器328向其提供的声音数据执行回声抵消并且使得通过与不同声音数据等的合成获得的声音的数据经由音频放大电路324从扬声器325输出。

SDRAM 330存储CPU 332执行处理所需的各种数据。

闪存331存储要由CPU 332执行的程序。存储在闪存331中的程序由CPU 332在预定定时（例如，当启动电视接收机300时）读取。经由数字广播获取的EGP数据、经由网络从预定服务器获取的数据等等也被存储到闪存331中。

例如，在CPU 332的控制之下，包括经由网络从预定服务器获取的内容数据的MPEG-TS被存储到闪存331。在CPU 332的控制之下，闪存331例如经由内部总线329将MPEG-TS提供给MPEG解码器317。

例如，与从数字调谐器316提供的MPEG-TS的情况类似，MPEG解码器317处理MPEG-TS。按这种方式，电视接收机300能够经由网络接收由视频、音频等构成的内容数据，通过使用MPEG解码器317对内容数据进行解码并且使得数据的视频被显示或者使音频被输出。

另外，电视接收机300还包括用于接收从遥控器351发送的红外信号的光接收部分337。

光接收部分337从遥控器351接收红外线并且将通过解调红外线获得并且表示用户操作的内容的控制码输出到CPU 332。

响应于从光接收部分337向其提供的控制码，CPU 332执行存储在闪存331中的程序并且控制电视接收机300的全部操作。CPU 332和电视接收机300的其它部件通过未示出的路径彼此连接。

USB接口333执行从外部设备到通过与USB端子336连接的USB线缆与外部设备连接的电视接收机300以及从电视接收机300到外部设备的数据的发送和接收。网络接口334通过连接到网络端子335的线缆连接到网络并且也执行与连接到网络的各种设备的除音频数据之外的数据的发送和接收。

通过使用图像解码设备101作为MPEG解码器317，电视接收机300能够减小帧存储器的使用区域并且增强编码效率。结果，电视接收机300能够以更高速度经由天线从广播信号获取并显示更高清晰度的解码图像或者经由网络获取的内容数据。

[便携式电话机的结构的例子]

图23是示出使用应用了本发明的图像编码设备和图像解码设备的便携式电话机的主要部件的例子的框图。

图23所示的便携式电话机400包括用于综合控制各个部件的主控制部分450、供电电路部分451、操作输入控制部分452、图像编码器453、相机接口部分454、LCD控制部分455、图像解码器456、复用和解复用部分457、记录和再现部分462、调制/解调电路部分458和音频编解码器459。上述的部件经由总线460彼此连接。

便携式电话机400还包括操作键419、CCD（电荷耦合器件）相机416、液晶显示器单元418、存储部分423、发送和接收电路部分463、天线414、麦克风（mic）421和扬声器417。

如果通过用户的操作将终止通话和电源键置于开状态，则供电电路部分451从电池组向部件供电以将便携式电话机400启动至工作状态。

在由CPU、ROM、RAM等构成的主控制部分450的控制之下，便携式电话机400执行各种操作，诸如音频信号的发送和接收、电子邮件或图像数据的发送和接收、诸如语音呼叫模式或数据通信模式的各种模式下的图像拾取或数据记录。

例如，在语音呼叫模式下，便携式电话机400通过音频编解码器459将由麦克风（mic）421收集的语音信号转换成数字声音数据，通过调制/解调电路部分458执行数字声音数据的扩谱处理，并且通过发送和接收电路部分463执行数字到模拟转换处理和频率转换处理。便携式电话机400经由天线414将通过转换处理获得的发送信号发送到未示出的基站。发送到基站的发送信号（声音信号）经由公共电话网络提供给呼叫相对方的便携式电话机。

另外，例如，在语音呼叫模式下，便携式电话机400通过发送和接收电路部分463放大由天线414接收的接收信号并且还执行频率转换处理和模拟到数字转换处理，通过调制/解调电路部分458执行解扩谱处理并且通过音频编解码器459将接收信号转换成模拟声音信号。便携式电话机400从扬声器417输出通过转换获得的模拟声音信号。

另外，例如，在要在数据通信模式下发送电子邮件的情况下，便携式电话机400通过操作输入控制部分452接收通过操作键419的操作而输入的电子邮件的文本数据。便携式电话机400通过主控制部分450处理文本数据并且通过LCD控制部分455使液晶显示器单元418显示文本数据作为图像。

另外，便携式电话机400通过主控制部分450基于由操作输入控制部分452接收的文本数据、用户指令等生成电子邮件数据。便携式电话机400通过调制/解调电路部分458执行电子邮件数据的扩谱处理并且通过发送和接收电路部分463执行数字到模拟转换处理和频率转换处理。便携式电话机400经由天线414将通过转换处理获得的发送信号发送到未示出的基站。发送到基站的发送信号（电子邮件）经由网络、邮件服务器等被提供给预定目的地。

另一方面，例如，在数据通信模式下接收电子邮件的情况下，便携式电话机400通过发送和接收电路部分463经由天线414接收从基站向其发送的信号，放大该信号并且还执行频率转换处理和模拟到数字转换处理。便携式电话机400通过调制/解调电路部分458执行接收信号的解扩谱处理以恢复原始电子邮件数据。便携式电话机400通过LCD控制部分455使得恢复的电子邮件数据显示在液晶显示器单元418上。

要注意，便携式电话机400还可以通过记录和再现部分462将接收的电子邮件数据记录（存储）到存储部分423中。

这个存储部分423是任意的可重写存储介质。存储部分423可以是诸如RAM或内置型闪存的半导体存储器或者可以是硬盘或者可以是诸如磁盘、磁光盘、光盘、USB存储器或记忆卡的可移动介质。自然地，存储部分423可以是任何其它存储部分。

另外，例如，在要在数据通信模式下发送图像数据的情况下，便携式电话机400通过CCD相机416进行图像拾取生成图像数据。CCD相机416具有诸如镜头和光圈的光学装置和作为光电转换元件的CCD单元，并且拾取图像拾取对象的图像，将接收的光的强度转换成电信号并且生成图像拾取对象的图像的图像数据。根据预定编码方法（例如，MPEG2、MPEG4等）借助图像编码器453经由相机接口部分454对图像数据进行压缩编码以将图像数据转换成编码的图像数据。

便携式电话机400使用上述的图像编码设备51作为执行上述这些处理的图像编码器453。因此，图像编码器453能够减小帧存储器的使用区域并且减小要包括在流信息中的滤波器系数的开销。

要注意，便携式电话机400通过音频编解码器459执行在CCD相机416的图像拾取期间通过麦克风（mic）421收集的语音的模拟到数字转换，并且还同时执行语音的编码。

便携式电话机400根据预定方法通过复用和解复用部分457对从图像编码器453向其提供的编码的图像数据和从音频编解码器459向其提供的数字声音数据进行复用。便携式电话机400通过调制/解调电路部分458执行通过复用获得的复用数据的扩谱处理并且还通过发送和接收电路部分463执行数字到模板转换处理和频率转换处理。便携式电话机400经由天线414将通过转换处理获得的发送信号发送到未示出的基站。发送到基站的发送信号（图像数据）经由网络等被提供给通信相对方。

要注意，在不发送图像数据的情况下，在没有安置图像编码器453的情况下，便携式电话机400也可以通过LCD控制部分455使得由CCD相机416生成的图像数据在液晶显示器单元418上显示。

另外，在例如在数据通信模式下要接收链接到简单网页等的运动图像文件的数据的情况下，便携式电话机400通过发送和接收电路部分463经由天线414接收从基站发送的信号，放大该信号并且还对信号执行频率转换处理和模拟到数字转换处理。便携式电话机400通过调制/解调电路部分458对接收信号执行解扩谱处理以恢复原始复用数据。便携式电话机400通过复用和解复用部分457将复用数据解复用成编码的图像数据和编码的声音数据。

便携式电话机400通过图像解码器456根据与例如MPEG2或MPEG4的预定编码方法对应的解码方法对编码的图像数据进行解码以生成再现的运动图像数据并且经由LCD控制部分455使得再现的运动图像数据在液晶显示器单元418上显示。结果，例如，包括在链接到简单网页的运动图像文件中的视频数据在液晶显示器单元418上显示。

便携式电话机400使用上文描述的图像解码设备101作为执行如上所述的这些处理的图像解码器456。因此，与图像解码设备101的情况类似，图像解码器456能够减少帧存储器的使用区域并且减小要包括在流信息中的滤波器系数的开销。

此时，便携式电话机400通过音频编解码器459将数字声音数据转换成模拟声音信号并且使得模拟声音数据从扬声器417输出。结果，例如，包括在链接到简单网页的视频文件中的声音数据被再现。

要注意，与电子邮件的情况类似，便携式电话机400还可以经由记录和再现部分462将链接到简单网页等的接收数据记录（存储）到存储部分423中。

另外，便携式电话机400通过主控制部分450能够分析由CCD相机416通过图像拾取获得的二维码以获取记录在二维码中的信息。

另外，便携式电话机400能够通过红外通信部分481使用红外线与外部设备进行通信。

通过使用图像编码设备51作为图像编码器453，便携式电话机400能够实现处理速度的提高并且增强编码效率。结果，便携式电话机400能够以更高速度向不同设备提供高编码效率的编码数据（图像数据）。

另外，通过使用图像解码设备101作为图像解码器456，便携式电话机400能够实现处理速度的提高并且增强编码效率。结果，便携式电话机400能够例如从链接到简单网页的视频文件以更高速度获得并显示更高清晰度的解码图像。

要注意，尽管在上文描述中便携式电话机400使用CCD相机416，但是它还可以使用利用CMOS（互补金属氧化物半导体）相机替代CCD相机416的图像传感器（CMOS图像传感器）。另外，在这个实例中，与使用CCD相机416的情况类似，便携式电话机400能够拾取图像拾取对象的图像并且生成图像拾取对象的图像的图像数据。

另外，尽管在上文描述中电子设备被形成为便携式电话机400，但是图像编码设备51和图像解码设备101能够与便携式电话机400的情况类似地应用于具有与便携式电话机400类似的图像拾取功能和通信功能的任何设备，例如PDA（个人数字助理）、智能电话、UMPG（超级移动个人计算机）、网络书或笔记本型个人计算机。

[硬盘记录器的结构的例子]

图24是示出使用应用了本发明的图像编码设备和图像解码设备的硬盘记录器的主要部件的例子的框图。

图24所示的硬盘记录器（HDD记录器）500是保存包括在从卫星、地面上的天线等发送并且由内置的硬盘上的调谐器接收的广播波信号（电视信号）中的广播节目的音频数据和视频数据并且在根据用户的指令的定时将保存的数据提供给用户的设备。

硬盘记录器500例如能够从广播波信号提取音频数据和视频数据，合适地解码音频数据和视频数据并且将它们存储在内置的硬盘上。另外，硬盘记录器500可以例如经由网络从不同设备获取音频数据和视频数据，合适地解码音频数据和视频数据并且将它们存储到内置硬盘上。

另外，硬盘记录器500解码例如记录在内置硬盘上的音频数据和视频数据并且将它们提供给监视器560从而使得在监视器560的屏幕上显示图像。另外，硬盘记录器500能够使音频数据的声音从监视器560输出。

硬盘记录器500对从例如经由调谐器获取的广播波信号提取的音频数据和视频数据或者经由网络从一不同设备获取的音频数据和视频数据进行解码并且将音频数据和视频数据提供给监视器560从而使得视频数据的图像在监视器560的屏幕上显示。硬盘记录器500还可以从监视器560的扬声器输出音频数据的声音。

自然地，能够执行其它操作。

如图24所示，硬盘记录器500包括接收部分521、解调部分522、解复用器523、音频解码器524、视频解码器525和记录器控制器部分526。硬盘记录器500还包括EPG数据存储器527、节目存储器528、工作存储器529、显示转换器530、OSD（同屏显示）控制部分531、显示控制部分532、记录和再现部分533、D/A转换器534和通信部分535。

显示转换器530包括视频编码器541。记录和再现部分533包括编码器551和解码器552。

接收部分521从遥控器（未示出）接收红外信号，将红外信号转换成电信号并且将电信号输出到记录器控制器部分526。记录器控制器部分526例如由微处理器等构成并且根据存储在程序存储器528中的程序执行各种处理。此时，当情况需要时，记录器控制器部分526使用工作存储器529。

通信部分535连接到网络并且经由网络与不同设备执行通信处理。例如，通信部分535由记录器控制器部分526控制，并且与调谐器（未示出）进行通信并且主要地将频道选择控制信号输出到调谐器。

解调部分522对从调谐器向其提供的信号进行解调并且将解调的信号输出到解复用器523。解复用器523将从解调部分522向其提供的数据解复用成音频数据、视频数据和EPG数据并且分别将它们输出到音频解码器524、视频解码器525和记录器控制器部分526。

音频解码器524例如根据MPEG方法对向其输入的音频数据进行解码并且将解码的音频数据输出到记录和再现部分533。视频解码器525例如根据MPEG方法对向其输入的视频数据进行解码并且将解码的视频数据输出到显示转换器530。记录器控制器部分526将向其输入的EPG数据提供给EPG数据存储器527以存储到EPG数据存储器527中。

显示转换器530通过视频编码器541将从视频解码器525或者记录器控制器部分526向其提供的视频数据编码成例如NTSC（国家电视标准协会）制式的视频数据并且将编码的视频数据输出到记录和再现部分533。另外，显示转换器530将从视频解码器525和记录器控制器部分526向其提供的视频数据的屏幕的尺寸转换成与监视器560的尺寸对应的尺寸。显示转换器530还通过视频编码器541将屏幕尺寸已经转换的视频数据转换成NTSC制式的视频数据，将视频数据转换成模拟信号，并且将模拟信号输出到显示控制部分532。

显示控制部分532在记录器控制器部分526的控制之下在从显示转换器530向其输入的视频信号上叠加从OSD（同屏显示）控制部分531输出的OSD信号并且将所得信号输出到监视器560的显示单元以在显示单元上进行显示。

另外，从音频解码器524输出的音频数据由D/A转换器534转换成模拟信号并且提供给监视器560。监视器560从内置的扬声器输出音频信号。

记录和再现部分533具有硬盘作为用于存储视频数据、音频数据等的存储介质。

记录和再现部分533根据MPEG方法通过编码器551对例如从音频解码器524向其提供的音频数据进行编码。另外，记录和再现部分533根据MPEG方法通过编码器551对从显示转换器530的视频编码器541向其提供的视频数据进行编码。记录和再现部分533通过复用器对音频数据的编码数据和视频数据的编码数据进行复用。记录和再现部分533对复用的数据进行信道编码和放大并且通过记录头将所得数据写在硬盘上。

记录和再现部分533通过再现头再现记录在硬盘上的数据，放大再现数据并且通过解复用器将放大的再现数据解复用成音频数据和视频数据。记录和再现部分533根据MPEG方法通过解码器552对音频数据和视频数据进行解码。记录和再现部分533将解码的音频数据进行D/A转换并且将所得音频数据输出到监视器560的扬声器。另外，记录和再现部分533将解码的视频数据进行D/A转换并且将所得数据输出到监视器560的显示器。

记录器控制器部分526基于由经由接收部分521从遥控器接收的红外信号指示的用户指令，从EPG数据存储器527读取最新EPG数据，并且将读取的EPG数据提供给OSD控制部分531。OSD控制部分531产生与输入的EPG数据对应的图像数据并且将图像数据输出到显示控制部分532。显示控制部分532将从OSD控制部分531向其输入的视频数据输出到监视器560的显示单元以在显示单元上显示。结果，EPG（电子节目指南）在监视器560的显示单元上显示。

另外，硬盘记录器500能够获取诸如经由例如互联网的网络从不同设备向其提供的视频数据、音频数据和EPG数据的各种数据。

通信部分535由记录器控制器部分526控制，并且经由网络从不同设备获取诸如视频数据、音频数据和EPG数据的编码数据并且将编码数据提供给记录器控制器部分526。记录器控制器部分526将获取的编码的数据（例如，视频数据和音频数据）提供给记录和再现部分533以存储在硬盘上。此时，当情况需要时，记录器控制器部分526和记录和再现部分533可以执行例如重编码的处理。

另外，记录器控制器部分526对诸如视频数据和音频数据的获取的编码数据进行解码并且将所得视频数据提供给显示转换器530。与从视频解码器525提供的视频数据类似，显示转换器530对从记录器控制器部分526向其提供的视频数据进行处理并且通过显示控制部分532将所得数据提供给监视器560从而该视频数据的图像在监视器560上显示。

另外，记录器控制器部分526可以通过D/A转换器534将解码的音频数据提供给监视器560从而根据图像显示从扬声器输出音频的声音。

另外，记录器控制器部分526对获取的EPG数据的编码数据进行解码并且将解码的EPG数据提供给EPG数据存储器527。

如上所述的这种硬盘记录器500使用图像解码设备101作为内置在视频解码器525、解码器552和记录器控制器部分526中的解码器。因此，与图像解码设备101的情况类似，内置在视频解码器525、解码器552和记录器控制部分526中的解码器能够减小帧存储器的使用区域并且减小要包括在流信息中的滤波器系数的开销。

因此，硬盘记录器500能够实现处理速度的提高并且生成高精度的预测图像。结果，硬盘记录器500能够以更高速度例如从经由调谐器接收的视频数据的编码数据、从记录和再现部分533的硬盘读取的视频数据的编码数据或者经由网络获取的视频数据的编码数据获得更高清晰度的解码图像并且将解码图像显示在监视器560上。

另外，硬盘记录器500使用图像编码设备51作为编码器551。因此，与图像编码设备51的情况类似，编码器551能够减小帧存储器的使用区域并且减小要包括在流信息中的滤波器系数的开销。

因此，硬盘记录器500能够实现处理速度的提高并且提高例如要记录在硬盘上的编码数据的编码效率。结果，硬盘记录器500能够以更高效率和更高速度利用硬盘的存储区域。

要注意，尽管在上文说明中描述了视频数据或音频数据记录在硬盘上的硬盘记录器500，但是自然地，可以使用任何记录介质。例如，与上文描述的硬盘记录器500的情况类似，图像编码设备51和图像解码设备101可以应用于应用硬盘之外的记录介质（例如，闪存、光盘或录像带）的记录器。

[相机的结构的例子]

图25是示出使用应用了本发明的图像解码设备和图像编码设备的相机的主要部件的例子的框图。

图25所示的相机600拾取图像拾取对象的图像并且使图像拾取对象的图像在LCD单元616上显示或者作为图像数据记录在记录介质633之上或之内。

镜头块611使得光（即，图像拾取对象的视频）被引入到CCD/CMOS单元612。CCD/CMOS单元612是使用CCD单元或CMOS单元的图像传感器，并且将接收的光的强度转换成电信号并且将电信号提供给相机信号处理部分613。

相机信号处理部分613将从CCD/CMOS单元612向其提供的电信号转换成色差信号Y、Cr和Cb并且将这些色差信号提供给图像信号处理部分614。在控制器621的控制之下，图像信号处理部分614对从相机信号处理部分613向其提供的图像信号执行预定图像处理或者例如根据MPEG方法通过编码器641对图像信号进行编码。图像信号处理部分614将通过对图像信号进行编码而生成的编码数据提供给解码器615。另外，图像信号处理部分614获取由同屏显示（OSD）单元620生成的显示数据并且将显示数据提供给解码器615。

在上述的处理中，当情况需要时，相机信号处理部分613合适地利用通过总线617连接的DRAM（动态随机存取存储器）618并且使得DRAM 618保持图像数据、通过对图像数据进行编码获得的编码数据等。

解码器615对从图像信号处理部分614向其提供的编码数据进行解码并且将所得图像数据（解码的图像数据）提供给LCD单元616。另外，解码器615将从图像信号处理部分614向其提供的显示数据提供给LCD单元616。LCD单元616合适地合成解码的图像数据的图像与从解码器615向其提供的显示数据的图像并且显示合成的图像。

在控制器621的控制之下，同屏显示单元620经由总线617将由符号、文字或数字或图标形成的菜单屏幕图像的显示数据输出到图像信号处理部分614。

控制器621基于表示用户使用操作部分622发出的指令的内容的信号执行各种处理并且通过总线617控制图像信号处理部分614、DRAM618、外部接口619、同屏显示单元620、介质驱动器623等。在闪存ROM 624中存储了控制器621执行各种处理所需的程序、数据等。

例如，控制器621能够替代图像信号处理部分614或解码器615对存储在DRAM 618内的图像数据进行编码或者对存储在DRAM 618内的编码数据进行解码。此时，控制器621可以根据与图像信号处理部分614或解码器615的编码或解码方法类似的方法执行编码或解码处理，或者可以根据与图像信号处理部分614或解码器615不兼容的方法执行编码或解码处理。

另外，例如，如果从操作部分622发出了开始图像打印的指令，则控制器621从DRAM 618读取图像数据并且将图像数据提供给经由总线617与外部接口619连接的打印机634以由打印机634打印。

另外，例如，如果从操作部分622发出了图像记录指令，则控制器621从DRAM 618读取编码数据并且经由总线617将编码数据提供给加载到介质驱动器623中的记录介质633以存储到记录介质633中。

记录介质633是任意的可读写可移动介质（例如，磁盘、磁光盘、光盘或半导体存储器）。自然地，作为可移动介质的类型的记录介质633的类型也是任意的，并且它可以是磁带装置或者可以是盘或者还可以是记忆卡。自然地，记录介质633可以是非接触IC卡等。

另外，介质驱动器623和记录介质633可以按照由非便携式记录介质等（例如，内置型硬盘驱动器、SSD（固态驱动器）等）构成的方式而彼此集成。

外部接口619例如由USB输入/输出端子构成并且在要执行图像的打印的情况下连接到打印机634。另外，当情况需要时，驱动器631连接到外部接口619，并且当情况需要时，可移动介质632（例如，磁盘、光盘或磁光盘）合适地加载到驱动器631中从而使得从它们读取的计算机程序被安装到闪存ROM 624中。

另外，外部接口619包括连接到预定网络（例如，LAN或互联网）的网络接口。控制器621例如根据来自操作部分622的指令从DRAM 618读取编码数据并且能够将来自外部接口619的编码数据提供给经由网络与之连接的不同设备。另外，控制器621能够通过外部接口619获取从不同设备经由网络提供的编码数据或图像数据并且将获取的数据保持到DRAM 618中或者将获取的数据提供给图像信号处理部分614。

如上所述的这种相机600使用图像解码设备101作为解码器615。因此，与图像解码设备101的情况类似，解码器615能够减小帧存储器的使用区域并且减小要包括在流信息中的滤波器系数的开销。

因此，相机600能够实现更高速度处理并且生成高精度的预测图像。结果，相机600能够例如从由CCD/CMOS单元612生成的图像数据、从DRAM 618读取的视频数据的编码数据或经由网络获取的视频数据的编码数据，以更高速度获取更高清晰度的解码的图像，并且使得解码的图像在LCD单元616上进行显示。

另外，相机600使用图像编码设备51作为编码器641。因此，与图像编码设备51的情况类似，编码器641能够减小帧存储器的使用区域并且减小要包括在流信息中的滤波器系数的开销。

因此，相机600能够实现处理速度的提高并且提高例如要记录在硬盘上的编码数据的编码效率。结果，相机600能够以更高效率以更高速度使用DRAM 618或记录介质633的存储区域。

要注意，可以应用由控制器621执行的图像解码设备101的解码方法。类似地，图像编码设备51的编码方法可以应用于由控制器621执行的编码处理。

另外，由相机600通过图像拾取获得的图像数据可以是运动图像或者可以是静止图像。

自然地，图像编码设备51和图像解码设备101还能够应用于上述的设备以外的设备或系统。

附图标记说明

51图像编码设备、66无损编码部分、75运动预测和补偿部分、816抽头固定滤波器、824抽头固定滤波器、836抽头可变滤波器、846抽头滤波器系数计算部分、854抽头可变滤波器、864抽头滤波器系数计算部分、89运动预测部分、90运动补偿部分、92控制部分、101图像解码设备、112无损解码部分、122运动补偿部分、131固定6抽头滤波器、132固定4抽头滤波器、133可变6抽头滤波器、134可变4抽头滤波器、138运动补偿处理部分、139控制部分

权利要求书(按照条约第19条的修改)

1.一种图像处理设备，包括：

内插滤波器，用于以分数精度内插与编码的图像对应的参考图像的像素；

解码装置，对编码的图像和与编码的图像对应的运动矢量进行解码；

抽头数目确定装置，确定为编码的图像的片的每种类型确定的所述内插滤波器的抽头数目；以及

运动补偿装置，使用由滤波器系数的数目等于由所述抽头数目确定装置确定的抽头数目的所述内插滤波器内插的参考图像和由所述解码装置解码的运动矢量生成预测图像。

2.根据权利要求1的图像处理设备，其中，所述解码装置还对所述内插滤波器的滤波器系数进行解码。

3.根据权利要求1的图像处理设备，还包括滤波器系数计算装置，用于计算当编码对象的图像是B片时使参考图像与预测图像之间的差减小的滤波器系数。

4.根据权利要求1的图像处理设备，其中，所述抽头数目确定装置在编码对象的图像是B片时把所述内插滤波器的抽头数目确定为小于在编码对象的图像是B片之外的任何其它片的情况下的抽头数目的抽头数目。

5.一种图像处理方法，包括由图像处理设备执行的如下步骤：

对编码的图像和与编码的图像对应的运动矢量进行解码；

确定为编码的图像的片的每种类型确定的内插滤波器的抽头数目；以及

使用由滤波器系数的数目等于确定的抽头数目的内插滤波器内插的参考图像和解码的运动矢量生成预测图像。

6.一种使计算机发挥如下部件的作用的程序：

解码装置，对编码的图像和与编码的图像对应的运动矢量进行解码；

抽头数目确定装置，确定为编码的图像的片的每种类型确定的所述内插滤波器的抽头数目；以及

运动补偿装置，使用由滤波器系数的数目等于由所述抽头数目确定装置确定的抽头数目的所述内插滤波器内插的参考图像和由所述解码装置解码的运动矢量生成预测图像。

7.一种图像处理设备，包括：

运动预测装置，执行编码对象的图像与参考图像之间的运动预测以检测运动矢量；

内插滤波器，用于以分数精度内插参考图像的像素；

抽头数目确定装置，基于编码对象的图像的片的类型确定所述内插滤波器的抽头数目；

系数计算装置，使用由所述运动预测装置检测的运动矢量计算由所述抽头数目确定装置确定的抽头数目的所述内插滤波器的滤波器系数，并且将预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数；以及

运动补偿装置，使用由通过所述系数计算装置选择的滤波器系数的所述内插滤波器内插的参考图像和由所述运动预测装置检测的运动矢量生成预测图像。

8.一种图像处理方法，包括由图像处理设备执行的如下步骤：

执行编码对象的图像与参考图像之间的运动预测以检测运动矢量；

基于编码对象的图像的片的类型确定用于以分数精度内插参考图像的像素的内插滤波器的抽头数目；

使用检测的运动矢量计算所确定的抽头数目的内插滤波器的滤波器系数并且将预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数；以及

使用由选择的滤波器系数的内插滤波器内插的参考图像和由运动预测装置检测的运动矢量生成预测图像。

9.一种使计算机用作图像处理设备的程序，所述图像处理设备包括：

运动预测装置，执行编码对象的图像与参考图像之间的运动预测以检测运动矢量；

抽头数目确定装置，基于编码对象的图像的片的类型确定用于以分数精度内插参考图像的像素的内插滤波器的抽头数目；

系数计算装置，使用由所述运动预测装置检测的运动矢量计算由所述抽头数目确定装置确定的抽头数目的所述内插滤波器的滤波器系数，并且将预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数；以及

运动补偿装置，使用由通过所述系数计算装置选择的滤波器系数的所述内插滤波器内插的参考图像和由所述运动预测装置检测的运动矢量生成预测图像。

Claims (9)

1.一种图像处理设备，包括：

内插滤波器，具有可变滤波器系数，用于以分数精度内插与编码的图像对应的参考图像的像素；

解码装置，对编码的图像和与编码的图像对应的运动矢量进行解码；

抽头数目确定装置，确定为编码的图像的片的每种类型确定的所述内插滤波器的抽头数目；以及

运动补偿装置，使用由滤波器系数的数目等于由所述抽头数目确定装置确定的抽头数目的所述内插滤波器内插的参考图像和由所述解码装置解码的运动矢量生成预测图像。

2.根据权利要求1的图像处理设备，其中，所述解码装置还对所述内插滤波器的滤波器系数进行解码。

3.根据权利要求1的图像处理设备，还包括滤波器系数计算装置，用于计算当编码对象的图像是B片时使参考图像与预测图像之间的差减小的滤波器系数。

4.根据权利要求1的图像处理设备，其中，所述抽头数目确定装置在编码对象的图像是B片时把所述内插滤波器的抽头数目确定为小于在编码对象的图像是B片之外的任何其它片的情况下的抽头数目的抽头数目。

5.一种图像处理方法，包括由图像处理设备执行的如下步骤：

对编码的图像和与编码的图像对应的运动矢量进行解码；

确定为编码的图像的片的每种类型确定的所述内插滤波器的抽头数目；以及

使用由滤波器系数的数目等于确定的抽头数目的内插滤波器内插的参考图像和解码的运动矢量生成预测图像。

6.一种使计算机发挥如下部件的作用的程序：

解码装置，对编码的图像和与编码的图像对应的运动矢量进行解码；

抽头数目确定装置，确定为编码的图像的片的每种类型确定的所述内插滤波器的抽头数目；以及

运动补偿装置，使用由滤波器系数的数目等于由所述抽头数目确定装置确定的抽头数目的所述内插滤波器内插的参考图像和由所述解码装置解码的运动矢量生成预测图像。

7.一种图像处理设备，包括：

运动预测装置，执行编码对象的图像与参考图像之间的运动预测以检测运动矢量；

内插滤波器，具有可变滤波器系数，用于以分数精度内插参考图像的像素；

抽头数目确定装置，基于编码对象的图像的片的类型确定所述内插滤波器的抽头数目；

系数计算装置，使用由所述运动预测装置检测的运动矢量计算由所述抽头数目确定装置确定的抽头数目的所述内插滤波器的滤波器系数，并且将预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数；以及

运动补偿装置，使用由通过所述系数计算装置选择的滤波器系数的所述内插滤波器内插的参考图像和由所述运动预测装置检测的运动矢量生成预测图像。

8.一种图像处理方法，包括由图像处理设备执行的如下步骤：

执行编码对象的图像与参考图像之间的运动预测以检测运动矢量；

基于编码对象的图像的片的类型确定具有可变滤波器系数的用于以分数精度内插参考图像的像素的内插滤波器的抽头数目；

使用检测的运动矢量计算所确定的抽头数目的内插滤波器的滤波器系数并且将预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数；以及

使用由选择的滤波器系数的内插滤波器内插的参考图像和由运动预测装置检测的运动矢量生成预测图像。

9.一种使计算机用作图像处理设备的程序，所述图像处理设备包括：

运动预测装置，执行编码对象的图像与参考图像之间的运动预测以检测运动矢量；

抽头数目确定装置，基于编码对象的图像的片的类型确定具有用于以分数精度内插参考图像的像素的可变滤波器系数的内插滤波器的抽头数目；

系数计算装置，使用由所述运动预测装置检测的运动矢量计算由所述抽头数目确定装置确定的抽头数目的所述内插滤波器的滤波器系数，并且将预定的滤波器系数与计算的滤波器系数互相比较以选择要用于内插的滤波器系数；以及

运动补偿装置，使用由通过所述系数计算装置选择的滤波器系数的所述内插滤波器内插的参考图像和由所述运动预测装置检测的运动矢量生成预测图像。

Images