CN102100072B - 图像处理装置和方法 - Google Patents

Abstract

本发明公开能够在没有增加处理负荷的情况下产生高度精确的预测图像的图像处理装置和方法。下述图像从参考帧提取作为运动补偿图像并用作经过滤波处理的输入图像：该图像是通过将作为边缘区域的具有(a)像素的宽度的带状区域与以16×16像素的宏块单位的图像相加而产生的。(a)是根据FIR滤波器的抽头的数目确定的值。使用这种运动补偿图像作为输入图像来执行滤波处理，并且，将16×16像素的预测图像经过滤波的输出图像输出。由加法器电路将预测图像与逆正交变换电路的输出图像相加，并且，作为相加结果的图像用作构成解码帧的宏块。本发明可以应用于执行预测编码的装置和对通过预测编码而编码的信息进行解码的装置。

Description

图像处理装置和方法

技术领域

本发明涉及图像处理装置和方法，特别地，涉及能够在没有增加处理负荷的情况下产生高度精确的预测图像的图像处理装置和方法。 

背景技术

传统上，使用诸如MPEG(运动图片专家组)或H.26x的运动补偿以及诸如离散余弦变换、Karhunen-Loeve变换或小波变换(wavelet transformation)的正交变换的编码方法通常已经用作处理运动图像的情况中的编码方法。在这些运动图像编码方法中，通过利用要执行编码的输入图像信号的特性之中的空间方向和时间方向上的相关性来减少代码量。 

例如，在H.264中，单向预测或双向预测用于利用时间方向上的相关性来产生内帧，该内帧是作为内帧预测(帧内预测)的目标的帧。内帧预测基于不同时刻的帧产生预测图像。 

图1是示出单向预测的例子的示图。 

如图1所示，在通过单向预测产生要被编码的帧P₀的情况下，使用在相对于当前时刻的时间上过去的或未来的时刻的被编码的帧作为参考帧，执行运动补偿，该帧P₀是要被编码的当前时刻的帧。使用时间方向上的相关性，对预测图像和实际图像之间的残差(residual)进行编码，从而能够减少代码量。参考帧信息和运动向量分别用作指定参考帧的信息和指定参考帧的要被参考的位置的信息，并且，将这些信息从编码侧发送到解码侧。 

这里，参考帧的数目并不一定是1。例如，在H.264中，多个帧可以用作参考帧。当在时间上靠近要被编码的帧P₀的两个帧用作参考帧R₀和R₁时，如图1所示，能够从参考帧R₀或R₁中的任意像素的 像素值预测要被编码的帧P₀中的任意宏块的像素值。 

在图1中的各个帧的内部示出的框表示宏块。当假设作为预测目标的要被编码的帧P₀中的宏块是宏块MB_P0时，与宏块MB_P0相对应的参考帧R₀中的宏块是由运动向量MV₀指定的宏块MB_R0。此外，参考帧R₁中的宏块是由运动向量MV₁指定的宏块MB_R1。 

当假设宏块MB_R0和MB_R1的像素值(运动补偿图像的像素值)是MC₀(i，j)和MC₁(i，j)时，由于任何运动补偿图像的像素值用作单向预测中的预测图像的像素值，所以预测图像Pred(i，j)由下面的公式(1)表达。(i，j)表示宏块中的像素的相对位置，并且，满足0≤i≤16和0≤j≤16。在公式(1)中，“||”表示取MC₀(i，j)和MC₁(i，j)中的任何一个的值。 

[数学式1] 

Pred(i，j)＝MC₀(i，j)||MC₁(i，j)…(1) 

此外，可以将16×16像素的单个宏块分割为例如具有16×8像素的尺寸的较小块，并且可以通过参考不同的参考帧来对通过分割形成的各个块执行运动补偿。通过发送小数精度(decimal precision)的运动向量而不是整数精度(integer precision)的运动向量，以及通过使用按照标准定义的FIR滤波器执行内插，在被参考的相应位置周围的像素的像素值能够用于运动补偿。 

图2是示出双向预测的例子的示图。 

如图2所示，在通过双向预测产生要被编码的帧B₀的情况下，使用在相对于当前时刻的时间上过去的或未来的时刻的被编码的帧作为参考帧，执行运动补偿，该帧B₀是要被编码的当前时刻的帧。使用多个编码帧作为参考帧，并且，使用这些帧之间的相关性，对预测图像和实际图像之间的残差进行编码，从而能够减少代码量。在H.264中，还可以使用多个过去的帧和多个未来的帧作为参考帧。 

如图2所示，当在要被编码的帧B₀充当基准的情况下使用一个过去的帧和一个未来的帧作为参考帧L₀和L₁时，能够基于参考帧L₀和L₁的任意像素的像素值来预测要被编码的帧B₀中的任意宏块的像 素值。 

在图2的例子中，与要被编码的帧B₀中的宏块MB_B0相对应的参考帧L₀中的宏块是由运动向量MV₀指定的宏块MB_L0。此外，与要被编码的帧B₀中的宏块MB_B0相对应的参考帧L₁中的宏块是由运动向量MV₁指定的宏块MB_L1。 

当假设宏块MB_L0和MB_L1的像素值分别是MC₀(i，j)和MC₁(i，j)时，预测图像Pred(i，j)的像素值Pred(i，j)能够作为这些像素值的平均值而获得，如下面公式(2)所表达的。 

[数学式2] 

Pred(i，j)＝(MC₀(i，j)+MC₁(i，j))/2…(2) 

在使用单向预测的前述的运动补偿中，通过提高运动向量的精度并减小宏块的尺寸以减少相对于实际图像的残差来提高预测图像的精度，从而提高编码效率。 

此外，在使用双向预测的运动补偿中，时间上靠近的参考帧的像素的像素值的平均值用作预测图像的像素的像素值，从而从概率的角度来实现预测残差的稳定的减少。引用列表 

非专利文献 

NPL 1：“Improving Resolution by Image Registration”，MICHAL IRANI AND SHMUEL PELEG，Department of ComputerScience，The Hebrew University of Jerusalem，91904 Jerusalem，Israel，Communicated by Rama Chellapa，Received June 16，1989；accepted May 25，1990(“通过图像配准提高分辨率”，MICHALIRANI和SHMUEL PELEG，计算机系，耶路撒冷希伯来大学，91904，耶路撒冷，以色列，由Rama Chellapa联络，1989年6月16日收到；1990年5月25日接受) 

发明内容

技术问题 

在传统的单向预测的情况中，即使当能够选择多个参考帧时，仍 必须选择性地使用参考帧中的任何一个的像素值作为要被编码的帧的像素值。因此，由于未被选择的参考帧不用于运动补偿，所以，没有充分地使用参考帧和要被编码的帧之间的时间相关性，从提高编码效率的角度来看，存在很多有待改进的余地。 

此外，在传统的双向预测的情况中，两个参考帧的像素值的平均值用作要被编码的帧的像素值，从而执行时间的低通滤波处理，并且，从预测图像失去高频分量。结果，由于不能对包含高频分量的残差信号(residual signal)进行编码，所以通过解码获得的图像不包含高频分量，并且，分辨率降低了。 

鉴于这些情况而作出了本发明，本发明针对在没有增加处理负荷的情况下能够产生高度精确的预测图像。解决问题的方案 

根据本发明的一个方面的图像处理装置包括：确定部件，用于根据用于滤波处理的滤波器的抽头(tap)的数目来确定带区域的宽度方向上的像素的数目，该带区域位于包含作为被解码的参考帧的块的参考块的宏块之外，并且与该参考块接触；获得部件，用于在参考块与包含该参考块的宏块的外围接触的情况下从参考帧获得与由确定部件确定的像素的数目相对应的带区域和参考块，该参考块是与构成经过滤波处理的图像的块相对应的参考帧的块；以及滤波部件，用于对通过获得部件获得的带区域和参考块的图像执行滤波处理。 

如果参考块不与包含该参考块的宏块的外围接触，则获得部件可以从参考帧获得参考块。 

确定部件可以确定等于下述最大整数的像素的数目是带区域的宽度方向上的像素的数目：该最大整数等于或小于通过将用于滤波处理的滤波器的抽头的数目除以2而获得的值。 

滤波部件可以具有：第一滤波部件，用于对多个图像的差分图像执行低通滤波；第二滤波部件，用于对通过由第一滤波部件执行的低通滤波获得的图像执行高通滤波；以及加法部件，用于将通过由第一滤波部件执行的低通滤波获得的图像和通过由第二滤波部件执行的高通滤波获得的图像与所述多个图像中的任何一个相加，从而产生以 宏块为单位的预测图像。 

图像处理装置还可以包括：存储部件，用于将通过以构成帧的宏块为单位执行的解码处理获得的被解码的帧作为参考帧存储。获得部件可以从存储于存储部件中的参考帧获得参考块和带区域。 

图像处理装置还可以包括：指定部件，用于基于运动向量指定参考块。 

滤波器可以是FIR滤波器。 

根据本发明的一个方面的图像处理方法包括：确定步骤，根据用于滤波处理的滤波器的抽头的数目来确定带区域的宽度方向上的像素的数目，该带区域位于包含作为被解码的参考帧的块的参考块的宏块之外，并且与该参考块接触；获得步骤，在参考块与包含该参考块的宏块的外围接触的情况下从参考帧获得与在确定步骤中确定的像素的数目相对应的带区域和参考块，该参考块是与构成经过滤波处理的图像的块相对应的参考帧的块；以及滤波步骤，对在获得步骤中获得的参考块和带区域的图像执行滤波处理。 

在本发明的一个方面中，根据用于滤波处理的滤波器的抽头的数目来确定带区域的宽度方向上的像素的数目，该带区域位于包含作为被解码的参考帧的块的参考块的宏块之外，并且与该参考块接触；在参考块与包含该参考块的宏块的外围接触的情况下从参考帧获得与确定的像素的数目相对应的带区域和参考块，该参考块是与构成经过滤波处理的图像的块相对应的参考帧的块；并且对获得的参考块和带区域的图像执行滤波处理。 

本发明的有益效果 

根据本发明的一个方面，能够在不增加处理负荷的情况下产生高度精确的预测图像。 

附图说明

图1是示出单向预测的例子的示图。 

图2是示出双向预测的例子的示图。 

图3是根据本发明实施例的解码装置的配置例子的框图。 

图4是示出第三预测模式的概念的示图。 

图5是示出图3中的运动预测/补偿电路的配置例子的框图。 

图6是示出参考帧的例子的示图。 

图7是示出参考帧的另一例子的示图。 

图8是示出图5中的滤波电路的配置例子的框图。 

图9是用于解释由解码装置执行的解码处理的流程图。 

图10是用于解释在图9中的步骤S9中执行的运动预测/补偿处理的流程图。 

图11是示出编码装置的配置例子的框图。 

图12是示出图11中的模式确定电路的配置例子的框图。 

图13是示出图11中的运动预测/补偿电路的配置例子的框图。 

图14是用于解释由编码装置执行的编码处理的流程图。 

图15是用于解释在图14中的步骤S58中执行的模式确定处理的流程图。 

图16是用于解释在图14中的步骤S61中执行的运动预测/补偿处理的流程图。 

图17是示出滤波电路的另一配置例子的框图。 

图18是示出滤波电路的另一配置例子的框图。 

图19是示出使用三个参考帧的情况的例子的示图。 

图20是示出在使用三个参考帧的情况中的滤波电路的配置例子的框图。 

图21是示出像素的内插的例子的示图。 

图22是示出使用添加有边缘区域(margin area)的运动补偿图像的处理的概念的示图。 

图23是示出运动补偿图像的例子的示图。 

图24是示出图5中的预测电路的配置例子的框图。 

图25是用于解释预测电路的运动补偿处理的流程图。 

图26是示出分割要被解码的宏块的例子的示图。 

图27是示出参考帧的例子的示图。 

图28是示出构成图27中的宏块的块的例子的示图。 

图29是示出边缘区域的例子的示图。 

图30是示出边缘区域的例子的示图。 

图31是示出边缘区域的例子的示图。 

图32是示出边缘区域的例子的示图。 

图33是示出边缘区域的例子的示图。 

图34是示出边缘区域的例子的示图。 

图35是示出边缘区域的例子的示图。 

图36是示出边缘区域的例子的示图。 

图37是示出运动补偿图像的例子的示图。 

图38是FIR滤波器的例子的示图。 

图39是示出滤波处理的例子的示图。 

图40是示出通过使用由图8中的滤波电路产生的预测图像执行编码而获得的结果的示图。 

图41是示出通过使用由图8中的滤波电路产生的预测图像执行编码而获得的另一结果的示图。 

图42是示出个人计算机的配置例子的框图。 

图43是示出应用本发明的电视接收机的主要配置例子的框图。 

图44是示出应用本发明的移动电话设备的主要配置例子的框图。 

图45是示出应用本发明的硬盘记录器的主要配置例子的框图。 

图46是示出应用本发明的照相机的主要配置例子的框图。 

具体实施方式

图3是根据本发明实施例的解码装置1的配置例子的框图。 

把由将在下面描述的编码装置压缩和编码的图像信息经由线缆、网络或可移动介质输入至解码装置1。例如，压缩的图像信息是根据H.264标准压缩和编码的图像信息。 

存储缓冲器11顺序地存储作为压缩的图像信息输入的位流。在必要的时候，存储在存储缓冲器11中的信息由无损耗解码电路12按照特定单位(诸如构成帧的宏块)的图像的单位读取。在H.264标准中，不仅可以按照16×16像素的宏块的单位而且可以按照通过进一步分割宏块而获得的8×8像素或4×4像素的块的单位执行处理。 

无损耗解码电路12对从存储缓冲器11读取的图像执行与编码方法相对应的解码处理，例如，可变长度解码处理或算术解码处理。无损耗解码电路12将通过解码处理获得的量化变换系数输出到逆量化电路(dequantization circuit)13。 

此外，无损耗解码电路12基于在要被解码的图像的头部中包含的识别标志来识别该图像是帧内编码图像还是帧间编码图像。如果无损耗解码电路12判定要被解码的图像是帧内编码图像，则无损耗解码电路12将在图像的头部中存储的帧内预测模式信息输出到帧内预测电路22。帧内预测模式信息包含关于帧内预测的信息，例如，用作处理单位的块的尺寸。 

如果无损耗解码电路12判定要被解码的图像是帧间编码图像，则无损耗解码电路12将在图像的头部中存储的识别标志和运动向量输出到运动预测/补偿电路21。使用识别标志，可以识别用于通过帧间预测产生预测图像的预测模式。例如，按照宏块或帧的单位设置识别标志。 

作为预测模式，除了图1中的单向预测的模式和图2中的双向预测的模式以外，还预备有第三预测模式，用于通过对从在一个或两个时间方向上排列的多个参考帧提取的运动补偿图像执行滤波来产生预测图像。 

图4是示出第三预测模式的概念的示图。 

在图4的例子中，在当前帧(预测帧)的时刻充当基准的情况下，在时间上一个时间单位之前的帧被视为参考帧R₀，并且，在参考帧R₀之前的一个时间单位的帧被视为参考帧R₁。在这种情况下，根据第三预测模式，将从参考帧R₀和R₁提取的运动补偿图像MC₀和MC₁输入至滤波电路，并且，从滤波电路输出的图像的像素值被视为作为目标宏块的预测图像的像素值。 

在下文中，这样的预测模式被简称为单向预测模式：在该预测模式中，从在一个方向上排列的多个参考帧提取的任何运动补偿图像的像素值被视为预测图像的像素值，如上面参照图1所述。此外，这样的预测模式被简称为双向预测模式：在该预测模式中，从在两个方向上排列的多个参考帧提取的运动补偿图像的像素值的平均值被视为预测图像的像素值，如上面参照图2所述。 

图4所示的第三预测模式被称为滤波预测模式，在该第三预测模式中，通过对从在一个方向或两个方向上排列的多个参考帧提取的各个运动补偿图像执行滤波来获得预测图像的像素值。下面将详细地描述滤波预测模式。 

返回参照图3，逆量化电路13按照与在编码侧使用的量化方法相对应的方法对从无损耗解码电路12供应的量化变换系数执行逆量化。逆量化电路13将通过执行逆量化而获得的变换系数输出至逆正交变换电路14。 

逆正交变换电路14使用与在编码侧使用的正交变换方法(诸如离散余弦变换或Karhunen-Loeve变换)相对应的方法，对从逆量化电路13供应的变换系数执行四阶逆正交变换，并且，将所获得的图像输出至加法器电路15。 

加法器电路15将从逆正交变换电路14供应的解码图像和经由开关23从运动预测/补偿电路21或帧内预测电路22供应的预测图像组合，并且，将合成图像输出至去块滤波器(deblocking filter)16。 

去块滤波器16去除从加法器电路15供应的图像中包含的块噪声，并且输出去除了块噪声的图像。从去块滤波器16输出的图像被 供应给重排缓冲器(rearrangement buffer)17和帧存储器19。 

重排缓冲器17临时存储从去块滤波器16供应的图像。例如，重排缓冲器17从存储于其中的以宏块为单位的图像产生各个帧，以诸如显示顺序的特定顺序对产生的图像进行重排，并且，将它们输出至D/A(数字/模拟)转换器电路18。 

D/A转换器电路18对从重排缓冲器17供应的各个帧执行D/A转换，并且将各个帧的信号输出到外部。 

帧存储器19临时存储从去块滤波器16供应的图像。存储于帧存储器19中的信息经由开关20被供应给运动预测/补偿电路21或帧内预测电路22。 

在使用帧间预测产生预测图像的情况中，开关20连接至端子a₁，在使用帧内预测产生预测图像的情况中，开关20连接至端子b₁。例如，由控制电路31控制开关20的切换。 

运动预测/补偿电路21根据从无损耗解码电路12供应的识别标志确定预测模式，并且，根据预测模式从存储于帧存储器19中的被解码的帧之中选择要用作参考帧的帧。运动预测/补偿电路21基于从无损耗解码电路12供应的运动向量从构成参考帧的宏块之中确定对应于目标预测图像的宏块，并且提取所确定的宏块，作为运动补偿图像。运动预测/补偿电路21根据预测模式从运动补偿图像的像素值获得预测图像的像素值，并且将获得了像素值的预测图像经由开关23输出至加法器电路15。 

帧内预测电路22根据从无损耗解码电路12供应的帧内预测模式信息执行帧内预测，以产生预测图像。帧内预测电路12将产生的预测图像经由开关23输出至加法器电路15。 

如果由运动预测/补偿电路12产生预测图像，则开关23连接至端子a₂，如果由帧内预测电路22产生预测图像，则开关23连接至端子b₂。例如，同样地，由控制电路31控制开关23的切换。 

控制电路31切换开关20和23的连接，并且控制解码装置1的整个操作。可以由控制电路31识别要被处理的图像是帧内编码图像 还是帧间编码图像。 

图5是示出图3中的运动预测/补偿电路21的配置例子的框图。 

如图5所示，运动预测/补偿电路21由预测模式确定电路41、单向预测电路42、双向预测电路43、预测电路44和滤波电路45构成。将从无损耗解码电路12供应的运动向量和识别标志输入至预测模式确定电路41。 

预测模式确定电路41根据从无损耗解码电路12供应的识别标志确定预测模式。预测模式确定电路41在确定使用单向预测执行预测图像的产生时将运动向量输出至单向预测电路42，在确定使用双向预测执行预测图像的产生时将运动向量输出至双向预测电路43。此外，预测模式确定电路41在确定使用滤波预测执行预测图像的产生时将运动向量输出至预测电路44。 

以这样的方式，为了能够识别滤波预测，可以将与在传统的H.264标准中定义的表示单向预测的值和表示双向预测的值不同的值设置为识别标志的值。可替换地，为了减少信息量，可以通过预定的方法来确定预测模式，而不是根据识别标志来确定预测模式。 

单向预测电路42将在一个时间方向上排列的多个帧视为参考帧，并且基于运动向量确定与预测图像相对应的参考帧中的宏块，如图1所示。此外，单向预测电路42从帧存储器19读取各个参考帧中的确定的宏块作为运动补偿图像，并且使用任何运动补偿图像的像素值作为预测图像的像素值来产生预测图像。单向预测电路42将预测图像输出至加法器电路15。作为由单向预测电路42执行的单向预测，例如，使用在H.264标准中定义的单向预测。 

双向预测电路43将在两个时间方向上排列的多个帧视为参考帧，并且基于运动向量确定与预测图像相对应的参考帧中的宏块，如图2所示。此外，双向预测电路43从帧存储器19读取各个参考帧中的确定的宏块作为运动补偿图像，并且使用读取的运动补偿图像的像素值的平均值作为预测图像的像素值来产生预测图像。双向预测电路43将预测图像输出至加法器电路15。作为由双向预测电路43执行的 双向预测，例如，使用在H.264标准中定义的双向预测。 

预测电路44将在一个或两个时间方向上排列的多个帧确定为参考帧。要用作参考帧的帧可以是预定的，或者可以由与识别标志一起从编码侧发送的信息指定。 

图6是示出参考帧的例子的示图。 

在图6中的例子中，与上面参照图4描述的例子一样，在预测帧的时刻充当基准的情况下，在时间上一个时间单位之前和两个时间单位之前的两个帧被视为参考帧。在这两个参考帧之中，更靠近预测帧且在预测帧之前的一个时间单位的帧被视为参考帧R₀，并且，在参考帧R₀之前的一个时间单位的帧被视为参考帧R₁。 

图7是示出参考帧的另一例子的示图。 

在图7中的例子中，在预测帧的时刻充当基准的情况下，在时间上一个时间单位之前和一个时间单位之后的两个帧被视为参考帧。在这两个参考帧之中，在预测帧之前的一个时间单位的帧被视为参考帧L₀，并且，在预测帧之后的一个时间单位的帧被视为参考帧L₁。 

以这样的方式，在滤波预测中，在一个时间方向排列的多个帧或者在两个方向上排列的多个帧用作参考帧。 

此外，基于从预测模式确定电路41供应的运动向量，预测电路44确定在以图6或图7中所示的方式确定的参考帧中的被解码的宏块之中的对应于预测图像的宏块。 

预测电路44从帧存储器19读取各个参考帧中的确定的宏块作为运动补偿图像，并且将读取的运动补偿图像输出至滤波电路45。运动向量可以不按照16×16像素的宏块的单位执行，而是按照通过进一步分割宏块获得的块的单位执行。例如，以宏块为单位的图像被输入至滤波电路45。在图5中，从预测电路44向着滤波电路45延伸的两个箭头的图示表示供应两个运动补偿图像。 

滤波电路45接收从预测电路44供应的运动补偿图像并对其执行滤波，并且将通过执行滤波获得的预测图像输出至加法器电路15。 

图8是示出滤波电路45的配置例子的框图。在具有图8的配置 的滤波电路45中，对时间域中的信号执行滤波。 

如图8所示，滤波电路45由差分计算电路51、低通滤波器电路52、增益调节电路53、高通滤波器电路54、增益调节电路55、加法器电路56和加法器电路57构成。从预测电路44供应的运动补偿图像MC₀被输入至差分计算电路51和加法器电路57，运动补偿图像MC₁被输入至差分计算电路51。 

例如，在使用单向预测产生预测图像的情况中，如图6所示，被认为与预测图像具有较高的相关性的、从参考帧R₀提取的图像被视为运动补偿图像MC₀，从参考帧R₁提取的图像被视为运动补偿图像MC₁。从参考帧R₀提取的图像可以被视为运动补偿图像MC₁，并且，从参考帧R₁提取的图像可以被视为运动补偿图像MC₀。 

另一方面，例如，在使用双向预测产生预测图像的情况中，如图7所示，从一个时间单位之前的参考帧L₀提取的图像被视为运动补偿图像MC₀，从一个时间单位之后的参考帧L₁提取的图像被视为运动补偿图像MC₁。从参考帧L₀提取的图像可以被视为运动补偿图像MC₁，并且，从参考帧L₁提取的图像可以被视为运动补偿图像MC₀。 

差分计算电路51计算运动补偿图像MC₀和运动补偿图像MC₁之间的差分，并且将差分图像输出至低通滤波器电路52。差分图像D由下面的公式(3)表达。 

[数学式3] 

D(i，j)＝MC₀(i，j)-MC₁(i，j)····(3) 

在公式(3)中，(i，j)表示运动补偿图像中的像素的相对位置。当要按照16×16像素的宏块的单位执行处理时，满足0≤i≤16和0≤j≤16。以下同样是这样。 

低通滤波器电路52具有FIR滤波器电路。低通滤波器电路52对从差分计算电路51供应的差分图像D执行低通滤波，并且，将获得的图像输出到增益调节电路53和高通滤波器电路54。作为通过执行低通滤波获得的图像的差分图像D′由下面的公式(4)表达。在公式(4)中，LPF(X)表示使用二维FIR滤波器对输入图像X执行低通滤波。 

[数学式4] 

D′＝LPF(D)····(4) 

增益调节电路53调节从低通滤波器电路52供应的差分图像D′的增益，并且将调节了增益的图像输出至加法器电路56。增益调节电路53的输出图像X(i，j)由下面的公式(5)表达。 

[数学式5] 

X(i，j)＝αD′(i，j)····(5) 

高通滤波器电路54具有FIR滤波器电路。高通滤波器电路54对从低通滤波器电路52供应的差分图像D′执行高通滤波，并且将获得的图像输出至增益调节电路55。作为通过执行高通滤波获得的图像的差分图像D″由下面的公式(6)表达。在公式(6)中，HPF(X)表示使用二维FIR滤波器对输入图像X执行高通滤波。 

[数学式6] 

D″＝HPF(D′)····(6) 

增益调节电路55调节从高通滤波器电路54供应的差分图像D″的增益，并且将调节了增益的图像输出至加法器电路56。增益调节电路55的输出图像Y(i，j)由下面的公式(7)表达。 

[数学式7] 

Y(i，j)＝βD″(i，j)····(7) 

作为公式(5)中的α和公式(7)中的β的值，例如，选择值α＝0.8和β＝0.2，但是，可以使用其它的值，以便提高预测图像的精度。此外，可以根据输入序列的性质适应性地改变这些值。 

加法器电路56将调节了增益的图像X(i，j)和图像Y(i，j)相加，并且输出通过相加获得的图像。加法器电路56的输出图像Z(i，j)由下面的公式(8)表达。 

[数学式8] 

Z(i，j)＝X(i，j)+Y(i，j)····(8) 

输出图像Z(i，j)表示可以从运动补偿图像MC₀和运动补偿图像MC₁之间的差分(即，其间的相关性)获得的图像的高频分量。 

加法器电路57将从加法器电路56供应的输出图像Z(i，j)与运动补偿图像MC₀相加，并且将获得的图像作为预测图像输出至加法器电路15。作为加法器电路57的最终输出的预测图像S(i，j)由下面的公式(9)表达。 

[数学式9] 

S(i，j)＝MC₀(i，j)+Z(i，j)····(9) 

以这样的方式，根据滤波预测模式，产生通过将表示高频分量的图像与运动补偿图像MC₀相加而获得的图像，作为预测图像。该预测图像与在仅仅执行双向预测的情况中获得的预测图像相比包含更大量的高频分量。如上所述，由于作为像素值获得多个运动补偿图像的像素值的平均值，所以在通过执行双向预测产生的预测图像中失去了高频分量。 

此外，由于在加法器电路15中将包含大量的高频分量的预测图像与解码图像相加，所以最终从解码装置1输出的图像是包含大量的高频分量的高分辨率图像。 

此外，与仅仅执行单向预测的情况相比，能够更加有效地使用图像的时间相关性来产生预测图像。如上所述，因为使用多个运动补偿图像中的任何一个的像素值，所以通过单向预测产生的预测图像不被视为通过充分地使用图像的时间相关性而产生的图像。 

现在，将描述由具有前述的配置的解码装置1执行的处理。 

首先，将参照图9中的流程图描述由解码装置1执行的解码处理。 

例如，当无损耗解码电路12从存储于存储缓冲器11中的信息读取诸如16×16像素的宏块的特定尺寸的图像时，开始图9中的处理。图9中的各个步骤中的处理在必要的时候与另一步骤中的处理并行地执行或者通过改变顺序来执行。在下面描述的各个流程图中的各个步骤中的处理中同样是这样。 

在步骤S1中，无损耗解码电路12对从存储缓冲器11读取的图像执行解码处理，并且将量化的变换系数输出到逆量化电路13。此外，如果要被解码的图像是帧内编码图像，则无损耗解码电路12将帧内 预测模式信息输出至帧内预测电路22，并且，如果要被解码的图像是帧间编码图像，则无损耗解码电路12将运动向量和识别标志输出至运动预测/补偿电路21。 

在步骤S2中，逆量化电路13按照与在编码侧使用的量化方法相对应的方法执行逆量化，并且，将变换系数输出至逆正交变换电路14。 

在步骤S3中，逆正交变换电路14对从逆量化电路13供应的变换系数执行逆正交变换，并且将获得的图像输出至加法器电路15。 

在步骤S4中，加法器电路15将从逆正交变换电路14供应的解码图像和从运动预测/补偿电路21或从帧内预测电路22供应的预测图像组合，并且，将合成图像输出至去块滤波器16。 

在步骤S5中，去块滤波器16执行滤波以去除合成图像中包含的块噪声，并且输出去除了块噪声的图像。 

在步骤S6中，帧存储器19临时存储从去块滤波器16供应的图像。 

在步骤S7中，控制电路31判定目标图像是否为帧内编码图像。 

如果在步骤S7中判定目标图像是帧内编码图像，则帧内预测电路22在步骤S8中执行帧内预测以产生预测图像，并且将产生的预测图像输出至加法器电路15。 

另一方面，如果在步骤S7中判定目标图像不是帧内编码图像，即为帧间编码图像，则在步骤S9中由运动预测/补偿电路21执行运动预测/补偿处理。通过执行运动预测/补偿处理产生的预测图像被输出至加法器电路15。下面将参照图10的流程图描述运动预测/补偿处理。 

在步骤S10中，控制电路31判定对一个完整的帧中的宏块是否执行了前述处理。如果控制电路31判定对一个完整的帧中的宏块尚未执行该处理，则从步骤S1开始对另一宏块重复该处理。 

另一方面，如果在步骤S10中判定对一个完整的帧中的宏块执行了该处理，则重排缓冲器17在步骤S11中根据由控制电路31执行的控制将产生的帧输出至D/A转换器电路18。 

在步骤S12中，D/A转换器电路18对从重排缓冲器17供应的帧 执行D/A转换，并且将模拟信号输出至外部。对各个帧执行前述处理。 

接下来，将参照图10中的流程图描述在图9的步骤S9中执行的运动预测/补偿处理。 

在步骤S21中，运动预测/补偿电路21的预测模式确定电路41判定从无损耗解码电路12供应的识别标志是否表示将要在滤波预测模式中执行处理。 

如果在步骤S21中判定识别标志不表示将要在滤波预测模式中执行处理，则在步骤S22中执行单向预测或双向预测，以产生预测图像。 

也就是说，如果识别标志表示将要在单向预测模式中执行处理，则运动向量从预测模式确定电路41被供应到单向预测电路42，并且，在单向预测电路42中执行单向预测。此外，如果识别标志表示将要在双向预测模式中执行处理，则运动向量从预测模式确定电路41被供应到双向预测电路43，并且，在双向预测电路43中执行双向预测。在预测图像被输出到加法器电路15之后，该处理返回到图9中的步骤S9，并且执行后续的处理。 

另一方面，如果在步骤S21中判定识别标志表示将要在滤波预测模式中执行处理，则预测电路44在步骤S23中从多个相应的参考帧提取运动补偿图像并将它们输出至滤波电路45。运动向量从预测模式确定电路41被供应到预测电路44，并且使用它们来提取运动补偿图像。 

在步骤S24中，滤波电路45的差分计算电路51计算运动补偿图像MC₀和运动补偿图像MC₁之间的差分，并且将差分图像输出至低通滤波器电路52。 

在步骤S25中，低通滤波器电路52对从差分计算电路51供应的差分图像执行低通滤波，并且，将获得的图像输出到增益调节电路53和高通滤波器电路54。 

在步骤S26中，增益调节电路53调节从低通滤波器电路52供应的图像的增益，并且将调节了增益的图像输出至加法器电路56。 

在步骤S27中，高通滤波器电路54对从低通滤波器电路52供应的差分图像执行高通滤波，并且将获得的图像输出至增益调节电路55。 

在步骤S28中，增益调节电路55调节从高通滤波器电路54供应的差分图像的增益，并且将调节了增益的图像输出至加法器电路56。 

在步骤S29中，加法器电路56将从增益调节电路53供应的图像和从增益调节电路55供应的图像相加，以获得图像的高频分量。获得的高频分量从加法器电路56被供应到加法器电路57。 

在步骤S30中，加法器电路57将从加法器电路56供应的图像(高频分量)与运动补偿图像MC₀相加，并且将获得的图像作为预测图像输出至加法器电路15。其后，该处理返回到图9中的步骤S9，并且执行后续的处理。 

以这样的方式，使用通过滤波预测产生的预测图像来执行解码，从而可以获得高分辨率解码图像。 

接下来，将描述该装置在编码侧的配置和操作。 

图11是示出编码装置101的配置例子的框图。通过由编码装置101执行的编码而获得的压缩图像信息被输入至图3中的编码装置1。 

A/D转换器电路111对输入信号执行A/D转换，并且将图像输出至重排缓冲器112。 

重排缓冲器112根据压缩图像信息的GOP(图片组)结构执行帧的重排，并且按照诸如宏块的特定单位输出图像。从重排缓冲器112输出的图像被供应给加法器电路113、模式确定电路123、运动预测/补偿电路125和帧内预测电路126。 

加法器电路113获得从重排缓冲器112供应的图像和经由开关127供应的、且由运动预测/补偿电路125或帧内预测电路126产生的预测图像之间的差，并且将残差输出至正交变换电路114。随着预测图像与原始图像越相似，并且，随着这里获得的残差越小，分配给残差的代码量就越小，从而编码效率高。 

正交变换电路114对从加法器电路113供应的残差执行诸如离散 余弦变换或Karhunen-Loeve变换的正交变换，并且，将通过执行正交变换获得的变换系数输出至量化电路115。 

量化电路115根据由速率控制电路(rate control circuit)118执行的控制对从正交变换电路114供应的变换系数进行量化，并且输出该量化的变换系数。由量化电路115量化的变换系数被供应到无损耗编码电路116和逆量化电路119。 

无损耗编码电路116通过执行诸如可变长度编码或算术编码的无损耗编码来压缩从量化电路115供应的变换系数，并且将该信息输出到存储缓冲器117。 

此外，无损耗编码电路116根据从模式确定电路123供应的信息设置识别标志的值，并且在图像的头部中描述识别标志。基于由无损耗编码电路116描述的识别标志，在上述的解码装置1中确定预测模式。 

无损耗编码电路116还在图像的头部中描述从运动预测/补偿电路125或帧内预测电路126供应的信息。从运动预测/补偿电路125供应在执行帧间预测时检测到的运动向量等，并且，从帧内预测电路126供应关于应用的帧内预测模式的信息。 

存储缓冲器117临时存储从无损耗编码电路116供应的信息，并且将它作为压缩图像信息在特定的定时输出。存储缓冲器117将关于产生的代码的量的信息输出至速率控制电路118。 

速率控制电路118基于从存储缓冲器117输出的代码的量来计算量化尺度，并且控制量化电路115，从而以计算出的量化尺度执行量化。 

逆量化电路119对由量化电路115量化的变换系数执行逆量化，并且，将变换系数输出至逆正交变换电路120。 

逆正交变换电路120对从逆量化电路119供应的变换系数执行逆正交变换，并且将获得的图像输出至去块滤波器121。 

去块滤波器121去除在局部解码的图像中出现的块噪声，并且将去除了块噪声的图像输出至帧存储器122。 

帧存储器122存储从去块滤波器121供应的图像。在必要的时候，由模式确定电路123读取存储于帧存储器122中的图像。 

模式确定电路123基于存储于帧存储器122中的图像和从重排缓冲器112供应的原始图像确定要执行帧内编码还是要执行帧间编码。此外，如果模式确定电路123确定执行帧间编码，则模式确定电路123确定单向预测模式、双向预测模式和滤波预测模式中的任何一种模式。模式确定电路123将显示确定结果的信息作为模式信息输出至无损耗编码电路116。 

如果模式确定电路123确定执行帧间编码，则模式确定电路123将存储于帧存储器122中且通过局部解码获得的帧经由开关124输出至运动预测/补偿电路125。 

此外，如果模式确定电路123确定执行帧内编码，则模式确定电路123将存储于帧存储器122中且通过局部解码获得的帧输出至帧内预测电路126。 

当执行帧间编码时，开关124连接至端子a₁₁，并且，当执行帧内编码时，开关124连接至端子b₁₁。例如，由控制电路131控制开关124的切换。 

运动预测/补偿电路125基于从重排缓冲器112供应的原始图像和从帧存储器122读取的参考帧检测运动向量，并且将检测到的运动向量输出至无损耗编码电路116。此外，运动预测/补偿电路125使用检测到的运动向量和参考帧来执行运动补偿以产生预测图像，并且将产生的预测图像经由开关127输出至加法器电路113。 

帧内预测电路126基于从重排缓冲器112供应的原始图像和局部解码的且存储于帧存储器122中的参考帧来执行帧内预测，以产生预测图像。帧内预测电路126将产生的预测图像经由开关127输出至加法器电路113，并且，将帧内预测模式信息输出至无损耗编码电路116。 

开关127连接至端子a₁₂或端子b₁₂，并且将由运动预测/补偿电路125或帧内预测电路126产生的预测图像输出至加法器电路113。 

控制电路131根据由模式确定电路123确定的模式来切换开关 124和127的连接，并且控制编码装置101的整个操作。 

图12是示出图11中的模式确定电路12的配置例子的框图。 

如图12所示，模式确定电路123由帧内预测电路141、帧间预测电路142、预测误差计算电路143和确定电路144构成。在模式确定电路123中，对具有相互不同的尺寸的块执行帧间预测和帧间预测，并且，基于该结果确定要用于预测的预测模式。关于帧间预测，在单向预测模式、双向预测模式和滤波预测模式中的各个预测模式中执行处理。从重排缓冲器112供应的原始图像被输入至帧内预测电路141、帧间预测电路142和预测误差计算电路143。 

帧内预测电路141基于从帧存储器122读取的图像和原始图像按照相互不同的尺寸的块的单位执行帧内预测，并且将产生的预测图像输出至预测误差计算电路143。在4×4预测电路151-1中，按照4×4像素的块的单位执行帧内预测。在8×8预测电路151-2中，按照8×8像素的块的单位执行帧内预测。在16×16预测电路151-3中，按照16×16像素的块的单位执行帧内预测。 

帧间预测电路142的预测电路161基于从帧存储器122读取的参考帧和原始图像来检测以相互不同的尺寸的块为单位的运动向量。此外，预测电路161基于检测到的运动向量来执行运动补偿，并且输出用于产生预测图像的运动补偿图像。 

在16×16预测电路161-1中，按照16×16像素的块的单位对图像执行处理。在16×8预测电路161-2中，按照16×8像素的块的单位对图像执行处理。此外，在4×4预测电路161-(n-1)中，按照4×4像素的块的单位对图像执行处理。在跳过/直接预测电路161-n中，在跳过预测模式或直接预测模式中检测运动向量，并且，使用检测到的运动向量执行运动补偿。 

相对于当前帧从在一个方向上排列的多个参考帧提取的运动补偿图像从预测电路161的各个电路被供应到单向预测电路162。此外，相对于当前帧从在两个方向上排列的多个参考帧提取的运动补偿图像从预测电路161的各个电路供应到双向预测电路163。 

在使用从在一个方向上排列的多个参考帧提取的运动补偿图像执行滤波预测的情况中，如上所述，从在一个方向上排列的参考帧提取的运动补偿图像从预测电路161的各个电路供应到滤波电路164。在使用从在两个方向上排列的多个参考帧提取的运动补偿图像执行滤波预测的情况中，从在两个方向上排列的参考帧提取的运动补偿图像从预测电路161的各个电路供应到滤波电路164。 

单向预测电路162使用从预测电路161的各个电路供应的相互不同的尺寸的运动补偿图像来执行单向预测，从而产生预测图像，并且，单向预测电路162将产生的预测图像输出至预测误差计算电路143。例如，单向预测电路162通过将从预测电路161-1供应的16×16像素的多个运动补偿图像中的任何一个的像素值视为预测图像的像素值来产生预测图像。 

双向预测电路163使用从预测电路161的各个电路供应的相互不同的尺寸的运动补偿图像来执行双向预测，从而产生预测图像，并且，双向预测电路163将产生的预测图像输出至预测误差计算电路143。例如，双向预测电路163通过将从预测电路161-1供应的16×16像素的多个运动补偿图像的像素值的平均值视为预测图像的像素值来产生预测图像。 

滤波电路164使用从预测电路161的各个电路供应的相互不同的尺寸的运动补偿图像来执行滤波预测，从而产生预测图像，并且，滤波电路164将产生的预测图像输出至预测误差计算电路143。滤波电路164对应于解码装置1的滤波电路45，并且具有与图8中所示的配置相同的配置。 

例如，在使用从预测电路161-1供应的16×16像素的运动补偿图像MC₀和MC₁来产生预测图像的情况中，滤波电路164获得运动补偿图像MC₀和MC₁之间的差分，并且对获得的差分图像执行低通滤波。此外，滤波电路164对低通滤波的输出执行高通滤波，并且，将调节了增益的其输出的图像和调节了增益的低通滤波的输出的图像相加。滤波电路164将作为表示高频分量的相加结果的图像与运动 补偿图像MC₀相加，从而产生预测图像，并且，滤波电路164将产生的预测图像输出至预测误差计算电路142。 

预测误差计算电路143获得从帧内预测电路141的各个电路供应的各个预测图像和原始图像之间的差，并且将表示获得的差的残差信号输出至确定电路144。此外，预测误差计算电路143获得从帧间预测电路142的滤波电路164、双向预测电路163和单向预测电路162供应的各个预测图像和原始图像之间的差，并且将表示获得的差的残差信号输出至确定电路144。 

确定电路144测量从预测误差计算电路143供应的残差信号的强度，并且，将用于产生与原始图像具有小的差异的预测图像的预测方法确定为用于产生要用于编码的预测图像的预测方法。确定电路144将作为模式信息的显示确定结果的信息输出至无损耗编码电路116。模式信息包含显示要用作处理的单位的块尺寸的信息等。 

此外，如果确定电路144确定使用帧间预测产生预测图像(确定执行帧间编码)，则确定电路144将从帧存储器122读取的参考帧与模式信息一起输出至运动预测/补偿电路125。如果确定电路144确定使用帧内预测产生预测图像(确定执行帧内编码)，则确定电路144将从帧存储器122读取的且用于帧内预测的图像与模式信息一起输出至帧内预测电路126。 

图13是示出图11中的运动预测/补偿电路125的配置例子的框图。 

如图13所示，运动预测/补偿电路125由运动向量集成电路181、单向预测电路182、双向预测电路183、预测电路184和滤波电路185构成。除了提供运动向量检测电路181代替预测模式确定电路41以外，运动预测/补偿电路125具有与图5中所示的运动预测/补偿电路21的配置相似的配置。 

运动向量检测电路181通过基于从重排缓冲器112供应的原始图像和从模式确定电路123供应的参考帧执行块匹配等来检测运动向量。运动向量检测电路181参考从模式确定电路123供应的模式信息， 并且，将运动向量与参考帧一起输出至单向预测电路182、双向预测电路183和预测电路184中的任何一个。 

如果选择单向预测，则运动向量检测电路181将运动向量与参考帧一起输出至单向预测电路182，并且，如果选择执行双向预测，则运动向量检测电路181将这些信息输出至双向预测电路183。如果选择执行滤波预测，则运动向量预测电路181将运动向量与参考帧一起输出至预测电路184。 

与图5中的单向预测电路42一样，单向预测电路182通过执行单向预测来产生预测图像。单向预测电路182将产生的预测图像输出至加法器电路113。 

与图5中的双向预测电路43一样，双向预测电路183通过执行双向预测来产生预测图像。双向预测电路183将产生的预测图像输出至加法器电路113。 

与图5中的预测电路44一样，预测电路184从多个(例如，两个)参考帧提取运动补偿图像，并且，将提取的多个运动补偿图像输出至滤波电路185。 

与图5中的滤波电路45一样，滤波电路185通过执行滤波预测来产生预测图像。预测电路185将产生的预测图像输出至加法器电路113。请注意，滤波电路185具有与图8中所示的滤波电路45的配置相似的配置。在下文中，通过适当地引用图8中所示的滤波电路45的配置作为滤波电路185的配置来给出描述。 

与通过单向预测或双向预测产生的预测图像相比，通过滤波预测产生的预测图像包含大量的高频分量，并且是与原始图像具有小的差异的图像。因此，分配给残差的代码量小，从而可以提高编码效率。 

此外，如果参考帧的数目为至少两个，则可以执行滤波预测，从而可以在不使处理复杂的情况下实现对编码效率的这种提高。例如，通过由用于帧间预测的大量的参考帧产生高度精确的预测图像并使用它，可以减少与原始图像的残差，并且可以提高编码效率。然后，在这种情况下，由于参考帧的数目大，所以处理复杂。 

请注意，当要选择预测方法时，在考虑到诸如预测所需的运动向量的信息的代码量和编码模式的情况下，可以根据代码量向残差信号的强度添加权重，从而选择最佳的预测方法。因此，可以进一步提高编码效率。此外，为了简化编码处理，使用输入原始图像的时间和空间方向上的特征量，可以适应性地选择预测方法。 

接下来，将描述由具有前述的配置的编码装置101执行的处理。 

将参照图14中的流程图描述由编码装置101执行的编码处理。当从重排缓冲器112输出诸如宏块的特定单位的图像时，开始该处理。 

在步骤S51中，加法器电路113获得从重排缓冲器112供应的图像和由运动预测/补偿电路125或帧内预测电路126产生的预测图像之间的差，并且将残差输出至正交变换电路114。 

在步骤S52中，正交变换电路114对从加法器电路113供应的残差执行正交变换，并且将变换系数输出至量化电路115。 

在步骤S53中，量化电路115对从正交变换电路114供应的变换系数进行量化，并且输出量化的变换系数。 

在步骤S54中，逆量化电路119对由量化电路115量化的变换系数执行逆量化，并且，将变换系数输出至逆正交变换电路120。 

在步骤S55中，逆正交变换电路120对从逆量化电路119供应的变换系数执行逆正交变换，并且将获得的图像输出至去块滤波器121。 

在步骤S56中，去块滤波器121执行滤波以去除块噪声，并且将去除了块噪声的图像输出至帧存储器122。 

在步骤S57中，帧存储器122存储从去块滤波器121供应的图像。 

在步骤S58中，由模式确定电路123执行模式确定处理。通过模式确定处理确定要用于产生预测图像的预测模式。下面将参照图15的流程图描述模式确定处理。 

在步骤S59中，控制电路131基于模式确定电路123进行的确定来判定是否要执行帧内预测。 

如果在步骤S59中判定要执行帧内预测，则帧内预测电路126在步骤S60中执行帧内预测，并且将预测图像输出至加法器电路113。 

另一方面，如果在步骤S59中判定将不执行帧内预测，即，将执行帧间预测，则在步骤S61中由运动预测/补偿电路125执行运动预测/补偿处理，并且，将预测图像输出至加法器电路113。下面将参照图16的流程图描述运动预测/补偿处理。 

在步骤S62中，无损耗编码电路116压缩从量化电路115供应的变换系数，并且将它输出至存储缓冲器117。此外，无损耗编码电路116根据从模式确定电路123供应的信息在图像的头部中描述识别标志，并且，在图像的头部中描述由运动预测/补偿电路125供应的运动向量。 

在步骤S63中，存储缓冲器117临时存储从无损耗编码电路116供应的信息。 

在步骤S64中，控制电路131判定对一个完整的帧中的宏块是否执行了前述处理。如果判定对一个完整的帧中的宏块尚未执行该处理，则从步骤S51开始对另一宏块重复该处理。 

另一方面，如果在步骤S64中判定对一个完整的帧中的宏块执行了该处理，则存储缓冲器117在步骤S65中根据由控制电路131执行的控制输出压缩图像信息。对各个帧执行前述处理。 

接下来，将参照图15中的流程图描述在图14的步骤S58中执行的模式确定处理。 

在步骤S81中，帧内预测电路141和帧间预测电路142对具有相互不同的尺寸的块分别执行帧内预测和帧间预测，从而产生预测图像。将产生的预测图像供应至预测误差计算电路143。 

在步骤S82中，预测误差计算电路143获得从帧内预测电路141的各个电路以及从帧间预测电路142的滤波电路164、双向预测电路163和单向预测电路162供应的各个预测图像与原始图像之间的差。预测误差计算电路143将残差信号输出至确定电路144。 

在步骤S83中，确定电路144基于从预测误差计算电路143供应的残差信号的强度确定用于产生要供应至加法器电路113的预测图像的预测方法。 

在步骤S84中，确定电路144将作为关于确定的预测方法的信息的模式信息输出至无损耗编码电路116。其后，该处理返回到图14中的步骤S58，并且执行后续的处理。 

接下来，将参照图16中的流程图描述在图14的步骤S61中执行的运动预测/补偿处理。 

在步骤S91中，运动向量检测电路181基于原始图像和参考帧检测运动向量。 

在步骤S92中，运动向量检测电路181判定模式确定电路123是否确定了要在滤波预测模式中执行该处理。 

如果在步骤S92中判定尚未确定在滤波预测模式中执行该处理，则在步骤S93中执行单向预测或双向预测，并且产生预测图像。 

也就是说，如果确定了在单向预测模式中执行该处理，则运动向量从运动向量检测电路181供应至单向预测电路182，并且，在单向预测电路182中执行单向预测。此外，如果确定了在双向预测模式中执行该处理，则运动向量从运动向量检测电路181供应至双向预测电路183，并且，在双向预测电路183中执行双向预测。在预测图像被输出到加法器电路113之后，该处理返回到图14中的步骤S61，并且执行后续的处理。 

另一方面，如果在步骤S92中判定确定了在滤波预测模式中执行该处理，则预测电路184在步骤S94中从多个参考帧提取运动补偿图像并将它们输出至滤波电路185。运动向量从运动向量确定电路181被供应到预测电路184，并且使用它们来提取运动补偿图像。 

在步骤S95中，滤波电路185的差分计算电路51(图8)计算运动补偿图像MC₀和运动补偿图像MC₁之间的差分，并且将差分图像输出至低通滤波器电路52。 

在步骤S96中，滤波电路185的低通滤波器电路52对从差分计算电路51供应的差分图像执行低通滤波，并且，将获得的图像输出到增益调节电路53和高通滤波器电路54。 

在步骤S97中，滤波电路185的增益调节电路53调节从低通滤 波器电路52供应的差分图像的增益，并且将调节了增益的图像输出至加法器电路56。 

在步骤S98中，滤波电路185的高通滤波器电路54对从低通滤波器电路52供应的差分图像执行高通滤波，并且将获得的图像输出至增益调节电路55。 

在步骤S99中，滤波电路185的增益调节电路55调节从高通滤波器电路54供应的图像的增益，并且将调节了增益的图像输出至加法器电路56。 

在步骤S100中，滤波电路185的加法器电路56将从增益调节电路53供应的图像和从增益调节电路55供应的图像相加，以获得高频分量。获得的高频分量从加法器电路56被供应到加法器电路57。 

在步骤S101中，滤波器电路185的加法器电路57将从加法器电路56供应的图像(高频分量)与运动补偿图像MC0相加，并且将获得的图像作为预测图像输出至加法器电路113。其后，该处理返回到图14中的步骤S61，并且执行后续的处理。 

以这样的方式，使用通过滤波预测产生的预测图像来执行编码，从而可以提高编码效率。 

在上面给出的描述中，滤波电路45和185具有图8中所示的配置，但是，在必要的时候可以改变该配置。 

图17是示出滤波电路45的另一配置例子的框图。与图8中所示的配置相对应的配置由相同的附图标记表示。将适当地省略赘述。 

图17中的差分计算电路51计算运动补偿图像MC₀和运动补偿图像MC₁之间的差分，并且将差分图像输出至低通滤波器电路52。 

低通滤波器电路52对从差分计算电路51供应的差分图像执行低通滤波，并且将获得的图像输出至加法器电路57。 

加法器电路57将从低通滤波器电路52供应的图像与运动补偿图像MC₀相加，并且将获得的图像作为预测图像输出。 

与使用图8中的配置的情况相比，通过使用图17中所示的配置，可以减少处理量，并且，可以实现高速操作。 

图18是示出滤波电路45的另一配置例子的框图。与图8中所示的配置相对应的配置由相同的附图标记表示。将适当地省略赘述。 

在图18中的滤波电路45中，对频率域中的信号而不是时间域中的信号执行滤波。图8和图17中所示的滤波电路45都对时间域中的信号执行滤波。 

图18中的差分计算电路51计算运动补偿图像MC₀和运动补偿图像MC₁之间的差分，并且将差分图像输出至正交变换电路201。 

正交变换电路201对差分图像执行由DCT(离散余弦变换)、Hadamard变换和KLT(Karhunen Loeve变换)代表的正交变换，并且将正交变换之后的信号输出至带通滤波器电路202。执行正交变换，并且，对频率域中的信号执行滤波，从而与对时间域中的信号执行滤波的情况相比，可以更加灵活地执行高度精确的滤波处理。 

当DCT用作正交变换时，正交变换之后的输出DF由下面的公式(10)表达。在公式(10)中，DCT(X)表示对信号X执行二维DCT处理。 

[数学式10] 

DF＝DCT(D)…(10) 

带通滤波器电路202对正交变换电路201的输出执行滤波，并且输出特定带中的信号。 

增益调节电路203通过将带通滤波器电路202的输出乘以α来调节其增益，并且还调节频率分量。增益调节电路203的输出XF由下面的公式(11)表达。在公式(11)中，BPF(X)表示对信号X执行带通滤波处理。 

[数学式11] 

XF＝α·BPF(DF)…(11) 

逆正交变换电路204按照与由正交变换电路201执行的正交变换相对应的方法执行逆正交变换，以将从增益调节电路203供应的频率域中的信号变换为时间域中的信号。例如，当DCT用作正交变换电路201中的正交变换时，在逆正交变换电路204中执行IDCT。逆正 交变换电路204的输出X由下面的公式(12)表达。在公式(12)中，IDCT(X)表示对信号X执行二维IDCT处理。 

[数学式12] 

X＝IDCT(XF)…(12) 

加法器电路57将从逆正交变换电路204供应的信号X与时间域中的运动补偿图像MC₀相加，并且将获得的图像作为预测图像输出。作为加法器电路57的最终输出的预测图像S(i，j)由下面的公式(13)表达。 

[数学式13] 

S(i，j)＝MC₀(i，j)+X(i，j)…(13) 

以这样的方式，通过对频率域中的信号执行滤波，还可以产生高度精确的预测图像。 

此外，在上面给出的描述中，使用两个参考帧执行滤波预测，但是，两个或更多个帧可以用作参考帧。 

图19是示出使用三个参考帧的情况的例子的示图。 

在图19中的例子中，在预测帧的时刻充当基准的情况下，时间上一个时间单位之前、两个时间单位之前和三个时间单位之前的三个帧被视为参考帧。更靠近预测图像且在预测图像之前的一个时间单位的帧被视为参考帧R₀，在参考帧R₀之前的一个时间单位的帧被视为参考帧R₁，并且在参考帧R₁之前的一个时间单位的帧被视为参考帧R₂。 

图20是示出在使用三个参考帧的情况中的滤波电路的配置例子的框图。 

如图20中所示，滤波电路211由滤波电路221和滤波电路222构成。滤波电路221和滤波电路222中的每一个都具有图8、图17或图18中所示的配置。也就是说，滤波电路211被配置为：通过对用于两个输入和一个输出的滤波电路45进行级联来作为三个输入和一个输出的电路操作。 

这里，将通过下述方式来给出描述：将从参考帧R₀提取的运动补偿图像视为运动补偿图像MC₀，将从参考帧R₁提取的运动补偿图像视为运动补偿图像MC₁，将从参考帧R₂提取的运动补偿图像视为运动补偿图像MC₂。运动补偿图像MC₁和MC₂被输入至滤波电路221，运动补偿图像MC₀被输入至滤波电路222。

滤波电路221通过将运动补偿图像MC₁和MC₂分别视为图8等中的运动补偿图像MC₀和MC₁来执行滤波，并且将作为滤波结果的中间输出X输出至滤波电路222。 

滤波电路222通过将中间输出X和运动补偿图像MC₀分别视为图8等中的运动补偿图像MC₀和MC₁来执行滤波，并且将滤波结果作为预测图像输出。 

还有可能的是，在图3中的解码装置1或者图11中的编码装置101中设置处理这样三个参考帧的滤波电路211，而不是滤波电路45。 

另外，滤波电路221和滤波电路222不必一定具有相同的配置，各个配置可以相互不同，例如，一个具有图8中所示的配置，另一个具有图17中所示的配置。此外，可以在考虑到滤波之前和之后的输入/输出特性的情况下改变用于滤波器的参数。 

滤波电路211可以对从在两个时间方向上排列的三个参考帧提取的运动补偿图像而不是从在一个时间方向上排列的参考帧提取的运动补偿图像执行滤波。 

请注意，在包括上面参照图7描述的情况的使用在预测帧的时间之前和之后的帧作为参考帧的情况中，可以根据参考帧的时间方向或距离来动态地改变用于滤波的诸如抽头系数的参数。 

经由诸如包括光盘、磁盘和闪存的记录介质，卫星广播，有线TV，互联网和移动电话网络的各种类型的媒体来执行将压缩图像信息从编码装置101发送到解码装置1。 

现在，将描述滤波预测中的运动补偿。在下文中，将给出对将运动补偿图像输出至滤波电路45的解码装置1的预测电路44的配置和操作的描述。该描述同样适用于将运动补偿图像输出至滤波电路的图12中的预测电路161和图13中的预测电路184。 

用于对根据H.264标准编码的图像进行解码的运动补偿不是按照16×16像素的宏块的单位而是按照通过进一步分割宏块而获得的块的单位来执行的。也就是说，基于运动向量，通过下述方式来执行运动补偿：关注通过分割要被解码的宏块而获得的各个块，并且，将参考帧中的相应块的各个像素的像素值视为目标块的各个像素的像素值。此外，在上述的滤波预测中，通过下述方式来执行使用FIR滤波器的滤波处理：将通过执行这种运动补偿而获得的运动补偿图像视为输入图像。 

此时，由于用作滤波处理的单位的块的尺寸小，所以其影响不能被忽略。例如，为了在要通过滤波处理产生的预测图像的末端附近产生像素，必须根据FIR滤波器的抽头的数目对作为输入图像的运动补偿图像的像素进行内插。 

图21是示出像素的内插的例子的示图。 

在图21的上阶段中示出的16×16像素的输入图像是通过聚集由运动补偿获得的各个块而构成的运动补偿图像。在下阶段中示出的16×16像素的输出图像是由通过下述方式获得的像素构成的预测图像：使用FIR滤波器，对上阶段中的运动补偿图像执行滤波处理。这里，假设FIR滤波器的抽头的数目是5。为了产生预测图像的特定像素，运动补偿图像的五个像素是必需的。 

例如，当在预测图像的左下端产生像素P1的情况中，在水平方向上排列的五个像素是必需的，其中，以作为运动补偿图像的相应像素的左下端的像素P1为中心。然而，如虚线所示，在像素P1的左侧没有像素。此外，当在预测图像的右下端产生像素P16的情况中，在水平方向上排列的五个像素是必需的，其中，以作为运动补偿图像的相应像素的右下端的像素P16为中心。然而，如虚线所示，在像素P16的右侧没有像素。 

因此，可以在通过复制像素P1和P16对缺少的像素进行内插或者用在以边界为中心的对称位置的像素执行内插之后来执行滤波处理。然而，这些像素的值不同于由虚线所示的像素的真实值，从而预 测图像的像素值的精度降低。为了避免这种降低，必须使用真实的像素值，但是，在现有的运动补偿中从参考帧仅仅获得与块尺寸相同的尺寸的区域，由此，需要这种内插处理。 

然后，在预测电路44中，在执行运动补偿，以产生具有这样形状的宏块：该形状具有与FIR滤波器的抽头的数目相对应的像素的数目的边缘。 

图22是示出使用添加有边缘区域的运动补偿图像的处理的概念的示图。 

如图22中的箭头A1所示，其中边缘区域被添加至16×16像素的宏块的图像的图像从参考帧被提取作为运动补偿图像，并且，被视为滤波处理的输入图像。 

图23是示出运动补偿图像的例子的示图。 

如图23中所示，(16+2a)×(16+2a)像素的图像从参考帧被提取作为运动补偿图像，该(16+2a)×(16+2a)像素的图像是通过在16×16像素的图像周围添加具有“a”像素的宽度的一种带以扩大图像而获得的。“a”是根据FIR滤波器的抽头的数目确定的值。 

使用这种运动补偿图像作为输入图像来执行滤波处理，并且，将16×16像素的预测图像作为滤波处理的输出图像输出，如图22中的箭头A2所示。在图3中的加法器电路15中将预测图像与逆正交变换电路14的输出图像相加，并且，作为相加结果的图像用作构成解码帧的宏块。 

以这样的方式，在预测电路44中的运动补偿中，使用这样的事实：参考帧是在时间上靠近目标帧的过去的或未来的帧，并且，整个帧可以用于运动补偿。 

通过使用具有与用于滤波处理的FIR滤波器的抽头的数目相对应的边缘区域的运动补偿图像，可以使用实际的像素值来执行处理，并且，即使在预测图像的末端产生像素的情况中也可以提高预测图像的像素值的精度。也就是说，为了执行滤波处理，不必一定对像素进行内插。 

由于可以提高预测图像的像素值的精度，所以最终可以在解码装置1中提高解码帧的精度，并且，可以减少与原始图像的残差，可以在编码装置101中提高编码效率。 

图24是示出滤波电路44的配置例子的框图。 

如图24中所示，预测电路44由块分割电路231、削波电路232和缓冲器233构成。从图5中的预测模式确定电路41供应的运动向量被输入至削波电路232。 

块分割电路231对要被解码的宏块进行分割，并且，将关于各个块的区域的信息输出至削波电路232。 

削波电路232关注构成要被解码的宏块的各个块，并且基于从预测模式确定电路41供应的运动向量来指定对应于目标块的参考帧中的块。参考帧中的块是具有与目标块相同的尺寸的块。在下文中，在必要的时候，基于运动向量确定的对应于目标块的参考帧中的块将被称为参考块。 

此外，削波电路232判定指定的参考块是否与包含该参考块的宏块的外围接触。如果削波电路232判定参考块不与宏块的外围接触，则削波电路232从帧存储器19读取关于参考块的信息，并且将它作为目标块的像素的像素值输出至缓冲器233。 

如果削波电路232判定参考块与宏块的外围接触，则削波电路232从帧存储器19读取关于参考块的信息和关于位于包含该参考块的宏块之外的作为与参考块接触的带区域的边缘区域的信息，并且将它们输出至缓冲器233。 

在关注了所有的块从而获得关于图23中所示的运动补偿图像的信息之后，缓冲器233将它输出至滤波电路45，在该运动补偿图像中边缘区域被添加至要被解码的宏块。在滤波预测中使用多个运动补偿图像，并且，各个运动补偿图像由预测电路44以相似的方式产生。 

现在，将参照图25中的流程图描述由预测装置44执行的运动补偿处理。执行图25中所示的处理，以产生各个运动补偿图像。 

在步骤S1中，块分割电路231对要被解码的宏块进行分割，并 且，将关于各个块的区域的信息输出至削波电路232。 

图26是示出分割要被解码的宏块的例子的示图。 

在图26中的例子中，将16×16像素的宏块分割为块B11至B44。 

在步骤S2中，削波电路232关注一个块。 

在步骤S3中，削波电路232确定参考帧。 

在步骤S4中，削波电路232判定从预测模式确定电路41供应的运动向量的精度是否为小数精度。 

如果在步骤S4中判定精度不是小数精度，则在步骤S5中削波电路232基于整数精度的运动向量来指定对应于目标块的参考块的位置。 

另一方面，如果在步骤S4中判定精度是小数精度，则在步骤S6中，削波电路232使用由标准指定的内插滤波器来执行像素的内插，并且指定在由小数精度的运动向量指示的位置的参考块。 

在指定参考块之后，削波电路232在步骤S7中判定参考块的一侧是否与包含该参考块的宏块的外围接触。 

这里，基于下面的公式(14)至(17)的条件来执行判定。如果至少有一个条件被满足，则判定参考块的一侧与宏块的外围接触。如果没有条件被满足，则判定参考块的一侧不与宏块的外围接触。(bk_pos_x，bk_pos_y)表示参考块的左上顶点的位置，(bk_width，bk_height)表示参考块的宽度和高度。(MB_pos_x，MB_pos_y)表示包含该参考块的宏块的左上顶点的位置。 

[数学式14] 

MB_pos_x＝bk_pos_x…(14) 

[数学式15] 

MB_pos_y＝bk_pos_y…(15) 

[数学式16] 

MB_pos_x+16＝bk_pos_x+bk_width…(16) 

[数学式17] 

MB_pos_y+16＝bk_pos_y+bk_height…(17) 

图27是示出参考帧的例子的示图。 

在图27中的例子中，示出宏块MB11至MB33的九个宏块。这里，将给出对下述情况的描述：其中，与通过分割要被解码的宏块获得的各个块相对应的参考块是构成由粗线L包围所指示的宏块MB22的各个块。 

图28是示出构成图27中的宏块MB22的块的例子的示图。图28中的块b11至b44分别充当构成要被解码的宏块的图26中的块B11至B44的参考块。 

例如，当关注图26中的块B11时，充当块B11的参考块的图28中的块b11满足公式(14)和(15)的条件，并且被判定为与宏块MB22的外围接触。 

当关注图26中的块B12和B13时，充当这些块的参考块的图28中的块b12和b13满足公式(15)的条件，并且被判定为与宏块MB22的外围接触。 

当关注图26中的块B14时，充当块B14的参考块的图28中的块b14满足公式(15)和(16)的条件，并且被判定为与宏块MB22的外围接触。 

当关注图26中的块B21和B31时，充当这些块的参考块的图28中的块b21和b31满足公式(14)的条件，并且被判定为与宏块MB22的外围接触。 

当关注图26中的块B24和B34时，充当这些块的参考块的图28中的块b24和b34满足公式(16)的条件，并且被判定为与宏块MB22的外围接触。 

当关注图26中的块B41时，充当块B41的参考块的图28中的块b41满足公式(14)和(17)的条件，并且被判定为与宏块MB22的外围接触。 

当关注图26中的块B42和B43时，充当这些块的参考块的图28中的块b42和b43满足公式(17)的条件，并且被判定为与宏块MB22的外围接触。 

当关注图26中的块B44时，充当块B44的参考块的图28中的块b44满足公式(16)和(17)的条件，并且被判定为与宏块MB22的外围接触。 

当关注图26中的块B22、B23、B32和B33时，充当这些块的参考块的图28中的块b22、b23、b32和b33不满足任何条件，并且被判定为不与宏块MB22的外围接触。 

返回参考图25，如果在步骤S7中判定参考块的一侧与宏块的外围接触，则削波电路232在步骤S8中判定参考块的顶点是否与包含该参考块的宏块的顶点匹配。可以基于由参考块满足的条件来判定参考块的顶点是否与宏块的顶点匹配。 

在参考块的顶点与宏块的顶点匹配的情况中的条件由下面的公式(18)至(19)表达。如果任何一个条件被满足，则判定参考块的顶点与宏块的顶点匹配。 

[数学式18] 

MB_pos_x＝bk_pos_x 

并且 

MB_pos_y＝bk_pos_y…(18) 

[数学式19] 

MB_pos_x＝bk_pos_x 

并且 

MB_pos_y+16＝bk_pos_y+bk_height…(19) 

[数学式20] 

MB_pos_x+16＝bk_pos_x+bk_width 

并且 

MB_pos_y＝bk_pos_y…(20) 

[数学式21] 

MB_pos_x+16＝bk_pos_x+bk_width 

并且 

MB_pos_y+16＝bk_pos_y+bk_height…(21) 

例如，作为在关注图26中的块B11的情况中的参考块的图28中的块b11满足上述公式(18)(公式(14)和(15))的条件，并且，判定参考块的顶点与宏块的顶点匹配。 

作为在关注图26中的块B14的情况中的参考块的图28中的块b14满足上述公式(20)(公式(15)和(16))的条件，并且，判定参考块的顶点与宏块的顶点匹配。 

作为在关注图26中的块B41的情况中的参考块的图28中的块b41满足上述公式(19)(公式(14)和(17))的条件，并且，判定参考块的顶点与宏块的顶点匹配。 

作为在关注图26中的块B44的情况中的参考块的图28中的块b44满足上述公式(21)(公式(16)和(17))的条件，并且，判定参考块的顶点与宏块的顶点匹配。 

在关注图26中的任何其它块的情况中的参考块不满足公式(18)至(21)的条件中的任何一个，并且，判定参考块的顶点不与宏块的顶点匹配。 

如果在步骤S8中判定参考块的顶点与宏块的顶点匹配，则在步骤S9中削波电路232将在一点处与宏块的匹配顶点接触且位于宏块之外的a×a像素的区域设置为边缘区域。 

另一方面，如果在步骤S8中判定参考块的顶点不与宏块的顶点匹配，或者，如果在步骤S9中设置边缘区域，则处理前进至步骤S10。 

在步骤S10中，削波电路232将与参考块接触且位于包含该参考块的宏块之外的a×w像素的区域设置为边缘区域。“w”是参考块的与宏块的外围接触的一边的长度。当以图28中所示的方式设置参考块时，w＝4。 

在步骤S11中，削波电路232从帧存储器19读取关于添加有边缘区域的参考块的信息，并且将它输出至缓冲器233。 

另一方面，如果在步骤S7中判定参考块的一边不与宏块的外围接触，则在步骤S12中削波电路232从帧存储器19读取关于参考块的信息并将它输出至缓冲器233。 

在步骤S13中，削波电路232判定是否关注了所有的块。如果判定尚未关注所有的块，则处理返回至步骤S2，在步骤S2中，关注另一个块，并且重复相似的处理。 

如果在步骤S13中判定关注了所有的块，则缓冲器233在步骤S14中将充当运动补偿图像的具有边缘区域的宏块输出至滤波电路45，并且结束该处理。 

将描述边缘区域的具体例子。 

例如，当关注图26中的块B11时，充当参考块的块b11的顶点与宏块MB22的顶点匹配，由此，将作为在一点处与匹配的顶点接触的a×a像素的区域的图29中的区域a1设置为边缘区域。此外，将作为与块b11接触且位于宏块MB22之外的a×w像素的区域的图29中的区域a2和a3设置为边缘区域。充当参考块的块b11和以这样方式设置的边缘区域a1、a2和a3从参考帧被削去，并且作为关于充当目标块的块B11的信息存储在缓冲器233中。 

区域a1是由位于宏块MB22之外的宏块MB11(图27)的像素构成的区域。区域a2是由宏块MB21的像素构成的区域，并且区域a3是由宏块MB12的像素构成的区域。 

当关注图26中的块B12时，将图30中的区域a11设置为边缘区域，该区域a11是与充当参考块的块b12接触且位于宏块MB22以外的a×w像素的区域。充当参考块的块b11和以这样方式设置的边缘区域a11从参考帧被削去，并且作为关于充当目标块的块B12的信息存储在缓冲器233中。区域a11是由位于宏块MB22之外的宏块MB12的像素构成的区域。 

同样地，当关注图26中的块B13时，将图31中的区域a21设置为边缘区域，该区域a21是与充当参考块的块b13接触且位于宏块MB22以外的a×w像素的区域。充当参考块的块b13和以这样方式设置的边缘区域a21从参考帧被削去，并且作为关于充当目标块的块B13的信息存储在缓冲器233中。区域a21是由位于宏块MB22之外的宏块MB12的像素构成的区域。 

当关注图26中的块B14时，充当参考块的块b14的顶点与宏块MB22的顶点匹配，由此，将作为在一点处与匹配的顶点接触的a×a像素的区域的图32中的区域a31设置为边缘区域。此外，在这种情况下，将作为与块b14接触且位于宏块MB22之外的a×w像素的区域的图32中的区域a32和a33设置为边缘区域。充当参考块的块b14和以这样方式设置的边缘区域a32和a33从参考帧被削去，并且作为关于充当目标块的块B14的信息存储在缓冲器233中。 

区域a31是由位于宏块MB22之外的宏块MB13的像素构成的区域。区域a32是由宏块MB23的像素构成的区域，并且区域a33是由宏块MB12的像素构成的区域。 

当关注图26中的块B21时，将图33中的区域a41设置为边缘区域，该区域a41是与充当参考块的块b21接触且位于宏块MB22以外的a×w像素的区域。充当参考块的块b21和以这样方式设置的边缘区域a41从参考帧被削去，并且作为关于充当目标块的块B21的信息存储在缓冲器233中。区域a41是由位于宏块MB22之外的宏块MB21的像素构成的区域。 

当关注图26中的块B22时，充当参考块的块b22是其各边不与宏块MB22的外围接触的块，由此，不设置边缘区域，如图34中所示。块b22从参考帧被削去，并且作为关于充当目标块的块B22的信息存储在缓冲器233中。 

同样地，当关注图26中的块B23时，充当参考块的块b23是其各边不与宏块MB22的外围接触的块，由此，不设置边缘区域，如图35中所示。块b23从参考帧被削去，并且作为关于充当目标块的块B23的信息存储在缓冲器233中。 

当关注图26中的块B24时，将图36中的区域a51设置为边缘区域，该区域a51是与充当参考块的块b24接触且位于宏块MB22以外的a×w像素的区域。充当参考块的块b24和以这样方式设置的边缘区域a51从参考帧被削去，并且作为关于充当目标块的块B24的信息存储在缓冲器233中。区域a51是由位于宏块MB22之外的宏块 MB23的像素构成的区域。 

同样地，当关注图26中的块B31至44时，适当地设置边缘区域，并且，将该边缘区域与关于参考块的信息一起存储在缓冲器233中。 

图37是示出从预测电路44输出的运动补偿图像的例子的示图。 

以前述的方式，由从帧存储器19读取的关于参考块的信息和关于边缘区域的信息产生图37中所示的运动补偿图像。图37中的运动补偿图像是(16+2a)×(16+2a)像素的图像。 

在滤波电路45中，对以这样方式产生的多个运动补偿图像执行差分的计算、使用FIR滤波器的滤波、增益的调节、相加等，从而产生预测图像。 

图38是示出在滤波电路45的低通滤波器电路52和高通滤波器电路54中设置的FIR滤波器的例子的示图。 

例如，在设置其中抽头数目是5的图38中所示的FIR滤波器的情况中，2被设置为“a”的值，并且，被输入至滤波电路45的运动补偿图像是通过将16×16像素的宏块的各四边延伸2个像素而获得的20×20像素的图像。 

当假设FIR滤波器的抽头的数目是T时，带“a”(像素)的宽度由下面的公式(22)确定。Floor(x)是用于计算等于或小于x的最大整数值的函数。 

[数学式22] 

a≥floor(T/2)…(22) 

以这样的方式，当抽头的数目T小时，宽度“a”也小，当抽头的数目T大时，宽度“a”也大。请注意，当执行二维滤波处理时，在低通滤波器电路52等中设置具有用于输入在水平方向上排列的五个像素和输出一个像素的五个抽头的FIR滤波器、以及具有用于输入在垂直方向上排列的五个像素和输出一个像素的五个抽头的FIR滤波器。 

图39是示出对具有边缘区域的运动补偿图像执行的滤波处理的例子的示图。 

在图39的上阶段中示出的(16+2a)×(16+2a)像素的输入图像是通过由预测电路44执行的前述运动补偿产生的运动补偿图像。在下阶段中示出的16×16像素的输出图像是由通过下述方式获得的像素构成的预测图像：使用FIR滤波器，对上阶段中的运动补偿图像执行滤波处理。 

例如，当在预测图像的左下端产生像素P1的情况中，可以通过将以作为运动补偿图像的相应像素的像素p1为中心的在水平方向上排列的五个像素(即，像素p21、p22、p1、p2和p)输入至FIR滤波器来获得像素P1的像素值。像素p21和p22是边缘区域中的像素。 

此外，当在预测图像的右下端产生像素P16的情况中，可以通过将以作为运动补偿图像的相应像素的像素p16为中心的在水平方向上排列的五个像素(即，像素p14、p15、p16、p31和p32)输入至FIR滤波器来获得像素P16的像素值。像素p31和p32是边缘区域中的像素。 

因此，可以使用实际的像素值来执行滤波处理，从而可以提高预测图像的像素值的精度。由于二维图像在空间方向上具有高的相关性，所以认为，宏块内的像素值与宏块外的像素值具有高的相关性。因此，与通过用宏块中的像素进行内插来执行滤波处理的情况相比，预测图像的像素值是高度可靠的。 

一般来说，FIR滤波器的抽头的数目较大在特性上是有利的。然而，当抽头的数目大时，使用块之外的像素值的可能性增加，并且，影响输出图像的像素值的范围变宽。 

具体地说，在按照宏块的单位执行滤波处理的情况中，当具有三个抽头的FIR滤波器用作由公式(4)表达的LPF时，由于缺少输入图像的像素，所以影响整个帧的像素的大约25％。此外，当使用具有五个抽头的FIR滤波器时，影响整个帧的像素的大约50％。此外，当使用具有七个抽头的FIR滤波器时，影响整个帧的像素的大约73％。 

在使用前述的运动补偿图像作为滤波处理的输入图像的情况下，可以使用具有大量的抽头的FIR滤波器来执行滤波处理。 

在上面给出的描述中，在产生预测图像的特定像素的情况中，以运动补偿图像的相应像素为中心的在水平方向上排列的像素被输入至FIR滤波器，但是，输入像素并不限于在水平方向上排列的像素或者在垂直方向上排列的像素。例如，还可以输入运动补偿图像的相应像素和在该像素的上方、下方、右边和左边的像素，或者，还可以输入运动补偿图像的相应像素和在该像素的右上方、左下方、右下方和左下方的像素。 

图40和图41是示出通过使用由图8中的滤波电路45产生的预测图像执行编码而获得的结果的示图。 

图40的曲线图示出所产生的编码数据的量。 

水平轴表示帧编号。例如，水平轴上的“1”表示要被处理的运动图像的第一图片，“2”表示第二图片。垂直轴表示各个图片的代码的量，并且，单位是位。随着该值越小，用于压缩帧的压缩率就越高。 

线L₁表示在使用传统的AVC执行编码的情况中的代码的量，线L₂表示在使用滤波预测执行编码的情况中的代码的量。在这个例子中，每十五帧插入一个帧的帧内图片，并且，除帧内图片以外的十四个帧被视为P图片。 

如图40中所示，在利用AVC的情况中和在利用使用滤波预测的编码方法的情况中，帧内图片是相同的，由此产生的代码的量的值也是相同的。另外，在使用滤波预测的编码方法中，需要两个参考帧，由此，其中仅有第一帧内图片可以用作参考帧的第二P图片的代码量具有与在利用AVC的情况中的代码量相同的值。关于其它P图片的代码量，由线L₂表示的使用滤波预测的编码方法中的值小于由线L₁表示的值。 

可以通过利用使用滤波预测的编码方法来抑制产生的代码的量的原因在于，预测图像的精度高，并且，与利用AVC的情况相比，可以减少残差的编码数据。 

图41中的曲线图示出编码数据的图像质量。 

与图40中的水平轴一样，图41中的水平轴表示帧编号。垂直轴 表示PSNR值。PSNR值是客观指标，其中，随着其值越大，与原始图像的相似性就越高(图像质量就越高)，单位是[dB]。 

线L₁₁表示在使用传统的AVC执行编码的情况中的PSNR值，线L₁₂表示在使用滤波预测执行编码的情况中的PSNR值。由于与图40的情况中相同的原因，在利用AVC的情况中和在使用滤波预测执行编码的情况中，帧内图片和第二P图片的PSNR值相同。 

另一方面，关于其它的P图片，由线L₁₂表示的在利用使用滤波预测的编码方法的情况中的PSNR值大于由线L₁₁表示的利用AVC的情况中的PSNR值。 

可以通过利用使用滤波预测的编码方法来提高PSNR值即图像质量的原因在于，可以提高预测图像的精度。 

上述一系列的处理可以通过硬件来执行，并且可以通过软件来执行。在通过软件执行一系列处理的情况中，通过程序记录介质将构成软件的程序安装到合并入专用硬件中的计算机、能够通过安装有各种程序来执行各种功能的通用个人计算机等。 

图42是示出根据程序执行上述一系列处理的计算机的硬件配置例子的框图。 

CPU(中央处理单元)251、ROM(只读存储器)252和RAM(随机存取存储器)253经由总线254相互连接。 

输入/输出接口255进一步与总线254连接。由键盘、鼠标、传声器等构成的输入单元256，由显示器、扬声器等构成的输出单元257，由硬盘、非易失性存储器等构成的存储单元258，由网络接口等构成的通信单元259，以及驱动诸如光盘或半导体存储器的可移动介质261的驱动器260，与输入/输出接口255连接。 

在具有前述配置的计算机中，例如，CPU 251经由输入/输出接口255和总线254将存储在存储单元258中的程序装入RAM 253，并且执行该程序，从而执行上述一系列处理。 

由CPU 251执行的程序在被记录在例如可移动介质261上的同时被提供，或者，经由诸如局域网、互联网或数字广播的有线或无线 传输媒体来提供，并且，该程序被安装在存储单元258中。 

另外，由计算机执行的程序可以是根据本说明书中描述的顺序按照时间序列执行处理的程序，或者，可以是例如在执行呼叫时并行地或者在必要的定时执行处理的程序。 

本发明的实施例并不限于上述的实施例，在不脱离本发明的范围的情况下，可以进行各种改变。 

例如，上述的解码装置1和编码装置101可以应用于任意的电子设备。在下文中，将描述其例子。 

图43是示出使用应用本发明的解码装置的电视接收机的主要配置例子的框图。 

图43中所示的电视接收机300具有地面调谐器313、视频解码器315、视频信号处理电路318、图形产生电路319、面板驱动电路320和显示面板321。 

地面调谐器313经由天线接收模拟地面广播的广播波信号，对它进行解调，获得视频信号，并且将它供应给视频解码器315。视频解码器315对从地面调谐器313供应的视频信号执行解码处理，并且，将获得的数字分量信号供应给视频信号处理电路318。 

视频信号处理电路318对从视频解码器315供应的视频数据执行诸如去噪声的特定处理，并且，将获得的视频数据供应至图形产生电路319。 

图形产生电路319产生要在显示面板321上显示的节目的视频数据、基于根据经由网络供应的应用的处理的图像数据等，并且将产生的视频数据和图像数据供应至面板驱动电路320。此外，在必要的时候，图形产生电路319执行下述处理：产生用于显示要由用户用来选择项目的画面的视频数据(图形)，将它叠加在节目的视频数据上，并且，将由此获得的视频数据供应至面板驱动电路320。 

面板驱动电路320基于从图形产生电路319供应的数据驱动显示面板321，并且使显示面板321显示节目的视频和上述各种画面。 

显示面板321由LCD(液晶显示器)等构成，并且，根据由面 板驱动电路320执行的控制来显示节目的视频等。 

此外，电视接收机300具有音频A/D(模拟/数字)转换器电路314、音频信号处理电路322、回声消除/音频合成电路323、音频放大器电路324和扬声器325。 

地面调谐器313对接收到的广播波信号进行解调，从而，不仅获得视频信号，而且获得音频信号。地面调谐器313将获得的音频信号供应至音频A/D转换器电路314。 

音频A/D转换器电路314对从地面调谐器313供应的音频信号执行A/D转换处理，并且将获得的数字音频信号供应至音频信号处理电路322。 

音频信号处理电路322对从音频A/D转换器电路314供应的音频数据执行诸如去噪声的特定处理，并且将获得的音频数据供应至回声消除/音频合成电路323。 

回声消除/音频合成电路323将从音频信号处理电路322供应的音频数据供应至音频放大器电路324。 

音频放大器电路324对从回声消除/音频合成电路323供应的音频数据执行D/A转换处理和放大处理以将它调节为特定的音量，并且使该音频从扬声器325输出。 

此外，电视接收机300具有数字调谐器316和MPEG解码器317。 

数字调谐器316经由天线接收数字广播(数字地面广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播波信号，对该广播波信号进行解调，获得MPEG-TS(运动图片专家组-传输流)，并且将该MPEG-TS供应至MPEG解码器317。 

MPEG解码器317消除在从数字调谐器316供应的MPEG-TS上设置的扰码，并且提取包含要播放(要观看/收听)的节目的数据的流。MPEG解码器317对构成提取的流的音频分组进行解码，并且将获得的音频数据供应至音频信号处理电路322，并且还对构成该流的视频分组进行解码，并且将获得的视频数据供应至视频信号处理电路318。此外，MPEG解码器317经由未示出的路径将从MPEG-TS提 取的EPG(电子节目指南)数据供应至CPU 332。 

电视接收机300使用上述的解码装置1作为以这种方式对视频分组进行解码的MPEG解码器317。因此，与解码装置1中的情况一样，MPEG解码器317使用通过滤波预测产生的预测图像来执行解码，由此，可以通过有效地使用图像的时间相关性来获得高分辨率的解码图像。 

与在从视频解码器315供应的视频数据的情况一样，使从MPEG解码器317供应的视频数据在视频信号处理电路318中经过特定处理，在其上适当地叠加在图形产生电路319中产生的视频数据等，该视频数据经由面板驱动电路320被供应至显示面板321，并且显示其图像。 

与在从音频A/D转换器电路314供应的音频数据的情况一样，使从MPEG解码器317供应的音频数据在音频信号处理电路322中经过特定的处理，并且，该音频数据经由回声消除/音频合成电路323被供应至音频放大器电路324，并且使该音频数据经过D/A转换处理和放大处理。结果，从扬声器325输出被调节为特定音量的音频。 

此外，电视接收机300具有传声器316和A/D转换器电路327。 

A/D转换器电路327接收用于音频对话的由设置在电视接收机300中设置的传声器326捕获的用户的音频的信号，对接收到的音频信号执行A/D转换处理，并且将获得的数字音频数据供应至回声消除/音频合成电路323。 

在从A/D转换器电路327供应电视接收机300的用户(用户A)的音频的数据的情况中，回声消除/音频合成电路323对用户A的音频数据执行回声消除，并且使通过与其它音频数据合成而获得的音频的数据经由音频放大器电路324从扬声器325输出。 

此外，电视接收机300具有音频编解码器328、内部总线329、SDRAM(同步动态随机存取存储器)330、闪存331、CPU 332、USB(通用串行总线)I/F 333和网络I/F 334。 

A/D转换器电路327接收用于音频对话的由设置在电视接收机 300中设置的传声器326捕获的用户的音频的信号，对接收到的音频信号执行A/D转换处理，并且将获得的数字音频数据供应至音频编解码器328。 

音频编解码器328将从A/D转换器电路327供应的音频数据转换为特定格式的数据以便经由网络发送它，并且将它经由内部总线329供应至网络I/F 334。 

网络I/F 334经由附接到网络端子335的线缆连接至网络。例如，网络I/F 334将从音频编解码器328供应的音频数据发送到与网络连接的另一设备。另外，例如，网络I/F 334经由网络端子335接收从经由网络连接的另一设备发送的音频数据，并且经由内部总线329将它供应至音频编解码器328。 

音频编解码器328将从网络I/F 334供应的音频数据转换为特定格式的数据，并且将它供应至回声消除/音频合成电路323。 

回声消除/音频合成电路323对从音频编解码器328供应的音频数据执行回声消除，并且使通过与其它音频数据合成而获得的音频数据经由音频放大器电路324从扬声器325输出。 

SDRAM 330存储CPU 332执行处理所需的各种类型的数据。 

闪存331存储由CPU 332执行的程序。在特定的定时，例如，在启动电视接收机300时，由CPU 332读取存储在闪存331中的程序。闪存331还存储经由数字广播获得的EPG数据和经由网络从特定服务器获得的数据。 

例如，闪存331在由CPU 332执行的控制下存储包含经由网络从特定服务器获得的内容数据的MPEG-TS。例如，闪存331在由CUP332执行的控制下经由内部总线329将MPEG-TS供应至MPEG解码器317。 

MPEG解码器317处理MPEG-TS，与从数字调谐器316供应的MPEG-TS的情况一样。以这样的方式，电视接收机300能够经由网络接收视频、音频等的内容数据，使用MPEG解码器317对它进行解码，并且使视频显示或者使音频输出。 

此外，电视接收机300具有用于接收从遥控器351发送的红外信号的光接收单元337。 

光接收单元337接收来自遥控器351的红外线，并且将通过解调获得的表示用户操作的内容的控制代码输出至CPU 332。 

CPU 332执行在闪存331中存储的程序，并且，根据从光接收单元337供应的控制代码等控制电视接收机300的整个操作。CPU 332经由未示出的路径与电视接收机300的各个单元连接。 

USB I/F 333将数据发送到电视接收机300的外部设备/从电视接收机300的外部设备接收数据，该设备经由附接于USB端子336的USB线缆被连接。网络I/F 334经由附接于网络端子335的线缆连接至网络，并且将除音频数据以外的数据发送至与网络连接的各种设备/从与网络连接的各种设备接收除音频数据以外的数据。 

电视接收机300使用解码装置1作为MPEG解码器317，从而能够产生高度精确的预测图像，而不会增加处理负荷。结果，电视接收机300能够从经由天线接收的广播波信号或经由网络获得的内容数据获得较高的分辨率解码图像并显示它。 

图44是示出移动电话设备的主要配置例子的框图，该移动电话设备使用应用本发明的解码装置和编码装置。 

图44所示的移动电话设备400具有被配置为整体地控制各个单元的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、照相机I/F单元454、LCD控制单元455、图像解码器456、分用器单元457、记录/再现单元462、调制/解调电路单元458和音频编解码器459。这些单元经由总线460相互连接。 

此外，移动电话设备400具有操作键419、CCD(电荷耦合器件)照相机416、液晶显示器418、存储单元423、发送/接收电路单元463、天线414、传声器421和扬声器417。 

当通过用户操作接通呼叫端或电源键时，电源电路单元451将电力从电池组供应至各个单元，从而使移动电话设备400进入可工作的状态。 

基于由包含CPU、ROM、RAM等的主控制单元450执行的控制，移动电话设备400在诸如音频呼叫模式或数据通信模式的各种模式中执行各种操作，例如，发送/接收音频信号、发送/接收电子邮件或图像数据、图像捕获或者数据记录。 

例如，在音频呼叫模式中，移动电话设备400使用音频编解码器459将由传声器421收集的音频信号转换为数字音频数据，使用调制/解调电路单元458对其执行谱扩展处理，并且，使用发送/接收电路单元463执行数字模拟转换处理和频率转换处理。移动电话设备400经由天线414将通过转换处理获得的要发送的信号发送至未示出的基站。将发送至基站的要发送的信号(音频信号)经由公用电话线网络供应至呼叫的另一端的移动电话设备。 

此外，例如，在音频呼叫模式中，移动电话设备400使用发送/接收电路单元463来放大由天线414接收的接收信号，进一步执行频率转换处理和模拟数字转换处理，使用调制/解调电路单元458执行谱逆扩展处理，并且使用音频编解码器459将该信号转换为模拟音频信号。移动电话设备400从扬声器417输出通过转换获得的模拟音频信号。 

此外，例如，当在数据通信模式中发送电子邮件的情况中，移动电话设备400在操作输入控制单元452中接受通过操作键419的操作输入的电子邮件的文本数据。移动电话设备400在主控制单元450中处理文本数据，并且经由LCD控制单元455使它作为图像显示在液晶显示器418上。 

此外，基于由操作输入控制单元452接受的用户指示或文本数据，移动电话设备400在主控制单元450中产生电子邮件数据。移动电话设备400使用调制/解调电路单元458对电子邮件数据执行谱扩展处理，并且使用发送/接收电路单元463执行数字模拟转换处理和频率转换处理。移动电话设备400经由天线414将通过转换处理获得的要发送的信号发送至未示出的基站。将发送至基站的要发送的信号(电子邮件)经由网络和邮件服务器等供应至特定的目的地。 

此外，例如，当在数据通信模式中接收电子邮件的情况中，移动电话设备400使用发送/接收电路单元463经由天线414接收从基站发送的信号，放大它，并且进一步执行频率转换处理和模拟数字转换处理。移动电话设备400使用调制/解调电路单元458对接收到的信号执行谱逆扩展处理，以恢复原始的电子邮件数据。移动电话设备400经由LCD控制单元455在液晶显示器418上显示恢复的电子邮件数据。 

另外，移动电话设备400能够经由记录/再现单元462使接收到的电子邮件数据记录(存储)在存储单元423中。 

存储单元423是任意的可重写的存储介质。存储单元423可以是诸如RAM或内置闪存的半导体存储器，硬盘，或者可移动介质，例如，磁盘、磁光盘、光盘、USB存储器或存储卡。当然，也可以使用其它类型的介质。 

此外，例如，当在数据通信模式中发送图像数据的情况中，移动电话设备400使用CCD照相机416通过捕获产生图像数据。CCD照相机416具有诸如透镜和光圈的光学装置、以及用作光电转换元件的CCD，捕获被摄体的图像，将接收到的光的强度转换为电信号，并且产生被摄体的图像的图像数据。使用诸如MPEG2或MPEG4的特定的编码方法，经由照相机I/F单元454，由图像编码器453对图像数据进行压缩和编码，以转换为编码的图像数据。 

移动电话设备400使用上述的编码装置101作为执行这种处理的图像编码器453。因此，与编码装置101的情况一样，图像编码器453使用预测图像来执行编码，由此，可以减少分配给残差的代码的量，并且，可以提高编码效率，该预测图像是通过滤波预测产生的，包含大量的高频分量，并且与原始图像具有小的差异。 

另外，同时，移动电话设备400在音频编解码器459中对在使用CCD照相机416进行图像捕获的期间由传声器421收集的音频进行模拟数字转换，而且对它进行编码。 

移动电话设备400按照特定的方法在分用器单元457中对从图像编码器453供应的编码的图像数据和从音频编解码器459供应的数字 音频数据进行复用。移动电话设备400使用调制/解调电路单元458对作为结果获得的复用数据执行谱扩展处理，并且使用发送/接收电路单元463执行数字模拟转换处理和频率转换处理。移动电话设备400经由天线414将通过转换处理获得的要发送的信号发送至未示出的基站。将发送至基站的要发送的信号(图像数据)经由网络等供应至通信的另一端。 

请注意，在不发送图像数据的情况中，移动电话设备400可以经由LCD控制单元455而不是经由图像编码器453使由CCD照相机416产生的图像数据显示在液晶显示器418上。 

此外，例如，当在数据通信模式中接收与简单页面等链接的运动图像文件的数据的情况中，移动电话设备400使用发送/接收电路单元463经由天线414接收从基站发送的信号，放大它，并且进一步执行频率转换处理和模拟数字转换处理。移动电话设备400使用调制/解调电路单元458对接收到的信号执行谱逆扩展处理，以恢复原始的复用数据。移动电话设备400使用分用器单元457将复用数据分离为编码的图像数据和音频数据。 

移动电话设备400在图像解码器456中使用与诸如MPEG2或MPEG4的特定的编码方法相对应的解码方法对编码的图像数据进行解码，从而产生再现的运动图像数据，并且，移动电话设备400经由LCD控制单元455使该运动图像数据显示在液晶显示器418上。因此，例如，包含在与简单页面链接的运动图像文件中的运动图像数据显示在液晶显示器418上。 

移动电话设备400使用上述的解码装置1作为执行这种处理的图像解码器456。因此，与解码装置1中的情况一样，图像解码器456使用通过滤波预测产生的预测图像来执行解码，由此，可以更加有效地使用图像的时间相关性来获得高分辨率的解码图像。 

此时，同时，移动电话设备400使用音频编解码器459将数字音频数据转换为模拟音频信号，并且使它从扬声器417输出。因此，例如，再现在与简单页面链接的运动图像文件中包含的音频数据。 

请注意，与电子邮件的情况一样，移动电话设备400还可以经由记录/再现单元462使接收到的与简单页面等链接的数据记录(存储)在存储单元423中。 

此外，移动电话设备400可以分析通过图像捕获由CCD照相机416捕获的二维代码，并且使用主控制单元450获得在二维代码中记录的信息。 

此外，移动电话设备400可以使用红外通信单元481通过红外线与外部设备通信。 

通过使用编码装置101作为图像编码器453，移动电话设备400可以提高通过对在例如CCD照相机416中产生的图像数据进行编码而产生的编码数据的编码效率，而没有使该处理复杂。结果，移动电话设备400可以将高编码效率的编码数据(图像数据)提供给另一设备。 

此外，通过使用解码装置1作为图像解码器456，移动电话设备400可以产生高度精确的预测图像，而没有增加处理负荷。结果，例如，移动电话设备400可以从与简单页面链接的运动图像文件获得较高分辨率解码图像并显示它。 

请注意，尽管上面给出了对移动电话设备400使用CCD照相机416的描述，但是，可以使用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)来代替CCD照相机416。在这种情况下，同样地，移动电话设备400可以捕获被摄体的图像并产生被摄体的图像的图像数据，与使用CCD照相机416的情况一样。 

此外，尽管上面给出了对移动电话设备400的描述，但是解码装置1和编码装置101可以应用于诸如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、上网本(net book)或笔记本个人计算机的具有与移动电话设备400的图像捕获功能和通信功能相似的图像捕获功能和通信功能的任何设备，与移动电话设备400的情况一样。 

图45是示出硬盘记录器的主要配置例子的框图，该硬盘记录器 使用应用本发明的解码装置和编码装置。 

图45中所示的硬盘记录器(HDD记录器)500是存储在广播波信号(电视信号)中包含的广播节目的音频数据和视频数据的设备，该广播波信号从卫星、地上的天线等发送并由包含在其中的硬盘中的调谐器接收，并且，该设备在与从用户提供的指示相对应的定时向用户提供存储的数据。 

例如，硬盘记录器500可以从广播波信号提取音频数据和视频数据，适当地对它们进行解码，并且使它们存储在包含于其中的硬盘中。此外，例如，硬盘记录器500可以经由网络从另一设备获得音频数据和视频数据，适当地对它们进行解码，并且使它们存储在包含于其中的硬盘中。 

此外，例如，硬盘记录器500可以对记录在包含于其中的硬盘中的音频数据和视频数据进行解码，将它们供应至监视器560，使其图像显示在监视器560的屏幕上，并且，使其音频从监视器560的扬声器输出。此外，例如，硬盘记录器500可以对从经由调谐器获得的广播波信号提取的音频数据和视频数据或者经由网络从另一设备获得的音频数据和视频数据进行解码，将它们供应至监视器560，使其图像显示在监视器560的屏幕上，并且使其音频从监视器560的扬声器输出。 

当然，可以执行另一操作。 

如图45所示，硬盘记录器500具有接收单元521、解调单元522、分用器532、音频解码器524、视频解码器525和记录器控制单元526。硬盘记录器500还具有EPG数据存储器527、节目存储器528、工作存储器529、显示转换器530、OSD(同屏显示)控制单元531、显示控制单元532、记录/再现单元533、D/A转换器534和通信单元535。 

此外，显示转换器530具有视频编码器541。记录/再现单元533具有编码器551和解码器552。 

接收单元521从遥控器(未示出)接收红外信号，将它转化为电信号，并且将它输出至记录器控制单元526。记录器控制单元526由 例如微处理器等构成，并且根据存储于节目存储器528中的节目执行各种处理。此时，在必要的时候，记录器控制单元526使用工作存储器529。 

通信单元535与网络连接，并且经由网络与另一设备执行通信处理。例如，通信单元535由记录器控制单元526控制，与调谐器(未示出)通信，并且将信道选择控制信号主要输出至该调谐器。 

解调单元522对从调谐器供应的信号进行解调，并且将它输出至分用器523。分用器523将从解调单元522供应的数据分离为音频数据、视频数据和EPG数据，并且将它们分别输出至音频解码器524、视频解码器525和记录器控制单元526。 

音频解码器524用例如MPEG方法对输入的音频数据进行解码，并且将它输出至记录/再现单元533。视频解码器525用例如MPEG方法对输入的视频数据进行解码，并且将它输出至显示转换器530。记录器控制单元526将输入的EPG数据供应至EPG数据存储器527，并且使该数据存储在其中。 

显示转换器530使用视频编码器541将从视频解码器525或记录器控制单元526供应的视频数据编码为例如NTSC(国家电视标准委员会)方法的视频数据，并且将它输出至记录/再现单元533。此外，显示转换器530将从视频解码器525或记录器控制单元526供应的视频数据的画面的尺寸转换为与监视器560的尺寸相对应的尺寸，用视频编码器541将它转换为NTSC方法的视频数据，将它转换为模拟信号，并且将它输出至显示控制单元532。 

显示控制单元532在由记录器控制单元526执行的控制下将从OSD(同屏显示)控制单元531输出的OSD信号叠加在从显示转换器530输入的视频信号，将它输出至监视器560的显示器，并且使它显示。 

此外，向监视器560供应音频数据，该音频数据从音频解码器524输出，并且由D/A转换器534已经转换为模拟信号。监视器560从包含在其中的扬声器输出该音频信号。 

记录/再现单元533具有硬盘，作为用于将视频数据、音频数据等记录在其上的存储介质。 

例如，记录/再现单元533使用MPEG方法通过编码器551对从音频解码器524供应的音频数据进行编码。此外，记录/再现单元533使用MPEG方法通过编码器551对从显示转换器530的视频编码器541供应的视频数据进行编码。记录/再现单元533通过复用器将音频数据的编码数据和视频数据的编码数据组合。记录/再现单元533对合成数据进行信道编码以放大它，并且经由记录头将该数据写入在硬盘上。 

记录/再现单元533经由再现头对记录在硬盘上的数据进行再现，放大它，并且使用分用器将它分离为音频数据和视频数据。记录/再现单元533用MPEG方法通过解码器552对该音频数据和视频数据进行解码。记录/再现单元533对解码的音频数据进行D/A转换，并且将它输出至监视器560的扬声器。此外，记录/再现单元533对解码的视频数据进行D/A转换，并且将它输出至监视器560的显示器。 

记录器控制单元526基于由红外信号表示的用户指示从EPG数据存储器527读取最新的EPG数据，并且将它供应至OSD控制单元531，该红外信号从遥控器供应，并且经由接收单元521接收。OSD控制单元531产生与输入的EPG数据相对应的图像数据，并且将它输出至显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出至监视器560的显示器，并且使它显示。因此，在监视器560的显示器上显示EPG(电子节目指南)。 

此外，硬盘记录器500可以获得经由诸如互联网的网络从另一设备供应的各种数据，例如，视频数据、音频数据或EPG数据。 

通信单元535由记录器控制单元526控制，获得经由网络从另一设备发送的视频数据、音频数据和EPG数据的编码数据，并且将它供应至记录器控制单元526。例如，记录器控制单元526将获得的视频数据和音频数据的编码数据供应至记录/再现单元533，并且使硬盘存储它。此时，记录器控制单元526和记录/再现单元533在必要的时 候可以执行诸如重新编码的处理。 

此外，记录器控制单元526对获得的视频数据和音频数据的编码数据进行解码，并且将获得的视频数据供应至显示转换器530。显示转换器530处理从记录器控制单元526供应的视频数据，如从视频解码器525供应的视频数据一样，经由显示控制单元532将它供应至监视器560，并且使该图像显示。 

此外，根据该图像显示，记录器控制单元526可以经由D/A转换器534将解码的音频数据供应至监视器560，并且使该音频从扬声器输出。 

此外，记录器控制单元526对获得的EPG数据的编码数据进行解码，并且将解码的EPG供应至EPG数据存储器527。 

上述的硬盘记录器500使用解码装置1作为视频解码器525、解码器552和包含在记录器控制单元526中的解码器。因此，与解码装置1中的情况一样，视频解码器525、解码器552和包含在记录器控制单元526中的解码器使用通过滤波预测产生的预测图像来执行解码，由此，可以更加有效地使用图像的时间相关性来获得高分辨率的解码图像。 

因此，硬盘记录器500可以在不增加处理负荷的情况下产生高度精确的预测图像。结果，例如，硬盘记录器500可以获得从经由调谐器接收的视频数据的编码数据、从记录/再现单元533的硬盘读取的视频数据的编码数据、或者经由网络获得的视频数据的编码数据获得更高分辨率的解码图像，并且使它显示在监视器560上。 

此外，硬盘记录器500使用编码装置101作为编码器551。因此，与编码装置101的情况一样，编码器551使用预测图像来执行编码，由此，可以减少分配给残差的代码的量，并且，可以提高编码效率，该预测图像是通过滤波预测产生的，包含大量的高频分量，并且与原始图像具有小的差异。 

因此，例如，硬盘记录器500可以在不使该处理复杂的情况下提高要记录在硬盘上的编码数据的编码效率。结果，硬盘记录器500可 以更加有效地使用硬盘的存储区域。 

请注意，尽管上面给出对用于将视频数据和编码数据记录在硬盘上的硬盘记录器500的描述，但是，当然可以使用任何类型的记录介质。例如，解码装置1和编码装置101可以应用于记录器，该记录器应用除硬盘以外的记录介质，例如，闪存、光盘或视频带，与上述的硬盘记录器500的情况一样。 

图46是示出照相机的主要配置例子的框图，该照相机使用应用本发明的解码装置和编码装置。 

图46所示的照相机600捕获被摄体的图像，使LCD 616显示被摄体的图像，并且将它作为图像数据记录在记录介质633上。 

透镜块611使光(即，被摄体的图像)进入CCD/CMOS 612。CCD/CMOS 612是使用CCD或CMOS的图像传感器，将接收的光的强度转换为电信号，并且将它供应至照相机信号处理单元613。 

照相机信号处理单元613将从CCD/CMOS 612供应的电信号转换为Y、Cr和Cb的颜色差信号，并且将它们供应至图像信号处理单元614。图像信号处理单元614对从照相机信号处理单元613供应的图像信号执行特定的图像处理，并且，在由控制器621执行的控制下通过编码器641使用例如MPEG方法对图像信号进行编码。图像信号处理单元614将通过对图像信号进行编码而产生的编码数据供应至解码器615。此外，图像信号处理单元614获得在同屏显示器(OSD)620中产生的要显示的数据，并且将它供应至解码器615。 

在前述的处理中，照相机信号处理单元613适当地使用经由总线617连接的DRAM(动态随机存取存储器)618，并且在必要的时候使DRAM 618保存图像数据、通过对图像数据进行编码而获得的编码数据等。 

解码器615对从图像信号处理单元614供应的编码数据进行解码，并且将获得的图像数据(解码的图像数据)供应至LCD 616。此外，解码器615将从图像信号处理单元614供应的要显示的数据供应至LCD 616。LCD 616将从解码器615供应的解码的图像数据的图像 和要显示的数据的图像适当地组合，并且显示合成图像。 

同屏显示器620在由控制器621执行的控制下经由总线617将要显示的数据(例如，由符号、字符或数字和图标构成的菜单画面)输出至图像信号处理单元614。 

控制器621基于表示从用户使用操作单元622提供的指示的内容的信号来执行各种处理，并且经由总线617控制图像信号处理单元614、DRAM 618、外部接口619、同屏显示器620、介质驱动器623等。在闪速ROM 624中存储控制器621执行各种处理所需的程序、数据等。 

例如，控制器621可以对存储在DRAM 618中的图像数据进行编码，并且代表图像信号处理单元614或解码器615对存储在DRAM618中的编码数据进行解码。此外，控制器621可以按照与图像信号处理单元614或解码器615的编码/解码方法相似的方法执行编码/解码处理，或者，可以按照与图像信号处理单元614或解码器615不可兼容的方法执行编码/解码处理。 

此外，例如，如果从操作单元622提供启动打印图像的指示，则控制器621从DRAM 618读取图像数据，并且经由总线617将它供应至与外部接口619连接的打印机634以打印它。 

此外，例如，如果从操作单元622提供记录图像的指示，则控制器621从DRAM 618读取编码数据，并且经由总线617将它供应至装载在介质驱动器623中的记录介质633以存储它。 

记录介质633是任意的可读写的可移动介质，例如，磁盘、磁光盘、光盘或半导体存储器。当然，记录介质633可以是任何类型的可移动介质，并且，可以是带装置(tape device)、盘或存储卡。当然，记录介质633可以是非接触式IC卡等。 

此外，介质驱动器623和记录介质633可以集成，并且，可以由诸如内置硬盘驱动器或SSD(固态驱动器)的不可传输的存储介质构成。 

外部接口619由例如USB输入/输出端子等构成，并且在打印图 像的情况下与打印机634连接。此外，驱动器631在必要的时候与外部接口619连接，诸如磁盘、光盘或磁光盘的可移动介质632被适当地装载在该驱动器上，并且，从该可移动介质读取的计算机程序在必要的时候被安装到闪速ROM 624中。 

此外，外部接口619具有与诸如LAN或互联网的特定网络连接的网络接口。例如，根据从操作单元622提供的指示，控制器621可以从DRAM 618读取编码数据并将它从外部接口619供应至经由网络连接的另一设备。此外，控制器621可以经由外部接口619获得经由网络从另一设备提供的编码数据或图像数据，并且使DRAM 618保存它并将它供应至图像信号处理单元614。 

上述的照相机600使用解码装置1作为解码器615。因此，与解码装置1中的情况一样，解码器615使用通过滤波预测产生的预测图像来执行解码，由此，可以更加有效地使用图像的时间相关性来获得高分辨率的解码图像。 

因此，照相机600可以在不增加处理负荷的情况下产生高度精确的预测图像。结果，例如，照相机600可以从在CCD/CMOS 612中产生的图像数据、从DRAM 618或记录介质633读取的视频数据的编码数据或者经由网络获得的视频数据的编码数据获得更高分辨率的解码图像，并且使它显示在LCD 616上。 

此外，照相机600使用编码装置101作为编码器641。因此，与编码装置101的情况一样，编码器641使用预测图像来执行编码，由此，可以减少分配给残差的代码的量，并且，可以提高编码效率，该预测图像是通过滤波预测产生的，包含大量的高频分量，并且与原始图像具有小的差异。 

因此，例如，照相机600可以在不使该处理复杂的情况下提高要记录在硬盘上的编码数据的编码效率。结果，照相机600可以更加有效地使用DRAM 618和记录介质633的存储区域。 

另外，解码装置1的解码方法可以应用于由控制器621执行的解码处理。同样地，编码装置101的编码方法可以应用于由控制器621执行的编码处理。

此外，由照相机600捕获的图像数据可以是运动图像或静止图像。 

当然，解码装置1和编码装置101可以应用于除上述设备以外的设备或系统。 

附图标记列表 

1解码装置，21运动预测/补偿电路，41预测模式确定电路，42单向预测电路，43双向预测电路，44预测电路，45滤波电路，51差分计算电路，52低通滤波器电路，53增益调节电路，54高通滤波器电路，55增益调节电路，56加法器电路，57加法器电路，231块分割电路，232削波电路，233缓冲器。 

Claims (7)

1.一种图像处理装置，包括：

确定部件，用于根据用于滤波处理的滤波器的抽头的数目来确定带区域的宽度方向上的像素的数目，该带区域位于包含作为被解码的参考帧的块的参考块的宏块之外，并且与该参考块接触；

获得部件，用于在参考块与包含该参考块的宏块的外围接触的情况下从参考帧获得与由确定部件确定的像素的数目相对应的带区域和参考块，并且在参考块不与包含该参考块的宏块的外围接触的情况下从参考帧获得参考块，该参考块是与构成经过滤波处理的图像的块相对应的参考帧的块；以及

滤波部件，用于对通过获得部件获得的参考块和带区域的图像执行滤波处理。

2.根据权利要求1所述的图像处理装置，

其中，确定部件确定等于下述最大整数的像素的数目是带区域的宽度方向上的像素的数目：该最大整数等于或小于通过将用于滤波处理的滤波器的抽头的数目除以2而获得的值。

3.根据权利要求2所述的图像处理装置，

其中，滤波部件包括：

第一滤波部件，用于对多个图像的差分图像执行低通滤波；

第二滤波部件，用于对通过由第一滤波部件执行的低通滤波获得的图像执行高通滤波；以及

加法部件，用于将通过由第一滤波部件执行的低通滤波获得的图像和通过由第二滤波部件执行的高通滤波获得的图像与所述多个图像中的任何一个相加，从而产生以宏块为单位的预测图像。

4.根据权利要求3所述的图像处理装置，还包括：

存储部件，用于将通过以构成帧的宏块为单位执行的解码处理获得的被解码的帧作为参考帧存储，

其中，获得部件从存储于存储部件中的参考帧获得参考块和带区域。

5.根据权利要求4所述的图像处理装置，还包括：

指定部件，用于基于运动向量指定参考块。

6.根据权利要求5所述的图像处理装置，

其中，滤波器是FIR滤波器。

7.一种图像处理方法，包括：

确定步骤，根据用于滤波处理的滤波器的抽头的数目来确定带区域的宽度方向上的像素的数目，该带区域位于包含作为被解码的参考帧的块的参考块的宏块之外，并且与该参考块接触；

获得步骤，用于在参考块与包含该参考块的宏块的外围接触的情况下从参考帧获得与在确定步骤中确定的像素的数目相对应的带区域和参考块，该参考块是与构成经过滤波处理的图像的块相对应的参考帧的块；以及

滤波步骤，对在获得步骤中获得的参考块和带区域的图像执行滤波处理。

Images