CN102224734B - 图像处理设备和方法 - Google Patents

Abstract

公开了图像处理设备和方法，其中可以实现高性能运动补偿，同时可以抑制编码量的增大。在步骤S1，计算待编码的块与基准块之间的坐标差所对应的运动矢量。在步骤S2，产生水平精细调整滤波器(Hh)。在步骤S3，产生垂直精细调整滤波器(Hv)。在步骤S4，将水平和垂直精细调整滤波器(Hh、Hv)应用于基准块，以提供像素值的精细调整版本，然后将其应用于待编码的块，由此产生运动补偿的预测图像。在步骤S5，计算表示待编码的图像与预测图像之间的像素值的差的差信号，将其经历正交变换和量化处理，然后对其编码。同时，还编码整数精度的运动矢量。本发明可应用于用于压缩编码运动图像的图像编码设备，且还可应用于用于解码那些编码运动图像的图像解码设备。

Description

图像处理设备和方法

技术领域

本发明涉及图像处理设备和方法，并且更具体地，涉及适于执行包括运动补偿处理的图像压缩编码处理的图像处理设备和方法。

背景技术

传统地，作为用于压缩编码运动图像的技术，已知使用正交变换(如离散余弦变换)和运动补偿的MPEG、H.26x等。

将MPEG2定义为通用图像编码方法。作为可以支持隔行扫描图像和逐行扫描图像二者且支持标准清晰度图像和高清图像二者的技术以及标准规范，MPEG2现在广泛地用于专业用途和消费者用途的很宽范围的应用。

通过使用MPEG2，4到8Mbps的编码量(位比率)应用于例如具有720×480像素的标准清晰度的隔行扫描图像，并且18到22Mbps的编码量(位速率)应用于例如具有1920×1088像素的高清晰度的隔行扫描图像，由此使得可以实现高压缩率和良好的图像质量。

另一方面，H.26x最初开发为用于视频会议的图像编码技术。例如，与MPEG2或MPEG4相比，H26L要求用于执行编码和解码的更大计算量。然而，已知H.26L实现更高的编码效率。

并且，作为MPEG4的活动的一部分，基于H.26L并且还通过合并H.26L不支持的功能，执行用于实现更高编码效率的技术的标准化。将这种技术标准化为H.264或MPEG-4Part10(先前视频编码)。在下文中将该标准化称为“AVC标准”。

图1图示了基于AVC标准对输入运动图像执行压缩编码并输出作为压缩编码的结果而获得的图像压缩信息(已编码信号)的图像编码设备的配置示例。

该图像编码设备10包括模拟-数字转换器(A/D)11、图像重排缓冲器12、加法器13、正交变换器14、量化单元15、无损编码器16、存储缓冲器17和比率控制器(rate controller)26。图像编码设备10进一步包括逆量化单元18、逆正交变换器19、加法器20、解组块(deblocking)滤波器21、帧存储器22、内预测(intra-prediction)单元23和运动预测/补偿单元24。

在图像编码设备10中，通过A/D11将作为编码目标输入的运动图像(在下文中称为“输入图像”)转换为数字信号，并将其输入到图像重排缓冲器12中。在图像重排缓冲器12中，根据当输出图像时使用的GOP(画面组)来重排画面的次序，并且将产生的图像提供到后续的块。

如果从图像重排缓冲器12输出的图像经历内编码，则将从图像重排缓冲器12输出的编码目标图像提供到内预测单元23。在内预测单元23中，产生预测图像。然后，将产生的预测图像和编码目标图像提供到加法器13。计算预测图像与编码目标图像之间的差信号，并将其提供到正交变换器14。

在正交变换器14中，来自加法器13的输出经历正交变换(离散余弦变换、Karhunen-Loeve变换等)，并且通过量化单元15量化作为正交变换的结果而获得的变换系数。注意，根据存储缓冲器17的存储容量，由比率控制器26控制量化单元15中使用的量化率。将量化的变换系数提供到无损编码器16和逆量化单元18。

在无损编码器16中，量化的变换系数经历无损编码(可变长度编码、算术编码等)，并且将结果存储在存储缓冲器17中，然后作为图像压缩信息输出到后续的块。

同时，在逆量化单元18中，量化的变换系数经历逆量化(其与量化单元15执行的量化对应)，并输出到逆正交变换器19。在逆正交变换器19中，对于作为逆量化结果获得的变换系数执行逆正交变化(其与正交变换器14执行的正交变换对应)。然后将结果输出到加法器20。

在加法器20中，将逆正交变换结果和编码目标图像相加，以产生解码图像，其是通过对编码目标图像进行编码然后将其解码而获得的图像。解组块滤波器21从产生的解码图像中去除组块失真，然后将产生的图像存储在帧存储器22中。

在内预测单元23中，产生与编码目标图像对应的预测图像，并且还将指示应用于编码目标图像的每一个宏块的内预测模式的信息输出到无损编码器16。该指示内预测模式的信息由无损编码器16编码，作为图像压缩信息的报头中描述的信息的一部分。

注意在H.264的情况下，作为内预测模式，对于亮度信号定义内4×4预测模式、内8×8预测模式和内16×16预测模式。对于色差信号，对于每一个宏块定义与亮度信号的预测模式独立的预测模式。例如，关于内4×4预测模式，对于每一个4×4亮度块定义一个内预测模式。关于内8×8预测模式，对于每一个8×8亮度块定义一个内预测模式。关于内16×16预测模式，对于每一个宏块定义一个内预测模式。并且，对于色差信号，对于每一个宏块定义一个预测模式。

如果从图像重排缓冲器12输出的图像经历互编码，则将编码目标图像输入到运动预测/补偿单元24中。同时，将从帧存储器22输出的已解码图像读出到运动预测/补偿单元24作为基准图像。然后，对于编码目标图像和基准图像执行运动预测/补偿，并且将作为运动预测/补偿的结果获得的预测图像提供到加法器13。在加法器13中，将预测图像转换为编码目标图像和预测图像之间的差信号，并且将差信号输出到正交变换器14。由正交变换器14后续的块执行的操作与内编码的操作类似，因此省略其说明。

在运动预测/补偿单元24中，与上述预测图像的产生同时地，检测每一个宏块的运动矢量，并将其输出到无损编码器16。该运动矢量由无损编码器16编码，作为图像压缩信息的报头中描述的信息的一部分。

这里，描述运动预测/补偿单元24中执行的运动补偿。通过将帧存储器22中存储的一部分已解码图像分配给一部分编码目标图像来执行运动补偿。由运动预测/补偿单元24检测到的运动矢量确定哪一部分已解码图像用于基准。

为了提高预测精度，以使用分数(其小于整数，如1/2像素、1/4像素等)的精度计算运动矢量。以这种方式，为了以分数精度执行运动补偿，必须通过内插处理在图像的各实际像素之间(即，在不存在像素的位置处)新设置像素。

下面参照图2描述通过内插来增大像素数量的情况的示例。图2图示了在垂直方向和水平方向的每一个将像素数量增大到原像素数量的四倍的情况的示例。在图2中，白色圆圈表示实际像素的位置，而白色方形表示内插像素的位置。

通过多个实际像素、计算出的内插像素和预定滤波器系数的线性组合(例如，如下面的内插方程式所表示的)来内插计算每一个内插像素。

b＝(E-5F+20G+20H-5I+J)/32

h＝(A-5C+20G+20M-5R+T)/32

j＝(aa-5bb+20b+20s-5gg+hh)/32

a＝(G+b)/2

d＝(G+h)/2

f＝(b+j)/2

r＝(m+s)/2

通过与用于计算内插像素b的上述方程式类似的方程式来计算内插像素aa、bb、s、gg和hh。通过与用于计算内插像素h的上述方程式类似的方程式来计算内插像素cc、dd、m、ee和ff。通过与用于计算内插像素a的上述方程式类似的方程式来计算内插像素c。通过与用于计算内插像素d的上述方程式类似的方程式来计算内插像素i、k和q。通过与用于计算内插像素r的上述方程式类似的方程式来计算内插像素e、g和o。

例如，在H.264和AVC标准中采用上述内插方程式。这些内插方程式由具有偶数分接头的FIR(有限冲激响应)滤波器来实现。

代替FIR滤波器，运动预测/补偿单元24包含对于每一帧可以自适应地改变内插方程式中的滤波器系数的AIF(自适应内插滤波器)25。通过使用该AIF 25来执行内插处理，以便减小假频或编码失真，由此减小运动补偿误差。与运动矢量一起，将AIF 25自适应地改变的滤波器系数输出到无损编码器16。编码并输出滤波器系数，作为图像压缩信息。

例如，在非专利文档1和2中公开了AIF。

引用列表

非专利文献

NPL 1：″Motion-and Aliasing-Compensated Prediction for Hybrid VideoCoding″Thomas Wedi和Hans Georg Musmann，IEEE Transactions on circuitsand systems for video technology，Vol.13，No.7，2003年7月

NPL 2：″Prediction of P-and B-Frames Using a Two-dimensionalNon-separable Adaptive Wiener Interpolation Filter for H.264/AVC″Yuri Vatis，Joern Ostermann，ITU-T SG16 VCEG 30th Meeting，Hangzhou China，2006年10月

发明内容

技术问题

在AIF用于运动预测/补偿单元24的情况下，也编码AIF的滤波器系数，并且包括在图像压缩信息中。如果例如对于每一个编码目标图像改变滤波器系数，则编码量不存在任何问题。然而，如果例如将编码目标图像划分为多个区域，并且如果对于每个区域自适应地产生滤波器系数，则编码量增大。

已经考虑到上述背景进行了本发明，并且使得可以在实现高精度运动补偿的同时抑制编码量的增大。

技术方案

根据本发明第一方面的图像处理设备包括：设置装置，用于将与作为要解码的目标的解码目标图像的目标块相邻、且比目标块早解码的区域设置为滤波器系数区域，并且用于将其与基准图像的基准块的位置关系与所述滤波器系数区域的位置关系相同的区域设置为基准区域；计算装置，用于计算滤波器的滤波器系数，该滤波器将由所述设置装置设置的基准区域的像素值转换为由所述设置装置设置的滤波器系数区域的像素值；内插装置，用于通过使用具有由所述计算装置计算出的所述滤波器系数的调整滤波器，来内插所述基准块的像素值；以及产生装置，用于通过对于所述目标块运动补偿具有由所述内插部件内插的像素值的所述基准块，来产生与所述解码目标图像对应的预测图像。

所述计算装置可以计算所述滤波器系数，以便所述滤波器系数区域的像素值和通过对所述基准区域的像素值执行滤波处理而获得的结果之间的平方误差变得最小。

所述解码区域可以包括第一解码区域和第二解码区域，所述第二解码区域以扫描次序位于所述第一解码区域之后。所述基准区域可以包括与所述第一解码区域对应的第一基准区域以及与所述第二解码区域对应的第二基准区域。所述计算装置可以对于所述第一基准区域和所述第一解码区域以及对于所述第二基准区域和所述第二解码区域，在不同的方向上计算滤波器的系数。

所述扫描次序可以是光栅扫描次序。所述计算装置可以对于所述第一基准区域和所述第一解码区域计算水平方向滤波器的系数，并可以对于所述第二基准区域和所述第二解码区域计算垂直方向滤波器的系数。

所述第一解码区域和所述第二解码区域可以具有相同尺寸。

所述滤波器可以是AIF(自适应内插滤波器)。

所述图像处理设备可以进一步包括接收装置，用于接收所述目标块和所述基准块之间的整数精度运动矢量。所述设置装置可以根据由所述接收装置接收到的所述运动矢量，设置所述解码区域和所述基准区域。

根据本发明的第一方面的图像处理方法包括：将与作为要解码的目标的解码目标图像的目标块相邻、且比目标块早解码的区域设置为解码区域，并且将其与基准图像的基准块的位置关系与所述解码区域的位置关系相同的区域设置为基准区域；计算滤波器的滤波器系数，该滤波器将设置的基准区域的像素值转换为解码区域的像素值；通过使用具有计算出的滤波器系数的调整滤波器，来内插基准块的像素值；以及通过对于所述目标块运动补偿具有内插的像素值的基准块，来产生与所述解码目标图像对应的预测图像。

在本发明的第一方面中，与作为待解码的目标的解码目标图像的目标块相邻的、且比目标块早解码的区域被设置为解码区域，并且与基准图像的基准块的位置关系与解码区域的位置关系相同的区域被设置为基准区域。计算将设置的基准区域的像素值转换为解码区域的像素值的滤波器的滤波器系数。通过使用具有计算出的滤波器系数的调整滤波器来内插基准块的像素值。通过对于目标块运动补偿具有内插的像素值的基准块，来产生与解码目标图像对应的预测图像。

根据本发明的第二方面的图像处理设备包括：设置装置，用于将与作为要编码的目标的编码目标图像的目标块相邻的、且比目标块早编码的区域设置为编码区域，并且用于将与解码基准图像的基准块的位置关系与所述编码区域的位置关系相同的区域设置为基准区域，所述解码基准图像已经比所述编码目标图像早编码；计算装置，用于计算滤波器的滤波器系数，该滤波器将由所述设置装置设置的基准区域的像素值转换为由所述设置装置设置的解码区域的像素值；内插装置，用于通过使用具有由所述计算装置计算出的所述滤波器系数的调整滤波器，来内插所述基准块的像素值；以及产生装置，用于通过对于所述目标块运动补偿具有由所述内插装置内插的像素值的所述基准块，来产生与所述编码目标图像对应的预测图像。

所述图像处理设备可以进一步包括运动矢量计算装置，用于以整数精度计算所述目标块与所述基准块之间的运动矢量。

所述滤波器可以是AIF(自适应内插滤波器)。

根据本发明的第二方面的图像处理方法包括：将与作为要编码的目标的编码目标图像的目标块相邻、且比所述目标块早编码的区域设置为编码区域，并且将其与解码基准图像的基准块的位置关系与所述编码区域的位置关系相同的区域设置为基准区域，所述解码基准图像已经比所述编码目标图像早编码；计算滤波器的滤波器系数，该滤波器将设置的基准区域的像素值转换为解码区域的像素值；通过使用具有计算出的滤波器系数的调整滤波器，来内插所述基准块的像素值；以及通过对于所述目标块运动补偿具有内插的像素值的所述基准块，来产生与所述编码目标图像对应的预测图像。

在本发明的第二方面中，与作为待编码的目标的编码目标图像的目标块相邻的、且比目标块早编码的区域被设置为编码区域，并且与解码基准图像的基准块的位置关系与编码区域的位置关系相同的区域被设置为基准区域，所述解码基准图像已经比所述编码目标图像早编码。计算将设置的基准区域的像素值转换为解码区域的像素值的滤波器的滤波器系数。通过使用具有计算出的滤波器系数的调整滤波器来计算基准块的像素值。通过运动补偿具有对于目标块内插的像素值的基准块，来产生与编码目标图像对应的预测图像。

本发明的有益效果

根据本发明的一个方面，可以在实现高性能运动补偿的同时抑制编码量的增大。

附图说明

图1是图示已知图像编码设备的配置示例的框图。

图2图示了像素的内插。

图3是图示应用了本发明的图像编码设备的配置示例的框图。

图4是图示当执行互编码时的处理的流程图。

图5图示了使用精细调整滤波器的互编码。

图6图示了使用精细调整滤波器的互编码。

图7图示了使用精细调整滤波器的互编码。

图8图示了使用精细调整滤波器的互编码。

图9图示了用于产生精细调整滤波器的区域形状的示例。

图10图示了用于产生精细调整滤波器的区域形状的示例。

图11图示了用于产生精细调整滤波器的区域形状的示例。

图12是图示应用了本发明的图像解码设备的配置示例的框图。

图13是图示用于互编码图像的解码处理的流程图。

图14图示了使用精细调整滤波器的解码。

图15图示了使用精细调整滤波器的解码。

图16图示了使用精细调整滤波器的解码。

图17图示了使用精细调整滤波器的解码。

图18是图示应用了本发明的电视接收机的主要配置的示例的框图。

图19是图示应用了本发明的蜂窝电话的主要配置的示例的框图。

图20是图示应用了本发明的硬盘记录器的主要配置的示例的框图。

图21是图示应用了本发明的相机的主要配置的示例的框图。

图22图示了宏块的大小的示例。

具体实施方式

下面参照附图给出应用了本发明的特定实施例的详细描述。

图3图示了作为本发明实施例的图像编码设备的配置示例。该图像编码设备40对于待输入的运动图像(在下文中称为“输入图像”)执行压缩编码，并输出作为压缩编码的结果而获得的图像压缩信息。

图像编码设备40与图1中所示的图像编码设备10的不同之处在于，提供运动预测/补偿单元41，代替图1中所示的图像编码设备10的运动预测/补偿单元24。运动预测/补偿单元41以外的组件与图像编码设备10的相同，并且由相同的附图标记表示。因此，如果不需要的话，省略其说明。

顺便提及，如上所述，如果运动预测/补偿单元24包含AIF 25并以分数精度执行运动补偿，则也以分数精度表示运动矢量。因此，信息量大于以整数精度表示运动矢量时的信息量，结果用于图像压缩信息的编码量增大。

图像编码设备10的运动预测/补偿单元24以分数精度计算运动矢量。相反，运动预测/补偿单元41以整数精度计算运动矢量。因此，指示从运动预测/补偿单元41输出的整数精度运动矢量的信息量小于指示分数精度运动矢量的信息量。结果，用于从图像编码设备40输出的图像压缩信息的编码量小于用于从图像编码设备10输出的图像压缩信息的编码量。

运动预测/补偿单元41包含滤波器产生器42。在运动补偿中，滤波器产生器42将基准图像的基准块分配给编码目标图像的编码目标块，然后产生用于垂直地和水平地精细调整基准块的像素值的精细调整滤波器。

接着，描述图像编码设备40的操作。

在图像编码设备40中，通过A/D 11将输入图像转换为数字信号，并将其输入到图像重排缓冲器12。在图像重排缓冲器12中，当输出图像时，根据GOP结构重排画面的次序，然后将产生的图像提供到后续的块。

如果从图像重排缓冲器12输出的图像经历内编码，则将编码目标图像的像素值和经历内预测单元23中的内预测的预测图像的像素值提供到加法器13，并且计算这些像素值之间的差分信号，并将其输出到正交变换器14。

通过正交变换器14，来自加法器13的输出经历正交变换(离散变换、Karhunen-Loeve变换等)，并且通过量化单元15量化作为正交变换的结果而获得的变换系数。将量化的变换系数提供到无损编码器16和逆量化单元18。

在无损编码器16中，量化的变换系数经历无损编码(可变长度编码、算术编码等)，并且将结果存储在存储缓冲器17中，然后输出到后续的块作为图像压缩信息。

同时，在逆量化单元18中，量化的变换系数经历逆量化，这对应于由量化单元15执行的量化，并输出到逆正交变换器19。在逆正交变换器19中，对于作为逆量化结果获得的变换系数执行逆正交变换，这对应于由正交变换器14执行的正交变换。然后将结果输出到加法器20。

在加法器20中，逆正交变换结果和编码目标图像相加，以便产生解码图像，所述解码图像是通过对编码目标图像进行编码然后对其解码而获得的图像。解组块滤波器21从产生的解码图像去除组块失真，然后将产生的图像存储在帧存储器22中。

在内预测单元23中，将指示应用于编码目标图像的每一个宏块的内预测模式的信息输出到无损编码器16。该指示内预测模式的信息由无损编码器16编码，作为图像压缩信息的报头中描述的信息的一部分。

如果从图像重排缓冲器12输出的图像经历互编码，则将编码目标图像输入到运动预测/补偿单元41。同时，将从帧存储器22输出的解码图像读入运动预测/补偿单元41作为基准图像。然后，对于编码目标图像和基准图像执行运动预测/补偿，并将作为运动预测/补偿结果获得的预测图像提供到加法器13。在加法器13中，将预测图像转换为编码目标图像和预测图像之间的差信号，并且将差信号输出到正交变换器14。由正交变换器14后面的块执行的操作与用于内编码的那些操作类似，因此省略其说明。

在运动预测/补偿单元41中，当产生上述预测图像时，以整数精度计算编码目标图像的每一个宏块的运动矢量，并且还通过使用滤波器产生器42产生精细调整滤波器。将计算出的整数精度运动矢量输出到无损编码器16，并且对其进行编码，作为图像压缩信息的报头中描述的信息的一部分。

接着，下面参照图4的流程图描述当编码目标图像经历互编码时执行的处理。

作为处理的前提，假设已经从图像重排缓冲器12将编码目标图像输入到运动预测/补偿单元41，并且已经从帧存储器22将解码图像读出到运动预测/补偿单元41作为基准图像。

在步骤S1，如图5所示，运动预测/补偿单元41指定与编码目标图像上提供的编码目标块51最类似的基准图像上的基准块52的位置。然后运动预测/补偿单元41计算与编码目标块51的坐标和基准块52的坐标之间的差对应的运动矢量(MV)。

在图5中，覆盖整个基准图像的阴影部分以及覆盖编码目标图像的编码目标块51之前的阴影部分指示它们已经被编码。对于图6到图8同样如此。假设从左上到右下以光栅扫描次序执行图像的编码和解码。

在步骤S2，如图6所示，滤波器产生器42设置位置与基准图像的基准块52上侧相邻的具有预定大小的区域A，并类似地设置位置与编码目标图像的编码目标块51上侧相邻的具有与区域A相同大小的区域A′。这里，其特征在于，当对编码目标块51进行解码时，区域A和区域A′已经被解码。

进一步，在步骤S2，滤波器产生器42产生水平方向精细调整滤波器Hh，用于将区域A的像素值转换为区域A′的像素值。该精细调整滤波器Hh可以由FIR滤波器实现。稍后描述精细调整滤波器Hh的产生。

在步骤S3，如图7所示，滤波器产生器42设置位置与基准图像的基准块52左侧相邻的具有预定大小的区域B，并类似地设置位置与编码目标图像的编码块51左侧相邻的具有与区域B相同大小的区域B′。其特征在于，当对编码目标块51进行解码时，区域B和区域B′也已经被解码。

进一步，在步骤S3，滤波器产生器42产生垂直方向精细调整滤波器Hv，用于将区域B的像素值转换为区域B′的像素值。该精细调整滤波器Hv也可以由FIR滤波器实现。稍后描述精细调整滤波器Hv的产生。

在步骤S4，如图8所示，运动预测/补偿单元41将基准图像的基准块52的像素值(其通过水平方向精细调整滤波器Hh和垂直方向精细调整滤波器Hv来精细地调整)分配给与编码目标块51对应的预测图像的位置，由此逐渐地产生运动补偿精度图像。

然后，对于设置为编码目标块51的编码目标图像的所有区域顺序地执行上述步骤S1到S4，由此产生运动补偿预测图像。将运动补偿预测图像输出到加法器13。

在步骤S5，由加法器13产生编码目标图像与预测图像之间的差，并经历正交变换器14的正交变换。通过量化单元15量化作为正交变换结果而获得的变换系数，然后将其输出到无损编码器16。

同时，在步骤S6，还将由运动预测/补偿单元41计算出的整数精度运动矢量输入到无损编码器16，并且与量化的变换系数一起经历无损编码。将结果存储在存储缓冲器17中，并输出到后续的块作为图像压缩信息。

如上所述，在通过图像编码设备40执行的互编码处理时，运动矢量以整数精度表示。因此，与输出分数精度运动矢量的情况相比，可以减小用于图像压缩信息的编码量。另外，由于不使用AIF，因此不需要输出AIF中使用的滤波器系数。

进一步，通过应用精细调整滤波器，如已知运动补偿中那样，当进行从基准块52到编码目标块51的转换时，可以执行良好的运动补偿。另外，也可以对于旋转、模糊、放大/缩小以及亮度的变化进行补偿。

这里，描述精细调整滤波器Hh和Hv的产生。

精细调整滤波器Hh和Hv例如通过FIR滤波器来实现。FIR滤波器对于输入图像执行由如下方程式(1)表示的卷积运算。

[数学表达式1]

$y\left(n\right)=\underset{k=-N}{\overset{+N}{\mathrm{\Σ}}}h\left(k\right)x(n-k)...\left(1\right)$

在方程式(1)中，y表示在执行使用精细调整滤波器的处理之后的值，即，区域A′(或B′)的像素值；x表示在执行使用精细调整滤波器的处理之前的值，即，区域A(或B)的像素值；并且h是滤波器系数。该滤波器系数也被称为“冲激响应”，并且FIR滤波器的特征由滤波器系数h确定。

在方程式(1)中，使用具有(2N+1)个分接头的线性FIR滤波器。然而，可以改变分接头的数量，或者可以使用二维FIR滤波器。如果线性FIR滤波器用于二维图像区域，则在水平(垂直)方向中执行滤波处理，然后在垂直(水平)方向中执行滤波处理。

确定用作精细调整滤波器Hh和Hv的FIR滤波器的滤波器系数，以便在区域A′(或B′)的像素值与通过对于区域A(或B)的像素值执行滤波处理而获得的结果之间由如下方程式(2)表示的均方误差e变得最小。

[数学表达式2]

$e=e\left\{{(d\left(n\right)-y\left(n\right))}^2\right\}=E\left\{{(d\left(n\right)-\underset{k=-N}{\overset{+N}{\mathrm{\Σ}}}h\left(k\right)x(n-k))}^2\right\}...\left(2\right)$

在方程式(2)中，d(n)表示区域A′(或B′)的像素值，y(n)表示通过对于区域A(或B)的像素值执行滤波处理而获得的结果，而x是区域A(或B)的像素值。E{}表示括号内的期望值。

为了基于方程式(2)确定滤波器系数h，通过滤波器系数h来偏微分均方误差e，如方程式(3)所示。

[数学表达式3]

$\frac{\∂e}{\∂h\left(m\right)}=\frac{\∂}{\∂h\left(m\right)}E\left\{{(d\left(n\right)-y\left(n\right))}^2\right\}=E\left\{\frac{\∂}{\∂h\left(m\right)}{(d\left(n\right)-\underset{k=-N}{\overset{+N}{\mathrm{\Σ}}}h\left(k\right)x(n-k))}^2\right\}$

$=-2\left[E\right\{d\left(n\right)x(n-m)\}-\underset{k=-N}{\overset{+N}{\mathrm{\Σ}}}h\left(k\right)E\{x(n-k)x(n-m)\left\}\right]$

m＝-N，…，-2，-1，0，1，2，…，+N…(3)

进一步，如方程式(4)所示，方程式(3)被改写为0，并且计算滤波器系数h。

[数学表达式4]

$E\left\{d\left(n\right)x(n-m)\right\}=\underset{k=-N}{\overset{+N}{\mathrm{\Σ}}}{h}_{\left(k\right)}^{\mathrm{OP}}\left\{x(n-k)x(n-m)\right\}$

m＝-N，…，-2，-1，0，1，2，+N    …(4)

在方程式(4)中，h_(x) ^OP表示最小化均方误差e的滤波器系数。方程式(4)是联立方程，并且滤波器系数可以被确定为是这些联立方程的解。

作为精细调整滤波器，可以使用上述FIR滤波器。可替代地，可以使用任何类型的滤波器，只要它可以根据基准图像的区域A和B来预测编码目标图像的区域A′和B′即可。例如，可以应用仿射(affine)变换。

顺便提及，用于产生精细调整滤波器Hh和Hv的区域A和B是当对编码目标块进行解码时已经解码的区域。即，如图9所示，可以将区域A和区域B配置为区域A和B的宽度超过基准块的宽度。并且，如图10所示，可以将区域A和B配置为区域A和B的宽度与基准块的宽度相同。进一步，如图11所示，区域A和B可以是与基准块相同的形状。然而，图像编码设备40中采用的区域A和B的形状必须与解码侧采用的区域A和B的形状一致。

接着，下面参照图12描述解码从图像编码设备40输出的图像压缩信息的图像解码设备。

图12是图示应用了本发明的图像解码设备的配置示例的框图。该图像解码设备60包括存储缓冲器61、无损解码器62、逆量化单元63、逆正交变换器64、加法器65、解组块滤波器66、图像重排缓冲器67、数字-模拟转换器68、帧存储器69、运动预测/补偿单元70和内预测单元72。

在图像解码设备60中，将从图像编码设备40输出的图像压缩信息提供到存储缓冲器61，并存储在其中。将图像压缩信息顺序地输出到无损解码器62。在无损解码器62中，对于用作图像压缩信息的编码信号进行解码，然后将作为解码结果而获得的量化的变换系数输出到逆量化单元63。进一步，如果待解码的图像是互编码图像，则将作为解码结果而获得的运动矢量输出到运动预测/补偿单元70。并且，如果待解码的图像是内编码图像，则将作为解码结果获得的内预测模式信息输出到内预测单元72。

在逆量化单元63中，量化的变换系数经历逆量化，并且将作为逆量化结果而获得的变换系数输出到逆正交变换器64。在逆正交变换器64中，变换系数经历逆正交变换，并且将作为逆正交变换的结果而获得的差信号输出到加法器65。在加法器65中，如果待解码的图像是互编码图像，则将从逆正交变换器64输出的差信号加到从运动预测/补偿单元70接收到的预测图像，由此产生解码图像。如果待解码的图像是内编码图像，则将从逆正交变换器64输出的差异信号加到从内预测单元72接收到的预测信号，由此产生解码图像。

解组块滤波器66从解码图像中去除组块失真。在图像重排缓冲器67中，保持从中去除组块失真的解码图像，直到回放它的时间为止。根据回放时间将解码图像输出到数字-模拟转换器68。在数字-模拟转换器68中，将解码图像转换为模拟信号，并输出到后续的块(如，显示器)。

在帧存储器69中，存储从中去除组块失真的解码图像。将帧存储器69中保持的解码图像读出到运动预测/补偿单元70作为基准信号，并且基于从无损解码器62输出的运动矢量产生预测图像，并将其输出到加法器65。在内预测单元72中，基于从无损解码器62输出的内预测模式产生预测图像，并将其输出到加法器65。

接着，下面参照图13的流程图描述当待解码的图像是互编码图像时执行的解码处理。

作为处理的前提，假设将帧存储器69中保持的解码图像读出到运动预测/补偿单元70作为基准图像。

在步骤S11，无损解码器62解码从存储缓冲器61提供的图像压缩信息，并且将作为解码结果而获得的整数精度运动矢量输出到运动预测/补偿单元70。这里获得的运动矢量相对地示出了，如图14所示，应当分配给当前解码图像的解码目标块91的基准图像的基准块92的坐标的位置。

在图14中，覆盖整个基准图像的阴影部分和覆盖当前解码图像的编码目标块91之前的阴影部分指示它们已经被解码。对于图15到图17同样如此。假设从左上到右下以光栅扫描次序执行图像的解码。

在步骤S12，如图15所示，运动预测/补偿单元70的滤波器产生器71设置与从帧存储器69读取的基准图像的基准块92上侧相邻的具有预定大小(当执行编码时设置的区域A的相同大小)的区域A。滤波器产生器71类似地设置与当前解码图像的解码目标块91的上侧相邻的具有与区域A相同大小的区域A′。区域A和A′已经被解码。

进一步，在步骤S12，滤波器产生器71产生水平方向精细调整滤波器Hh，用于将区域A的像素值转换为区域A′的像素值。通过与编码期间当产生精细调整滤波器Hh时类似的方法来产生该精细调整滤波器Hh。

在步骤S13，如图16所示，滤波器产生器71设置与基准图像的基准块92的左侧相邻的具有预定大小的区域B，并类似地设置与当前解码图像的解码目标块91的左侧相邻的具有与区域B相同大小的区域B′。区域B和B′已经被解码。

进一步，在步骤S13，滤波器产生器71产生垂直方向精细调整滤波器Hv，用于将区域B的像素值转换为区域B′的像素值。也通过与编码期间当产生精细调整滤波器Hv时类似的方法来产生该精细调整滤波器Hv。

在步骤S14，如图17所示，运动预测/补偿单元70将基准图像的基准块92的像素值(其通过使用水平方向精细调整滤波器Hh和垂直方向精细调整滤波器Hv来精细地调整)分配给与解码目标块91对应的预测图像的位置，由此逐渐地产生运动补偿的预测图像。

然后，对于作为解码目标块91的当前解码图像的全部区域顺序地执行上述步骤S11到S14，由此产生运动补偿的预测图像。将运动补偿的预测图像输出到加法器65。

同时，在步骤S15，无损解码器62将通过解码图像压缩信息而获得的量化的变换系数输出到逆量化单元63。该量化的变换系数经历逆量化单元63的逆量化，并且经历逆正交变换器64的逆正交变换。然后将作为逆量化和逆正交变换的结果而获得的差信号输入到加法器65。

在步骤S16，加法器65将从逆正交变换器64输出的差信号加到从运动预测/补偿单元70输出的预测图像，由此产生解码图像。解组块滤波器66从解码图像中去除组块失真。然后将解码图像存储在图像重排缓冲器67中，并根据回放时间而输出。还将从中去除组块失真的解码图像保持在帧存储器69中，并用作当解码后续的帧时的基准图像。

如上所述，在对于互编码图像执行解码处理中，当将基准块分配给解码目标块时，通过基于与每一个块相邻的区域而产生的精细调整滤波器的使用来调整像素值。因此，如已知运动补偿中那样，当进行基准块92到解码目标块91的转换时，可以执行良好的运动补偿。另外，可以对于旋转、模糊、放大/缩小以及亮度的变化进行补偿。因此，可以执行高质量的运动补偿。

本发明关注于如下点。为了抑制伴随编码器产生的滤波器系数的传输的编码量和开销的增大，预测并通过解码器高精度地产生滤波器系数。在这种情况下，通过关注于与目标块相邻的块和与基准块相邻的块具有高相关性的事实，输入与基准块相邻的块的像素值，并且输出通过对于与目标块相邻的块的像素值执行滤波处理而获得的结果。然后计算滤波器系数，以便输入输出之间的最小(均)方误差变得最小。通过该配置，在抑制伴随滤波器系数的传输的编码量的增大的同时，可以计算高精度滤波器系数。

顺便提及，可以通过硬件或软件来执行上述图像编码设备40和图像解码设备60。如果它们由软件执行，则从程序记录介质向内置于专用硬件的计算或计算机(例如，通用计算机，通过将各种程序安装到该通用计算机，可以执行各种功能)安装形成软件的程序。

要由计算机执行的程序可以是以时间顺序执行的程序，如以该说明书中描述的顺序，或者可以是并行执行的程序或者当需要时(例如，当调用该程序时)执行的程序。

另外，程序可以由单个计算机处理，或者可以通过使用多个计算机的分布式处理来执行。进一步，可以将程序传送到远程计算机并执行。

本发明的实施例不限于上述实施例，并且在不脱离本发明的精神的情况下，可以进行各种修改。

例如，上述图像编码设备40或图像解码设备60可以应用于某一电子设备。下面描述这种应用的示例。

图18是图示了使用应用了本发明的图像解码设备60的电视接收机的配置示例的框图。

图18中所示的电视接收机1000包括地面电视调谐器1013、视频解码器1015、视频信号处理电路1018、图形产生电路1019、面板驱动电路1020和显示面板1021。

地面电视调谐器1013经由天线接收模拟地面广播波信号，并解调该信号以便获得视频信号。地面电视调谐器1013将视频信号提供到视频解码器1015。视频解码器1015对于从地面电视调谐器1013提供的视频信号执行解码处理，以便获得数字分量信号。视频解码器1015然后将数字分量信号提供到视频信号处理电路1018。

视频信号处理电路1018对于从视频解码器1015提供的视频数据执行预定处理，如去噪，并且将获得的视频数据提供到图形产生电路1019。

图形产生电路1019通过执行基于经由网络提供的应用程序的处理，产生要在显示面板1021上显示的节目的视频数据或图像数据，并将产生的视频数据或图像数据提供到面板驱动电路1020。如果需要的话，图形产生电路1019执行处理。例如，图形产生电路1019产生用于显示要由用户选择项目而使用的屏幕的视频数据(图形)，并将产生的视频数据叠加在节目视频数据上，然后将作为叠加结果而获得的视频数据提供到面板驱动电路1020。

面板驱动电路1020基于从图形产生电路1019提供的数据驱动显示面板1021，并在显示面板1021上显示节目图像或上述各种屏幕。

显示面板1021例如由LCD(液晶显示器)形成，并且在面板驱动电路1020的控制下显示节目图像。

电视接收机1000还包括音频A/D(模拟/数字)转换电路1014、音频信号处理电路1022、回声消除/音频合成电路1023、音频放大器电路1024和扬声器1025。

地面电视调谐器1013通过解调接收到的广播波信号来获得音频信号以及视频信号。地面电视调谐器1013将获得的音频信号提供到音频A/D转换电路1014。

音频A/D转换电路1014对于从地面电视调谐器1013提供的音频信号执行A/D转换处理，并将获得的数字音频信号提供到音频信号处理电路1022。

音频信号处理电路1022对于从A/D转换电路1014提供的音频数据执行预定处理，如去噪，并将获得的音频数据提供到回声消除/音频合成电路1023。

回声消除/音频合成电路1023将从音频信号处理电路1022提供的音频数据提供到音频放大器电路1024。

音频放大器电路1024对于从回声消除/音频合成电路1023提供的音频数据执行D/A转换处理和放大处理，以便将音频数据的音量调节到预定音量。音频放大器电路1024然后从扬声器1025输出音频数据。

电视接收机1000还包括数字调谐器1016和MPEG解码器1017。

数字调谐器1016经由天线接收数字广播(数字地面广播、BS(广播卫星)/CS(通信卫星)数字广播)信号，并解调数字广播信号，以便获得MPEG-TS(运动图像专家组-传输流)。数字调谐器1016将MPEG-TS提供到MPEG解码器1017。

MPEG解码器1017解扰(descramble)从数字调谐器1016提供的MPEG-TS，并提取包含待回放(观看)的节目数据的流。MPEG解码器1017解码形成提取的流的音频分组，并将获得的音频数据提供到音频信号处理电路1022。MPEG解码器1017还解码形成该流的视频分组，并将获得的视频数据提供到视频信号处理电路1018。另外，MPEG解码器1017经由路径(未示出)将从MPEG-TS中提取的EPG(电子节目指南)数据提供到CPU 1032。

电视接收机1000使用上述图像解码设备60作为MPEG解码器1017，来如以上讨论的那样解码视频分组。例如从广播站发送的MPEG-TS已经由图像编码设备40编码。

如图像解码设备60中那样，在MPEG解码器1017中，通过关注与目标块相邻的块和与基准块相邻的块具有高相关性的事实，输入与基准块相邻的块的像素值，并且输出通过对于与目标块相邻的块的像素值执行滤波处理而获得的结果。然后，计算滤波器系数，以便输入输出之间的最小(均)方误差变得最小。通过该配置，MPEG解码器1017可以计算高精度滤波器系数，同时抑制伴随编码器中滤波器系数的传输的编码量的增大。

如在从视频解码器1015提供的视频数据中那样，从MPEG解码器1017提供的视频数据经历视频信号处理电路1018中的预定处理，并且如果需要的话，将图形产生电路1019中产生的视频数据等叠加在从视频信号处理电路1018提供的视频数据上。然后将产生的视频数据经由面板驱动电路1020提供到显示面板1021，并且在显示面板1021上显示视频数据的图像。

如在从音频A/D转换电路1014提供的音频数据中那样，从MPEG解码器1017提供的音频数据经历音频信号处理电路1022中的预定处理，并经由回声消除/音频合成电路1023提供到音频放大器电路1024。在音频放大器电路1024中，对于音频数据执行D/A转换处理和放大处理。结果，从扬声器1025输出音量调节到预定音量的声音。

电视接收机1000还包括麦克风1026和A/D转换电路1027。

A/D转换电路1027接收表示通过麦克风1026并入的用户语音的音频信号，该麦克风用于语音会话且为电视接收机1000提供，并且A/D转换电路1027对于接收到的音频信号执行A/D转换处理。然后，A/D转换电路1027将获得的数字音频数据提供到回声消除/音频合成电路1023。

在使用电视接收机1000从A/D转换电路1027接收用户(用户A)的音频数据时，回声消除/音频合成电路1023对于用户A的音频数据执行回声消除，并将音频数据与另一个音频数据进行合成。回声消除/音频合成电路1023经由音频放大器电路1024将产生的音频数据输出到扬声器1025。

进一步，电视接收机1000包括音频编解码器1028、内部总线1029、SDRAM(同步动态随机存取存储器)1030、闪存1031、CPU 1032、USB(通用串行总线)I/F 1033和网络I/F 1034。

A/D转换电路1027接收表示通过麦克风1026并入的用户语音的音频信号，该麦克风用于语音会话且为电视接收机1000提供，并且A/D转换电路1027对于接收到的音频信号执行A/D转换处理，并将获得的数字音频数据提供到音频编解码器1028。

音频编解码器1028将从A/D转换电路1027提供的音频数据转换为具有要经由网络发送的预定格式的数据，并经由内部总线1029将该数据提供到网络I/F 1034。

网络I/F 1034经由附着于网络端子1035的线缆连接到网络。网络I/F 1034将从音频编解码器1028提供的音频数据发送到例如连接到该网络的另一装置。另外，例如，网络I/F 1034经由网络端子1035接收从经由网络连接到网络I/F 1034的另一装置发送的音频数据，并经由内部总线1029将接收到的音频数据提供到音频编解码器1028。

音频编解码器1028将从网络I/F 1034提供的音频数据转换为具有预定格式的数据，并将音频数据提供到回声消除/音频合成电路1023。

回声消除/音频合成电路1023对于从音频编解码器1028提供的音频数据执行回声消除，并将音频数据与另一音频数据进行合成。回声消除/音频合成电路1023然后经由音频放大器电路1024将产生的音频数据输出到扬声器1025。

SDRAM 1030存储CPU 1032执行处理所需的各种数据。

闪存1031存储由CPU 1032执行的程序。闪存1031中存储的程序由CPU1032在预定时间(例如，当启动电视接收机1000时)读出。在闪存1031中，还存储经由数字广播获得的EPG数据或经由网络从预定服务器获得的数据。

在闪存1031中，例如，存储包括在CPU 1032的控制下经由网络从预定服务器获得的内容数据的MPEG-TS。例如，在CPU 1032的控制下，闪存1031经由内部总线1029将MPEG-TS提供到MPEG解码器1017。

MPEG解码器1017以类似于从数字调谐器1016提供的MPEG-TS的方式来处理MPEG-TS。以这种方式，电视接收机1000可以经由网络接收内容数据(如，视频或音频数据)，并且可以通过使用MPEG解码器1017来解码该内容数据，以便显示视频或输出声音。

电视接收机1000还包括光接收单元1037，其接收从遥控器1051发送的红外信号。

光接收单元1037从遥控器1051接收红外线，并将作为解调结果获得的控制码输出到CPU 1032，所述控制码表示用户操作的内容。

CPU 1032执行闪存1031中存储的程序，以便根据例如从光接收单元1037提供的控制码来控制电视接收机1000的整体操作。CPU 1032和电视接收机1000的各组件经由路径(未示出)彼此连接。

USB I/F 1033向通过附着于USB端子1036的USB线缆连接到电视接收机1000的外部装置发送数据和从其接收数据。网络I/F 1034经由附着于网络端子1035的线缆连接到网络，以便向连接到网络的各种装置发送和从其接收音频数据以外的数据。

电视接收机1000可以通过使用图像解码设备60作为MPEG解码器1017来计算高精度滤波器系数。结果，可以抑制伴随编码器产生的滤波器系数的传输的编码量和开销的增大。

图19是图示使用应用了本发明的图像编码设备和图像解码设备的蜂窝电话的主要配置的示例的框图。

图19中所示的蜂窝电话1100包括控制各个组件的主控制器1150、电源电路单元1151、操作输入控制器1152、图像编码器1153、相机I/F 1154、LCD控制器1155、图像解码器1156、多路复用器/解多路复用器1157、记录/回放单元1162、调制解调器电路单元1158和音频编解码器1159。这些组件经由总线1160彼此连接。

蜂窝电话1100还包括操作按键1119、CCD(电荷耦合器件)相机1116、液晶显示器1118、存储单元1123、发送器/接收器电路单元1163、天线1114、麦克风1121和扬声器1117。

当通过用户操作，通话结束或者打开电源键时，电源电路单元1115从电池组向各个组件供电，由此使得蜂窝电话1100可操作。

蜂窝电话1100在主控制器1150(其由CPU、ROM、RAM等组成)的控制下，以各种模式，如语音会话模式和数据通信模式，执行各种操作，如音频信号的发送和接收、电子邮件或图像数据的发送和接收、图像捕获和数据记录。

例如，在语音会话模式下，蜂窝电话1100通过使用音频编解码器1159，将由麦克风1121收集的语音的音频信号转换为数字音频数据。蜂窝电话1100通过使用调制解调器电路单元1158，对于数字音频信号执行扩频处理，并通过使用发送器/接收器电路单元1163，对于数字音频信号执行数字-模拟转换处理和频率转换处理。蜂窝电话1100经由天线1114将通过上述转换处理而获得的发送信号传送到基站(未示出)。经由公用交换电话网，将传送到基站的发送信号(音频信号)提供到另一通信方的蜂窝电话。

并且，例如，在语音会话模式下，蜂窝电话1100放大通过天线1114接收到的接收信号，并通过使用发送器/接收器电路单元1163对于接收到的信号执行频率转换处理和模拟-数字转换处理。蜂窝电话1100通过使用调制解调器电路单元1158执行逆扩频处理，并通过使用音频编解码器1159将接收到的信号转换为模拟音频信号。蜂窝电话1100从扬声器1117输出作为上述转换的结果而获得的模拟音频信号。

此外，例如，当在数据通信模式下发送电子邮件时，蜂窝电话1100通过操作输入控制器1152接收通过操作按键1119的操作而输入的电子邮件文本数据。蜂窝电话1100通过使用主控制器1150来处理该文本数据，并经由LCD控制器1155，在液晶显示器1118上将文本数据显示为图像。

蜂窝电话1100还根据通过操作输入控制器1152接收到的文本数据或用户指令，通过使用主控制器1150来产生电子邮件数据。蜂窝电话1100通过使用调制解调器电路单元1158、对于电子邮件数据执行扩频处理，并通过使用发送器/接收器电路单元1163执行数字-模拟转换处理和频率转换处理。蜂窝电话1100经由天线1114将通过上述转换处理而获得的发送信号传送到基站(未示出)。经由网络、邮件服务器等将传送到基站的发送信号(电子邮件)提供到预定地址。

并且，例如，当在数据通信模式下接收电子邮件时，蜂窝电话1100经由天线1114通过使用发送器/接收器电路单元1163接收从基站传送的信号，放大该信号，并通过使用发送器/接收器电路单元1163对于该信号执行频率转换处理和模拟-数字转换处理。蜂窝电话1100通过使用调制解调器电路单元1158对于接收到的信号执行逆扩频处理，以便重建原始的电子邮件数据。蜂窝电话1100经由LCD控制器1155，在液晶显示器1118上显示重建的电子邮件数据。

蜂窝电话1100可以经由记录/回放单元1162在存储单元1123中记录(存储)接收到的电子邮件数据。

该存储单元1123是某一可重写存储介质。存储单元1123可以是半导体存储器(如RAM或内置闪存)、硬盘、磁盘、磁光盘、光盘、USB存储器或可拆卸介质(如，存储卡)。当然，存储单元1123可以是上述那些以外的存储介质。

进一步，例如，当在数据通信模式下发送图像数据时，蜂窝电话1100通过使用CCD相机1116执行图像捕获来产生图像数据。CCD相机1116具有光学器件(如，镜头和光圈)和CCD(其用作光电转换器件)。CCD相机1116捕获被摄体的图像，并将接收到的光强度转换为电信号，以便产生被摄体图像的图像数据。CCD相机1116经由相机I/F 1154，通过使用图像编码器1153来编码图像数据，以便将图像数据转换为编码的图像数据。

蜂窝电话1100使用上述图像编码设备40作为执行上述处理的图像编码器1153。如图像编码设备40的情况下那样，在图像编码器1153中，通过关注与目标块相邻的块和与基准块相邻的块具有高相关性的事实，输入与基准块相邻的块的像素值，并且输出通过对于与目标块相邻的块的像素值执行滤波处理而获得的结果。然后，计算滤波器系数，以便输入输出之间的最小(均)方误差变得最小。通过该配置，图像编码器1153使得解码器能够计算高精度滤波器系数，同时抑制伴随滤波器系数的传输的编码量的增大。

蜂窝电话1100通过使用音频编解码器1159对于由麦克风1121收集的声音执行模拟-数字转换，同时通过使用CCD相机1116捕获图像，并进一步编码声音。

蜂窝电话1100根据预定方法，通过使用多路复用器/解多路复用器1157，将从图像编码器1153提供的编码图像数据与从音频编解码器1159提供的数字音频数据进行组合。蜂窝电话1100通过使用调制解调器电路单元1158对于产生的多路复用数据执行扩频处理，并通过使用发送器/接收器电路单元1163对于多路复用的数据执行数字-模拟转换处理和频率转换处理。蜂窝电话1100经由天线1114将作为上述转换处理的结果而获得的发送信号传送到基站(未示出)。例如，经由网络将传送到基站的发送信号(图像数据)提供到另一通信方。

如果未发送图像数据，则蜂窝电话1100可以经由LCD控制器1155在液晶显示器1118上显示由CCD相机1116产生的图像数据，而不使用图像编码器1153。

并且，例如，在数据通信模式下，当接收链接到简单主页的运动图像文件等的数据时，蜂窝电话1100经由天线1114通过使用发送器/接收器电路单元1163接收从基站传送的信号，放大该信号，并通过使用发送器/接收器电路单元1163执行频率转换处理和模拟-数字转换处理。蜂窝电话1100通过使用调制解调器电路单元1158对于接收到的信号执行逆扩频处理，以便重构原始的多路复用数据。蜂窝电话1100通过使用多路复用器/解多路复用器1157将多路复用数据分离为编码的图像数据和音频数据。

蜂窝电话1100通过使用图像解码器1156对编码的图像数据进行解码，以便产生回放运动图像数据，并经由LCD控制器1155在液晶显示器1118上显示回放运动图像数据。通过该操作，在液晶显示器1118上显示链接到简单主页等的运动图像文件中包含的运动图像数据。

蜂窝电话1100使用上述图像解码设备60作为执行上述处理的图像解码器1156。即，如在图像解码设备60的情况下那样，在图像解码器1156中，通过关注与目标块相邻的块和与基准块相邻的块具有高相关性的事实，输入与基准块相邻的块的像素值，并且输出通过对与目标块相邻的块的像素值执行滤波处理而获得的结果。然后，计算滤波器系数，以便输入输出之间的最小(均)方误差变得最小。通过该配置，图像解码器1156可以计算高精度滤波器系数，同时抑制伴随编码器中滤波器系数的传输的编码量的增大。

同时，蜂窝电话1100通过使用音频编解码器1159将数字音频数据转换为模拟音频信号，并从扬声器1117输出模拟音频信号。通过该操作，回放链接到简单主页等的运动图像文件中包含的音频数据。

如在电子邮件的情况下那样，蜂窝电话1100可以经由记录/回放单元1162在存储单元1123上记录(存储)链接到简单主页等的接收数据。

并且，蜂窝电话1100可以通过使用主控制器1150分析作为CCD相机1116的图像捕获的结果而获得的二维代码，以便获得在该二维代码上记录的信息。

进一步，蜂窝电话1100可以通过使用红外通信单元1181经由红外与外部装置通信。

蜂窝电话1100使用图像编码设备40作为图像编码器1153，由此使得可以抑制伴随滤波器系数的传输的编码量的增大。结果，例如，当编码和传送由CCD相机1116产生的图像数据时，蜂窝电话1100可以抑制伴随滤波器系数的传输的编码量和开销的增大。

并且，蜂窝电话1100使用图像解码设备60作为图像解码器1156，由此使得可以预测和产生具有高精度的滤波器系数。结果，例如，当接收链接到简单主页等的运动图像文件的数据(编码数据)时，蜂窝电话1100可以抑制伴随滤波器系数的传输的编码量和开销的增大。

在前面的描述中，蜂窝电话1100使用CCD相机1116。然而，代替该CCD相机1116，可以使用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在这种情况下，同样，蜂窝电话1100可以捕获被摄体的图像，以便产生被摄体图像的图像数据，如CCD相机1116的情况下那样。

在前面的描述中，已经将蜂窝电话1100描述为使用本发明的示例。然而，如蜂窝电话1100的情况下那样，图像编码设备40或图像解码设备60可以应用于与蜂窝电话1100的那些类似的、具有图像捕获功能和通信功能的任何设备，如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、笔记本或笔记本个人计算机。

图20是图示使用应用了本发明的图像编码设备和图像解码设备的硬盘记录器的主要配置的示例的框图。

图20中所示的硬盘记录器(HDD记录器)1200是这样的设备：其在内置硬盘中存储由卫星或地面天线等发送且由调谐器接收的广播信号(电视信号)中包含的广播节目的音频数据和视频数据，并在根据来自用户的指示的时间向用户提供存储的数据。

例如，硬盘记录器1200可以从广播信号中提取音频数据和视频数据，以便当需要时解码音频数据和视频数据，并在内置硬盘中存储音频数据和视频数据。硬盘记录器1200还可以经由例如网络从另一个装置获得音频数据和视频数据，以便当需要时解码音频数据和视频数据，并将音频数据和视频数据存储在内置硬盘中。

进一步，硬盘记录器1200可以解码例如内置硬盘中记录的音频数据和视频数据，并将音频数据和视频数据提供到监视器1260。硬盘记录器1200在监视器1260的屏幕上显示视频数据的图像，并从监视器1260的扬声器输出音频数据的声音。并且，硬盘记录器1200可以对于从经由调谐器获得的广播信号中提取的音频数据和视频数据进行解码，或者对于经由网络从另一装置获得的音频数据和视频数据进行解码，并将音频数据和视频数据提供到监视器1260。硬盘记录器1200在监视器1260的屏幕上显示视频数据的图像，并从监视器1260的扬声器输出音频数据的声音。

当然，可以执行上述操作以外的操作。

如图20所示，硬盘记录器1200包括接收器1221、解调器1222、解多路复用器1223、音频解码器1224、视频解码器1225和记录器控制器1226。硬盘记录器1200还包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD(在屏显示)控制器1231、显示控制器1232、记录/回放单元1233、D/A转换器1234和通信单元1235。

并且，显示转换器1230包括视频编码器1241。记录/回放单元1233包括编码器1251和解码器1252。

接收器1221从遥控器(未示出)接收红外信号，并将红外信号转换为电信号，以便将电信号输出到记录器控制器1226。记录器控制器1226由例如微处理器形成，并根据程序存储器1228中存储的程序来执行各种操作。在这种情况下，如果需要的话，记录器控制器1226使用工作存储器1229。

通信单元1235连接到网络，以便经由网络与另一个装置通信。例如，在记录器控制器1226的控制下，通信单元1235与调谐器(未示出)通信，并主要将频道选择控制信号输出到调谐器。

解调器1222解调从调谐器提供的信号，并将该信号输出到解多路复用器1223。解多路复用器1223将从解调器1222提供的数据分离为音频数据、视频数据和EPG数据，并将音频数据、视频数据和EPG数据分别输出到音频解码器1224、视频解码器1225和记录器控制器1226。

音频解码器1224对于输入的音频数据进行解码，并将数据输出到记录/回放单元1223。视频解码器1225对于输入的视频数据进行解码，并将数据输出到显示转换器1230。记录器控制器1226将输入的EPG数据提供到EPG数据存储器1227，并允许EPG存储器1227在其中存储EPG数据。

显示转换器1230通过使用视频编码器1241，将从视频解码器1225或记录器控制器1226提供的视频数据编码为例如NTSC(全国电视标准委员会)视频数据，并将视频数据输出到记录/回放单元1233。显示转换器1230还将从视频解码器1225或记录器控制器1226提供的视频数据的尺寸转换为与监视器1260的尺寸匹配的监视器尺寸。然后显示转换器1230通过使用视频编码器1241，将视频数据转换为NTSC视频数据并将数据转换为模拟信号，并将模拟信号输出到显示控制器1232。

显示控制器1232在记录器控制器1226的控制下，将从OSD(在屏显示)控制器1231输出的OSD信号叠加在从显示转换器1230接收到的视频信号上。显示控制器1232将叠加的信号输出到监视器1260的显示器，并在显示器上显示叠加的信号。

还将由D/A转换器1234从音频解码器1224输出的音频数据转换的模拟信号提供到监视器1260。监视器1260从内置扬声器输出该音频信号。

记录/回放单元1233具有作为在其中记录视频数据、音频数据等的存储介质的硬盘。

记录/回放单元1233通过使用编码器1251对于例如从音频解码器1224提供的音频数据进行编码。记录/回放单元1233还通过使用编码器1251，对于从显示转换器1230的视频编码器1241提供的视频数据进行编码。记录/回放单元1233通过使用多路复用器，将音频数据的编码数据与视频数据的编码数据进行组合。记录/回放单元1233对于多路复用数据执行信道编码，以便放大数据，并经由记录头将多路复用的数据写入硬盘。

记录/回放单元1233经由回放头回放硬盘上记录的数据，放大数据，并通过使用解多路复用器将数据分离为音频数据和视频数据。记录/回放单元1233通过使用解码器1252解码音频数据和视频数据。记录/回放单元1233对于解码的音频数据执行D/A转换，并将音频数据输出到监视器1260的扬声器。记录/回放单元1233还对于解码的视频数据执行D/A转换，并将视频数据输出到监视器1260的显示器。

记录器控制器1226根据由接收器1221从遥控器接收到的红外信号所表示的用户指令，从EPG数据存储器1227读出最近的EPG数据，并将最近的EPG数据提供到OSD控制器1231。OSD控制器1231产生与输入EPG数据对应的图像数据，并将图像数据输出到显示控制器1232。显示控制器1232将从OSD控制器1231接收到的视频数据输出到监视器1260的显示器，并在显示器上显示视频数据。通过该操作，在监视器1260的显示器上显示EPG(电子节目指南)。

硬盘记录器1200还可以获得经由网络(如，因特网)从其他装置提供的各种数据(如，视频数据、音频数据、EPG数据)。

在记录器控制器1226的控制下，通信单元1235获得经由网络从其他装置发送的编码数据(如，视频数据、音频数据和EPG数据)，并将获得的数据提供到记录器控制器1226。记录器控制器1226将获得的编码数据(如，视频数据和音频数据)提供到记录/回放单元1223，并允许记录/回放单元1223将编码数据存储在硬盘中。在这种情况下，如果需要的话，记录器控制器1226和记录/回放单元1223可以执行处理，如重新编码。

记录器控制器1226对于获得的编码数据(如视频数据和音频数据)进行解码，并将获得的视频数据提供到显示转换器1230。以与从视频解码器1225提供的视频数据类似的方式，显示转换器1230处理从记录器控制器1226提供的视频数据，并经由显示控制器1232将视频数据提供到监视器1260，由此允许监视器1260显示视频数据。

与图像的显示相结合，记录器控制器1226可以经由D/A转换器1234将解码的音频数据提供到监视器1260，并允许监视器1260从扬声器输出声音。

进一步，记录器控制器1226对于获得的EPG数据的编码数据进行解码，并将解码的EPG数据提供到EPG数据存储器1227。

上述硬盘记录器1200使用图像解码设备60作为视频解码器1225、解码器1252和记录器控制器1226中包含的解码器。即，如在图像解码设备60中那样，在视频解码器1225、解码器1252和记录器控制器1226中包含的解码器中，通过关注与目标块相邻的块和与基准块相邻的块具有高相关性的事实，输入与基准块相邻的块的像素值，并且输出通过对于与目标块相邻的块的像素值执行滤波处理而获得的结果。然后，计算滤波器系数，以便输入输出之间的最小(均)方误差变得最小。因此，视频解码器1225、解码器1252和记录器控制器1226中包含的解码器可以计算高精度滤波器系数，同时抑制编码器中伴随滤波器系数的传输的编码量的增大。

因此，当例如通过调谐器或通信单元1235接收视频数据(编码数据)时或者当例如通过记录/回放单元1233从硬盘回放视频数据(编码数据)时，硬盘记录器1200可以抑制伴随滤波器系数的传输的编码量和开销的增大。

并且，硬盘记录器1200使用图像编码设备40作为编码器1251。因此，如在图像编码设备40的情况下那样，在编码器1251中，通过关注与目标块相邻的块和与基准块相邻的块具有高相关性的事实，输入与基准块相邻的块的像素值，并且输出通过对于与目标块相邻的块的像素值执行滤波处理而获得的结果。然后，计算滤波器系数，以便输入输出之间的最小(均)方误差变得最小。因此，编码器1251使得解码器能够计算高精度滤波器系数，同时抑制伴随滤波器系数的传输的编码量的增大。

因此，例如，当在硬盘中记录编码数据时，硬盘记录器1200可以抑制伴随滤波器系数的传输的编码量和开销的增大。

使用本发明，作为示例，已经描述了在硬盘中记录视频数据和音频数据的硬盘记录器1200。然而，当然，可以使用任何类型的记录介质。例如，可以使用利用硬盘以外的记录介质(如，闪存、光盘或视频磁带)的记录器。在这种情况下，同样，如在上述硬盘记录器1200的情况下那样，图像编码设备40和图像解码设备60可应用于这种记录器。

图21是图示使用应用了本发明的图像编码设备和图像解码设备的相机的主要配置的示例的框图。

图21中所示的相机1300捕获被摄体的图像，并在LCD 1316上显示被摄体的图像，或者在记录介质1333上记录被摄体的图像作为图像数据。

镜头块1311允许光(即，被摄体的图像)入射在CCD/CMOS 1312上。作为使用CCD或CMOS的图像传感器的CCD/CMOS 1312将接收到的光强度转换为电信号，并将电信号提供到相机信号处理器1313。

相机信号处理器1313将从CCD/CMOS 1312提供的电信号转换为色差信号Y、Cr、Cb，并将色差信号提供到图像信号处理器1314。在控制器1321的控制下，图像信号处理器1314对于从相机信号处理器1313提供的图像信号执行预定图像处理，并通过使用编码器1341编码图像信号。图像信号处理器1314将通过编码图像信号而获得的编码数据提供到解码器1315。进一步，图像信号处理器1314获得通过在屏显示器(OSD)1320产生的显示数据，并将显示数据提供到解码器1315。

在上述处理中，如果需要的话，相机信号处理器1313利用经由总线1317连接到相机信号处理器1313的DRAM(动态随机存取存储器)1318，并且如果需要的话，在DRAM 1318中存储图像数据或者通过编码该图像数据而获得的编码数据等。

解码器1315对于从图像信号处理器1314提供的编码数据进行解码，并将获得的图像数据(解码的图像数据)提供到LCD 1316。解码器1315还将从图像信号处理器1314提供的显示数据提供到LCD 1316。LCD 1316适当地将解码的图像数据的图像与从解码器1315提供的显示数据的图像进行组合，并显示合成的图像。

在屏显示器1320在控制器1321的控制下，经由总线1317，将包括符号、字符、图形等的菜单屏幕或诸如图标之类的显示数据输出到图像信号处理器1314。

控制器1321根据表示用户使用操作单元1322给出的命令的内容的信号执行各种操作，并且还经由总线1317控制图像信号处理器1314、DRAM 1318、外部接口1319、在屏显示器1320、介质驱动器1323等。在闪速ROM 1324中，存储控制器1321执行各种操作所需的程序、数据等。

例如，代替图像信号处理器1314或解码器1315，控制器1321可以编码DRAM 1318中存储的图像数据，或者解码DRAM 1318中存储的编码数据。在这种情况下，控制器1321可以分别根据与图像信号处理器1314和解码器1315中采用的编码方法和解码方法类似的方法，执行编码和解码处理。可替代地，控制器1321可以根据图像信号处理器1314或解码器1315不支持的方法执行编码和解码处理。

并且，例如，当从操作单元1322给出开始打印图像的指令时，控制器1321从DRAM 1318读取图像数据，并将图像数据提供到经由总线1317与外部接口1319连接的打印机1334，由此允许打印机1334打印图像数据。

进一步，例如，当从操作单元1322给出记录图像的指令时，控制器1321从DRAM 1318读取编码数据，并经由总线1317将编码数据提供到附于介质驱动器1323的记录介质1333，由此允许记录介质1333在其中存储编码数据。

记录介质1333是任意的可写可拆卸介质，如磁盘、磁光盘、光盘、半导体存储器等。当然，任何类型的可拆卸介质可以用作记录介质1333，例如，可以使用磁带装置、盘或存储卡。当然，例如，可以使用非接触IC卡。

可替代地，介质驱动器1323和记录介质1333可以集成，并且可以使用非便携记录介质(例如，内置硬盘驱动器或SSD(固态驱动器))。

外部接口1319由例如USB输入/输出端子形成，并且当打印图像时连接到打印机1334。如果需要的话，驱动器1331连接到外部接口1319，并且当需要时可拆卸介质1332(如磁盘、光盘、磁光盘等)附于驱动器1331。如果需要的话，从可拆卸介质1332读取的计算机程序安装在闪速ROM 1324中。

进一步，外部接口1319具有连接到预定网络(如LAN或因特网)的网络接口。响应于来自操作单元1322的指令，控制器1321从DRAM 1318读取编码数据，并将编码数据从外部接口1319提供到经由网络与外部接口1319连接的另一装置。控制器1321还可以经由外部接口1319获得经由网络从另一装置提供的编码数据或图像数据，并将数据存储在DRAM 1318中，或者将数据提供到图像信号处理器1314。

上述相机1300使用图像解码设备60作为解码器1315。即，如图像解码设备60的情况下那样，在解码器1315中，通过关注与目标块相邻的块和与基准块相邻的块具有高相关性的事实，输入与基准块相邻的块的像素值，并且输出通过对于与目标块相邻的块的像素值执行滤波处理而获得的结果。然后，计算滤波器系数，以便输入输出之间的最小(均)方误差变得最小。因此，如在图像解码设备60的情况下那样，解码器1315可以计算高精度滤波器系数，同时抑制编码器中伴随滤波器系数的传输的编码量的增大。

因此，当例如读取CCD/CMOS 1312中产生的图像数据或从DRAM 1318或记录介质1333读取视频数据的编码数据时，或者当例如经由网络获得视频数据的编码数据时，相机1300可以抑制伴随滤波器系数的传输的编码量和开销的增大。

并且，相机1300使用图像编码设备40作为编码器1341。如在图像编码设备40的情况下那样，在编码器1341中，通过关注与目标块相邻的块和与基准块相邻的块具有高相关性的事实，输入与基准块相邻的块的像素值，并且输出通过对于与目标块相邻的块的像素值执行滤波处理而获得的结果。然后，计算滤波器系数，以便输入输出之间的最小(均)方误差变得最小。因此，编码器1341可以允许解码器计算高精度滤波器系数，同时抑制伴随滤波器系数的传输的编码量的增大。

因此，当例如在DRAM 1318或记录介质1333上记录编码数据时或者当例如将编码数据提供到另一装置时，相机1300可以抑制伴随滤波器系数的传输的编码量的增大。

图像解码设备60中采用的解码方法可以应用于控制器1321执行的解码处理。类似地，图像编码设备40中采用的编码方法可以应用于控制器1321执行的编码处理。

相机1300捕获的图像数据可以是运动图像或静止图像。

当然，图像编码设备40和图像解码设备60可应用于上述设备以外的设备或系统。

并且，宏块的大小是任意的。本发明可应用于任何大小的宏块，如图22中所示的那些。例如，本发明不仅可应用于普通的16×16像素宏块，而且可应用于扩展宏块，如32×32像素宏块。

在图22中，在上部，从左边依次顺序地示出了划分为32×32像素、32×16像素、16×32像素和16×16像素的块(分区)的32×32像素宏块。并且，在中部，从左边依次顺序地示出了划分为16×16像素、16×8像素、8×16像素和8×8像素的块的16×16像素宏块。进一步，在底部，从左边依次顺序地示出了划分为8×8像素、8×4像素、4×8像素和4×4像素的块的8×8像素宏块。

即，32×32像素宏块可以以上部示出的32×32像素、32×16像素、16×32像素和16×16像素的块处理。

顶部右侧示出的16×16像素宏块可以以中部所示的16×16像素、16×8像素、8×16像素和8×8像素的块处理，如H.264/AVC方法中那样。

中部右侧示出的8×8像素宏块可以以底部所示的8×8像素、8×4像素、4×8像素和4×4像素的块处理，如H.264/AVC方法中那样。

将这些块分类为如下三个级别。即，将图22的顶部所示的32×32像素、32×16像素和16×32像素的块称为第一级别。将图22的顶部右侧所示的16×16像素的块以及中部所示的16×16像素、16×8像素和8×16像素的块称为第二级别。将图22的中部右侧所示的8×8像素以及底部所示的8×8像素、8×4像素、4×8像素和4×4像素的块称为第三级别。

通过这种分级(hierarchical)结构，对于16×16像素块和具有更小像素的块，可以将具有更大尺寸的块定义为超集(superset)，同时保持与H.264/AVC方法的兼容性。

例如，图像编码设备40或图像解码设备60可以对于每一个级别计算滤波器系数。并且，例如，图像编码设备40或图像解码设备60可以对于第二级别设置与第一级别的相同的滤波器系数，所述第一级别的块尺寸大于第二级别的块尺寸。进一步，例如，图像编码设备40或图像解码设备60可以对于相同级别设置过去使用的相同滤波器系数。

如第一或第二级别中那样，通过使用相对大的块尺寸来编码的宏块较不可能包含高频分量。相比之下，如第三级别中那样，通过使用相对小的块尺寸来编码的宏块更可能包含高频分量。

因此，对于具有不同块尺寸的各个级别分别地计算滤波器系数，由此使得可以提高适于图像的局部特征的编码性能。

分接头数量可以根据级别而变化。

附图标记列表

40图像编码设备，41运动预测/补偿单元，42滤波器产生器，60图像解码设备，70运动预测/补偿单元，71滤波器产生器

Claims (12)

1.一种图像处理设备，包括：

设置装置，用于将与作为要解码的目标的解码目标图像的目标块相邻、且比所述目标块早编码的区域设置为解码区域，并且用于将其与基准图像的基准块的位置关系与所述解码区域的位置关系相同的区域设置为基准区域；

计算装置，用于计算滤波器的滤波器系数，所述滤波器将由所述设置装置设置的基准区域的像素值转换为由所述设置装置设置的解码区域的像素值；

内插装置，用于通过使用具有由所述计算装置计算出的所述滤波器系数的调整滤波器，来内插所述基准块的像素值；以及

产生装置，用于通过对于所述目标块运动补偿具有由所述内插装置内插的像素值的所述基准块，来产生与所述解码目标图像对应的预测图像。

2.根据权利要求1所述的图像处理设备，其中，所述计算装置计算所述滤波器系数，以使得所述解码区域的像素值和通过对所述基准区域的像素值执行滤波处理而获得的结果之间的平方误差变得最小。

3.根据权利要求2所述的图像处理设备，其中：

所述解码区域包括第一解码区域和第二解码区域，所述第二解码区域以扫描次序位于所述第一解码区域之后；

所述基准区域包括与所述第一解码区域对应的第一基准区域以及与所述第二解码区域对应的第二基准区域；以及

所述计算装置对于所述第一基准区域和所述第一解码区域以及对于所述第二基准区域和所述第二解码区域，以不同的方向计算滤波器的系数。

4.根据权利要求3所述的图像处理设备，其中：

所述扫描次序是光栅扫描次序；以及

所述计算装置对于所述第一基准区域和所述第一解码区域计算水平方向滤波器的系数，并对于所述第二基准区域和所述第二解码区域计算垂直方向滤波器的系数。

5.根据权利要求4所述的图像处理设备，其中，所述第一解码区域和所述第二解码区域具有相同尺寸。

6.根据权利要求5所述的图像处理设备，其中，所述滤波器是自适应内插滤波器AIF。

7.根据权利要求1所述的图像处理设备，进一步包括接收装置，用于接收所述目标块和所述基准块之间的整数精度运动矢量，

其中，所述设置装置根据由所述接收装置接收到的所述运动矢量，设置所述解码区域和所述基准区域。

8.一种图像处理方法，包括：

将与作为要解码的目标的解码目标图像的目标块相邻、且比所述目标块早编码的区域设置为解码区域，并且用于将其与基准图像的基准块的位置关系与所述解码区域的位置关系相同的区域设置为基准区域；

计算滤波器的滤波器系数，所述滤波器将设置的基准区域的像素值转换为解码区域的像素值；

通过使用具有计算出的所述滤波器系数的调整滤波器，来内插所述基准块的像素值；以及

通过对于所述目标块运动补偿具有内插的像素值的所述基准块，来产生与所述解码目标图像对应的预测图像。

9.一种图像处理设备，包括：

设置装置，用于将与作为要编码的目标的编码目标图像的目标块相邻、且比所述目标块早解码的区域设置为编码区域，并且用于将其与解码基准图像的基准块的位置关系与所述编码区域的位置关系相同的区域设置为基准区域，所述解码基准图像已经比所述编码目标图像早解码；

计算装置，用于计算滤波器的滤波器系数，所述滤波器将由所述设置装置设置的基准区域的像素值转换为由所述设置装置设置的编码区域的像素值；

内插装置，用于通过使用具有由所述计算装置计算出的所述滤波器系数的调整滤波器，来内插所述基准块的像素值；以及

产生装置，用于通过对于所述目标块运动补偿具有由所述内插装置内插的像素值的所述基准块，来产生与所述编码目标图像对应的预测图像。

10.根据权利要求9所述的图像处理设备，进一步包括运动矢量计算装置，用于以整数精度计算所述目标块与所述基准块之间的运动矢量。

11.根据权利要求9所述的图像处理设备，其中所述滤波器是自适应内插滤波器AIF。

12.一种图像处理方法，包括：

将与作为要编码的目标的编码目标图像的目标块相邻、且比所述目标块早解码的区域设置为编码区域，并且将其与解码基准图像的基准块的位置关系与所述编码区域的位置关系相同的区域设置为基准区域，所述解码基准图像已经比所述编码目标图像早解码；

计算滤波器的滤波器系数，所述滤波器将设置的基准区域的像素值转换为解码区域的像素值；

通过使用具有计算出的所述滤波器系数的调整滤波器，来内插所述基准块的像素值；以及

通过对于所述目标块运动补偿具有内插的像素值的所述基准块，来产生与所述编码目标图像对应的预测图像。

Images