CN102301718A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

一种图像处理设备、图像处理方法和程序，其中可以提高帧间预测图像的质量。算术单元(115)将由逆正交变换单元(114)逆正交变换并提供的变换系数与由开关214提供的帧间预测图像相加以进行解码。运动预测/补偿单元(212)基于与压缩图像对应的由图像编码设备发送的并表示图像之间的模糊变化的模糊信息，运动补偿解码图像。模糊预测/补偿单元(213)对于运动补偿的图像进行模糊补偿，并提供产生的运动补偿和模糊补偿的图像到开关(214)作为帧间预测图像。本发明可应用于例如通过使用H.264/AVC系统执行解码的图像解码设备。

Description

图像处理设备、图像处理方法和程序

技术领域

本发明涉及图像处理设备、图像处理方法和程序，且具体地说，涉及能够提高通过帧间预测产生的预测图像的质量的图像处理设备、图像处理方法和程序。

背景技术

近年来，以数字格式操作图像信息的设备以及在那时，为了高效地传送和累积信息，压缩编码图像已经得到广泛应用。该设备使用对图像信息特定的冗余度并采用基于比如离散余弦变换之类的正交变换和运动补偿(例如，MPEG(运动图像专家组阶段)标准)压缩图像的方法。

具体地说，MPEG 2(ISO/IEC 13818-2)被定义为通用的图像编码方法。MPEG 2是对于隔行扫描图像和逐行扫描图像和对于标准清晰度图像和高清晰度图像定义的标准。MPEG 2现今广泛地用于专业应用和消费者应用。通过使用MPEG 2压缩标准并向720×480像素的标准分辨率隔行图像分配4到8Mbps的编码量(位速率)和向1920×1088像素的高清晰度隔行图像分配18到22Mbps的编码量，可以实现高压缩比和优秀的图像质量。

MPEG 2意在提供主要与广播适应的高分辨率编码，因此，MPEG 2不支持具有低于MPEG 1的编码量的编码量，也就是，压缩比高于MPEG 1的压缩比的编码方法。但是，因为移动电话变得更广泛地使用，这种编码方法的需求正在增加。因此，已经标准化了MPEG 4编码方法。例如，在1998年12月MPEG 4图像编码方法被批准为国际标准ISO/IEC 14496-2。

另外，近年来，为了编码电视会议的图像，已经进行了被称为H.26L(ITU-T Q6/16VCEG)的标准的标准化。在H.26L中，与比如MPEG 2和MPEG 4之类的现有的编码标准比较，编码和解码操作需要大量计算。但是，已知H.26L可以实现更高的编码效率。此外，作为MPEG 4的活动的一部分，已经进行了被称为增强-压缩视频编码的联合模型的标准化。该增强-压缩视频编码的联合模型基于H.26L并包括H.26L不支持的功能，因此可以实现更高的编码效率。在2003年3月，增强-压缩视频编码的联合模型被批准为国际标准，作为H.264和MPEG-4部分10(高级视频编码；在下文中，称为“AVC”)。

另外，例如，在H.264/AVC中，使用在各帧或各场之间的相关性执行帧间预测。在这种帧间预测中执行的运动补偿处理中，通过平移表示参考图像的部分区域的运动补偿块，来通过帧间预测产生预测的图像(以下称为“帧间预测的图像”)。更具体地说，通过根据表示在各帧或各场之间的运动的运动矢量平移运动补偿块中的像素值来产生帧间预测的图像。

例如，如图1的“A”所示，如果在第(t-1)帧的图像中的面部11被平移到第t帧的图像中的右边，则在运动补偿处理中第(t-1)帧的图像被定义为参考图像，如图1的“B”所示。因此，获得指示右向的运动矢量。此后，如图1的“B”所示，根据该运动矢量将参考图像中包括面部11的运动补偿块12平移到右边。产生这种图像作为第t帧中的帧间预测的图像。

注意到，为了简单起见，在图1中，使用两个帧：第(t-1)帧和第t帧执行帧间预测。但是，实际上，使用的帧的数目不限于2。

另外，在H.264/AVC的运动补偿处理中，运动矢量的分辨率可以增加到分数像素的精度，比如1/2像素精度或1/4像素精度。

在这种具有分数像素精度的补偿处理中，假定在两个相邻像素之间存在被称为子像素的虚拟像素，且另外执行用于产生子像素的处理(以下称为“内插”)。

例如，FIR(有限持续时间脉冲响应)滤波器用于内插。该FIR滤波器在两个相邻像素之间内插数据。因此，FIR滤波器的抽头数是偶数。例如，在H.264/AVC中，用于具有1/2像素精度的运动补偿处理的FIR滤波器的抽头数是6。用于具有1/4像素精度的运动补偿处理的FIR滤波器的抽头数是2。

但是，在使用FIR滤波器的具有分数像素精度的运动补偿处理中，仅另外执行内插。像具有整数像素精度的运动补偿处理那样，通过平移运动补偿块产生帧间预测的图像。

另外，NPL 1和2描述在近来的研究论文中报告的自适应内插滤波器(AIF)。在这种使用AIF的运动补偿处理中，通过自适应地改变具有用于内插的偶数抽头的FIR滤波器的滤波器系数，可以减小混迭效应且因此，可以减小运动补偿中的误差。

但是，在使用AIF的具有分数像素精度的运动补偿中，仅通过自适应地改变FIR滤波器的滤波器系数执行内插。像具有整数像素精度的运动补偿那样，平移运动补偿块，并产生帧间预测的图像。

如上所述，当图像中的改变被表示为图像的平移时，可以执行使用FIR滤波器或AIF的具有整数像素精度的运动补偿处理和具有分数像素精度的运动补偿处理。

引用列表

非专利文献

NPL 1：Thomas Wedi和Hans Georg Musmann，Motion-andAliasing-Compensated Prediction for Hybrid Video Coding，IEEE Transactions oncircuits and systems for video technology，2003年7月，Vol.13，No.7

NPL 2：Yuri Vatis，Joern Ostermann，Prediction of P-and B-Frames Using aTwo-dimensional Non-separable Adaptive Wiener Interpolation Filter forH.264/AVC，ITU-T SG16 VCEG 30th Meeting，Hangzhou China，2006年10月

发明内容

技术问题

但是实际上，图像中的改变不能仅表示为平移。例如，图像的模糊量可能由于各种原因(例如，从焦点对准状态偏离焦点，从焦点未对准状态进入对焦，或物体以加速速率移动)而改变。如在这里使用的，术语“模糊”是指图像中物体位置的不清楚。如果物体模糊，则当物体不模糊时在图像中以聚光点形式出现的物体以散射光的形式出现。

如果出现这种模糊，则图像的高频分量丢失。但是，不能使用平移表示频率特性的变化。因此，当在图像之间出现模糊的改变时，且如果使用上述运动补偿处理执行帧间预测，则产生在帧间预测的图像和要编码的图像之间像素值的差。注意，该差关于要编码的图像减小帧间预测的图像的峰值信噪比(PSNR)。

例如，如图2所示，如果第(t-1)帧的输入的焦点对准图像改变为第t帧的输入焦点未对准图像，则第(t-1)帧的输入图像中的非模糊面部21改变为第t帧的输入图像中的模糊面部22。注意，在图2中，模糊由粗体框表示。另外，在图2的示例中，为简单起见，面部21是静止的。

在这种情况下，面部21的运动矢量是0。因此，如图2所示，当第(t-1)帧的输入图像被定义为参考图像时且如果对于要编码的第t帧执行帧间预测，则第t帧的帧间预测的图像与参考图像相同。也就是说，第t帧的帧间预测的图像中的面部与第(t-1)帧的输入图像中的非模糊面部21相同。

因此，就像素值而言，在第t帧的帧间预测的图像和输入图像之间仅出现面部22和面部21之间的差异。因此，帧间预测的图像关于第t帧的输入图像的PSNR减小。也就是说，如图2所示，在帧间预测的图像和第t帧的输入图像之间的差异图像是其中面部21的轮廓部分23保留为面部22和面部21之间的差异的图像。

注意到在图2所示的示例中，面部21是静止的。但是，即使对于正在移动的面部21，就像素值而言，在第t帧的帧间预测的图像和输入图像之间仅类似地出现面部22和面部21之间的差异。因此，帧间预测的图像关于第t帧的输入图像的PSNR减小。

在编码设备中，总的来说，差异图像经历某些正交变换、量化和编码。此后，将产生的图像作为已编码图像传送到解码器。因此，PSNR的下降增加编码量并降低编码效率。

因此，本发明可以提高帧间预测的图像的质量。

技术方案

根据本发明的第一方面，图像处理设备包括：解码装置，用于解码已编码图像；补偿装置，用于基于指示图像之间的模糊变化的模糊信息，来关于由解码装置解码的图像执行运动补偿和模糊补偿，其中模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算装置，用于通过将由解码装置解码的图像与经历了由补偿装置执行的运动补偿和模糊补偿的已补偿图像加和来产生已解码图像。

可以使用PSF(点扩散函数)来表示模糊信息。

可以使用二维正态分布表达式来表示模糊信息。

从不同图像处理设备发送的模糊信息可以指示二维正态分布表达式的扩展宽度W。

可以由作为脉冲响应输出的半径L表示模糊信息.

可以由从作为脉冲响应的中心开始水平方向上的长度Lx和垂直方向上的长度Ly表示模糊信息。

补偿装置可以关于由解码装置解码的图像执行运动补偿并使用模糊信息关于产生的图像执行模糊补偿。

补偿装置可以使用模糊信息关于由解码装置解码的图像执行模糊补偿并关于产生的图像执行运动补偿。

根据本发明的第一方面，提供了图像处理设备中使用的图像处理方法。该方法包括：解码步骤，解码已编码图像；补偿步骤，基于指示图像之间的模糊变化的模糊信息，关于在解码步骤中解码的图像执行运动补偿和模糊补偿，其中模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算步骤，通过将在解码步骤中解码的图像与经历了在补偿步骤中执行的运动补偿和模糊补偿的已补偿图像加和来产生已解码图像。

根据本发明的第一方面，程序包括用于使得计算机用作图像处理设备的程序代码。该图像处理设备包括：解码装置，用于解码已编码图像；补偿装置，用于基于指示图像之间的模糊变化的模糊信息，来关于由解码装置解码的图像执行运动补偿和模糊补偿，其中模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算装置，用于通过将由解码装置解码的图像与经历了由补偿装置执行的运动补偿和模糊补偿的已补偿图像加和来产生已解码图像。

根据本发明的第二方面，图像处理设备包括：补偿装置，用于使用要编码的图像和参考图像预测运动和要编码的图像和参考图像之间的模糊变化，并基于表示运动的运动矢量和指示模糊变化的模糊信息来关于参考图像执行运动补偿和模糊补偿；编码装置，用于使用在经历了运动补偿和模糊补偿的已补偿图像和要编码的图像之间的差异来产生已编码图像；和发送装置，用于发送已编码图像和模糊信息。

可以由PSF(点扩散函数)来表示模糊信息。

可以使用二维正态分布表达式来表示模糊信息。

发送装置可以发送二维正态分布表达式的扩展宽度W作为模糊信息。

可以由作为脉冲响应输出的半径L表示模糊信息.

可以由从作为脉冲响应的中心开始水平方向上的长度Lx和垂直方向上的长度Ly表示模糊信息。

可以使用要编码的图像和参考图像预测运动，且可以基于表示运动的运动矢量执行运动补偿。可以使用通过运动补偿获得的图像和要编码的图像来预测模糊的变化，且可以基于表示模糊变化的模糊信息执行模糊补偿。

补偿装置可以使用要编码的图像和参考图像预测模糊的变化并基于表示模糊变化的模糊信息执行模糊补偿，且补偿装置可以使用通过模糊补偿获得的图像和要编码的图像预测运动与基于表示运动的运动矢量执行运动补偿。

根据本发明的第二方面，提供了图像处理设备中使用的图像处理方法。该方法包括：补偿步骤，使用要编码的图像和参考图像预测运动和要编码的图像和参考图像之间的模糊的变化，并基于表示运动的运动矢量和指示模糊变化的模糊信息执行运动补偿和模糊补偿；编码步骤，使用经历了运动补偿和模糊补偿的已补偿图像和要编码的图像之间的差异产生已编码图像；和发送步骤，发送已编码图像和模糊信息。

根据本发明的第二方面，程序包括用于使得计算机用作图像处理设备的程序代码。该图像处理设备包括：补偿装置，用于使用要编码的图像和参考图像预测运动和要编码的图像和参考图像之间的模糊的变化，并基于表示运动的运动矢量和指示模糊变化的模糊信息执行运动补偿和模糊补偿；编码装置，用于使用经历了运动补偿和模糊补偿的已补偿图像和要编码的图像之间的差异产生已编码图像；和发送装置，用于发送已编码图像和模糊信息。

根据本发明的第一方面，解码已编码图像。基于与已编码图像对应并从编码图像的不同图像处理设备发送的模糊信息关于已解码图像执行运动补偿和模糊补偿，其中模糊信息指示图像之间的模糊变化。此后，通过将已解码图像和经历了由补偿装置执行的运动补偿和模糊补偿的已补偿图像加和来产生已解码图像。

根据本发明的第二方面，使用要编码的图像和参考图像，预测运动要编码的图像和参考图像之间的模糊变化，并基于表示运动的运动矢量和指示模糊变化的模糊信息来关于参考图像执行运动补偿和模糊补偿。此后，使用经历了运动补偿和模糊补偿的已补偿图像和要编码的图像之间的差异产生已编码图像。随后，发送已编码图像和模糊信息。

技术效果

根据本发明，可以提高帧间预测的图像的质量。

附图说明

图1图示现有的帧间预测技术；

图2图示当在图像之间出现模糊时获得的帧内预测的图像；

图3是根据本发明的图像编码设备的配置的框图；

图4图示可变块大小；

图5是根据本发明的图像解码设备的配置的框图；

图6是根据本发明第一实施例的图像编码设备的配置的示例的框图；

图7是图6所示的模糊预测/补偿单元的详细配置示例的框图；

图8图示通过其出现对焦模糊的机构；

图9图示通过其出现运动模糊的机构；

图10图示关于对焦模糊的模糊信息；

图11图示关于运动模糊的模糊信息；

图12图示点扩散函数；

图13图示点扩散函数；

图14图示使用正态分布等式计算的滤波器系数的示例；

图15是由图6所示的图像编码设备执行的编码处理的流程图；

图16是在图15所示的步骤S25执行的模糊预测/补偿处理的流程图；

图17是根据本发明第一实施例的图像解码设备的示例配置的框图；

图18图示图17所示的模糊预测/补偿单元的详细配置的示例；

图19是由图17所示的图像解码设备执行的解码处理的流程图；

图20是在图19所示的步骤S140执行的模糊补偿处理的流程图；

图21是根据本发明第二实施例的图像编码设备的配置的示例的框图；

图22是图21所示的模糊运动预测/补偿单元的详细配置的示例的框图；

图23是由图21所示的图像编码设备执行的编码处理的流程图；

图24是在图23所示的步骤S223执行的模糊运动预测/补偿处理的流程图；

图25是根据本发明第二实施例的图像解码设备的示例配置的框图；

图26是图25所示的模糊运动预测/补偿单元的详细示例配置的框图；

图27是由图25所示的图像解码设备执行的解码处理的流程图；

图28是在图27所示的步骤S339执行的模糊运动补偿处理的流程图；

图29图示扩展的宏块大小的示例；

图30是根据本发明的电视接收机的基本配置的示例的框图；

图31是根据本发明的移动电话的基本配置的示例的框图；

图32是根据本发明的硬盘记录器的基本配置的示例的框图；

图33是根据本发明的相机的基本配置的示例的框图；

具体实施方式

<1.发明的假定>

首先参考图3到图5描述根据本发明的图像编码设备和图像解码设备。

图3图示根据本发明的图像编码设备的配置。图像编码设备51包括A/D转换单元61、重排序屏幕缓冲器62、计算单元63、正交变换单元64、量化器单元65、无损编码单元66、累积缓冲器67、逆量化器单元68、逆正交变换单元69、计算单元70、去区块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、已预测图像选择单元76和速率控制单元77。图像编码设备51例如使用H.264/AVC标准压缩编码图像。

A/D转换单元61A/D转换输入图像并将已转换图像输出到存储已转换图像的重排序屏幕缓冲器62中。此后，重排序屏幕缓冲器62根据GOP(画面组)重排序以存储的次序布置的帧的图像，以便以要编码帧的次序布置图像。

计算单元63从重排序屏幕缓冲器62读取的图像中减去由预测图像选择单元76选择的以下两个预测图像之一：帧内预测的图像和通过帧间预测产生的预测图像(以下称为“帧间预测的图像”)。此后，计算单元63将产生的差值输出到正交变换单元64。正交变换单元64关于从计算单元63接收到的差值执行正交变换，比如离散余弦变换或Karhunen-Loeve变换，并输出变换系数。量化器单元65量化从正交变换单元64输出的变换系数。

从量化器单元65输出的量化的变换系数被输入到无损编码单元66。此后，关于量化的变换系数执行无损编码处理，比如可变长度编码(例如，CAVLC(上下文自适应可变长度编码))或算术编码(例如，CABAC(上下文自适应二进制算术编码)。因此，压缩变换系数。在累积缓冲器67中积累产生的压缩图像，并随后输出。

另外，从量化器单元65输出的量化的变换系数还输入到逆量化器单元68并进行逆量化。此后，变换系数进一步在逆正交变换单元69中经历逆正交变换。由计算单元70将逆正交变换的结果加到从预测图像选择单元76提供的帧间预测的图像或帧内预测的图像。以这种方式，产生本地解码的图像。去区块滤波器71去除本地解码的图像的块失真并将本地解码的图像提供到帧存储器72。因此，累积本地解码的图像。另外，由去区块滤波器71执行去区块滤波器处理之前的图像还被提供给帧存储器72并累积。

开关73将在帧存储器72中累积的图像输出到运动预测/补偿单元75或帧内预测单元74。

在图像编码设备51中，例如，将从重排序屏幕缓冲器62接收到的I画面、B画面和P画面提供给帧内预测单元74作为要经历帧内预测的图像。另外，将从重排序屏幕缓冲器62读取的B画面和P画面提供给运动预测/补偿单元75作为要经历帧间预测的图像。

帧内预测单元74使用要经历帧内预测并从重排序屏幕缓冲器62读取的图像和经由开关73从帧存储器72提供的图像来在所有候选帧内预测模式中执行帧内预测处理。因此，帧内预测单元74产生帧内预测的图像。

注意，在H.264/AVC编码标准中，作为用于亮度信号的帧内预测模式，定义基于4×4像素块的预测模式、基于8×8像素块的预测模式和基于16×16像素块的预测模式。也就是说，定义基于宏块的预测模式。另外，与用于亮度信号的帧内预测模式独立地定义用于色差信号的帧内预测模式。基于宏块定义用于色差信号的帧内预测模式。

另外，帧内预测单元74对于所有候选帧内预测模式中的每一个计算成本函数值。

使用如在作为H.264/AVC参考软件的JM(联合模型)中定义的高复杂度模式和低复杂度模式的技术之一计算成本函数值。

更具体地说，当采用高复杂度模式作为计算成本函数值的技术时，对于所有候选预测模式临时执行直到编码处理的处理。因此，对于每一帧内预测模式计算由以下等式(1)定义的成本函数值。

Cost(Mode)＝D+λ·R    ...(1)

D表示在初始图像和解码图像之间的差异(失真)，R表示包括直到正交变换系数的产生的代码量，且λ表示以量化参数QP的函数的形式的拉格朗日乘子。

相反，当采用低复杂度模式作为用于计算成本函数值的技术时，执行帧内预测的图像的产生和报头位(例如，指示帧内预测模式的信息)的计算。因此，对于每一帧内预测模式计算以下面等式(2)表示的成本函数。

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit  ...(2)

D表示在初始图像和解码图像之间的差异(失真)，Header_Bit表示用于预测模式的报头位，且QPtoQuant表示以量化参数QP的函数的形式提供的函数。

在低复杂度模式中，可以仅对于每一帧内预测模式产生帧内预测的图像。不必执行编码处理。因此，可以减小计算量。

帧内预测单元74选择在以这样的方式计算的成本函数值之中提供最小值的帧内预测模式作为最优帧内预测模式。帧内预测单元74将以最优帧内预测模式产生的帧内预测的图像和其成本函数值提供到预测图像选择单元76。如果由预测图像选择单元76选择了以最优帧内预测模式产生的帧内预测的图像，则帧内预测单元74提供指示最优帧内预测模式的信息给无损编码单元66。无损编码单元66无损编码该信息并使用该信息作为报头信息的一部分。

运动预测/补偿单元75对于每一候选的帧间预测模式执行运动预测/补偿处理。更具体地说，运动预测/补偿单元75基于从重排序屏幕缓冲器62读取的待帧间预测的图像和经由开关73从帧存储器72提供的用作参考图像的图像，检测每一候选的帧间预测模式中的运动矢量。此后，运动预测/补偿单元75基于运动矢量关于参考图像执行运动补偿处理并产生运动补偿图像。

注意，在MPEG2标准中，块大小固定(对于帧间运动预测/补偿处理的基于16×16像素和在场间预测/补偿处理中每个场的基于16×8像素)，并执行运动预测/补偿处理。但是，在H.264/AVC标准中，块大小可变，并执行运动预测/补偿处理。

更具体地说，如图4所示，在H.264/AVC标准中，包括16×16像素的宏块被分为16×16像素分区、16×8像素分区、8×16像素分区和8×8像素分区之一。每一分区可以具有独立的运动矢量信息。另外，如图4所示，8×8像素分区可以分离为8×8像素子分区、8×4像素子分区、4×8像素子分区和4×4像素子分区之一。每一子分区可以具有独立的运动矢量信息。

因此，帧间预测模式包括用于基于16×16像素、基于16×8像素、基于8×16像素、基于8×8像素、基于8×4像素、基于4×8像素和基于4×4像素之一检测运动矢量的八个类型的模式。

另外，运动预测/补偿单元75使用与由帧内预测单元74采用的技术相同的技术对于所有候选的帧间预测模式中的每一个计算成本函数值。运动预测/补偿单元75选择在计算的成本函数值之中最小化成本函数值的预测模式作为最优帧间预测模式。

此后，运动预测/补偿单元75将以最优帧间预测模式产生的运动补偿图像提供到预测图像选择单元76作为帧间预测的图像。另外，运动预测/补偿单元75将最优帧间预测模式的成本函数值提供到预测图像选择单元76。当选择了以最优帧间预测模式由预测图像选择单元76产生的帧间预测的图像时，运动预测/补偿单元75将关于最优帧间预测模式的信息和与最优帧间预测模式相关联的信息(例如，运动矢量信息和参考帧信息)输出到无损编码单元66。无损编码单元66关于从运动预测/补偿单元75接收到的信息执行无损编码处理，并将该信息插入到压缩图像的报头部分中。

预测图像选择单元76基于从帧内预测单元74和运动预测/补偿单元75输出的成本函数值，从最优帧内预测模式和最优帧间预测模式选择最优预测模式。此后，预测图像选择单元76选择用作所选的最优预测模式中的预测图像的帧内预测的图像和帧间预测的图像之一，并将所选的预测图像提供到计算单元63和70。在那时，预测图像选择单元76提供指示已经选择了帧内预测的图像的信息到帧内预测单元74或提供指示已经选择了帧间预测的图像的信息到运动预测/补偿单元75。

速率控制单元77基于作为包括报头部分的压缩信息在累积缓冲器67中累积的压缩图像，控制由量化器单元65执行的量化操作的速率，以便不发生累积缓冲器67的上溢和下溢。

由具有上述配置的图像编码设备51编码的压缩信息被经由预定传输路径发送并由图像解码设备解码。图5图示这种图像解码设备的配置。

图像解码设备101包括累积缓冲器111、无损解码单元112、逆量化器单元113、逆正交变换单元114、计算单元115、去区块滤波器116、重排序屏幕缓冲器117、D/A转换单元118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122和开关123。

累积缓冲器111累积发送的压缩图像。无损解码单元112使用与由无损编码单元66采用的无损编码方法对应的方法，无损解码(变长度解码或算术解码)由图3所示的无损编码单元66编码并从累积缓冲器111提供的压缩信息。此后，无损解码单元112从通过无损解码获得的信息提取图像、指示最优帧间预测模式或最优帧内预测模式的信息、运动矢量信息和参考帧信息。

逆量化器单元113使用与由图3所示的量化器单元65采用的量化方法对应的方法逆量化由无损解码单元112解码的图像。此后，逆量化器单元113将产生的变换系数提供到逆正交变换单元114。逆正交变换单元114使用与由图3所示的正交变换单元64采用的正交变换方法对应的方法，关于从逆量化器单元113接收到的变换系数执行第四级(fourth-order)逆正交变换。

逆正交变换输出被加到从开关123提供的帧内预测的图像或帧间预测的图像，并由计算单元115解码。去区块滤波器116去除解码图像的块失真并将产生的图像提供到帧存储器119。因此，累积图像。同时，将图像输出到重排序屏幕缓冲器117。

重排序屏幕缓冲器117重排序图像。也就是说，为了编码已经由图3所示的重排序屏幕缓冲器62改变的帧的次序改变回初始的显示次序。D/A转换单元118将从重排序屏幕缓冲器117提供的图像D/A转换，并将图像输出到显示图像的显示器(没有示出)。

开关120从帧存储器119读取当编码图像时在帧内预测中用作参考图像的图像。开关120输出图像到运动预测/补偿单元122。另外，开关120从帧存储器119读取用于帧内预测的图像，并提供读出的图像到帧内预测单元121。

帧内预测单元121从无损解码单元112接收指示通过解码报头信息获得的最优帧内预测模式的信息。当提供指示最优帧内预测模式的信息时，帧内预测单元121使用从帧存储器119接收到的图像以在由信息指示的帧内预测模式下执行帧内预测处理。因此，帧内预测单元121产生预测图像。帧内预测单元121输出所产生的预测图像到开关123。

运动预测/补偿单元122从无损解码单元112接收通过无损解码报头信息(例如，指示最优帧间预测模式的信息、运动矢量信息和参考图像信息)获得的信息。在接收指示最优帧间预测模式的信息时，运动预测/补偿单元122用与指示最优帧间预测模式的信息一起提供的运动矢量信息和参考帧信息，以由该信息指示的最优帧间预测模式关于从帧存储器119接收到的参考图像执行运动补偿处理。因此，运动预测/补偿单元122产生运动补偿图像。此后，运动预测/补偿单元122输出运动补偿图像到开关123作为帧间预测的图像。

开关123将从运动预测/补偿单元122提供的帧间预测的图像或从帧内预测单元121提供的帧内预测的图像提供到计算单元115。

<2.第一实施例>

[图像编码设备的配置的示例]

接下来，图6图示根据本发明第一实施例的图像编码设备的配置的示例。

在参照图6中的配置时将使用与在以上描述图3的配置时使用的编号相同的编号。不重复相同的描述。

图6所示的图像编码设备151的配置与图3所示的配置的主要不同在于，图像编码设备151包括运动预测/补偿单元161、预测图像选择单元163和无损编码单元164代替运动预测/补偿单元75、预测图像选择单元76和无损编码单元66，并进一步包括模糊预测/补偿单元162。

更具体地说，类似于图3所示的运动预测/补偿单元75，图6所示的图像编码设备151的运动预测/补偿单元161以所有候选的帧间预测模式执行运动预测/补偿处理。另外，类似于运动预测/补偿单元75，运动预测/补偿单元161对于所有候选的帧间预测模式计算成本函数值。此外，类似于运动预测/补偿单元75，运动预测/补偿单元161选择在计算的成本函数值之中提供最小值的帧间预测模式作为最优帧间预测模式。

运动预测/补偿单元161将以最优帧间预测模式产生的运动补偿图像提供到模糊预测/补偿单元162。另外，类似于运动预测/补偿单元75，如果由预测图像选择单元163选择了以最优帧间预测模式产生的帧间预测的图像，则运动预测/补偿单元161将指示最优帧间预测模式的信息和与最优帧间预测模式相关联的信息(例如，运动矢量信息和参考帧信息)输出到无损编码单元164。

模糊预测/补偿单元162基于从运动预测/补偿单元161提供的运动补偿图像和用于运动补偿之后的运动预测/补偿处理并要帧间预测并从重排序屏幕缓冲器62输出的图像来检测模糊的变化。此后，模糊预测/补偿单元162执行模糊补偿处理以便基于指示检测到的模糊变化的模糊信息，来在运动补偿图像中产生或除去模糊。因此，模糊预测/补偿单元162产生运动补偿和模糊补偿图像。

另外，模糊预测/补偿单元162使用与由运动预测/补偿单元161采用的技术相同的技术计算运动补偿和模糊补偿图像的成本函数值。此后，模糊预测/补偿单元162将产生的运动补偿和模糊补偿图像提供到预测图像选择单元163作为帧间预测的图像。另外，模糊预测/补偿单元162将成本函数值提供到预测图像选择单元163。

此外，如果由预测图像选择单元163选择了以最优帧间预测模式产生的帧间预测的图像，则模糊预测/补偿单元162将模糊信息输出到无损编码单元164。注意，在下面更详细地描述模糊预测/补偿单元162。

预测图像选择单元163使用从帧内预测单元74或模糊预测/补偿单元162输出的成本函数值，从最优帧内预测模式和最优帧间预测模式确定最优预测模式。此后，预测图像选择单元163选择帧内预测的图像或帧间预测的图像作为所确定的最优预测模式的预测图像。随后，预测图像选择单元163将所选的预测图像提供到计算单元63和70。

在那时，预测图像选择单元163将指示选择帧内预测的图像的选择信息提供到帧内预测单元74或将指示选择帧间预测的图像的选择信息提供到运动预测/补偿单元161和模糊预测/补偿单元162。

类似于无损编码单元66，无损编码单元164关于从量化器单元65提供的量化的变换系数执行无损编码，并压缩变换系数。因此，无损编码单元164产生压缩图像。另外，无损编码单元164关于从帧内预测单元74、运动预测/补偿单元161或模糊预测/补偿单元162接收到的信息执行无损编码，并将信息插入到压缩图像的报头部分中。此后，包括由无损编码单元164产生的报头部分的压缩图像在累积缓冲器67中作为压缩信息累积并随后输出。

如上所述，图像编码设备151在帧间预测中不仅执行运动补偿而且执行模糊补偿。因此，即使当在要帧间预测的图像和参考图像之间模糊出现或消失时，也可以更精确地执行帧间预测。结果，可以提供帧间预测的图像的质量(例如，已帧间预测的图像关于要帧间预测的图像的PSNR)。

[模糊预测/补偿单元162的详细配置示例]

图7图示图6所示的模糊预测/补偿单元162的详细配置示例。

如图7所示，模糊预测/补偿单元162包括模糊补偿单元171和模糊预测单元172。

模糊补偿单元171基于从模糊预测单元172提供的模糊信息，关于从运动预测/补偿单元161提供的运动补偿图像执行模糊补偿处理。另外，模糊补偿单元171使用类似于由运动预测/补偿单元161采用的技术的技术，计算通过模糊补偿处理获得的运动补偿和模糊补偿图像的成本函数值。此后，模糊补偿单元171提供运动补偿和模糊补偿图像到预测图像选择单元163作为帧间预测的图像。另外，模糊补偿单元171将成本函数值提供到预测图像选择单元163。

模糊预测单元172基于从运动预测/补偿单元161提供的运动补偿图像和从重排序屏幕缓冲器62提供的要帧间预测的图像来预测模糊的变化，并产生指示模糊变化的模糊信息。此后，模糊预测单元172将所产生的模糊信息提供到模糊补偿单元171。另外，在接收指示从预测图像选择单元163选择了帧间预测的图像的选择信息时，模糊预测单元172将模糊信息提供到无损编码单元164。

[模糊信息的描述]

接下来参考图8到图11描述模糊信息。

首先参考图8描述当在图像捕捉时间期间出现焦点未对准状态(以下称为“对焦模糊”或“散焦”)时的机构，通过所述机构出现模糊。

如图8所示，当在点A产生光点形状的光束时，光束临时扩散，且此后由图像捕捉单元的镜头181对焦。因此，在成像平面182中的点B形成图像。以这种方式，光束再次具有光点形状的形式。但是，光束在与成像平面182隔开的平面183中的点C具有扩散区域。也就是说，具有点A的光束在平面183中的点C具有宽度，因此，其位置变得不清楚。也就是说，在平面183中出现模糊。

当光束处于焦点对准时，从点A输出的光束由单个光传感器接收，因为包括多个光传感器的图像捕捉单元的成像器件位于成像平面182中。因此，可以获得其中产生与点A对应的光束的位置清楚的图像。相反，如果出现焦点未对准状态，则从点A输出的光束是多个光传感器，因为成像器件位于与成像平面182隔开的平面(例如，平面183)中。因此，从点A输出的光束由多个光传感器接收，且获得其中与点A对应的位置不清楚的图像，也就是，具有模糊的图像。

接下来参考图9描述通过这样的机构：由于在图像捕捉时间被摄体或图像捕捉单元的运动而通过所述机构出现模糊(以下称为“运动模糊”)。

如图9所示，当在点A1产生光点形状的光束时，光束在成像平面182中的点B1变为光点形状的光束，如图8所示。此后，如果由于被摄体或图像捕捉单元的移动，光点形状的光束从点A1相对移动到点A2，则成像平面182中的光束从点B1移动到点B2。

因此，当光束处于焦点对准且包括多个光传感器的图像捕捉单元的成像器件位于成像平面182上时，且如果由于被摄体或图像捕捉单元的运动，光点形状的光束从点A1相对移动到点A2，则光束由多个光检测器接收。结果，可以获得其中产生光束的位置不清楚的图像，也就是，具有模糊的图像。

以上述方式出现的对焦模糊或运动模糊可以被定义为当输入光点形状的光束，也就是，脉冲响应时获得的输出。在图8中，例如，输入是在点A产生的光点形状的光束。脉冲响应是输出到成像器件(例如，点B和C)上的光束。另外，在图9中，例如，输入是在点A1产生的光点形状的光束。脉冲响应是输出到成像器件(例如，从点B1到点B2的范围)上的光束。

因此，例如，如由图10所示的“A”指示的那样，指示用作脉冲响应的输出到成像器件190上的光束191的半径L的信息用作关于对焦模糊的模糊信息。注意，在图10的“A”中以点阵在成像设备190上布置的正方形表示每个与像素对应的光传感器。这也适用于如下所述的图11的“A”。

另外，在图10的“A”中图示的情况下，出现对焦模糊。因此，光束191具有有2L直径的圆形扩散的形状。但是，如果不出现对焦模糊，则光束191具有光点形状。

如上所述，如果指示半径L的信息用作关于对焦模糊的模糊信息，则模糊预测单元172将具有与预定半径L的可能的值对应的滤波器系数的FIR滤波器应用于从运动预测/补偿单元161提供的运动补偿图像。

例如，作为与图10的“A”中的半径L对应的FIR滤波器，模糊预测单元172将具有与图10的“B”中的值对应的滤波器系数的FIR滤波器应用于运动补偿图像。注意，在图10的“B”中所示的以点阵布置的每一正方形对应于一像素。在正方形中写入的数字对应于滤波器系数。更具体地说，在正方形中写入的数字表示与像素对应的光传感器的光接收面积相对与像素对应的光传感器的光可接收面积的比率。由于图像的DC分量的放大度被设置为1，因此设置滤波器系数以使得比率之和是1。也就是说，在图10的“B”中，因为比率之和是6.4(＝0.4×4+0.95×4+1.0)，所以与具有比率0.4、0.95和1.0的像素对应的滤波器系数分别被设置为0.4/6.4、0.95/6.4和1.0/6.4。

模糊预测单元172对于将滤波器应用于从重排序屏幕缓冲器62提供的运动补偿图像和要帧间预测的图像之后获得的FIR滤波器，计算每一图像之间的差异。此后，模糊预测单元172选择指示与具有最小化的差异的FIR滤波器对应的半径L的信息作为模糊信息。

另外，例如，如图11的“A”所示，以下信息被选为运动模糊信息：指示距离作为脉冲响应的输出到成像器件190上的光束192的中心在水平方向上的长度Lx和在垂直方向上的长度Ly的信息。

注意，在图11的“A”所示的示例中，出现运动模糊。因此，光束192在水平方向上的长度是2Lx且在垂直方向上的长度是2Ly，且光束192的大小以对角线形状增加。但是，如果不出现运动模糊，则光束192具有光点形状。

如上所述，当用于运动模糊的模糊信息是指示长度Lx和Ly的信息时，在模糊预测单元172中应用的滤波器是具有与长度Lx的可能值和长度Ly的可能值的组合对应的滤波器系数的FIR滤波器。

例如，与图11的“A”所示的长度Lx和Ly对应的FIR滤波器具有与图11的“B”所示的值对应的滤波器系数。注意，在图11的“B”中，以点阵布置的每一正方形对应于一像素。在正方形中写入的数字指示与滤波器系数对应的值。更具体地说，在图11的“B”中，在与像素对应的每个正方形中写入的数字指示像素中的光束192的长度。在图11的“B”所示的示例中，像素的侧边是1。因此，像素的对角线的长度是

因此，在与像素对应的正方形中写入的数字是1.4或0.7。

类似于对焦模糊，在运动模糊的情况下，图像的DC分量的放大度被设置为1。因此，在具有和为1的正方形中的数字用作滤波器系数。也就是说，在图11的“B”中，数字之和是5.6(＝0.7×2+1.4×3)。因此，与具有数字0.7和1.4的正方形对应的滤波器系数分别被设置为0.7/5.6和1.4/5.6。

应当注意，用于设置滤波器系数的技术不限于图10和图11中图示的那些。可以采用根据模糊信息唯一地设置滤波器系数的任意技术。

另外，如果图像编码设备151和与图像编码设备151对应的图像解码设备预存储相同组的滤波器系数，则图像编码设备151可以发送该组滤波器系数的标识符到图像解码设备代替模糊信息。标识符的数据量小于模糊信息的数据量。因此，如果图像编码设备151发送滤波器系数代替模糊信息，则可以最小化代码量的增加。

注意，虽然已经与关于运动模糊的模糊信息分开地描述了关于对焦模糊的模糊信息，但是对于两个类型的模糊信息都可以采用点扩散函数(如下参考图12和图13描述)。在下文中，术语“点扩散函数”也被称为“PSF”。

如图12所示，当点光源193通过图像捕捉194时，出现由相机的摇晃或被摄体的运动引起的对焦模糊195A或运动模糊195B。

如图13所示，如果使用对焦模糊的PSF 198关于非模糊图像196执行与FIR滤波器对应的卷积运算197，则可以获得具有对焦模糊的图像199。

也就是说，如图8和图9所示，图12所示的对焦模糊195A和运动模糊195B以通过相机观察点光源193获得并与图像捕捉194的系统的脉冲响应对应的图像的形式。相反，图13所示的PSF 198用作用于表示对焦模糊或运动模糊的模型。也就是说，通过使用PSF 198计算FIR滤波器的滤波器系数并关于非模糊图像196执行与具有所计算出的滤波器系数的FIR滤波器对应的卷积运算197，可以获得具有对焦模糊的图像199。

注意，虽然已经参考对焦模糊描述了图13所示的示例，但是可以以类似的方式获得具有运动模糊的图像。

接下来描述PSF。PSF表示通过观察点光源通过某些系统怎样改变而获得的图像。如果系统造成模糊，则PSF用作具有以下三个特性的函数。也就是说，首先，如由等式(3)指示的，当PSF积分时PSF是1。其次，由镜头(对焦模糊)引起的模糊可以近似为二维正态分布。第三，在运动模糊的情况下，PSF用作与运动的轨迹对应的函数。

[数学式1]

$\underset{-\&infin;}{\overset{+\&infin;}{\&Integral;}}\underset{-\&infin;}{\overset{+\&infin;}{\&Integral;}}h(x,y)\mathrm{dxdy}=1...\left(3\right)$

因此，在编码中，采用第二特性。为了使用最小化信息来表达模糊，二维正态分布的扩散宽度用作从编码侧发送到解码侧的模糊信息。也就是说，以这种方式，可以使用单个变量表示对焦模糊量。

首先，为简单起见，一维正态分布可以由以下等式(4)表示：

[数学式2]

$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}W}\exp (-x^2/(2\&times;W^2))...\left(4\right)$

其中W表示扩散宽度，且x表示FIR滤波器的抽头的位置。因此，通过使用等式(4)，可以计算滤波器系数。

图14图示使用正态分布等式(等式(4))计算的滤波器系数。在图14的左边部分中示出图示滤波器系数的图表。

在扩散宽度W＝1.5的情况下，滤波器系数在抽头位置x＝-5，5处是0.001。另外，滤波器系数在抽头位置x＝-4，4处是0.008，且滤波器系数在抽头位置x＝-3，3处是0.036。此外，滤波器系数在抽头位置x＝-2，2处是0.109，滤波器系数在抽头位置x＝-1，1处是0.213，且滤波器系数是抽头位置x＝0处是0.266。

在扩散宽度W＝1的情况下，滤波器系数在抽头位置x＝-5，5处是0.000。另外，滤波器系数在抽头位置x＝-4，4处是0.000，且滤波器系数在抽头位置x＝-3，3处是0.004。此外，滤波器系数在抽头位置x＝-2，2处是0.054，滤波器系数在抽头位置x＝-1，1处是0.242，且滤波器系数是抽头位置x＝0处是0.399。

在扩散宽度W＝0.5的情况下，滤波器系数在抽头位置x＝-5，5处是0.000。另外，滤波器系数在抽头位置x＝-4，4处是0.000，且滤波器系数在抽头位置x＝-3，3处是0.000。此外，滤波器系数在抽头位置x＝-2，2处是0.000，滤波器系数在抽头位置x＝-1，1处是0.108，且滤波器系数是抽头位置x＝0处是0.798。

如上所述，使用根据扩散宽度W的正态分布等式(等式(4))确定滤波器系数。

注意到以类似的方式，可以根据由等式(5)指示的二维正态分布计算滤波器系数。

[数学式3]

$f(x,y)=\frac{1}{\sqrt{2\mathrm{\&pi;}}W}\exp (-(x^1+y^2)/(2\&times;W^2))...\left(5\right)$

其中W也表示扩散宽度，且x和y表示FIR滤波器的抽头的位置。

如上所述，指示扩散宽度W的信息也可以用作关于对焦模糊的模糊信息。在这种情况下，在模糊预测单元172中应用的FIR滤波器是具有与扩散宽度W的可能值(即，图14所示的值)的组合对应的滤波器系数的FIR滤波器。

[编码处理的描述]

接下来参考图15所示的流程图描述由图6所示的图像编码设备151执行的编码处理。

在步骤S11，A/D转换单元61对输入图像进行A/D转换。在步骤S12，重排序屏幕缓冲器62存储从A/D转换单元61提供的图像，并将其中显示画面的次序转换为其中编码画面的次序。

在步骤S13，计算单元63计算在步骤S12重排序的图像和从预测图像选择单元163接收到的帧内预测的图像或帧间预测的图像之间的差异。

差异数据的数据大小小于初始图像数据的数据大小。因此，与其中直接编码图像的情况比较，可以减小数据大小。

在步骤S14，正交变换单元64关于从计算单元63提供的差执行正交变换。更具体地说，执行比如离散余弦变换或Karhunen-Loeve变换之类的正交变换，且输出变换系数。在步骤S15，量化器单元65量化该变换系数。如以下参考在步骤S29执行的处理更详细地描述的那样，在该量化处理中控制速率。

以上述方式量化的差被本地解码如下。也就是说，在步骤S16，逆量化器单元68使用与量化器单元65的特性相反的特性逆量化由量化器单元65量化的变换系数。在步骤S17，逆正交变换单元69使用与正交变换单元64的特性对应的特性，关于由逆量化器单元68逆量化的变换系数执行逆正交变换。

在步骤S18，计算单元70将经由预测图像选择单元163输入的帧间预测的图像或帧内预测的图像加到本地解码的差。因此，计算单元70产生本地解码的图像(与计算单元63的输入对应的图像)。在步骤S19，去区块滤波器71关于从计算单元70输出的图像执行滤波。以这种方式，除去块失真。在步骤S20，帧存储器72存储滤波的图像。注意，不经历由去区块滤波器71执行的滤波处理的图像也被提供到帧存储器72并存储在帧存储器72中。

在步骤S21，帧内预测单元74基于从重排序屏幕缓冲器62读取的要帧内预测的图像和经由开关73从帧存储器72提供的图像，以所有候选的帧内预测模式执行帧内预测处理。因此，帧内预测单元74产生帧内预测的图像。此后，帧内预测单元74对于所有候选的帧内预测模式计算成本函数值。

在步骤S22，帧内预测单元74选择在计算的成本函数值之中提供最小值的帧内预测模式作为最优帧内预测模式。此后，帧内预测单元74将以最优帧内预测模式产生的帧内预测的图像和其成本函数值提供到预测图像选择单元163。

在步骤S23，运动预测/补偿单元161基于从重排序屏幕缓冲器62读取的要帧间预测的图像和经由开关73从帧存储器72提供的用作参考图像的图像，以所有候选的帧间预测模式执行运动预测/补偿处理。此后，运动预测/补偿单元161对于所有候选的帧间预测模式计算成本函数值。

在步骤S24，运动预测/补偿单元161选择在计算的成本函数值之中提供最小值的帧间预测模式作为最优帧间预测模式。此后，运动预测/补偿单元161将以最优帧间预测模式产生的运动补偿图像提供到模糊预测/补偿单元162。

在步骤S25，模糊预测/补偿单元162基于从运动预测/补偿单元161提供的运动补偿图像和用于运动补偿图像的运动预测/补偿处理且从重排序屏幕缓冲器62输出的要帧间预测的图像执行模糊预测/补偿处理。以下参考图16更详细地描述模糊预测/补偿处理。通过模糊预测/补偿处理获得的运动补偿和模糊补偿图像和图像的成本函数值被提供给预测图像选择单元163作为帧间预测的图像。

在步骤S26，预测图像选择单元163使用从帧内预测单元74和模糊预测/补偿单元162输出的成本函数值，从最优帧内预测模式和最优帧间预测模式确定最优预测模式。此后，预测图像选择单元163选择所确定的最优预测模式的预测图像。以这种方式，选择为最优预测模式的预测图像的帧间预测的图像或内预测的图像被提供给计算单元63和70并用于在步骤S13和S18执行的计算。

注意，在那时，预测图像选择单元163将选择信息提供到帧内预测单元74或运动预测/补偿单元161和模糊预测/补偿单元162两者。如果提供了指示选择了帧内预测的图像的选择信息，则帧内预测单元74将指示最优帧内预测模式的信息提供到无损编码单元164。

在接收指示选择了最优帧间预测模式的选择信息时，运动预测/补偿单元161例如将指示最优帧间预测模式的信息、运动矢量信息和参考帧信息输出到无损编码单元164。模糊预测/补偿单元162将模糊信息输出到无损编码单元164。

在步骤S27，无损编码单元164编码从量化器单元65输出的量化的变换系数并产生压缩图像。在那时，指示最优帧内预测模式或最优帧间预测模式的信息、与最优帧间预测模式相关联的信息(例如，运动矢量信息和参考帧信息)和模糊信息也被无损编码，且被插入到压缩图像的报头部分中。

在步骤S28，累积缓冲器67累积包括由无损编码单元164产生的报头部分的压缩图像作为压缩信息。按照需要读出在累积缓冲器67中累积的压缩信息，并经由传输路径发送到图像解码设备。

在步骤S29，速率控制单元77基于在累积缓冲器67中累积的压缩信息控制由量化器单元65执行的量化操作的速率，以使得在累积缓冲器67中不出现上溢和下溢。

[模糊预测/补偿处理的详细描述]

接下来参考图16所示的流程图描述在图15所示的步骤S25执行的模糊预测/补偿处理。

在步骤S41，模糊预测/补偿单元162的模糊预测单元172(参见图7)将具有与由模糊信息指示的可能值(如半径L、长度Lx和Ly或扩展宽度W)对应的滤波器系数的FIR滤波器应用于从运动预测/补偿单元161提供的运动补偿图像。

在步骤S42，模糊预测单元172计算已经应用了FIR滤波器的每一图像和从重排序屏幕缓冲器62提供的要帧间预测的图像之间的差。

在步骤S43，模糊预测单元172将与在步骤S42中计算的差当中最小的差对应的模糊信息输出到模糊补偿单元171。更具体地说，模糊预测单元172将与用于产生具有最小的差的图像的FIR滤波器对应的模糊信息输出到模糊补偿单元171。注意，如果从预测图像选择单元163提供指示已经选择了帧间预测的图像的选择信息，则模糊信息也被输出到无损编码单元164。

在步骤S44，模糊补偿单元171基于从模糊预测单元172提供的模糊信息，关于从运动预测/补偿单元161提供的运动补偿图像执行模糊补偿处理。更具体地说，模糊补偿单元171将具有与模糊信息对应的滤波器系数的FIR滤波器应用于从运动预测/补偿单元161提供的运动补偿图像。以这种方式，可以补偿已运动补偿图像的对焦模糊或运动模糊。

随后，模糊补偿单元171计算通过模糊补偿处理获得的运动补偿和模糊补偿图像的成本函数值。模糊补偿单元171将运动补偿和模糊补偿图像提供到预测图像选择单元163作为帧间预测的图像。另外，模糊补偿单元171将成本函数值提供到预测图像选择单元163。此后，完成模糊预测/补偿处理，且处理返回到图15所示的步骤S25。随后，处理进行到步骤S26。

如上所述，图像编码设备151在帧间预测中不仅执行运动补偿而且执行模糊补偿。因此，即使当在要帧间预测的图像和参考图像之间模糊出现或被除去时，可以更精确地执行帧间预测。因此，可以提高帧间预测的图像的质量(例如，已帧间预测的图像关于要帧间预测的图像的PSNR)。

当在帧间预测中执行模糊补偿时，需要将模糊信息发送到图像解码设备。因此，增加压缩图像的报头部分的位长度。但是，因为如上所述，提高帧间预测的图像的质量，所以减小了在要帧间预测的图像和已帧间预测的图像之间的差异。结果，总体上，减少了压缩信息的数据量，也就是，代码量，且因此，可以增大编码效率。

更具体地说，如果半径L以及长度Lx和Ly中的每一个的可能值的数目是N，则模糊信息需要的位长度的3×Log2(N)。因此，例如，如果N是16，则模糊信息需要的位长度是3×Log2(16)＝12。因此，在该情况下，如果通过执行模糊补偿，压缩图像的代码量减少多于或等于12位，则总体上减少了压缩信息的代码量。

另外，因为图像编码设备151通过应用与半径L或长度Lx和Ly对应的FIR滤波器来执行模糊补偿，所以可以补偿可被定义为半径L以及长度Lx和Ly的对焦模糊或运动模糊。结果，即使对于由具有自动对焦控制功能并具有频繁地变化的焦点的摄像机捕捉的图像和由于在图像捕捉时间的相机摇晃而具有变化的运动模糊的图像，也可以保持帧间预测的图像的质量。

注意，这可以应用于模糊信息指示扩散宽度W的情况。

以这样的方式由图像编码设备51编码的压缩信息被经由预定传输路径发送并由图像解码设备解码。

[图像解码设备的配置的示例]

图17图示这种图像解码设备的示例配置。

在参照图17中的配置时将使用与在以上描述图5中的配置时使用的编号相同的编号。不重复相同的描述。

图17所示的图像解码设备201的配置与图5所示的配置的不同在于，图像解码设备201包括无损解码单元211、运动预测/补偿单元212和开关214代替无损解码单元112、运动预测/补偿单元122和开关123，并另外包括模糊预测/补偿单元213。

更具体地说，图17所示的图像解码设备201的无损解码单元211使用与由无损编码单元164采用的无损编码方法对应的方法，对由图6所示的无损编码单元164无损编码并从累积缓冲器111提供的压缩信息进行无损解码。此后，无损解码单元211从通过无损解码获得的信息提取图像、指示最优帧间预测模式或最优帧内预测模式的信息、运动矢量信息、参考帧信息和模糊信息。

类似于图5所示的运动预测/补偿单元122，运动预测/补偿单元212接收通过无损解码从无损解码单元211提供的报头部分获得的信息(例如，指示最优帧间预测模式的信息、运动矢量信息和参考帧信息)。如果提供指示最优帧间预测模式的信息，则类似于运动预测/补偿单元122，运动预测/补偿单元212基于与指示最优帧间预测模式的信息一起接收的运动矢量信息和参考帧信息，以最优帧间预测模式关于从帧存储器119接收到的参考图像执行运动补偿处理。此后，运动预测/补偿单元212将产生的运动补偿图像输出到模糊预测/补偿单元213。

模糊预测/补偿单元213从无损解码单元211接收当无损解码单元211无损解码报头部分时获得的模糊信息。模糊预测/补偿单元213基于模糊信息关于从运动预测/补偿单元212提供的运动补偿图像执行模糊补偿处理。此后，模糊预测/补偿单元213将运动补偿和模糊补偿图像输出到开关214作为帧间预测的图像。

开关214将从模糊预测/补偿单元213提供的帧间预测的图像或从帧内预测单元121提供的帧内预测的图像提供到计算单元115。

如上所述，因为图像解码设备201在帧间预测中不仅执行运动补偿而且执行模糊补偿，所以即使当在要帧间预测的图像和参考图像之间出现模糊时图像解码设备201也可以更精确地执行帧间预测。因此，可以提高帧间预测的图像的质量。

[模糊预测/补偿单元213的详细配置的示例]

图18图示图17所示的模糊预测/补偿单元213的详细配置的示例。

如图18所示，模糊预测/补偿单元213包括滤波器系数转换单元221和FIR滤波器222。

滤波器系数转换单元221将从无损解码单元211提供的模糊信息转换为滤波器系数。也就是说，滤波器系数转换单元221基于从无损解码单元211提供的模糊信息确定滤波器系数。

例如，滤波器系数转换单元221将指示图10的“A”中所示的半径L的模糊信息转换为与图10的“B”中所示的值对应的滤波器系数。另外，滤波器系数转换单元221将指示图11的“A”中所示的长度Lx和Ly的模糊信息转换为与图11的“B”中所示的值对应的滤波器系数。注意，指示扩散宽度W的模糊信息被类似地转换为滤波器系数。此后，滤波器系数转换单元221将已转换的滤波器系数提供到FIR滤波器222。

FIR滤波器222具有由从滤波器系数转换单元221提供的滤波器系数确定的特性。FIR滤波器222通过使用滤波器系数对从运动预测/补偿单元212提供的运动补偿图像滤波来执行模糊补偿处理。此后，FIR滤波器222将获得的运动补偿和模糊补偿图像提供到开关214作为帧间预测的图像。

如上所述，因为模糊预测/补偿单元213使用具有与用于编码并从图像编码设备151发送的模糊信息对应的滤波器系数的FIR滤波器执行模糊补偿处理，所以模糊预测/补偿单元213可以执行与在编码处理中执行的模糊补偿处理相同的模糊补偿处理。

[解码处理的描述]

接下来参考图19所示的流程图描述由图17所示的图像解码设备201执行的解码处理。

在步骤S131，累积缓冲器111累积发送的压缩信息。在步骤S132，无损解码单元211无损解码从累积缓冲器111提供的压缩信息。也就是说，无损解码由图6所示的无损编码单元164无损编码的I画面、P画面和B画面。注意到在那时，也解码运动矢量信息、参考帧信息、指示最优帧内预测模式或最优帧间预测模式的信息和模糊信息。

在步骤S133，逆量化器单元113使用与图6所示的量化器单元65的特性对应的特性逆量化由无损解码单元211无损解码的变换系数。在步骤S134，逆正交变换单元114使用与图6所示的正交变换单元64的特性对应的特性逆正交变换由逆量化器单元113逆量化的变换系数。以这种方式，解码用作图6所示的正交变换单元64的输入(计算单元63的输出)的差。

在步骤S135，计算单元115将解码的差加到如下所述在步骤S142从开关214输出的帧间预测的图像或帧内预测的图像。以这种方式，可以获得已解码的初始图像。在步骤S136，去区块滤波器116滤波从计算单元115输出的图像。因此，除去块失真。在步骤S137，帧存储器119存储滤波的图像。

在步骤S138，无损解码单元211确定压缩图像是否是帧间预测的图像，也就是，无损解码的结果是否包括指示最优帧间预测模式的信息。

如果在步骤S138，确定压缩图像是帧间预测的图像，则无损解码单元211将运动矢量信息、参考帧信息和指示最优帧间预测模式的信息提供到运动预测/补偿单元212。另外，无损解码单元211将模糊信息提供到模糊预测/补偿单元213。

随后，在步骤S139，运动预测/补偿单元212基于由从无损解码单元211接收到的信息指示的运动矢量信息和参考帧信息，以由该信息指示的最优帧间预测模式，关于从帧存储器119接收到的参考图像执行运动补偿处理。此后，运动预测/补偿单元212将产生的运动补偿图像输出到模糊预测/补偿单元213。

在步骤S140，模糊预测/补偿单元213基于从无损解码单元211接收到的模糊信息，关于从运动预测/补偿单元212提供的运动补偿图像执行模糊补偿处理。以下参考图20更详细地描述模糊补偿处理。

但是，如果在步骤S138，确定压缩图像不是帧间预测的图像，也就是，无损解码的结果包括指示最优帧内预测模式的信息，则无损解码单元211将指示最优帧内预测模式的信息提供到帧内预测单元121。此后，在步骤S141，帧内预测单元121以由从无损解码单元211接收到的信息指示最优帧内预测模式，关于从帧存储器119接收到的图像执行帧内预测处理。因此，帧内预测单元121产生帧内预测的图像。随后，帧内预测单元121将帧内预测的图像输出到开关214。

在执行在步骤S140或S141的处理之后，在步骤S142，开关214将从模糊预测/补偿单元213提供的帧间预测的图像或从帧内预测单元121提供的帧内预测的图像输出到计算单元115。以这种方式，如上所述，在步骤S135，将帧间预测的图像或帧内预测的图像加到逆正交变换单元114的输出。

在步骤S143，重排序屏幕缓冲器117重排序图像。也就是说，为了编码已经由图像编码设备151的重排序屏幕缓冲器62改变的帧的次序改变回初始的显示次序。

在步骤S144，D/A转换单元118对从重排序屏幕缓冲器117提供的图像进行D/A转换并输出图像到显示图像的显示器(没有示出)。

[模糊补偿处理的详细描述]

接下来参考图20所示的流程图描述在图19所示的步骤S140执行的模糊补偿处理。

在步骤S151，模糊预测/补偿单元213的滤波器系数转换单元221(参见图18)将从无损解码单元211接收到的模糊信息转换为滤波器系数并提供滤波器系数到FIR滤波器222。

在步骤S152，FIR滤波器222使用从运动预测/补偿单元212提供的滤波器系数，对从滤波器系数转换单元221提供的运动补偿图像进行滤波。以这种方式，FIR滤波器222执行模糊补偿处理。FIR滤波器222将产生的运动补偿和模糊补偿图像输出到开关214作为帧间预测的图像。此后，完成模糊补偿处理。随后，处理返回到图19所示的步骤S140并进行到步骤S142。

<3.第二实施例>

[图像编码设备的配置的示例]

接下来，图21图示根据本发明第二实施例的图像编码设备的配置的示例。

在参照图21中的配置时将使用与在以上描述图3和图6中的配置时使用的编号相同的编号。不重复相同的描述。

图21所示的图像编码设备251的配置与图3所示的配置的主要不同在于，图像编码设备251包括模糊运动预测/补偿单元261和无损编码单元164代替运动预测/补偿单元75和无损编码单元66。

更具体地说，图21所示的图像编码设备251的模糊运动预测/补偿单元261基于从重排序屏幕缓冲器62读取的要帧间预测的图像和经由开关73从帧存储器72提供的用作参考图像的图像执行模糊运动预测/补偿处理。注意，术语“模糊运动预测/补偿处理”是指其中同时执行以所有候选的帧间预测模式的模糊预测/补偿处理和运动预测/补偿处理的处理。

另外，模糊运动预测/补偿单元261选择从要帧间预测的图像最小化差异的模糊预测/补偿图像的帧间预测模式作为最优帧间预测模式。此后，模糊运动预测/补偿单元261将图像提供到预测图像选择单元76作为帧间预测的图像。模糊运动预测/补偿单元261计算帧间预测的图像的成本函数值并将成本函数值提供到预测图像选择单元76。

此外，如果预测图像选择单元76选择帧间预测的图像，则模糊运动预测/补偿单元261将指示最优帧间预测模式的信息、与最优帧间预测模式相关联的信息(例如，运动矢量信息和参考帧信息)和用于产生帧间预测的图像的模糊信息输出到无损编码单元164。

[模糊运动预测/补偿单元261的配置的示例]

图22图示图21所示的模糊运动预测/补偿单元261的示例配置。

如图22所示，模糊运动预测/补偿单元261包括模糊滤波器271、运动补偿单元272、差异计算单元273和控制单元274。

模糊滤波器271通过使用与从控制单元274提供的模糊信息对应的滤波器系数，滤波从开关73提供的用作参考图像的图像来执行模糊补偿。此后，模糊滤波器271将产生的模糊补偿图像提供到运动补偿单元272。

运动补偿单元272基于从控制单元274接收的运动矢量，以从控制单元274接收的帧间预测模式关于从模糊滤波器271接收的模糊补偿图像执行运动补偿。此后，运动补偿单元272将产生的模糊补偿和运动补偿图像提供到差异计算单元273。另外，在控制单元274的控制下，运动补偿单元272将通过以最优帧间预测模式基于预定运动矢量的运动补偿获得的模糊补偿和运动补偿图像提供到预测图像选择单元76作为帧间预测的图像。此外，运动补偿单元272计算帧间预测的图像的成本函数值并将成本函数值提供到预测图像选择单元76。

差异计算单元273计算在从运动补偿单元272接收的图像和与该图像对应并从重排序屏幕缓冲器62接收的要帧间预测的图像之间的差异。此后，差异计算单元273将该差异提供到控制单元274。

控制单元274顺序地提供多个预定模糊信息项到模糊滤波器271。控制单元274估计当最小化从差异计算单元273接收的差异时获取的模糊信息作为关于要帧间预测的图像的模糊信息。此后，控制单元274提供模糊信息到模糊滤波器271和无损编码单元164。

另外，控制单元274顺序地提供多个预定运动矢量到运动补偿单元272并顺序地提供所有候选的帧间预测模式到运动补偿单元272。控制单元274选择当最小化从差异计算单元273接收的差异时获得的帧间预测模式作为最优帧间预测模式，并估计运动矢量作为要帧间预测的图像的运动矢量。此后，控制单元274将最优帧间预测模式和运动矢量提供到运动补偿单元272。以这种方式，通过以最优帧间预测模式基于预定运动矢量的运动补偿获得的模糊补偿和运动补偿图像被提供给预测图像选择单元76。

此外，控制单元274估计当最小化从差异计算单元273接收的差异时获得的运动矢量作为要帧间预测的图像的运动矢量。此后，控制单元274将运动矢量信息、参考帧信息和最优帧间预测模式提供到无损编码单元164。

以这种方式，模糊运动预测/补偿单元261执行模糊补偿和运动补偿。此后，模糊运动预测/补偿单元261从要帧间预测的图像选择具有最小差异的图像作为帧间预测的图像。也就是说，模糊运动预测/补偿单元261同时执行模糊预测/补偿处理和运动预测/补偿处理。因此，可以将具有模糊补偿和运动补偿的最优组合的图像选为帧间预测的图像。结果，进一步增加了帧间预测的精确性。但是，为了同时执行模糊预测/补偿处理和运动预测/补偿处理，需要关于多个模糊补偿图像执行运动预测/补偿处理。因此，用于整个运动预测/补偿的搜索区域增加，且因此，处理量增加。

注意，在图像编码设备251中，执行其中与模糊预测/补偿处理同时地对于所有候选的帧间预测模式执行运动预测/补偿处理的模糊运动预测/补偿处理。但是，在执行预测/补偿处理之后，可以对于所有候选的帧间预测模式执行模糊运动预测/补偿处理。

在这种情况下，图像编码设备具有通过在图6所示的图像编码设备151中切换运动预测/补偿单元161和模糊预测/补偿单元162获得的配置。在该情况下，因为可以使用模糊补偿图像执行运动预测/补偿处理，所以与在已经执行了运动预测/补偿之后执行模糊预测/补偿的情况比较，可以增加帧间预测的精确性。

更具体地说，在运动预测/补偿处理中，仅考虑图像的平移作为图像之间的改变。因此，当在已经执行了模糊补偿之后使用不具有图像之间的频率特性的变化的图像执行运动预测/补偿时，可以减少由于模糊引起的图像之间的差异。因此，可以容易地检测到符合被摄体的运动的运动矢量。以这种方式，因为模糊预测/补偿处理起作用以便提高运动预测/补偿的质量，所以可以增加帧间预测的精确性。

相反，当使用不经历模糊预测/补偿处理的参考图像执行运动预测/补偿处理时，且如果例如，参考图像没有模糊且要帧间预测的图像具有模糊，则即使当被摄体的运动符合运动矢量时，也在已经基于运动矢量运动补偿的参考图像和要帧间预测的图像之间出现差异。因此，可能不能检测到符合帧内预测的图像的运动的运动矢量。

在这种情况下，采用与被摄体的运动没有关系的运动矢量所对应的帧间预测的图像或帧内预测的图像作为预测图像。因此，总的来说，降低了预测图像的质量。

但是，在已经执行了模糊预测/补偿处理并在图像之间检测运动之后执行运动预测/补偿处理的情况下，即使当使用与实际模糊对应的已模糊补偿图像时，在模糊预测中在已模糊补偿图像和要帧间预测的图像之间的差异也可能不小。因此，难以预测模糊。

相反，如果，如在图像编码设备151中，在执行模糊预测/补偿处理之前执行运动预测/补偿处理，则用于模糊预测/补偿处理的图像是已运动补偿图像。因此，可以容易地预测模糊。

[编码处理的描述]

接下来参考图23所示的流程图描述由图21所示的图像编码设备251执行的编码处理。

图23所示的编码处理与图15所示的主要不同在于在图23中提供步骤S223代替图15中的步骤S23到S25。因此，以下仅详细描述步骤S223。

在步骤S223，模糊运动预测/补偿单元261关于从开关73提供的图像执行运动模糊预测/补偿处理。以下参考图24更详细地描述运动模糊预测/补偿处理。

[模糊运动预测/补偿处理的描述]

接下来参考图24所示的流程图描述在图23所示的步骤S223执行的模糊运动预测/补偿处理。

在步骤S241，模糊运动预测/补偿单元261的控制单元274(参见图22)确定是否预定模糊信息项当中的所有模糊信息项被设置为要发送到模糊滤波器271的模糊信息B。如果在步骤S241确定预定模糊信息项当中的所有模糊信息项还没有被设置为模糊信息B，处理进行到步骤S242。

在步骤S242，控制单元274将还没有被设置为模糊信息B的模糊信息项设置为模糊信息B。此后，控制单元274将模糊信息B提供到模糊滤波器271。在步骤S243，模糊滤波器271使用与从控制单元274提供的模糊信息B对应的滤波器系数通过对从开关73提供的图像进行滤波来执行模糊补偿。模糊滤波器271将产生的已模糊补偿图像提供到运动补偿单元272。

在步骤S244，从预设的运动矢量当中，控制单元274将还没有对于模糊信息B设置的运动矢量设置为要提供给运动补偿单元272的运动矢量MV。此后，控制单元274将运动矢量MV提供到运动补偿单元272。另外，在那时，控制单元274顺序地提供所有候选的帧间预测模式到运动补偿单元272。

在步骤S245，运动补偿单元272基于从控制单元274提供的运动矢量MV，以从控制单元274顺序地提供的每一帧间预测模式，关于从模糊滤波器271提供的模糊补偿图像执行运动补偿。此后，运动补偿单元272提供产生的模糊补偿和运动补偿图像到差异计算单元273。

在步骤S246，差异计算单元273计算从重排序屏幕缓冲器62提供的要帧间预测的图像和从运动补偿单元272提供的模糊补偿和运动补偿图像之间的差异，并提供该差异给控制单元274。

在步骤S247，控制单元274确定在步骤S246计算的差异是否小于存储在内部存储器(没有示出)中的差异。如果在步骤S247中，确定在步骤S246计算的差异小于存储在内部存储器(没有示出)中的差异，则处理进行到步骤S248。但是，如果在首先执行的步骤S246计算该差异，则处理也进行到步骤S248。

在步骤S248，控制单元274在内部存储器(没有示出)中存储当前模糊信息B、运动矢量MV、在步骤S246计算的差异和与该差异对应的帧间预测模式。此后，处理进行到步骤S249。注意，对于每一帧间预测模式执行在步骤S247和S248中的处理。

但是，如果在步骤S247，确定在步骤S246计算的差异不小于存储的差异，则跳过步骤S248且处理进行到步骤S249。在步骤S249，控制单元274确定是否已经将所有预设运动矢量设置为运动矢量MV。

如果在步骤S249，确定还没有将所有预设运动矢量设置为运动矢量MV，则处理返回到步骤S244且重复后续处理。

但是，如果在步骤S249，确定所有预设运动矢量已经被设置为运动矢量MV，则处理返回到步骤S241并重复后续处理。

相比之下，如果在步骤S241，确定所有预设模糊信息项已经被设置为模糊信息B，则处理进行到步骤S250。在步骤S250，控制单元274选择存储在内部存储器(没有示出)中的帧间预测模式作为最优帧间预测模式。

在步骤S251，控制单元274选择存储在内部存储器(没有示出)中的模糊信息作为模糊信息B并输出模糊信息B到模糊滤波器271。另外，控制单元274将表示所存储的运动矢量MV的运动矢量和最优帧间预测模式输出到运动补偿单元272。

在步骤S252，模糊滤波器271通过使用与在步骤S251从控制单元274提供的模糊信息B对应的滤波器系数滤波从开关73提供的图像来执行模糊补偿。模糊滤波器271将产生的模糊补偿图像提供到运动补偿单元272。

在步骤S253，运动补偿单元272使用在步骤S251从控制单元274提供的运动矢量MV，关于从模糊滤波器271提供的模糊补偿图像执行运动补偿。此后，运动补偿单元272将产生的模糊补偿和运动补偿图像提供到预测图像选择单元76作为帧间预测的图像。在那时，运动补偿单元272计算帧间预测的图像的成本函数值并提供成本函数值到预测图像选择单元76。此后，处理返回到图23所示的步骤S223并进行到步骤S224。

以这样的方式由图像编码设备251编码的压缩信息被经由预定传输路径发送并由图像解码单元解码。

[解码设备的配置的示例]

图25图示这种图像解码设备的示例配置。

在参照图25中的配置时将使用与在以上描述图5和图17的配置时使用的编号相同的编号。不重复相同的描述。

图25所示的图像解码设备281的配置与图5所示的配置的主要不同在于，图像解码设备281包括模糊运动预测/补偿单元282和无损解码单元211代替运动预测/补偿单元122和无损解码单元112。

更具体地说，图25所示的图像解码设备281的模糊运动预测/补偿单元282从无损解码单元211接收通过无损解码报头部分获得的信息(例如，指示最优帧间预测模式的信息、运动矢量信息、参考帧信息和模糊信息)。模糊运动预测/补偿单元282基于指示最优帧间预测模式的信息、运动矢量信息、参考帧信息和模糊信息，关于从开关120提供的用作参考图像的图像执行模糊运动补偿处理(以下更详细地描述)。

随后，模糊运动预测/补偿单元282将产生的模糊补偿和运动补偿图像作为帧间预测的图像经由开关123提供到计算单元115。注意术语“模糊运动补偿处理”是指其中与执行模糊补偿同时以预定帧间预测模式执行运动补偿的处理。

[模糊运动预测/补偿单元282的配置的示例]

图26图示图25所示的模糊运动预测/补偿单元282的详细示例配置。

如图26所示，模糊运动预测/补偿单元282包括模糊滤波器291和运动补偿单元292。

模糊滤波器291通过使用与从无损解码单元211提供的模糊信息对应的滤波器系数，滤波从开关120提供的用作参考图像的图像来执行模糊补偿。此后，模糊滤波器291将产生的模糊补偿图像提供到运动补偿单元292。

运动补偿单元292基于从无损解码单元211提供的运动矢量信息、参考帧信息和指示最优帧间预测模式的信息，关于从模糊滤波器291接收的模糊补偿图像执行运动补偿。运动补偿单元292将产生的模糊补偿和运动补偿图像提供到开关123作为帧间预测的图像。

[解码处理的描述]

接下来参考图27所示的流程图描述由图25所示的图像解码设备281执行的解码处理。

图27所示的解码处理与图19所示的不同在于，在图27中提供步骤S339代替图19中所示的步骤S139和S140。因此，以下仅详细描述步骤S339。

在步骤S339，模糊运动预测/补偿单元282关于从开关120提供的图像执行模糊运动补偿处理。以下参考图28更详细地描述模糊运动补偿处理。

[运动模糊预测/补偿处理的描述]

接下来参考图28所示的流程图描述在图27所示的步骤S339执行的模糊运动补偿处理。

在步骤S351，模糊运动预测/补偿单元282的模糊滤波器291通过使用与从无损解码单元211提供的模糊信息对应的滤波器系数，滤波从开关120提供的图像来执行模糊补偿。此后，模糊滤波器291将产生的模糊补偿图像提供到运动补偿单元292。

在步骤S352，运动补偿单元292基于与从无损解码单元211接收的信息一起接收的运动矢量信息和参考帧信息，以由该信息指示的最优帧间预测模式，关于从模糊滤波器291接收的模糊补偿图像执行运动补偿。运动补偿单元292将产生的模糊补偿和运动补偿图像提供到开关123作为帧间预测的图像。此后，处理返回到图27所示的步骤S339并进行到步骤S341。

注意到，虽然已经参考根据模糊信息变化的滤波器系数做出上述描述，但是滤波器结构可以变化。

注意到，虽然已经参考具有16×16像素大小的宏块做出上述描述，但是本发明可以应用于在“Video Coding Using Extended Block Sizes”，VCEG-AD09，ITU-Telecommunications Standardization Sector STUDY GROUPQuestion 16-Contribution 123，2009年1月中描述的扩展的宏块大小。

图29图示扩展的宏块大小的示例。在上述描述中，宏块大小扩展到32×32像素的大小。

在图29的上部，从左侧开始示出具有32×32像素大小且分区为具有32×32像素、32×16像素、16×32像素和16×16像素大小的块(分区)的宏块。在图29的中部，从左侧开始示出具有16×16像素大小且分区为具有16×16像素、16×8像素、8×16像素和8×8像素大小的块的宏块。在图29的下部，从左侧开始示出具有8×8像素大小且分区为具有8×8像素、8×4像素、4×8像素和4×4像素大小的块的宏块。

也就是说，可以使用在图29的上部所示的具有32×32像素、32×16像素、16×32像素和16×16像素大小的块来处理具有32×32大小的宏块。

另外，如在H.264/AVC标准中，可以使用在中部所示的具有16×16像素、16×8像素、8×16像素和8×8像素大小的块来处理在上部的右侧所示的具有16×16像素大小的块。

此外，如在H.264/AVC标准中，可以使用在下部所示的具有8×8像素、8×4像素、4×8像素和4×4像素大小的块处理在中部的右侧所示的具有8×8像素大小的块。

就扩展的宏块大小而言，通过采用这种层结构，对于具有小于或等于16×16像素的大小的块，具有更大尺寸的块可以被定义为块的超集，同时保持与H.264/AVC标准的兼容性。

如上所述，本发明可以应用于提出的扩展宏块大小。

虽然已经参考H.264/AVC标准作为编码/解码方法做出上述描述，但是本发明可应用于使用其中执行不同的运动预测/补偿处理的编码/解码方法的图像编码设备和图像解码设备。

另外，本发明可应用于图像编码设备和图像解码设备，其用于经由网络介质(比如卫星广播、有线TV(电视)、因特网或移动电话)接收通过正交变换(例如，离散余弦变换)和如在MPEG或H.26x标准中的运动补偿而压缩的图像信息(位流)，或处理在比如光盘或磁盘或闪速存储器之类的存储介质中的图像信息。

具体地说，本发明对于处理其中模糊连续变化的图像是有效的。

可以不仅通过硬件而且通过软件执行上述一系列处理。当通过软件执行上述一系列处理时，将软件的程序从程序记录介质安装到并入专用硬件的计算机或可以通过在其中安装各种程序而执行各种功能的计算机(例如，通用个人计算机)中。

记录要安装在计算机中的计算机可执行程序的程序记录介质的示例包括磁盘(包括软盘)、光盘(包括CD-ROM(致密盘-只读存储器)、DVD(数字多用途盘)和磁光盘)、作为由半导体存储器形成的封装介质的可拆卸介质和ROM以及临时或永久地存储程序的硬盘。按照需要，使用有线或无线通信介质，比如局域网、因特网或数字卫星广播在程序记录介质中记录程序。

在本说明书中，描述程序的步骤不仅包括以上述时间序列顺序执行的处理，而且包括可以并行或独立地执行的处理。

另外，本发明的实施例不限于上述实施例。在不脱离本发明的精神的情况下可以做出各种修改。

例如，上述图像编码设备151和251以及图像解码设备201和281可应用于任意电子设备。这种应用的示例如下所述。

图30是使用根据本发明的图像解码设备的电视接收机的基本配置的示例的框图。

如图30所示，电视接收机300包括地面广播调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320和显示面板321。

地面广播调谐器313经由天线接收模拟地面广播的广播信号，解调广播信号，获取视频信号，并提供视频信号到视频解码器315。视频解码器315关于从地面广播调谐器313提供的视频信号执行解码处理，并将产生的数字分量信号提供到视频信号处理电路318。

视频信号处理电路318关于从视频解码器315提供的视频数据执行预定处理，比如噪声去除。此后，视频信号处理电路318提供产生的视频数据到图形生成电路319。

例如，图形生成电路319产生用于在显示面板321上显示的电视节目的视频数据和通过由经由网络提供的应用程序执行的处理而产生的图像数据。此后，图形生成电路319将产生的视频数据和图像数据提供到面板驱动电路320。另外，图形生成电路319产生用于显示由选择菜单项的用户使用的屏幕的视频数据(图形)。图形生成电路319将视频数据重叠在电视节目的视频数据上。因此，图形生成电路319按照需要将产生的视频数据提供到面板驱动电路320。

面板驱动电路320基于从图形生成电路319提供的数据驱动显示面板321。因此，面板驱动电路320使得显示面板321在其上显示电视节目的视频和各种类型的屏幕。

例如，显示面板321包括LCD(液晶显示器)。显示面板321例如在面板驱动电路320的控制下显示电视节目的视频。

电视接收机300进一步包括声音A/D(模拟/数字)转换电路314、声音信号处理电路322、回波抵消/声音合成电路323、声音放大电路324和扬声器325。

地面广播调谐器313解调接收的广播信号。因此，除了视频信号之外，地面广播调谐器313还获取声音信号。地面广播调谐器313将获取的声音信号提供到声音A/D转换电路314。

声音A/D转换电路314关于从地面广播调谐器313提供的声音信号执行A/D转换处理。此后，声音A/D转换电路314将产生的数字声音信号提供到声音信号处理电路322。

声音信号处理电路322关于从声音A/D转换电路314提供的声音数据执行预定处理(如，噪声去除)，并将产生的声音数据提供到回波抵消/声音合成电路323。

回波抵消/声音合成电路323将从声音信号处理电路322提供的声音数据提供到声音放大电路324。

声音放大电路324关于从回波抵消/声音合成电路323提供的声音数据执行D/A转换处理和放大处理。在声音数据具有预定音量之后，声音放大电路324从扬声器325输出声音。

电视接收机300进一步包括数字调谐器316和MPEG解码器317。

数字调谐器316经由天线接收数字广播(地面数字广播和BS(广播卫星)/CS(通信卫星)数字广播)的广播信号并解调广播信号。因此，数字调谐器316获取MPEG-TS(运动图像专家组-传输流)并提供MPEG-TS到MPEG解码器317。

MPEG解码器317解扰从数字调谐器316提供的MPEG-TS，并提取包括要再现(观看)的电视节目数据的流。MPEG解码器317解码提取的流的声音分组并将产生的声音数据提供到声音信号处理电路322。另外，MPEG解码器317解码流的视频分组并将产生的视频数据提供到视频信号处理电路318。此外，MPEG解码器317将从MPEG-TS提取的EPG(电子节目指南)数据经由一路径(没有示出)提供到CPU 332。

电视接收机300使用上述图像解码设备201或281作为以这样的方式解码视频分组的MPEG解码器317。因此，类似于图像解码设备201或281，MPEG解码器317在帧间预测时不仅执行运动补偿而且执行模糊补偿。因此，即使当在要帧间预测的图像和参考图像之间模糊显现或消失时，仍可以更精确地执行帧间预测。结果，可以提高帧间预测的图像的质量。

就像从视频解码器315提供的视频数据那样，从MPEG解码器317提供的视频数据在视频信号处理电路318中经历预定处理。此后，如果需要的话，将经历了预定处理的视频数据叠加在图形生成电路319中产生的视频数据上。将视频数据经由面板驱动电路320提供给显示面板321，且显示基于该视频数据的图像。

就像从声音A/D转换电路314提供的声音数据那样，从MPEG解码器317提供的声音数据在声音信号处理电路322中经历预定处理。此后，将经历了预定处理的声音数据经由回波抵消/声音合成电路323提供给声音放大电路324，并经历D/A转换处理和放大处理。结果，受制从而具有预定音量的声音被从扬声器325输出。

电视接收机300进一步包括麦克风326和A/D转换电路327。

A/D转换电路327接收从电视接收机300中提供的麦克风326输入的用于语言会话的用户语音信号。A/D转换电路327关于接收的语音信号执行A/D转换处理，并将产生的数字语音数据提供到回波抵消/声音合成电路323。

当电视接收机300的用户(用户A)的语音数据从A/D转换电路327提供时，回波抵消/声音合成电路323关于用户A的语音数据执行回波抵消。在完成回波抵消之后，回波抵消/声音合成电路323合成语音数据与其它声音数据。此后，回波抵消/声音合成电路323将产生的声音数据经由声音放大电路324从扬声器325输出。

电视接收机300更进一步包括声音编解码器328、内部总线329、SDRAM(同步动态随机存取存储器)330、闪速存储器331、CPU 332、USB(通用串行总线)I/F 333和网络I/F 334。

A/D转换电路327接收从电视接收机300中提供的麦克风326输入的用于语言会话的用户语音信号。A/D转换电路327关于接收的语音信号执行A/D转换处理，并将产生的数字语音数据提供到声音编解码器328。

声音编解码器328将从A/D转换电路327提供的声音数据转换为具有预定格式的数据以经由网络发送声音数据。声音编解码器328将声音数据经由内部总线329提供到网络I/F 334。

网络I/F 334经由附于网路终端335的线缆连接到网络。例如，网络I/F 334将从声音编解码器328提供的声音数据发送到连接到网络的不同设备。另外，例如，网络I/F 334接收从经由网路终端335连接到网络的不同设备发送的声音数据，并将接收到的声音数据经由内部总线329提供到声音编解码器328。

声音编解码器328将从网络I/F 334提供的声音数据转换为具有预定格式的数据。声音编解码器328将声音数据提供到回波抵消/声音合成电路323。

回波抵消/声音合成电路323关于从声音编解码器328提供的声音数据执行回波抵消。此后，回波抵消/声音合成电路323合成声音数据与其它声音数据，并经由声音放大电路324从扬声器325输出产生的声音数据。

SDRAM 330存储CPU 332执行处理所需的各种类型的数据。

闪速存储器331存储由CPU 332执行的程序。在闪速存储器331中存储的程序由CPU 332在预定时刻读出，比如当电视接收机300接通电源时。闪速存储器331进一步存储通过数字广播接收到的EPG数据和经由网络从预定服务器接收到的数据。

例如，闪速存储器331在CPU 332的控制下存储包括经由网络从预定服务器获取的内容数据的MPEG-TS。闪速存储器331在例如CPU 332的控制下将MPEG-TS经由内部总线329提供到MPEG解码器317。

如在从数字调谐器316提供的MPEG-TS的情况下，MPEG解码器317处理MPEG-TS。以这种方式，电视接收机300经由网络接收包括视频和声音的内容数据，并使用MPEG解码器317解码该内容数据。此后，电视接收机300可以显示视频并输出声音。

电视接收机300更进一步包括接收从遥控器351发送的红外信号的光接收单元337。

光接收单元337接收从遥控器351发出的红外光束并解调该红外光束。此后，光接收单元337将通过解调接收的并指示用户操作的类型的控制代码输出到CPU 332。

CPU 332执行闪速存储器331中存储的程序，并例如根据从光接收单元337提供的控制代码执行电视接收机300的整体控制。CPU 332经由一路径(没有示出)连接到电视接收机300的每一单元。

USB I/F 333经由附于USB端子336的USB线缆与连接到电视接收机300的外部装置传递数据。网络I/F 334经由附于网络终端335的线缆连接到网络且还与连接到网络的各种类型的装置传递非声音数据。

通过使用图像解码设备201或281作为MPEG解码器317，电视接收机300可以更精确地执行帧间预测。因此，可以提高帧间预测的图像的质量。结果，电视接收机300可以从经由天线接收的广播信号或经由网络接收的内容数据获取高分辨率的解码图像并显示该解码图像。

图31是使用根据本发明的图像编码设备和图像解码设备的移动电话的基本配置的示例的框图。

如图31所示，移动电话400包括执行移动电话400的各单元的整体控制的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、相机I/F单元454、LCD控制单元455、图像解码器456、多路复用器/多路分配器单元457、记录和再现单元462、调制和解调电路单元458和声音编解码器459。这些单元经由总线460彼此连接。

移动电话400进一步包括操作按键419、CCD(电荷耦合器件)相机416、液晶显示器418、存储单元423、发送和接收电路单元463、天线414、麦克风(MIC)421和扬声器417。

当通过用户操作执行呼叫终止或接通电源按键时，电源电路单元451从电池组提供能量给每个单元。因此，移动电话400变得可操作。

在包括CPU、ROM和RAM的主控制单元450的控制下，移动电话400以比如语音通信模式和数据通信模式之类的各种模式执行各种操作，比如发送和接收语音信号、发送和接收电子邮件和图像数据、图像捕捉和数据记录。

例如，在语音通信模式中，移动电话400使用声音编解码器459将由麦克风(MIC)421收集的语音信号转换为数字语音数据。此后，移动电话400使用调制和解调电路单元458关于数字语音数据执行扩频处理，并使用发送和接收电路单元463关于数字语音数据执行数-模转换处理和频率转换处理。移动电话400将通过转换处理获得的传输信号经由天线414发送到基站(没有示出)。发送到基站的传输信号(语音信号)被经由公用电话网提供给通信方的移动电话。

另外，例如，在语音通信模式中，移动电话400使用发送和接收电路单元463放大由天线414接收到的接收信号，并进一步关于接收信号执行频率转换处理和模拟数字转换处理。移动电话400进一步使用调制和解调电路单元458关于接收信号执行逆扩频处理，并使用声音编解码器459将接收信号转换为模拟语音信号。此后，移动电话400从扬声器417输出转换的模拟语音信号。

此外，例如，在以数据通信模式发送电子邮件时，移动电话400使用操作输入控制单元452接收通过操作按键419的操作而输入的电子邮件的文本数据。此后，移动电话400使用主控制单元450处理该文本数据并以图像的形式经由LCD控制单元455在液晶显示器418上显示文本数据。

此外，移动电话400使用主控制单元450基于文本数据和由操作输入控制单元452接收到的用户指令产生电子邮件数据。此后，移动电话400使用调制和解调电路单元458关于电子邮件数据执行扩频处理，并使用发送和接收电路单元463执行数字模拟转换处理和频率转换处理。移动电话400将通过转换处理获得的传输信号经由天线414发送到基站(没有示出)。发送到基站的传输信号(电子邮件)被经由网络和邮件服务器提供给预定地址。

另外，例如，为了以数据通信模式接收电子邮件，移动电话400使用发送和接收电路单元463经由天线414接收从基站发送的信号，放大该信号，并进一步关于该信号执行频率转换处理和模拟数字转换处理。移动电话400使用调制和解调电路单元458关于接收信号执行逆扩频处理并恢复初始的电子邮件数据。移动电话400经由LCD控制单元455在液晶显示器418上显示恢复的电子邮件数据。

此外，移动电话400可以经由记录和再现单元462在存储单元423中记录(存储)所接收的电子邮件数据。

存储单元423可以由任意可重写存储介质形成。例如，存储单元423可以由半导体存储器(比如RAM或内部闪速存储器)、硬盘或可拆卸存储器(比如磁盘、磁光盘、光盘、USB存储器或存储卡)形成。但是，应该理解，可以采用其它类型的存储介质。

此外，为了以数据通信模式发送图像数据，移动电话400通过由CCD相机416执行的图像捕捉操作来产生图像数据。该CCD相机416包括光学器件，比如镜头和光圈，以及用作光电转换元件的CCD。CCD相机416捕捉被摄体的图像，将所接收的光的强度转换为电信号，并产生被摄体图像的图像数据。CCD相机416经由相机I/F单元454将图像数据提供到图像编码器453。图像编码器453使用预定编码标准，比如MPEG2或MPEG4压缩编码图像数据，并将图像数据转换为已编码图像数据。

移动电话400采用上述图像编码设备151或251作为执行这种处理的图像编码器453。因此，就像图像编码设备151或251那样，图像编码器453在帧间预测时不仅执行运动补偿而且执行模糊补偿。因此，即使当在要帧间预测的图像和参考图像之间模糊显现或消失时，可以更精确地执行帧间预测。结果，可以提高帧间预测的图像的质量。

注意到同时，移动电话400使用声音编解码器459在由CCD相机416执行的图像捕捉操作期间对由麦克风(MIC)421收集的声音进行模拟-数字转换并进一步执行编码处理。

移动电话400使用多路复用器/多路分配器单元457，使用预定技术来多路复用从图像编码器453提供的编码图像数据和从声音编解码器459提供的数字声音数据。移动电话400使用调制和解调电路单元458关于产生的多路复用的数据执行扩频处理，并使用发送和接收电路单元463执行数字模拟转换处理和频率转换处理。移动电话400将通过转换处理获得的传输信号经由天线414发送到基站(没有示出)。发送到基站的传输信号(图像数据)被例如经由网络提供给通信方。

注意到如果不发送图像数据，则移动电话400可以经由LCD控制单元455在液晶显示器418上显示由CCD相机416产生的图像数据而不使用图像编码器453。

另外，例如，为了以数据通信模式接收例如链接到简化网页的运动图像文件的数据，移动电话400使用发送和接收电路单元463接收经由天线414从基站发送的信号，放大该信号，并进一步关于该信号执行频率转换处理和数字模拟转换处理。移动电话400使用调制和解调电路单元458关于接收信号执行逆扩频处理并恢复初始的多路复用数据。移动电话400使用多路复用器/多路分配器单元457将多路复用的数据多路分配为编码图像数据和声音数据。

通过使用与预定编码标准(比如MPEG2或MPEG4)对应的解码技术在图像解码器456中解码已编码图像数据，移动电话400可以产生再现图像数据并经由LCD控制单元455在液晶显示器418上显示再现图像数据。因此，例如，在链接到简化网页的运动图像文件中包括的运动图像数据可以显示在液晶显示器418上。

移动电话400采用上述图像解码设备201或281作为执行这种处理的图像解码器456。因此，就像图像解码设备201或281那样，图像解码器456在帧间预测时不仅执行运动补偿而且执行模糊补偿。因此，即使当在要帧间预测的图像和参考图像之间模糊显现或消失时，可以更精确地执行帧间预测。结果，可以提高帧间预测的图像的质量。

同时，移动电话400使用声音编解码器459将数字声音数据转换为模拟声音信号并从扬声器417输出模拟声音信号。例如，以这种方式，可以再现在链接到简化网页的运动图像文件中包括的声音数据。

注意到如在电子邮件的情况下那样，移动电话400可以经由记录和再现单元462在存储单元423中记录(存储)例如连接到简化网页的数据。

另外，移动电话400可以使用主控制单元450分析通过由CCD相机416执行的图像捕捉操作获得的二维码并获取记录为二维码的信息。

此外，移动电话400可以使用红外通信单元481和红外光与外部装置通信。

通过使用图像编码设备151或251作为图像编码器453，移动电话400可以增加例如用于编码由CCD相机416产生的图像数据和产生编码数据的编码效率。结果，移动电话400可以提供具有优秀的编码效率的已编码数据(图像数据)到另一设备。

另外，通过使用图像解码设备201或281作为图像解码器456，移动电话400可以产生高精度的预测图像。结果，移动电话400可以从链接到简化网页的运动图像文件获取高分辨率的解码图像并显示该高分辨率的解码图像。

注意到虽然已经参考使用CCD相机416的移动电话400做出上述描述，但是可以使用利用CMOS(互补金属氧化物半导体)的图像传感器(即，CMOS图像传感器)代替CCD相机416。即使在这种情况下，如在使用CCD相机416的情况下那样，移动电话400可以捕捉被摄体的图像并产生被摄体的图像的图像数据。

另外，虽然已经参考移动电话400做出上述描述，但是图像编码设备151或251和图像解码设备201或281可以应用于关于移动电话400，具有与移动电话400的功能类似的图像捕捉功能和通信功能的任意设备，比如PDA(个人数字助理)、智能电话、UMPC(超级移动个人计算机)、笔记本、或膝上型个人计算机。

图32是使用根据本发明的图像编码设备的图像解码设备的硬盘记录器的基本配置的示例的框图。

如图32所示，硬盘记录器(HDD记录器)在内部硬盘中存储例如从卫星或地面天线发出且由调谐器接收的广播信号中包括的广播节目(电视节目)的音频数据和视频数据。此后，硬盘记录器500在由用户指令的时刻提供所存储的数据给用户。

硬盘记录器500可以从例如广播信号提取音频数据和视频数据，按照需要解码数据，并在内部硬盘中存储数据。另外，硬盘记录器500可以例如经由网络从另一设备获取音频数据和视频数据，按照需要解码该数据，并在内部硬盘中存储数据。

此外，硬盘记录器500可以解码例如存储在内部硬盘中的音频数据和视频数据，并将已解码的音频数据和视频数据提供到监视器560。因此，图像可以显示在监视器560的屏幕上。另外，硬盘记录器500可以从监视器560的扬声器输出声音。

例如，硬盘记录器500解码从经由调谐器接收的广播信号中提取的音频数据和视频数据或经由网络从另一设备获取的音频数据和视频数据。此后，硬盘记录器500将已解码的音频数据和视频数据提供到监视器560，该监视器560在监视器560的屏幕上显示视频数据的图像。另外，硬盘记录器500可以从监视器560的扬声器输出声音。

应该理解，硬盘记录器500可以执行其他操作。

如图32所示，硬盘记录器500包括接收单元521、解调单元522、多路分配器523、音频解码器524、视频解码器525和记录器控制单元526。硬盘记录器500进一步包括EPG数据存储器527、程序存储器528、工作存储器529、显示转换器530、OSD(在屏显示)控制单元531、显示控制单元532、记录和再现单元533、D/A转换器534和通信单元535。

此外，显示转换器530包括视频编码器541。记录和再现单元533包括编码器551和解码器552。

接收单元521接收从遥控器(没有示出)发送的红外信号，并将红外信号转换为电信号。此后，接收单元521将电信号输出到记录器控制单元526。记录器控制单元526例如由微处理器形成。记录器控制单元526根据程序存储器528中存储的程序执行各种处理。在那时，记录器控制单元526按照需要使用工作存储器529。

通信单元535连接到网络并执行与经由网络连接到其的另一设备的通信处理。例如，由记录器控制单元526控制通信单元535，且通信单元535与调谐器(没有示出)通信。通信单元535主要输出频道选择控制信号给调谐器。

解调单元522解调从调谐器提供的信号并输出解调信号给多路分配器523。多路分配器523将从解调单元522提供的数据多路分配为音频数据、视频数据和EPG数据，并将这些数据项分别输出到音频解码器524、视频解码器525和记录器控制单元526。

音频解码器524例如使用MPEG标准解码输入音频数据，并输出解码音频数据给记录和再现单元533。视频解码器525例如使用MPEG标准解码输入视频数据，并输出解码视频数据给显示转换器530。记录器控制单元526将输入EPG数据提供给存储EPG数据的EPG数据存储器527。

显示转换器530使用视频编码器541将从视频解码器525或记录器控制单元526提供的视频数据编码为例如NTSC(国家电视制式委员会)视频数据，并输出编码视频数据到记录和再现单元533。另外，显示转换器530将用于从视频解码器525或记录器控制单元526提供的视频数据的屏幕大小转换为与监视器560的大小对应的大小。显示转换器530进一步使用视频编码器541将具有已转换的屏幕大小的视频数据转换为NTSC视频数据，并将视频数据转换为模拟信号。此后，显示转换器530输出模拟信号给显示控制单元532。

在记录器控制单元526的控制下，显示控制单元532将从OSD(在屏显示)控制单元531输出的OSD信号重叠在从显示转换器530输入的视频信号上，并将重叠信号输出到显示图像的监视器560。

另外，从音频解码器524输出的音频数据由D/A转换器534转换为模拟信号，并被提供给监视器560。监视器560从并入其中的扬声器输出音频信号。

记录和再现单元533包括用作用于记录视频数据和音频数据的存储介质的硬盘。

例如，记录和再现单元533使用编码器551对从音频解码器524提供的音频数据进行MPEG编码。另外，记录和再现单元533使用编码器551对从显示转换器530的视频编码器541提供的视频数据进行MPEG编码。记录和再现单元533使用多路复用器对编码的音频数据与编码的视频数据进行多路复用从而合成数据。记录和再现单元533通过信道编码放大所合成的数据并经由记录磁头将数据写到硬盘中。

记录和再现单元533经由再现磁头再现记录在硬盘中的数据，放大该数据，并使用多路分配器将数据分离为音频数据和视频数据。记录和再现单元533使用解码器552对音频数据和视频数据进行MPEG解码。记录和再现单元533对解码的音频数据进行D/A转换，并将转换的音频数据输出到监视器560的扬声器。另外，记录和再现单元533对解码的视频数据进行D/A转换，并将转换的视频数据输出到监视器560的显示器。

记录器控制单元526响应于由从遥控器发出并经由接收单元521接收的红外信号指示的用户指令，从EPG数据存储器527读取最近的EPG数据。此后，记录器控制单元526提供EPG数据给OSD控制单元531。OSD控制单元531产生与输入的EPG数据对应的图像数据，并输出该图像数据到显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出到显示视频数据的监视器560的显示器。以这种方式，在监视器560的显示器上显示EPG(电子节目指南)。

另外，硬盘记录器500可以获取经由比如因特网之类的网络从不同设备提供的各种类型的数据，比如视频数据、音频数据或EPG数据。

通信单元535由记录器控制单元526控制。通信单元535经由网络获取从不同设备发送的编码数据，比如视频数据、音频数据和EPG数据，并将编码数据提供给记录器控制单元526。例如，记录器控制单元526将所获取的编码视频数据和音频数据提供到在硬盘中存储数据的记录和再现单元533。在那时，记录器控制单元526以及记录和再现单元533可以按照需要重编码数据。

另外，记录器控制单元526解码所获取的编码视频数据和音频数据并提供产生的视频数据到显示转换器530。以与从视频解码器525提供的视频数据相同的方式，显示转换器530处理从记录器控制单元526提供的视频数据，并经由显示控制单元532提供视频数据到监视器560以便显示图像。

另外，在显示图像的同时，记录器控制单元526可以经由D/A转换器534将解码音频数据提供到监视器560并从扬声器输出声音。

此外，记录器控制单元526解码获取的编码EPG数据，并提供解码EPG数据到EPG数据存储器527。

上述硬盘记录器500使用图像解码设备201或281作为视频解码器525、解码器552和记录器控制单元526中包括的每一解码器。因此，就像图像解码设备201或281那样，在视频解码器525、解码器552和记录器控制单元526中的每一个中包括的解码器在帧间预测时不仅执行运动补偿而且执行模糊补偿。因此，即使当在要帧间预测的图像和参考图像之间模糊显现或消失时，可以更精确地执行帧间预测。结果，可以提高帧间预测的图像的质量。

因此，硬盘记录器500可以产生高精度的预测图像。结果，硬盘记录器500可以从经由调谐器接收的编码视频数据、从记录和再现单元533的硬盘读取的编码视频数据、或经由网络获取的编码视频数据中获取高分辨率的解码图像，并在监视器560上显示高分辨率的解码图像。

另外，硬盘记录器500使用图像编码设备151或251作为编码器551。因此，就像图像编码设备151或251那样，编码器551在帧间预测时不仅执行运动补偿而且执行模糊补偿。因此，即使当在要帧间预测的图像和参考图像之间模糊显现或消失时，可以更精确地执行帧间预测。结果，可以提高帧间预测的图像的质量。

因此，例如，硬盘记录器500可以增加存储在硬盘中的编码数据的编码效率。结果，硬盘记录器500可以更有效地使用硬盘的存储区。

注意到虽然已经参考在硬盘中记录视频数据和音频数据的硬盘记录器500做出了上述描述，但是应该理解，可以采用任意记录介质。例如，就像上述硬盘记录器500那样，图像编码设备151或251以及图像解码设备201或281甚至可以应用于使用硬盘之外的记录介质(例如，闪速存储器、光盘或录像带)的记录器。

图33是使用根据本发明的图像解码设备和图像编码设备的相机的基本配置的示例的框图。

图33所示的相机600捕捉被摄体的图像，并指令LCD 616在其上显示被摄体的图像或以图像数据的形式在记录介质633中存储图像。

镜头块611使得光(即，被摄体的视频)入射在CCD/CMOS 612上。CCD/CMOS 612是使用CCD或CMOS的图像传感器。CCD/CMOS 612将已接收的光的强度转换为电信号，并提供电信号到相机信号处理单元613。

相机信号处理单元613将从CCD/CMOS 612提供的电信号转换为Y、Cr、Cb色差信号，并将色差信号提供到图像信号处理单元614。在控制器621的控制下，图像信号处理单元614关于从相机信号处理单元613提供的图像信号执行预定图像处理，或使用编码器641和例如MPEG标准编码图像信号。图像信号处理单元614提供通过编码图像信号而产生的编码数据到解码器615。另外，图像信号处理单元614获取由在屏显示器(OSD)620产生的显示数据，并提供显示数据给解码器615。

在上述处理中，相机信号处理单元613按照需要使用经由总线617连接到其的DRAM(动态随机存取存储器)618，并按照需要在DRAM 618中存储通过编码图像数据获得的编码数据。

解码器615解码从图像信号处理单元614提供的编码数据，并将产生的图像数据(解码图像数据)提供给LCD 616。另外，解码器615将从图像信号处理单元614提供的显示数据提供到LCD 616。LCD 616按照需要组合从解码器615提供的解码图像数据的图像与显示数据的图像并显示组合的图像。

在控制器621的控制下，在屏显示器620经由总线617输出比如包括符号、字符或图形和图标的菜单屏幕之类的显示数据到图像信号处理单元614。

控制器621基于指示通过操作单元622输入的用户指令的信号执行各种类型的处理，并经由总线617控制图像信号处理单元614、DRAM 618、外部接口619、在屏显示器620和介质驱动器623。闪速ROM 624存储控制器621执行各种类型的处理所需的程序和数据。

例如，代替图像信号处理单元614和解码器615，控制器621可以编码存储在DRAM 618中的图像数据并解码存储在DRAM 618中的编码数据。在那时，控制器621可以使用由图像信号处理单元614和解码器615采用的编码/解码方法执行编码/解码处理。替代地，控制器621可以使用不同于图像信号处理单元614和解码器615采用的编码/解码方法的编码/解码方法执行编码/解码处理。

另外，例如，当从操作单元622指令打印图像时，控制器621从DRAM618读取编码数据并经由总线617经由外部接口619提供编码数据到连接到外部接口619的打印机634。因此，打印图像数据。

此外，例如，当从操作单元622指令记录图像时，控制器621从DRAM618读取编码数据并经由总线617将编码数据提供到介质驱动器623中安装的记录介质633。因此，将图像数据存储在记录介质633中。

记录介质633的示例包括可读可写可拆卸介质，比如磁盘、磁光盘、光盘和半导体存储器。应该理解，记录介质633是任意可拆卸介质类型，比如磁带装置、盘或存储卡。替代地，记录介质633可以是非接触IC卡。

替代地，介质驱动器623可以集成到记录介质633中。例如，就像内部硬盘驱动器或SSD(固态驱动器)那样，不可拆卸的存储介质可以用作介质驱动器623和记录介质633。

外部接口619例如由USB输入输出端子形成。当打印图像时，外部接口619连接到打印机634。另外，驱动器631按照需要连接到外部接口619。因此，按照需要安装可拆卸介质632，比如磁盘、光盘或磁光盘。从可拆卸介质632读取的计算机程序按照需要安装在闪速ROM 624中。

此外，外部接口619包括连接到预定网络(比如LAN或因特网)的网络接口。例如，响应于从操作单元622接收的指令，控制器621可以从DRAM618读取编码数据并将编码数据从外部接口619提供到经由网络连接到其的另一设备。另外，控制器621可以使用外部接口619获取经由网络从另一设备提供的编码数据和图像数据，并在DRAM 618中存储数据或提供数据到图像信号处理单元614。

上述相机600使用图像解码设备201或281作为解码器615。因此，就像图像解码设备201或281那样，解码器615在帧间预测时不仅执行运动补偿而且执行模糊补偿。以这种方式，即使当模糊在要帧间预测的图像和参考图像之间出现或消失时，也可以更精确地执行帧间预测。因此，可以提高帧间预测的图像的质量。

因此，相机600可以产生高精度的预测图像。结果，相机600可以从例如，由CCD/CMOS 612产生的图像数据、从DRAM 618或记录介质633读取的视频数据的编码数据或经由网络接收的视频数据的编码数据中获取高分辨率的解码图像，并在LCD 616上显示解码图像。

另外，相机600使用图像编码设备151或251作为编码器641。因此，就像图像编码设备151或251那样，编码器641在帧间预测时不仅执行运动补偿而且执行模糊补偿。以这种方式，即使当模糊在要帧间预测的图像和参考图像之间出现或消失时，也可以更精确地执行帧间预测。因此，可以提高帧间预测的图像的质量。

因此，例如，相机600可以增加存储在硬盘中的编码数据的编码效率。结果，照相机600可以更有效地使用DRAM 618的存储区和记录介质633的存储区。

注意到，由图像解码设备201或281采用的解码技术可以应用于由控制器621执行的解码处理。类似地，由图像编码设备151或251采用的编码技术可以应用于由控制器621执行的编码处理。

另外，由相机600捕捉的图像数据可以是运动图像或静止图像。

应该理解，图像编码设备151或251以及图像解码设备201或281可应用于上述设备以外的设备或系统。

附图标记列表

63，70，115计算单元

67累积缓冲器

151图像编码设备

161运动预测/补偿单元

162模糊预测/补偿单元

171模糊补偿单元

172模糊预测单元

201图像解码设备

212运动预测/补偿单元

213模糊预测/补偿单元

221滤波器系数转换单元

251图像编码设备

261模糊运动预测/补偿单元

281图像解码设备

282模糊运动预测/补偿单元

权利要求书(按照条约第19条的修改)

1.一种图像处理设备，包括：

解码装置，用于解码已编码图像；

产生装置，用于通过将由所述解码装置解码的图像与预测图像求和来产生已解码图像；以及

预测图像产生装置，用于通过使用与已编码图像对应的运动矢量关于由所述产生装置产生的已解码图像执行运动补偿，并使用指示在编码之前的图像和预测图像之间的模糊变化的模糊信息执行模糊补偿来产生预测图像。

2.如权利要求1所述的图像处理设备，其中，所述模糊信息由点扩散函数PSF表示。

3.如权利要求1所述的图像处理设备，其中，所述模糊信息使用二维正态分布表达式表示。

4.如权利要求3所述的图像处理设备，进一步包括：

接收装置，用于接收所述模糊信息；

其中，所述模糊信息指示二维正态分布表达式的扩散宽度W。

5.如权利要求1所述的图像处理设备，其中，所述模糊信息由作为脉冲响应输出的半径L表示。

6.如权利要求1所述的图像处理设备，其中，所述模糊信息由作为脉冲响应的、距离中心在水平方向上的长度Lx和在垂直方向上的长度Ly表示。

7.如权利要求1所述的图像处理设备，其中，所述预测图像产生装置关于由所述解码装置解码的图像执行运动补偿，并使用模糊信息关于产生的运动补偿图像执行模糊补偿。

8.一种用于图像解码设备的图像处理方法，包括：

解码步骤，解码已编码图像；

产生步骤，通过将在所述解码步骤解码的图像与预测图像求和来产生已解码图像；以及

预测图像产生步骤，通过使用与已编码图像对应的运动矢量关于在所述产生步骤中产生的已解码图像执行运动补偿，并使用指示在编码之前的图像和预测图像之间的模糊变化的模糊信息执行模糊补偿来产生预测图像。

9.一种程序包括：

用于使得计算机用作图像处理设备的程序代码，所述图像处理设备包括：解码装置，用于解码已编码图像；产生装置，用于通过将由所述解码装置解码的图像与预测图像求和来产生已解码图像；以及预测图像产生装置，用于通过使用与已编码图像对应的运动矢量关于由所述产生装置产生的已解码图像执行运动补偿，并使用指示在编码之前的图像和预测图像之间的模糊变化的模糊信息执行模糊补偿来产生预测图像。

10.一种图像处理设备，包括：

运动预测装置，用于使用待编码的图像和参考图像，预测表示在待编码的图像和参考图像之间的运动的运动矢量；

模糊预测装置，用于使用待编码的图像和参考图像，预测指示在待编码的图像和参考图像之间的模糊变化的模糊信息；

补偿装置，用于使用所述模糊信息和所述运动矢量来关于所述参考图像执行运动补偿和模糊补偿；和

编码装置，用于使用在经历了由所述补偿装置执行的运动补偿和模糊补偿的参考图像和待编码的图像之间的差异来产生已编码图像。

11.一种用于图像处理设备的图像处理方法，包括：

运动预测步骤，使用待编码的图像和参考图像，预测表示在待编码的图像和参考图像之间的运动的运动矢量；

模糊预测步骤，使用待编码的图像和参考图像，预测指示在待编码的图像和参考图像之间的模糊变化的模糊信息；

补偿步骤，使用所述模糊信息和所述运动矢量来关于所述参考图像执行运动补偿和模糊补偿；和

编码步骤，使用在经历了在所述补偿步骤中执行的运动补偿和模糊补偿的已补偿图像和待编码的图像之间的差异来产生已编码图像。

12.一种程序包括：

用于使得计算机用作图像处理设备的程序代码，所述图像处理设备包括：运动预测装置，用于使用待编码的图像和参考图像，预测表示在待编码的图像和参考图像之间的运动的运动矢量；模糊预测装置，用于使用待编码的图像和参考图像，预测指示在待编码的图像和参考图像之间的模糊变化的模糊信息；补偿装置，用于使用所述模糊信息和所述运动矢量来关于所述参考图像执行运动补偿和模糊补偿；以及编码装置，用于使用在经历了由所述补偿装置执行的运动补偿和模糊补偿的已补偿图像和待编码的图像之间的差异来产生已编码图像。

Claims (20)

1.一种图像处理设备，包括：

解码装置，用于解码已编码图像；

补偿装置，用于基于指示图像之间的模糊变化的模糊信息，关于由所述解码装置解码的图像执行运动补偿和模糊补偿，所述模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和

计算装置，用于通过将由所述解码装置解码的图像与经历了由所述补偿装置执行的运动补偿和模糊补偿的已补偿图像求和来产生已解码图像。

2.如权利要求1所述的图像处理设备，其中，所述模糊信息由点扩散函数PSF表示。

3.如权利要求1所述的图像处理设备，其中，所述模糊信息使用二维正态分布表达式表示。

4.如权利要求3所述的图像处理设备，其中，从不同图像处理设备发送的所述模糊信息指示二维正态分布表达式的扩散宽度W。

5.如权利要求1所述的图像处理设备，其中，所述模糊信息由作为脉冲响应输出的半径L表示。

6.如权利要求10所述的图像处理设备，其中，所述模糊信息由作为脉冲响应的、距离中心在水平方向上的长度Lx和在垂直方向上的长度Ly表示。

7.如权利要求1所述的图像处理设备，其中，所述补偿装置关于由所述解码装置解码的图像执行运动补偿，并使用所述模糊信息关于产生的图像执行模糊补偿。

8.如权利要求1所述的图像处理设备，其中，所述补偿装置使用所述模糊信息关于由所述解码装置解码的图像执行模糊补偿，并关于产生的图像执行运动补偿。

9.一种用于图像处理设备的图像处理方法，包括：

解码步骤，解码已编码图像；

补偿步骤，基于指示图像之间的模糊变化的模糊信息，关于在所述解码步骤中解码的图像执行运动补偿和模糊补偿，所述模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和

计算步骤，通过将在所述解码步骤中解码的图像和经历了在所述补偿步骤中执行的运动补偿和模糊补偿的已补偿图像求和来产生已解码图像。

10.一种程序包括：

用于使得计算机用作图像处理设备的程序代码，所述图像处理设备包括：解码装置，用于解码已编码图像；补偿装置，用于基于指示图像之间的模糊变化的模糊信息，关于由所述解码装置解码的图像执行运动补偿和模糊补偿，其中所述模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算装置，用于通过将由所述解码装置解码的图像与经历了由所述补偿装置执行的运动补偿和模糊补偿的已补偿图像求和来产生已解码图像。

11.一种图像处理设备，包括：

补偿装置，用于使用待编码的图像和参考图像，预测待编码的图像和参考图像之间的运动和模糊变化，并基于表示运动的运动矢量和指示模糊的变化的模糊信息，关于参考图像执行运动补偿和模糊补偿；

编码装置，用于使用在经历了运动补偿和模糊补偿的已补偿图像和待编码的图像之间的差异来产生已编码图像；和

发送装置，用于发送已编码图像和模糊信息。

12.如权利要求11所述的图像处理设备，其中，所述模糊信息由点扩散函数PSF表示。

13.如权利要求11所述的图像处理设备，其中，所述模糊信息使用二维正态分布表达式表示。

14.如权利要求13所述的图像处理设备，其中，所述发送装置发送所述二维正态分布表达式的扩散宽度W作为所述模糊信息。

15.如权利要求11所述的图像处理设备，其中，所述模糊信息由作为脉冲响应输出的半径L表示。

16.如权利要求11所述的图像处理设备，其中，所述模糊信息由作为脉冲响应的、距离中心在水平方向上的长度Lx和在垂直方向上的长度Ly表示。

17.如权利要求11所述的图像编码设备，其中，所述补偿装置使用待编码的图像和参考图像预测运动并基于表示运动的运动矢量执行运动补偿，且其中所述补偿装置使用通过运动补偿获得的图像和待编码的图像来预测模糊的变化并基于指示模糊的变化的模糊信息执行模糊补偿。

18.如权利要求11所述的图像编码设备，其中，所述补偿装置使用待编码的图像和参考图像预测模糊的变化并基于指示模糊的变化的模糊信息执行模糊补偿，且其中所述补偿装置使用通过模糊补偿获得的图像和待编码的图像预测运动并基于表示运动的运动矢量执行运动补偿。

19.一种用于图像处理设备的图像处理方法，包括：

补偿步骤，使用待编码的图像和参考图像，预测待编码的图像和参考图像之间的运动和模糊变化，并基于表示运动的运动矢量和指示模糊的变化的模糊信息执行运动补偿和模糊补偿；

编码步骤，使用在经历了运动补偿和模糊补偿的已补偿图像和待编码的图像之间的差异来产生已编码图像；和

发送步骤，发送已编码图像和模糊信息。

20.一种程序包括：

用于使得计算机用作图像处理设备的程序代码，所述图像处理设备包括：补偿装置，用于使用待编码的图像和参考图像预测待编码的图像和参考图像之间的运动和模糊的变化，并基于表示运动的运动矢量和指示模糊的变化的模糊信息执行运动补偿和模糊补偿；编码装置，用于使用经历了运动补偿和模糊补偿的已补偿图像和待编码的图像之间的差异产生已编码图像；和发送装置，用于发送已编码图像和模糊信息。

Images