CN1691783A - 运动图像编码和解码方法,装置,程序及程序产品 - Google Patents

Abstract

编码模式判定部分包括运动矢量检测部分，预测图象生成部分和图象质量恶化预测部分。图象质量恶化预测部分根据运动矢量检测部分获得的第二运动关联信息来生成图象质量恶化预测信息。所生成的图像质量恶化预测信息用来选择编码模式并用于量化控制。

Description

运动图像编码和解码方法，装置，程序及程序产品

技术领域

本发明涉及运动图像的编码和解码，特别是涉及编码运动图像的方法和解码运动图像的方法。

背景技术

被称为“运动补偿编码”的技术已知的是用于针对显示图像信号的电视机、个人计算机(PC)、蜂窝电话机或其它装置以低比特率进行编码并发送图像信号的技术。

运动补偿编码利用了构成图像帧的图像块的运动矢量。例如，包括内编码(intra coding)和互编码(inter coding)的两种编码方法用来根据MPEG(运动图像专家组)进行编码，所述MPEG是压缩运动图像信号的国际标准。

内编码是通过仅使用帧内信息对图像帧编码的方法，并且该方法的编码模式被称为内预测编码模式(intra prediction coding mode)。互编码是一种通过使用其它帧的信息对图像帧编码的方法，并且该方法的编码模式被称为互预测编码模式(inter prediction coding mode)。

此外，内预测编码模式和互预测编码模式中每一个包括具有不同生成方法的各种模式。因此，选择适当编码模式对于有效地压缩图像信号是极其重要的。

在传统方法中，为了有效地压缩图像信号，通过测量或预测编码所产生的码数量，以及测量或预测编码和解码前后输入图像的差异，来选择编码模式。为了显示输入图像的差异，例如使用预测误差的绝对微分和或方差。这样的传统方法的实例包括以下例子。在一种方法中，根据编码生成的码数量选择模式(参见日本待审专利公开H02-29180A)。在另一种方法中，根据运动矢量的预测误差和码数量的编码生成的码数量，从具有小于预定阈值电平的预测误差信号的模式中选择具有最小生成的码数量的模式(参见日本待审专利公开H09-322176A，特别图15)。在再一种方法中，响应矩形小区域单位内的预测误差信号和所生成的码数量，选择变成最佳的一个模式(参见日本待审专利公开JP2003-153280A)。

此外，改变每个矩形区域，即MPEG中的一个编码单位，以便适合于目标比特速率，是众所周知的。此外，检验所生成的码数量以便擦除待编码的信息的AC分量是一种公知的方法(参见日本待审专利公开H11-234677A)。

此外，对MPEG中的量化的正交变换的系数加权，以便实现低比特速率也是众所周知的。另外，通过对进行中的正交变换的系数加权，进一步降低码数量也是公知的方法(参见日本专利第3234807号)。

下面将结合附图20和21描述编码装置和解码装置的传统结构。

图20是显示编码装置600的结构的方框图。

编码装置600对输入图像信号601进行编码并产生编码流606。

预测图像生成部分610生成输入图像信号601的预测图像，以便传送预测图像信号613和用来生成预测图像的编码模式关联信号614。运动检测图像信号612a被输入用于生成预测图像的运动矢量检测部分611。检测部分611检测图像信号中的运动，并传送运动关联信息612b。通过输入图像信号601和预测图像信号613的减法操作获得的差分信号被输入到正交变换部分603，该变换部分603传送系数信息。量化控制部分616传送的系数信息和量化控制信号617被输入到量化部分604中。量化部分604传送通过量化系数信息而获得的信息。码数量信息619被输入到量化控制部分616，量化控制部分616传送该量化控制信号617。由量化部分604量化的信息和编码模式关联信号614被输入到可变长度长度编码部分605，可变长度长度编码部分605传送编码的流606。由量化部分604量化的信息和量化控制信号617被输入到逆量化部分607，逆量化部分607传送通过逆量化获得的系数信息。由逆量化部分607传送的系数信息被输入到逆正交变换部分608，逆正交变换部分608传送通过逆正交变换获得的差分信息。由逆正交变换部分608传送的差分信息和预测图像信号613被输入到操作部分609，操作部分609传送解码的图像信号615。编码流606被输入到码数量计数器618，计数器618传送码数量信息619。

图21是表示解码设备700的结构的方框图。

编码流701被输入到可变长度长度解码部分702，可变长度长度解码部分702传送解码系数信息703，解码量化控制信息704和运动关联信息705。解码系数信息703和量化控制信息709被输入到逆量化部分706，逆量化部分706传送系数信息711。解码量化控制信息704被输入到量化控制部分707，量化控制部分707传送量化控制信息709。系数信息711被输入到逆正交变换部分712，逆正交变换部分712传送差分图像信号713。差分图像信号713和运动补偿图像信号716被输入到操作部分714，操作部分714传送解码的图像信号719。运动关联信息705和特定的解码的图像信号717被输入到运动补偿部分715，运动补偿部分715传送运动补偿图像信号716和图像区域指定信息720。解码的图像信号719和图像区域指定信息720被输入到图像存储器718，图像存储器718传送特定的解码的图像信号717。

已经发现了输入图像和在常规方法中使用的诸如预测误差信号之类的解码图像之间的差异没有准确地反映通过观看解码图像获得的主观图像质量。这主要是因为，人类不能够根据输入图像和解码图像之间的差异值来判定图像质量。因此，如果仅仅根据作为标准的输入图像与解码图像之间的差异来执行编码，则在以低比特速率编码的运动图像中，尤其可能恶化主观图像质量，尽管可以改善主观图像质量。

此外，如果仅仅把生成的码数量同作标准，则将出现同样的问题。即，在以低比特速率编码的运动图像中，尤其可能恶化主观图像质量。

发明内容

本发明的目的是在防止主观图像质量恶化的同时，降低码数量。

根据本发明的第一方面，提供了一种通过生成预测图像和对输入图像编码来对运动图像编码的方法，所述预测图像是根据借助运动图像的帧之间的运动信息补偿了运动的图像而生成的。该方法包括图像质量恶化预测处理和码数量分配处理。图像质量恶化预测处理用于根据帧之间的运动信息，确定编码图像的图像质量恶化的程度。码数量分配处理用于根据图像质量恶化的程度来改变分配通过编码所生成的码数量的方法。

根据本发明的第二方面，提供一种通过生成预测图像以及编码输入图像而对运动图像编码的方法。该方法包括减法处理、正交变换处理、系数调制处理、调制模式选择处理、量化处理和可变长度编码处理。减法处理用于从输入图像中减去预测图像，以便传送差分图像。正交变换处理用于对差分图像执行正交变换，以便传送所变换的系数。系数调制处理用于对已变换的系数执行系数调制，以便传送已调制的系数。调制模式选择处理用于在指示系数调制等级的多个调制模式候选之中进行切换。量化处理用于量化调制的系数，以便传送量化信息。可变长度编码处理用于对已量化信息进行可变长度编码，以便传送编码流。此外，系数调制处理通过对应于系数调制等级的不同调制模式，执行降低指示已变换系数的高频分量的系数值的系数调制。调制模式是根据每个调制模式候选的所生成的码数量和每个调制模式候选的输入图像差数量来确定的。

根据本发明的第三方面，提供一种对运动图像编码流进行解码的方法。该方法包括：可变长度解码处理，逆量化处理，逆正交变换处理，图像质量恶化预测处理，以及图像质量改善处理。可变长度解码处理用于对运动图像编码流执行可变长度解码，以便传送量化的信息和运动信息。逆量化处理用于对量化的信息执行逆量化，以便传送变换的系数。逆正交变换处理用于对已变换的系数执行逆正交变换。图像质量恶化预测处理用于根据运动信息确定已编码图像的图像质量恶化的程度。图像质量改善处理用于在图像质量恶化程度较高的情况下提高图像质量。

根据本发明，可以以低比特速率生成具有高图像质量的已编码流。此外，也可以以较低比特速率生成具有高图像质量的已编码图像。因而，本发明具有高实用价值。特别是，由于不同于输入信号的图像质量恶化的等级被确定，因此可以有效地抑止主观图像质量的恶化。

本领域技术人员从以下的详细说明中将会理解本发明的这些和其它目的、特征、方面和优点，以下详细说明结合附图公开了本发明的优选实施例。

附图说明

现在参见构成原始公开的一部分的附图：

图1是显示根据本发明的编码装置的结构的方框图(第一实施例)；

图2是显示本发明的编码模式判定部分的方框图(第一实施例)；

图3是显示本发明的检测运动的方法的解释图(第一实施例)；

图4是显示本发明的图像质量恶化预测的解释图(第一实施例)；

图5是显示本发明的模式选择方法的流程图(第一实施例)；

图6是显示本发明的系数调制的解释图(第一实施例)；

图7是显示运动矢量与量化精度之间关系的解释图(第一实施例)；

图8是显示编码流的数据结构的示意图(第一实施例)；

图9是显示宏块的位置关系的解释图(第一实施例)；

图10是显示运动矢量与差分信息之间关系的解释图(第一实施例)；

图11是显示作为第一实施例修改的模式选择方法的流程图；

图12是显示作为第一实施例的修改的编码装置的结构的方框图；

图13是显示根据本发明的编码装置的结构的方框图(第二实施例)；

图14是显示本发明的图像质量恶化预测部分的操作的流程图(第二实施例)；

图15是图示说明存储程序的记录媒介的示意图，所述程序利用计算机系统实现根据上述实施例的数据发送方法和数据接收方法(第三实施例)；

图16是内容供应系统的整体结构的方框图(第四实施例)；

图17显示了根据本发明的设有运动图像编码装置的蜂窝电话的实例(第四实施例)；

图18是蜂窝电话的结构的方框图(第四实施例)；

图19显示了数字广播系统的实例(第四实施例)；

图20是实现传统图像编码方法(背景技术)的编码装置的方框图；

图21是实现传统的图像解码方法(背景技术)的解码装置的方框图。

具体实施方式

以下参照图1-16说明本发明的实施例。

第一实施例

下面将参照图1-12说明本发明的第一实施例的运动图像编码装置(以下称之为编码装置)。

结构

图1是显示编码装置100的结构的方框图。

编码装置100编码输入图像信号101并传送编码流106。

预测图像生成部分110生成输入图像信号101的预测图像，并传送用于生成预测图像的预测图像信号113和编码模式关联信息114。这里，编码模式关联信息114例如是指示用于输入图像信号101的编码的编码模式的信息(指示诸如内预测或互预测之类的预测图像生成方法的信息)，或者是用于生成预测图像的运动矢量。

运动检测图像信号112a被输入到生成预测图像的运动矢量检测部分111。然后，检测部分111检测图像信号内的运动，并且传送第一运动关联信息112b和第二运动关联信息203。

第二运动关联信息203被输入到图像质量恶化预测部分201。然后，图像质量恶化预测部分201预测图像质量恶化出现的程度，并且传送图像质量恶化预测信息202。下面将解释图像质量恶化预测信息202。

预测图像生成部分110、运动矢量检测部分111和图像质量恶化预测部分201构成编码模式判定部分120。

通过操作部分102对输入图像信号101和预测图像信号113进行减法处理所获得的差分信号被输入到正交变换部分103中，正交变换部分103传送系数信息。量化控制部分116传送的系数信息和量化控制信号117被输入到量化部分104中，并且量化部分104传送系数信息的被量化信息。图像质量恶化预测信息202和码质量信息119被输入到量化控制部分116，量化控制部分116传送量化控制信号117。来自量化部分104的被量化信息和编码模式关联信息114被输入到可变长度编码部分105中，并且可变长度编码部分105传送被编码流106。来自量化部分104的被量化信息以及量化控制信号117被输入到逆量化部分107中，并且逆量化部分107传送通过逆量化获得的系数信息。逆量化部分107传送的系数信息被输入到逆正交变换部分108中，部分107传送通过逆正交变换所获得的差分信息。逆正交变换部分108传送的差分信息，以及预测图像信息113被输入到操作部分109中，操作部分109传送解码信息115。已编码流106被输入到码数量计数器118，并传送码数量信息119。

在上述结构中，量化控制部分116和量化部分104充当码数量分配器，以改变根据图像质量恶化预测信息202分配编码所生成的码数量的方法。请注意，码数量的分配是指例如通过改变用于每个编码处理单元的码数量来编码或类似处理。

参见图2，下面将更详细地说明根据本发明的构成编码装置100的编码模式判定部分120的结构。

在编码模式判定部分120中，预测图像生成部分110包括：内预测图像生成部分121，图像存储器122，互预测图像生成部分123和编码模式选择部分125。

内预测图像生成部分121是利用内预测编码模式信息生成内预测信息128以便以内预测编码模式生成预测图像信号的装置。

图像存储器122是存储解码图像信号115的装置，所述解码图像信号115是通过预先编码和解码获得的图像信号。图像区域指定信息130被输入到存储器122中，存储器122传递特定的解码图像信号124。

互预测图像生成部分123是利用预测编码模式信息126生成内预测信息127以便以互预测编码模式生成预测图像信号的装置。

编码模式选择部分125是从预先确定的多种编码模式中确定编码模式，以便获得内预测信息128和互预测信息127，以及生成预测图像信号113的装置。

运动检测图像信号112a被输入到运动矢量检测部分111，运动矢量检测部分111传送第一运动关联信息112b和第二运动关联信息203。

第二运动关联信息203被输入到图像质量恶化预测部分201，图像质量恶化预测部分201传送图像质量恶化预测信息202。

操作

下面将说明编码装置100的操作。

输入图像信号101被输入到操作部分102和预测图像生成部分110中。

在预测图像生成部分110中，编码模式选择部分125传送编码模式信息(129，126)，以便获得关于用于编码的编码模式候选者的信息。该编码模式候选者是，例如，通过使用帧之间的像素信息执行编码的内编码模式，使用帧内的像素信息中的相关关系执行编码的互编码模式，或者类似模式。此外，每个编码模式包括多种处理方法，包括创建其预测图像和把帧划分成片段的图案的方法。作为把帧划分为片段的图案，例如存在16*16、16*8、8*16、8*8、8*4、4*8、4*4、4*2、2*4、2*2、2*1、1*2、1*1的多个矩形区域图案的一个，或者相应于对象形状划分成诸多形状的另一个。

响应每个编码模式候选，编码模式选择部分125按以下方式工作。

在内编码模式的情况下，编码模式选择部分125首先传送图像区域指定信息130。图像区域指定信息130是指定已经被编码并存储在图像存储器122中的解码图像信号115中的内预测所需的图像区域的信息。图像存储器122把作为特定解码图像信号124的指定区域的解码图像信号115传送给编码模式选择部分125。

然后，编码模式选择部分125把内预测编码模式信息129传送给内预测图像生成部分121。内预测编码模式信息129包括生成执行内预测编码的预测图像的方法和该生成方法所需的图像信号。

内预测图像生成部分121根据输入图像信号101和内预测编码模式信息129生成内预测信息128，并且把信息128传送到编码模式选择部分125。内预测信息128包括内预测图像生成部分121生成的内预测图像信号和输入图像信号101与内预测图像信号之间的差异的信息。在此，差异信息是指示输入图像信号101与内预测图像信号之间的差异的信息，比如输入图像信号101与内预测图像信号之间的差分信号的绝对值之和或者差分信号的平方之和。

在互编码模式的情况下，编码模式选择部分125首先类似于内编码模式，传送图像区域指定信息130。图像区域指定信息130是指定已经被编码并存储在图像存储器122中的解码图像信号115中互预测所需的图像区域的信息。图像存储器122把指定区域的解码图像信号作为特定解码图像信号124传送给编码模式选择部分125。

然后，编码模式选择部分125把互预测编码模式信息126传送给互预测图像生成部分123。互预测编码模式信息126包括生成执行互预测编码的预测图像的方法和生成预测图像所需的图像信号。例如，这里存在包括以下模式的方法：在将按显示顺序编码的图像信号之前使用解码图像信号115的模式，在将按显示顺序编码的图像信号之后使用解码图像信号115的模式，以及使用待编码的图像信号前后的解码图像信号115的模式。在每一种模式中，编码模式选择部分125可以使用用于指定相应的解码图像的图像区域指定信息，获得与特定解码图像信号124相同的信号，并且把该信号传送给互预测图像生成部分123。

输入图像信号101和互预测编码模式信息126被输入到互预测图像生成部分123。此时，互预测图像生成部分123将生成对应于互预测编码模式信息126的预测图像的运动检测图像信号112a传送给运动矢量检测部分111。

此外，第一运动关联信息112b和互预测编码模式信息126被输入到互预测图像生成部分123。互预测图像生成部分123生成互预测信息127，并把该信息传送给编码模式选择部分125。这里，互预测信息127包括：使用第一运动模式关联信息112b和互预测编码模式信息126生成的互预测图像信号，输入图像信号101与互预测图像信号之间的差异信息。这里，所述差异信息是指示输入图像信号101与互预测图像信号之间的差的信息，比如输入图像信号101与互预测图像信号之间的差分信号的绝对值之和，或者差分信号的平方之和。

运动矢量检测部分111

运动矢量检测部分111使用输入的运动检测图像信号1112a检测运动。

下面结合图3说明该运动矢量检测部分的操作。

输入图像帧ORG是待编码的帧。参考图像帧REF是已经被编码和解码的帧，并且还是与输入图像帧ORG不同时间的图像帧。

首先，输入图像帧ORG被划分成诸多编码单元的区域。例如，如图3所示，输入图像帧被划分成诸多矩形区域。输入图像块BLK1是用于编码的单元区域。

为了检测输入图像帧ORG与参考图像帧REF之间的运动，从参考图像帧REF搜索类似于输入图像块BLK1的区域。作为搜索处理中判定类似性的标准，例如存在像素差分信息的绝对值SAD之和(绝对值的差分和)和像素差分信号的平方SSF之和(平方的差分和)。参考图像块BLK2是判定最类似的块的实例。在该情况下，运动矢量MV指示输入图像块BLK1与参考图像块BLK2之间的位置关系。

运动矢量检测部分111根据待编码区域与待参考区域之间的类似性搜索运动矢量。运动矢量检测部分111把运动检测的结果作为第一运动关联信息112b传送给互预测图像生成部分123，并且把相同于第二运动关联信息203的信息传送给图像质量恶化预测部分201。这里，第一运动关联信息112b是用于判定的运动矢量和类似性的信息。第二运动关联信息203是运动矢量的信息。然而，它可以包括和第一运动关联信息112b同样方式的类似性的信息。

图像质量恶化预测部分201

图像质量恶化预测部分201预测当通过第二运动关联信息203编码和解码输入图像信号101时，解码图像质量中的恶化可能性，并且传送图像质量恶化预测信息202，其中第二运动关联信息203是运动矢量检测部分111的输出

下面将详细说明图像质量恶化预测部分201的操作。

输入图像信号101的运动矢量是根据第二运动关联信息203获得的。接下来，检验运动矢量与周围运动矢量之间的差异等级。这里，差异等级是某些区域中的运动矢量的方差、差异平方之和、差异的绝对值之和或类似值。此外，可以用相应于相距对象运动矢量的距离构成的权重计算这些值。如果差异等级高，则可以判定存在发生图像质量恶化的高可能性。因此，该差异等级是作为图像质量恶化预测信息202传送的。

下面将参照图4说明与差异等级相符的图像质量恶化的预测。

图4显示了运动矢量检测部分111使用作为参考图像的正向和反向的解码图像信号115，按照显示顺序对输入图像信号101执行运动检测。

P1和P2是运动矢量检测部分111中的参考图像帧，P3是待编码的输入图像帧，P4是互预测生成部分所生成的互预测图像帧。R1、R2、R3和R4是参考区域，而R5、R6和R7是输入图像帧内的运动检测目标区域。此外，R8是根据运动检测结果生成的运动补偿区域。图像的显示顺序是P1、P3和P2的显示顺序。

运动矢量检测部分111搜索具有对参考图像帧P1和P2内的运动检测目标区域R5、R6和R7的高类似性的区域。参考区域R3被检测为具有对运动检测目标区域R5的高类似性区域，参考区域R4被检测为具有对运动检测目标区域R6的高类似性的区域，参考区域R1和R2被检测为具有对运动检测目标区域R7的高类似性的区域。

根据这些运动矢量，互预测图像生成部分123生成互预测图像帧P4。互预测图像帧P4中的运动补偿区域R8包括不同于输入图像帧P3的区域，即预测失败的区域。这是因为，对应于运动检测目标区域R6的参考区域R3包括不同于区域R6的区域，并且对应于运动检测目标区域R7的参考区域R4包括不同于区域R7的区域。因此，确定区域R6和R7具有彼此不同的运动。由于每个区域包括具有一个不同运动的另一个区域，因此在运动补偿区域R8内生成不同于输入图像帧的区域。由于运动补偿区域R8是互预测失败的区域，因此存在出现编码失真的高可能性。

相反，对运动检测目标区域R5而言，预测不会在互预测图像帧之内失败。这是因为对应于运动检测目标区域R5的参考区域R1和R2类似于周围区域运行，所以仅仅可以在以相同方式运行的区域中执行运动补偿。

因此，能够通过计算不同等级决定区域的运行是相同于还是不同于周围区域，所以可以预测图像质量恶化的发生。

编码模式选择部分125中的编码模式选择处理

下面将详细说明编码模式选择部分125的处理。

编码模式选择部分125传送内预测编码模式和互预测编码模式的候选编码模式信息，以便以每种候选编码模式获得内预测信息128，互预测信息127，码数量信息119和图像质量恶化预测信息202。码数量信息119是以候选编码模式一次编码和解码时的码数量。

编码模式选择部分125根据以多个候选编码模式生成的码数量R、解码图像信号115与输入图像信号101之间的差异D以及从图像质量恶化预测信息202获得的图像质量恶化的等级α，计算判定标准J，以便确定用于依据多个候选编码模式编码的编码模式。

判定标准J可以由下式(1)表达。

J＝αxD+λR(以下称之为公式(1))。

编码模式选择部分125把具有最小判定标准J的候选编码模式选择为用于编码的编码模式。

这里，将更详细地说明公式(1)中的λ、R、D和α。

参考λ是通过量化的精度确定的变量。λ的值可以根据稍后描述的量化控制部分116所确定的量化精度来确定。λ可以是常数，以便减少电路尺寸。

生成的码数量R是码数量信息119。这里，当一次编码时，生成的码数量R不一定是码数量信息119。在此情况下，可以使用依据内预测信息128和互预测信息127估算的值。例如，依据互预测信息127的运动矢量和指示类似性的值估算将被生成的码数量。此外，依据内预测信息128的差异值信息和编码模式信息估算将被生成的码数量。因此，不需要执行一次编码，所以可以简化处理。

指示解码图像和输入图像之差的参数D是内预测信息128与互预测信息127的差异值信息之间的类似信息。这里，指示解码图像与输入图像之差的D在曾经执行编码的情况下，可以是解码图像与输入图像之间的差异值。在此情况下，可以正确估算编码模式的失真，所以可以提高编码模式选择的精度。

图像质量恶化的等级α是从图像质量恶化预测信息202获得的值。更具体地说，图像质量恶化等级α具有实质上与图像质量恶化预测信息202相同的值，或者仅随同图像质量恶化预测信息202的值一同增加的值。即，图像质量恶化等级α变成大值，因为图像质量恶化的可能变大。

通过使用判定标准J的处理可以获得以下效果。

如果存在图像质量恶化的低可能性，则图像质量恶化等级α具有小值。为此，指示解码图像与输入图像之差的D对判定标准J的影响变小，而生成的码数量R的影响变大。为此，即使解码图像不同于输入图像，也选择具有小的生成码数量R的编码模式。这造成抑止生成的码数量比抑止一部分具有图像质量恶化的低可能性的输入图像的差异值更重要。因此，可以在解码图像内的图像质量恶化出现的低可能性的区域中减少码数量。

相反，如果存在图像质量恶化的高可能性，则图像质量恶化等级α具有大值。因此，指示解码图像与输入图像之差的D对判定标准J的影响变大，而生成的码数量R的影响变小。为此，即使生成的码数量R是小的，也要选择解码图像类似于输入图像的编码模式。这造成执行编码以使编码图像变得类似于输入图像，比抑止一部分具有图像质量恶化的高可能性的码数量更为重要。因此，可以改善在一个具有出现在解码图像内的图像质量恶化高可能性的区域中的图像质量。

图5中显示了编码模式选择部分125的处理的过程。

在步骤S31中，编码模式选择部分125暂时执行内编码，以便获得生成的码数量和解码图像信号115与输入图像信号101之间的差异值信息。接着在S32中，如果存在用于内预测的另一个候选编码模式，则重复S31。如果不存在其它候选编码模式，则在步骤S33中以互编码模式暂时执行运动检测和互编码，以便获得生成的码数量和解码图像信号115与输入图像信号101之间的差异值信息。接着在S34中，根据S33中获得的运动检测结果预测图像质量恶化等级。在步骤S35中，如果存在用于互预测的另一个候选编码模式，则重复S33和S34。如果不存在其它候选编码模式，则在步骤S35中根据等式(1)所示的判定标准J确定编码模式。

其它部分的操作

通过输入图像信号101与预测图像生成部分110所生成的预测图像信号113之间的减法运算获得的差分信号被输入到正交变换部分103中。正交变换部分103把差分信号变换成频率分量。作为该变换的方法，例如可以使用离散余弦变换(DCT)和类似变换。正交变换部分103执行的正交变换后的系数信息被输入到量化部分104。

量化部分104量化正交变换后的系数信息。此时，通过来自量化控制部分116的量化控制信号117改变量化精度。下面将说明确定量化的精度的方法。量化部分104量化的信息与量化的精度一起被输入到可变长度编码部分105。请注意，可以为编码的每个单元增加量化精度。例如，它可以是为每个块(每个宏块)增加的信息。

可变长度部分105对编码信息执行可变长度编码。可变长度编码是利用信息的墒的压缩信息的方法。此外，可变长度编码部分105还对预测图像生成部分110所获得的编码模式关联信息114执行可变长度编码。由可变长度编码部分105编码的编码流106被输入到码数量计数器118中。

码数量计数器118对编码流106的码数量进行计数，并传送将其作为码数量信息119输出。码数量信息119被输入到量化控制部分116和预测图像生成部分110中。

量化控制部分116根据码数量信息119确定下一个图像帧编码的量化精度。

此时，量化控制部分116可以执行正交变换后的系数信息的调制。下面将参照图6详细说明系数信息的调制。

正交变换部分103执行的正交变换后的系数信息根据下式(2)表示的运算方程来调制。

Q`(x，y)＝Q(x，y)×16/M(x，y)(以下称之为公式(2))

在公式(2)中，正交变换系数由Q(x，y)代表，调制等级由M(x，y)代表，调制后的系数由Q`(x，y)代表。此外，x代表x轴方向上的位置，而y代表y轴方向上的位置。

例如，如果图6(d)所示的调制等级用于原始变换系数Q(x，y)(参见图6(a))，则调制结果如图6(b)所示。此外，如果使用了图6(e)所示的调制等级，则调制结果如图6(c)所示。图6(a)所示的系数显示了位于左上角的DC分量和向右下角增加的高频分量。

这里，当执行等式(2)中所示的调制时，可以减少高频分量的信息，所以可以控制所生成的码数量。例如，应当理解，图6(e)所示的调制等级比图6(d)所示的调制等级，更能够减少高频分量。

请注意，用图像质量恶化预测信息202控制图6(d)和6(e)所示的调制等级是可能的。根据图像质量恶化预测信息202，如果存在图像质量恶化的高可能性，则不执行调制，或者选择具有小调制等级的M(x，y)(例如，图6(d))。如果存在图像质量恶化的低可能性，则选择具有大调制等级的M(x，y)(例如，图6(e))。否则，所有Q`(x，y)都被设置为零。也就是说，所有变换系数都被设置为零。

因此，如果图像质量恶化容易发生，则不执行系数的减少，以致保持图像质量。此外，如果图像质量恶化不容易发生，则减少许多系数，以便可以减少生成的码数量。

请注意，可以在解调方依据图像质量恶化预测信息(参见第二实施例)预测量化控制部分116中使用的调制等级的信息(例如，图6(d)或6(e)中所示的表)。另外，该调制等级信息可以从量化控制部分116经由量化部分104传送，并且由可变长度编码部分105对该信息连同量化部分104的量化信息和量化精度进行可变长度的编码。此时，可变长度编码的调制等级的信息可以是图6(d)或图6(e)所示表格式的信息。另外，如果存在已准备的多个预定的表，则它可以是一个表的信息。

此外，将说明量化控制部分116确定量化精度的情况。

量化控制部分116根据码数量信息119检查生成的码数量并转换(switch)量化精度，以使编码流的码数量变成目标值。例如，如果生成的码数量大于目标值，则降低量化精度。相反，如果生成的码数量小于目标值，则增加量化精度。这里，“降低量化精度”是指按低比特率执行量化，“增加量化精度”是指按高比特率执行量化。

此时，能够根据图像质量恶化预测信息202改变变换量化精度的方法。在此情况下，根据图像质量恶化预测信息202，如果图像质量恶化容易发生，则增加量化精度。因此，可以抑止失真的出现，所以可以改善图像质量。此外，如果图像质量恶化不容易发生，则降低量化精度。因而可以减少生成的码数量。

在此情况下，输入图像信号101(第二运动关联信息203)的运动矢量与量化精度之间关系如图7所示。即，如果图像质量恶化预测信息202大，即如果待处理的块或者类似物的运动矢量与周围块的运动矢量之间的差异值等级大(如果待处理的块具有不同于周围块的运动)，则以量化的高精度执行量化。相反，如果运动矢量之间的差异值等级小(如果待处理的块具有相同的运动)，则按量化的低精度执行量化。请注意，“周围”不总是指对象周围的所有部分，而可以指对象的附近。

逆量化部分107对量化部分104量化的信息执行逆量化。此时，还输入由量化控制部分116执行的量化控制信号117。逆量化部分107通过利用量化控制信息117执行逆变换，以便生成系数信息。

逆正交变换部分108通过对逆变换后的系数信息执行逆正交变换，获得差异值信息。操作部分109将差分信息加到预测图像信号113上，以便获得解码的图像信号115。

例如可以为每个编码单元、每个块或者每个宏块执行上述的处理，或者为每个图像单元执行上述的处理。

参见图8，进一步说明上述实施例所示的从编码装置100传送的编码流106的数据结构。

图8显示了编码流106中包含的数据之中的宏块层的数据结构。编码流106包括具有层结构的运动图像流，例如包括序列层、GOP层、图像层、切片层、宏块层和块层。请注意，这里所述的结构是一个实例，而不意味着本发明被限制于该结构。

宏块层包括宏块数据MBd，它包括每个宏块的运动矢量和指示量化精度的量化信息，以及是每个块的数据的差分信息R。

图8分别显示了包括作为宏块数据的运动矢量MV1-MVx和差分信息R1-Rx。

这里，宏块MBx被视作待处理的宏块，宏块MB1-MB4被视作宏块MBx周围的宏块。宏块MBx与宏块MB1-MB4中的每一个之间的位置关系例如如图9所示。宏块MB1-MB4分别被布置在宏块MBx的左上位置、上位置、右上位置和左位置。

如上述实施例所述，当对待处理的宏块MBx执行处理时，确定图像质量恶化预测信息。宏块MB1-MB4被假设为用于确定该图像质量恶化预测信息的宏块。即，如果为宏块MBx确定了图像质量恶化预测信息，则确定运动矢量MVx与每个运动矢量MV1-MV4之间的差异值等级。

此外，差分信息Rx是原始图像与预测图像之间的量化和编码的差分图像的信息，并且通过根据图像质量恶化预测信息控制量化来获得Rx。特别是，如果为宏块MBx确定的图像质量恶化预测信息大(图像质量恶化容易发生)，则增加量化精度，或者利用更小调制等级执行系数调制(例如，不减少较高频率分量的调制)，以便执行量化。相反，如果为宏块NBx确定的图像质量恶化预测信息是小的(图像质量恶化不容易发生)，则降低量化精度，或者用大调制等级执行系数调制(例如，减少较高频率分量的调制)，所以执行量化。因此，差分信息的码数量依赖图像质量恶化预测信息的大小。图像质量恶化预测信息越大，则生成的码数量就变得越小。图像质量恶化预测信息越小，则生成的码数量就变得越小。

因此，图8所示的数据结构具有如图10所示的特征。即，宏块MBx的差分信息的码数量依赖于运动矢量MVx与运动矢量MV1-MV4的每个之间的差异等级。换言之，宏块(例如MB1-MB4)的运动矢量(例如MV1-MV4)的每一个与待处理的宏块的运动矢量(例如，MVx)之间差异等级越大，待处理的宏块(例如MBx)的差分信息(例如Rx)的码数量也越大，反之亦然(即差异等级越小，则码数量也越小)。

此外，周围宏块的每个运动矢量与待处理的宏块的运动矢量之间的差异等级越大，则待处理的宏块的宏块数据中的量化信息的值指示越高的量化精度，并且如果所述差异等级越小，则指示越低的量化精度。

请注意，尽管待处理的宏块MBx的编码宏块MB1-MB4在上面的描述中作为实例被视为周围宏块，但是如何采用周围宏块不限于此。例如，使用更宽区域的编码宏块是可能的。此外，暂时确定运动信息是可能的，所以宏块MBx周围的所有宏块被视为周围运动信息。

在此情况下，利用运动信息的宽范围，可以改善差分信息Rx的控制性能，并且可以改善图像质量。

请注意，尽管在图8中，所有宏块包括运动矢量MV和差分信息R，但并不总需要“所有宏块包括运动矢量MV和差分信息R”。

例如，如果宏块的编码模式是直接模式，则编码流的结构被包括运动矢量。在此情况下，把通过预定方法生成运动矢量用作周围运动矢量是可能的。请注意，直接模式是即使在内编码中也通过预定方法生成的运动矢量的方法，所以不发送运动矢量。

此外，如果宏块的编码模式是例如内模式，则编码流的结构不包括运动矢量。在此情况下，通过预定方法能够确定对周围运动的差异。特别是，如果例如在待处理的宏块周围存在恒定数量或者更多(例如，一半或更多)内预测编码模式宏块，则确定待处理的宏块的运动不同于周围宏块的运动。相反，如果内预测编码模式宏块的数量小于恒定数量，则使用消除内预测编码模式宏块的关于周围运动的差异。或者使用内预测编码模式宏块的运动被假设为0的关于周围运动的差异。

此外，某些宏块例如不包括差分信息R是可能的。

第一实施例的第一调制

可以在第一实施例的实际范围之内考虑以下修改。

当在编码模式选择部分125的处理中选择最佳编码模式时，能够确定最佳调制系数等级。

下面将参照图11对此进行详细说明。

编码模式选择部分125在S401中临时执行内编码，在步骤S402中转换用于内编码的系数调制等级，并且获得生成的码数量和输出图像差异信息。如S403所示，多个系数调制等级被准备，并且为系数调制等级中的每一个获得生成的码数量以及输入图像差异信息。

在S404，确定对应于最佳判定标准的系数调制等级。作为判定标准，使用公式(1)。然而，在内编码的情况下，不判定指示图像质量恶化等级的α的值。在此情况下，α的值可以是固定值。此外，当在显示顺序前后执行户编码时，可以根据运动矢量计算α的值。运动图像前后的运动是相关的，所以甚至在内编码中，也可以执行图像质量恶化预测。因此，可以保持图像质量，并且可以实现码数量的减少。此外，可以保持公式(1)所表达的最小值的系数调制等级。

在S405，为所有内编码模式，重复从S401到S404的处理。

在S406，暂时执行运动检测和互编码。在S407，根据运动检测的结果，预测图像质量恶化的等级。在S408，转换用于互编码的系数调制等级，并且得到生成的码数量以及输入图像差异信息。在S409，转换系数调制等级，并且以与S403相同方式得到每一个的生成码数量和输入图像差异信息。

在S410中，以与S404相同方式确定系数调制等级。作为该情况下的判定，使用公式(1)。公式(1)中表达的最小值的系数调制等级被保持。

在S411中，为所有的内编码模式重复从S406到S410的处理。

在S412中，从S401到S411的处理中计算的所有编码模式和调制等级中，选择最佳的一个，即具有公式(1)的小判定标准的一个，作为编码模式。

通过执行该编码模式选择，可以最佳地选择调制系数等级以及编码模式选择，所以可以实现图像质量的改少以及码数量的减少。

在此情况下，由编码模式选择部分125确定的系数调制等级可以被包含在编码模式关联信息114中，并且被输入到执行可变长度编码的可变长度编码部分105中。另外，如果多个预定表被确定，则它可以是用于指定它们中的任一个的信息。

第一实施例的第二修改

可以在第一实施例的实际范围内考虑以下修改。

图像质量恶化预测信息202可以被用于量化控制。图像质量恶化预测预测信息202可以是仅仅由编码模式选择部分125使用的一个。这样，可以减小电路规模和减小处理量。

第一实施例的第三修改

在第一实施例的实际范围内考虑以下修改。

图像质量恶化预测信息202可以不用于编码模式选择。图像质量恶化预测信息202可以是仅仅由量化控制部分116使用的一个。这样，可以实现电路规模的减小和处理量的减小。

第一实施例的第四修改

在上述实施例中，能够根据是码数量的编码流目标的值进行转换，确定是否执行上述实施例所述处理。

实现这一转换的开关S被设置在编码装置100(参见图1)中的运动矢量检测部分111与图像质量恶化预测部分201之间，如图12所示。

此外，当目标的码数量为高时，开关S被指向OFF侧，而当目标的码数量为低时，开关S被指向ON侧。因此，当目标的码数量为高时，具有开关S的编码装置100以上面的参照图20描述的传统编码装置600的相同方式进行工作；而当目标的码数量为低时，它按照上述实施例所述的编码装置的相同方式进行工作。请注意，目标的码数量可以是通过使用设置部分(未示出)或者类似部分从外部设置的码数量。

因而，如果目标的码数量是高的，则可以获得等于常规的图像质量。相反，如果目标的码数量是低的，则可以抑止图像质量恶化，所以可以获得比前面的更好的图像质量。

此外，可以对显示开关S的条件的信息编码。因此，当解码时，对应于开关S条件的动作是可能的，所以可以获得比以前更好的图像质量。

第二实施例

参见图13-14，下面将说明本发明的第二实施例的运动图像解码器装置(下移称之为解码装置)。

请注意，该实施例的解码装置可以用来，不仅对第一实施例所述的编码装置100编码的编码流进行解码，而且还可以对传统编码装置编码的编码流进行解码。因此，下面说明中的表述“编码装置”不仅仅指编码装置100。

结构

图13是显示解码装置300结构的方框图。

编码流13被输入到可变长度解码部分302中，可变长度解码部分302传送解码系数信息303、解码量化控制信息304和运动关联信息305。解码系数信息303和量化控制信息309被输入到逆量化部分306中，逆量化部分306传送系数信息311。解码量化控制信息304和图像质量恶化预测信息310被输入到量化控制部分307，并且量化控制部分307传送量化控制信息309。运动关联信息305被输入到图像质量恶化预测部分308，图像质量恶化预测部分308传送图像质量恶化预测信息310。系数信息311被输入到逆正交变换部分312，逆正交变换部分312传送差分图像信号313。差分图像信号313和运动补偿图像信号316被输入到操作部分314中，操作部分314传送解码图像信号319。运动关联信息305和特殊解码图像信号317被输入到运动补偿部分315中，运动补偿部分315传送运动补偿图像信号316和图像区域指定信息320。解码图像信号319和图像区域指定信息320被输入到图像存储器318，并且图像存储器312传送特定的解码图像信号317。

操作

下面将说明解码装置300的操作。

可变长度解码部分302以可变长度对编码流301进行解码，并独立地传送解码系数信息303、解码量化控制信息304和运动关联信息305。

编码装置通过对差分信号执行正交变换和量化，获得解码系数信息303。解码量化控制信息304包括由编码装置用来调制量化的精度和系数的模式和值。运动关联信息305是编码装置用于以互预测编码模式进行运动补偿的运动矢量。

图像质量恶化预测部分308根据运动关联信息305预测图像质量恶化。预测图像质量恶化的方法与第一实施例所述的方法相同。图像质量恶化预测部分308计算图像质量恶化出现的可能性，并且把它作为图像质量恶化预测信息310传送给莲花控制部分307。图像质量恶化预测部分308根据用于解码的运动关联信息305生成图像质量恶化预测信息310，所以不需要编码装置对图像质量恶化预测信息310进行编码。

量化控制部分307根据图像质量恶化预测信息310和解码量化控制信息304生成量化控制信息309。下面将参考图14详细说明此情况下的操作装置。

在被包括运动关联信息305的编码模式的情况下，其过程如下所示。如图14(a)所示，在S51中以和传统方法相同的方式获得解码量化控制信息304，并且在步骤S52中依据其中包含的信息生成逆调制表。然后，在步骤S53中，计算包括用于逆量化的量化精度信息和逆调制表的逆调制控制值，并且生成量化控制信息309。

逆调制表是乘逆值(反向值)的表，用于设置返回到原始值(与下面的说明相同)的图6(d)或6(e)和公式(2)所示的调制值。

此外，在包括运动关联信息305的情况下，其过程如下。如图14(b)所示，在步骤S61中获得解码量化控制信息304和图像质量恶化预测信息310，在步骤S62中根据图像质量恶化预测信息310预测调制信息，在步骤S63中，依据预测调制信息生成逆调制表，在步骤S64中计算包括用于逆量化的量化精度信息和逆调制表的逆调制控制值，并且生成量化控制信息309。

作为从图像质量恶化预测信息310预测调制信息的方法，这里采用了保持预定的图像质量恶化预测信息和调制等级的方法。

此外，即使在被包括运动关联信息305的编码模式的情况下，也能够使用图14(b)所示的方法。在此情况下，通过使用解码图像中邻近区域的运动关联信息进行内插，获得图像质量恶化预测信息310。这样，可以减少用于编码的码数量，并且进一步改善解码的图像质量。

如上所述，通过使用逆调制表，解码装置300执行在差分图像信号313中增加高频分量的处理，所以可以改善解调的图像质量。

逆量化部分306通过使用量化控制信息309对解码系数信息303执行逆量化，以便获得差分图像信号313。运动补偿部分315获得运动关联信息305并把图像区域指定信息320传送给图像存储器318，以便获得特定的解码图像信号317。此外，运动补偿部分315使用运动关联信息305和特定的解码图像信号317，生成运动补偿图像，以便传送运动补偿图像信号316。操作部分314把差分图像信号313加到运动补偿图像信号316上，以便传送解码图像信号319。解码图像信号319被输入到图像存储器318，图像存储器318累积输入的图像信号。因此，当收到图像区域指定信息320时，来自累积的解码图像信号319的指定的特定解码图像信号317被传送给运动补偿部分315。

第二实施例的第一修改

可以在第二实施例的实际范围内考虑以下修改。

根据图像质量恶化预测部分308预测的图像质量恶化预测信息310，确定使用图14(b)所示方法的范围是可能的。

例如，图14(b)所示的方法可以用于以下情况：图像存储器318中累积的解码图像信号319和在屏幕上显示的解码图像信号319被分别准备的情况，以及传送用于屏幕显示的解码图像信号319的情况；而图14(a)所示的方法用于在图像存储器318中累积的解码图像信号319被传送的情况。

在此情况下，即使图像质量恶化预测的精度是低的，它也只影响屏幕显示的一帧，而不影响用于解码下一帧的图像存储器318中的解码图像信号。

相反，在编码方执行图像质量恶化预测的预处理中编码的编码流的情况下，存在在编码方预测运动补偿图像信息不同于运动补偿图像信号316(是从解码侧的运动补偿部分315获得的)的可能性，导致对下一帧的解码图像信号的不良影响。

在此情况下，当传送用于屏幕显示的解码图像信号319时可以使用图14(a)所示的方法；而当传送图像存储器318中累积的解码图像信号319时，可以使用图14(b)所示的方法。因而，可以改善下一帧的解码图像信号的图像质量。

请注意，图14(b)所示的方法可以用于屏幕显示的解码信号和图像存储器累积的解码信号。

在此情况下，能够一次生成解码图像信号，所以可以减少处理量。

此外，能够发送用于指示的信息，以指示是否为编码而执行图像质量恶化预测作为附加信息。如果编码信息包括显示是否执行图像质量恶化预测的附加信息，则执行根据附加信息的行动。

在此情况下，能够根据附加信息确定是使用图14(a)所示的方法还是图14(b)所示的方法进行解码。因此，可以改善解码图像质量。例如，在上述处理不合适的情况下，当在编码期间不应用图像质量恶化预测时，不执行处理，于是可以改善解码图像质量。

此外，如果图像质量恶化预测信息310预测图像质量的恶化，则平滑滤波器可以被用于图像质量的恶化被预测的解码图像的区域。

因而，适当的平滑滤波器被用于解码图像，所以可以改善解码图像质量。

第二实施例的第二修改

尽管在依据图像质量恶化预测信息310生成调制等级的上述实施例中进行了说明(例如，通过引用链接图像质量恶化预测信息310与调制等级的表)，如果对调制等级编码，还能够从包括调制等级的解码量化控制信息304中获得调制等级。

第三实施例

通过在诸如软盘之类的记录介质中记录用于实现上述实施例所示的运动图像编码方法或运动图像解码方法的程序，能够在独立计算机系统中容易地执行上述实施例所示的处理。

图15是显示计算机系统使用被记录在如软盘之类的记录介质中的程序执行上述实施例的运动图像编码方法或者运动图像解码方法的情况的程序。

图15(b)显示了从前面观看的软盘的外观，截面结构和软盘，图15(a)显示了充当记录介质本体的软盘的物理格式的实例。软盘ED被容置在外壳F中，从盘表面的外圆周到内圆周同心地构成多个轨迹Tr，每个轨迹沿角方向圆划分成16个扇区Se。因此，在存储上述程序的软盘中，在软盘FD上分配的区域中记录程序。

此外，图15(c)显示了执行软盘FD中的上述程序的记录/重现的配置。在软盘FD中记录实现运动图像编码方法或运动图像解码方法的上述程序的情况下，程序是从计算机系统Cs经由软盘驱动器写入的。此外，在使用软盘中的程序在计算机系统中构成上述的运动图像编码方法或者运动图像解码方法的情况下，用软盘驱动器从软盘中读取程序，并且把程序传送给计算机系统。

尽管软盘被用作上述的记录介质，但是使用光盘同样可以执行本发明。此外，记录介质不限于此，使用能够记录程序的任何介质如IC卡或ROM盒，同样可以执行本发明。

第四实施例

以下将说明上述实施例所示的运动图像编码方法或者运动图像解码方法的应用实例，以及使用这些方法的系统。

图16是显示实现内容传递业务的内容供应系统ex100的整体结构的方框图。提供通信业务的区域被划分成预期大小的小区，以及是设置在小区中的固定无线站的基站ex107-ex110。

该内容提供系统ex100包括：计算机ex111，个人数字助理(PDA)ex112，摄像机ex113，蜂窝电话ex114，具有摄像机的蜂窝电话ex115以及例如经由互联网业务供应商ex102、电话网ex104和基站ex107-ex110连接互联网ex101的其它设备。

然而，内容供应系统ex100可以采用不限制到图6所示组合的任何用户连接的组合。此外，每个装置可以被直接连接没有基站ex107-ex110(是固定无线站)的电话网ex104。

摄像机ex113是诸如可以获得运动图像的数字摄像机之类的装置。此外，蜂窝电话可以是PDC(个人数字通信)方法、CDMA(码分多址)方法、W-CDMA(宽带码分多址)方法或者GSM(全球移动通信系统)方法、或PHS蜂窝电话(个人手持电话系统)的任何类型。

此外，流服务器ex103经由基站ex109和电话网ex104连接摄像机ex113，所以可以根据摄像机ex113的用户发射的编码数据执行实况传送。摄像机ex113或者发送数据的服务器可以执行所获得的数据的编码处理。此外，摄像机ex116获得的运动图像数据可以经由计算机ex111被发送给流服务器ex103。摄像机ex116是可以拍摄类似数字照相机的静止图像合拍摄运动图像的装置。在此情况下，摄像机ex116或者计算机ex111可以执行运动图像数据的编码。此外，计算机ex111或摄像机ex116中的LSIex117可以执行编码处理。请注意，能够把编码和解码图像的软件并入存储介质(CD-ROM，软盘，硬盘或类似物)中，该记录介质是计算机ex111可读的记录介质。此外，具有摄像机ex115的蜂窝电话机可以发射运动图像数据。在此情况下，由蜂窝电话ex115中的LSI对运动图像编码。

在该内容供应系统ex100中，用户正在用摄像机ex113或者摄像机ex116记录的内容(例如，音乐会的运动图像)如上述实施例那样被编码，并且被发射给流服务器103，而流服务器ex103把内容数据传送给提出请求的客户机。客户机可以是可以对编码数据解码的计算机ex111、PDAex112、摄像机ex113、蜂窝电话ex114或类似物。因而，在内容供应系统ex100中，客户机可以接收和重现编码数据。当客户机实时接收、解码和重现该流时，系统可以实现个人广播。

为了用该系统的装置执行编码或者解码，上述实施例所示的运动图像编码装置或者运动图像解码装置可以被使用。

下面将说明关于蜂窝电话的实例。

图17显示了利用本发明的运动图象编码方法或者运动图象解码方法的蜂窝电话ex115。蜂窝电话ex115包括：天线ex201，用于与基站ex110发射和接收无线电波；摄像机部分ex203，比如可以拍摄静止图像的CCD摄像机；显示部分ex202，比如液晶显示器，用于在图象数据被解码后，显示摄像机部分ex203获得的图像或者由天线ex201接收的图像；包括一组操作按键ex204的机身部分；声音输出部分ex208，比如产生声音的扬声器；声音输入部分ex205，比如接收声音的麦克风；记录介质ex207，用于存储编码数据或者解码数据，比如拍摄运动图象或静止图像的数据，接收的电子邮件的数据，运动图像或静止图像；插槽部分ex206，能够使记录介质ex207连接到蜂窝电话ex115上。记录媒介ex207，如SD卡包括容纳闪存元件的塑料壳，所述闪存元件是电可重写和擦除的一种类型的EEPROM(电可擦和可编程只读存储器)非易失性存储器。

下面将参照图18说明蜂窝电话ex115。蜂窝电话ex115包括主控制器部分ex311，用于控制具有显示部分ex202和操作按键ex204的机身部分、电源电路部分ex310、操作输入控制器部分ex304、图象编码部分ex312、摄像机接口部分ex303、LCD(液晶显示)控制器部分ex302、图像解码部分ex309、复用分离部分ex308、记录和重现部分ex307、调制解调器电路部分ex306和声音处理部分ex305的每个部分，这些部分经由同步总线ex313彼此连接。

当用户接通清除和电源按键时，电源电路部分ex310将电源从电池组供应给每个部分，所以激活具有摄像机ex115的数字蜂窝电话。

蜂窝电话ex115在包括CPU、ROM和RAM的主控制器部分ex311的控制下，由声音处理部分ex305把声音输入部分ex205在声音通信模式期间收集的声音信号转换成数字声音数据。数字声音数据由调制解调器电路部分ex306进行扩频处理，并且被发射和接收部分ex301进行数模变换处理和频率变换处理。此后，经由天线ex201发射数据。此外，蜂窝电话ex115在声音通信模式期间放大由天线ex201接收的信号，并且对数据执行频率变换处理和模数变换处理，由调制解调电路部分ex306进行解扩处理，由声音处理部分ex305转换成模拟声音信号。此后，由声音输出部分ex208传送模拟声音信号。

此外，当在通信模式期间发射电子邮件时，通过使用机身部分的操作按键ex204输入电子邮件，并且经由操作输入控制器部分ex304供给主控制器部分ex311。主控制器部分ex311通过调制解调电路部分ex306执行对文本数据的扩频处理，并且通过发射和接收电路部分ex301执行数模变换处理。此后，数据经由天线ex201被传送给基站ex110。

当在数据通信模式期间发射图象数据时，摄像机部分ex203获得的图象数据经由摄像机接口部分ex303被提供给图像编码部分ex312。此外，如果不发射图象数据，则显示部分ex202能够经由摄像机接口部分ex303和LCD控制器部分ex302直接显示由摄像机部分ex203获得的图象数据。

包括本发明的运动图象编码装置的图象编码部分ex312，采用上述实施例所示的图像编码装置使用的编码方法，通过压缩和编码数据，把摄像机部分ex203提供的图象数据转换成编码的图像数据，并且把编码图像数据提供给复用分离部分ex308。此外，蜂窝电话ex115收集声音输入部分ex205输入的声音，而摄像机部分ex203摄取图像，并且数字声音数据从声音处理部分ex305提供给复用分离部分ex308。

复用分离部分ex308通过预定方法，对图像编码部分ex312供应的编码图像数据和声音处理部分ex305供应的声音数据执行多路复用。作为结果获得的多路复用数据由调制解调器电路部分ex306进行扩频处理并且由接收电路部分ex301进行数模转换处理和频率转换处理。此后，经由天线ex201发射数据。

当在数据通信模式期间接收链接web页的运动图像字段数据时，由调制解调电路部分ex306对经由天线ex201从基站ex110接收的信号进行解扩处理。作为结果获得的多路复用数据被供应给多路复用分离部分ex308。

此外，为了对经由天线ex201接收的多路复用数据进行解码，多路复用分离部分ex308从声音数据的编码比特流分离多路复用数据中的图象数据的编码比特流。然后，多路复用分离部分ex308经由同步总线ex313把编码图像数据供应给图像解码部分ex309，并且把声音数据供应给声音处理部分ex305。

接着，包括本发明的运动图像编码装置地图像解码部分ex309，通过采用与上述实施例所示的编码方法相对应的解码方法对图象数据的编码比特流解码，生成重现运动图像数据，并且经由LCD控制器部分ex302把数据供应给显示部分ex202。因而，可以显示链接到主页的运动图像字段中包含的运动图像数据。在此情况下，声音处理部分ex305把声音数据转换成模拟声音信号，该模拟声音信号被供应给声音输出部分ex208。因而，可以重现链接到主页的运动图像字段中包含的声音数据。

请注意，本发明不限于上述系统的实例。卫星数字广播或陆地信号已经是近来讨论的话题。如图19所示，本发明的图象编码装置或者图像解码装置也可以被并入数字广播信息中。

特别是，在广播站ex409中，图象信息的编码比特流经由无线电波被发送给通信或广播卫星ex410。接收图象信息的编码比特流的广播卫星ex410发送用于广播的无线电波。这些无线电波被装备有卫星广播接收设施的房间的天线ex406接收，诸如电视机(接收机)ex401或者机顶盒(STB)ex407之类的装置解码编码比特流并重现该图像。此外，用于读取和解码已编码比特流的重现装置ex403可以装备有图像解码装置，其中所述已编码比特流被记录在存储介质ex402，比如作为记录介质的CD或DVD上。在此情况下，重现图象信号和文本轨迹(text track)被显示在监视器ex404上。此外，能够把本发明的图像解码装置安装在机顶盒ex407中，该机顶盒连接有线电视或者卫星表面波广播的天线ex406的电缆ex405，所以可以在电视机的监视器ex408上重现图像。在本案中，还能够把本发明的图像解码装置并入电视机中，而不是机顶盒中。此外，装备天线ex411的汽车ex412能够接收来自广播卫星ex410或者基站ex107的信号，并且在汽车ex412的导航系统ex413的显示器上重现运动图像。

此外，能够用图象编码装置编码图象信号，并把已编码图像信号记录在记录介质中。作为特定实例，存在一个记录器420，比如在DVD盘ex421上记录图象信号的DVD记录器或者在硬盘上记录图象信号的盘记录器。此外，能够在SD卡ex422上进行记录。此外，在记录器ex420包括本发明的图像解码装置的情况下，能够经由图象信号处理装置重现记录在DVD盘ex421或SD卡ex422上的图象信号，以便在监视器ex408上进行显示。

请注意，在图18所示的导航系统ex413的结构中，可以省略摄像机部分ex203、摄像机接口部分ex303和图像编码部分ex312。这还可以应用于计算机ex111和电视机(接收机)ex401。

此外，诸如蜂窝电话ex114之类的终端装置可以包括三种类型的组合。第一种类型是具有编码器和解码器的发射和接收终端，第二种类型是仅具有编码器的发射终端，第三种类型是仅具有解码器的接收终端。

因此，上述实施例所示的运动图像编码方法和运动图象解码方法可以被用于上述的任何装置和系统，以便可以获得所述效果。

请注意，图像编码装置和图像解码装置的方框图中的每个功能块被典型地实施为LSI，它是一个集成电路。这些功能块可以单独成为一个芯片，也可以是作为它们的一部分或者作为整体的一个附加物(tip)。

例如，图1或者图2的每个功能块可以是一个芯片。在此情况下，图象存储器122可以从外部与芯片连接。

此外，图13中的每个功能块可以是一个芯片。在此情况下，图象存储器318可以从外部连接芯片。

LSI可以根据集成度，被称作IC、系统LSI、超LSI或者超级LSI。

此外，集成电路的方法不限于LSI，而是可以由专用集成电路或通用处理单元来实现。使用在LSI被生产后可编程的FPGA(现场可编程门阵列)或硅可构形处理器(可以构造LSI中的电路单元的连接或者设置)是可能的。

此外，如果随着半导体技术的进步，不同于LSI的另一集成电路的技术出现，则可以为集成功能块利用该技术。生物技术具有用于这种技术的潜力。

此外，通过利用程序，可以实现上述实施例的每个功能块的所有或者一部分处理。在此情况下，例如，CPU执行该处理。此外，处理程序被存储在硬盘装置或ROM中，并且从ROM或者RAM读取处理程序，以便执行。

根据本发明的运动图像编码方法和运动图象解码方法具有可以以低比特速率和高图象质量执行编码和解码的效果，并且在累积、发射、通信等方面，它们用于编码运动图象的方法和解码运动图象的方法。

本申请要求日本专利申请JP2004-132848的优先权。因而JP2004-132848的整个公开在此作为参考引用。

尽管为了说明本发明，仅仅挑选了一些有选择的实施例，但是本领域熟练技术人员将会从该公开中明白，在不背离所附权利要求定义的本发明的范围的情况下，可以对其作出各种改变和修改。此外，本发明实施例的上述说明仅仅是为了说明而提供的，其目的不是限制所附权利要求和等同物定义的本发明。

Claims (25)

1.一种通过生成预测图像和对输入图像编码，来编码运动图像的方法，所述预测图像是根据借助运动图像的帧之间的运动信息来补偿运动的图像生成的，所述方法包括：

图像质量恶化预测处理，用于根据帧之间的运动信息，确定编码图像的图像质量恶化的等级；和

码数量分配处理，用于根据图像质量恶化的等级，改变分配通过编码所生成的码数量的方法。

2.根据权利要求1所述的方法，其中图象质量恶化预测处理包括：如果编码图像具有不同于周围的运动，则判定图象质量恶化的等级高；如果编码图像具有与周围相同的运动，则判定图象质量恶化的等级低。

3.根据权利要求1或2所述的方法，其中码数量分配处理用于从多个编码模式候选中选择一种编码模式，并且包括：

已生成码数量计算处理，用于计算每个编码模式候选的已生成码数量；

输入图像差异量计算处理，用于计算每个编码模式候选的已编码图像与输入图像之间的输入图像差异量；

编码模式选择处理，用于根据图象质量恶化的等级、已生成码数量和输入图像差异量，选择一种编码模式。

4.根据权利要求1或2所述的方法，其中码数量分配处理包括：

量化控制处理，当图象质量恶化等级为高时，把量化精度设置到高值，以及当图象质量恶化等级为低时，把量化精度设置到低值；

量化处理，根据设置的量化精度执行量化。

5.根据权利要求3所述的方法，其中

码数量分配处理还包括：

量化控制处理，当图象质量恶化等级为高时，把量化精度设置到高值，以及当图象质量恶化等级为低时，把量化精度设置到低值；

量化处理，根据设置的量化精度执行量化；和

编码模式选择处理包括，当量化控制处理改变量化精度时，根据图象质量恶化等级、已生成的码数量和输入图象差异量，选择编码模式。

6.根据权利要求2所述的方法，其中码数量分配处理包括，如果确定图象质量恶化等级为高时，增加码数量分配，如果图象质量恶化等级被确定为低时，降低码数量分配。

7.一种通过生成预测图像以及编码输入图像而对运动图像编码的方法，所述方法包括：

减法处理，从输入图像中减去预测图像，以便传送差分图像；

正交变换处理，对差分图像执行正交变换，以便传送所变换的系数；

系数调制处理，对已变换的系数执行系数调制，以便传送已调制的系数；

调制模式选择处理，在指示系数调制等级的多个调制模式候选之中进行切换；

量化处理，用于量化调制的系数，以便传送量化信息；

可变长度编码处理，用于对已量化信息进行可变长度编码，以便传送已编码流，其中

系数调制处理包括：通过对应于系数调制等级的不同调制模式，执行降低系数值的系数调制，所述系数值指示已变换系数的高频分量，

调制模式是根据每个调制模式候选的所生成的码数量和每个调制模式候选的输入图像差异量来确定的。

8.根据权利要求7或8所述的方法，其中可变长度编码处理对调制模式的选择信息执行可变长度编码。

9.根据权利要求7或8所述的方法，其中系数调制处理能够针对编码的处理单元选择不同的调制模式。

10.一种对运动图像已编码流进行解码的方法。该方法包括：

可变长度解码处理，对运动图像编码流执行可变长度解码，以便传送量化的信息和运动信息；

逆量化处理，对量化的信息执行逆量化处理，以便传送变换的系数；

逆正交变换处理，对已变换的系数执行逆正交变换处理；

图像质量恶化预测处理，根据运动信息确定已编码图像的图像质量恶化的等级；

图像质量改善处理，如果图像质量恶化等级高，用于提高图像质量。

11.根据权利要求10所述的方法，其中图象质量提高处理包括增加在逆正交变换处理中获得的差分信息的高频分量。

12.根据权利要求10所述的方法，其中图象质量提高处理包括对图象质量恶化等级具有高值的区域中的解码图像使用平滑滤波器。

13.一种通过生成预测图像和对输入图像编码，来编码运动图像的装置，所述预测图像是根据借助运动图像的帧之间的运动信息来补偿运动的图像而生成的，所述装置包括：

图像质量恶化预测器，用于根据帧之间的运动信息，确定编码图像的图像质量恶化的等级；和

码数量分配器，用于根据图像质量恶化的等级，改变分配通过编码所生成的码数量的方法，其中，

如果编码图像具有不同于周围的运动，则图象质量恶化预测器确定图象质量恶化的等级高，如果编码图像具有与周围相同的运动，则图象质量恶化预测器确定图象质量恶化的等级低。

14.根据权利要求13所述的装置，其中如果图象质量恶化等级被确定为高，则码数量分配器增加码数量分配，以及如果图象质量恶化等级被确定为低，则码数量分配器降低码数量分配。

15.一种通过生成预测图像以及编码输入图像而对运动图像编码的装置，所述装置包括：

减法器，从输入图像中减去预测图像；

正交变换器，对由减法器获得的差分图像执行正交变换；

系数调制器，对正交变换器获得的已变换的系数执行系数调制；

量化器，对系数调制器获得的已调制系数进行量化；

可变长度编码器，对量化器获得的已量化信息进行可变长度编码，其中

系数调制器以对应于用于每个编码处理单元的系数调制等级的不同调制模式，执行降低系数值的系数调制，其中所述系数值指示已变换系数的高频分量，和

根据每个调制模式候选的所生成的码数量和每个调制模式候选的输入图像差异量，从指示系数调制等级的多个调制模式候选中选出调制模式。

16.一种对运动图像已编码流进行解码的装置，该装置包括：

可变长度解码器，对运动图像编码流执行可变长度解码；

逆量化器，对可变长度解码器获得的量化的信息执行逆量化处理；

逆正交变换器，对逆量化器获得的已变换系数执行逆正交变换处理；

图像质量恶化预测器，根据可变长度解码器获得的运动信息确定已编码图像的图像质量恶化的等级；

图像质量改善器，如果图像质量恶化等级高，用于提高图像质量。

17.一种使用计算机对运动图象编码的程序产品，包括通过生成预测图像和对输入图像编码来编码运动图像的方法，所述预测图像是使用运动图像的帧之间的运动信息，根据进行了运动补偿处理的图像生成的，该程序产品使计算机运行包括以下处理的方法：

图像质量恶化预测处理，用于根据帧之间的运动信息，确定编码图像的图像质量恶化的等级；和

码数量分配处理，用于根据图像质量恶化的等级，改变分配通过编码所生成的码数量的方法。

18.根据权利要求17所述的程序产品，其中

图象质量恶化预测处理包括：如果编码图像具有不同于周围的运动，则判定图象质量恶化的等级高；如果编码图像具有与周围相同的运动，则判定图象质量恶化的等级低；和

码数量分配处理包括，如果确定图象质量恶化等级高，则增加码数量分配，如果图象质量恶化等级被确定为低时，则降低码数量分配。

19.一种使用计算机编码运动图像的程序产品，包括生成预测图像以及编码输入图像而对运动图像编码的方法，所述程序产品使计算机运行包括以下处理的方法：

减法处理，从输入图像中减去预测图像；

正交变换处理，对在减法处理中获得的差分图像执行正交变换；

系数调制处理，对在正交变换处理中获得的已变换系数执行系数调制；

量化处理，用于量化在系数调制处理中获得的已调制系数；和

可变长度编码处理，对在量化处理中获得的已量化信息进行可变长度编码，其中

系数调制处理包括，以对应于系数调制等级的不同调制模式，执行用于降低系数值的系数调制，所述系数值指示已变换系数的高频分量，以及

根据每个调制模式候选的所生成的码数量和每个调制模式候选的输入图像差异量，从指示系数调制等级的多个调制模式候选中选出调制模式。

20.一种使用计算机对运动图像已编码流进行解码的程序产品，包括对解码运动图像已编码流的运动图像进行解码的方法，该程序产品使计算机运行包括以下处理的方法：

可变长度解码处理，对运动图像编码流执行可变长度解码；

逆量化处理，对在可变长度解码处理中获得的已量化信息执行逆量化；

逆正交变换处理，对在逆量化处理中获得的已变换的系数执行逆正交变换处理；

图像质量恶化预测处理，根据在可变长度解码处理中获得的运动信息确定已编码图像的图像质量恶化的等级；

图像质量改善处理，如果图像质量恶化等级高，用于提高图像质量。

21.一种集成电路装置，通过生成预测图像来编码输入图像，所述预测图像是根据用运动图像的帧之间的运动信息来补偿其运动的图像而生成的，所述装置包括：

图像质量恶化预测部分，根据帧之间的运动信息，确定编码图像的图像质量恶化的等级；和

码数量分配部分，根据图像质量恶化的等级，改变分配通过编码所生成的码数量的方法，其中，

如果编码图像具有不同于周围的运动，则图象质量恶化预测部分确定图象质量恶化的等级高，如果编码图像具有与周围相同的运动，则图象质量恶化预测部分确定图象质量恶化的等级低。

22.根据权利要求21所述的集成电路装置，其中如果图象质量恶化等级被确定为高，则码数量分配部分增加码数量分配，以及如果图象质量恶化等级被确定为低，则码数量分配部分降低码数量分配。

23.一种生成预测图像以及编码输入图像的集成电路装置，包括：

减法部分，从输入图像中减去预测图像；

正交变换部分，对减法部分获得的差分图像执行正交变换；

系数调制部分，对正交变换部分获得的已变换系数执行系数调制；

量化部分，对系数调制部分获得的已调制系数进行量化；

可变长度编码部分，对量化部分获得的已量化信息进行可变长度编码，其中

系数调制部分，以对应于用于每个编码的处理单元的系数调制等级的不同调制模式，执行用于降低系数值的系数调制，其中所述系数值指示已变换系数的高频分量，以及

根据每个调制模式候选的所生成的码数量和每个调制模式候选的输入图像差异量，从指示系数调制等级的多个调制模式候选中选出调制模式。

24.一种解码运动图象编码流的集成电路装置，该装置包括：

可变长度解码部分，对运动图像编码流执行可变长度解码；

逆量化部分，对可变长度解码部分获得的量化的信息执行逆量化；

逆正交变换部分，对逆量化部分获得的已变换系数执行逆正交变换；

图像质量恶化预测部分，根据可变长度解码部分获得的运动信息确定已编码图像的图像质量恶化的等级；

集成电路装置，如果图像质量恶化等级高，用于提高图像质量。

25.一种通过生成预测图像而获得的编码流的数据结构，所述预测图象是根据用运动图象中的帧之间的运动信息补偿其运动的图像生成的以便对输入图像编码，其中

数据包括为输入图像的每个分割区域生成的多个处理单元信息，并且包括运动信息和输入图像与预测图像之间的差分信息，和

处理单元信息的差分信息的码数量对应于处理单元信息中包含的运动信息与周围处理单元信息中包含的运动信息之间的差异。

Images