CN1187730A - 图像编码译码装置、方法及编码图像记录媒体、传送方法 - Google Patents

Abstract

本发明的目的在于,在图像编码装置的速率控制中,进行基于图像的局部性质的控制,改善编码结果的画质,并且提高速率控制的精度。用参数计算装置根据编码方式的种类和图像性质,求量化幅度修正参数和速率控制的反馈的加权参数,在量化幅度确定装置中,根据上述量化修正参数和上述加权参数确定修正量化幅度。

Description

图像编码译码装置、方法及 编码图像记录媒体、传送方法

本发明涉及图像编码·译码装置、图像编码·译码方法、编码图像记录媒体，以及编码图像传送方法，特别涉及在压缩数字图像后传送·记录时使用的图像编码。

由于近年来数字化技术的发展，将图像数字化后作为数字图像数据输出的传送速率达到数百兆～数G[bps]，但在传送或记录该数字信号并加以利用时，在传送时受通信成本的限制，在记录时受记录容量的限制。因此，需要用靠编码压缩数字图像数据得到编码图像数据的编码技术，以及靠从编码图像数据得到原图像的译码技术，来传送或记录压缩后的数字数据。

图8是用于说明这样的压缩编码和解压缩译码的图。如图所示，对于作为被数字化的象素的排列的数据，一般分割成规定的块(在图中是8×8象素)进行处理。各象素包括有关颜色和亮度的象素值，但在该阶段中象素值为原图像的随机状态。如果对其进行离散余弦变换(DCT)等的变换，则因为如图所示那样在大的象素值中产生偏差，所以接着通过靠量化，在运算中用一定的数除各项，将影响小的项作为0对待，就可以实现压缩。此后，还进行可变长度代码变换的变换，如图所示，在传送编码后的数据时，当接收该数据处理原图像的情况下，由作为以前的量化的逆运算的逆量化处理，和作为以前的变换的逆运算的逆变换处理构成译码处理，就可以得到与原图像近似的图像。

另外，作为可变长度编码(variable lenth coding)处理，有扫描宽度编码处理等，通过这样的处理就可以进一步压缩图像数据。例如扫描宽度编码，如以下所述，通过集中同样的数据的排列进行压缩。在扫描宽度编码中，是将具有连续的相同象素值的象素的数设置为2字节的代码(列)，将其象素值设置为1字节代码(长度)。以下，如[00]那样的标记是16进制，表示是1字节。

例如，作为象素值的排列，当得到[00][00][00][01][01][02][02][02][02][02]，并对其编码时，开始时因为同样的象素值[00]是连续3个，所以设置成表示该3个[00]的称为[00][03]的2字节的数据，和表示象素值的称为[00]的1字节数据，接着由于是连续2个[01]，所以设置成表示2个[01]的2字节的数据[01][02]和象素值的1字节[01]，对于最后部分排列的5个[02]，设置成表示5个[02]的[00][05]和象素值的[02]。排列它们的结果是[00][03][00][00][02][01][00][05][02]，得到压缩了一成的编码数据。如此同样的象素排列越多，压缩率越高。

另外，一般编码处理，根据图像所具有的空间的，或时间的局部的相关关系进行，将这种处理称为局部编码处理，有根据某个画面，即根据在帧内的图像具有的空间的相关关系除去冗余性的帧内(intra frame)编码，和根据在某个画面和其它的画面之间的时间的相关关系除去冗余性的帧间(inter frame)编码。

图9是用于说明局部编码的图。如图9(b)所示，在移动图像的情况下，是数字化后将其作为多个静止图像的集合使用，但如图9(a)所示，在1幅静止图像中，根据靠近的部分具有同样，或近似的象素值的可能性高这一原理，用空间频率的概念将该相关关系用于压缩的过程是帧内编码。另外，如图9(b)所示，在多个静止图像中，根据如(N-1)和(N)那样靠近的静止图像相同，或近似的可能性高的原理，进行编码的过程是帧间编码，例如，对于(N-1)和(N)的数字数据，通过取差分，只将(N)的图像数据中与(N-1)不同的部分作为以后的处理对象，实现压缩。即使在进行这样的帧间编码时，对于最初的静止图像，也用帧内编码处理。

在由这样的图像编码进行的压缩处理中，一般压缩率上升伴随图像质量的劣化，为了谋求适当的压缩，需要有控制编码数据的生成速率的速率控制。这样的速率控制，是通过对应于输入的数据适当地设定量化幅度进行的，这是因为在上述说明中的量化处理阶段，作为用于除法运算的数的量化幅度(quantzation scale)的值，直接影响作为编码数据产生的信息量的缘故。

以下，用现有的技术说明进行这样的速率控制的图像编码装置的一例(ISO-IEC/JTC1/SC29/WG11 N0328)。

图7是展示使用以往技术的图像编码装置的构成的方框图。如图所示，采用现有技术的图像编码装置具备，减法运算装置1、图像变换装置2、量化装置3、可变长度编码装置4、逆量化装置5、图像逆变换装置6、加算装置7、图像存储装置8、活动率(activity)计算装置22以及量化幅度确定装置23。

在同一图中，减法运算装置1，求出输入到装置中的编码单位输入图像，和从已经编码后的编码图像制成的参照图像的差分，生成变换输入图像。图象变换装置2，输入上述变换输入图象，实施规定的变换，生成变换图象。量化装置3，将上述变换图像用后述的量化幅度确定装置23输出的修正量化幅度量化，生成量化变换系数。可变长度编码装置4，输入上述量化变换系数进行可变长度编码，生成与编码上述修正量化幅度后的结果相符的编码结果，并且计算检测上述编码结果的信息量，输出到后述的量化幅度确定装置23。逆量化装置5，输入上述量化变换系数和上述修正量化幅度，生成逆量化后图像。图像逆变装置6，输入上述逆量化后图像，实施固定的逆变换，生成逆变换图像。加算装置7，加算上述参照图像和上述逆变换图像，生成局部译码图像。图像存储装置8，在规定的期间保持上述局部译码图像，输出上述参照图像。

活动率计算装置22，计算为了修正量化幅度进行速率控制所用的活动率和平均活动率。量化幅度确定装置23，根据活动率计算装置22计算的活动率以及平均活动率、可变长度编码装置4输出的编码结果信息量、给予的目标位数确定修正量化幅度，然后输出到量化装置3、逆量化装置5以及可变长度编码装置4。

以下，就[A.编码]、[B.局部译码]以及[C.速率控制]说明采用上述那样构成的现有的图像编码装置的编码处理时的动作。A.编码

首先，作为向本装置的输入，把图象经数字化后的数据作为原图象，将其分割成小区域，以分割后的图像作为编码单位输入图像S100顺序进行输入。输入图像S100，将具有水平8象素、垂直8象素的象素集合作为1个块，由亮度块4个和色差信号块2个构成。该块的集合叫做宏块。根据规定的判断基准，用帧内编码或帧间编码的某一局部编码方式编码上述编码单位(宏块)的象素S100。在此，设置成只在最初进行帧内编码，以后进行帧间编码，以下说明帧间编码。

在后述的局部译码处理中，用存储在图像存储装置8中的局部译码图像S107生成参照图像S108，从上述图像S100和上述参照图像S108用减法运算装置1生成变换输入图像S101。上述变换输入图像S101被输入图像变换装置2实施变换，变为变换图像S102。上述变换图像用量化装置3进行量化，变成量化后变换系数S103。在该量化时使用的量化幅度，是在每次设置对象的编码单位(宏块)时确定的，开始时设置成使用已设定的初始值，其后，如果从量化幅度确定装置23给出修正量化幅度，则设置成使用当前的修正量化幅。

进而，在可变长度编码装置4中，对于上述量化后变换系数S103，根据从低区到高区的高度的顺序进行扫描宽度编码，输出作为上述图象S100编码结果的位流(bitstream)S104。可变长度编码装置4，为了速率控制，还将上述编码结果的信息作为位数b计测，向量化幅度确定装置23输入计测结果。B.局部译码

如上述说明的那样，在帧间编码中，是用此前处理的图象作为参照图象S108，得到差分图象，但为此，需要局部地译码处理编码后的数据，将其结果设置成参照图象。

用上述量化装置得到的上述量化后变换系数S103，也被输出到逆量化装置5。而后由逆量化装置5进行逆量化求逆量化图象S105，上述逆量化图象S105被逆量化装置6逆变换，得到逆变换图象S106。上述逆变换图象S106通过加算装置7与上述参照图象相加，得到局部译码图象S107。上述局部译码图象S107用图象存储装置8在规定的期间保存，由此，得到相对下次输入的参照图象S108。C.速率控制

另外，由量化幅度修正进行的速率控制如以下那样进行。活动率计算装置22，从输入的上述图象S100中计算上述图象S100的活动率act后输入到上述量化幅度确定装置23。这里，所谓活动率就是求构成上述图象S100的亮度信号的各块的分散，在上述分散中最小的值上加1的过程。进而，在上述活动率计算装置22中，求上述图象S100的活动率在帧内的平均值，作为平均活动率avg_act输入到上述量化幅度确定装置23。但是，输入到上述量化幅度确定装置23的上述平均活动率avg_act是在此前结束编码的帧中计算出的值。

在上述量化幅度确定装置23中，根据以规定的方式求得的在帧内产生的编码结果的目标位数Tb、作为上述编码结果的信息量得到的位数b、上述图象S100的活动率act以及上述平均活动率avg_act确定修正量化幅度。

由上述量化幅度确定装置23确定修正量化幅度的过程如下。在上述量化幅度确定装置23内部，保持上述原图象与帧内编码、或使用前向预测的帧间编码、或使用双向预测的帧间编码的各种编码方式对应的，在虚拟缓冲存储器中的数据量的缓冲满度(buffer fullness)bj的参数，根据上述缓冲满度bj进行速率控制。上述缓冲满度bj在上述图象S100的编码结束时更新由下式求得的值。

dj＝d0+b-Tb/MBn    (式1)

这里，d0表示结束此前的宏块的处理时的缓冲满度dj的值，Mbn表示构成上述原图象的帧的宏块的数。

从上述缓冲满度dj中由下式求量化幅度qj。

qj＝(dj×31)/r         (式2)

这里，r是反馈参数，由下式表示。其中，bit_rate是1秒钟的编码结果的位数的目标值，picture_rate是1秒钟输入的原图象的张数。

r＝(bit_rate)/(picture_rate)     (式3)

进而，上述量化幅度qj由下式进行调整求修正量化幅度mq，将上述修正量化幅度mq输入上述量化装置3。

mq＝qj×(2×act+avg_act)/(act+2×avg_act)(式4)

根据(式4)求得的修正量化幅度mq在上述量化装置3中进行量化。另外，修正量化幅度mq还被输出到逆量化装置5以及可变长度编码装置4，用于在逆量化装置5进行逆量化，在上述可变长度编码装置中被编码后编入编码结果。mq就是在译码处理编码结果时，作为在逆量化处理中使用的信息被编入的信息。

如上所述，在采用现有技术的图象编码装置中，通过量化装置3用反馈控制修正在量化处理中使用的量化幅度，就可以进行速率控制，使编码结果的数据量接近已设定了目标的数据量。

但是，在上述图象编码装置中，是以使在每个编码单位发生的位数与目标位数吻合，尽可能地一样作为目标，进行速率控制。总之，在(式1)中，积累对每个宏块输出的编码结果的位数b，和用宏块的数等分应该输出的目标位数Tb的值的误差进行反馈，实现速率控制。因此，上述变换输入图象的信息量，在对于上述原图象是大致一样的情况下，可以适当地控制，但是在上述变换输入图象的信息量大且有偏差时，不能充分进行速率控制。进而，因为进行这样的控制，所以不能反映原图象的局部的性质，导致编码结果的图象劣化。

本发明就是为了解决这样的问题而提出的，其目的在于提供可以良好地反映原图像的局部性质，谋求提高速率控制精度、编码结果的图像质量的图像编码装置。

另外本发明的目的在于提供可以良好地反映原图像的局部性质，谋求提高速率控制精度、编码结果的画质的图像编码方法。

为此，本发明的图像编码处理是基于这样的想法，即，通过代替如现有技术那样使用从输入图像得到的特性数据，通过使用从该输入图像和参照图像生成的变换输入图像中得到的特性数据，谋求提高速率控制的精度和编码结果的图像质量。进而，本发明的图像编码处理是基于这样的想法，即，作为在速率控制中使用的特性值，通过代替从已经编码处理的图像中得到的特性值，通过使用从作为编码对象的该图像得到的特性值，用该图像的特性进行对应良好的控制，谋求提高速率控制精度，和提高编码结果的画质。

另外，本发明的目的在于提供记录由译码处理得到良好再生图像质量的编码数据的编码图像记录媒体，或传送这样的编码数据的编码图像传送媒体。

另外，本发明的目的在于提供可以通过译码处理编码数据，得到良好再生图像质量的图像译码传送装置。

另外，本发明的目的在于提供可以传送通过译码处理，得到良好再生图像质量的编码数据的图像译码传送方法。

为了实现上述目的，本发明的第一方面的图像编码装置，在将图像被数字化后的原图像作为分割成编码单位上的编码单位输入图像输入，进行编码处理以得到编码数据的图像编码装置中，具备以下装置：减法运算装置，得到从已经进行编码的编码图像制成的参照图像与上述编码单位输入图像的差分图像；图像变换装置，将上述编码单位输入图像，或上述差分图像作为变换输入图像，对该变换输入图像实施规定的变换，得到变换图像；量化装置，将上述变换图像用规定的量化幅度，或用由后述的量化幅度确定装置给予的修正量化幅度量化，得到量化后变换系数；编码装置，编码上述量化后变换系数，得到编码数据，输出该数据；局部特性值运算装置，从上述变换输入图像求复杂性的指标值，由上述复杂性指标值算出用于上述量化幅度修正的局部特性；控制信息设定装置，设定用于上述量化幅度修正的控制信息；量化幅度确定装置，其将使用上述编码装置输出的编码数据的量、上述局部特性值运算装置算出的局部特性值、上述控制信息设定装置设定的控制信息修正上述量化幅度的修正量化幅度输出到上述量化装置。由此，通过以下步骤进行速率控制，即，局部特性值运算装置，根据作为以编码单位输入的输入图像和参照图像的差分的变换输入图像，求出复杂性的指标值，从上述复杂性指标值求出用于上述量化幅度的修正的局部特性值，控制信息设定装置，设定用于速率控制的控制信息，量化幅度确定装置，用上述局部特性值和上述控制信息修正量化处理时的量化幅度。

本发明的第二方面图像编码装置，在上述图像编码装置中，上述局部特性值运算装置是，根据作为上述局部特性值求出量化幅度修正参数、有效图像判断结果、有效图像区域率，是将上述量化幅度修正参数、上述有效值判断结果、上述有效图象区域率输出到上述量化幅度确定装置的参数计算装置，其中，量化幅度修正参数，根据上述复杂性的指标值算出；有效图像判断结果，是对于上述每个变换输入图像，比较上述复杂性指标值和规定的值的比较结果；有效图像区域率，表示上述有效图像判断结果有效的上述变换输入图像的个数；上述控制信息设定装置，设定上述编码数据的量的目标值作为目标数据量，将上述目标数据量输出到上述量化幅度确定装置；上述量化幅度确定装置，根据上述控制信息设定装置输出的目标数据量、上述参数计算装置算出的上述量化幅度修正参数、上述有效图像区域率以及上述有效图像判断结果，确定上述修正量化幅度。由此，用参数计算装置求得的量化幅度修正参数、有效图像判断结果以及有效图像区域率、控制信息设定装置设定的目标数据量，由量化幅度确定装置修正量化幅度进行速率控制。

本发明的第三方面的图像编码装置，在本发明第一方面所述的图像编码装置中，具备，存储用于上述量化幅度修正的控制信息的控制信息存储装置，上述局部特性值运算装置是复杂性计算装置，其求出作为上述复杂性指标值的平均的复杂性平均值，对于每个上述变换输入图像比较上述复杂性的指标值和规定的值，得到作为上述比较结果的有效图像判断结果，求出表示作为上述有效图像判断结果有效的上述变换输入图像个数的有效图像区域率，将上述复杂性的平均值和上述有效图像区域率作为上述控制信息，输出到上述控制信息存储装置，将上述复杂性的指标值输出到上述量化幅度确定装置；上述控制信息设定装置，将上述编码数据的量的目标值设定成目标数据量，根据存储在上述控制信息存储装置中的控制信息，设定复杂性的平均值和有效图像区域率，将上述目标数据量、上述复杂性平均值、上述有效图像区域率输出到上述量化幅度确定装置；上述量化幅度确定装置，根据从上述复杂性指标值算出的量化幅度修正参数、上述控制信息设定装置输出的上述复杂性的平均值、上述有效图像区域率以及上述目标数据量，确定修正量化幅度。由此，用复杂性计算装置求得的复杂性的指标值、控制信息设定装置根据控制信息存储装置的存储内容设定的复杂性的平均值以及有效图像区域率、控制信息设定装置设定的目标数据量，由量化幅度确定装置修正量化幅度进行速率控制。

本发明的第四方面的图像编码装置，在本发明第一方面所述的图像编码装置中，上述局部特性值运算装置是参数计算装置，其根据上述复杂性的指标值，求复杂性的平均值、调制参数、加权参数，其中，复杂性的平均值，是对于上述原图像求上述复杂性的指标值的平均的值，调制参数从上述复杂性的指标值的统计性质求得，加权参数用规定的函数从上述复杂性的指标值得到，从上述复杂性的指标值、上述复杂性的指标值的平均值、上述调制参数求得量化幅度修正参数，将上述加权参数和上述量化幅度修正参数输出到上述量化幅度确定装置；上述控制信息设定装置，设定上述编码数据的量的目标值作为目标数据量，设定用于量化幅度确定的表示量化的特性的量化特性信息，将上述目标数据量和上述量化特性信息输出到上述量化幅度确定装置；上述量化幅度确定装置，根据从上述参数计算装置输出的上述量化幅度修正参数、上述控制信息设定装置输出的上述量化特性信息以及上述目标数据量，确定修正量化幅度。由此，用参数计算装置确定的加权参数以及量化幅度修正参数、控制信息设定装置设定的目标数据量以及量化特性信息，由量化幅度确定装置修正量化幅度进行速率控制。

本发明的第五方面的图像编码装置，在本发明第一方面所述的图像编码装置中，具备存储用于上述量化幅度的修正的控制信息的控制信息存储装置，上述局部特性值运算装置，是将上述复杂性的指标值作为上述控制信息输出到上述控制信息存储装置的复杂性计算装置；上述控制信息设定装置，根据上述控制信息存储装置存储的作为控制信息的上述复杂性的指标值，求出对于上述原图像的上述复杂性的指标值的平均的平均值，和从上述复杂性指标值的统计性质求得的调制参数，从上述复杂性的指标值、上述复杂性的指标值的平均值、上述调制参数算出量化幅度修正参数，用规定的函数从上述复杂性指标求出加权参数，设定上述编码数据的量的目标值作为目标数据量，设定用于量化幅度的确定的表示量化特性的量化特性信息，将上述量化幅度修正参数、上述加权参数、上述目标数据量、上述量化特性信息输出到上述量化幅度确定装置；上述量化幅度确定装置，根据上述控制信息设定装置输出的上述量化幅度修正参数、上述加权参数、上述量化特性信息以及上述目标数据量，确定修正量化幅度。由此，根据复杂性计算装置求得的、控制信息存储装置存储的复杂性指标值，用控制信息设定装置设定的加权参数、控制信息设定装置设定的量化幅度修正参数、由量化特性信息以及目标数据量，量化幅度确定装置修正量化幅度进行速率控制。

本发明的第六方面的编码图像存储媒体，是存储从本发明第一方面的图像编码装置输出的编码数据的存储媒体。

本发明的第七方面的图像译码装置，在译码编码图像数据后得到图像的图像译码装置中，包括，可变长度译码装置，对编码图像数据进行译码处理，生成量化后变换图像、参照图像信息、修正量化幅度；逆量化装置，从上述量化后变换图像、上述修正量化幅度进行逆量化处理得到逆量化后图像；图像逆变换装置，对上述逆量化后图像上进行逆变换处理，得到逆变换图像；加算装置，从上述逆变换图像、后述的图像存储装置得到的参照图像，得到译码图像；图像存储装置，在规定的期间保持上述译码图像，从上述保持的译码图像、上述可变长度译码装置输出的参照图像信息，生成参照图像，输出到上述加算装置。由此，译码处理从本发明第一方面的图像编码装置输出的编码数据。

本发明的第八方面的图像编码方法，在将图像被数字化后的原图像作为分割成编码单位的编码单位输入图像输入，进行编码处理，得到编码数据的图像编码方法中，包括：减法运算步骤，得到由已经编码后的编码图像制成的参照图像和上述编码单位输入图像的差分；图像变换步骤，将上述编码单位输入图像，或上述差分图像作为变换输入图像，对该变换输入图像实施规定的变换，得到变换图像；量化步骤，用规定的量化幅度、或后述的量化幅度确定步骤确定的修正量化幅度量化上述变换图像，得到量化后变换系数；编码步骤，编码上述量化后变换系数，生成编码数据；局部特性修正值运算步骤，从上述变换输入图像求出复杂性的指标值，从上述复杂性的指标值，算出用于上述量化幅度的修正的局部特性值；控制信息设定步骤，设定用于上述量化幅度的修正的控制信息；量化幅度确定步骤，用在上述编码步骤中生成的编码数据的量、在局部特性值运算步骤中算出的上述局部特性值、在上述控制信息设定步骤中设定的上述控制信息，修正上述量化幅度，确定修正量化幅度。由此，在局部特性值运算步骤中，根据作为以编码单位输入的输入图像和参照图像的差分图像的变换输入图像，求复杂性的指标值，从上述复杂性的指标值求出用于上述量化幅度的修正的局部特性值，在控制信息设定步骤中，设定用于速率控制的控制信息，在量化幅度确定步骤中，用上述局部特性值和上述控制信息，修正量化处理时的量化幅度，由此进行速率控制。

本发明的第九方面的图像编码方法，在第八方面的图像编码方法中，上述局部特性值运算步骤是参数计算步骤，其根据上述复杂性的指标值算出量化幅度修正参数，对每个上述变换输入图像比较上述复杂性的指标值和规定的值，得到作为上述比较结果的有效图像判断结果，求出表示上述有效图像判断结果有效的上述变换输入图像的个数的有效图像区域率；上述控制信息设定步骤，设定上述编码数据的量的目标值作为目标数据量；上述量化幅度确定步骤，根据在上述控制信息设定步骤中设定的上述目标数据量、在上述参数计算步骤中算出的上述量化幅度修正参数、上述有效图像区域率以及上述有效图像判断结果，确定上述修正量化幅度。由此，用在参数计算步骤中求得的量化幅度修正参数、有效图像判断结果以及有效图像区域率、在控制信息设定步骤中设定的目标数据量，在量化幅度确定步骤中修正量化幅度进行速率控制。

本发明的第十方面的图像编码方法，在第八方面的图像编码方法中，上述局部特性值运算步骤是复杂性计算步骤，其求出作为上述复杂性的指标值的平均的复杂性的平均值，对每个上述变换输入图像将上述复杂性的指标值与规定的值比较得到作为上述比较结果的有效图像判断结果，求出表示上述有效图像判断结果是有效的上述变换输入图像的个数的有效图像区域率；上述控制信息设定步骤，设定上述编码数据的量的目标值作为目标数据量，根据包括上述复杂性的平均值以及上述有效图像区域率的控制信息，设定复杂性的平均值和有效图像区域率；上述量化幅度确定步骤，根据从上述复杂性指标值算出的量化幅度修正参数、在上述控制信息设定步骤中输出的上述复杂性的平均值、上述有效图像区域率以及上述目标数据量，确定修正量化幅度。由此，用在复杂性计算步骤中求得的复杂性的指标值、在控制信息设定步骤中设定的复杂性的平均值以及有效图像区域率、在控制信息设定步骤中设定的目标数据量，在量化确定步骤中修正量化幅度进行速率控制。

本发明的第十一方面的图像编码控制方法，在第八方面的图像编码方法中，上述局部特性运算步骤是参数计算步骤，其根据上述复杂性的指标值，求出对上述原图像求上述复杂性指标值的平均的复杂性的平均值、由上述复杂性的指标值的统计性质求得的调制参数、用规定的函数从上述复杂性的指标值中得到的加权参数，从上述复杂性的指标值、上述复杂性的指标值的平均值、上述调制参数算出量化幅度修正参数，生成可以在上述量化幅度确定步骤中使用的上述加权参数、上述量化幅度修正参数；上述控制信息设定步骤，设定上述编码数据的量的目标值作为目标数据量，设定用于量化幅度确定的表示量化的特性的量化特性信息，生成可以在上述量化幅度确定步骤中使用的上述目标数据量和上述量化特性信息，在上述量化特性确定步骤，根据在上述参数计算步骤中算出的上述量化幅度修正参数，和在上述控制信息使得步骤中使得的上述量化特性信息以及上述目标数据量确定修正量化幅度。由此，用在参数计算步骤中求得的加权参数以及量化幅度修正参数、在控制信息设定步骤中设定的目标数据量以及量化特性信息，在量化幅度确定装置中修正量化幅度进行速率控制。

本发明的第十二方面的图像编码控制方法，在第八方面的图像编码方法中，上述控制信息设定步骤，根据作为上述控制信息的上述复杂性的指标值，求出对上述原图像上述复杂性的指标值的平均的复杂性的平均值和从上述复杂性的指标值的统计性质求得的调制参数，从上述复杂性的指标值、上述复杂性的平均值、上述调制参数算出量化修正幅度参数，用规定的函数从上述复杂性的指标值求加权参数，设定上述编码数据的量的目标值作为目标数据量，设定用于量化幅度确定的表示量化特性的量化特性信息；上述量化幅度确定步骤，根据在上述控制信息设定步骤中设定的上述量化幅度修正参数、上述加权参数、上述量化特性信息以及上述目标数据量，确定修正量化幅度。由此，在控制信息设定步骤中，用根据复杂性的指标值设定的加权参数、在控制信息设定步骤中设定的量化幅度修正值、量化特性信息以及目标数据量，在量化幅度确定步骤中修正量化幅度进行速率控制。

本发明的第十三方面的译码方法，在译码编码图像数据得到图像的图像译码方法中，包括，可变长度译码步骤，对编码图像数据进行译码处理，生成量化后变换图像、参照图像信息、修正量化幅度；逆量化步骤，上述量化后变换图像、上述修正量化幅度进行逆变换处理得到逆量化后图像；图像逆变换步骤，对上述逆量化后图像进行逆变换处理，得到逆变换图像；加算步骤，从上述逆变换图像、在后述的图像存储步骤中生成的参照图像中得到译码图像；在规定的时间保持上述译码图像，从上述保持的译码图像、在上述可变长度译码步骤中生成的参照图像信息中，生成参照图像的图像存储步骤。由此，译码处理用第八方面所述的图像编码控制方法得到的编码数据。

本发明的第十四方面的编码图像传送方法，是传送用第八方面的图像编码方法编码后的编码数据的方法。

本发明的第十五方面的图像编码程序记录媒体，是将图像数字化后的原图像作为分割成编码单位上的编码单位输入图像输入，记录进行编码处理后得到编码数据的图像编码程序的图像编码程序记录媒体，上述图像编码程序包括：减法运算步骤，得到从已经编码后的编码图像制成的参照图像，和上述编码单位输入图像的差分图像；图像变换步骤，将上述编码单位输入图像，或上述差分图像作为变换输入图像，对该变换输入图像实施规定的变换得到变换图像；量化步骤，以规定的量化幅度，或在后述的量化幅度确定步骤中确定的修正量化幅度量化上述变换图像，得到量化后变换系数；编码步骤，编码上述量化后变换系数，生成编码数据；局部特性值运算步骤，从上述变换输入图像求复杂性的指标值，从上述复杂性的指标值算出用于上述量化幅度修正的局部特性值；控制信息设定步骤，设定用于上述量化幅度的修正的控制信息；量化幅度确定步骤，用在上述编码步骤中生成的编码数据的量、在局部特性值运算步骤中算出的上述局部特性值、在上述控制信息设定步骤中设定的上述控制信息，修正上述量化幅度确定修正量化幅度。由此，通过在计算机系统等中执行该图像编码程序，在局部特性值运算步骤中，根据作为以编码单位输入的输入图像、参照图像的差分图像的变换输入图像求复杂性的指标值，从上述复杂性的指标值求用于上述量化幅度的修正的局部特性值，在控制信息设定步骤中，设定用于速率控制的控制信息，在量化确定步骤中，用上述局部特性值和上述控制信息修正量化处理时的量化幅度，由此进行速率控制。

本发明的第十六方面的图像编码程序的记录媒体，是在第十五方面的图像编码程序记录媒体中记录了以下的图像编码程序的步骤的媒体，即，上述局部特性值运算步骤，其是参数计算步骤，根据上述复杂性的指标值算出量化幅度修正参数，对每个上述变换输入图像将上述复杂性的指标值与规定的值比较，得到作为上述比较结果的有效图像判断结果，求出上述有效图像判断结果为有效的表示上述变换输入图像的个数的有效图像区域率；上述控制信息设定步骤，设定上述编码数据的量的目标值作为目标数据量；上述量化幅度确定步骤，根据在上述控制信息设定步骤中设定的上述目标数据量、在上述参数计算步骤中算出的上述量化幅度修正参数、上述有效图像区域率以及上述有效图像判断结果，确定上述修正量化幅度。由此，通过在计算机系统等中执行该图像编码程序，用在参数计算步骤中求得的量化幅度修正参数、有效图像判断结果以及有效图像区域率、在控制信息设定步骤中设定的目标数据量，在量化幅度确定步骤中修正量化幅度进行速率控制。

本发明的第十七方面的图像编码程序记录媒体，是在第十五方面的图像编码程序记录媒体中记录了以下的图像编码程序的步骤的媒体，即，上述局部特性值运算步骤，是复杂性计算步骤，其求出作为上述复杂性的指标值的平均的复杂性平均值，在每个变换输入图像时将上述复杂性的指标值与规定的值比较，得到作为上述比较结果的有效图像判断结果，求出上述有效图像判断结果有效的表示上述变换图像的个数的有效图像区域率，上述控制信息设定步骤，其设定上述编码数据的量作为目标数据量，根据包括上述复杂性的平均值以及上述有效图像区域率的控制信息，设定复杂性的平均值和有效图像区域率；上述量化幅度确定步骤，根据从上述复杂性的指标值算出的量化幅度修正参数、在上述控制信息设定步骤中设定的上述复杂性的平均值、上述有效图像区域率以及上述目标数据量，确定修正量化幅度。由此，通过在计算机系统等中执行该图像编码程序，用在复杂性计算步骤中求得的复杂性的指标值、在控制信息设定步骤中设定的复杂性的平均值以及有效图像区域率、在控制信息步骤中设定的目标数据量，在量化幅度确定步骤中修正量化幅度进行速率控制。

本发明的第十八方面的图像编码程序记录媒体，是在第十五方面的图像编码程序记录媒体中记录以下的图像编码程序的步骤的媒体，即，上述局部特性值运算步骤，是参数计算步骤，根据上述复杂性的指标值求出对上述原图像的上述复杂性的指标值的平均的复杂性的平均值、从上述复杂性的指标值的统计性质求得的调制参数、用规定的函数从上述复杂性的指标值得到的加权参数，从上述复杂性的指标值、上述复杂性的指标值的平均值、上述调制参数算出量化幅度修正参数，生成可以在上述量化幅度确定步骤中使用的上述加权参数和上述量化幅度修正参数；上述控制信息设定步骤，设定上述编码数据的量的目标值作为目标数据量，设定用于量化幅度的确定的表示量化的特性的量化特性信息；上述量化幅度确定步骤，根据在上述参数计算步骤中算出的上述量化幅度修正参数、在上述控制信息设定步骤中设定的上述量化特性信息以及上述目标数据量，确定修正量化幅度。由此，通过在计算机系统等中执行该图像编码程序，用在参数计算步骤中求得的加权参数以及量化幅度修正参数、在控制信息设定步骤中设定的目标数据量以及量化特性信息，在量化幅度确定步骤中修正量化幅度进行速率控制。

本发明的第十九方面的图像编码程序记录媒体，是在第十五方面的图像编码程序记录媒体中记录以下的图像编码程序的步骤的媒体，即，上述控制信息设定步骤，根据作为上述控制信息的上述复杂性的指标值，求出对上述原图像求上述复杂性的指标值的平均的复杂性的平均值、从上述复杂性的指标值的统计性质求得的调制参数，从上述复杂性的指标值、上述复杂性的平均值、上述调制参数算出量化修正参数，用规定的函数从上述复杂性的指标求加权参数，设定上述编码数据的量的目标值作为目标数据量，设定用于量化幅度的确定的表示量化的特性的量化特性信息；上述量化幅度确定步骤，根据在控制信息设定步骤中设定的上述量化幅度修正参数、上述加权参数、上述量化特性信息以及上述目标数据量，确定修正量化幅度。由此，通过在计算机系统等中执行该图像编码程序，根据在复杂性计算步骤中求得的，在控制信息存储步骤中存储的复杂性的指标值，用在控制信息设定步骤中设定的加权参数、在控制信息设定步骤中设定的量化幅度修正参数、量化特性信息以及目标数据量，在量化幅度求得步骤中修正量化幅度进行速率控制。

本发明的第二十方面的译码程序记录媒体，是译码编码图像数据得到图像的图像译码程序记录媒体，上述图像译码程序记录媒体记录了包括以下步骤的图像译码程序，即，可变长度译码步骤，对编码图像数据进行译码处理，生成量化后变换图像、参照图像信息、修正量化幅度；逆量化步骤，从上述量化后变换图像、上述修正量化幅度进行逆量化处理得到逆量化后图像；图像逆变换步骤，在上述逆量化后图像上进行逆变换处理，得到逆变换图像；加算步骤，从上述逆变换图像、在后述的图像存储装置中生成的参照图像，得到译码图像；图像存储步骤，在规定的期间保持上述译码图像，从上述保持的译码图像、上述可变长度译码装置生成的参照图像信息中，生成参照图像，输出到上述加算装置。由此，通过在上述计算机系统中，执行该图像译码程序，译码处理由第八方面所述的图像译码方法得到的译码数据。

图1是展示本发明实施例1中的图像编码装置的结构的方框图。

图2是展示本发明实施例2中的图像编码装置的结构的方框图。

图3是展示本发明实施例3中的图像编码装置的结构的方框图。

图4是展示本发明实施例4中的图像编码装置的结构的方框图。

图5是展示本发明实施例5中的图像编码装置的结构的方框图。

图6是用于说明本发明实施例6中的编码图像装置记录媒体以及编码图像传送媒体的图。

图7是展示采用以往的技术的图像编码装置的结构的方框图。

图8是用于说明图像的编码·译码的图。

图9是用于说明帧内以及帧间编码的图。

本发明的实施例1中的图像编码装置，在由量化幅度的修正进行速率控制时，根据在以编码单位输入的图像和参照图像的差分图像中的复杂性的指标值进行量化幅度的修正。

图1是展示本发明实施例1中的图像编码装置的结构的方框图。如图所示，采用本发明1的图像编码装置包括以下装置：减法运算装置1、图像变换装置2、量化装置3、可变长度编码装置4、逆量化装置5、图像逆变换装置6、加算装置7、图像存储装置8、参数计算装置9、量化幅度确定装置10以及控制信息设定装置51。

在该图中，参数计算装置9，求出输入的变换输入图像的复杂性的指标值，从该复杂性的指标值算出量化幅度修正参数、有效图像判断结果、有效图像区域率，输出到量化幅度确定装置10。量化幅度确定装置10，根据可变长度编码装置4输出的编码结果的量，和参数计算装置9输出的量化幅度修正参数、有效图像判断结果以及有效图像区域率，和后述的控制信息设定装置输出的目标数据量Tp，确定修正量化幅度，将其输出到量化装置3、逆量化装置5以及可变长度编码装置4。控制信息设定装置51，用规定的方法求编码结果的输出量的目标值，将求得的作为目标值的目标数据量Tp输出到量化幅度确定装置10。减法运算装置1、图像变换装置2、量化装置3、可变长度编码装置4、逆量化装置5、图像逆变换装置6、加算装置7以及图像存储装置8与以往例中的1～8相同，省略说明。

以下，说明这样构成的本实施例1的图像编码装置在图像编码和速率控制中的动作。本实施例1中的装置也和以往例同样地进行[A.编码]、[B.局部译码]、[C.速率控制]，但由于其中[A.编码]以及[B.局部译码]与以往例的动作相同，故而省略说明，以下，说明[C.速率控制]中的动作。C.速率控制

在以往例中，当确定修正量化幅度时，使用从编码单位输入图像S100求得的活动率，但在本实施例1的装置中，使用从由减法运算装置1输出的变换图像S101求得的复杂性的指标值。

参数计算装置9，首先求出上述变换输入图像S101的复杂性的指标值va。复杂性的指标值va对于变换输入图像的亮度信号求各块的分散的总和。接着将复杂性的指标值va对原图像平均地求复杂性的平均值va_mean。而后，根据下式从复杂性的指标值va和复杂性的平均值va_mean求量化幅度修正参数M。

M＝(2×va+va_mean)/(va+2×va_mean)    (式5)

另外，参数计算装置9，对于每个变换输入图像，将上述求得的复杂性的指标值va与规定的值比较，通过该比较，将复杂性的指标值va比规定的值还大的情况判断为有效图像，将复杂性的指标值va在规定的值以下的情况判断为无效图像，作为其判断结果得到有效图像判断结果。进而，作为在有效图像判断结果中判断为「有效」的变换输入图像的个数，得到有效图像区域率。参数计算装置9，将量化幅度修正参数M、表示「有效」或「无效」的某一个的有效图像判断结果S201、有效图像区域率S202输出到量化幅度确定装置10。

量化幅度确定装置10，用下式向使用可变长度编码装置4输出的编码结果的信息量Gm的速率控制进行反馈。

D(j)＝D(j-1)+Gm-(1/MBa)×Tb    (式6a)

(有效的图像区域的情况)

D(j)＝D(j-1)    (式6b)

(无效的图像区域的情况)

这里，D(j)表示编码第j个编码单位输入图像时使用的缓冲满度(buffer fullness)，Gm表示可变长度编码装置4输出的编码数据的信息量，MBa是从参数计算装置9输出的有效图像区域率S202得到的值，表示此前结束编码的帧的有效图像区域率。

使用由上式求得的缓冲满度D(j)，和与以往同样得到的反馈参数r，从下式求量化幅度qj。

qj＝(D(j)×31)/r         (式7)

另外，从量化幅度qj中根据下式用量化幅度修正参数进行修正，求修正量化幅度mq，将上述修正量化幅度mq输出到量化装置3。

mq＝M×qj            (式8)

如上所述，采用本实施例1的图像编码装置，通过修正量化装置3使用的量化幅度对产生的编码数据的量进行速率控制。

这样，在本实施例1中的图像编码控制装置中，具备参数计算装置9，将作为输入和参照图像的差分的变换输入图像作为对象，得到作为该块分散的总和的复杂性指标值，由于将其用于速率控制使用的量化幅度的修正中，所以，与将输入本身作为对象，使用只靠分散最小的块产生的活动率的以往方法比较，可以根据更良好的每个编码单位的局部性的图像性质进行速率控制，在与以往例具有同样的硬件构成以及同等的处理时间时，不但可以进行图像质量好的编码的同时，还可以提高速率控制的精度。

本发明的实施例2的图像编码装置，在根据复杂性的指标值通过量化幅度的修正进行速率控制时，作为用于控制的一部分的特性值，不用在前面帧中求得，而是可以在作为编码对象的目前帧中求得。

图2是展示本发明实施例2中的图像编码装置的构成的方框图。如图所示，本实施例2中的图像编码装置包括，减法运算装置1、图像变换装置2、量化装置3、可变长度编码装置4、逆量化装置5、图像逆变换装置6、加算装置7、图像存储装置8、复杂性计算装置11、量化幅度确定装置12、控制信息设定装置52以及控制信息存储装置52。

在该图中，复杂性计算装置11从变换输入图像求复杂性的指标值，由此求复杂性的平均值和有效图像区域率。控制信息存储装置52，存储用于量化幅度修正的控制信息。控制信息设定装置53，在与实施例1同样地设定目标数据量的同时，根据存储在控制信息存储装置52中的信息，设定复杂性的平均值和有效图像区域率，将它们输出到量化幅度确定装置12。量化幅度确定装置12，从复杂性计算装置11输出的复杂性的指标值、控制信息设定装置53输出的复杂性的平均值以及有效图像区域率，求量化幅度修正参数和有效图像判断结果，用于修正量化幅度的确定。因减法运算装置1、图像变换装置2、量化装置3、可变长度编码装置4、逆量化装置5。图像逆变换装置6、加算装置7以及图像存储装置8与以往例中的1～8相同，故而省略说明。

以下，说明这样构成的本实施例2的图像编码装置在图像编码和速率控制中的动作。本实施例2中的装置也和实施例1中的装置一样，由于[A.编码]、[B.局部译码]、[C.速率控制]中的[A.编码]、[B.局部译码]与以往例的动作相同，故而省略说明，以下说明[C.速率控制]。C.速率控制

在实施例1的装置中，参数计算装置9对变换输入图像求出复杂性的指标值，根据上述复杂性的指标值求出量化幅度修正参数、有效图像列判断结果以及有效图像区域率，将它们输入量化幅度确定装置10，而与此相反，在本实施例2的装置中，用复杂性计算装置11首先求复杂性的指标值，而后求复杂性的平均值和上述有效图像区域率，其中复杂性的平均值、有效图像区域率被输出到控制信息存储装置52中存储。复杂性计算装置11只将复杂性的指标值S203输出到量化幅度确定装置12。

控制信息设定装置53，与实施例1的装置的情况相同，加上将作为编码结果的输出量的目标值的目标数据量Tp输出到量化幅度确定装置10，还从控制信息存储装置52，得到与复杂性的平均值和有效图像区域率有关的控制信息，由此对量化幅度确定装置12，输出作为控制信息的复杂性的平均值和有效图像区域率。

另一方面，量化幅度确定装置12，加上实施例1所示的处理，根据从复杂性加算装置11输出的复杂性的指标值S203、从控制信息设定装置53输入的上述复杂性的平均值和上述有效图像区域率，求量化幅度修正参数和有效图像判断结果。

复杂性计算装置11以及量化幅度驱动装置12的运算，与实施例1中的说明相同。

为了有效地利用本实施例2的装置的构成，例如有效的方法是进行2通路编码。第1通路作为与实施例1相同的动作，在量化幅度修正参数计算中，使用此前已经编码的与帧(N-1)有关的值，但此时得到的复杂性的平均值和有效图像区域率，被保持在控制信息存储装置52中。而后，在第2通路编码中，控制信息设定装置53，可以用保持的控制信息，得到作为编码对象的当前帧(N)的复杂性的平均值(N)和有效图像区域率(N)，将其输出到量化幅度确定装置12。

但是，不是必须进行2通路编码，通过作为控制信息存储装置52使用如存储器那样的高速存储装置，控制信息设定装置53取出存储的信息，输出到量化幅度确定装置12，将量化装置3设定成采用适当的延迟时间，用量化幅度确定装置12使用取出的信息算出的修正量化幅度进行量化，即使在1通路编码中，也可以用作为编码对象的当前帧的特性值进行速率控制。

在实施例1的装置的情况下，通过代替根据在以往例中使用的输入图像S100的活动率，使用根据变换输入图像S101的复杂性的指标值，就可以进行进一步与局部特性对应的速率控制，但为了速率控制，在用于量化修正的运算的特性值上，与以往例相同使用在前一帧(N-1)中求得的值。与此相反，在本实施例2的装置中，如上所述，可以使用在作为编码对象的当前帧(N)中求得的特性值，进行速率控制。但是，由于进行2通路编码，或进行伴随延迟的1通路编码，所以比起实施例1，处理时间和处理负担增大。

这样，在本发明的实施例2的图像编码装置中，由于具备复杂性计算装置11和控制信息存储装置52，可以保持从复杂性计算装置11输出的复杂性的平均值和有效图像区域率，具备控制信息设定装置53，将控制信息存储装置52保持的信息输出到量化幅度确定装置12，所以在量化幅度确定装置12进行的量化幅度修正参数的计算中，对于在计算中使用的复杂性的平均值和有效图像区域率，并不是使用在此前编码的帧(N-1)中求得的值，而是在作为编码对象的当前帧(N)中求得的值，由此可以设定更适宜的值。因此，在本实施例2中的图像编码装置中，进一步提高了编码图像的质量和速率控制的精度。

本发明的实施例3的图像编码装置，在根据复杂性的指标值由量化幅度的修正进行速率控制时，使用复杂性的指标值的统计性质进行修正。

图3是本发明的实施例3的图像编码控制装置的构成的方框图。如图所示，本实施例3的图像编码装置具备：减法运算装置1、图像变换装置2、量化装置3、可变长度编码装置4、逆量化装置5、图像逆变换装置6、加算装置7、图像存储装置8、参数计算装置13、量化幅度确定装置14以及控制信息设定装置54。

在该图中，参数计算装置13，从变换输入图像S101求复杂性的指标值，从由此求得的复杂性的平均值和复杂性的指标值的统计性质求量化幅度修正参数M。参数计算装置13，从复杂性的指标值求加权参数w，与量化修正参数一同输出到量化幅度确定装置14。控制信息设定装置54，在与实施例1同样地设定编码数据量的同时，还设定量化特性信息，输出到量化幅度确定装置14。量化幅度确定装置14，将参数计算装置13输出的加权参数w以及量化幅度修正参数M、控制信息设定装置54输出的量化特性信息用于修正量化幅度的确定上。由于减法运算装置1、图像变换装置2、量化装置3、可变长度编码装置4、逆量化装置5、图像逆变换装置6、加算装置7以及图像存储装置8与以往例中的1～8相同，故而省略说明。

以下，说明这样构成的本实施例3的图像编码装置在图像编码和速率控制中的动作。本实施例3的装置也同实施例1的装置一样，由于[A.编码]、[B.局部译码]、[C.速率控制]中的[A.编码]、[B.局部译码]与以往例的动作相同，故而省略说明，以下说明[C.速率控制]。C.速率控制

在实施例1的装置中，参数计算装置9，对变换输入图像S101求复杂性的指标值，根据上述复杂性的指标值求量化幅度修正参数、有效图像判断结果以及有效图像区域率后，将它们输入到量化幅度确定装置10，与此相反，在本实施例3中，参数计算装置13，在量化幅度修正参数的计算时，不只是复杂性的指标值和复杂性的指标值的平均值，还根据复杂性的指标值的统计性质进行计算。在本实施例的装置中，参数计算装置13从下式求量化幅度修正参数M。

M＝(A×va+va_mean)/(va+A×va_mean)    (式9)

这里，调制参数A由复杂性的指标值的统计性质求出。由统计性质进行的调制参数A的确定，作为一例可以如下那样求出。首先，求复杂性的指标值超越复杂性的指标值的平均值的比例K。而后，可以由K设定下式。但是，对于a和b来说是与帧内或帧间等的编码的种类对应地设定的常数。

A＝a×K+b             (式10)

在本实施例3的装置中，参数计算装置13还按照下式求加权参数w，将其输出到量化幅度确定装置14。

w＝c×va+d         (式11a)

(va＜e)

w＝1               (式11b)

(va≥e)

这里，即使是c、d以及e，也和前面的a以及b一样，是与编码的种类对应地设定的常数。

而后，量化幅度确定装置14，代替(式6)用下式求缓冲满度。

D(j)＝D(j-1)+w×(Gm-Tb/MBa)               (式12)

即，在实施例1的装置中如(式6)所示，用阈值选择展示在(式6a)和(式6b)中的完全不同的处理，需要设定适宜的阈值。于此相反，在本实施例3的装置中，对于在参数计算装置13中求得的加权参数，如式(式11a)和(式11b)所示，可以平滑地设定其边界，将该加权参数输出到量化幅度确定装置14，量化幅度确定装置14通过代替(式6)进行(式12)的运算，即使在边界值附近，也可以得到更稳定的结果。

另一方面，控制信息设定装置54，在与实施例1同样地设定目标数据量Tp的同时，设定量化幅度确定装置14用(式7)从缓冲满度求量化幅度时用于运算的修正的量化特性信息，将它们输出到量化幅度确定装置14。如(式7)所示，对于缓冲满度线性地求量化幅度，但实际上需要从编码的速率和特性的复杂性的指标变更特性。这里，通过由控制信息设定装置54设定从缓冲满度向量化幅度的变换特性，就可以用编码速率进行更完善的控制。

这样，在本发明的实施例3的图像编码装置中，具备参数计算装置13，其将作为输入图像S100和参照图像S108的差分的变换输入图像S101作为对象，得到是各块的分散的总和的复杂性的指标值，在将其用在用于速率控制的量化幅度修正时，考虑复杂性的指标值的统计的性质计算量化幅度修正参数，另外，通过将量化幅度确定装置14从缓冲满度计算量化幅度时的变换特性设置成由控制信息设定装置54设定的量化特性信息确定，就可以进行与输入的图像的特性更好地对应的编码，在可以谋求提高图像质量的同时，可以以更好的精度进行速率控制。

进而，在求调制参数时，使用了(式10)，但即使是与(式10)不同的形式的算式，如果满足帧内的复杂性的指标值的一部分与其它比较大时使调制参数的值小，反之，帧内的复杂性的指标值的一部分与其它比较小时使调制参数的值大的特性，则可以使用。

另外，对于求加权参数用的(式11)也一样，如果可以得到与复杂性的指标值有比例关系的加权参数，则也可以使用。

本发明的实施例4的图像编码装置，是使用复杂性的指标值的统计性质进行量化幅度修正的装置，另外，作为特性值，不使用在前一帧中求得的值，而可以使用在作为编码对象的当前帧中求得的值。

图4是展示本发明实施例4的图像编码装置的构成的方框图。如图所示，本实施例4的图像编码装置包括，减法运算装置1、图像变换装置2、量化装置3、可变长度编码装置4、逆量化装置5、图像逆变换装置6、加算装置7、图像存储装置8、复杂性计算装置15、量化幅度确定装置16、控制信息设定装置55以及控制信息存储装置56。

在图中，15是复杂性计算装置，从变换输入图像S101求复杂性的指标值，将该值输出到控制信息存储装置56。控制信息存储装置56与实施例2相同。控制信息设定装置55在与实施例1同样地设定目标数据量的同时，还设定量化特性信息，另外，根据控制信息存储装置56中存储的信息，设定加权参数和量化幅度修正参数，将它们输出到量化幅度确定装置16。量化幅度确定装置16，将控制信息设定装置55输出的加权参数、量化幅度修正参数以及量化特性参数用于修正量化幅度mp的确定上。因减法运算装置1、图像变换装置2、量化装置3、可变长度编码装置4、逆量化装置5、特性逆变换装置6、加算装置7以及图像存储装置8与以往例中的1～8相同，故而省略说明。

以下，说明这样构成的本实施例4的图像编码装置在图像编码和速率控制中的动作。由于[A.编码]、[B.局部译码]、[C.速率控制]中的[A.编码]、[B.局部译码]与以往例的动作相同，故而省略说明，以下说明[C.速率控制]。C.速率控制

复杂性计算装置15，与实施例1的装置中的参数计算装置9一样，从变换输入图像S101求复杂性的指标值，将该值输出到控制信息存储装置56，控制信息存储装置56存储该值。

控制信息设定装置55，与实施例1的装置相同，加上将作为编码结果的输出量的目标值的目标数据量Tp输出到量化幅度确定装置16，将从控制信息存储装置56得到复杂性的指标值，由此，用和实施例3说明中相同的运算求由复杂性的平均值以及复杂性的指标值的统计性质得到的调制参数，从它们算出量化幅度修正参数后，输出到量化幅度确定装置16。

控制信息设定装置55，还设定量化幅度确定装置16用(式7)从缓冲满度求量化幅度时用于运算的修正的量化特性信息，将其输出到量化幅度确定装置16。

量化幅度确定装置16，不用(式6)而是用(式12)进行运算，在(式7)的计算中，进行与量化特性信息对应的运算，在(式8)的计算中，用付与的量化幅度修正参数求修正量化幅度。

即使在本实施例4的装置中，也和实施例2的装置一样，通过进行2通路编码，或伴随适当延迟时间的1通路编码，并不用前一帧的特性值进行修正，而是可以对应于当前帧的特性值进行修正。

这样，在本发明的实施例4的图像图像控制装置，由于具备复杂性计算装置15和控制信息存储装置56，控制信息存储装置56存储复杂性计算装置15从变换输入图像S101求得的复杂性的指标值，控制信息设定装置55，从存储的复杂性的指标值求复杂性的平均值和基于复杂性的指标值的统计性质的调制参数，通过这些值算出量化幅度修正参数，将其输出到量化幅度确定装置16，与此同时，还设定量化幅度确定装置16运算修正量化幅度时使用的量化特性信息并加以输出，所以可以用输入的图像特性进行更适宜的编码，并可以同时提高图像质量和速率控制的精度。

进而，在实施例1～4中，都是以帧间编码作为对象进行说明，但同样可以适宜帧内编码，并可以得到同样的效果。

另外，在实施例1～4所示的图像编码装置中，用在该图像编码装置的前段中的处理，也可以与目标编码对应。所谓目标编码是，将构成图像的成分，即，背景、人物、运动的物体等分别作为目标独立地使用，对每个目标进行编码的编码方法，因为对每个物体进行编码，所以置换特定的物体等的编辑容易进行。

在本实施例1～4的图像编码装置中，作为前段的处理，可以将数字图像数据存储在帧存储器中。这时，作为编码对象的目标部分原样存储，而不作为编码对象的部分的数据，如果变换成其分散为0后进行存储，则对于该存储的数据，用本发明的图像编码装置，进行同样的编码处理，执行高精度的速率控制，就可以得到图像质量好的编码结果。

图5是展示本发明的实施例5的图像译码装置的构成的方框图。在图中，图像编码装置17是实施例1中的编码图像装置。本实施例5中的图像译码装置19，输入在上述编码装置中得到的编码图像数据S104，进行译码处理。

18是可变长度译码装置，输入编码图像数据进行可变长度译码处理，得到量化后变换图像、参照图像信息、修正量化幅度。5是逆量化装置，输入上述量化后变换图像和上述修正量化幅度，生成逆量化后图像。6是图像逆变换装置，输入上述逆量化后图像，实施规定的逆变换，生成逆变换图像。7是加算装置，加算上述参照图像和上述逆变换图像，生成规定译码图像。8是图像存储装置，在规定期间保持上述局部译码图像，由此根据上述参照图像信息生成参照图像。

以下，说明本实施例5中的图像译码装置进行编码图像数据处理时的动作。

将从图像编码装置17输出的编码结果S104输入到可变长度译码装置18，生成量化变换图像S501和参照图像信息S502和修正量化幅度S503，将量化变换图像S501和修正量化幅度S503输出到逆量化装置5，将参照图像信息S502输出到图像存储装置8。逆量化装置5根据修正量化幅度逆量化处理输入的量化变换图像S501，生成逆量化图像S504，输出到图像逆变换装置6。图像逆变换装置6对输入的逆量化图像S504进行逆变换处理，生成逆变换图像S505，输出到加算装置7。另一方面，图像存储装置8根据参照图像信息S502生成参照图像S506，输出到加算装置7。加算装置7加算处理输入的逆变换图像S505和参照图像S506，生成译码图像S507。译码图像S507，在作为该图像译码装置的输出被输出的同时，还被输入到图像存储装置8，在图像存储装置8中在规定的期间保持。

这里，说明了使用实施例1中的图像编码装置处理后的编码图像数据的情况，但是也可以同样使用实施例2～4的任何一个图像编码装置得到的编码数据。

这样，在本实施例5中的图像译码装置中，通过根据从作为装置输入的编码结果生成的修正量化幅度进行译码，就可以得到良好图像质量的译码图像。另外，通过将本实施例5的图像译码装置与实施例1～4的图像编码装置组合使用，就可以迅速确认编码图像的画质，在实施例1～4的编码装置中，对于算式和其系数，可以在实验设定的情况下使用。

进而，在本实施例5的图像译码装置中，说明了将图像编码装置中帧间编码后的编码数据作为对象处理的情况，但是即使是将帧内编码后的编码数据作为对象处理的情况下，也可以得到同样的结果。

图6是展示本发明的实施例6的图像记录媒体以及图像传送媒体、图像编码装置以及图像译码装置的关系的方框图。

在图中，图像编码装置17是实施例1中的图像编码装置，可以进行良好的速率控制，输出良好画质的编码结果。图像译码装置19是实施例5中的图像译码装置，通过译码上述编码结果，可以得到画质良好的译码图像。

记录媒体20是本实施例6中的图像记录媒体，用激光盘、光盘、光磁盘、硬盘等磁记录媒体实现，可以在任意期间保持用图像译码装置1 7得到的编码图像数据。而后通过在任意的时间和场所读出保存的该数据进行译码处理，就可以得到画质良好的译码图像。

传送媒体21，是本实施例6中的图像传送媒体，用网络、电缆、无线通信等实现，在希望远距离的译码处理时，也可以迅速传送编码结果，得到良好的译码图像。

这样，如果采用本发明的实施例6中的记录媒体以及传送媒体，则通过用记录媒体20或传送媒体21移送实施例1～4的图像编码装置生产的编码结果，即使是超越时间和空间的制约，独立的另一图像译码装置也可以同样地得到画质改善后的译码图像。

Claims (20)

1、一种图像编码装置，其特征在于：在将图像数字化后的原图像作为分割成编码单位的编码单位输入图像输入，进行编码处理，得到编码数据的图像编码控制装置中，包括：

减法运算装置(图1的1)，得到从已经编码后的编码图像制成的参照图像和上述编码单位输入图像的差分图像；

图像变换装置(图1的2)，将上述编码单位输入图像，或上述差分图像作为变换输入图像，对该变换输入图像实施规定的变换，得到变换图像；

量化装置(图1的3)，将上述变换图像，用规定的量化幅度或后述的量化幅度确定装置给予的修正量化幅度进行量化，得到量化后变换系数；

编码装置(图1的4)，编码上述量化后变换系数，得到编码数据，并将其输出；

局部特性值运算装置(图1的9)，从上述变换输入图像求复杂性的指标值，从上述复杂性的指标值算出在上述量化幅度的修正中使用的局部特性值；

控制信息设定装置(图1的51)，设定在上述量化幅度的修正中使用的控制信息；

量化幅度确定装置(图1的10)，将用上述编码装置输出的编码数据的量、上述局部特性值运算装置输出的局部特性值、上述控制信息设定装置设定的控制信息修正上述量化幅度的修正量化幅度输出到上述量化装置。

2、权利要求1所述的图像编码装置，其特征在于：

上述局部特性值运算装置是求出作为上述局部特性值，根据上述复杂性的指标值算出的量化幅度修正参数、作为对每个变换输入图像比较上述复杂性的指标值与规定的值的结果得到的有效图像判断结果、表示上述有效图像判断结果是有效的上述变换输入图像的个数的有效图像区域率，将上述量化幅度修正参数、上述有效图像判断结果、上述有效图像区域率输出到上述量化幅度确定装置的参数计算装置(图1的9)；

上述控制信息设定装置是将上述编码数据的量的目标值作为目标数据量设定，将上述目标数据量输出到上述量化幅度确定装置；

上述量化幅度确定装置根据上述控制信息设定装置输出的上述目标数据量、上述参数计算装置算出的上述量化幅度修正参数、上述有效图像区域率以及上述有效图像判断结果，确定上述修正量化幅度。

3、权利要求1所述的图像编码装置，其特征在于：

进一步具有存储在上述量化幅度的修正中使用的控制信息的控制信息存储装置(图2的52)，

上述局部特性值运算装置是求出作为上述复杂性的指标值的平均的复杂性的平均值、对上述每个变换输入图像比较上述复杂性的指标值和规定的值得到作为上述比较结果的有效图像判断结果、求出表示上述有效图像判断结果是有效的上述变换输入图像的个数的有效图像区域率，将上述复杂性的平均值、上述有效图像区域率作为上述控制信息输出到上述控制信息存储装置，将上述复杂性的指标值输出到上述量化幅度确定装置的复杂性计算装置(图2的11)；

上述控制信息设定装置(图2的53)设定上述编码数据的量的目标值作为目标数据量，根据存储在上述控制信息存储装置中的控制信息，设定复杂性的平均值和有效图像区域率，将上述目标数据量、上述复杂性的平均值、上述有效图像区域率输出到上述量化幅度确定装置；上述量化幅度确定装置(图2的12)根据从上述复杂性的指标值算出的量化幅度修正参数、上述控制信息设定装置输出的上述复杂性的平均值、上述有效图像区域率以及上述目标数据量，确定修正量化幅度。

4、权利要求1所述的图像编码装置，其特征在于：

上述局部特性值运算装置是根据上述复杂性的指标值求出对上述原图像求的上述复杂性的指标值的平均的复杂性的平均值、从上述复杂性的指标值的统计性质求得的调制参数、用规定的函数从上述复杂性的指标值得到的加权参数，根据上述复杂性的指标值、上述复杂性的指标值的平均值、上述调制参数算出量化幅度修正参数，将上述加权参数、上述量化幅度修正参数输出到上述量化幅度确定装置的参数计算装置(图3的13)；

上述控制信息设定装置(图3的54)设定上述编码数据的量的目标值作为目标的数据量，设定用于量化幅度的确定的表示量化的特性的量化特性信息，将上述目标数据量和上述量化特性信息输出到上述量化幅度确定装置；

上述量化幅度确定装置(图2的14)根据从上述参数计算装置输出的上述量化幅度修正参数、上述控制信息设定装置输出的上述量化特性信息以及上述目标数据量，确定修正量化幅度。

5、权利要求1所述的图像编码装置，其特征在于：

进一步具备存储在上述量化幅度修正中使用的控制信息的控制信息存储装置(图2的56)，

上述局部特性运算装置是将上述复杂性的指标值作为上述控制信息输出到上述控制信息存储装置的复杂性计算装置(图2的15)；

上述控制信息设定装置(图2的55)根据作为上述控制信息存储装置存储的控制信息的上述复杂性的指标值求出对于上述原图像求上述复杂性的指标值的平均的复杂性的平均值、从上述复杂性的指标值的统计性质求得的调制参数，从上述复杂性的指标值、上述复杂性的指标值的平均值、上述调制参数算出量化幅度修正参数，用规定的函数从上述复杂性的指标值求出加权参数，设定上述编码数据的量的目标值作为目标数据量，设定用于量化幅度确定的表示量化的特性的量化特性信息，将上述量化幅度修正参数、上述加权参数、上述目标数据量、上述量化特性信息输出到上述量化幅度确定装置；

上述量化幅度确定装置(图2的16)根据上述控制信息设定装置输出的上述量化幅度修正参数、上述加权参数、上述量化特性信息以及上述目标数据量确定修正量化幅度。

6、一种记录媒体(图20)，其特征在于：在记录编码图像数据的编码图像记录媒体中，上述编码图像数据，是从权利要求1所述的图像编码装置(图6的17)输出的编码数据。

7、一种图像译码装置，其特征在于：在译码编码图像数据得到图像的译码装置中，具有：

可变长度译码装置(图5的18)，用于对编码图像数据进行译码处理，生成量化后变换图像、参照图像信息、修正量化幅度；

逆量化装置(图5的5)，从上述量化后变换图像、上述修正量化幅度进行逆量化处理，得到逆量化后图像；

图像逆变换装置(图5的6)，对上述逆量化后图像进行逆变换处理，得到逆变换图像；

加算装置(图5的7)，从上述逆变换图像、和从后述的图像存储装置得到的参照图像得到译码图像；

图像存储装置(图5的8)，在规定的期间保持上述译码图像，从上述保持的译码图像、上述可变长度译码装置输出的参照图像信息，生成参照图像，输出到上述加算装置；

作为上述编码图像数据，处理从权利要求1所述的图像编码装置(图5的17)输出的编码数据。

8、一种图像编码方法，将图像被数字化的原图像作为分割成编码单位的编码单位输入图像输入，进行编码处理得到编码数据，其特征在于：包括：减法运算步骤，得到从已经编码后的编码图像制成的参照图像和上述编码单位输入图像的差分图像；

图像变换步骤，将上述编码单位输入图像或上述差分图像作为变换输入图像，对该变换输入图像实施规定变换，得到变换图像；

量化步骤，用规定的量化幅度、或在后述的量化幅度确定步骤中确定的修正量化幅度量化上述变换图像，得到量化后变换系数；

编码步骤，编码上述量化后变换系数，生成编码数据；

局部特性值运算步骤，从上述变换输入图像求复杂性的指标值，从上述复杂性的指标值算出在上述量化幅度的修正中使用的局部特性值；

控制信息设定步骤，设定在上述量化幅度的修正中使用的控制信息；

量化幅度确定步骤，用在上述编码步骤中生成的编码数据量、在局部特性值运算步骤中算出的上述局部特性值、在上述控制信息设定步骤中设定的上述控制信息，修正上述量化幅度确定修正量化幅度。

9、权利要求8所述的图像编码方法，其特征在于：

上述局部特性值运算步骤是参数计算步骤，其根据上述复杂性的指标值算出量化幅度修正参数，对于每个上述变换输入图像比较上述复杂性的指标值和规定的值，得到作为上述比较结果的有效图像判断结果，求出作为上述有效图像判断结果有效的表示上述变换输入图像的个数的有效图像区域率；

上述控制信息设定步骤，设定上述编码数据的量的目标值作为目标数据量；

上述量化幅度确定步骤根据在上述控制信息设定步骤中设定的上述目标数据量、在上述参数计算步骤中算出的上述量化幅度修正参数、上述有效图像区域率以及上述有效图像判断结果，确定上述修正量化幅度。

10、权利要求8所述的图像编码方法，其特征在于：

上述局部特性值运算步骤是复杂性计算步骤，其求出作为上述复杂性的指标值的平均的复杂性的平均值，对于每个上述变换输入图像比较上述复杂性的指标值和规定的值，得到作为上述比较结果的有效图像判断结果，求出上述有效图像判断结果是有效的表示上述变换输入图像的个数的有效图像区域率；

上述控制信息设定步骤设定上述编码数据的量的目标值作为目标数据量，根据包括上述复杂性的平均值以及上述有效图像区域率的控制信息，设定复杂性的平均值和有效图像区域率；

上述量化幅度确定装置根据从上述复杂性的指标值算出的量化幅度修正参数、在上述控制信息设定步骤中设定的上述复杂性的平均值、上述有效图像区域率以及目标数据量，确定修正量化幅度。

11、权利要求8所述的图像编码方法，其特征在于：

上述局部特性值运算步骤是参数计算步骤根据上述复杂性的指标值，求出对于原图像所求的上述复杂性的指标值的平均的复杂性的平均值、从上述复杂性的指标值的统计性质求得的调制参数、用规定的函数从上述复杂性的指标值得到的加权参数，而后从上述复杂性的指标值、上述复杂性的指标值的平均值、上述调制参数算出量化幅度修正参数，生成可以在上述量化幅度确定装置中使用的上述加权参数和上述量化幅度修正参数；

上述控制信息设定步骤设定上述编码数据的量的目标值作为目标数据量，并设定用于量化幅度的确定的表示量化幅度的特性，输出可以在上述量化幅度确定步骤中使用的上述目标数据量和上述量化特性信息；

上述量化幅度确定步骤根据在上述参数计算步骤中算出的上述量化幅度修正参数、在上述控制信息设定步骤中设定的量化特性信息以及上述目标数据量，确定修正量化幅度。

12、权利要求8所述的图像编码方法，其特征在于：

上述控制信息设定步骤根据作为上述控制信息的上述复杂性的指标值，求出对于上述原图像所求的上述复杂性的指标值的平均的复杂性的平均值、从上述复杂性的指标值的统计性质求得的调制参数，而后从上述复杂性的指标值、上述复杂性的平均值、上述调制参数算出量化幅度修正参数，用规定的函数从上述复杂性的指标值求加权参数，设定作为上述编码数据的量的目标值作为目标数据量，并设定用于量化的确定的表示量化特性的量化特性信息；

上述量化幅度确定步骤根据在上述控制信息设定步骤中设定的上述量化幅度修正参数、上述加权参数、上述量化特性信息以及上述目标数据量，确定修正量化幅度。

13、一种图像译码方法，译码编码图像数据得到图像的图像译码方法，其特征在于：包括：

可变长度译码步骤，对编码图像数据进行译码处理，生成量化后变换图像、参照图像信息、修正量化幅度；

逆量化步骤，从上述量化后变换图像和上述修正量化幅度进行逆量化处理，得到逆量化后图像；

图像逆变换步骤，对上述逆量化后图像进行逆变换处理，得到逆变换图像；

加算步骤，从上述逆变换图像和在后述的图像存储步骤中生成的参照图像得到译码图像；

图像存储步骤，在规定期间保持上述译码图像，从上述保持的译码图像和在上述可变长度译码装置中生成的参照图像信息生成参照图像，作为上述编码图像数据处理用权利要求8所述的图像编码方法得到的编码数据。

14、一种编码图像传送方法(图6的21)，传送编码图像数据，其特征在于：

上述编码图像数据是用权利要求8所述的图像编码方法(图6的17)编码的编码数据。

15、一种图像编码程序记录媒体，记录将图像被数字化后的原图像作为分割成编码单位的编码单位输入图像输入，进行编码处理得到编码数据的图像编码程序，其特征在于：

包括：

减法运算步骤，得到从已经编码的编码数据制成的参照图像和上述编码单位输入图像的差分图像；

图像变换步骤，将上述编码单位输入图像，或上述差分图像作为变换输入图像，对该变换输入图像实施规定的变换，得到变换图像；

量化步骤，用规定的量化幅度、或在后述的量化幅度确定步骤中确定的修正量化幅度量化上述变换图像，得到量化后变换系数；

编码步骤，编码上述量化后变换系数，生成编码数据；

局部特性值运算步骤，从上述变换输入图像求复杂性的指标值，从上述复杂性的指标值算出在上述量化幅度的修正中使用的局部特性值；

控制信息设定步骤，设定在上述量化幅度的修正中使用的控制信息；量化幅度确定步骤，用在上述编码步骤中生成的编码数据量、在局部特性值运算步骤中算出的上述局部特性值、在上述控制信息设定步骤中设定的上述控制信息，修正上述量化幅度确定修正量化幅度。

16、权利要求15所述的图像编码程序记录媒体，其特征在于：

上述图像编码程序的上述局部特性值运算步骤是根据上述复杂性的指标值算出量化幅度修正参数，对于每个上述变换输入图像比较上述复杂性的指标值与规定的值得到作为上述比较结果的有效图像判断结果，求上述有效图像判断结果有效的表示上述变换输入图像的个数的有效图像区域率的参数计算步骤；

上述图像编码程序的上述控制信息设定步骤，设定上述编码数据的量的目标值作为目标数据量；

上述图像编码程序的上述量化幅度确定步骤根据在上述控制信息设定步骤中设定的上述目标数据量、在上述参数计算步骤中算出的上述量化幅度修正参数、上述有效图像区域率以及上述有效图像判断结果，确定上述修正量化幅度。

17、权利要求15所述的图像编码程序记录媒体，其特征在于：

上述图像编码程序的上述局部特性值运算步骤是求出作为上述图像编码程序的平均的复杂性的平均值，对于每个上述变换输入图像比较上述复杂性的指标值与规定的值得到作为上述比较结果的有效图像判断结果，求出上述有效图像判断结果有效的表示上述变换输入图像的个数的有效图像区域率的复杂性计算步骤；

上述图像编码程序的上述控制信息设定步骤设定上述编码数据的量的目标值作为目标数据量，根据包括上述复杂性的平均值以及上述有效图像区域率的控制信息，设定复杂性的平均值和有效图像区域率；

上述图像编码程序的上述量化幅度确定步骤根据从上述复杂性的指标值算出的量化幅度步骤、在上述控制信息设定步骤中设定的上述复杂性的平均值、上述有效图像区域率以及上述目标数据量，确定修正量化幅度。

18、权利要求15所述的图像编码程序记录媒体，其特征在于：

上述图像编码程序的上述局部特性值运算步骤根据上述复杂性的指标值，求出对上述原图像所求的上述复杂性的指标值的平均的复杂性的平均值、从上述复杂性的指标值的统计性质求得的调制参数、用规定的函数从上述复杂性的指标值得到的加权参数，而后从上述复杂性的指标值、上述复杂性的指标值的平均值、上述调制参数算出量化幅度修正参数，生成在上述量化幅度确定步骤中可以使用的上述加权参数、上述量化幅度修正参数的参数计算装置，

上述图像编码程序的上述控制信息设定步骤设定上述编码数据的量的目标值作为目标的数据量，设定用于量化幅度的确定的表示量化的特性的量化特性信息，输出在上述量化幅度确定步骤中可以使用的上述目标数据量和上述量化特性信息，

上述图像编码程序的上述量化幅度确定装置，根据在上述参数计算步骤算出的上述量化幅度修正参数、在上述控制信息设定步骤中设定的上述量化特性信息以及上述目标数据量，确定修正量化幅度。

19、权利要求15所述的图像编码程序记录媒体，其特征在于：

上述图像编码程序的上述控制信息设定步骤根据作为上述控制信息的上述复杂性的指标值，求出对于上述原图像所求的上述复杂性的指标值的平均的复杂性的平均值、从上述复杂性的指标值的统计性质求得的调制参数，而后从上述复杂性的指标值、上述复杂性的平均值、上述调制参数算出量化幅度修正参数，用规定的函数从上述复杂性的指标值算出加权参数，设定作为上述编码数据的量的目标值作为目标数据量，并设定用于量化的确定的表示量化特性的量化特性信息；

上述图像编码程序的上述量化幅度确定步骤，根据在上述控制信息设定步骤中设定的上述量化幅度修正参数、上述加权参数、上述量化特性信息以及上述目标数据量，确定修正量化幅度。

20、一种图像译码程序记录媒体，记录译码编码图像数据得到图像的图像译码程序的图像译码程序记录媒体，其特征在于：

上述图像译码程序，包括：

可变长度译码步骤，对编码图像数据进行译码处理，生成量化后图像、参照图像信息、修正量化幅度；

逆量化步骤，从上述量化后变换图像和上述修正量化幅度进行逆量化处理，得到逆量化后图像；

图像逆变换步骤，对上述逆量化后图像进行逆变换处理，得到逆变换图像；

加算步骤，从上述逆变换图像和从后述的图像存储步骤中生成的参照图像，得到译码图像；

图像存储步骤，在规定期间保持上述译码图像，从上述保持的译码图像、在上述可变长度译码步骤生成的参照图像信息，生成参照图像，输出到上述加算步骤；

作为上述编码图像数据，处理在权利要求8所述的图像编码方法中得到的编码数据。

Images