CN101091393A - 运动图像编码方法以及利用其的装置、计算机程序 - Google Patents

Abstract

在当前编码对象的图像帧之前刚刚显示于再生侧的参照帧为帧间编码图像帧时，量化控制装置(999)具备对帧内编码的位阶(量化值)进行适当修正的功能，以从视觉上降低由帧间编码图像帧的帧间编码噪声的特性、与当前的帧内编码的噪声的特性不同引起的I帧闪烁。

Description

运动图像编码方法以及利用其的装置、计算机程序

技术领域

本发明涉及运动图像编码技术，例如适合应用于存储运动图像信号的运动图像编码装置中。

背景技术

以往，运动图像编码装置在对从外部输入的运动图像信号进行数字化之后，进行基于规定的运动图像编码方式的编码处理，由此生成编码信息列、即位流。

作为上述运动图像编码方式有近年被标准化的ISO/IEC 14496-10Advanced Video Coding(非专利文献1：ISO/IEC 14496-10 Advanced VideoCoding)。另外，作为开发上述Advanced Video Coding编码器的参照模型，公知有JM(Joint Model)方式。

在JM方式中，将构成运动图像的各图像帧分割为称作MB(MacroBlock)的16×16像素大小的块，进一步将上述MB分割为4×4像素大小的块(以后称为4×4块)，将上述4×4块作为编码的最小构成单位。

图1中示出了当图像帧为QCIF(Quarter Common Intermediate Format)时的上述块分割的例子。另外，通常，图像帧由亮度信号和色差信号构成，但在下面为了简化说明，仅处理亮度信号。

参照图1，对将图像帧作为输入、输出位流的JM方式的动作进行说明。

若参照图2，则JM方式(现有方式)构成为包括：MB缓冲器101、变换装置102、量化装置103、逆量化/逆变换装置104、熵编码装置105、码量控制装置106、帧存储器A107、环路滤波(loop filter)装置108、帧存储器B109、帧内预测装置110、帧间预测装置111、预测方式推断装置112、开关SW100。

下面，对各装置的动作进行说明。

MB缓冲器101存储输入图像帧的编码对象MB的像素值。

从MB缓冲器101供给的编码对象MB的像素值(以后简单称为输入MB)被减掉从帧内预测装置110或帧间预测装置111供给的预测值。将上述减掉预测值后的输入图像称为预测误差。

帧间预测是参照显示时刻与当前编码对象图像帧不同的过去所重构的图像帧，并利用图像帧在时间方向上的相关来预测当前编码对象块。以后，将解码中需要上述帧间预测的编码称为帧间编码(Inter coding)，将帧间编码后的MB称为帧间MB，将由帧间预测生成的预测值称为帧间预测值或帧间预测图像。

另一方面，将在解码中不使用上述帧间预测的编码称为帧内编码(Intra coding)，将帧内编码后的MB称为帧内MB。JM方式中，在帧内编码中可利用帧内预测。上述帧内预测是参照显示时刻与当前编码对象图像帧相同的过去所重构的图像帧，并利用图像帧在空间方向上的相关来预测当前编码对象块。以后，将由上述帧内预测生成的预测值称为帧内预测值或帧内预测图像。

将仅由帧内MB构成的编码图像帧称为I帧。另一方面，将不仅包括上述帧内MB，还由帧间MB构成的编码图像帧称为P帧，进而，将帧间预测中不仅是一张图像帧，而且还包括可同时根据两张图像帧来预测的帧间MB的编码图像帧称为B帧。

通常，当场景稳定时，邻接的图像帧间的像素相关极高，帧间编码可比帧内编码更有效地压缩。因此，运动图像的大部分图像帧，由可利用帧间编码的P帧或B帧编码。

变换装置102以比MB更细的块为单位，对上述预测误差进行频率变换，从空域变换到频域。将变换到上述频域后的预测误差称为变换系数。在上述频率变换中，可利用DCT(Discrete Cosine Transform)或哈达玛(Hadamard)变换等正交变换，在JM方式(现有方式)中，利用使基底整数值化的4×4像素块大小的整数精度DCT。

另一方面，码量控制装置106为了以目标的位数对输入图像帧进行编码，监视熵编码装置105所输出的位流的位数，若输出的位流的位数比目标的位数多，则输出增大了量化阶(step size)的量化参数，反之若输出的位流的位数比目标的位数少，则输出减小量化阶的量化参数。由此，按照使输出位流接近目标位数的方式进行编码。

量化装置103以码量控制装置106供给的上述量化参数所对应的量化阶对上述变换系数进行量化。上述量化后的变换系数称作位阶(level)或量化值(以后，将帧内编码对象的量化值称为帧内编码量化值，另一方面，将帧间编码对象的量化值称为帧内编码量化值)。上述量化值由熵编码装置105进行熵编码后，作为位序列、即位流被输出。

另外，将合并了变换装置102和量化装置103的装置称为变换量化装置200。

接着，为了进行之后的编码，逆量化/逆变换装置104对从量化装置103供给的位阶进行逆量化，进而进行逆频率变换，使其返回原来的空域。

将上述逆量化后的变换系数称为逆量化变换系数或重构变换系数。另外，将返回到原来的空域的预测误差称为重构预测误差。

帧存储器A107存储给上述重构预测误差加上了上述预测值后的值，作为重构帧。

在当前编码对象图像帧内的所有MB被编码之后，环路滤波器108对帧存储器107中存储的重构帧进行去噪滤波。

帧存储器B109存储从环路滤波器108供给的上述去噪滤波后的图像帧作为参照帧。

帧内预测装置110从帧存储器A107中所存储的重构帧，根据从预测方式推断装置112供给的MB类型以及帧内预测方向，生成帧内预测值。

帧间预测装置111从帧存储器B109中存储的参照帧，根据从预测方式推断装置112供给的MB类型以及运动矢量，生成帧间预测值。

预测方式推断装置112分别推断使得与输入MB之间的预测误差最小的帧内预测方向和帧内MB类型的组合、以及帧间预测中的运动矢量和帧间MB类型的组合。

开关SW100基于预测方式推断装置112中的推断结果，若帧内预测使预测误差最小则将帧内预测装置110的输出作为预测值，否则便将帧间预测装置111的输出作为预测值。

通过执行以上的处理，以JM方式对运动图像进行编码。

在利用上述帧间编码的运动图像编码中，当出于广播或存储的目的，对运动图像进行编码时，周期性地插入I帧，使得也能从中途进行再生(解码)。图3中示出了上述简单的一例。

可是，作为上述周期性插入I帧的副作用，在视觉上会产生明显的I帧的插入周期的闪烁(以后称为I帧闪烁(flicker))。随着对运动图像编码的低位速率化，上述I帧闪烁使主观画质降低。

上述I帧闪烁在视觉上很明显的原因是，I帧中的帧间编码的噪声图(noise pattern)、与之前显示的P帧中的帧间编码的噪声图不同。上述编码噪声图的不同是由I帧和P帧中的预测构造的差异引起的(图4)。

作为降低如上所述的闪烁的方法，如专利文献1所述，考虑将人类视觉特性高的区域的量化阶细化的这种适应量化。

另外，作为降低如上所述的闪烁的方法，如专利文献2所述，考虑使I帧、P帧和B帧的量化阶之比为接近最佳的值，从而使画质保持恒定的方法。

另外，作为降低如上述的闪烁的方法，如专利文献3所述，考虑当P帧的残差信号比量化死区(dead zone)幅度小时，始终使预测误差的位阶为0，从而降低连续的P帧间的闪烁的方法。

另外，作为降低如上述的闪烁的方法，如非专利文献2所述，考虑对连续的帧全部用I帧编码，从而使判断为静止区域的区域的位阶保持均匀的方法。

另外，作为降低如上述的闪烁的方法，如专利文献4所述，考虑对连续的帧全部用I帧编码，从而将判断为静止区域的区域的位阶置换为过去已编码的图像帧的位阶的方法。

另外，作为降低如上述的闪烁的方法，如非专利文献3所述，考虑如下方法：在进行I帧编码时判断为静止区域的区域，一边考虑与之前刚刚编码的I帧的类似度，一边推断帧内预测方向，由此防止帧内预测值的波动。

专利文献1：特开2002-335527号公报

专利文献2：特开平5-111012号公报

专利文献3：特开平08-251593号公报

专利文献4：特开2003-235042号公报

非专利文献1：ISO/IEC 14496-10 Advanced Video Coding

非专利文献2：井口等，“H.264符号化におけるイントラモ一ドのフリツカ低减方法(H.264编码中的帧内模式的闪烁降低方法)”，FIT2003，J-040，2003

非专利文献3：境田等，“適応量子化によるAVC/H.264符号化におけるイントラフレ一ムのフリツカ抑压(基于适应量化的AVC/H.264编码中的帧内的闪烁抑制)”，FIT2004，LJ-009，2004

但是，在专利文献1的技术中，当图像帧内整体的视觉特性高时、或目标速率极低时，无法优先对视觉特性高的区域的量化阶进行细化，因此不能获得所希望的效果。

另外，在专利文献2的技术中，与各帧类型的量化阶之比相比，上述I帧闪烁更依赖于上述帧内编码与帧间编码的噪声图的差异，因此无法从根本上解决课题。

另外，专利文献3的技术只能应用于具有相同编码构造的P帧之间，所以不能应用于抑制因上述帧内编码与帧间编码的噪声图的差异而产生的I帧闪烁，因此无法解决课题。

另外，非专利文献2的技术因下述理由而无法解决课题：“由于对所有图像帧进行I帧编码，因此在低速率下的画质差”、“由于不是在像素空间进行帧内预测，而是在变换域进行量化后进行帧内预测，因此会将帧内编码下的量化的噪声叠加到预测误差信号上，从而导致低速率下的画质较差”、“无法在与P帧或B帧等帧间编码并用的情况下应用”、“无法在图像中出现运动的情况下应用”等。

另外，专利文献4的技术与非专利文献2同样存在如下课题：“由于对所有帧进行I帧编码，因此编码效率差”、“无法在与P帧或B帧等帧间预测编码并用的情况下应用”、“无法在图像中出现运动的情况下应用”等。

另外，在非专利文献3的技术中存在如下课题：“当与P帧或B帧等帧间预测并用时，之前刚刚编码的I帧和当前编码对象的I帧的帧间距离较远，因此在图像中出现运动时效果差”、“在完全静止的场景以外，图像内的目标的坐标在每个图像帧中并不固定，结果无法抑制帧内预测值的波动，效果较差”等。

发明内容

本发明鉴于上述课题而实现，目的在于提供一种当不仅利用I帧还利用P帧以及B帧等的帧间预测对运动图像进行编码时，而且在对包含有运动场景的运动图像进行编码时，也能有效实现上述的I帧闪烁的降低的运动图像编码方法以及利用了该方法的装置或计算机程序。

解决上述课题的第1发明是运动图像编码装置，其特征在于具有：利用在采用帧间编码进行编码后重构的图像帧来对图像进行帧内编码的单元。

解决上述课题的第2发明根据上述第1发明，其特征在于，采用上述帧间编码进行编码后重构的图像帧，相对于上述被帧内编码的图像而言是过去的图像帧。

解决上述课题的第3发明根据上述第2发明，其特征在于，上述过去的图像帧是上述被帧内编码的图像紧前面的P帧。

解决上述课题的第4发明根据上述第3发明，其特征在于，包括如下单元：该单元利用以P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而得到的重构图像，对帧内编码的量化值进行修正。

解决上述课题的第5发明根据上述第3发明，其特征在于，包括如下单元：该单元利用以上述P帧的图像对帧内编码对象的图像进行帧间预测而得到的帧间预测图像，对帧内编码的量化值进行修正。

解决上述课题的第6发明根据上述第4或第5发明，其特征在于，作为帧内编码的量化值，采用对上述修正中使用的图像与帧内预测值图像的差分进行变换后实施量化而得到的量化值。

解决上述课题的第7发明根据上述第4或第5发明，其特征在于，作为帧内编码的量化值，采用对上述修正中使用的图像进行变换后实施量化而得到的量化值。

解决上述课题的第8发明根据上述第6或第7发明，其特征在于，上述量化具有四舍五入的量化特性。

解决上述课题的第9发明根据上述第8发明，其特征在于，只有当帧内编码的变换系数、与从上述修正中所使用的图像获得的变换系数的差分在帧间编码的量化死区幅度以下时，应用上述帧内编码的量化值的修正。

解决上述课题的第10发明根据上述第3发明，其特征在于，包括如下单元：该单元对以上述P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而生成的重构图像，进行帧内编码。

解决上述课题的第11发明根据上述第3发明，其特征在于，包括如下单元：该单元对以上述P帧的图像对帧内编码对象的图像进行帧间预测而生成的帧间预测图像，进行帧内编码。

解决上述课题的第12发明根据上述第10或第11发明，其特征在于，当上述生成的图像、与帧内编码对象的图像的差分在像素空间的帧间编码的量化死区幅度以下时，应用上述帧内编码。

解决上述课题的第13发明是运动图像编码方法，特征在于，利用在采用帧间编码进行编码后重构的图像帧来对图像进行帧内编码。

解决上述课题的第14发明根据上述第13发明，其特征在于，采用上述帧间编码进行编码后重构的图像帧，相对于上述被帧内编码的图像而言是过去的图像帧。

解决上述课题的第15发明根据上述第14发明，其特征在于，上述过去的图像帧是上述被帧内编码的图像紧前面的P帧。

解决上述课题的第16发明根据上述第15发明，其特征在于，利用以P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而得到的重构图像，对帧内编码的量化值进行修正。

解决上述课题的第17发明根据上述第15发明，其特征在于，利用以上述P帧的图像对帧内编码对象的图像进行帧间预测而得到的帧间预测图像，对帧内编码的量化值进行修正。

解决上述课题的第18发明根据上述第16或第17发明，其特征在于，作为帧内编码的量化值，采用对上述修正中使用的图像与帧内预测值图像的差分进行变换后实施量化而得到的量化值。

解决上述课题的第19发明根据上述第16或第17发明，其特征在于，作为帧内编码的量化值，采用对上述修正中使用的图像进行变换后实施量化而得到的量化值。

解决上述课题的第20发明根据上述第18或第19发明，其特征在于，上述量化具有四舍五入的量化特性。

解决上述课题的第21发明根据上述第20发明，其特征在于，只有当帧内编码的变换系数、与从上述修正中所使用的图像获得的变换系数的差分在帧间编码的量化死区幅度以下时，应用上述帧内编码的量化值的修正。

解决上述课题的第22发明根据上述第15发明，其特征在于，对以上述P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而生成的重构图像，进行帧内编码。

解决上述课题的第23发明根据上述第15发明，其特征在于，对以上述P帧的图像对帧内编码对象的图像进行帧间预测而生成的帧间预测图像，进行帧内编码。

解决上述课题的第24发明根据上述第22或第23发明，其特征在于，当上述生成的图像、与帧内编码对象的图像的差分在像素空间的帧间编码的量化死区幅度以下时，应用上述帧内编码。

解决上述课题的第25是一种程序，该程序使信息处理装置进行运动图像编码，特征在于，上述程序使上述信息处理装置作为如下单元发挥作用：该单元利用在采用帧间编码进行编码后重构的图像帧来对图像进行编码。

解决上述课题的第26发明根据上述第25发明，其特征在于，上述过去采用帧间编码进行编码后重构的图像帧，相对于上述被帧内编码的图像而言是过去的帧。

解决上述课题的第27发明根据上述第26发明，其特征在于，上述过去采用帧间编码进行编码后重构的图像帧，是上述被帧内编码的图像紧前面的P帧。

解决上述课题的第28发明根据上述第27发明，其特征在于，上述程序使上述信息处理装置作为如下单元发挥作用：该单元利用以P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而得到的重构图像，对帧内编码的量化值进行修正。

解决上述课题的第29发明根据上述第27发明，其特征在于，上述程序使上述信息处理装置作为如下单元发挥作用：该单元利用以上述P帧的图像对帧内编码对象的图像进行帧间预测而得到的帧间预测图像，对帧内编码的量化值进行修正。

解决上述课题的第30发明根据上述第28或第29发明，其特征在于，作为帧内编码的量化值，采用对上述修正中使用的图像与帧内预测值图像的差分进行变换后实施量化而得到的量化值。

解决上述课题的第31发明根据上述第28或第29发明，其特征在于，作为帧内编码的量化值，采用对上述修正中使用的图像进行变换后实施量化而得到的量化值。

解决上述课题的第32发明根据上述第30或第31发明，其特征在于，上述量化具有四舍五入的量化特性。

解决上述课题的第33发明根据上述第32发明，其特征在于，只有当帧内编码的变换系数、与从上述修正中所使用的图像获得的变换系数的差分在帧间编码的量化死区幅度以下时，应用上述帧内编码的量化值的修正。

解决上述课题的第34发明根据上述第27发明，其特征在于，上述程序使上述信息处理装置作为如下单元发挥作用：该单元对以上述P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而生成的重构图像，进行帧内编码。

解决上述课题的第35发明根据上述第27发明，其特征在于，上述程序使上述信息处理装置作为如下单元发挥作用：该单元对以上述P帧的图像对帧内编码对象的图像进行帧间预测而生成的帧间预测图像，进行帧内编码。

解决上述课题的第36发明根据上述第34或第35发明，其特征在于，当上述生成的图像、与帧内编码对象的图像的差分在像素空间的帧间编码的量化死区幅度以下时，应用上述帧内编码。

解决上述课题的第37发明是一种运动图像编码装置，其特征在于具有：使由帧内编码产生的噪声与由帧间编码产生的噪声类似的单元。

解决上述课题的第38发明是一种运动图像编码方法，其特征在于，使由帧内编码产生的噪声与由帧间编码产生的噪声类似。

解决上述课题的第39发明是一种运动图像的编码/解码系统，其特征在于，包括：在对图像进行帧内编码时，利用在采用帧间编码进行编码后重构的图像帧进行编码的单元；和对上述编码后的数据进行解码的解码单元。

解决上述课题的第40发明是一种运动图像的编码/解码方法，其特征在于，包括：在对图像进行帧内编码时，利用在采用帧间编码进行编码后重构的图像帧进行编码的步骤；和对上述编码后的数据进行解码的步骤。

本发明的帧内编码除现有的帧内编码之外，如图27所示，还具备量化控制装置999，该量化控制装置999将帧存储器109中存储的参照帧作为输入，对量化装置103输出的帧内编码的位阶(量化值)进行修正。

在当前编码对象的图像帧之前刚刚显示于再生侧的参照帧为帧间编码图像帧时，量化控制装置999具备对帧内编码的位阶(量化值)进行适当修正的功能，以从视觉上降低由帧间编码图像帧的帧间编码噪声的特性、与当前的帧内编码的噪声的特性不同引起的I帧闪烁。

由此，当不仅利用I帧还利用P帧以及B帧等的帧间预测对运动图像进行编码时，而且在对包含有运动场景的运动图像进行编码时，也能有效实现I帧闪烁的降低。

(发明效果)

本发明可提供一种当不仅利用I帧还利用P帧以及B帧等的帧间预测对运动图像进行编码时，而且在对包含有运动场景的运动图像进行编码时，也能有效实现上述的I帧闪烁的降低的运动图像编码方法以及利用了该方法的装置或计算机程序。

附图说明

图1是表示图像帧的构成的图；

图2是现有的运动图像编码装置的框图；

图3是用于说明在中途再生用的I帧的周期性插入的图；

图4是用于说明发生I帧闪烁的图；

图5是现有的变换量化装置的框图；

图6是用于说明Intra4MB帧内预测方向的图；

图7是用于说明Intra16MB帧内预测方向的图；

图8是用于说明Intra16MB的编码构造的图；

图9是用于说明关注像素的图；

图10是用于说明现有方法中发生I帧闪烁的图；

图11是本发明的运动图像编码装置的框图；

图12是用于说明修正参照图像生成参照帧的图；

图13是实施例1中的I帧闪烁抑制控制装置的框图；

图14是I帧闪烁抑制控制信号以及帧间编码重构图像计算的流程图；

图15是实施例1中的变换量化装置的框图；

图16是变换系数修正的流程图；

图17是用于说明本发明的效果的图；

图18是实施例2中的I帧闪烁抑制控制装置的框图；

图19是I帧闪烁抑制控制信号以及帧间预测图像计算的流程图；

图20是实施例3中的变换量化装置的框图；

图21是系数量化的流程图；

图22是DC系数量化的流程图；

图23是实施例4中的变换量化装置的框图；

图24是预测误差修正的流程图；

图25是利用了本发明的信息处理装置的框图；

图26是用于说明本发明的图；

图27是用于说明本发明的图；

图28是本发明的运动图像解码装置的框图。

图中：102-变换装置；103-量化装置；104-逆量化/逆变换装置；200-变换量化装置；300-I帧闪烁抑制控制装置；301-控制器。

具体实施方式

对本发明的实施方式进行说明。

首先，为了便于理解本发明，以下对本发明的要点进行说明。

图26示出了图2所示的现有的运动图像编码装置中的在帧内编码时动作的方框图。从图26可知，现有方式不考虑参照帧即显示时刻与当前编码对象不同的图像帧的编码噪声，而单纯对输入图像进行帧内编码。

因此，当参照帧中包含已进行帧间编码的图像帧时，若单纯对输入图像进行帧内编码，则会产生上述的I帧闪烁。

然后，图27是表示本发明的运动图像编码装置的帧内编码时动作的框图。图27的本发明的帧内编码除图26的现有的帧内编码之外，还具备量化控制装置999，该量化控制装置999将帧存储器109中存储的参照帧作为输入，对量化装置103所输出的帧内编码的位阶(量化值)进行修正。

在当前编码对象的图像帧之前刚刚显示于再生侧的参照帧为帧间编码图像帧时，量化控制装置999具备对帧内编码的位阶(量化值)进行适当修正的功能，以从视觉上降低由帧间编码图像帧的帧间编码噪声的特性与当前的帧内编码的噪声的特性之不同所引起的I帧闪烁。

由此，当不仅利用I帧还利用P帧以及B帧等的帧间预测对运动图像进行编码时，而且在对包含有运动场景的运动图像进行编码时，也能有效实现I帧闪烁的降低。

下面，对本发明的详细内容进行说明。

(实施例1)

首先，为了明确发明方式与现有方式(JM方式)的差异，进一步对JM方式的变换和量化进行详细说明。

(JM方式的变换和量化)

下面的图5中示出了图2的变换量化装置200的详细构成。

变换装置102由2D变换装置1021、DC2D变换装置1022、及开关SW1023构成。2D变换装置1021针对预测误差进行后面说明的2D变换。当所供给的MB类型为后面说明的Intra16MB时，开关SW1023将从2D变换装置1021所供给的变换系数中的DC变换系数供给到DC2D变换装置1022。DC2D变换装置1022对所供给的DC变换系数进行后面说明的DC2D变换。

量化装置103由系数量化装置1031和DC系数量化装置1032构成。系数量化装置1031根据所输入的量化参数、MB类型，通过后面说明的系数量化对变换系数进行量化，并输出位阶。DC系数量化装置1032根据所输入的量化参数、MB类型，通过后面说明的DC系数量化对DC变换系数进行量化，并输出DC位阶。

接着，按照预测值的生成、预测误差的生成、预测误差的2D变换、变换系数的量化的顺序，对现有方式的变换量化装置的动作进行说明。

首先，对预测值的生成进行说明。预测值由帧内预测或帧间预测生成。

下面，分别对帧内预测和帧间预测进行说明。

JM方式的帧内预测中有：从以编码对象MB为单位邻接的像素开始进行帧内预测的MB类型(以后称为Intra16MB)、以及从以编码对象MB内的4×4块为单位邻接的像素开始进行帧内预测的MB类型(以后称为Intra4MB)。

Intra4MB能以4×4块为单位利用图6所示的9种帧内预测方向进行帧内预测。另外，Intra16MB能利用图7所示的4种帧内预测方向进行帧内预测。

作为一例，在式(1)中示出与图6所示的垂直方向对应的帧内预测值pIntra_idx(x，y)的生成式。

pIntra_idx(x，y)＝rec(t，mbx+b4x_idx+x，mby+b4y_idx-1)    (1)

其中，设图像帧的分辨率为横向width像素、纵向height像素，设当前编码对象帧的时刻为t，设重构帧(存储在图2的帧存储器A107中)的像素值为rec(t，i，j){0≤i≤width-1，0≤j≤height-1}，设图像帧中的编码对象MB的左上角的坐标为(MBx，MBy){0≤MBx≤width-16，0≤MBy≤height-16}，设上述MB内的编码对象4×4块的下标idx为idx{0≤idx≤15}(参照图1的中央图)，在上述下标idx的4×4块的左上角的MB内部的坐标为

(b4x_idx，b4y_idx){0≤b4x_idx≤12，0≤b4y_idx≤12}

其他预测方向的Intra4MB的帧内预测值或Intra16MB的帧内预测值的生成式参照非专利文献1。

若设参照帧与当前编码对象帧的帧间距离为f，设下标为idx的4×4块的运动矢量为(mvx_idx，mvy_idx)，则帧间预测值pInter_idx(x，y)可根据式(2)计算。

pInter_idx(x，y)＝MC[rec(t-f)，mbx+b4x_idx+x，mby+b4y_idx+y，mvx_idx，mvy_idx]    (2)

在此，MC[rec(t-f)，xx，yy，mvx，mvy]是读出将编码对象的图像帧内的坐标(xx，yy){0≤xx≤width-1，0≤yy≤height-1}偏移了运动矢量(mvx，mvy)像素后的坐标所对应的参照帧ref(t-f)的像素值的函数。另外，当运动矢量(mvx，mvy)为小数精度时，上述MC[rec(t-f)，xx，yy，mvx，mvy]根据周边的整数位置的像素对小数位置的像素值适当进行插值。

另外，上述参照帧ref(t)由通过式(3)的环路滤波器108对重构帧rec(t)实施了去噪滤波后的像素构成。当然，若不进行去噪滤波，则ref(t)与rec(t)完全一致。

ref(t)＝LP[rec(t)]    (3)

其中，LP[]是表示去噪滤波的标记。

接着，对预测误差的生成进行说明。

预测误差通过从输入像素减去上述预测值来生成。若设输入图像帧为org(t，i，j){0≤i≤width-1，0≤j≤height-1}，编码对象MB为src(i，j){0≤i≤15，0≤j≤15}，则预测误差pe_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}可根据式(4)计算。

pe_idx(x，y)＝src(b4x_idx+x，b4y_idx+y)-pred_idx(x，y)    (4)

src(i，j)＝org(t，mbx+i，mby+j)                       (5)

下面，对预测误差的2D变换进行说明。

2D变换因编码对象MB的MB类型而异。若MB类型不是Intra16MB，则进行式(7)的2D变换，若为Intra16MB，则进行式(8)的DC2D变换。

$T_{\mathrm{idx}}(x,y)=\left(\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right)\left(\begin{array}{cccc}{\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{0,0}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{0,1}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(0.2\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{0,3}\right)\\ {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{1,0}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{1,1}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{1,2}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{1,3}\right)\\ {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{2,0}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{2,1}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{2,2}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{2,3}\right)\\ {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{3,0}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{3,1}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{3,2}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{3,3}\right)\end{array}\right)\left(\begin{array}{cccc}1& 2& 1& 1\\ 1& 1& -1& -2\\ 1& -1& -1& 2\\ 1& -2& 1& -1\end{array}\right)---\left(7\right)$

$\mathrm{TDC}(x,y)=\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\\ 1& -1& 1& -1\end{array}\right)\left(\begin{array}{cccc}{T}_0\left(\mathrm{0,0}\right)& T_1\left(\mathrm{0,0}\right)& T_2\left(\mathrm{0,0}\right)& T_3\left(\mathrm{0,0}\right)\\ T_4\left(\mathrm{0,0}\right)& T_5\left(\mathrm{0,0}\right)& T_6\left(\mathrm{0,0}\right)& T_7\left(\mathrm{0,0}\right)\\ T_8\left(\mathrm{0,0}\right)& T_9\left(\mathrm{0,0}\right)& T_{10}\left(\mathrm{0,0}\right)& T_{11}\left(\mathrm{0,0}\right)\\ T_{12}\left(\mathrm{0,0}\right)& T_{13}\left(\mathrm{0,0}\right)& T_{14}\left(\mathrm{0,0}\right)& T_{15}\left(\mathrm{0,0}\right)\end{array}\right)\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\\ 1& -1& 1& -1\end{array}\right)//2---\left(8\right)$

其中，式(8)的标记“//”表示四舍五入。在Intra16MB中，如图8所示，各下标为idx的4×4块的DC系数(T_idx(0，0))进而组合成一个4×4块(以后称为DC块)，进一步进行变换。

接着，对变换系数的量化进行说明。若4×4块为DC块，则以式(9)的DC系数量化来计算位阶，否则以式(10)的系数量化来计算位阶。

LDC(x，y)＝(TDC(x，y)×Q(qp％6，0，0)+f(TDC(x，y))×2^(16+qp/6))/2^(16+qp/6)      (9)

L_idx(x，y)＝(T_idx(x，y)×Q(qp％6，x，y)+f(T_idx(x，y))×2^(15+qp/6))/2^(15+qp/6)  (10)

$Q(m,x,y)=\left\{\begin{array}{cc}{M}_{0,m}& \mathrm{if}(x,y)=\{\left(\mathrm{0,0}\right),\left(\mathrm{0,2}\right),\left(\mathrm{2,0}\right),\left(\mathrm{2,2}\right)\}\\ M_{1,m}& \mathrm{elsfif}(x,y)=\{\left(\mathrm{1,1}\right),\left(\mathrm{1,3}\right),\left(\mathrm{3,1}\right),\left(\mathrm{3,3}\right)\}\\ M_{2,m}& \mathrm{else}\end{array}\right.---\left(11\right)$

$M=\left[\begin{array}{ccc}13107& 5243& 80066\\ 11916& 4660& 7490\\ 10082& 4194& 6554\\ 9362& 3647& 5825\\ 8192& 3355& 5243\\ 7282& 2893& 4559\end{array}\right]---\left(12\right)$

在此，qp{0≤qp≤51}是从码量控制装置106供给的量化参数，式(13)的fintra以及finter是决定量化的舍入位置的参数。在JM方式中，fintra＝1/3，finter＝1/6。

以上是JM方式的变换与量化的动作。

参照图10，对图9的关注像素根据现有方式的编码会如何变动进行说明。参照图9，上述关注像素可能是静止区域的像素，也可能是运动区域的像素。一般而言，人类的视觉特性对静止区域敏感，对运动区域感觉迟钝。但是，即便是运动区域的像素，当人眼追随着该像素时，人类的视觉特性也变得敏感。

在图10中，以时间序列绘制了关注像素的输入org(t，vpx_t，vpy_t)、重构rec(t，vpx_t，vpy_t)、预测pred(t，vpx_t，vpy_t)、预测误差pe(t，vpx_t，vpy_t)、重构预测误差recpe(t，vpx_t，vpy_t)的像素值。在此，(vpx_t，vpy_t)作为在时刻t的关注像素的图像帧内的坐标，各像素存在以下的关系。

pe(t，vpx_t，vpy_t)＝org(t，vpx_t，vpy_t)-pred(t，vpx_t，vpy_t)    (14)

recpe(t，vpx_t，vpy_t)＝IQIT[Q[T[pe(t，vpx_t，vpy_t)]]]          (15)

rec(t，vpx_t，vpy_t)＝pred(t，vpx_t，vpy_t)+recpe(t，vpx_t，vpy_t) (16)

其中，设T[]为表示变换处理的标记，设Q[]为表示量化处理的标记，设IQIT[]为表示逆量化/逆变换处理的标记。

参照图10，输入的关注像素比较平稳地变化，相对于此，重构后的I3帧的关注像素出现急剧的像素值变化。

上述的I帧中的急剧的像素值变化即I帧闪烁，是由于不考虑关注像素在时间轴上的连续性，而进行只是单纯对输入进行忠实地重现的帧内编码。

以下说明的本发明在对图像进行帧内编码时，考虑利用帧间编码进行了编码的图像的帧间编码噪声图、即关注像素在时间轴上的连续性，来进行帧内编码，由此降低上述课题即I帧闪烁。另外，以下将上述“考虑了利用帧间编码进行了编码的图像的帧间编码噪声图的帧内编码”称为“考虑了时间轴上的连续性的帧内编码”。

参照图11，示出了本实施例中的本发明的运动图像编码装置。

图11的本发明方式除图2的现有方式之外，还包括I帧闪烁抑制控制装置300。另外，变换量化装置200的内部动作，因从I帧闪烁抑制控制装置300所供给的I帧闪烁抑制控制信号、以及作为修正参照图像与帧内预测值的差分的参照预测误差，而与现有方式不同。

I帧闪烁抑制控制装置300和变换量化装置200以外的装置与现有方式相同，因此为了简化说明，以下仅对I帧闪烁抑制控制装置300和变换量化装置200进行说明。

首先，对本实施方式中的I帧闪烁抑制控制装置300进行说明。

本实施方式中的I帧闪烁抑制控制装置300的动作的概略情况为：以过去利用帧间编码对帧内编码对象的图像进行编码后重构的图像帧(以后称为修正参照图像生成参照帧)，进行帧间预测、变换、量化、逆量化、逆变换，生成帧间编码重构图像recInter(t，vpx_t，vpy_t)，并将其作为修正参照图像进行输出。用公式表示如式(17)所示。

recInter(t，vpx_t，vpy_t)＝

IDIT[Q[T[org(t，vpx_t，vpy_t)-pInter(t，vpx_t，vpy_t)]]]+pInter(t，vpx_t，vpy_t)  (17)

另外，式(17)的recInter(t，vpx_t，vpy_tt)也可通过下面的环路滤波器108来应用去噪滤波。

recInter(t，vpx_t，vpy_tt)＝LP[recInter(t，vpx_t，vpy_tt)]       (18)

另外，上述的修正参照图像生成参照帧，可以采用与帧内编码对象的图像帧的帧间相关最高的图像帧。因此，通常，帧间距离越短，上述帧间相关就越高。因此，在不利用B帧的编码中，之前刚刚编码的P帧最好(图12(a))。可是，在之前的P帧中因照射等发生了闪光时等，进而也可采用该P帧之前的P帧。

另一方面，在利用B帧的编码中，通常，B帧比I帧或P帧精度更粗地被量化。因此，在该情况下，与精度粗的量化后的B帧相比，修正参照图像生成参照帧采用以某程度的画质刚刚进行过编码的P帧为好(图12(b))。

以上，结束对本实施方式中的I帧闪烁抑制控制装置300的大致动作的说明。

接着，对本实施方式中的I帧闪烁抑制控制装置300的输入输出进行说明。

I帧闪烁抑制控制装置300的输入为：从MB缓冲器101所供给的输入MB的像素、从帧间预测装置111所供给的帧间预测值、从码量控制装置106所供给的量化参数、以及从预测方式推断装置112所供给的运动矢量以及MB类型。另一方面，输出为：供给到变换量化装置200的I帧闪烁抑制控制信号、减去帧内预测值之后供给到变换量化装置200的修正参照图像、以及对预测方式推断装置112进行控制的运动矢量推断控制信号。

接着，参照图13，对本实施方式的I帧闪烁抑制控制装置300的构成进行说明。

参照图13的I帧闪烁抑制控制装置300，其包括变换装置102、量化装置103、逆量化/逆变换装置104以及控制器301。

控制器301根据供给的量化参数、运动矢量和MB类型、以及输入MB和帧间预测值的差分，计算I帧闪烁抑制控制信号。

I帧闪烁抑制控制信号是表示“在图像帧内的哪个区域应用考虑了时间轴上的连续性的帧内编码”的信息。

另外，若预测方式推断装置112以I帧进行的帧间预测方式推断(对使得与输入MB的帧间预测误差最小的、来自修正参照图像生成参照帧的运动矢量与帧间MB类型的组合进行检测的处理)处于停止中，则控制器301通过运动矢量推断控制信号使上述帧间预测方式推断进行动作。

变换装置102对输入MB与帧间预测值的差分进行变换，将变换系数供给到量化装置103。

量化装置103以所供给的上述量化参数所对应的量化阶，对上述变换系数进行量化，并计算位阶。

逆量化/逆变换装置104对从量化装置103供给的上述位阶进行逆量化，进而进行逆频率变换，使其返回到原来的空域，并计算重构预测误差。

给上述重构预测误差加上上述帧间预测，获得帧间编码重构图像，将其作为修正参照图像进行输出。

另外，然后，在I帧闪烁抑制控制装置300的外部，从上述修正参照图像减去帧内预测值，生成参照预测误差。参照预测误差是表示“以何种程度按照沿时间方向连续的方式进行考虑了时间轴上的连续性的帧内编码”的信息。

另外，上述I帧闪烁抑制控制装置300中的变换装置102、量化装置103、逆量化/逆变换装置104与现有方式相同。

接着，参照图14的流程图，进一步详细说明上述动作。

在步骤S1001中，根据输入MB的像素值src(x，y){0≤x≤15，0≤y≤15}、来自修正参照图像生成参照帧的帧间预测值pInter_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，用式(19)计算第2预测误差pe2_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。

pe2_idx(x，y)＝src(b4x_idx+x，b4y_idx+y)-pInter_idx(x，y)    (19)

其中，本实施例中的上述第2预测误差仅在I帧闪烁抑制控制装置300内部使用。

在步骤S1002中，根据第2预测误差pe2_idx(x，y)、MB类型、以及量化参数qp，用式(20)计算I帧闪烁抑制控制信号IFlickerControl。

$\mathrm{IFlickerControl}=\left\{\begin{array}{ccc}1& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}(\mathrm{Spe}2>256\&times;\mathrm{Sth})\\ 1& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{elseif}\left(\mathrm{Intra}4\mathrm{MBor}(\mathrm{Intra}16\mathrm{MBandqp}<\mathrm{qpth}1)\right)\\ 2& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(20\right)$

$\mathrm{Spe}2=\underset{\mathrm{idx}=0}{\overset{15}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{3}{\mathrm{\&Sigma;}}}\left|{\mathrm{pe}2}_{\mathrm{idx}}(x,y)\right|---\left(21\right)$

Sth＝(α×(1-finter)×2^15+qp/6/Q(qp％6，x，y))/Tgain      (22)

其中，qpthl是量化参数的阈值(在本实施方式中为28)，α是比0大的值，Tgain是变换的增益(在本实施方式中为16)。当α为1时，Sth成为像素空域中帧间编码下的量化死区幅度。

另外，I帧闪烁抑制控制信号IFlickerControl＝0意味着“不对变换系数进行修正”，IFlickerControl＝1意味着“对DC变换系数以外的变换系数进行修正”，IFlickerControl＝2意味着“对所有变换系数进行修正”。

根据式(20)的处理，由于在时间方向上不连续的区域(即Spe2＞256xSth)的IFlickerControl为零，因此不会产生“按照使时间方向上不连续的区域勉强连续的方式进行编码”的问题。

在步骤S1003中，对第2预测误差pe2_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}与现有方式同样地进行量化、逆量化、逆变换，计算第2重构预测误差recpe2_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。进而，加上帧间预测值pInter_idx(x，y)，用式(23)计算recInter_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。

recInter_idx(x，y)＝recpe2_idx(x，y)+pInter_idx(x，y)    (23)

以上，结束本实施方式中的I帧闪烁抑制控制装置300的说明。

另外，上述的帧间编码重构图像作为修正参照图像输出到I帧闪烁抑制控制装置300的外部。上述修正参照图像减去从帧内预测装置110供给的帧内预测值，用式(24)计算出参照预测误差rpe_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。

rpe_idx(x，y)＝recInter_idx(x，y)-pIntra_idx(x，y)       (24)

通过I帧闪烁抑制控制装置300，获得表示如何按照帧内编码对象图像的重构图像在时间方向上连续的方式进行编码的信息(I帧闪烁抑制控制信号)，与表示帧内编码对象图像的重构图像在时间方向上以何种程度连续的方式进行编码的信息(参照预测误差)。

接下来说明的本发明的变换量化装置200利用这些信息，进行考虑了帧内编码对象图像的重构图像在时间方向上的连续性的编码。

参照图15，对本发明的实施例的量化装置200进行说明。

本发明的实施例的量化装置200除图5的现有方式的构成之外，还包括变换系数修正装置201。

变换系数修正装置201基于从I帧闪烁抑制控制装置300供给的I帧闪烁抑制控制信号、从修正参照图像减去帧内预测值后的参照预测误差、以及从码量控制装置106供给的量化参数，对从变换装置102供给的变换系数以及DC变换系数进行修正，将修正变换系数和修正DC变换系数供给到量化装置103。即，对帧间编码的量化值(位阶)进行适当修正。

与图5的变换量化装置的不同之处仅在于由变换系数修正装置201进行的变换系数以及DC变换系数的修正。因此，下面仅对变换系数修正装置201进行说明。

参照图16的流程图，设量化参数为qp，设I帧闪烁抑制控制信号为IFlickerControl，设参照预测误差为rpe_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，设从变换装置102供给的变换系数为T_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，设DC变换系数为TDC(x，y){0≤x≤3，0≤y≤3}，设输出的修正变换系数为T’_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，设输出的修正DC变换系数为TDC’(x，y){0≤x≤3，0≤y≤3}，对各步骤的动作进行说明。

在步骤S2001中，通过式(25)、(26)对修正变换系数T’_idx(x，y)和修正DC变换系数TDC’(x，y)进行初始化。

T’_idx(x，y)＝T_idx(x，y)(25)

TDC’(x，y)＝TDC’(x，y)(26)

在步骤S2002中，判断I帧闪烁抑制控制信号IFlickerControl是否为0。若IFlickerControl不为0(若对系数进行修正)则转移到步骤S2003，否则结束处理。

在步骤S2003中，判断作为修正对象的变换系数是否为Intra16MB。若不是Intra16MB，则转移到步骤S2004，否则转移到步骤S2005。

在步骤S2004中，对所有idx、x、y{0≤idx≤15，0≤x≤3，0≤y≤3}的变换系数进行式(27)的修正，然后结束处理。

${T^{\&prime;}}_{\mathrm{idx}}=\left\{\begin{array}{ccc}{\mathrm{RT}}_{\mathrm{idx}}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}(\mathrm{conditionA}(\mathrm{idx},x,y)=\mathrm{True})\\ {T^{\&prime;}}_{\mathrm{idx}}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(27\right)$

${\mathrm{RT}}_{\mathrm{idx}}(x,y)=$

$\left(\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right)\left(\begin{array}{cccc}{\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{0,0}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{0,1}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{0,2}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{0,3}\right)\\ {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{1,0}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{1,1}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{1,2}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{1,3}\right)\\ {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{2,0}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{2,1}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{2,2}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{2,3}\right)\\ {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{3,0}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{3,1}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{3,2}\right)& {\mathrm{rpe}}_{\mathrm{idx}}\left(\mathrm{3,3}\right)\end{array}\right)\left(\begin{array}{cccc}1& 2& 1& 1\\ 1& 1& -1& -2\\ 1& -1& -1& 2\\ 1& -2& 1& -1\end{array}\right)---\left(28\right)$

$\mathrm{conditionA}(\mathrm{idx},x,y)=\left\{\begin{array}{ccc}\mathrm{True}& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}\left(\right|T_{\mathrm{idx}}(x,y)-{\mathrm{RT}}_{\mathrm{idx}}(x,y)|\&le;\mathrm{Qsdz}1(x,y))\\ \mathrm{false}& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(29\right)$

Qsdz1(x，y)＝(1-finter)×Qs(x，y)    (31)

Qs(x，y)＝2^15+qp/6/Q(qp％6，x，y)    (32)

在此，Qsdz1(x，y)是帧间编码的量化死区。根据利用了Qsdz1(x，y)的式(27)的conditionA的判定，可防止过剩的帧内编码量化值的修正(当然，也可对Qsdz1采用更大的值，但帧间编码的量化死区可获得最稳定的效果)。

另外，上述的修正也可不根据式(27)而根据式(33)。

${T^{\&prime;}}_{\mathrm{idx}}=\left\{\begin{array}{ccc}\mathrm{ope}1({\mathrm{RT}}_{\mathrm{idx}}(x,y),\mathrm{Qs}(x,y),x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}\left(\mathrm{condition}\right)A(\mathrm{idx},x,y)=\mathrm{True}\\ {T^{\&prime;}}_{\mathrm{idx}}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(33\right)$

ope1(C，qs，x，y)＝((C+0.5×sign(C)×qs)/qs)*qs    (34)

其中，sign(C)是若C＜0则返回-1否则返回1的函数。

另外，在式(27)中若conditionA(idx，x，y)＝True，则对修正参照图像与帧内预测图像的差分进行量化所得到的位阶成为帧内编码的位阶。另一方面，在式(33)中，当conditionA(idx，x，y)＝True时，对修正参照图像与帧内预测图像的差分进行四舍五入的量化特性的量化所得到的位阶成为帧内编码的位阶。利用了四舍五入的量化特性的结果是，其重构图像可根据时间方向正确地连续。

在步骤S2005中，对x＝y＝0以外的所有idx、x、y{0≤idx≤15，0≤x≤3，0≤y≤3}的变换系数进行式(27)的修正。当然也可取代式(27)而利用式(33)进行。

在步骤S2006中，判断I帧闪烁抑制控制信号IFlickerControl是否为1。若不为1(若对DC变换系数进行修正)则转移到步骤S2007，否则结束处理。

在步骤S2007中，对所有x、y{0≤x≤3，0≤y≤3}的变换系数进行式(35)的DC变换系数的修正，然后结束处理。

${T^{\&prime;}}_{\mathrm{idx}}=\left\{\begin{array}{ccc}{\mathrm{RTDC}}_{\mathrm{idx}}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}(\mathrm{conditionB}(x,y)=\mathrm{True})\\ {{\mathrm{TDC}}^{\&prime;}}_{\mathrm{idx}}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(35\right)$

$\mathrm{RTDC}(x,y)=$

$\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\\ 1& -1& 1& -1\end{array}\right)\left(\begin{array}{cccc}{\mathrm{RT}}_0\left(\mathrm{0,0}\right)& {\mathrm{RT}}_1\left(\mathrm{0,0}\right)& {\mathrm{RT}}_2\left(\mathrm{0,0}\right)& {\mathrm{RT}}_3\left(\mathrm{0,0}\right)\\ {\mathrm{RT}}_4\left(\mathrm{0,0}\right)& {\mathrm{RT}}_5\left(\mathrm{0,0}\right)& {\mathrm{RT}}_6\left(\mathrm{0,0}\right)& {\mathrm{RT}}_7\left(\mathrm{0,0}\right)\\ {\mathrm{RT}}_8\left(\mathrm{0,0}\right)& {\mathrm{RT}}_9\left(\mathrm{0,0}\right)& {\mathrm{RT}}_{10}\left(\mathrm{0,0}\right)& {\mathrm{RT}}_{11}\left(\mathrm{0,0}\right)\\ {\mathrm{RT}}_{12}\left(\mathrm{0,0}\right)& {\mathrm{RT}}_{13}\left(\mathrm{0,0}\right)& {\mathrm{RT}}_{14}\left(\mathrm{0,0}\right)& {\mathrm{RT}}_{15}\left(\mathrm{0,0}\right)\end{array}\right)\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\\ 1& -1& 1& -1\end{array}\right)1/2---\left(36\right)$

$\mathrm{conditonB}(x,y)=\left\{\begin{array}{ccc}\mathrm{True}& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}\left(\right|\mathrm{TDC}(x,y)-\mathrm{RTDC}(x,y)|\&le;\mathrm{Qsdz}2(x,y))\\ \mathrm{false}& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(37\right)$

Qsdz2(x，y)＝(1-finter)×QsDC(x，y)    (38)

QsDC(x，y)＝2^16+qp/6/Q(qp％6，0，0)    (39)

在此，Qsdz2(x，y)是DC变换区域的帧间编码的量化死区。根据利用了Qsdz2(x，y)的式(35)的conditionB的判定，可防止过剩的帧内编码量化值的修正(当然，也可对Qsdz2采用更大的值，但DC变换区域的帧间编码的量化死区可获得最稳定的效果)。

另外，上述的DC变换系数的修正也可不根据式(35)而根据式(40)来计算。

${{\mathrm{TDC}}^{\&prime;}}_{\mathrm{idx}}=\left\{\begin{array}{ccc}\mathrm{ope}1(\mathrm{RTDC}(x,y),\mathrm{QsDC}(x,y),x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}(\mathrm{conditionB}(x,y)=\mathrm{True})\\ {{\mathrm{TDC}}^{\&prime;}}_{\mathrm{idx}}& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(40\right)$

另外，在式(35)中若conditionB(x，y)＝True，则对修正参照图像与帧内预测图像的差分进行量化所得到的位阶，成为帧内编码的位阶。另一方面，在式(40)中，当conditionB(x，y)＝True时，对修正参照图像与帧内预测图像的差分进行四舍五入的量化特性的量化所得到的位阶，成为帧内编码的位阶。利用了四舍五入的量化特性的结果，其重构图像可根据时间方向正确地连续。

以上，结束变换系数修正装置201的说明。

作为表示上述本发明的运动图像编码装置的效果的例子，设图9中的I₃帧的关注像素的参照预测误差为

rpe(3，vpx₃，vpy₃)＝recInter(3，vpx₂，vp₂)-pIntra(3，vpx₃，vpy₃)(41)，

在图17中示出考虑了重构像素的连续性并进行了编码时的关注像素的转移。

根据本发明的作用，以参照预测误差的变换系数对预测误差的变换系数进行修正，I₃帧的关注像素的重构预测误差如式(42)所示。

recpe(3，vpx₃，vpy₃)＝IQIT[Q[T[rpe(3，vpx₃，vpy₃)]]]    (42)

由此，发明例(图17)中的重构预测误差比现有例(图10)的重构预测误差小量化幅度。结果，现有例中发生的I₃帧的关注像素的急剧变化在本发明中被抑制。

另外，由于根据帧间编码图像生成参照预测误差，因此无论关注像素在静止区域还是在运动区域都可获得上述效果。另外，由于以块为单位计算参照预测误差，因此可按图像帧内的块适当应用上述的I帧闪烁的抑制。

即，本发明在不仅利用I帧还利用P帧以及B帧等的帧间预测对运动图像进行编码时，而且在对包括有运动的场景以及运动区域的运动图像进行编码时，也能有效实现I帧闪烁的降低。

(实施例2)

在上述实施例1的运动图像编码装置中，为了计算修正参照图像，I帧闪烁抑制控制装置300需要进行变换、量化、逆量化、逆变换的处理。在本实施方式中，对不需要上述变换、量化、逆量化、逆变换的更为简化的I帧闪烁抑制控制装置300进行说明。

本实施方式的运动图像编码装置与实施例1的I帧闪烁抑制控制装置300以外的构成相同，因此为了简化说明，下面仅对本实施方式的I帧闪烁抑制控制装置300进行说明。

参照图18，对本实施方式的I帧闪烁抑制控制装置300的构成进行说明。

与实施例1相比，删除了变换装置102、量化装置103、逆量化/逆变换装置104。控制器301与实施例1相同。

根据该构造，由本实施例获得的修正参照图像成为在根据修正参照图像生成参照帧对帧内编码对象的图像进行帧间预测时的帧间预测图像。即，修正参照图像与使实施例1的式(17)的第1项为零时的帧间编码重构图像等效。

在使上述式(17)的第1项为零的原理中利用了“在时间方向上连续的图像，该图像与帧间预测图像匹配。因此，预测误差减小，在量化后预测误差为零”的趋势。由此，可不进行预测误差的变换、量化、逆量化、逆变换，以更少的运算成本实现与第1实施方式的I帧闪烁抑制控制装置同等的功能。

接着，参照图19的流程图，对本实施例的I帧闪烁抑制控制装置的动作进行说明。

在步骤S3001中，根据输入MB的像素值src(x，y){0≤x≤15，0≤y≤15}，以及来自修正参照图像生成参照帧的帧间预测值pInter_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，用式(19)计算第2预测误差pe2_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}(与步骤S1001相同)。

pe2_idx(x，y)＝src(b4x_idx+x，b4y_idx+y)-pInter_idx(x，y)    (19)

其中，本实施例中的上述第2预测误差仅在I帧闪烁抑制控制装置300内部使用。

在步骤S3002中，根据第2预测误差pe2_idx(x，y)、MB类型、以及量化参数qp，用式(20)计算I帧闪烁抑制控制信号IFlickerControl(与步骤S1002相同)。

$\mathrm{IFlidckerControl}=\left\{\begin{array}{ccc}0& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}(\mathrm{Spe}2>256\&times;\mathrm{Sth})\\ 1& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{elseif}\left(\mathrm{Intra}4\mathrm{MBor}(\mathrm{Intra}16\mathrm{MBandqp}<\mathrm{qpth}1)\right)\\ 2& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(20\right)$

$\mathrm{Spe}2=\underset{\mathrm{idx}=0}{\overset{15}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{3}{\mathrm{\&Sigma;}}}\left|{\mathrm{pe}2}_{\mathrm{idx}}(x,y)\right|---\left(21\right)$

Sth＝(α×(1-finter)×2^15+qp/6/Q(qp％6，x，y))/Tgain    (22)

其中，qpthl是量化参数的阈值(在本实施方式中为28)。

另外，I帧闪烁抑制控制信号IFlickerControl＝0意味着“不对变换系数进行修正”，IFlickerControl＝1意味着“对DC变换系数以外的变换系数进行修正”，IFlickerControl＝2意味着“对所有变换系数进行修正”。

根据式(20)的处理，由于在时间方向上不连续的区域(即Spe2＞256xSth)的IFlickerControl为零，因此不会产生“按照使时间方向上不连续的区域勉强连续的方式进行编码”的问题。

以上，结束本实施方式中的I帧闪烁抑制控制装置300的说明。

另外，上述的帧间预测值作为修正参照图像输出到I帧闪烁抑制控制装置300的外部。上述修正参照图像减去从帧内预测装置110所供给的帧内预测值，用式(43)计算参照预测误差rpe_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。

rpe_idx(x，y)＝pInter_idx(x，y)-pIntra_idx(x，y)    (43)

通过本实施例的I帧闪烁抑制控制装置300，与实施例1同样，获得I帧闪烁抑制控制信号与参照预测误差。

由此，与实施例1同样，当不仅利用I帧还利用P帧以及B帧等的帧间预测对运动图像进行编码时，而且在对包含有运动场景的运动图像进行编码时，也能有效实现I帧闪烁的降低。

(实施例3)

在本实施例中，对利用如下变换量化装置的发明的运动图像编码装置进行描述，上述变换量化装置并非如实施例1中的变换量化装置200那样“对变换系数进行修正，对上述修正后的变换系数进行量化”，而是“根据参照预测误差的变换系数，量化装置直接对位阶进行修正”。

由于仅变换量化装置200内部的构成与第1实施方式或第2实施方式不同，因此为了简化说明，仅对本实施方式中的变换量化装置200进行说明(当然，I帧闪烁抑制控制装置300的构成可采用第1实施方式/第2实施方式中的任一种)。

参照图20，对本实施方式中的变换量化装置200进行说明。

图20的变换量化装置200除图5的现有方式的构成之外，还包括具有与变换装置102相同功能的变换装置102B。上述变换装置102B对所供给的参照预测误差，与变换装置102的预测误差同样地进行变换，并输出参照变换系数和参照DC变换系数。

另外，设为根据式(28)计算上述参照变换系数RT_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，根据式(36)计算参照DC变换系数RTDC(x，y){0≤x≤3，0≤y≤3}。

与图5的现有方式的动作的不同之处仅在于系数量化装置1031和DC系数量化装置1032。

因此，下面仅分别对系数量化装置1031和DC系数量化装置1032的动作进行说明。

参照图21的流程图，对系数量化装置1031的动作进行说明。

在步骤S4001中，通过式(10)对所有变换系数T_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}进行量化后，计算出位阶L_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。

另外，步骤S4001是现有方式的系数量化本身的动作，接下来的步骤S4002～步骤S4005是本发明所追加的动作。

在步骤S4002中，判断I帧闪烁抑制控制信号IFlickerControl是否为0。若IFlickerControl不为0(若对系数进行修正)则转移到步骤S4003，否则结束处理。

在步骤S4003中，将表示修正后的系数个数的计数countL初始化为0。

在步骤S4004中，检查countL是否在256以上(是否已对所有idx、x、y{0≤idx≤15，0≤x≤3，0≤y≤3}的系数进行了修正)，若countL在256以上则结束处理，否则转移到步骤S4005。

在步骤S4005中，根据式(44)对位阶L_idx(x，y)进行修正，并使countL增加1，然后转移到步骤S4004。

$L_{\mathrm{idx}}(x,y)=\left\{\begin{array}{ccc}{\mathrm{RL}}_{\mathrm{idx}}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}(\mathrm{conditionA}(\mathrm{idx},x,y)=\mathrm{True})\\ L_{\mathrm{idx}}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(44\right)$

RL_idx(x，y)＝

(ope1(RT_idx(x，y)，Qs(x，y)，x，y)×Q(qp％6，x，y)+fintra×sign(RT_idx(x，y)))×2^(15+qp/6)/2^(15+qp/6)

(45)

idx＝countL/16(46)

num＝countL％16(47)

x＝num％4(48)

y＝num/4(49)

以上，结束本实施例中的系数量化装置1031的动作说明。

接着，参照图22的流程图，对DC系数量化装置1032的动作进行说明。

在步骤S5001中，根据式(9)对所有DC变换系数TDC(x，y){0≤x≤3，0≤y≤3}进行量化后，计算位阶LDC(x，y){0≤x≤3，0≤y≤3}。

另外，步骤S5001是现有方式的DC系数量化本身的动作，接下来的步骤S5002～步骤S5005是本发明所追加的动作。

在步骤S5002中，判断I帧闪烁抑制控制信号IFlickerControl是否为1且MB类型是否为Intra16MB。若IFlickerControl为1且MB类型为Intra16MB(若对DC系数进行修正)则转移到步骤S5003，否则结束处理。

在步骤S5003中，将表示修正后的DC系数个数的计数countDCL初始化为0。

在步骤S5004中，检查countDCL是否在16以上(是否已对所有x、y{0≤x≤3，0≤y≤3}的DC系数进行了修正)，若countDCL在16以上则结束处理，否则转移到步骤S5005。

在步骤S5005中，根据式(50)对位阶LDC(x，y)进行修正，并将countDCL增加1，然后转移到步骤S5004。

$\mathrm{LDC}(x,y)=\left\{\begin{array}{ccc}\mathrm{RLDC}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}(\mathrm{conditionB}(\mathrm{idx},x,y)=\mathrm{True})\\ \mathrm{LDC}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(50\right)$

RLDC(x，y)＝

(ope1(RTDC(x，y)，QsDC(x，y)，x，y)×Q(qp％6，0，0)+fintra×sign(RTDC(x，y)))×2^(16+qp/6)/2^(16+qp/6)

(51)

x＝countDCL％4(52)

y＝countDCL/4(53)

以上，结束本实施方式中的DC系数量化装置1032的动作说明。

根据以上说明的本实施方式中的变换量化装置200，与第1实施方式同样，当不仅利用I帧还利用P帧以及B帧等的帧间预测对运动图像进行编码时，而且在对包含有运动场景的运动图像进行编码时，也能有效实现I帧闪烁的降低。

(实施例4)

在本实施例中，对利用如下变换量化装置的发明的运动图像编码装置进行描述，上述变换量化装置并非如实施例1或实施例3中变换量化装置200那样“变换量化装置200对参照预测误差的变换系数进行计算”，而是能以更简单的构成降低I帧闪烁。

由于仅变换量化装置200内部的构成与实施例1或实施例3不同，因此为了简化说明，仅对本实施方式中的变换量化装置200进行说明(当然，I帧闪烁抑制控制装置300的构成可采用实施例1或实施例2中的任一种)。

在图23中表示本实施方式的变换量化装置200的构成。

本实施方式的变换量化装置200除图5的现有方式的构成之外，还包括预测误差修正装置202。预测误差修正装置202根据所供给的I帧闪烁抑制控制信号/参照预测误差，对预测误差进行修正，将修正后的预测误差供给到变换装置102。

预测误差修正装置202以外的装置与图5的现有方式相同。因此，下面，参照图24的流程图，仅对预测误差修正装置202的动作进行说明。

在步骤S6001中，判断I帧闪烁抑制控制信号IFlickerControl是否为0。若IFlickerControl不为0(若对预测误差进行修正)则转移到步骤S6002，否则结束处理。

在步骤S6002中，将表示修正后的预测误差的像素数个数的计数countpe初始化为0。

在步骤S6003中，检查countpe是否在256以上(是否已对所有的idx、x、y{0≤idx≤15，0≤x≤3，0≤y≤3}的预测误差进行了修正)，若countpe在256以上则结束处理，否则转移到步骤S6004。

在步骤S6004中，根据式(54)对预测误差pe_idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}进行修正，并使countpe增加1，然后转移到步骤S6003。

${\mathrm{pe}}_{\mathrm{idx}}(x,y)=\left\{\begin{array}{ccc}{\mathrm{rpe}}_{\mathrm{idx}}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}(\mathrm{conditionC}(\mathrm{idx},x,y)=\mathrm{True})\\ {\mathrm{pe}}_{\mathrm{idx}}(x,y)& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(54\right)$

$\mathrm{conditionC}(\mathrm{idx},x,y)=\left\{\begin{array}{ccc}\mathrm{True}& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{if}\left(\right|{\mathrm{pe}}_{\mathrm{idx}}(x,y)-{\mathrm{rpe}}_{\mathrm{idx}}(x,y)|\&le;\mathrm{Qsdz}3)\\ \mathrm{false}& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{else}\end{array}\right.---\left(55\right)$

Qsdz3＝Qsdz1(0，0)/(Tgain×β)(56)

idx＝countpe/16(57)

num＝countpe％16(58)

x＝num％4(59)

y＝num/4(60)

在此，式(56)的β是1以上的实数(在本实施方式中为2)。

以上，结束预测误差修正装置202的动作说明。

在此，参照预测误差是在第1实施方式或第2实施方式中说明的修正参照图像与帧内预测的差分。另一方面，预测误差是输入MB与帧内预测的差分。即，本实施方式中的变换量化装置200在帧内编码中，可取代帧内编码对象的图像而对上述的修正参照图像进行编码。其中，并非无条件地置换所有帧内编码对象的图像，从式(54)可知，仅对在时间方向上视为连续的图像，将上述帧内编码对象的图像置换为修正参照图像。

根据以上说明的本实施方式中的变换量化装置200，与第1实施方式同样，当不仅利用I帧还利用P帧以及B帧等的帧间预测对运动图像进行编码时，而且在对包含有运动场景的运动图像进行编码时，也能有效实现I帧闪烁的降低。

(实施例5)

在上述实施例中，描述了在采用帧内预测的运动图像编码装置中应用了本发明的情况，但还可应用于不采用帧内预测的运动图像编码装置中。

在该情况下，使上述的帧内预测值pIntra_idx(x，y)全部为0后再进行动作即可。

另外，该情况下(不使用帧内预测时)的实施例1的动作，是使用对帧间编码重构图像进行变换、量化后获得的量化值，作为帧内编码的量化值。当然，变换量化装置200的构成也可采用实施例3的构成。

另外，该情况下(不使用帧内预测时)的实施例2的动作，是使用对来自修正参照图像生成参照帧的帧间预测图像进行变换、量化后获得的量化值，作为帧内编码的量化值。当然，变换量化装置200的构成也可采用第3实施方式的构成。

另外，该情况下(不使用帧内预测时)的实施例4的动作，是使用帧间编码重构图像或来自修正参照图像生成参照帧的帧间预测图像，作为帧内编码的对象的图像。

另外，在上述实施方式中，描述了仅对亮度信号应用本发明的情况，但本发明对色差信号也可应用。

(实施例6)

进而，在上述实施例中，从上述说明可明确，可由硬件构成，但也可通过计算机程序来实现。

图25是实施本发明的运动图像编码装置的信息处理系统的一般模块构成图。

图25所示的信息处理系统由处理器A1001、程序存储器A1002、存储介质A1003以及A1004构成。存储介质A1003以及A1004可以是独立的存储介质，也可以是由同一存储介质构成的存储区域。作为存储介质，可使用硬盘等磁存储介质。

(实施例7)

实施例7中，对将上述实施例1～实施例6的运动图像编码装置所生成的位流作为输入，并将对上述位流进行解码后的图像作为输出的解码装置进行说明。

参照图28，解码装置由熵解码装置D101、逆量化/逆变换装置D102、帧存储器D103、帧内预测装置D104以及帧间预测装置D105构成。

熵解码装置D101对复用在位流中的位阶、量化参数、帧内MB类型、帧间MB类型、预测方向、运动矢量等位序列进行熵解码，恢复为原来的数值。

逆量化/逆变换装置D102对从熵解码装置D101供给的位阶进行逆量化以及逆变换，恢复到原来的像素空间。将上述恢复到原来的像素空间的位阶称为预测误差。

进而，给上述预测误差加上从SW100供给的预测值，作为重构图像帧，存储到帧存储器D103中。

帧存储器D103采用合并了在运动图像编码装置中所说明的帧存储器A107、环路滤波装置108、以及帧存储器B109的构成。

帧存储器D103对所存储的重构图像帧的显示时刻进行监视，输出达到显示时刻的重构图像帧。

若从熵解码装置D101供给的MB类型为帧内MB，帧内预测装置D104便从帧存储器105中所存储的重构图像帧，根据所供给的帧内MB以及预测方向，与编码装置的帧内预测装置110同样地生成帧内预测图像。

若从熵解码装置D101供给的MB类型为帧间MB，帧间预测装置D105便从帧存储器105中所存储的重构图像帧(参照帧)，根据所供给的帧间MB类型以及运动矢量，与编码装置的帧间预测装置111同样地生成帧间预测图像。

若从熵解码装置D101供给的MB类型为帧内MB，则SW100输出从帧内预测装置D104所供给的帧内预测图像作为预测值，若为帧间MB，则SW100输出从帧间预测装置D105所供给的帧间预测图像作为预测值。

通过以上说明的处理，运动图像编码装置能对所输入的位流进行解码，并重构图像。

Claims (40)

1.一种运动图像编码装置，其特征在于，具有：

利用在采用帧间编码进行编码后重构的图像帧来对图像进行帧内编码的单元。

2.根据权利要求1所述的运动图像编码装置，其特征在于：

采用所述帧间编码进行编码后重构的图像帧，相对于所述被帧内编码的图像而言是过去的图像帧。

3.根据权利要求2所述的运动图像编码装置，其特征在于：

所述过去的图像帧是所述被帧内编码的图像紧前面的P帧。

4.根据权利要求3所述的运动图像编码装置，其特征在于：

包括如下单元：该单元利用以所述P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而得到的重构图像，对帧内编码的量化值进行修正。

5.根据权利要求3所述的运动图像编码装置，其特征在于：

包括如下单元：该单元利用以所述P帧的图像对帧内编码对象的图像进行帧间预测而得到的帧间预测图像，对帧内编码的量化值进行修正。

6.根据权利要求4或5所述的运动图像编码装置，其特征在于：

作为帧内编码的量化值，采用对所述修正中使用的图像与帧内预测值图像的差分进行变换后实施量化而得到的量化值。

7.根据权利要求4或5所述的运动图像编码装置，其特征在于：

作为帧内编码的量化值，采用对所述修正中使用的图像进行变换后实施量化而得到的量化值。

8.根据权利要求6或7所述的运动图像编码装置，其特征在于：

所述量化具有四舍五入的量化特性。

9.根据权利要求8所述的运动图像编码装置，其特征在于：

只有当帧内编码的变换系数、与从所述修正中所使用的图像获得的变换系数的差分在帧间编码的量化死区幅度以下时，应用所述帧内编码的量化值的修正。

10.根据权利要求3所述的运动图像编码装置，其特征在于：

包括如下单元：该单元对以所述P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而生成的重构图像，进行帧内编码。

11.根据权利要求3所述的运动图像编码装置，其特征在于：

包括如下单元：该单元对以所述P帧的图像对帧内编码对象的图像进行帧间预测而生成的帧间预测图像，进行帧内编码。

12.根据权利要求10或11所述的运动图像编码装置，其特征在于：

当所述生成的图像、与帧内编码对象的图像的差分在像素空间的帧间编码的量化死区幅度以下时，应用所述帧内编码。

13.一种运动图像编码方法，其特征在于：

利用在采用帧间编码进行编码后重构的图像帧来对图像进行帧内编码。

14.根据权利要求13所述的运动图像编码方法，其特征在于：

采用所述帧间编码进行编码后重构的图像帧，相对于所述被帧内编码的图像而言是过去的图像帧。

15.根据权利要求14所述的运动图像编码方法，其特征在于：

所述过去的图像帧是所述被帧内编码的图像紧前面的P帧。

16.根据权利要求15所述的运动图像编码方法，其特征在于：

利用以P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而得到的重构图像，对帧内编码的量化值进行修正。

17.根据权利要求15所述的运动图像编码方法，其特征在于：

利用以所述P帧的图像对帧内编码对象的图像进行帧间预测而得到的帧间预测图像，对帧内编码的量化值进行修正。

18.根据权利要求16或17所述的运动图像编码方法，其特征在于：

作为帧内编码的量化值，采用对所述修正中使用的图像与帧内预测值图像的差分进行变换后实施量化而得到的量化值。

19.根据权利要求16或17所述的运动图像编码方法，其特征在于：

作为帧内编码的量化值，采用对所述修正中使用的图像进行变换后实施量化而得到的量化值。

20.根据权利要求18或19所述的运动图像编码方法，其特征在于：

所述量化具有四舍五入的量化特性。

21.根据权利要求20所述的运动图像编码方法，其特征在于：

只有当帧内编码的变换系数、与从所述修正中所使用的图像获得的变换系数的差分在帧间编码的量化死区幅度以下时，应用所述帧内编码的量化值的修正。

22.根据权利要求15所述的运动图像编码方法，其特征在于：

对以所述P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而生成的重构图像，进行帧内编码。

23.根据权利要求15所述的运动图像编码方法，其特征在于：

对以所述P帧的图像对帧内编码对象的图像进行帧间预测而生成的帧间预测图像，进行帧内编码。

24.根据权利要求22或23所述的运动图像编码方法，其特征在于：

当所述生成的图像、与帧内编码对象的图像的差分在像素空间的帧间编码的量化死区幅度以下时，应用所述帧内编码。

25.一种程序，该程序使信息处理装置进行运动图像编码，

所述程序使所述信息处理装置作为如下单元发挥作用：该单元利用在采用帧间编码进行编码后重构的图像帧来对图像进行帧内编码。

26.根据权利要求25所述的程序，其特征在于：

采用所述帧间编码进行编码后重构的图像帧，相对于所述被帧内编码的图像而言是过去的图像帧。

27.根据权利要求26所述的程序，其特征在于：

所述过去的图像帧是所述被帧内编码的图像紧前面的P帧。

28.根据权利要求27所述的程序，其特征在于：

所述程序使所述信息处理装置作为如下单元发挥作用：该单元利用以P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而得到的重构图像，对帧内编码的量化值进行修正。

29.根据权利要求27所述的程序，其特征在于：

所述程序使所述信息处理装置作为如下单元发挥作用：该单元利用以所述P帧的图像对帧内编码对象的图像进行帧间预测而得到的帧间预测图像，对帧内编码的量化值进行修正。

30.根据权利要求28或29所述的程序，其特征在于：

作为帧内编码的量化值，采用对所述修正中使用的图像与帧内预测值图像的差分进行变换后实施量化而得到的量化值。

31.根据权利要求28或29所述的程序，其特征在于：

作为帧内编码的量化值，采用对所述修正中使用的图像进行变换后实施量化而得到的量化值。

32.根据权利要求30或31所述的程序，其特征在于：

所述量化具有四舍五入的量化特性。

33.根据权利要求32所述的程序，其特征在于：

只有当帧内编码的变换系数、与从所述修正中所使用的图像获得的变换系数的差分在帧间编码的量化死区幅度以下时，应用所述帧内编码的量化值的修正。

34.根据权利要求27所述的程序，其特征在于：

所述程序使所述信息处理装置作为如下单元发挥作用：该单元对以所述P帧的图像对帧内编码对象的图像进行帧间预测、变换、量化、逆量化、逆变换而生成的重构图像，进行帧内编码。

35.根据权利要求27所述的程序，其特征在于：

所述程序使所述信息处理装置作为如下单元发挥作用：该单元对以所述P帧的图像对帧内编码对象的图像进行帧间预测而生成的帧间预测图像，进行帧内编码。

36.根据权利要求34或35所述的程序，其特征在于：

当所述生成的图像、与帧内编码对象的图像的差分在像素空间的帧间编码的量化死区幅度以下时，应用所述帧内编码。

37.一种运动图像编码装置，其特征在于，具有：使由帧内编码产生的噪声与由帧间编码产生的噪声类似的单元。

38.一种运动图像编码方法，其特征在于：使由帧内编码产生的噪声与由帧间编码产生的噪声类似。

39.一种运动图像的编码/解码系统，其中包括：

在对图像进行帧内编码时，利用在采用帧间编码进行编码后重构的图像帧进行编码的单元；和

对所述编码后的数据进行解码的解码单元。

40.一种运动图像的编码/解码方法，包括：

在对图像进行帧内编码时，利用在采用帧间编码进行编码后重构的图像帧进行编码的步骤；和

对所述编码后的数据进行解码的步骤。

Images