CN1465193A - 图像编码装置、图像译码装置、图像编码方法和图像译码方法 - Google Patents

Abstract

本发明将输入图像信号(101)分割为MC块单位，在按该分割单位进行编码处理时，由运动补偿部(107)按指定的MC块单位检测运动量，生成运动补偿预测图像(106a)，由平滑滤波部(124)对预测图像(106a)根据指定的判断基准对位于相互相邻的MC块的边界的像素进行平滑处理，对根据通过该平滑处理而得到的预测图像(106b)与输入图像(输入图像信号(101))的差分得到的预测差信号(108)进行编码。这样，对根据块单位的运动补偿帧间预测而生成的预测帧图像通过比较简易的运算对在该MC块间发生的不连续波形自适应地进行平滑处理，改善使用帧间MC的低位速率的编码效率。

Description

图像编码装置、图像译码装置、 图像编码方法和图像译码方法

技术领域

本发明涉及应用于移动图像传输系统等的用少的编码量传输存储图像的图像编码装置、图像译码装置、图像编码方法和图像译码方法。

背景技术

现有的图像编码方式是将图像帧分割为固定尺寸的块，以该分割单位进行编码处理。作为现有的图像编码方式的典型例，有在Le Gall.D“MPEG·A Video Compression Standard for MultimediaApplications”，Trans.ACM，1991，April中登载的MPEG(MovingPicture Experts Group)1编码方式。

在MPEG1中，将图像的各帧分割为称为宏块的固定块单位，参照以该单位完成编码的局部译码帧图像检测运动量(或运动矢量)，从参照图像中特定类似块，进行将其作为预测数据使用的运动补偿帧间预测(MC.Moving Compensation)。利用该技术，在图像中有运动时也可以追随运动而提高预测效率，从而可以削减在时间方向存在的冗余度。此外，对预测差信号以由8×8像素构成的块的单位进行DCT(Discrete Cosine Transform：离散余弦变换)处理，削减在空间方向残存的冗余度。在以MPEG1为主的各种标准图像编码方式中，通过将MC与DCT组合，进行图像信号的信息压缩。

图20是表示基于现有的MPEG1图像编码方式的图像编码装置的结构的框图。图20所示的图像编码装置的输入图像信号1是帧图像的时间序列，以后，用以表示帧图像单位的信号。另外，作为编码对象的帧图像的一例示于图21。当前帧601被分割为16像素×16行固定的正方形区域(称为宏块)，按该单位进行以下的处理。

由输入图像信号1决定的当前帧的宏块数据(当前宏块)先向运动检测部2输出，在此进行运动矢量5的检测。运动矢量5是参照帧存储器3存储的过去的已编码帧图像4(以下，称为局部译码图像4)的指定的检索区域找出与当前宏块类似的图形(以下，称为预测图像6)而求出该图形与当前宏块间的空间的运动量的结果。

这里，局部译码图像4不限定为过去的帧，也可以先将未来的帧编码并将其存储到帧存储器3中使用。使用未来的帧时，虽然将发生编码顺序的调换，从而增加处理延迟，但是，容易预测在过去与未来间发生的图像内容的变动，从而可以更有效地削减时间冗余度。

通常，在MPEG1中，可以有选择地使用双向预测(称为B帧预测)、仅使用前帧的前向预测(P帧预测)和不进行帧间预测而仅在帧内进行编码的I帧的3种编码类型。在图21中，仅限于P帧预测，将局部译码图像4记载为前帧602。

图20所示的运动矢量5用2维的平行运动量表现。作为运动矢量5的检测方法，通常可以使用图22A～D所示的块匹配。设置以当前宏块的空间相位为中心的运动探索范围603，根据前帧602的运动探索范围603内的图像数据604求出差分平方和或差分绝对值和为最小的块作为运动预测数据，将当前宏块与运动预测数据的位移量作为运动矢量5。

对当前帧内的全部宏模求出运动预测数据并将其作为帧图像表示的与图21中的运动预测帧605相当。取得经过以上的MC处理而得到的图21所示的运动预测帧605与当前帧601之间的差分606(用图20所示的减法部21取得)，将该差信号(以下，称为预测差信号8)作为DCT编码的对象。具体而言，就是运动补偿部7进行取出各宏块的运动预测数据(以下，称为预测图像6)的处理。该运动补偿部7的处理，使用运动矢量5从帧存储器3存储的局部译码图像4中取出预测图像6。

预测差信号8由DCT部9变换为DCT系数数据10(以后，也称为DCT系数10)。如图23所示，DCT将用610表示的空间像素矢量变换为表现用611表示的固定的频率成分的正规正交基底组。作为空间像素矢量，通常可以采用8×8像素的块(以下，称为DCT块)。DCT本身是分离型变换处理，所以，实际上是对DCT块的水平、垂直的8维行矢量和列矢量进行变换。

DCT利用在空间区域存在的像素间相关性，使DCT块内的功率集中度局域化。功率集中度越高，变换效率越高，与作为最佳变换的KL变换相比，对自然图像信号可以得到毫不逊色的性能。特别是在自然图像中，以DC成分为主轴，功率集中在低频区，在高频区几乎没有功率，所以，如图24所示，通过如613所示在DCT块内从箭头所示的低频区向高频区扫描的那样扫描612所示的量化系数，以使包含很多零位线，包括熵编码的效果，可以提高全体的编码效率。

DCT系数10的量化，由量化部11进行，在此得到的量化系数12由可变长编码部13进行扫描并进行行程编码，以压缩流14进行多路传输。另外，由运动检测部2检测的运动矢量5在后面所述的图像译码装置中是为了与图像编码装置一样生成预测图像所必须的，所以，对各宏块以压缩流14进行多路传输。

另外，量化系数12经过逆量化部15和逆DCT部16进行局部译码，结果，通过由加法部22与预测图像6相加，生成与图像译码装置相同的译码图像17。该译码图像17用于进行下一帧的预测，所以，存储到帧存储器3中。

基于现有的MPEG1图像译码方式的图像译码装置的结构示于图25，下面，说明其结构。在图像译码装置中，接收到压缩流14后，由可变长译码部18检测表示帧的开头的同步码，然后，对宏块单位复原运动矢量5和量化DCT系数12。运动矢量5向运动补偿部7d输出，运动补偿部7d和上述图像编码装置的动作一样，从帧存储器19(和帧存储器3一样使用)中取出仅运动矢量5运动了的图像部分，作为预测图像6。量化DCT系数12经过逆量化部15d和逆DCT部16d进行译码之后，由加法部23与预测图像6相加，得到最后的译码图像17。译码图像17在指定的显示时刻向图中未示出的显示设备输出，在此再生图像。

但是，在现有的装置中，MC是以作为其单位的块(以下，称为MC块，在上述MPEG1的例中为宏块)内的全部像素具有相同的运动为前提进行运动量的检测的，所以，在将MC块进行空间配置而构成的预测图像中，在MC块的边界，有可能出现不连续性且可以察觉的信号波形。在对差信号分配充分的编码量时，该不连续波形可以通过插入差成分进行修正，但是，进行高压缩率的编码时，不能表现充分的差信号，不连续边界就会很显眼，从而将会察觉到畸变。

另外，由于DCT是在固定块内封闭的正交变换，所以，通过粗的量化削减变换基底的系数时，就不能再构成将块间进行自然联系的信号波形，于是在块间将发生不自然的畸变(块畸变)。

作为解决前者的MC块边界的不连续性的方法，提案了重叠运动补偿(以下，称为OBMC)。如图26A、B所示，OBMC是通过在各MC块中将由其周边的MC块具有的运动矢量特定的预测数据加权与由自身的运动矢量特定的预测数据相加而求出最后的预测数据的技术。

在图26A中，帧F(t)以帧F(t-1)作为参照图像从参照图像中以各MC块(例如A～E)为单位取出预测数据。通常的MC仍然使用这些预测数据，但是，在OBMC中，在决定块C的预测图像Pc时，使用图26B所示的周边的块A、B、D、E的运动矢量MV(A)、MV(B)、MV(C)、MV(D)，分别取出与块C的位置对应的预测数据。在该取出中，P{C、MV(A)}表示使用MV(A)取出C位置的预测数据的处理。将该取出的各预测数据按下式那样用W1～W5进行加权相加。

Pc＝W1×P{C、MV(C)}+W2×P{C、MV(A)}+W3×P{C、MV(B)}+W4×P{C、MV(D)}+W5×P{C、MV(E)}

这时，通常加权设定为从块C的中心向块边界使块C的原来的预测数据的影响减小。利用这样的处理，周边区域的运动量与自身的运动量重叠，决定预测图像，所以，在MC块的内外的迅速间保持了波形的连续性，从而边界不明显。

但是，在OBMC中，不仅自身的运动矢量的预测数据的取出而且周围MC块的运动矢量的预测数据的取出处理以及它们的加权相加处理对所有的MC块进行，所以，存在运算负荷高的问题。

另外，在图像编码的运动量检测中，与其说是以跟随被摄体的自然的运动的运动量不如说是以预测差的功率成为最小作为规范进行检测的，所以，在包含很多噪音的区域等有时检测的不是跟随实际的运动的运动，在这样的地方，在OBMC中通过使周边的运动量的影响相互重合，MC块将发生过度的平滑化处理，或者发生双线模糊等。

另一方面，作为解决后者的DCT的块畸变的方法，提案了环路内滤波器。对于将经过编码、局部译码的预测差信号与预测图像相加而得到的译码图像，环路内滤波器对该DCT块的边界进行平滑滤波。这是通过从以后的帧使用的参照图像中除去块畸变而使DCT量化引起的畸变的影响不会带到MC中的方法，但是，只要按块单位进行MC处理，MC块间的不连续就依然不可避免。另外，进行子带编码或跨越块的基底变换等与块结构无关的差编码时，由于存在块边界的不连续波形，从而不可避免地影响编码效率的提高。

发明内容

本发明就是鉴于上述问题而提案的，目的旨在可以提供，对通过以块为单位的运动补偿帧间预测(MC)而生成的预测帧图像，通过比较简易的运算，将在该MC块间发生的不连续波形进行自适应的平滑处理，从而可以改善使用帧间MC的低位速率的编码效率的图像编码装置、图像译码装置、图像编码方法和图像译码方法。

为了解决上述问题，本发明的图像编码装置的特征在于：具有对输入图像按指定的部分图像区域单位检测运动量从而生成运动补偿预测图像的运动补偿预测单元、对由上述运动补偿预测单元得到的预测图像根据指定的判断基准进行位于相互相邻的部分图像区域的边界的像素的平滑化处理的平滑化单元和将根据上述输入图像与上述进行了平滑化处理的预测图像的差分而得到的预测差信号进行编码的预测差编码单元。

另外，作为与其对应的图像译码装置，本发明的图像译码装置的特征在于：具有按指定的部分图像区域单位检测运动量从而生成运动补偿预测图像的运动补偿预测单元、对由上述运动补偿预测单元得到的预测图像根据指定的判断基准进行位于相互相邻的部分图像区域的边界的像素的平滑化处理的平滑化单元、将编码侧的预测差信号译码的预测差译码单元和将由上述预测差译码单元得到的译码预测差信号与上述进行了平滑化处理的预测图像相加而得到译码图像的加法单元。

另外，为了解决上述问题，本发明的图像编码方法的特征在于：包括对输入图像按指定的部分图像区域单位检测运动量从而生成运动补偿预测图像的运动补偿预测步骤、对由上述运动补偿预测步骤得到的预测图像根据指定的判断基准进行位于相互相邻的部分图像区域的边界的像素的平滑化处理的平滑化步骤和将根据上述输入图像与上述进行了平滑化处理的预测图像的差分而得到的预测差信号进行编码的预测差编码步骤。

另外，作为与其对应的图像译码方法，本发明的译码方法的特征在于：包括按指定的部分图像区域单位检测运动量从而生成运动补偿预测图像的运动补偿预测步骤、对由上述运动补偿预测步骤得到的预测图像根据指定的判断基准进行位于相互相邻的部分图像区域的边界的像素的平滑化处理的平滑化步骤、将编码侧的预测差信号译码的预测差译码步骤和将由上述预测差译码步骤得到的译码预测差信号与上述进行了平滑化处理的预测图像相加而得到译码图像的加法步骤。

按照上述结构，对预测图像根据指定的判断基准进行位于相互相邻的部分图像区域的边界的像素的平滑化处理，所以，可以将部分图像区域的不连续向容许进行平滑化处理的方向修正，这样，就可以抑制在预测差中发生的不连续波形，提高编码效率。结果，对通过块单位的运动补偿帧间预测(MC)而生成的预测帧图像可以通过比较简易的运算对在该MC块间发生的不连续波形自适应地进行平滑处理，这样，便可改善使用帧间MC的低位速率的编码效率。

附图说明

图1是表示本发明实施例1的图像编码装置的结构的框图。

图2是表示实施例1的图像译码装置的结构的框图。

图3A～G是表示MC(运动补偿帧间预测)块形状的图。

图4是块单位MC的问题的说明图。

图5是表示实施例1的平滑滤波部的结构的框图。

图6是用于说明平滑滤波部的块活性度计算部的计算处理的动作的流程图。

图7是表示决定块活性度的单位的一例的图。

图8是说明在平滑滤波部中修正滤波处理部的平滑滤波中无用的滤波处理的修正处理的动作的流程图。

图9是表示平滑滤波处理中横向相邻的块间的处理对象像素的情况的图。

图10A、B是表示其他滤波器的平滑滤波处理中横向相邻的块间的处理对象像素的情况的图。

图11是表示在平滑滤波部的后处理部中决定的函数的图。

图12是表示本发明实施例2的图像编码装置的结构的框图。

图13是表示实施例2的图像译码装置的结构的框图。

图14是用于说明在本发明实施例3的平滑滤波部中对块边界定义活性度的图。

图15A、B是用于说明在本发明实施例4的平滑滤波部中以滤波对象的像素为中心使用左右2个像素实施5抽头的滤波器的情况的图。

图16是表示本发明实施例5的图像编码装置的结构的框图。

图17是表示实施例5的图像译码装置的结构的框图。

图18是表示实施例5的平滑滤波部的结构的框图。

图19是用于说明实施例5的平滑滤波部的块活性度计算部的动作的流程图。

图20是表示现有的基于MPEG1图像编码方式的图像编码装置的结构的框图。

图21是运动补偿帧预测的概念图。

图22A～D是块匹配的运动补偿的概念图。

图23是离散余弦变换的概念图。

图24是量化和行程编码的说明图。

图25是表示现有的基于MPEG1图像译码方式的图像译码装置的结构的框图。

图26A、B是OBMC(重叠运动补偿)的说明图。

具体实施方式

下面，参照附图详细说明本发明的实施例。

实施例1.

图1是表示本发明实施例1的图像编码装置的结构的框图，图2是表示图像译码装置的结构的框图。图1所示的图像编码装置通过MC削减在时间方向存在的冗余度，对MC的结果得到的预测图像，使各个MC块间的空间的不连续性定量化，根据其状况自适应地进行平滑滤波处理，从而进行有效的图像编码。

在该图像编码装置中，MC的顺序与现有例中所述的方法基本上相同，该顺序的概要如图21所示，运动矢量检测使用的块匹配处理的概要如图22A～D所示。但是，MC块在图3A～G中如MC模式1～7所示的那样可以用均等分割为各种矩形区域的单位定义宏块，将表示使用什么样的MC块形状的识别信息作为编码模式信息进行传输。

例如，在图3A所示的MC模式1中，将宏块本身作为MC块，所以，对宏块决定1条运动矢量。与此相反，在图3B所示的MC模式2中，将把宏块分割为左右两半的区域作为MC块，对每1宏块决定2条运动矢量。同样，在图3G所示的MC模式7中，对每1宏块决定16条运动矢量。

对根据经过平滑化处理的预测图像与输入图像的差分而得到的差信号进行正交变换之后，进行其系数的量化和熵编码的顺序也和在现有例中参照图24说明的一样。

下面，参照这些图以特别是作为本实施例的特征的平滑滤波处理为中心说明图1和图2所示的图像编码装置和图像译码装置的动作。

先说明图像编码装置的动作。输入图像信号101是帧图像的时间序列，以后，规定表示帧图像单位的信号。但是，设成为编码对象的帧图像是图21所示的当前帧601。

当前帧按以下的顺序进行编码。输入图像信号101按各宏块输入运动检测部102，在此进行运动矢量105的检测。对于成为运动矢量的单位的MC块，设在图3A～G所示的形状中选择了编码效率最高的形状。运动补偿部107使用运动矢量105参照帧存储器103存储的参照图像104(进行了编码和局部译码的帧图像)取出各宏块的预测图像106a。

运动检测部102和运动补偿部107对各宏块进行处理，但是，设与输入图像信号101的差分信号(预测差信号108)以帧为单位而得到。即，各个宏块的运动矢量105遍及帧全体进行保持，预测图像106a作为帧单位的图像而构成。

然后，在平滑滤波部124中，进行预测图像106a的MC块间的平滑化处理。该处理内容在后面详细说明。平滑后的预测图像106b由减法部131从输入图像信号101中减去，这样，便得到预测差信号108。该预测差信号108由正交变换部109变换为正交变换系数数据110。在该正交变换中可以使用例如DCT。正交变换系数数据110经过量化部111后，由可变长编码部113进行扫描和行程编码，以压缩流114进行多路传输。

这时，也叠加了表示对各宏块确定用帧内编码和帧间编码的哪一种进行编码的编码模式信息123，是帧间模式时，运动矢量105就按各宏块以压缩流114进行多路传输。另外，量化系数112经过逆量化部115、逆正交变换部116进行局部译码，其结果由加法部132与预测图像106b相加，生成与图像译码装置侧相同的译码图像117。译码图像117作为下一帧的预测的参照图像104使用，所以，存储到帧存储器103中。

下面，参照图2说明图像译码装置的动作。在该图像译码装置中，接收到压缩流114后，由可变长译码部118检测表示各帧的开头的同步码，以后，按宏块单位复原编码模式信息123、运动矢量105和量化正交变换系数112。运动矢量105向运动补偿部107输出，运动补偿部107和图像编码装置的动作一样，从帧存储器122(与帧存储器103相同地使用)中取出仅运动矢量105运动的图像部分作为预测图像106a。

预测图像106a经过平滑滤波部124后，作为经过平滑处理的预测图像106b而输出。量化正交变换系数112经过逆量化部120和逆正交变换部121进行译码后，由加法部133与预测图像106b相加，成为最后的译码图像117。译码图像117存储到帧存储器122中，同时，在指定的显示时刻向图中未示出的显示设备输出，在此再生图像。

下面，说明平滑滤波部124的动作。首先，参照图4说明必须进行平滑滤波的理由。图4表示输入图像141、不发生MC块间的不连续的预测图像142和使用该预测图像142的预测差图像143、发生MC块间的不连续的预测图像144和使用该预测图像144的预测差图像145。块匹配等在一般的图像编码方式的运动检测算法中，以MC块为单位检测运动矢量。

即，包含在MC块内的像素都具有相同的运动矢量。通常，在块单位MC中，对该MC块而言，检测使预测差降低到最低的运动矢量，所以，不考虑与相邻的MC块的空间的连续性。因此，如图4所示，有时在MC块间发生不连续波形146。这样的不连续波形146将残留在差信号中，成为编码对象信号。这里应注意的是，正交变换本身是在上述MC块中封闭进行的，所以，不会对该帧的编码有影响。

但是，在该帧的预测差编码中，这种特异波形不能被充分进行编码时，该波形成分将残留在局部译码图像中，在以后的帧的预测图像中将出现在MC块的内部。这时，对预测差信号的编码效率有影响。在自然图像中，本来MC块的边界应是光滑地连接的，平滑滤波部124的处理，目的是根据该假定通过将MC块间存在的不连续波形进行平滑化处理而得到与自然图像接近的预测图像。

平滑滤波部124的结构示于图5，下面，说明该结构。首先，在块活性度计算部125中，按预测图像106a的固定块X单位决定块活性度S(X)。块活性度计算部125的处理的流程示于图6。如图7所示，S(X)的决定是根据与周围的块的关系而进行的。这里，块A～E是决定块活性度的单位，不一定与MC块相同。例如，块A表示是尺寸比其大的MC块147的一部分。即，块活性度与图3A～G所示的MC块的大小无关，以固定尺寸的块为对象。首先，遍及帧的全部区域将S(X)设定为指定的初始值S0(例如零)。然后，在包含块C的宏块的编码模式信息123表示内部模式时，块活性度S(X)就根据下述规则1而决定(步骤ST1)。

(规则1)

①将现在的S(A)更新为max{S(A)、S0+1}

②将现在的S(B)更新为max{S(B)、S0+1}

③将现在的S(C)更新为max{S(C)、S0+2}

④将现在的S(D)更新为max{S(D)、S0+1}

⑤将现在的S(E)更新为max{S(E)、S0+1}

这样，进行内部编码的块的周边就设定为块活性度高。通常，内部编码的预测图像的分辨率比中间编码的预测图像低，所以，在内部编码的宏块内的块中，其边界容易明显。步骤ST1的处置，与提高该区域的平滑处理的优先度相当。

其次，说明包含块C的宏块的编码模式信息123表示中间编码时的S(X)的设定规则。首先，判断现在的预测图像是否是使用双向预测而生成的(在现有例中所述的B帧预测)(步骤ST2)。

可以使用双向预测时，对各宏块可以改变预测的方向。预测的方向在块间不同时，在其两者的边界不能假定空间的连续性。即，这时，就对块C与相邻的块A、B、D、E的预测方向是否相同进行判断，并切换处理(步骤ST3)。

仅使用单向预测时或是可以双向预测的帧并且块C的预测方向相同时，根据下述规则2更新块活性度(步骤ST4)。

(规则2)

①如果包含块A的宏块是中间模式，就将现在的S(A)更新为max{S(A)、K}，并且将现在的S(C)更新为max{S(C)、K}。

其中，K＝2(mvd(A、C)≥3时)

      K＝1(0＜mvd(A、C)＜3时)

      K＝0(mvd(A、C)＝0时)

②如果包含块B的宏块是中间模式，就将现在的S(B)更新为max{S(B)、K}，并且将现在的S(C)更新为max{S(C)、K}。

其中，K＝2(mvd(B、C)≥3时)

      K＝1(0＜mvd(B、C)＜3时)

      K＝0(mvd(B、C)＝0时)

③如果包含块D的宏块是中间模式，就将现在的S(D)更新为max{S(D)、K}，并且，将现在的S(C)更新为max{S(C)、K}。

其中，K＝2(mvd(D、C)≥3时)

      K＝1(0＜mvd(D、C)＜3时)

      K＝0(mvd(D、C)＝0时)

④如果包含块E的宏块是中间模式，就将现在的S(E)更新为max{S(E)、K}，并且将现在的S(C)更新为max{S(C)、K}。

其中，K＝2(mvd(E、C)≥3时)

      K＝1(0＜mvd(E、C)＜3时)

      K＝0(mvd(E、C)＝0时)

⑤如果块A、B、D、E是内部编码，这些块的活性度就不变更。

在上述说明中，mvd(X、Y)表示相邻的块X、Y的运动矢量的各成分的差分值中大的值。另外，max(a、b)表示a、b中大的一方的值。通过以上的块活性度的更新，在运动矢量之差大的块间可以获得高的块活性度。

在mvd(X、Y)＝0时(块X与Y间的运动矢量之差没有时)，表示块边界完全保持空间的连续性的情况，这时，没有必要进行平滑化处理，所以，块活性度设定为最低值。

另一方面，在可以使用双向预测的帧中，并且块A、B、D、E的预测方向与块C不同时，或者在将前方和后方的预测值相加求平均而合成预测图像的模式中，与运动矢量的差分无关地切断了预测图像的空间的连续性，所以，将现在的S(X)更新为max{S(X)、1}(X是A～E的各块)(步骤ST5)。以上的处理对帧内的所有的固定块X进行，直至处理结束(步骤ST6)，这样就完成了块活性度S(X)126的设定。

在滤波处理部127中，使用由块活性度计算部125设定的块活性度S(X)126对预测图像106a进行MC块间的平滑处理。在平滑处理的过程中，由后处理部129修正无谓的滤波处理，以使暂时进行平滑滤波的结果128不致成为过度的平滑。该处理过程示于图8的流程图，另外，横向相邻的块间的处理对象像素的情况示于图9，下面，对其进行说明。

在图9中，像素r₁～r₃包含在块n中，像素l₁～l₃包含在其左邻的块n-1中。在以后的说明中，假定块n和块n-1具有不同的矢量MV(n)和MV(n-1)，r₁与l₁之间是MC块边界BD。纵向相邻的块间的处理对象像素也采用同样的定义。

首先，判断块边界差分值d＝|r₁-l₁|(其中，r₁、l₁分别表示像素r₁、l₁的像素值)的大小是否超过了根据块活性度S决定的阈值α(S)(步骤ST7)。在以下的滤波处理中，对2个块的边界进行处理，所以，将作为处理对象的2个块的S(X)中大的-方的值作为块活性度S使用。例如，在图7中，对块B与块C的边界进行滤波处理时，如果S(B)＞S(C)，就将S(B)的值作为块活性度S使用。差分值d小于阈值α(S)时，就不对像素r₁～r₃、l₁～l₃的区域进行滤波处理。另一方面，差分值d超过阈值α(S)时，根据S切换进行滤波的像素区域，进行滤波处理(步骤ST8)。

结果，如果S＝0，在块边界就不存在不连续，从而跳过滤波处理。如果S＝1，就对像素r₁和像素l₁ 2个像素进行滤波处理(步骤ST9)。滤波处理例如图9所示的那样，有对像素r₁使用像素r₁、l₁、r₂的3点、而对像素l₁使用像素l₁、l₂、r₁的3点的使用低通滤波器F的方法等，但是，这些滤波可以利用任意的滤波器。例如，可以使用以像素r₁、l₁为中心利用左右(上下)2个像素的5抽头滤波器。作为别的滤波器的例子，如图10A所示，在对像素l₁进行滤波时，可以考虑使用像素r₁和用像素l₁的矢量MV(n)取出的像素l₁的位置的预测像素值l r₁的结构，而在像素r₁进行滤波时，如图10B所示，可以考虑使用像素l₁和用像素l₁的矢量MV(n-1)取出的像素r₁位置的预测像素值rl₁的结构等。预测像素值lr₁、rl₁本来在帧存储器内的参照图像区域中就是与像素r₁、l₁空间连续的像素值，这样便可进行更自然的块边界的平滑处理。

S＝2时，除了像素r₁、l₁外，像素r₂、l₂也被作为进行平滑处理的对象像素(步骤ST10、步骤ST11)。在S＝2的情况中，由于块活性度高，成为急剧的不连续边界的情况多，加强平滑处理的程度，目的是为了提高信号的连续性。

在滤波处理部127中进行上述处理。经过滤波处理的预测像素值128，在后处理部129中进行修正，用以提高编码效率。后处理部129的处理与图8的步骤ST12、ST13相当。在后处理部129中，利用根据块活性度S决定的阈值Th(S)控制进行滤波处理前的像素值与进行滤波处理后的像素值的差分值Δ。

具体而言，规定图11所示的函数(横轴：Δ、纵轴：Δ修正值)，决定修正值。这里，阈值Th(S)是最大限度容许的差分值，发生Δ大于该值时，根据该值的大小，向差分减小的方向进行修正。Δ大于等于阈值Th(S)时，可以推定通过滤波处理而得到的差分不是由于MC块的不连续引起的，而是对原来图像内存在的边缘成分进行滤波处理的结果。

这样，按照实施例1的图像编码装置和图像译码装置，利用平滑滤波部124的上述修正措施，可以将MC块的不连续向容许进行合适的滤波处理的方向修正。通过以上的处理输出预测图像106b，这样，便可抑制预测差中发生的不连续波形，从而可以提高编码效率。

进行图7的块活性度的设定时，在中间模式中，是与mvd(X、Y)值的范围对应地将块活性度分类的，但是，范围的决定方法是任意的。特别是可以仅根据mvd(X、Y)是否为零的基准决定中间模式时的块活性度。此外，在图3A～G所示的各种MC块形状内，可以说运动矢量赋予的单位越小、每1宏块的运动矢量的条数越增加，该宏块及其附近的运动就越大，所以，在图3A～G所示的MC模式1～7中，可以选择某一个作为基准来设定块活性度。

另外，本平滑滤波处理也可以按帧为单位进行接通/断开(ON/OFF)控制。平滑滤波部124的处理本身是按MC块单位变更最佳选择的预测图像数据的处理，所以，通过该处理不仅影响编码效率的提高，而且也会带来不良的影响。因此，在图像编码装置中，进行帧单位的图像分析，事前判断是否存在发生MC块间的不连续的运动，发生不连续时，就接通平滑滤波部124，否则就断开。

作为图像分析的例子，有评价输入图像信号101与预测图像106a间的暂定的差等。在分析差的信号分布和进行差编码处理之后，在不利因素少的帧中不必进行平滑滤波处理，所以，就将滤波器断开，在不利因素多的帧中，就接通滤波器。例如，全体的差信号量在MC边界的差信号量的比例大于某一一定的阈值时，就接通滤波器，在小于阈值时就将滤波器断开。另外，在进行平滑处理的情况和不进行平滑处理的情况中，有在将帧单位的编码效率比较之后决定接通/断开的方法。接通/断开的结果，作为压缩流114中的帧开头的标题信息的一部分(表示有无平滑处理的位信息)进行传输。通过采用这样的结构，对非常规的图像信号可以应用自适应的平滑处理。

实施例2.

图12是表示本发明实施例2的图像编码装置的结构的框图，图13是表示图像译码装置的结构的框图。在实施例2中，涉及将以上说明的本发明的平滑滤波器导入应用称为Matching Pursuils的技术的压缩编码方式的图像编码、译码装置中的装置。关于使用MatchingPursuits的图像编码方式，已在R Neff ct，al、“Very Low Bit-rateVidco Coding Based on Matching Pursuits”，IEEE Trans、on CSVT、vol.7、pp158-171、Feb.(1997)等中提案了。在Matching Pursuits中，成为编码对象的预测差图像信号f，可以使用由n种基底g_k∈G(1≤k≤n)构成的预先准备的过完备(over-completc)的基底集G表现为下式。 $f=(\underset{i=0}{\overset{m-1}{\mathrm{\&Sigma;}}}<s_i,g_{\mathrm{ki}}>g_{\mathrm{ki}})+r_m\&CenterDot;\&CenterDot;\&CenterDot;\left(1\right)$

其中，m是基底探索总步骤数，i是基底探索步骤号码，r_i是到第i-1步骤的基底探索为止而结束后的预测差图像信号，将其直接作为第i步骤的基底探索的对象的预测差图像信号。但是，设r₀＝f。另外，s_i和g_ki是在第i步骤的基底探索中通过选择r_i上的任意的部分区域s(帧内的部分区域)和包含在基底集G中的任意的基底g_k中使s和g_k的内积值为最大的组合而得到的部分区域和基底。如果这样进行基底探索，则基底探索步骤数m越大，r_la具有的能量就越小。这就表示，预测差图像信号f的表现所使用的基底数越多，就越可以表现信号。

在各基底探索步骤中，编码的信息是

①表示g_ki的下标(g_k在编码侧和译码侧共同保持，通过仅交换该下标信息可以特定基底)、

②内积值<s_i，g_ki>(与基底系数对应)、

③si的中心点的画面内位置信息p_i＝(x_i，y_i)。

将这些参量组称为原子。按照该图像信号表现和编码方法，编码的原子数越增加，即基底探索总步骤数m越增加，编码量也越增加，从而畸变越减小。

另一方面，在上述论文中的Matching Pursuits的图像编码中，MC与Matching Pursuits独立进行，对该预测差信号进行原子的抽出。这时，原子有可能在跨越MC块的位置抽出。只要MC是与块结构相关的方式，上述实施例1所述的MC块间的不连续波形就残留在差信号中，从而将本来不应编码的波形进行编码了。

以往，作为解决的对策，是利用考虑周边的MC块的运动矢量的重叠MC等，但是，在重叠MC中，参照更多的预测值计算进行加权求和的最终预测值，所以，运算的成本增大，并且不能对MC块内的像素值进行自适应的平滑处理，所以，将使预测图像模棱两可。通过在实施例1所述的MC块边界进行自适应平滑滤波处理，可以使预测图像不模棱两可地进行差信号的平滑处理。

在图12所示的图像编码装置中，输入图像信号201是帧图像的时间序列，以后，规定表示帧图像单位的信号。但是，成为编码对象的帧图像与图21所示的当前帧601相当。当前帧按以下的顺序进行编码。

首先，当前帧向运动检测部202输出，按照和上述实施例1中的运动检测部102完全相同的顺序进行运动矢量205的检测。但是，在运动检测部202中，将内部编码分离为DC成分和AC成分，对于DC成分将其编码结果作为预测图像的一部分使用，AC成分则作为预测差的一部分进行编码。这是为了利用Matching Pursuits而按帧单位用于统一得到预测图像的处理。

因此，在运动检测部202中，选择了内部模式时，对于其宏块的预测图像以进行编码和局部译码的内部DC成分嵌入。内部DC成分在DC编码部225中由周边图像数据进行预测和量化处理，作为编码数据226向可变长译码部213输出，以压缩流214多路传输。

运动补偿部207在内部模式的宏块中如上述那样使用其DC成分，另外，在中间模式的宏块中使用运动矢量205，参照帧存储器203中的局部译码图像204作成当前帧的预测图像206a。运动检测部202和运动补偿部207对各宏块进行处理，但是，与输入图像信号201的差分信号(预测差信号208)以帧为单位而得到。即，各个宏块的运动矢量205在帧全体区域上保持，预测图像206a以帧单位的图像而构成。

其次，在平滑滤波部224中，进行预测图像206a的MC块间的平滑处理。平滑滤波部224的动作，使用编码模式信息223和运动矢量205通过与实施例1相同的处理而实现。平滑处理后的预测图像206b由减法部241从输入图像信号201中减去，得到预测差信号208。

然后，在原子抽出部209中，对预测差信号208根据上述MatchingPursuits的算法生成原子参量210。基底集g_k211存储到基底代码簿210中。在Matching Pursuits算法的性质上，如果在初始的探索步骤中可以找到可以尽可能正确地表现部分信号波形的基底，则用更少的原子即少的编码量就可以表现部分信号波形。原子从帧全体区域中抽出。在原子参量中，为了进行位置信息的编码，使用原子的编码顺序对译码图像没有影响的参量，在以帧的左上角为原点的2维坐标上，顺序排列地进行分类，并且按宏块的单位计数原子，构成编码顺序。这样，对于宏块单位，仅将包含在其内部的原子数的原子参量212(基底下标、位置信息、基底系数)进行编码。

在原子译码部215中，根据这些原子参量212复原局部译码差信号216，通过在加法部242中与进行了平滑处理的预测图像206b相加，得到局部译码图像217。局部译码图像217用于下一帧的MC，所以，存储到帧存储器203中。

下面，参照图13说明图像译码装置。在该图像译码装置中，接收到压缩流214之后，由可变长译码部229检测表示各帧的开头的同步码，以后，按宏块到复原编码模式信息223、运动矢量205和原子参量212。运动矢量205向运动补偿部207输出，该输出206a输入平滑滤波部224，在此得到预测图像206b。原子参量212由原子译码部215进行译码。基底通过将基底下标赋予基底代码薄210而取出。原子译码部215的输出216通过在加法部243与预测图像206b相加而成为译码图像217。该译码图像217用于以后的帧的MC，所以，存储到帧存储器230中。译码图像217在指定的显示时刻向图中未示出的显示设备输出，在此再生图像。

这样，按照实施例2的图像编码装置和图像译码装置，在应用称为Matching Pursuits的技术的压缩编码方式的图像编码、译码装置中，也可以得到与上述实施例1同样的效果。

实施例3.

下面，说明本发明的实施例3。实施例3是说明别的平滑滤波部的实施例。本平滑滤波部是在上述实施例1和实施例2中说明的平滑滤波部124、224的变形，可以简单与它们进行置换，所以，可以应用于图1、2或图12、13所示的图像编码装置和图像译码装置。此外，内部结构也与图5相同。

在实施例3的平滑滤波部中，块活性度计算部125不是对块本身而是对块边界定义活性度信息。这样，就不是像实施例1和实施例2所述的那样选择块间在活性度不同的状况下使用的活性度，而是可以唯一地分配活性度来控制滤波器。

由于对块边界定义活性度，所以，如图14所示，对1个块(此处为C)的左和上的2个边界分别定义活性度S_L(C)和S_H(C)。在决定S_L(C)时，根据与左边的块B的关系求出活性度，决定S_H(C)时根据与上边的块A的关系求出活性度。

对于块D、E间的边界，作为S_L(D)和S_H(E)进行决定。活性度的决定方法，如实施例1所示的那样，根据2个块间的运动矢量差分与编码模式的不同进行决定，所以，可以按照与实施例1相同的设定规则进行决定。

这样，按照实施例3的平滑滤波部，不是像实施例1和实施例2所述的那样选择块间在活性度不同的状况下使用的活性度，而是可以唯一地分配活性度来控制滤波器。

此外，在实施例3中，活性度决根据左和上的块进行决定，所以，在按宏块的单位生成预测图像而进行编码、译码的装置中，也可以进行MC块的平滑处理而执行编码、译码处理。因此，通过将流水线处理导入宏块单位，可以高速而有效地装配到图像编码装置和图像译码装置中。

实施例4.

下面，说明本发明的实施例4。实施例4是说明别的平滑滤波部的实施例。本平滑滤波部是在上述实施例1和实施例2中说明的平滑滤波部124、224的变形，可以简单与它们进行置换，所以，可以应用于图1、2或图12、13所示的图像编码装置和图像译码装置。此外，内部结构也与图5相同。

在实施例4的平滑滤波部中，根据活性度切换滤波器的特性。图15A、B表示以滤波对象的像素r₁为中心使用左右2个像素实施5抽头的滤波器的情况。在活性度高(S＝2)、想进而提高平滑的程度的情况下，如图15B所示，应用滤波窗内附近像素的影响更多的滤波器，相反，在活性度低(S＝1)、想抑制平滑处理引起的超过所需要的对细节的破坏的情况下，如图15A所示，就应用自身的像素的影响强的滤波器。

这样，按照实施例4的平滑滤波部，可以根据活性度控制平滑处理的程度。

滤波特性的切换，可以根据活性度选择多个特性，并且可以将特性的识别信息与压缩流114重叠向图像译码装置传输。通过采用这样的结构，根据图像编码装置侧的图像分析可以将更详细的自适应判断反映在滤波特性中，并且在图像译码装置中不进行在图像译码装置中进行的特殊的图像分析处理，就可以实现自适应的平滑滤波处理。本实施例4使用实施例3所述的对块边界定义的活性度时，同样也可以应用。

切换滤波特性时，利用的滤波特性的种类可以作为例如压缩流中的帧开头的标题信息的一部分进行传输。

实施例5.

图16是表示本发明实施例5的图像编码装置的结构的框图，图17是表示图像译码装置的结构的框图。但是，在图16所示的实施例5的图像编码装置中，对于与图1的实施例1的各部分对应的部分标以相同的符号，在图17所示的实施例5的图像译码装置中，对于与图2的实施例1的各部分对应的部分标以相同的符号，并省略其说明。

图16所示的图像编码装置和图17所示的图像译码装置与实施例1不同的地方是，使用别的平滑滤波部524取代平滑滤波部124。该平滑滤波部524的内部结构示于图18，平滑滤波部524的块活性度计算部525的动作说明示于图19。

即，本平滑滤波部524是在上述实施例1和实施例2中说明的平滑滤波部124、224的变形，除了输入参照图像104外，可以与它们简单地进行置换。在实施例5中，取平滑滤波处理前的预测图像106a与成为生成该预测图像106a的基础的帧存储器103中的参照图像104的差分，根据其误差功率进行滤波控制。

预测图像106a是使用运动矢量105从参照图像104中取出的图像数据，是与向图像编码装置输入的输入图像信号101近似的图像数据。即，参照图像104和预测图像106a在空间上比较同一个地方时，在有运动的部分误差功率大，在运动小的部分误差功率小。运动矢量105的大小在某种程度上表现运动量，但是，与噪音等图像的变化本身无关的因素也影响检测，所以，仅靠其大小不能充分表现运动的大小和激烈程度，但是，上述误差功率可以作为运动的激烈程度的指标利用，从而可以提高滤波控制的适应性。另外，参照图像104在编码侧和译码侧可以使用完全相同的数据，所以，导入本控制时，不向译码装置传输特别的识别信息就可以实现。

具体而言，如图18所示，向块活性度计算部525输入参照图像104和预测图像106a，对各块求出参照图像104与预测图像106a的误差功率。这里，是削减多余的运算量，所以，如图19的步骤ST14所示，在判定活性度为零而没有运动的地方，跳过误差功率的评价。因为，在运动矢量的差分mvd(X、Y)为零时，不论该处是如何运动激烈的部位，都保持空间的连续性，从而没有必要进行平滑处理。

在活性度至少大于零时，不是仅用运动矢量评价活性度，而且使用求出的误差功率进行评价，在活性度大于指定的阈值时，就使活性度向增大的方向变化，如果小于指定的阈值，就使活性度成为零，不进行平滑处理(步骤ST15)。这时，提高活性度的方向的阈值和降低方向的阈值可以不一定相同。

另外，在实施例5中，对于参照图像104，在帧存储器存储之前预先计算评价块单位的块内平均值，进行缓冲，对于预测图像106a，同样也求出平均值，可以仅用平均值进行误差功率的评价。

参照图像104与预测图像106a的误差量的平均值是支配成分，并且可以仅将平均值预先存储到小的缓冲器中，所以，不会影响活性度的判断，并且可以减少对活性度计算时的帧存储器的访问频度。

另外，如上述实施例3那样，对块边界削减活性度时，定义跨越块边界的部分区域，按该单位评价参照图像104与预测图像106a的误差量。

此外，在实施例5中，将参照图像104与预测图像106a的误差量用于活性度本身的更新，对于具有某一指定的活性度的值的地方，可以用于变更所进行的滤波的特性。例如，某一块或块边界的活性度在定义的活性度的范围内是中间的值时，这时的滤波特性根据状况而变化就增加了适应性。因此，切换参照图像104与预测图像106a的误差量进行评价。

这样，按照实施例5的平滑滤波部，如上所述，可以提高滤波控制的适应性，另外，参照图像104在编码侧和译码侧可以使用完全相同的数据，所以，导入本控制时，不向译码装置传输特别的识别信息就可以实现。此外，不会影响活性度的判断，可以减少对活性度计算时的帧存储器的访问频度。

本发明作为例如应用于运动图像传输系统的图像编码装置和图像译码装置使用。

Claims (52)

1.一种图像编码装置的特征在于：具有

对输入图像按指定的部分图像区域单位检测运动量从而生成运动补偿预测图像的运动补偿预测单元；

对由上述运动补偿预测单元得到的预测图像根据指定的判断基准对于位于相互相邻的部分图像区域的边界的像素进行平滑化处理的平滑化单元；和

将根据上述输入图像与上述进行了平滑化处理的预测图像的差分而得到的预测差信号进行编码的预测差编码单元。

2.按权利要求1所述的图像编码装置，其特征在于：上述运动补偿预测单元将已编码的局部译码图像数据作为参照图像检测上述运动量。

3.按权利要求1所述的图像编码装置，其特征在于：上述平滑化单元根据上述相邻的部分图像区域间的运动量的差分值进行上述平滑处理。

4.按权利要求1所述的图像编码装置，其特征在于：上述平滑化单元根据上述相邻的部分图像区域间的编码方法的不同进行上述平滑处理。

5.按权利要求1所述的图像编码装置，其特征在于：上述平滑化单元根据上述相邻的部分图像区域间的图像预测方法的不同进行上述平滑处理。

6.按权利要求1所述的图像编码装置，其特征在于：上述平滑化单元根据上述平滑处理前的预测图像与由上述运动补偿预测单元得到的预测图像的生成基础的参照图像的误差量进行上述平滑处理。

7.按权利要求1所述的图像编码装置，其特征在于：上述平滑化单元具有

根据在上述相邻的部分图像区域间的运动量的差分值、上述相邻的部分图像区域间的编码方法的不同、上述相邻的部分图像区域间的图像预测方法的不同和上述平滑处理前的预测图像与由上述运动补偿预测单元得到的预测图像的生成基础的参照图像的误差量中至少1个决定所决定的部分图像区域间的活性度的活性度设定单元；

根据上述活性度决定上述平滑处理的强度并对位于上述部分图像区域间的边界的像素进行平滑处理的自适应平滑化单元；和

利用根据上述活性度决定的阈值对进行了上述平滑处理的结果进行抑制处理的后处理单元。

8.按权利要求7所述的图像编码装置，其特征在于：上述活性度设定单元对各个部分图像区域设定上述活性度，将在平滑处理的对象的部分图像区域间比较的活性度中大的一方的值作为向上述自适应平滑化单元的输入。

9.按权利要求7所述的图像编码装置，其特征在于：上述活性度设定单元对上述部分图像区域间的边界设定上述活性度，并将上述活性度作为向上述自适应平滑化单元的输入。

10.按权利要求7所述的图像编码装置，其特征在于：上述自适应平滑化单元根据由上述活性度设定单元得到的活性度变更进行上述平滑处理的像素数。

11.按权利要求7所述的图像编码装置，其特征在于：上述自适应平滑化单元根据由上述活性度设定单元得到的活性度切换进行上述平滑处理的滤波器特性。

12.按权利要求11所述的图像编码装置，其特征在于：上述自适应平滑化单元将表示进行上述平滑处理的滤波器特性的种类的位编码并进行传输。

13.按权利要求1所述的图像编码装置，其特征在于：将表示有无上述平滑化单元的平滑处理的位编码并进行传输。

14.一种图像译码装置的特征在于：具有

按指定的部分图像区域单位检测运动量从而生成运动补偿预测图像的运动补偿预测单元；

对由上述运动补偿预测单元得到的预测图像根据指定的判断基准对位于相互相邻的部分图像区域的边界的像素进行平滑化处理的平滑化单元；

将编码侧的预测差信号译码的预测差译码单元；和

将由上述预测差译码单元得到的译码预测差信号与上述进行了平滑化处理的预测图像相加而得到译码图像的加法单元。

15.按权利要求14所述的图像译码装置，其特征在于：上述运动补偿预测单元将已译码的局部译码图像数据作为参照图像而得到上述预测图像。

16.按权利要求14所述的图像译码装置，其特征在于：上述平滑化单元根据上述相邻的部分图像区域间的运动量的差分值进行上述平滑处理。

17.按权利要求14所述的图像译码装置，其特征在于：上述平滑化单元根据上述相邻的部分图像区域间的译码方法的不同进行上述平滑处理。

18.按权利要求14所述的图像译码装置，其特征在于：上述平滑化单元根据上述相邻的部分图像区域间的图像预测方法的不同进行上述平滑处理。

19.按权利要求14所述的图像译码装置，其特征在于：上述平滑化单元根据上述平滑处理前的预测图像与由上述运动补偿预测单元得到的预测图像的生成基础的参照图像的误差量进行上述平滑处理。

20.按权利要求14所述的图像译码装置，其特征在于：上述平滑化单元具有

根据在上述相邻的部分图像区域间的运动量的差分值、上述相邻的部分图像区域间的编码方法的不同、上述相邻的部分图像区域间的图像预测方法的不同和上述平滑处理前的预测图像与由上述运动补偿预测单元得到的预测图像的生成基础的参照图像的误差量中至少1个决定所决定的部分图像区域间的活性度的活性度设定单元；

根据上述活性度决定上述平滑处理的强度并对位于上述部分图像区域间的边界的像素进行平滑处理的自适应平滑化单元；和

利用根据上述活性度决定的阈值对进行了上述平滑处理的结果进行抑制处理的后处理单元。

21.按权利要求20所述的图像译码装置，其特征在于：上述活性度设定单元对各个部分图像区域设定上述活性度，将在平滑处理的对象的部分图像区域间比较的活性度中大的一方的值作为向上述自适应平滑化单元的输入。

22.按权利要求20所述的图像译码装置，其特征在于：上述活性度设定单元对上述部分图像区域间的边界设定上述活性度，并将上述活性度作为向上述自适应平滑化单元的输入。

23.按权利要求20所述的图像译码装置，其特征在于：上述自适应平滑化单元根据由上述活性度设定单元得到的活性度变更进行上述平滑处理的像素数。

24.按权利要求20所述的图像译码装置，其特征在于：上述自适应平滑化单元根据由上述活性度设定单元得到的活性度切换进行平滑处理的滤波器特性。

25.按权利要求24所述的图像译码装置，其特征在于：上述自适应平滑化单元根据从编码侧的输入压缩数据所译码的表示进行上述平滑处理的滤波器特性的种类的位切换上述滤波器特性。

26.按权利要求14所述的图像译码装置，其特征在于：根据从上述输入压缩数据所译码的表示有无上述平滑处理的位控制上述平滑处理。

27.一种图像编码方法的特征在于：包括

对输入图像按指定的部分图像区域单位检测运动量从而生成运动补偿预测图像的运动补偿预测步骤；

对由上述运动补偿预测步骤得到的预测图像根据指定的判断基准对位于相互相邻的部分图像区域的边界的像素进行平滑化处理的平滑化步骤；和

将根据上述输入图像与上述进行了平滑化处理的预测图像的差分而得到的预测差信号进行编码的预测差编码步骤。

28.按权利要求27所述的图像编码方法，其特征在于：上述运动补偿预测步骤将已编码的局部译码图像数据作为参照图像检测上述运动量。

29.按权利要求27所述的图像编码方法，其特征在于：上述平滑化步骤根据上述相邻的部分图像区域间的编码方法的不同进行上述平滑处理。

30.按权利要求27所述的图像编码方法，其特征在于：上述平滑化步骤根据上述相邻的部分图像区域间的编码方法的不同进行上述平滑处理。

31.按权利要求27所述的图像编码方法，其特征在于：上述平滑化步骤根据上述相邻的部分图像区域间的图像预测方法的不同进行上述平滑处理。

32.按权利要求27所述的图像编码方法，其特征在于：上述平滑化步骤根据上述平滑处理前的预测图像与由上述运动补偿预测单元得到的预测图像的生成基础的参照图像的误差量进行上述平滑处理。

33.按权利要求27所述的图像编码方法，其特征在于：上述平滑化步骤包括

根据在上述相邻的部分图像区域间的运动量的差分值、上述相邻的部分图像区域间的编码方法的不同、上述相邻的部分图像区域间的图像预测方法的不同和上述平滑处理前的预测图像与由上述运动补偿预测步骤得到的预测图像的生成基础的参照图像的误差量中至少1个决定所决定的部分图像区域间的活性度的活性度设定步骤；

根据上述活性度决定上述平滑处理的强度并进行位于上述部分图像区域间的边界的像素的平滑处理的自适应平滑化步骤；和

利用根据上述活性度决定的阈值对进行了上述平滑处理的结果进行抑制处理的后处理步骤。

34.按权利要求33所述的图像编码方法，其特征在于：上述活性度设定步骤对各个部分图像区域设定上述活性度，将在平滑处理的对象的部分图像区域间比较的活性度中大的一方的值作为向上述自适应平滑化步骤的输入。

35.按权利要求33所述的图像编码方法，其特征在于：上述活性度设定步骤对上述部分图像区域间的边界设定上述活性度，并将上述活性度作为向上述自适应平滑化步骤的输入。

36.按权利要求33所述的图像编码方法，其特征在于：上述自适应平滑化步骤根据由上述活性度设定步骤得到的活性度变更进行上述平滑处理的像素数。

37.按权利要求33所述的图像编码方法，其特征在于：上述自适应平滑化步骤根据由上述活性度设定步骤得到的活性度切换进行上述平滑处理的滤波器特性。

38.按权利要求37所述的图像编码方法，其特征在于：上述自适应平滑化步骤将表示进行上述平滑处理的滤波器特性的种类的位编码并进行传输。

39.按权利要求27所述的图像编码方法，其特征在于：将表示有无上述平滑化步骤的平滑处理的位编码并进行传输。

40.一种图像译码方法的特征在于：包括

按指定的部分图像区域单位检测运动量从而生成运动补偿预测图像的运动补偿预测步骤；

对由上述运动补偿预测步骤得到的预测图像根据指定的判断基准对位于相互相邻的部分图像区域的边界的像素进行平滑化处理的平滑化步骤；

将编码侧的预测差信号译码的预测差译码步骤；和

将由上述预测差译码步骤得到的译码预测差信号与上述进行了平滑化处理的预测图像相加而得到译码图像的加法步骤。

41.按权利要求40所述的图像译码方法，其特征在于：上述运动补偿预测步骤将已译码的局部译码图像数据作为参照图像而得到上述预测图像。

42.按权利要求40所述的图像译码方法，其特征在于：上述平滑化步骤根据上述相邻的部分图像区域间的运动量的差分值进行上述平滑处理。

43.按权利要求40所述的图像译码方法，其特征在于：上述平滑化步骤根据上述相邻的部分图像区域间的译码方法的不同进行上述平滑处理。

44.按权利要求40所述的图像译码方法，其特征在于：上述平滑化步骤根据上述相邻的部分图像区域间的图像预测方法的不同进行上述平滑处理。

45.按权利要求40所述的图像译码方法，其特征在于：上述平滑化步骤根据上述平滑处理前的预测图像与由上述运动补偿预测单元得到的预测图像的生成基础的参照图像的误差量进行上述平滑处理。

46.按权利要求40所述的图像译码方法，其特征在于：上述平滑化步骤具有

根据在上述相邻的部分图像区域间的运动量的差分值、上述相邻的部分图像区域间的编码方法的不同、上述相邻的部分图像区域间的图像预测方法的不同和上述平滑处理前的预测图像与由上述运动补偿预测步骤得到的预测图像的生成基础的参照图像的误差量中至少1个决定所决定的部分图像区域间的活性度的活性度设定步骤；

根据上述活性度决定上述平滑处理的强度并进行位于上述部分图像区域间的边界的像素的平滑处理的自适应平滑化步骤；和

利用根据上述活性度决定的阈值对进行了上述平滑处理的结果进行抑制处理的后处理步骤。

47.按权利要求46所述的图像译码方法，其特征在于：上述活性度设定步骤对各个部分图像区域设定上述活性度，将在平滑处理的对象的部分图像区域间比较的活性度中大的一方的值作为向上述自适应平滑化步骤的输入。

48.按权利要求46所述的图像译码方法，其特征在于：上述活性度设定步骤对上述部分图像区域间的边界设定上述活性度，并将上述活性度作为向上述自适应平滑化步骤的输入。

49.按权利要求46所述的图像译码方法，其特征在于：上述自适应平滑化步骤根据由上述活性度设定步骤得到的活性度变更进行上述平滑处理的像素数。

50.按权利要求46所述的图像译码方法，其特征在于：上述自适应平滑化步骤根据由上述活性度设定步骤得到的活性度切换进行平滑处理的滤波器特性。

51.按权利要求50所述的图像译码方法，其特征在于：上述自适应平滑化步骤根据从编码侧的输入压缩数据所译码的表示进行上述平滑处理的滤波器特性的种类的位切换上述滤波器特性。

52.按权利要求40所述的图像译码方法，其特征在于：根据从上述输入压缩数据所译码的表示有无上述平滑处理的位控制上述平滑处理。

Images