CN100382603C - 图像编码装置及图像解码装置 - Google Patents

Abstract

本发明提供了一种阿尔法-映射编码装置，该装置由以下部分构成，存储包含块附近的再生信号的帧的再生信号的帧存储器；按各块把二进制图像进行尺寸变换的装置；把按各块缩小了的二进制图像进行解码的二进制图像解码装置；该图像解码装置在块的扩展中，参考已经编码了的块的再生值进行扩展。

Description

图像编码装置及图像解码装置

本申请是在1998年6月30日在中国专利局递交的名称为“图像编码装置及图像解码装置”申请号为97191547.4专利申请的分案申请。

技术领域

本发明涉及用于把图像信号(video)高效地进行编码、传送、存储及解码的图像编码装置及图像解码装置。

背景技术

由于图像信号具有巨大的信息量，因此在传送和存储时一般进行压缩编码。为了高效地把图像信号进行编码把以帧为单位的图像信号以所需要的像素数为单位(例如，M×N像素(M：水平方向的像素数，N：垂直方向的像素数))分割为块，在该分割了的块中进行正交变换，把图像具有的空间频率分离成各个频率成分，得到变换系数，把其进行编码。

然而，作为图像信号的一种方法，在1994年2月份第263册M.I.T.媒体实验室技术报告中J.Y.A.王等人的“利用中间标号模式技术对图象信号进行压缩和管理”(J.Y.A.Wang et.al.“Applying Mid-levelVision Techniques for Video Data Compression andManipulation”，M.I.T.Media Lab.Tech.Report No.263，Feb.1994)一文中，提出了属于被称为中间标号编码的范畴的图像编码方法。

在该方式中，当存在由背景和被摄体(以后，把被摄体称为目标)组成的图像时，把该背景和目标分开进行编码。

这样，为了分别把背景和目标进行编码，需要表示目标的形状和画面内的位置的例如作为二进制的副图像信息的阿尔法-映射信号信号。另外，背景的阿尔法-映射信号信号从目标的阿尔法-映射信号信号一意地求出。

而作为有效地把该阿尔法-映射信号进行编码的方法，可以使用二进制图像的编码法(例如，MMR编码法等)和线图形的编码法(链式编码等)。

另外，进而为降低阿尔法-映射的代码量，对形状的轮廓线用多边形近似的样条曲线(spline curves)进行平滑的方法见J.奥斯特曼在“信号处理：图象通讯”1994年第6册第2期第143-161页的“根据运动的刚性三维目标的源模型进行的基于目标的分析合成编码”(J.Ostermann，“Object-based analysis-synthesis coding based on thesource model of moving rigid 3D objects”，Signal Process.：Image Comm.Vol.6，No.2pp.143-161，1994)和在把阿尔法-映射缩小编码，扩展时的曲线近似的方法(参考特愿平5-297133号)等。

如上述那样把图像进行编码时，在把画面分割成背景和目标进行编码的情况下，为了分开背景和目标，需要表示目标的形状和画面内的位置的阿尔法-映射信号。为此，与图像编码信息一起，该阿尔法-映射的信息也进行编码，做成比特流(bit-stream)，供传送和存储。

然而，在把画面分割为背景和目标进行编码的方式的情况下，与以往编码方法那样把画面一起进行编码的方法相比，由于存在阿尔法-映射信号部分，因此代码量的增加将构成问题，另外该阿尔法-映射的代码量的增加引起的编码效率的降低也将构成问题。

发明内容

本发明的目的在于提供一种图像编码装置以及图像解码装置，使得能够把表示目标的形状和画面内的位置等的副图像信息的阿尔法-映射信号有效地进行编码和解码。

如果依据本发明，则能提供一种图像编码装置，该图像编码装置把图像与用于作为区分该图像的目标区域和背景区域的信息的阿尔法-映射同时进行编码，上述阿尔法-映射使用相对地址编码方法进行编码，在该图像编码装置中，具备把已经编码了的变化像素作为参考变化像素，使用可变长长编码表把该参考变化像素和表示下一个进行编码的变化像素的相对位置的代码进行编码的装置，保存2个以上上述可变长编码表，通过已经编码了上述阿尔法-映射信号的图形，切换上述可变长编码表的装置。

如果依据本发明，还能提供一种图像解码装置，这是把由编码装置进行编码后得到的编码比特流进行解码的解码装置，具有使用可变长编码表把上述代码进行解码的装置，保存2个以上上述可变长编码表，通过已经解码了的上述阿尔法-映射的图形，切换上述可变长编码表的装置。

进而，切换上述可变长编码表的装置是根据参考变化像素的最近的图形进行切换的装置。

这样结构的本装置在通过使用可变长编码表把特定变化像素位置的代码进行编码减少代码量的编码/译码中，特征是预先准备多个可变长编码表，通过已经编码了的上述阿尔法-映射的图形，切换其可变长编码表，如果依据这样的发明，可以得到能够进一步减少阿尔法-映射代码量的效果。

如果依据本发明，则能够提供一个二进制图像编码装置，这是在每个任意形状(arbitrary shape)的目标把作为时间序列数据得到的多个帧(图像帧)的运动图像信号进行编码的运动图像编码装置中的把表示目标的形状的阿尔法-映射进行编码的编码电路，具有把包含目标的矩形区域分割成用M×N像素(M：水平方向的像素数，N：垂直方向的方向数)构成的各块的装置，把被分割而得到的上述块在上述矩形区域内根据一定的规则顺序进行编码的装置，在对于块的整体或者一部分适用相对地址编码的二进制图像编码装置中，具有存储块附近的再生值的再生值存储装置，存储已经被编码了的帧(图像帧)的再生信号的图像保存装置(帧存储器)，使用图像保存装置(帧存储器)内的再生信号，生成运动补偿预测值的运动补偿预测电路，参考上述再生值存储装置，检测包含块附近的再生值在内的变化像素的装置，不是从上述块内的像素值而是从运动补偿预测信号求出相对地址编码的参考变化像素。

另外，本发明还提供一个阿尔法-映射解码装置，该装置在每一个由M×N像素构成的块中，具有以一定的规则把包含目标的矩形区域顺序进行解码的装置，存储块附近的再生值的装置，存储已经编码了的帧(图像帧)的再生信号的图像保存装置(帧存储器)，使用图像保存装置(帧存储器)内的再生信号，生成运动补偿预测值的运动补偿预测电路，检测包含块附近的再生值在内的变化像素的装置，不是从上述块内的像素值而是从运动补偿预测值信号求出相对地址编码的参考变化像素。

由此，在能够有效地把作为表示目标的形状和画面内的位置等的副图像信息的阿尔法-映射的信息进行编码的同时，还能够进行解码。

另外，本发明还提供一个图像编码装置，该装置具有存储块附近的再生值的装置，存储已经被编码了的帧(图像帧)的再生信号图像保存装置(帧存储器)，使用图像保存装置(帧存储器)内的再生信号，生成运动补偿预测值的运动补偿预测电路，检测包含块附近的再生值在内的变化像素的装置，把从上述块内的再生图像素值(内插象素或解码象素)求出来的相对地址编码的参考变化像素和从运动补偿预测信号求出来的相对地址编码的参考变化像素进行切换的装置，把上述相对地址编码的信息与切换信息一起进行编码。

另外，本发明还提供阿尔法-映射解码电路，该电路在由M×N像素构成的每个块中，具有以一定规则把包含目标的矩形区域顺序进行解码的装置，存储块附近的再生值的装置，存储已经被编码了的帧(图像帧)的再生信号的图像保存装置(帧存储器)，使用图像保存装置(帧存储器)内的再生信号生成运动补偿预测值的运动补偿预测电路，检测包含块附近的再生值在内的变化像素的装置，把从上述块内的再生像素值求出来的相对地址编码的参考变化像素和从运动补偿预测信号求出来的相对地址编码的参考变化像素进行切换的装置，根据切换信息求出参考变化像素。

这种情况下，在相对地址编码时，能够以块单位进行切换处理，使得参考变化像素b1从当前处理中的像素的块“当前块”检测出来或是从作为前次处理了的像素的块“补偿后的块”检测出来，在编码一侧能够也使用该切换用的信息，在解码一侧将其进行解码，在解码处理中根据该切换用的信息能够以块单位进行切换使参考变化像素b1从“当前块”内检测出来或是从“补偿过的块”内检测出来，通过这样做，能够根据块单位的图像内容，进行最佳处理，能够进一步实现更高效率的编码。

另外，本发明在为了把作为时间序列数据而得到的多个帧的运动图像信号在每个任意形状的目标内进行编码，而把包含目标的矩形区域分割为由M×N像素(M：水平方向的像素数，N：垂直方向的像素数)构成的块的同时，在每个被分割而得到的上述块中根据一定规则把上述矩形区域顺序进行编码的图象编码装置中，具备阿尔法-映射编码装置，该阿尔法-映射编码装置由下述装置构成，即，对于表示目标形状的阿尔法-映射信号存储包含块附近的再生信号的帧的再生信号和结束了编码的帧的再生信号的帧存储器，用二进制中一方的值把块内的像素值全部进行置换的装置，使用帧存储器内已经结束了编码的帧的再生信号，生成运动补偿预测值的运动补偿预测装置，在每个块把二进制图像进行尺寸变化(缩小，扩展)的装置，把该尺寸变换率作为附加信息进行编码的装置，把在各块内被缩小了的二进制信号进行编码二进制图像编码装置。

上述阿尔法-映射编码装置构成为从用二进制的某一个把块全部进行置换的再生值，运动补偿预测值和在每个块内通过尺寸变换得到再生值中的某一个选择上述块内的再生图像。从而，能够以高品位、高效率的形态实施阿尔法-映射信号的编码，维持高品位的画质，而且能够以高压缩率进行编码。

另外，在为了把作为时间序列数据而得到的多个帧的运动图像信号在任意形状的目标内进行解码，而在用包含目标的M×N像素(M：水平方向的像素数，N：垂直方向的像素数)构成的块内，按照一定规则把该矩形区域顺序进行解码的图像解码装置中，具有阿尔法-映射解码装置，该阿尔法-映射解码装置由以下装置构成，即，存储包含块附近的再生信号的该帧的再生信号和已经结束了编码的帧的再生信号的帧存储器，用二进制的某一个把块内的像素值全部进行置换的装置，使用帧存储器内已经结束了编码的帧的再生信号，生成运动补偿预测值的运动补偿预测装置，在各块把二进制信号进行尺寸变换的装置，把在各块内被缩小了的二进制图像进行解码的二进制图像解码装置。

上述图像映射解码装置构成为从用二进制的某一个把块内全部进行置换了的再生值，运动补偿预测值和在每个块内通过尺寸变换得到的再生值中的某一个选择上述块的再生图像。从而，能够再生高品位的图像。

另外，作为在各块内把阿尔法-映射进行编码时把各块的属性(形状属性)进行编码的方式，还构成为具有设定包含目标并且以块尺寸的倍数表示的编码区域(视频目标面(VOP))的装置，把该区域内分割成块的装置，对于各块在各个属性形状模式上分配固有的标号的标号添加装置，在各块内保存上述标号的存储装置，决定对应于当前帧的编码块的上述帧的参考块的决定装置，至少由保存在上述存储装置的前一帧的标号和上述参考块决定预测值的预测装置，使用上述预测值把上述编码块的标号信息进行编码的装置。

另外，作为再生阿尔法-映射的每块的属性的解码装置，构成为具有在各块保存被解码了的标号的存储装置，决定对应于当前帧的解码块的前一帧的参考块的决定装置，使用被保存在上述存储装置的前一帧的标号和上述参考块决定预测值的预测装置，使用上述预测值把上述解码块的标号信息进行解码的解码装置。

由此，在各宏块(例如，把图像分割成16×16像素的预定的多个像素结构时的其分割了的单位图像块)中把阿尔法-映射进行编码时，在各块的属性上添加固有的标号，并将其解码，通过再生该标号再生(解码)原来阿尔法-映射的数据，能够进行高效的编码。

另外，本发明是与作为用于区分图像的目标区域和背景区域的信息阿尔法-映射一起把图像进行编码时，在各块中把阿尔法-映射进行编码之际，把各块的属性进行编码的方式的图像编码装置，构成为具有设定包含目标并且以块尺寸的倍数表示编码区域的装置，把该区域分割成块的装置，对于各块，在各个属性上分配固有的标号的标号添加装置，在各帧中保存上述标号或者上述阿尔法-映射的存储装置，决定对应于当前帧的编码块的前一帧的参考块的决定装置，至少通过被保存在上述存储装置的前一帧的标号或者阿尔法-映射以及上述参考块决定预测值的预测装置，使用上述预测值把上述编码块的编号信息进行编码的编码装置。

进而，在设置保存帧单位中的尺寸变化率的存储装置的同时，上述编码装置具有对应于帧单位中帧的尺寸变化率是可变的上述尺寸变换率进行编码的装置，另外，上述决定装置具有用当前帧的尺寸变换率和从上述存储装置得到的前一帧的尺寸变换率决定对应于当前帧的编码块的前一帧的参考块的装置。

或者，在设置保存帧单位中的尺寸变化率的存储装置的同时，上述编码装置具有对应于帧单位中帧的尺寸变换率是可变的上述尺寸变换率进行编码的装置，另外，上述决定装置具有用当前帧的尺寸变换率和从上述存储装置得到前一帧的尺寸变换率决定对应于当前帧的编码块的前一帧的参考块的装置，另外，上述预测装置具有在上述预测参考块的标号有多个的情况下，把数目多的标号作为预测值的装置。

或者，在设置保存帧单位中的尺寸变换率的存储装置的同时，上述编码装置具有对应于帧单位中帧的尺寸变化变是可变的上述尺寸变换率进行编码的，根据前一帧或者当前帧或者双方的尺寸变换率使用从多个中选择出来的一个可变长编码表进行编码块的编码处理的装置，另外，上述决定装置具有使用当前帧的尺寸变换率和从上述存储装置得到的前一帧的尺寸变换率决定对应于当前帧的编码块的前一帧的参考块的装置。

另外，在再生阿尔法-映射的各块的属性的解码装置中，特征在于具有在各帧中保存解码了的标号或者阿尔法-映射的存储装置，决定对应于当前帧的解码块的前一帧的参考块的决定装置，至少通过被保存在上述存储装置中的前一帧的标号或者阿尔法-映射以及上述参考块决定预测值的预测装置，使用上述预测值把上述解码块的标号信息进行解码的解码装置。

进而，特征在于具有把帧单位内帧的尺寸变化率是可变的上述尺寸变换率信息进行解码的装置，保存上述尺寸变换率信息的存储装置，上述决定装置具有使用上述当前帧的尺寸变换率和从上述存储装置读出的前一帧的尺寸变换率确定对应于当前帧的解码块的前一帧的参考块的功能。

或者，特征在于具有把帧单位中帧的尺寸变换率是可变的上述尺寸变换率信息进行解码的装置和保存上述尺寸变换率信息的存储装置，上述决定装置具有使用当前帧的尺寸变换率和从上述存储装置读出的前一帧的尺寸变换率决定对应于当前帧的解码块的前一帧的参考块的功能，上述预测装置在具有多个参考块的情况下，把多个参考块的标号中数目最多的标号作为预测值。

另外，作为把在水平·垂直方向都缩小为1/2ⁿ(n＝1，2，3，...)的二进制图像的块进行扩展的扩展电路，具有保存该块附近再生值的存储器，根据该块的缩小率通过把被保存在上述存储器的再生值缩小为1/2ⁿ，求出参考图像的装置，通过反复n次水平·垂直都扩展2倍的处理扩展到原来尺寸的装置，在上述的装置中，始终使用被缩小为1/2ⁿ的参考像素值。

另外，作为为了在每个任意形状的目标中把作为时间序列数据而得到的多个帧的运动图像信号进行编码，把包括目标的矩形区域分割成用M×N像素(M：水平方向的像素数，N：垂直方向的像素数)构成的各块的同时，在被分割而得到的上述各块中，按照一定规则把上述矩形区域顺序进行编码的图像编码装置，具有在上述帧内设定以包含目标的块尺寸的倍数表示的区域的设定装置，把由该设定装置设定的区域分割为块的分割装置和把用于运动补偿预测上述被分割的上述块的必要的运动矢量进行预测编码的装置，该图像编码装置中，特征在于具有保存表示参考帧内区域的帧内的位置的第1位置矢量的存储器，把表示该参考帧内区域的帧内位置的第2位置矢量进行编码的编码装置，保存编码对象块附近的再生后的块的运动矢量的运动矢量存储器，使用被存储在上述运动矢量存储器中的运动矢量把对象块进行预测编码的运动矢量的装置，

在上述预测装置中使用的运动矢量不存在于上述运动矢量存储器的情况下把缺省的运动矢量作为预测值，该缺省的运动矢量切换使用第1位置矢量和第2位置矢量的差分矢量以及零矢量。

另外，在每个任意形状的目标中把作为时间序列数据得到的多个帧的运动图像信号进行解码，在包含目标的由M×N像素(M：水平方向的像素数，N：垂直方向的像素数)构成的块中，按照一定规则把该矩形区域顺序进行解码，在该帧内，在每个块把用包含目标的块尺寸的倍数表示的区域进行再生的图像解码装置中，特征在于具有把为了运动补偿预测上述块所必要的预测编码了的运动矢量进行解码的装置，把为了运动补偿预测上述帧所必要的预测编码了的运动矢量进行解码的装置，保存表示参考帧内区域的帧内位置的第1位置矢量的存储器，把表示该帧内区域的帧内位置的第2位置矢量进行解码的装置，保存解码对象块附近的补偿完毕的块的运动矢量的运动矢量存储器，使用被保存在上述运动矢量存储器中的运动矢量把对象块进行预测解码的运动矢量的预测装置，在上述预测装置中使用的运动矢量不存在于上述运动矢量存储器的情况下，把缺省的运动矢量作为预测值，该缺省的运动矢量使用第1位置矢量和第2位置矢量的差分矢量以及零矢量的某一个。

附图说明

图1是适用了本发明的编码装置的概略框图。

图2是对应于图1的编码装置的解码装置的概略框图。

图3是适用了本发明的编码装置的阿尔法-映射编码电路的框图。

图4是示出在对应于图3的编码装置的解码装置中使用的阿尔法-映射解码电路的结构的框图。

图5是本发明第1实施例的解码电路的框图。

图6是对应于图5的编码电路的解码电路的框图。

图7A以及图7B表示以块单位进行编码时的变化像素的关系以及表示用于检测b1的参考区域(表示块基编码的变化像素的关系和参考区域)。

图8是以块为基础对MMR进行编码时的流程图。

图9用于说明图5的编码电路的作用，示出变化像素b1周围情况的例子。

图10用于说明图6的解码电路的作用，示出参考图像素的例子。

图11用于说明上下文编号的决定方法。

图12是本发明第2实施例的编码电路的框图。

图13是对应于图12的编码电路的解码电路的框图。

图14是对应于图12的编码电路的解码电路的框图。

图15是对应于图12的编码电路的解码电路的框图。

图16A以及16B用于说明本发明第3实施例，说明帧间编码中的变化像素的检测电路。

图17A以及17B用于说明扫描方向切换。

图18示出把本发明所使用的阿尔法-映射的画面分割为基于预定的多个像素构成的宏块(MB)单位的情况。

图19是本发明第4实施例的阿尔法-映射编码电路的框图。

图20是对应于图18的编码电路的阿尔法-映射解码电路的框图。

图21用于说明马尔科夫模型编码。

图22A是切换多个二进制图像编码方法所使用的二进制图像编码电路的框图。

图22B是切换多个二进制图像编码方法所使用的二进制图像解码电路的框图。

图23A以及23B用于说明在尺寸变换(缩小，扩展)处理中使用的双一次内插。

图24A以及24B用于说明平滑处理(平滑化处理)。

图25用于说明本发明中使用的平滑处理滤波器(平滑化处理滤波器)的其它例子。

图26A以及26B用于说明通过双一次内插水平·垂直都扩展为2倍的处理的例子。

图27A至图27D说明本发明中适用的扩展处理中的内插像素的位置和参考像素的利用范围。

图28A至图28B说明本发明中使用的扩展处理中的参考像素的追加处理的例子。

图29用于说明各块的尺寸变换处理的其它例子。

图30用于说明把块(宏块)缩小为纵横“1/2”尺寸的缩小处理的一例。

图31用于说明求出缩小块的像素值的方法的例子。

图32用于说明基于像素间隔的缩小处理的例子。

图33说明本发明中使用的扩展处理的例子。

图34A以及34B用于说明通过本发明中使用的双一次内插处理水平·垂直都扩展为2倍的处理内容。

图35是本发明第5实施例中把帧单位的尺寸变换和小区域单位的尺寸变换组合起来的阿尔法-映射解码电路的框图。

图36是对应于图35的阿尔法-映射编码电路的阿尔法-映射解码电路的框图。

图37示出每帧的分辨率的例子。

图38是明示地包含并表示图35的编码装置中所必要的帧存储器时的编码装置的框图。

图39是明示地包含并表示图36的解码装置中所必要的帧存储器时的解码装置的框图。

图40是明示地包含并表示图35的编码装置中所必要的帧存储器时的其它的编码装置的框图。

图41是明示地包含并表示图36的解码装置中所必要的帧存储器的其它的解码装置的框图。

图42A是本发明的编码装置中使用的帧存储器的框图。

图42B是本发明的解码装置中使用的帧存储器的框图。

图43A以及43B用于说明与本发明第6实施例相关联的技术。

图44A以及44B用于说明与本发明第6实施例相关联的技术。

图45A以及45B用于说明本发明的时刻n-1和时刻n中的帧图像Fn-1，Fn和各帧Fn-1，Fn中的编码区域CA的各宏块的模型信息MD的例子。

图46A以及46B用于说明与本发明第6实施例相关联的技术。

图47A用于说明与本发明第6实施例相关联的编码装置。

图47B用于说明与本发明第6实施例相关连的解码装置。

图48是本发明第6实施例中的编码电路的框图。

图49A以及49B用于说明时刻n-1和时刻n中的帧图像Fn-1，Fn和各帧Fn-1，Fn中的编码区域CA的各宏块的模型信息(形状模式信息)MD的例子。

图50A以及50B用于说明编码区域的变化和模型信息的对应块的位置变化情况。

图51用于说明并用阿尔法-映射的活动图像编码装置中的编码数据结构。

图52A至图52D用于说明在编码区域所占的对象部分是帧的一部分的情况下所产生的标号未定部分的处理方法。

图53用于说明本发明中所使用的缩小处理的例子。

图54用于说明本发明中所使用的缩小处理。

图55用于说明本发明中所使用的标号预测方法。

图56用于根据本发明中所使用的从缩小到扩展处理说明帧恢复的处理。

图57是在预测中使用标号的本发明的解码装置的框图。

图58是示出本发明的编码装置中使用的编码处理顺序例的流程图。

图59是示出本发明的编码装置中使用的编码处理顺序的其它例的流程图。

图60说明从本发明的阿尔法-映射编码电路输出的比特序列的排列顺序。

图61是示出本发明第6实施例的系统结构例的框图。

图62是用于说明本发明第6实施例中的处理顺序的流程图。

图63是用于说明本发明第6实施例中的处理顺序的流程图。

图64是用于说明本发明中所使用的运动矢量的预测编码的一例。

图65A以及65B用于说明帧内目标的位置变动较大情况下，运动矢量的预测不满意的情况。

图66A以及66B是本发明系统中的MV编码电路和其周边电路的框图。

图67A是本发明系统中的MV再生电路的框图。

图67B是本发明系统中的MV再生电路的周边电路的框图。

具体实施方式

以下，参考附图说明本发明的实施例。首先，对于适用本发明的图像编码以及图像解码装置说明其概略情况。

图1示出在把图像进行编码时，适用了把画面分割为背景和目标并进行编码的方式的图像编码装置。该图像编码装置由差分电路10，运动补偿预测电路(MC)11，正交变换电路12，量化电路13，可变长编码电路(VLC)14，逆量化电路(IQ)15，逆正交变换电路16，加法电路17，多路复用电路18以及阿尔法-映射编码电路20构成。

阿尔法-映射编码电路20具有把输入的阿尔法-映射信号进行编码，并且把该被编码了的信号作为阿尔法-映射信号输出到多路复用电路18中的功能和把该阿尔法-映射信号进行解码并且作为局部解码信号进行输出的功能。

特别是，本阿尔法-映射编码电路20具有在把以块单位输入的阿尔法-映射信号进行编码时，以给出的缩小率(倍率)把阿尔法-映射的分辨率进行下降的处理，并且把完成了降低该分辨率处理的阿尔法-映射信号，即被下降取样了的阿尔法-映射信号进行编码的同时，把该编码了的阿尔法-映射和缩小率的信息(倍率信息)进行多路复用并且将其作为阿尔法-映射信号输出到多路复用电路18中的功能。作为局部解码信号，使用把完成了降低分辨率处理即下降取样的阿尔法-映射实施恢复为原分辨率的处理而得到的阿尔法-映射信号。

差分电路10是计算出由运动补偿预测电路11供给的运动补偿预测信号和输入图像信号的差分信号的电路，正交变换电路12把从差分电路10供给的差分信号根据阿尔法-映射的信息变换为正交变换系数并且进行输出。

量化电路13是把根据该正交变换电路12得到的正交变换系数进行量化的电路，可变长编码电路14是把该量化电路13的输出进行编码并且输出的电路。多路复用电路18把根据该可变长编码电路14得到的编码了的信号和阿尔法-映射信号与运动矢量信息等的附加信息一起进行多路复用并输出比特流。

逆量化电路15具有把量化电路13的输出进行逆量化的功能，逆正交变换电路16具有根据阿尔法-映射信号把该逆量化电路15的输出进行逆正交变换的功能。加法电路17把该逆正交变换电路16的输出和从运动补偿预测电路11给出的预测信号(运动补偿预测信号)进行相加并输出到运动补偿预测电路11中。

运动补偿预测电路11具有帧存储器，具有根据从阿尔法-映射编码电路20给出的局部解码信号进行动作，存储目标区域的信号、背景区域的信号的功能。另外，运动补偿预测电路11具有从存储的目标区域的图像对运动补偿值进行预测并且输出预测值，以及从存储的背景区域的图像对运动补偿值进行预测并且输出预测值的功能。

下面说明以上结构的编码装置的作用。首先向编码装置中输入图像信号和该图像信号的阿尔法-映射信号。这些信号按各帧分别分割到预定像素尺寸(例如，M×N像素(M：水平方向的像素数，N：垂直方向的像素数))的块中。该分割处理根据众所周知的技术，通过按各帧指定存储图像信号的存储器(未图示)的地址，以块单位读出图像信号进行。根据该分割处理得到的块单位的图像信号按照块位置顺序经过信号线1供给到差分电路10中。在差分电路10中，计算出该输入(图像信号)，预测信号(从目标预测电路11的运动补偿预测信号的输出)的差分信号，供给到正交变换电路12中。

正交变换电路12根据经过信号线4从阿尔法-映射编码电路20供给的阿尔法-映射的信息，把供给的差分信号变换为正交变换系数以后，正交变换系数被供给到量化电路13，进行量化。在量化电路13中被量化而得到的变换系数在可变长编码电路14中进行编码，同时供给到逆量化电路15中。

供给到逆量化电路15中的变换系数在这里被逆量化以后，在逆正交变换电路16中进行逆变换。逆变换系数在加法电路17中与从运动补偿预测电路11供给的运动补偿预测值进行相加，作为局部解码图像输出，然后再次输入到运动补偿预测电路11中。作为加法电路17的输出的局部解码图像存储到运动补偿预测电路11内的帧存储器中。

另一方面，该运动补偿预测电路11根据从阿尔法-映射编码电路20供给的局部解码信号，在目标区域的块处理的定时中把“目标的运动补偿预测值”，在除此以外的定时中把“背景部分的运动补偿预测值”供给到差分电路10中。

即，运动补偿预测电路11从阿尔法-映射信号的局部解码信号判断当前是目标的块对应部分的图像信号输入到差分电路10中，还是背景部分的块对应部分的图信号输入到差分电路10中，如果是在目标的块对应部分的图像信号的输入期间中，则把目标的运动补偿预测信号，如果是背景部分的块对应部分的图像信号的输入期间中，则把背景的运动补偿预测信号传送到差分电路10中。

在差分电路10中，由于计算出了输入的图像信号和该图像的区域对应的预测信号的差，其结果，如果输入图像是目标对应区域的图像，则计算该目标的对应位置中的预测值和输入图像的差分信号，如果输入图像是背景区域的图像，则计算该背景位置对应的预测值和输入图像的差分信号，并且供给到正交变换电路12中。

正交变换电路12根据经过信号线4供给的阿尔法-映射的信息，把被供给的差分信号变换为正交变换系数以后，供给到量化电路13中。正交变换系数在该量化电路13中进行量化。

在量化电路13中被量化了的变换系数在可变长编码电路14中进行编码，同时供给到逆量化电路15中。在逆量化电路15中被供给的变换系数进行逆量化，然后在逆正交变换电路16中被逆正交变换，供给到加法电路17中，与从运动补偿预测电路11供给到加法电路17中的预测值进行相加。

作为加法电路17的输出的局部解码图像的信号供给到运动补偿预测电路11中。该运动补偿预测电路11从阿尔法-映射信号的局部解码信号判断当前从加法电路17正在输出目标的块对应的信号还是正在输出背景部分的块对应的信号，其结果，如果是正在输出目标的块对应的信号，则在目标用的帧存储器中存储信号，如果正在输出背景部分的块对应的信号，则在要提供为背景用的存储器而动作的对应的存储器中存储信号。由此，在目标用的帧存储器中仅得到目标图像，在背景用的存储器中仅得到背景图像的图像。从而，运动补偿预测电路11利用目标图像能够求出目标图像的预测值，另外，利用背景部分的图像能够求出背景图像的预测值。

如上所述，在阿尔法-映射解码电路20中，把被输入的阿尔法-映射进行编码，经过信号线3把该被编码了的阿尔法-映射信号供给到多路复用电路18中。

另外，在多路复用电路18中，经过信号线4供给从可变长编码电路14输出的变换系数。多路复用电路18把所供给的这些阿尔法-映射信号以及变换系数的编码值与运动矢量信息等的附加信息进行多路复用以后，经过信号线5进行输出，构成作为图像编码装置的最终输出的编码的比特流。

以上是编码装置的结构和作用。即，该编码装置的获得该图像的误差信号时，根据目标用以及背景用的图像判断要进行运动补偿预测的，按照阿尔法-映射正在处理的图像的当前块位置是目标区域位置还是背景区域位置，如果当前正在处理的图像的当前块位置是目标区域位置，则使用从目标用的图像求出的预测值，如果是背景图像位置则使用从背景用的图像求出的预测值求出差分。

为了进行目标用以及背景用的预测，在运动补偿预测电路中，对于从该差分得到的图像，根据阿尔法-映射保存各自对应区域部分的图像，并供预测使用。由此，能够在目标以及背景的每一个中进行最佳运动补偿预测，能够进行高质量的图像压缩编码和解码。

另一方面，图2是适用了本发明的解码装置的框图。解码装置如图2所示，由分离电路30，可变长解码电路(VLC)31，逆量化电路32，逆正交变换电路33，加法电路34，运动补偿电路35和阿尔法-映射解码电路40构成。

分离电路30是把被输入的编码了的比特流进行分离处理得到阿尔法-映射信号和图像的编码信号等的电路，阿尔法-映射解码电路40是把在该分离电路30中分离了的编码阿尔法-映射信号进行解码的电路。

可变长解码电路31是把在分离电路30中被分别了的编码图象信号进行解码的电路，逆量化电路32具有把该被解码了的图像信号进行量化恢复原有系数的功能，逆正交变换电路33根据具有根据阿尔法-映射把该系数进行逆正交变换并恢复预测误差信号的功能，加法电路34在预测误差信号上加入来自运动补偿电路35的运动补偿值作为再生图像信号进行输出。该再生图像信号成为解码装置的最终输出。

运动补偿电路35根据阿尔法-映射通过把从加法电路34输出的再生图像信号存储到帧存储器中，得到目标图像和背景图像，同时，从被存储而得到的图像获得目标的运动补偿信号、背景的运动补偿信号。

在这样结构的解码中装置中，编码比特流经过信号线7供给到分离电路30中，在分离电路30中通过分离为各个信息，分为关于阿尔法-映射信号的代码和图像信号的可变长长代码。

关于阿尔法-映射信号的代码经过信号线8供给到阿尔法-映射解码电路40中，另外，图像信号的可变长代码供给到可变长解码电路31中。

关于阿尔法-映射的代码在阿尔法-映射解码电路40中被再生为阿尔法-映射信号，经过信号线9输出到逆正交变换电路33和运动补偿电路35中。

另一方面，可变长解码电路31把从分离电路30供给的代码进行解码，被解码了的变换系数供给到逆量化电路32中，在这里被逆量化。被逆量化了的变换系数根据经过信号线9供给的阿尔法-映射在逆正交变换电路33中进行逆变换，供给到加法电路34中。加法电路34把来自逆正交变换电路33的逆正交变换了的信号和从运动补偿电路35供给的运动补偿信号进行相加，得到再生图像。

以上是适用本发明的图像编码装置以及图像解码装置的概要。

本发明涉及作为图1所示的编码装置构成要素的阿尔法-映射解码电路20以及图2所示的解码装置构成要素的阿尔法-映射解码电路40，以下说明具体实施例。

首先，说明第1实施例。该实施例构成为在使用可变长编码表把特定变化像素的位置的代码进行编码时，通过制做可变长编码表(VLC表)在出现频率高的代码中分配短代码，在减少总代码量的情况下，根据已经被编码/解码了的阿尔法-映射的像素图形，适当地切换可变长编码表(VLC表)，进一步减少代码量。

该第1实施例的特征在于，使用可变长编码表把特定变化像素位置的代码进行编码，根据已经编码了的阿尔法-映射的图形，切换该可变长编码表。

即，本实施例中，根据已经编码/解码了的阿尔法-映射像素图形，通过适当地切换可变长编码表(VLC表)，进一步减少代码量。

首先，参考图3说明在图1的编码装置中使用的阿尔法-映射编码电路20的结构。

阿尔法-映射解码电路20由分辨率变换电路(缩小电路(down-samping circurt))21，(扩展电路(up-samping circurt))23，二进制图像编码电路22，多路复用电路24构成。

其中，分辨率变换电路21是用于降低分辨率的变换电路，具有根据给出的缩小扩展率缩小阿尔法-映射的功能，另外，分辨率变换电路23是用于提高分辨率的变换电路，具有根据给出的缩小扩展率扩展阿尔法-映射的功能。

分辨率变换电路23是用于把由分辨率变换电路21缩小变换了分辨率的阿尔法-映射恢复到原来尺寸而设置的，通过该分辨率变换电路23恢复到原来尺寸的阿尔法-映射成为经过信号线4供给到正交变换电路12，逆正交变换电路16中的阿尔法-映射局部解码信号。

二进制图像编码电路22具有把分辨率变换电路21输出的缩小变换了分辨率的阿尔法-映射信号进行二进制图像编码并且输出的功能，多路复用电路24把二进制图像编码输出和经过上述信号线6提供的缩小扩展率的信息多路复用后进行输出。

在这样结构的阿尔法-映射编码电路20中，通过分辨率变换电路21按指定的缩小扩展率把经过阿尔法-映射信号输入线2输入的阿尔法-映射信号进行缩小以后再进行编码，经过信号线3把被编码了的阿尔法-映射信号进行输出，另外，把通过分辨率变换电路23使被编码了的阿尔法-映射信号扩展为原来的分辨率而得到的局部解码信号经过信号线4输出到图1的正交变换电路12以及逆正交变换电路16中。

即，通过经由信号线6提供在阿尔法-映射编码电路20中所希望的尺寸变换率的设定信息，能够谋求上述折衷。

经过信号线6提供的尺寸变换率供给到分辨率变换电路21，23以及二进制图像编码电路22中，能够控制阿尔法-映射信号的发生代码量。另外，经过信号线6供给的尺寸变换率的代码(设定信息信号)在多路复用电路24中，与被编码了的阿尔法-映射信号一起多路复用，经过信号线3进行输出，作为阿尔法-映射的编码信号提供给作为图像编码装置最终输出级的多路复用电路18。

其次，参考图4说明图2的解码装置中使用的阿尔法-映射解码电路40。

如图4所示，阿尔法-映射解码电路40由二进制图像解码电路41，分辨率变换电路42以及分离电路43构成。分离电路43是从在图2所示的图像解码装置内的分离电路30中分离了的输入到阿尔法-映射解码电路40中的阿尔法-映射信号分离出阿尔法-映射信号的代码和尺寸变换率的代码(尺寸变换率的设定信息信号)(demultiplex)的电路，二进制图像解码电路41是把阿尔法-映射信号的代码根据从分离电路43分离而给出尺寸变换率的代码恢复为二进制图像的电路，分辨率变换电路42根据从分离电路43分离而给出的尺寸变换率的代码把该二进制图像进行分辨率扩展变换后输出。

图4中，经过信号线8供给到阿尔法-映射解码电路40中的代码用分离电路43分离为阿尔法-映射信号的代码和尺寸变换率的代码，经过各信号线44以及信号线45进行输出。

在二进制图像解码电路41中，从经过信号线44供给的阿尔法-映射信号的代码和经过信号线45供给的尺寸变换率的代码，再生被缩小了的阿尔法-映射信号，经过信号线46供给到分辨率变换电路42中。在分辨率变换电路42中，从经过信号线45供给的尺寸变换率的代码，把被缩小了的阿尔法-映射信号扩展为原来的尺寸以后经过信号线9进行输出。

图5更详细地示出图1的阿尔法-映射编码电路20或者图3的二进制图像编码电路22的情况。

阿尔法-映射信号51输入到a1检测电路52以及保存被编码了的阿尔法-映射的存储器53中。在a1检测电路52中，如图7A以及图7B所示那样检测变化像素a1的位置，输出位置信号54。

即，图7A示出以块单位(例如，M×N像素构成的块单位(M：水平方向的像素数，N：垂直方向的像素数))对阿尔法-映射信号进行编码时的变化像素的关系。另外，图7B示出用于检测参考变化像素b1的参考区域。

在基于块的编码中，变化像素也可以像以下那样单纯地进行编码。另外，以下的处理既可以切换扫描的顺序，也可以适用于被缩小了的块。单纯变化像素的编码如以下那样进行。

现在，设对于变化像素ai(i＝0～1)以及参考变化像素b1的每一个按照光栅顺序从画面左上方求出时的地址(或者像素顺序)分别记为abs_ai(i＝0～1)，abs_b1，把变化像素a0所属的行记为a0_line，则用以下的公式求出a0_line以及r_ai(i＝0～1)，r_b1。

a0_line＝(int)((abs_a0+WIDTH)/WIDTH)-1

r_a0＝abs_a0-a0_line*WIDTH

r_a1＝abs_a1-a0_line*WIDTH

r_b1＝abs_b1-(a0_line-1)*WIDTH

在上述公式中，*表示乘法运算，(int)(X)表示舍弃X的小数点后面的值，WIDTH表示块的水平方向的像素数。通过把变化像素的相对地址“r_a1-r_b1”或者“r_a1-r_a0”的值进行编码，可以得到再生值。这样检测出变化像素a1的位置。

如上述那样用a1检测电路52检测出的位置54的信息传送到模式决定电路55中。同时，来自存储器53的参考变化像素b1的位置信号56也传送到模式决定电路55中。

在模式决定电路55中，根据图8所示的算法决定模式，其模式作为被编码的代码57传送到编码电路58中。

即，首先，把起点变化像素的位置初始化(S1)，用1比特把初始位置(块的左上像素)的像素值进行编码(S2)，接着在初始位置检测参考变化像素b1(S3)。

这里，在没有检测出参考变化像素b1的情况下，由于在参考区域不存在变化像素所以不使用垂直模式，因而把垂直通过模式的状态取为“TRUE”(真)，在检测出b1的情况下由于使用垂直模式，所以把垂直通过模式的状态取为“FALSE”(伪)。

按照上述的步骤结束初始状态的设置，转移到编码循环的处理中。

首先，检测变化像素a1(S5)，判断是否检测出了变化像素a1(S6)，在没有检测出变化像素a1的情况下，以后由于没有变化像素，所以把显示结束编码的编码处理结束代码(EOMB；End ofMB)进行编码(S7)。

另外，步骤S6中的判断结果为检测出变化像素a1的情况下，判断垂直通过模式处理的状态(S8)。这里，如果垂直通过模式的状态是“TRUE”，则进行垂直通过模式的编码处理(S16)，如果垂直通过模式的状态是“FALSE”，则检测b1(S9)。

接着，判断是否检测出b1(S10)，在没有检测出参考变化像素b1的情况下，进入到水平模式的步骤(S13)中，在检测出参考变化像素b1的情况下，判断“r_a1-r_b1”的绝对值是否大于阈值(VTH)(S11)，其结果，在小于阈值(VTH)的情况下，进入到垂直模式的步骤(S12)中，在大于阈值(VTH)的情况下，进入到水平模式的步骤(S13)中。

在水平模式的步骤(S13)中，把“r_a1-r_a0”的值进行编码。这里，判定“r_a1-r_a0”的值是否小于“WIDTH”(S14)，其结果，在大于“WIDTH”的情况下，把垂直通过模式的状态取为“TRUE”(真)(S15)，进入到垂直通过模式的步骤(S16)中，如果结束了垂直通过模式的步骤(S16)，则把垂直通过模式的状态取为“FALSE”(伪)。

以上，在结束了垂直模式、水平模式、垂直通过模式的某一个以后(至a1的编码结束后)，把a1的位置作为新的a0的位置(S18)，返回到步骤S5的处理中。

如果像上述那样决定了模式，则从存储器53把编码完毕的参考变化像素b1周围的图形59传送到表决定电路60中。在表决定电路60中，选择多个可变长编码表中的一个进行输出。

这里，例如，如图9所示那样，在参考变化像素b1的上方，存在有从右上方向左下方的边缘时，由于在参考变化像素b1的下方直线地延伸着同样的边缘的情况很多，所以像素x1，x2，x3中在x1内存在a1的概率高。

于是，在参考变化像素b1的上方存在有这样的图形时，使用在VL1(r_a1-r_b1＝-1)中分配短代码的表。

其次，参考图10和图11说明表决定方法。这里，着眼于图10所示的参考变化像素b1的上2行的c0～c5。这些像素如果是与参考变化像素b1相同的值则取“1”，如果是不同的值则取“0”，如图11所示，按照c0～c5的顺序排列“0”和“1”。

把该2进制数变换为10进制数的数值称为上下文编号。使得对应于各个上下文编号，例如，预先准备下面那样的可变长编码表。

[上下文编号＝0时]

V0             1

VL1            010

VR1            011

VL2            000010

VR2            000011

EOMB           0001

H              001

[上下文编号＝1时]

V0             010

VL1            1

VR1            000010

VL2            011

VR2            000011

EOMB           0001

H              001

[上下文编号＝2时]

以下省略

该表中

VL1表示r_a1-r_b1＝-1

VL2表示r_a1-r_b1＝-2

VR1表示r_a1-r_b1＝1

VR2表示r_a1-r_b1＝2

图9由于上下文编号＝1，所以选择可以用1比特把上述VL1进行编码的表。

返回到图5，继续进行说明。编码电路58使用从表决定电路60传送来的被选择的表11决定代码62，输出该决定了的代码62。

图6示出更详细地表示作为图2所示的解码装置构成要素的阿尔法-映射解码电路40或者作为图4所示的解码装置构成要素的二进制图像解码装置41的结构框图。这里，把图5的实施例中生成的代码62进行解码。

代码62输入到解码电路63中。在存储器64中保存着至今为止的被解码了的阿尔法-映射，参考变化像素b1周围的图形65传送到表决定电路66中。

在表决定电路66中，作为选择了多个可变长编码表之一的表67，传送到解码电路63中。表决定的算法与图5的表决定电路70相同。

根据表67，把代码68进行解码，传送到a1再生电路69中。在a1再生电路69中，根据代码68和从存储器64传送来的b1的位置70决定a1的位置，再生直到a1的阿尔法-映射71。输出被再生了的阿尔法-映射71，另外，为了后面解码，还保存在存储器64中。

以上，第1实施例是切换多个预定可变长编码表的例子，以下说明在图12中根据实际产生的代码的频度，动态地修正表的第2实施例。

上述第1实施例是切换多个预定表可变长编码表的装置，在图12中示出了根据实际产生的代码的频度，动态地修正表的实施例。这是在图5的第1实施例的解码装置上添加了计数器72和霍夫曼表生成电路73的结构。

计数器72中输入来自模式决定电路55的代码57和来自表决定电路60的上下文编号74。计数器72把各代码的发生次数保存在各上下文编号中。从该保存经过一定的时间后在各上下文编号中代码的发生次数75传送到霍夫曼表生成电路73中。在霍夫曼表生成电路73中，通过霍夫曼编码(见藤田的“基础情报理论”(昭晃堂出版社)pp.52-53，1987年)生成编码表76。该表76传送到表决定电路60中，用表76替换该上下文编码的表。该霍夫曼表的生成和置换对于全部上下文编号进行。

图13示出用于把图12的编码电路中所生成的代码进行解码的解码电路。图13所示的第2实施例的解码装置也是在图6所示的第1实施例的解码装置上添加了计数器77和霍夫曼表生成电路78的结构。

计数器77和霍夫曼表生成电路78的动作与图12相同。

如以上所述那样，第1以及第2实施例的特征是在通过使用可变长编码表把特定变化像素位置的代码进行编码由此减少代码的编码/解码中，预先准备多个可变长编码表，根据已经被编码了的阿尔法-映射的图形，切换多个该可变长编码表，如果依据这样的本发明，则能够得到可以更减少阿尔法-映射的代码量的效果。

其次，作为第3实施例说明不是从M×N像素(M：水平方向的像素数，N：垂直方向的像素数)构成的块内的像素值，而是从运动补偿预测信号求出相对地址编码的参考变化像素的实施例。

图14是说明作为第3实施例的阿尔法-映射编码电路的框图。另外，图15是说明作为第3实施例的阿尔法-映射解码电路的框图。

使用图14，图15以及图16A，16B说明本发明的阿尔法-映射编码电路20以及阿尔法-映射解码电路40。

在第3实施例中，如图14所示，阿尔法-映射编码电路20由分辨率变换电路(缩小处理用电路)21、分辨率变换电路(扩展处理用电路)23、二进制图像编码电路(如基于块的MMR编码器)22、多路复用电路24、运动补偿预测电路25以及缩小电路26构成。

其中，分辨率变换电路21是缩小变换分辨率用的变换电路，具有以根据给定的尺寸变换率的设定信息信号的缩小率，把阿尔法-映射信号进行编码的功能，另外，分辨率变换电路23是扩展变换分辨率用的变换电路，具有以根据给定的扩展率把阿尔法-映射进行编码的功能。

分辨率变换电路23是为了把由分辨率变换电路21缩小变换了分辨率的阿尔法-映射恢复到原来尺寸而设置，在分辨率变换电路23恢复到原来尺寸的阿尔法-映射经过信号线4成为输入到图1的正交变换电路12以及逆正交变换电路16中的阿尔法-映射局部解码信号。

二进制图像编码电路22是把分辨率变换电路21输出的缩小变换了分辨率的阿尔法-映射信号作为二进制图像编码输出的电路，详细情况后述，使用从缩小处理用的分辨率变换电路26经过信号线82供给的缩小变换了分辨率的阿尔法-映射的运动补偿预测信号进行编码。另外，多路复用电路24把二进制图像编码输出和扩展率的信息进行多路复用后输出。

第3实施例中的编码电路的结构在具有运动补偿预测电路25以及缩小处理用的分辨率变换电路26这一点与图3的电路结构不同，在运动补偿预测电路25中，首先设置存储被编码了的帧的再生图像的帧存储器，是能够存储从扩展电路23供给的再生信号的结构，进而，在运动补偿预测电路25中，供给运动矢量信号(未图示)，根据该运动矢量信号生成运动补偿预测信号，经过信号线81供给到缩小处理用的分辨率变换电路26中。

缩小处理用的分辨率变换电路26根据经过信号线6供给到尺寸变换率的设定信息信号把经过信号线81供给的来自运动补偿预测电路25的运动补偿信号进行缩小以后，经过信号线82输出到二进制图像编码电路22中。

另外，在构成为二进制图像编码电路22的情况下，把经过信号线2a供给的来自分辨率变换电路21的缩小变换了分辨率的阿尔法-映射信号编码为二进制图像后进行输出。

在这样结构的阿尔法-映射编码电路20中，经过信号线6供给的尺寸变换率的设定信息信号供给到分辨率变换电路21、23、26以及二进制图像编码电路22中，能够抑制阿尔法-映射信号的产生代码量。另外，经过信号线6供给的尺寸变换率的代码(设定信息信号)在多路复用电路24中，与被编码的阿尔法-映射信号一起被多路复用后经过信号线3进行输出，作为阿尔法-映射的编码信号供给到作为图像编码装置最终输出级的图1的多路复用电路18中。

在阿尔法-映射解码电路20中，分辨率变换电路21根据经过信号线6给出的所希望的尺寸变换率的设定信息把经过阿尔法-映射信号输入线2输入的阿尔法-映射信号进行缩小，把缩小了的阿尔法-映射信号供给到二进制图像编码电路22中。

二进制图像编码电路22使用从缩小处理用的分辨率变换电路26经过信号线82供给的缩小变换了分辨率的阿尔法-映射信号的运动补偿预测信号把从分辨率变换电路21得到的完成了分辨率缩小变换的阿尔法-映射信号进行编码，作为二进制图像编码输出，供给到多路复用电路24和分辨率变换电路23中。多路复用电路24把作为二进制图像编码输出的被编码了的阿尔法-映射信号和经过信号线6给出的扩展率的信息进行多路复用后输出到信号线3上。

另一方面，分辨率变换电路23根据经过信号线6得到的尺寸变换率的设定信息信号把从二进制图像编码电路22供给的该缩小编码了的阿尔法-映射信号(二进制图像编码输出)解码为原来分辨率的阿尔法-映射信号，把该解码信号作为局部解码信号经过信号线4输出到运动补偿预测电路25以及图1的正交变换电路12和逆正交变换电路16中。

另一方面，在运动补偿预测电路25中，预先设置着帧存储器，在帧存储器中存储着由扩展处理用的分辨率变换电路23供给的已经编码了的帧的再生图像信号。运动补偿预测电路25根据从其它途径供给的运动矢量信号生成阿尔法-映射的运动补偿预测信号，经过信号线81供给到缩小处理用的分辨率变换电路26中。分辨率变换电路26根据经过信号线6得到的尺寸变换率的设定信息信号把该被供给的运动补偿预测信号进行分辨率缩小变换，供给到二进制图像编码电路22中。

二进制图像编码电路22利用从缩小处理用的分辨率变换电路26供给的缩小变换了分辨率的阿尔法-映射的运动补偿预测信号，把从分辨率变换电路21得到完成了分辨率缩小变换的阿尔法-映射信号进行编码。

以上是第3实施例的阿尔法-映射编码电路的概要。下面说明阿尔法-映射解码电路。

如图15所示，本实施例的阿尔法-映射解码电路40由二进制图像解码电路41，分辨率变换电路(扩展处理用电路)42，分离电路43，运动补偿预测电路44以及分辨率变换电路(缩小处理用电路)45构成。

其中，分离电路43是从在图2所示图像解码装置内的分离电路30中被分离的输入到阿尔法-映射解码电路40中的阿尔法-映射信号分离出阿尔法-映射信号的代码和尺寸变换率的代码的电路，二进制图像解码电路41是根据从分离电路43分离并给出的尺寸变换率的代码(尺寸变换率的设定信息信号)把阿尔法-映射信号的代码恢复为二进制图像的电路，详细的情况后述，利用从缩小处理用的分辨率变换电路45经过信号线95供给的缩小变换了分辨率的阿尔法-映射的运动补偿预测信号进行解码。

扩展处理用的分辨率变换电路42根据从分离电路43分离并给出的尺寸变换率的代码(尺寸变换率的设定信息信号)把来自该二进制图像解码电路41的作为阿尔法-映射信号的代码的二进制图像进行分辨率扩展变换后输出。

第3实施例中的解码电路的结构在具有运动补偿预测电路44以及缩小处理用的分辨率变换电路45这一点与图4的解码电路不同。运动补偿预测电路44具有存储前面被解码了的帧的再生图像的帧存储器，构成为存储从扩展处理用的分辨率变换电路42供给的再生信号的同时，被供给运动矢量信号(图中未示出)，根据该运动矢量信号生成运动补偿预测信号，经过信号线94供给到缩小处理用的分辨率变换电路45中。

分辨率变换电路45根据经过信号线92供给的尺寸变换率的设定信息信号把该运动补偿预测信号缩小以后，经过信号线92输出到二进制图像解码电路41中。

在这样结构的阿尔法-映射解码电路40中，经过信号线8供给到阿尔法-映射解码电路40的代码通过分离电路43分离为阿尔法-映射信号的代码和尺寸变化率的代码，经过各信号线91以及信号线92进行输出。

二进制图像解码电路41的详细情况后述，通过利用从缩小处理用分辨率变换电路45经过信号线95供给的缩小变换了分辨率的阿尔法-映射的运动补偿预测信号，根据经过信号线91供给的阿尔法-映射信号的代码和经过信号线92供给的尺寸变换率的代码(尺寸变换率的设定信息信号)实施恢复为二进制图像的解码处理，再生被缩小了的阿尔法-映射信号，经过信号线93，供给到分辨率变换电路42中。

在分辨率变换电路42中，根据经过信号线92供给的尺寸变换率的代码把二进制图像解码电路41再生了的缩小的阿尔法-映射信号扩展为原来的尺寸，再生阿尔法-映射以后，经过信号线9进行输出。

即，分辨率变换电路42根据经过信号线92得到的尺寸变换率的设定信息信号，把从二进制图像解码电路41供给的该缩小编码了的阿尔法-映射信号(二进制图像编码输出)解码为原来的分辨率，获得局部解码信号，把该得到的局部解码信号输出到运动补偿预测电路44中。

另一方面，在运动补偿预测电路44中，设置着帧存储器，存储从扩展处理用的分辨率变换电路42供给的已经被编码了的帧的再生图像。运动补偿预测电路44根据从其它途径供给的运动矢量信号生成阿尔法-映射的运动补偿预测信号，经过信号线94供给到缩小处理用分辨率变换电路45中。分辨率变换电路45根据经过信号线92得到尺寸变换率的设定信息信号把该被供给的运动补偿预测信号进行分辨率缩小变换，供给到二进制图像解码电路41中。

二进制图像解码电路41利用从缩小处理用的分辨率变换电路45给出的缩小变换了分辨率的阿尔法-映射的运动补偿预测信号，根据来自分离电路43的尺寸变换率的设定信息信号，把来自分离电路43的阿尔法-映射信号进行解码。

以上是适用了本发明的解码电路的概要。

如已经说明的那样，适用了本发明的第3实施例中的编码电路的结构在具有运动补偿预测电路25和缩小电路26这一点上与图3的解码电路不同，另外，解码电路的结构在具有运动补偿预测电路44和缩小电路45这一点上与图4的解码电路不同。

运动补偿预测电路25或44中，具有存储已经被编码了的帧的再生图像的帧存储器，存储从扩展电路23或42供给的再生信号。进而，运动补偿预测电路25和44中，被供给在这里未图示的运动矢量信号，根据该运动矢量信号生成运动补偿预测信号，经过信号线81以及信号线94供给到缩小电路26或者45中。

这里，运动矢量信号可以利用设置在图1以及图2的装置中的运动补偿预测电路11或35中使用的运动矢量信号，也可以通过在阿尔法-映射编码电路20中，设置阿尔法-映射用的运动矢量检测电路，求出阿尔法-映射用的运动矢量信号。

即，已知有许多种求出供给到运动补偿预测电路25或者44中的运动矢量信号的方法，由于与本发明无关，所以在这里不进行深入的说明。

在缩小电路26或者45中，根据经过信号线6以及信号线92供给的尺寸变换率的设定信息信号把经过信号线81以及信号线94供给的运动补偿信号进行缩小以后，经过信号线42以及信号线92进行输出。

另外，在构成为二进制图像编码电路22的情况下，把经过信号线2a供给的缩小变换了分辨率的阿尔法-映射信号进行二进制图像编码后进行输出。

这里，本实施例的二进制图像编码电路22与图3的编码电路的根本不同点在于具有利用经过信号线82供给的缩小变换了分辨率的阿尔法-映射的运动补偿预测信号进行编码的功能。

关于这一点详细地进行说明。

图16A以及16B说明利用运动补偿预测信号进行编码的方法，示出帧图像单位的图像中被分割为N×M像素构成的图像块中的一个。

图16A以及16B中，“当前块”是处理对象块，是被输入的当前的处理图像。另外，“补偿过的块”指补偿块，是作为前一次处理对象的图像块。

在第1实施例中，在与变化像素a0，a1相同的“当前块”内检测对应于当前处理对象图像的块的阿尔法-映射在当前块上的参考变化像素b1。

另一方面，在图14以及15的第3实施例中，从作为运动补偿预测信号的“补偿过的块”内检测出参考变化像素，这一点是新的概念。即，从作为运动补偿预测信号的“补偿过的块”内检测出对应于当前处理对象图像块的阿尔法-映射在该块上的参考变化像素b1。

另外，本实施例只是在参考变化像素b1的检测方法上不同，而在使用a0，a1以及b1的相对地址进行编码·解码这一点与前面的实施例相同。

在图16A以及16B中，a0是起点变化像素，至起点变化像素a0已经完成了编码。另外，a1是起点变化像素a0的下一个变化像素，b0是在“补偿过的块”内与a0相同位置的像素(不限于变化像素)。另外，如果把a0(b0)所属的行记为“a0_line”，则参考变化像素b1如以下定义。

这里，把abs_x记为从块的左上方的像素按照光栅顺序扫描块内时的像素X的地址。另外，块左上方的像素的地址记为“0”。

abs_b0＜abs_b1，标注符号“×”表示的像素是变化像素，变化像素×位于“a0_line”的情况下，把与“a0”相反颜色的最初的变化像素作为参考变化像素b1，在“a0_line”上不存在变化像素时，把该行上的最初的变化像素作为参考变化像素b1。

图16A是在“a0_line”上不存在变化像素的情况，在该情况下把下一行的最初变化像素作为“b1”。

另外，图16B是在“a0_line”上存在变化像素的情况，该变化像素×由于不是与“a”相反颜色，所以不作为“b1”，而是把下一行的最初变化像素作为“b1”。

另外，“a0_line”以及“r_ai(i＝0～1)”，“r_b1”的值能够用以下的公式求出。

a0_line＝(int)((abs_a0+WIDTH)/WIDTH)-1

r_a0＝abs_a0-a0_line*WIDTH

r_a1＝abs_a1-a0_line*WIDTH

r_b1＝abs_b1-a0_line*WIDTH

在以上公式中，*表示乘法运算，另外，(int)(X)表示舍弃X的小数点以后的值，WIDTH表示块的水平方向的像素数。

本实施例中由于参考变化像素b1的定义与以前的实施例有所变化，所以“r_b1”的定义也如上式那样变更。

使用图16A以及16B说明的编码方法是从“补偿过的块”内求出参考变化像素b1的一例。关于参考变化像素b1的检测能够有种

变形。

另外，二进制图像解码电路41利用经过信号线95供给的缩小变换了分辨率的阿尔法-映射的运动补偿预测信号(“补偿过的块”)，按照与二进制图像编码电路22相同的顺序可以检测参考变化像素b1。

进而，还能够例如以块单位切换是从“当前块”内还是从“补偿过的块”内检测参考变化像素b1。这时，在二进制图像编码电路22中也同时使用切换用的信息进行编码，二进制图像解码电路41也使用切换用的信息进行解码，在解码处理时根据切换信息，例如以块单位切换是从“当前块”内还是从“补偿过的块”内检测参考变化像素b1。

这样，能够根据块单位的图像内容，实行最佳处理，能够进行更高效的编码。

另外，设置切换扫描顺序的装置，通过像图17A所示那样把扫描顺序功换为横向扫描，或者如图17B所示那样把扫描顺序切换为纵向扫描，能够减少变化像素的数目，进一步削减代码，这样也能够带来更高效率的编码。

以上，第3实施例提供了在每个任意形状的目标中把作为时间序列数据得到多个帧的活动图像信号进行编码的活动图像编码装置中的把表示目标形状的字符映像进行编码的编码电路。

即，本实施例能提供这样的活动图像编码装置，该装置具有把通过以M×N像素(M：水平方向的像素数，N：垂直方向的像素数)的块单位分割包含目标的矩形区域而得到的多个块按照一定的规定顺序地在矩形区域内进行编码的同时对于块的整体或者一部分进行相对地址编码的编码器，存储块附近的再生值的存储器，存储已经编码了的帧的再生信号的帧存储器，使用帧存储器内的再生信号生成运动补偿预测值的运动补偿预测电路，检测包含块附近的再生值的变化像素的检测电路，该装置不是从块内的像素值而是从运动补偿预测信号求出相对地址编码的参考变化像素。

另外，本发明还提供了一种活动图像编码装置，该装置在阿尔法-映射解码电路中具有在每个由M×N像素构成的块中按照一定的规则把包含目标的矩形区域顺序进行解码的解码电路，存储块附近的再生值的存储器，存储已经被编码了的帧的再生信号的帧存储器，使用帧存储器内的再生信号生成运动补偿预测值的运动补偿预测电路，检测包含块附近的再生值的检测变化像素的检测电路，该装置不是从上述块内的像素值而是从运动补偿预测信号求出相对地址编码的参考变化像素。

由此，能够有效地把作为表示目标形状和画面内位置等的副图像信息的阿尔法-映射的信息进行编码的同时还能够进行解码。

另外，本发明还提供一种活动图像编码装置，该装置具有存储块附近的再生值的再生值存储电路，存储已经编码了的帧的再生信号的帧存储器，使用帧存储器内的再生信号生成运动补偿预测值的运动补偿预测电路，参考再生值存储电路的存储再生值的信息检测包含块附近的再生值的变化像素的检测电路，切换从块内的再生图像像素值求出的相对地址编码的参考变化像素和从运动补偿预测信号求出的相对地址编码的参考变化像素的切换电路，该装置与切换信息一起把相对地址编码信息进行编码。

另外，本发明还提供一种活动图像编码装置，该装置在阿尔法-映射解码电路中具有在每个由M×N像素构成中块内按照一定规则顺序地把包含目标的矩形区域进行解码的编码器，存储块附近的再生值的再生值存储电路，存储已经被编码了的帧的再生信号的帧存储器，使用帧存储器内的再生信号生成运动补偿预测值的运动补偿预测电路，检测包含块附近的再生值的变化像素的检测电路，该装置还具有切换从块内的再生像素值求出的相对地址编码的参考变化像素和从运动补偿预测信号求出的相对地址编码的参考变化像素的切换电路，使得根据切换信息求出参考变化像素。

这种情况下，在相对地址编码时，能够以块单位切换处理是从“当前块”内还是从“补偿过的块”内检测出参考变化像素b1，在编码一侧也能够使用该切换用的信息进行编码，在解码一侧将其进行解码，在被编码了的阿尔法-映射的解码处理时根据该切换用的信息，能够以块单位进行切换是从“当前块”内还是从“补偿过的块”内检测出参考变化像素b1，通过这样做，能够根据块单位的图像内容，进行最佳处理，能够进行更高效率的编码。

以上，如果依据本发明，则可以得到能够高效地把作为表示目标形状和画面内位置等的副图像信息的字符映像的信息进行编码，同时能够进行解码这样的图像编码装置以及图像解码装置。

以上的实施例说明了阿尔法-映射编码电路20使用MMR(Modified Modified READ “经改进的改进读出”)编码的情况例。然而，本发明并不限定于MMR编码，也能够使用其它任意的二进制图像编码电路实现。为此，以下说明那样的例子。

参考图18，图19以及图20说明阿尔法-映射编码电路20以及阿尔法-映射解码电路40的具体结构。

图18把阿尔法-映射的画面分割为例如16×16像素的预定的多个像素结构的宏块(MB)单位，正方形网格形状的边框是分割的边界线，一个一个网格形状是宏块(MB)。

在用二进制表现的阿尔法-映射的情况(也有包括合成目标时的加权系数在内以多值表现的情况)下，目标的形状信息在每个像素用表示透明的值或者表示不透明的值的某一个表示。从而，如图18所示，阿尔法-映射的画面中的各宏块(MB)自身的状态分类为“透明”(即完全透明，MB中的每一象素均透明)，“不透明”(完全不透明，即MB中的每一象素均不透明)，“多重”(其它)的3种类型的某一个。

作为人物图像的阿尔法-映射的图18那样的画面情况下，由于背景是“透明”，人物部分是“不透明”，所以可以仅把包含分类为“多重”的目标边界部分的宏块(MB)进行二进制图像编码。另外，在被分类为“多重”的宏块(MB)中，运动补偿预测误差值小于设定值(阈值)的情况下，用运动补偿预测值复制该块(MB)。这样，如果把被复制的宏块(MB)的模式记为“无更新”，把二进制图像编码了的宏块(MB)的模式记为“已编码”，则该宏块(MB)的编码模式成为下面4种。

(1)“透明”

(2)“不透明”

(3)“无更新”

(4)“已编码”

在阿尔法-映射编码电路20和阿尔法-映射解码电路40中说明各个模式的编码方法或者解码方法。

图19是阿尔法-映射编码电路20的详细结构图。在图19的结构中，由模式判断电路110，CR(尺寸变换率)判断电路111，选择器120，块内像素值设定电路140、150，运动补偿预测电路160，二进制图像编码电路170，缩小电路171、173、174，扩展电路172，帧存储器130，转置电路175、176，扫描类型(ST)判断电路177，运动矢量检测电路(MVE)178，MV编码电路179，VLC(可变长编码)多路复用电路180构成。

其中，块内像素值设定电路140是发生把块内的像素值设为完全透明的像素数据的电路，块内像素值设定电路150是发生把块内的像素值设为完全不透明的像素数据的电路。

CR(尺寸变换率)判断电路111分析经过阿尔法-映射信号输入线2被供给的阿尔法-映射信号，判断以哪种程度的尺寸变换率处理一帧的阿尔法-映射图像，同时把其判断结果作为尺寸变换率b2进行输出。另外，缩小电路171把经过阿尔法-映射信号输入线2供给的阿尔法-映射信号按帧总体进行缩小，扫描类型(ST)判断电路177根据来自二进制图像编码电路170的编码输出判定扫描方向并且输出扫描方向信息(扫描类型)b4。

另外，转置电路175根据该扫描类型(ST)判断电路177输出的扫描方向信息b4，对于缩小电路171缩小处理了的一帧的阿尔法-映射信号把各宏块的位置进行转置处理，转置电路176根据扫描类型判断电路177输出的扫描方向信息b4，把缩小电路171、172、173的输出进行转置处理后输出。二进制图像编码电路170把经过这些转置电路175、176给出的缩小阿尔法-映射信号进行编码处理后输出。

另外，扩展电路172把经过缩小电路171给出的阿尔法-映射信号用上述CR判断电路111输出的尺寸变换率进行扩展处理，运动补偿预测电路160使用存储在帧存储器130中的参考帧的再生图像生成运动补偿预测信号，输出到模式判断电路110以及缩小电路174中。缩小电路174用CR判断电路111输出的尺寸变换率把运动补偿预测信号进行缩小处理，缩小电路173用CR判断电路111输出的尺寸变换率把存储在帧存储器130中的参考帧的再生图像进行缩小处理。

另外，选择器120根据模式判断电路110输出的分类信息从来自块内像素值设定电路140的再生信号m0、来自块内像素值设定电路150的再生信号m1、来自运动补偿预测电路160的运动补偿预测信号m2、来自扩展电路172的再生信号m3中选择所需要的信号并且进行输出，帧存储器130以帧单位存储该选择器120的输出。

另外，模式判断电路110参考来自运动补偿预测电路160的运动补偿预测信号和来自二进制图像编码电路170的编码信号b4，分析经过阿尔法-映射信号输入线2供给的阿尔法-映射信号，判断在各宏块中被分类为“透明”，“不透明”，“无更新”，“已编码”的哪一种，并且把判断结果作为模式信息b0进行输出。

运动矢量检测电路(MVE)178从经过阿尔法-映射信号输入线2供给的阿尔法-映射信号检测运动矢量。MV编码电路179把在运动矢量检测电路(MVE)178检测出的运动矢量进行编码，把其编码结果作为运动矢量信息b1进行输出。例如，在MV编码电路179中适用了预测编码的情况下，其预测误差信号作为运动矢量信息b1输出。

VLC(可变长编码)多路复用电路180接收来自模式判断电路110的模式信息b0，来自MV编码电路179的运动矢量信息b1，来自CR(尺寸变换率)判断电路111的尺寸变换率信息b2，来自扫描类型(ST)判断电路177的扫描方向信息b3以及来自二进制图像编码电路170的二进制编码信息b4，把它们进行可变长编码及多路复用后输出到信号线3上。

在这样的结构中，作为编码对象的阿尔法-映射信息经过阿尔法-映射信号输入线2供给到阿尔法-映射编码电路20中。接收了这些信号的阿尔法-映射编码电路20在其模式判断电路110中分析阿尔法-映射信号，判断在各宏块中被分类为“透明”，“不透明”，“无更新”，“已编码”中的哪一种。这里，作为分类的评价基准，例如使用失配像素数。具体情况如下。

模式判断电路110首先在把输入的宏块内的信号置换为完全透明情况下的失配像素数，把该数小于阈值的宏块分类“透明”。同样，把宏块内置换为完成不透明情况下的失配像素数小于阈值的宏块分类为“不透明”。

其次，模式判判断电路110对于既没有被分类为“透明”也没有被分类为“不透明”的宏块，计算与经过信号线101供给的运动补偿预测值的失配像素数，把该数小于阈值的宏块分类为“无更新”。

这里，没有被分类为“透明”“不透明”或者“无更新”的宏块被分类为“已编码”。

基于模式判断电路110的该分配信息b0经过信号线102供给到选择器120，在选择器120中当宏块的模式是“透明”时，选择在块内像素值设定电路140中把块内像素值取为完成透明的再生信号m0，经过信号线4供给到帧存储器130中，在该帧的存储区域内存储的同时作为阿尔法-映射编码电路20的输出信号进行输出。

同样，在宏块的模式是“不透明”时，选择器120选择在宏块内像素值设定电路150中把宏块内像素值取为完全不透明的再生信号m1，另外，在宏块的模式为“无更新”时，选择经过信号线101供给的由运动补偿预测电路160生成的运动补偿预测信号m2，另外，在宏块的模式为“已编码”时，选择经过缩小电路171，扩展电路172供给的再生信号m3，把它们经过信号线4供给到帧存储器130中，在该帧的存储区域中存储的同时，还作为阿尔法-映射编码电路20的输出信号进行输出。

另外，在模式判断电路110中被分类为“已编码”的宏块的像素值在缩小电路171中被缩小以后，在二进制图像编码电路170中进行编码。这里，在CR判断电路111中求出缩小电路171中所使用的尺寸变换率(CR)的设定信息。例如，在把缩小率确定为“1(不缩小)”，“1/2(水平·垂直都为1/2)”，“1/4(水平·垂直都为1/4”)”的3种情况下，在CR判断电路111中，按照以下的步骤求出CR(尺寸变换率)。

(1)计算把该宏块缩小为“1/4”时的再生信号和与该宏块的失配数，当该数小于阈值时，把缩小率取为“1/4”。

(2)在上述(1)当失配数大于阈值时，计算把该宏块缩小为“1/2”时的再生信号和与该宏块的失配数，当该数小于阈值时，把缩小率取为“1/2”。

(3)在上述(2)中失配数大于阈值时，把该宏块的缩小率取为“1”。

这样的CR(尺寸变换率)的值，经过信号线103供给到缩小电路171、173、174，扩展电路172以及二进制图像编码电路170中的同时还供给到VLC(可变长编码)多路复用电路180中被编码以后，与其它代码进行多路复用。另外，在转置电路175中，把从缩小电路171供给的被缩小了的该块信号的位置进行转置(替换水平方向的地址和垂直方向的地址)。

由此，把编码的顺序切换为是沿着水平方向的扫描顺序进行或是按照垂直方向的扫描顺序进行。另外，在转置电路176中，把由缩小电路173缩小了的该宏块附近的再生像素值和由缩小电路174缩小了的运动补偿预测信号的各个信号的位置进行转置。

在转置电路175、176中是否进行转置处理的判断如下决定，例如，通过把在二进制图像编码电路170中分别按水平扫描和垂直扫描进行编码，经过信号线104输出的编码信息b4供给到ST(扫描类型)判断电路177中，在ST判断电路177选择代码量减少的扫描方向。

在二进制图像编码电路170中，使用由转置电路176供给的参考信号把由转置电路175供给的该宏块的信号进行编码。

另外，作为具体的二进制图像编码方法的一例，举出了在上述第3实施例中使用的方法，然而并不限定于此，在第4实施例中的该二进制图像编码电路170中能够使用其它的二进制图像编码方法。

在被分类为“已编码”的块中，存在使用帧内的参考像素的“帧内”编码模式和参考运动补偿预测信号的“帧间”编码模式。这里，帧内/帧间的切换例如可以把经过信号线104供给的二进制图像编码电路170的编码信息供给到模式判断电路110中，选择代码量减少的模式。这里，被选择的编码模式(帧内/帧间)的信息经过信号线105供给到二进制图像编码电路170中。

用以上装置选择的最佳模式编码了的二进制图像编码电路170的编码信息经过信号线104供给到VLC多路复用电路180中，与其它的代码一起多路复合。另外，最佳模式的信息从模式判断电路110经过信号线106供给到VLC多路复合电路180中，被编码以后，与其它代码一起多路复用。另外，在运动矢量检测电路(MVE)178中，检测出最佳运动矢量。这里，关于运动矢量的检测方法存在有种种方法，另外，运动矢量的检测方法由于不是本发明的主要部分，因此在这里省略。被检测出的运动矢量经过信号线107供给到运动补偿预测电路160中的同时，在MV编码电路179被编码后，供给到VLC多路复用电路180中，被编码后，与其它代码一起多路复用。

被多路复用了的代码经过信号线3进行输出。在运动补偿预测电路160中根据经过信号线107供给的运动矢量信号使用存储在帧存储器130中的参考帧的再生图像生成运动补偿预测信号，经过信号线101输出到模式判断电路110以及缩小电路174中。

以上处理的结果，能够进行画质良好而且高效率的图像编码。

下面说明解码过程。

图20是阿尔法-映射解码电路40的详细结构图。

如图所示，阿尔法-映射解码电路40由VLC(可变长编码)分离电路210，模式再生电路220，选择器230，宏块内像素值设定电路240、250，运动补偿预测电路260，帧存储器270，二进制图像解码电路280，扩展电路281，转置电路282、285，缩小电路283、284，二进制图像解码电路280，运动矢量再生电路290构成。

其中，VLC(可变长编码)分离电路210是把多路复用后传送来的阿尔法-映射的编码比特流进行解码，并且分离为模式信息b0，运动矢量信息b1，尺寸变换率信息b2，扫描方向信息b3，二进制图像编码信息b4的电路，模式再生电路220是接受该被分离了的模式信息b0，再生为“透明”，“不透明”，“无更新”，“已编码”4种模式中的某一种模式的电路。

二进制图像解码电路280是使用上述被分离了的尺寸变换率信息b2、来自模式再生电路220的被再生了的模式信息以及转置电路285的信息把由上述VLC(可变长编码)分离电路210分离了的二进制图像编码信息b4解码为二进制图像后进行输出的电路，扩展电路281是使用上述被分离了的尺寸变换率信息b2的信息把上述被解码了的二进制图像进行扩展处理的电路，转置电路282是根据上述被分离了的扫描方向信息b3把该被扩展处理了的图像进行转置处理，并且作为再生信号m3进行输出的电路。

另外，宏块内像素值设定电路240是发生把宏块内像素值取为完成透明的再生信号m0的电路，宏块内像素值设定电路250是发生把宏块内像素值取为完全不透明的再生信号m1的电路。

运动矢量再生电路290是使用由上述VLC(可变长编码)分离电路210分离了的运动矢量信息b1再生宏块的运动矢量的电路，运动补偿预测电路260是使用该被再生了的运动矢量从帧存储器270存储的参考帧的再生图像生成运动补偿预测值m2电路，缩小电路284是使用上述被分离了的尺寸变换率信息b2的信息把上述运动补偿预测值m2进行缩小处理的电路，缩小电路283是使用上述被分离了的尺寸变换率信息b2的信息把上述帧存储器270存储的参考帧的图像缩小处理的电路，转置电路285是根据由上述VLC(可变长编码)分离电路210分离了的扫描方向信息b3，把缩小电路283、284输出的缩小图像进行转置处理并输出到二进制图像解码电路280的电路。

选择器230是根据模式再生电路220输出的模式信息，从宏块内像素值设定电路240、250的再生信号m0、m1，运动补偿预测电路260的运动补偿预测值m2，转置电路282的再生信号m3中选择并且输出其中一个的电路，帧存储器270是以帧单位保存该选择器230输出的图像信号的存储器。

这样结构的阿尔法-映射解码电路40经过信号线8提供阿尔法-映射的编码比特流。该编码比特流供给到VLD(可变长解码)分离电路210中。

于是，在VLD(可变长解码)分离电路210中，把该比特流进行解码，而且，分离为模式信息b0，运动矢量信息b1，尺寸变换率信息b2，扫描方向信息b3，二进制图像编码信息b4。这些被分离了的信息以宏块单位进行管理。

这些被分离了的信息中，模式信息b0供水到模式再生电路220中，该宏块分类为属于以下模式中的哪一个。

(1)“透明”

(2)“不透明”

(3)“无更新”

(4)“已编码”

这里，“已编码”中，与图19的编码电路的实施例中所叙述的相同，具有“帧内”模式和“帧间”模式。即，使用帧内的参考像素的是“帧内”编码模式，参考运动补偿预测信号的是“帧间”编码模式。

在选择器230中，根据经过信号线201供给的上述编码模式，在该宏块的编码模式是“透明”时，选择在宏块内像素值设定电路240中把宏块内像素值取为完成透明的再生信号m0，经过信号线9供给到帧存储器270中，存储在帧存储器270的该宏块所属的图像帧的存储区中，同时，作为从阿尔法-映射解码电路40所解码了的阿尔法-映射的画像进行输出。

同样，在宏块的模式是“不透明”时，选择在宏块内像素值设定电路250中把宏块内像素值取为完全不透明的再生信号m1，另外，在该宏块模式是“无更新”时，选择经过信号线202供给的在运动补偿预测电路260中生成的运动补偿预测信号m2，另外，在宏块模式是“已编码”时，选择经过扩展电路281，转置电路282供给的再生信号m3，经过信号线9供给到帧存储器270中，存储在该帧存储器270的该宏块所属的图像帧的存储区域中，同时，作为从字母映射解码电路40所解码的阿尔法-映射的图像进行输出。

另一方面，被分离了的运动矢量信息b1供给到运动矢量再生电路290中，再生该宏块的运动矢量。这里，被再生的运动矢量经过信号线203供给到运动补偿预测电路260中，在运动补偿预测电路260中根据该运动矢量，从帧存储器270中所存储的参考帧的再生图像生成运动补偿预测值。经过信号线202输出到缩小电路284和选择器230中。

另外，被分离了的尺寸变换率信息b2供给到缩小电路283以及扩展电路281的同时，还供给到二进制图像解码电路280中，扫描方向信息b3供给到转置电路282、285中。

在接收了扫描方向信息b3的转置电路282中，把从扩展电路281供给的恢复为原来尺寸的宏块的再生信号的位置进行转置(替换水平方向的地址和垂直方向的地址)。另外，在接受了扫描方向信息b3的转置电路285中，把由缩小电路283缩小了的该宏块附近的再生像素值和由缩小电路284缩小了的运动补偿预测信号的各个信号的位置进行转置。

在接受了尺寸变换信息b2的二进制图像解码电路280中，使用从转置电路285供给的参考信号把由分离电路210分离了的该宏块的二进制图像息编码信息b4进行解码。

然而，如第4实施例所记述的那样，在扩展电路172、281的输出中有时将产生由于倾斜方向的不连续性而引起的画质恶化，为了解决这个问题，也可以在扩展电路172，281中设置具有抑制倾斜方向不连续性的滤波器。

另外，与二进制图像编码电路170一样，所使用的二进制图像解码电路280的结构不限于上述第3实施例所示的结构例。

在上述实施例中，记述了二进制图像编码电路170以及二进制图像解码电路280的实施例并不限于上述第3实施例。下面示出除此以外的实施例。

作为其它的二进制图像编码方法，例如有马尔科夫模型编码法(参考：电视学会编，“图像信息压缩”，pp.171～176)。图21说明了马尔科夫模型编码法的一例。图中的像素x是作为解码对象的关注像素，像素a～f是把像素x进行编码时所参考的参考像素。

这里，像素a～f是在把像素x编码时已经结束了编码的像素。关注像素x根据参考图像素a～f的状态，在使用VLC(可变长编码)时适当地切换可变长编码表，在使用算术码时适当地切换概率表进行编码。

把该实施例适用于本发明时，“帧内”编码可以把在当前要处理的宏块内，在关注像素之前已编码了的像素作为参考像素，“帧间”编码可以在当前要处理的宏块内，不仅把比在关注像素之前已编码了的像素而且还把运动补偿预测误差信号内的像素也作为参考像素使用。

本实施例中，例如，具有把[方式1]第3实施例的方式(基于MMR的编码方式)和[方式2]马尔可夫模型编码适应地切换进行编码方式的两方式，特征在于采用适当地选择使用这些方式的形态。

图22A是本实施例中所使用的二进制图像编码电路170的框图。如图所示，二进制图像编码电路170由一对选择器421、424和一对二进制图像编码电路构成。其中，选择器421是输入侧的选择器，选择器424是输出侧的选择器。二进制图像编码电路422是用上述[方式1]进行编码的第一二进制图像编码电路，二进制图像编码电路423是用上述[方式2]进行编码的第二二进制图像编码电路。

在二进制图像编码电路170中，通过根据经过信号线413供给的切换信号进行选择切换的选择器421、424，把经过信号线411从转置电路175供给的处理对象宏块的信号适当地分开到第一二进制图像编码电路422和第二二进制图像编码电路423中，把被分开的宏块的信号进行编码。

被编码了的信息经过信号线412输出。另外，图22A中供给到二进制图像编码电路170的信号的信号线103、105，来自转置电路176的信号线都被省略。

这里，经过信号线413供给的切换信息可以是预先设定的缺省值，也可以根据图像内容求出适当的切换信息，作为附加信息用其它方法编码，传送到解码一侧。

由此，能够进行根据图像内容的最佳处理，另外，还能够根据用途从多个编码方式中选择适宜的方式。

同样，图22A是本实施例中所使用的二进制图像解码电路280的框图。如图所示，二进制图像解码电路280由一对选择器441、444，一对二进制图像解码电路442、443构成。其中，选择器441是输入侧的选择器，选择器444是输出侧的选择器。另外，二进制图像解码电路442是把用上述[方式1]编码了的图像进行解码的第一二进制图像解码电路，二进制图像解码电路443是把用上述[方式2]编码了的图像进行解码的第二二进制图像解码电路。

在这样结构的二进制图像解码电路280中，通过根据经过信号线433供给的切换信号进行选择的选择器441、444把经过信号线431供给的处理对象宏块的二进制图像编码信息b4分开到第一二进制图像解码电路442和第二二进制图像解码电路443中。

被解码了的信号经过信号线432输出。另外，图22B中省略了对于二进制图像解码电路280的供给来自分离电路210的信号供给用的信号线，以及来自模式再生电路220的信号线和来自转置电路285的信号线。

这里，经过信号线433供给的切换信息也可以是缺省值，也可以是从由被编码后传送来数据流中得到该切换信息的编码器传送来的信息。

其次，具体地示出用于进行尺寸变换(扩展，缩小)的电路例。

本发明通过以编码区域(视频目标平面(VOP))单位或者块单位(宏块)实施尺寸变换处理进行码率控制。作为尺寸变换处理中使用的技术例，有本申请发明人等在日本专利申请特愿平8-237053号中所公开的“双一次内插”。在这里说明该技术。参考图23A以及图23B根据参考文献“尾上编：图像处理手册，p.630，昭晃堂出版社”说明该双一次内插。

在图23A中，Pex是变换后的像素位置，该Pex如图23A那样指出实数像素位置。

于是，从与输入信号的整数像素位置A，B，C，D的距离关系，分为8个区域，根据图23B所示的逻辑式，从A～D的像素值Ia～Id求出Pex的像素值Ip。

这样的处理是被称为“双一次内插”的处理，能够简单地从A～B的像素值Ia～Id求出Pex的像素值Ip。

然而，该双一次内插处理由于仅使用周围4个像素进行处理，所以不能够反映广阔范围内的变化，特别是易于产生倾斜方向的不连续性。作为为了解决这个问题的一例，在日本专利申请特愿平8-237053号中提出了在进行扩展处理以后实施平滑处理的例子。

参考图24A，图24B具体地说明平滑处理。图24A是原来尺寸的二进制图像，图24B是把其缩小而得到的二进制图像。同图中，目标区域用黑圆点表示，另外，背景区域用白圆点表示。

该例中，为了把通过进行取样变换处理(扩展，缩小变换)所发生的倾斜方向的不连续性进行平滑，对于背景区域的像素(白圆点)的每一个，以其为中心，调查其上下左右的像素，即相邻像素，其中，在2个像素以上是目标区域的像素(黑圆点)时，进行把其背景区域的像素包含在目标区域的处理。

即，位于背景区域的作为1个像素的检查对象像素是图24B中用双重圆点标记显示位置的像素的情况下，当其相邻像素存在2个像素以上目标区域的像素(黑圆点)时，把用双重圆点标记表示位置的像素(即，检查对象像素)作为黑圆点标记的像素，取为目标区域中的像素。如果设黑圆点标记的像素例如为“1”，白圆点标记为“0”，则进行把双重圆点标记表示位置的像素(像素值“0”)置换为像素值“1”的处理。通过这样的处理能够消除倾斜方向的不连续性。

图25是平滑处理滤波器(平滑处理滤波器)的其它例子。如果把图25所示的3×3像素围起来的中心像素记为C，对于C，把其左上方的像素记为TL，右上方的像素记为TR，左下方的像素记为BL，右下方的像素记为BR，则根据以下的公式，可以求出像素C的被滤波了的值。这里，把目标的值用“1”，把背景的值用“0”表示。

if(＝＝0)

  {

  if((TL+TR+BL+BR)＞2)

C＝1；

      else

C＝0；

      }

      else

     {

      if((TL+TR+BL+BR)＜2)

C＝1；

      else

C＝0；

       }

即，该滤波运算处理是这样的处理，如果像素C是“0”，则检查把像素TL，TR、BL、BR相加的值是否大于“2”，大于时，把像素C的值取为“1”，不大于时把像素C的值取为“0”，另外，如果像素C不是“0”，则检查把像素TL、TR、BL、BR相加的值是否小于“2”，小于时把像素C的值取为“1”，不小于时把像素C的值取为“0”。

如果根据这样的滤波器，则由于对作为对象的像素C考虑位于倾斜方向像素值的变化修正像素C的值，所以能够消除倾斜方向的不连续性。另外，平滑滤波器的结构不限于上述例，也可以使用介质滤波器等的非线性滤波器。

图26A表示根据双一次内插把水平·垂直都扩展为2倍的处理。在图26B中，缩小块的像素(译码象素)用白圆点标记即“○”标记表示，被内插的像素(内插象素)用叉标记即“×”表示，各个像素值分别是“0”或者“1”的某一个。

这时，如果用图23B的逻辑式求出被内插的像素的值，则成为Ip1＝Ia，Ip2＝Ib，Ip3＝Ic，Ip4＝Id。

从而，由于像素A周围的4个内插像素的像素值都为Ia，所以扩展图像的2×2像素成为相同的值，失去了平滑性。于是，通过像以下那样变动双一次内插的加权，解决上述的问题。

Ip1：if(2*Ia+Ib+Ic+Id＞2)then“1”else“0”

Ip2：if(Ia+2*Ib+Ic+Id＞2)then“1”else“0”

Ip3：if(Ia+Ib+2*Ic+Id＞2)then“1”else“0”

Ip4：if(Ia+Ib+Ic+2*Id＞2)then“1”else“0”

这里，Pi(i＝1，2，3，4)是对应于图26A所表示的“×”位置的被内插的像素，Ipi(i＝1，2，3，4)是像素Pi(i＝1，2，3，4)的像素值(“1”或者“0”)。另外，A，B，C，D是缩小块的像素，Ia，Ib，Ic，Id是这些像素A，B，C，D的像素值。

『Ip1：if(2*Ia+Ib+Ic+Id＞2)then“1”else“0”』的意义表示像素p1的像素值Ip1如果Ia的2倍值和Ib，Ic，Id之和大于2，则取为“1”，否则取为“0”。

()『Ip1：if(Ia+2*Ib+Ic+Id＞2)then“1”else“0”』的意义表示像素p2的像素值Ip2如果Ib的2倍值和Ia，Ic，Id之和大于2则取为“1”，否则取为“0”，

『Ip1：if(Ia+Ib+2*Ic+Id＞2)then“1”else“0”』的意义表示像素p3的像素值Ip3如果Ic的2倍值和Ia，Ib，Id之和大于2，则取为“1”，否则取为“0”，

『Ip1：if(Ia+Ib+Ic+2*Id＞2)then“1”else“0”』的意义表示像素p4的像素值Ip4如果Id的2倍值和Ia，Ib，Ic之和大于2，则取为“1”，否则取为“0”。

另外，在水平·垂直都扩展为4倍时可以把上述处理反复执行2次。

以上是通过运算进行扩展处理的例子，然而也能够不通过运算进行扩展处理。以下说明该例。

这里，准备表并将其保存在存储器中，根据该表一意地置换像素。

具体地进行说明。首先，例如把存储器的地址取为4比特，在排列Ia、Ib、Ic、Id而得到的地址上分别像下述那样预先记录根据Ia、Ib、Ic、Id的图形得到的Ip1、Ip2、Ip3、Ip4。

Ia    Ib    Ic    Id    Ip1    Ip2    Ip3    Ip4

0     0     0     0     0      0      0      0

0     0     0     1     0      0      0      0

0     0     1     0     0      0      0      0

0     0     1     1     0      0      1      1

0     1     0     0     0      0      0      0

0     1     0     1     0      1      0      1

0     1     1     0     0      1      1      0

0     1     1     1     1      1      1      1

1     0     0     0     0      0      0      0

1     0     0     1     1      0      0      1

1     0     1     0     1      0      1      0

1     0     1     1     1      1      1      1

1     1     0     0     1      1      0      0

1     1     0     1     1      1      1      1

1     1     1     0     1      1      1      1

1     1     1     1     1      1      1      1

该例示出如果像当“Ia、Ib、Ic、Id”是“0、0、0、0”时“Ip1、Ip2、Ip3、Ip4”是“0、0、0、0”，当“Ia、Ib、Ic、Id”是“0、0、0、1”时“Ip1、Ip2、Ip3、Ip4”是“0、0、0、0”，当“Ia、Ib、Ic、Id”是“0、0、1、1”时“Ip1、Ip2、Ip3、Ip4”是“0、0、1、1”，当“Ia、Ib、Ic、Id”是“0、1、0、1”时“Ip1、Ip2、Ip3、Ip4”是“0、1、0、1”，而且当“Ia、Ib、Ic、Id”是0、1、1、0”时“Ip1、Ip2、Ip3、Ip4”是“0、1、1、0”...。这样决定Ia、Ib、Ic、Id的内容的组合，则一意地确定Ip1、Ip2、Ip3、Ip4的表。

如果预先把这样的表设定保存在存储器中，使得Ia、Ib、Ic、Id的内容是地址，该地址的存储数据是Ip1、Ip2、Ip3、Ip4，则在进行内插处理时，只要把Ia、Ib、Ic、Id的地址输入到存储器中，读出与其对应的Ip1、Ip2、Ip3、Ip4，就能够求出内插值。这里，Ia、Ib、Ic、Id的排列是2进制数，如果把将其进行变换为10进制数的数值称为上下文，则该方法可以说是根据用Ia、Ib、Ic、Id求出的上下文决定内插值Ip1、Ip2、Ip3、Ip4的实施例。

另外，上下文能够用下式求出。

上下文＝2*2*2*Ia+2*2*Ib+2*Ic+Id

根据上下文求内插值的方法在上述例的情况下把参考像素数取为4，然而并不限于此，在以下所说明的取12个等的任意个的情况下都能够实现。

另外，对于参考像素和内插像素的排列，例如，还有像图27A那样把对于内插像素P1用虚线包围的区域的9像素部分作为参考像素求出上下文(＝0～511)，用该上下文决定内插像素P1是“0”还是“1”的方法。

对于内插像素P2，P3，P4，根据各个内插的位置和把该位置包围起来的最近的4个参考像素的位置关系，把图27B、27C以及27D的虚线所包围的像素作为参考像素。

这时，如图所示，如果参考像素A～I的对于内插像素P的相对位置设置为相同(例如，图27B是把图27A顺时针旋转90度的配置)，则由于只把相同像素图形旋转了的内容构成为相同的上下文，所以，在内插像素P1～P4中能够使用作为共同内容的表的存储器。

其次，说明把4×4像素的宏块扩展为16×16像素的情况例。

为了把4×4像素的宏块扩展为16×16像素，按照以下顺序进行，首先，把4×4尺寸的宏块MB扩展为8×8尺寸，接着，从8×8尺寸的宏块M B扩展为16×16尺寸的宏块MB。

图28A中示出从该4×4尺寸的宏块MB扩展为8×8尺寸时的外部参考像素(以下将其称为边界)AT和AL，图28B示出从8×8尺寸的宏块MB扩展时的外部参考像素(边界)BT和BL。

外部参考像素AT是2行8列，外部参考像素(边界)AL是4行2列，外部参考像素BT是2行12列，外部参考像素BL是8行2列的排列。

这些外部参考像素(边界)的值，如用图29说明的那样，需要求出已经再生了的宏块的预定位置的像素的平均值。然而，在二进制图像编码电路170和二进制图像解码电路280中，在用4×4像素的尺寸进行编码时，参考外部参考像素AT和AL，用8×8像素的尺寸进行编码时，参考外部参考像素BT和BL的情况下，由于仅转用这些值就可以进行扩展处理，因此能够避免特意求出外部参考像素这样的浪费。

这里，对于外部参数像素BT和BL，如果不求出平均值，而从外部参考像素AT和AL，通过用由计算机编程用的语言C语言记述

BT[0][0]＝AT[0][0]；

BT[0][1]＝AT[0][1]；

BT[1][0]＝AT[1][0]；

BT[1][1]＝AT[1][1]；

BT[0][10]＝AT[0][6]；

BT[0][11]＝AT[0][7]；

BT[1][10]＝AT[1][6]；

BT[1][11]＝AT[1][7]；

for(j＝0；j＜2；j++)for(i＝0；j＜8；j

++

      {

          BT[j][i+2]＝AT[j][i/2+2]；

          BL[i][j]＝AL[i/2][j]；

        }

的处理求出该值，则虽然与求平均值的情况结果多少有些不同，但能够节省平均值运算。

上述处理例如像图28A，28B那样通过重复AT和AL的值把像素进行添加处理，使得在像素p2和像素p3上复制像素p1，在像素p5和p6上复制像素p4，生成BT和BL。另外，在C语言程序中的“〔〕〔〕”表示排列，〔〕中的数字表示10进制数。

以上说明了扩展处理的具体方法。其次，说明缩小处理的具体方法。

图30是把块(宏块)纵横都缩小为“1/2”尺寸的缩小处理的1例。该例中，如果把虚线框内区域的每一个都作为单位缩小块区域，则把每个单位缩小块区域内的2×2像素(用虚线框内的“○”表示的共4个像素)的平均值(图30的“×”)作为该单位缩小块区域中的像素值。即，在把宏块纵横都缩小为“1/4”尺寸的情况下，当然可以在每个单位缩小块区域，求出该区域内每个4×4像素的平均值，作为该单位缩小块区域中的像素值。

另外，如图31那样，在考虑了由像素A、B、C、D构成的，某个单位缩小块区域的情况下，在求出单位缩小块区域的像素X的值并作为该单位缩小块区域的值时，也可以不是求像素A～D的平均值，而是包含更广泛的范围内的像素位置的像素E、F、G、H、I、J、K、L、M、N、O、P在内，求出这些A～P的平均值。即，采取在相邻的单位缩小块区域的像素中，求出包含与像素A～D相邻的像素在内的平均值的方式。

以上是通过把现存像素的值的平均值作为单位缩小块区域的像素值，使得减少其单位缩小块像素的像素值，谋求宏块的尺寸缩小的例子。这样，不用进行计算，即使机械的稀疏(thinning)处理也能够缩小处理宏块。

其次说明其例子。首先，说明闭合在宏块内的处理。

图33是基于像素稀疏的缩小处理例子，示出16×16像素构成的宏块M B实施了基于像素稀疏的缩小处理的结果，被缩小为8×8像素构成的块的情况。即，图中，用虚线的白圆圈标记表示的像素是被稀疏的像素，用实线的白圆圈标记表示的像素是单位缩小块区域的像素值(图32的“×”)。这时，缩小率(CR)表示为被稀疏的像素的比例。另外，像素稀疏的方法不限于图32所说明的方法，例如，也可以把像素稀疏处理为骰子(one of dice)的5点的面形状。另外，这时作为扩展处理，相当于把被稀疏了的像素进行内插的处理。

以上，说明了各种缩小处理的具体方法。其次说明扩展处理。

图33是表示扩展处理的图。图中，实线方框示出宏块，虚线方框表示部分的网格形状的每一个示出单位缩小块区域。单位缩小块区域内的的白圆圈标记表示现存像素(已编码象素)，通过内插增加像素数使得谋求扩展宏块。被内插的像素(内插象素)用“×”表示，内插后“○”的像素是无用像素。

在把宏块边界部分的像素进行内插时，需要宏块外的像素值。这时，如图的箭头所示那样，可以分配宏块内最近的像素值。

即，在进行某单位缩小块区域的像素内插时，需要处理自身以及作为与自身相邻的单位缩小块像素区域的周围8块的像素值共计9个像素的像素值。然而，宏块内的单位缩小块区域如果位于宏块边界部分，则由于周围8块的若干个成为自身所属之外的宏块所属的块，所以还需要另外获得自身所属块以外的像素值。这种情况下，如图的箭头所示那样，可以把与自身所属块内的像素最接近的像素的像素值分别分配到周围块中，把这些像素值方便地利用为像素值处理中所需要的相邻的单位缩小块区域中的像素值。

另外，各宏块的尺寸变换处理不需要封闭在该宏块内，可以像图29所示那样，使用该块附近的再生值(与左、上、左上、右上相邻块的像素值)。

具体地说明这一点。

图29中，实线方框示出某块(宏块)，“×”标记示出倍率为1倍时的图像(标准倍率图像)的各像素。宏块通常是16×16像素结构，把帧压缩为1/2时块内的像素成为8×8像素结构，由于原来的16×16像素结构的各2×2像素的图像分别用1个像素表示，因此用1个像素表现形式表现代表这时的2×2像素部分的图像的点信息是图29中的“○”标记。虚线所表示的框内是单位缩小块区域，示出标准倍率图像中的4像素结构(2×2)的区域，1/2缩小时用1个像素表现每个该点虚线框内区域。

在把1/2缩小图像复原为原来的图像尺寸时(复原为标准倍率图像时)，1/2缩小图像的1个像素的区域恢复为4像素结构，为了通过内插将该处理不封闭在宏块内进行，要进行以下的动作。

例如，在图29中考虑通过内插再生某宏块的某单位缩小块区域(虚线框内区域)的像素1和像素2的情况。这种情况下，在该处理时刻现存的是“○”标记的像素信息。从而，由于处于要内插的像素1和像素2周围的现存像素(编码象素)是像素3、4、5以及6，所以使用这些像素3、4、5以及6进行双一次内插。其中，“像素3”和“像素4”是相邻块(相邻宏块)所属的像素，而且是扩展前的像素(1/2缩小图像的像素)，由于相邻块在时间上是位于前一时刻被处理的位置的块，所以在宏块扩展处理以后是无用的像素，因此从节省存储器资源的观点出发，有时已经被废弃。

在这样系统的情况下，例如，如果说“像素3”，则一种方法是在该宏块内的内插结束后求出作为现存的相邻像素的像素7、8、9以及10的平均值，作为上述被废弃了的“像素3”的值，而在希望减少求其平均值运算的情况下，也可以从像素7、8、9以及10共计4个像素中，把最靠近要内插的像素1、2的像素9以及10的平均值用作为被废弃了的“像素3”的值。

另外，如果直接应用像素10作为“像素3”的值，则能够进一步节省运算。对于“像素4”也同样，用其最近的像素值代替使用。另外，在同样的情况下，在“像素11”的内插中，例如，代替“像素12”使用像素14和像素15的平均值，代替“像素13”使用像素16，代替“像素18”使用像素17。

帧图像Pf通常把以目标部分作为主体的最小矩形范围，如图34A所示的编码区域(图象目标面)CA分割成块(宏块)并且进行编码，因此位于编码区域边界部分的块中，与该块的左，上，左上，右上相邻的块有时成为位于编码区域CA的外部。

这种情况下，如图29所示，在利用块附近的再生像素值(再生的像素的值)的情况下，当是位于编码区域CA外部的宏块的情况下，可以不参考再生的2像素值，而像图33那样把最接近于自身所属宏块内的像素的像素值方便地分配到该块中。

进而，在受到误差影响的信道中进行数据传送时，为了难于受到误差影响，有在比编码区域CA还小的单位(将其称为“同步复原单位”)封闭编码处理的情况。

由此，能够用该“同步复原单位”断绝误差的影响，难于受到误差的影响。这里，所谓“同步复原单位”指的是图34B中用标识了Un符号的虚线所包围的各区域。“同步复原单位”是把编码区域CA划分为更小的区域，而用多个宏块构成这一点并没有改变。

这种方式的情况下，由于在“同步复原单位”内封闭编码处理，因而即使在某个“同步复原单位”内使用的数据上包含具有传输误差的数据，由于参考具有误差的数据进行的处理仅在“同步复原单位”内进行，相邻的“同步复原单位”不参考具有误差的数据进行处理，所以成为难于扩散传输误差的处理方式。

这种情况下，在如图29那样利用该块附近再生像素值时，也不参考包含该块的“同步复原单位”以外的同步复原单位所属的宏块的再生像素值，而如图33那样分配宏块内最接近的像素值。

如上述那样，准备切换代码的比特，表示“是否参考宏块和同步复原单位的外侧”，如果使用该比特进行切换，则能够对应于传输误差的频度、允许运算量和存储量等种种状况。

然而，如上所述那样，双一次内插中，仅使用周围4个像素进行处理。因此，在基于被再生像素的图像中，尤其不能够回避产生倾斜方向的不连续性，易于引起视觉恶化的倾向。为了避免这一点，例如，引用把图33的内插对象像素进行内插例子进行说明，在其内插时，使用包含于比双一次内插的参考范围更广泛的扩展参考范围内的像素进行内插。

即，通过使用包含于比双一次内插(双-线性内插)的参考范围更广泛的扩展参考范围内的像素进行内插，可以反映更广泛范围的像素的倾向，避免不连续性的问题。另外，与内插使用的像素的数目是“4个像素”那样的偶数个相比，使用“9个像素”的奇数个可以得到大多数的效果，有时能够更进一步显著地得到避免不连续性的效果。

图26B示出使用12个像素进行内插的例子。首先使用图26A所说明的实施例的记述，把某宏块的1/2缩小图像中的宏块内某位置的再生像素记为p1、p2、p3、p4，而且，把它们的值(像素值)记为Ip1、Ip2、Ip3、Ip4时，这些Ip1、Ip2、Ip3、Ip4表示为

Ip1：if(4*Ia+2*(Ib+Ic+Id+Ie+If+Ig+Ih+Ii+Ij+Ik+Il)＞8then“1”else“0”

Ip2：if(4*Ib+2*(Ia+Ic+Id+Ie+If+Ig+Ih+Ii+Ij+Ik+Il)＞8then“1”else“0”

Ip3：if(4*Ic+2*(Ib+Ia+Id+Ie+If+Ig+Ih+Ii+Ij+Ik+Il)＞8then“1”else“0”

Ip4：if(4*Id+2*(Ib+Ic+Ia+Ie+If+Ig+Ih+Ii+Ij+Ik+Il)＞8then“1”else“0”

其中，a表示像素A，b表示像素B，c表示像素C，d表示像素D，e表示像素E，f表示像素F，g表示像素G，h表示像素H，i表示像素I，j表示像素J，k表示像素K，l表示像素L。

另外，“1/4”尺寸的尺寸变换处理也可以通过实施2次“1/2”尺寸的尺寸变换处理实现。

其次，作为第5实施例说明与帧单位的尺寸变换处理组合起来的例子。

本发明的发明人在特愿平8-237053号中所公开的技术中，示出了通过以帧为单位(实际上是包含目标的矩形区域)实施尺寸变换进行码率控制的实施例和通过以块这样的小区域单位实施尺寸变换进行码率控制的实施例。另外，在上述第1至第3实施例中，还示出通过一个更具体的小区域单位实施尺寸变换进行码率控制的例子。

这里所说明的本实施例是组合使用以帧单位的尺寸变换处理和小区域单位的尺寸变换处理的例子。

图35说明本实施例的阿尔法-映射编码装置。该装置由缩小电路530、521、526，二进制图像编码电路522，扩展电路523、540，运动补偿预测电路525，多路复用电路524、550构成。

在这样的结构中，经过阿尔法-映射信号输入线2供给的被二进制化了的阿尔法-映射图像在缩小电路530中根据尺寸变换率CR缩小为帧单位。被缩小为帧单位的信号经过信号线502供给到阿尔法-映射编码电路520中，在这里分割为小区域后进行编码。

这里，阿尔法-映射编码电路520与图12的阿尔法-映射编码电路20等价，阿尔法-映射编码电路520的构成要素521～52分别具有与图12的阿尔法-映射编码电路20的构成要素21～26相同的功能，因此这里省略阿尔法-映射编码电路520的说明。另外，图12的阿尔法-映射编码电路20的结构由于是把图1的阿尔法-映射编码电路20的结构简化后进行表现的结构，所以阿尔法-映射编码电路520的结构也可以是与图1的阿尔法-映射编码电路20等价的结构。

在阿尔法-映射编码电路520内被编码了的编码信息中预先把每个小区域的尺寸变换率CRb多路复用，经过信号线503供给到多路复用电路550中，与帧单位的尺寸变换率CR的编码信息一起多路复用后，经过信号线3进行输出。

另外，阿尔法-映射编码电路520的再生图像经过信号线504供给到扩展电路540中，根据帧单位的尺寸变换率CR被扩展以后，经过信号线4进行输出。

图36说明本实施例的解码装置。该阿尔法-映射解码装置由分离电路650、643，二进制图像解码电路641，缩小电路645，运动补偿预测电路644，扩展电路642、660构成。

在这样的结构中，经过信号线8供给的编码信息在分离电路650中被分离为帧单位的尺寸变换率CR和小区域单位的编码信息。小区域单位的编码信息经过信号线608供给到阿尔法-映射解码电路640中，小区域单位的再生信号经过信号线609供给到扩展电路660中。

阿尔法-映射解码电路640与图13的阿尔法-映射解码电路40等价，在这里省略说明。另外，图13的阿尔法-映射解码电路40的结构由于是把图2的阿尔法-映射解码电路40的结构简化后表现的结构，所以阿尔法-映射解码电路640的结构也可以是与图2的阿尔法-映射解码电路40等价的结构。

在扩展电路660中，根据帧单位的缩小率CR的信息，把经过信号线609供给的再生信号进行扩展处理，从信号线9进行输出。

这样，在这里把阿尔法-映射信号以帧单位进行尺寸变换处理，而且以小区域单位进行尺寸变换处理。通过组合该帧单位的尺寸变换处理和小区域单位的尺寸变换处理，削减了尺寸变换率信息这样的附加信息，所以，在以低编码率进行编码时特别有效。

其次说明帧存储器。

图35以及图36虽然没有明确示出，然而编码装置和解码装置的每一个都需要用于存储再生图像的帧存储器。图37示出各帧的分辨率的例子。本发明中，由于使用运动补偿预测，因此例如在把时刻n的帧进行编码时，必须使时刻n-1的帧的分辨率与时刻n的帧的分辨率(这种情况下，是尺寸变换率)一致。这里，考虑通过编码电路520如图37所示那样存储在帧存储器中的再生图像是以帧单位的分辨率(该例的情况下，如果是时刻n的帧则以CR＝1/2，(图37(a))，如果是时刻n的帧则以CR＝1(图37(c))进行存储和以原来的分辨率(与时刻无关，尺寸变换率始终为CR＝1)进行存储的2种情况。

前者中，帧存储器成为存储经过信号线504以及信号线609供给的帧单位的分辨率的再生图像，后者中的帧存储器成为存储经过信号线4以及信号线9供给的原分辨率的再生图像。

从而，如果在图35的编码装置以及图36的解码装置中明确显示帧存储器，则前者的帧存储器(将其用FM1(编码装置用)，FM3(解码装置用)表示)成为图38以及图39那样，后者的帧存储器(将其用FM2(编码装置用)，FM4(解码装置用)表示)成为图40以及图41所示那样。

即，图38的编码装置构成为把尺寸变换率CR的信息和扩展电路523的输出信息保存在成为FM1的帧存储器中，把该保存信息供给到MC(运动补偿预测电路)525中，图39的解码装置构成为把CR的信息和来自扩展电路642的输出信息保存在成为FM3的帧存储器中，把该保存信息提供到运动补偿预测电路644中。

另外，图40的编码装置构成为把尺寸变换率CR的信息和扩展电路540的输出信息保存在成为FM2的帧存储器中，把该保存信息提供到MC(运动补偿预测电路)525中，图41的解码装置构成为把CR的信息和来自扩展电路660的输出进行保存，把该保存输出提供到运动补偿预测电路644中。

帧存储器FM1、FM3的具体结构如图42A所示，帧存储器FM2、FM4的具体结构如图42B所示。

帧存储器FM1、FM3如图42A所示，由保存当前帧图像的帧存储器m11，对应于另外提供的尺寸变换率CR的信息把该帧存储器m11的保存图像进行尺寸变换处理的尺寸变换电路m12，保存在该尺寸变换电路m12被尺寸变换处理了的输出的帧存储器m13构成，另外，帧存储器FM2、FM4如图42B所示，由保存当前帧图像的帧存储器m21，对应于另外提供的尺寸变换率CR的信息把该帧存储器m21的保存图像进行缩小处理的缩小电路m22，保存在该缩小电路m22中被缩小处理了的输出的帧存储器m12构成。

说明这样结构的帧存储器中的动作。

首先，帧存储器FM1、FM3的情况下，在这些帧存储器中经过信号线504以及信号线609以帧单位供给对应于该帧的分辨率的再生图像，存储在当前帧保存用的帧存储器m11中。帧存储器m11在结束了当前帧的编码(例如时刻n)的时刻，把当前帧的再生图像全部进行存储。

接着，在尺寸变换电路m12中，在开始时刻n+1的帧的编码的时刻，从帧存储器m11读出时刻n的帧的再生图像，进行尺寸变换处理(分辨率变换)，使得与时刻n+1的帧的帧单位的尺寸分辨率CR相一致。

在图37A～37D的例中，如图37A所示那样，由于时刻n的帧的尺寸变换率CR是“1/2”，另外，如图37B所示那样作为其下一个帧的时刻n+1中的帧的尺寸变换率CR是“1”，所以，这时在尺寸变换电路m12中进行把尺寸变换率CR从“1/2”到“1”的变换处理。

在尺寸变换电路m12中被变换了分辨率的时刻n中的再生图像存储到前一帧的帧存储器m13中，成为时刻n+1中的帧的运动补偿预测的参考图像。

在帧存储器FM2、FM4的情况下，经过信号线4以及信号线9在这些存储器中供给原分辨率(CR＝1)的再生图像，存储在当前帧的帧存储器m21中。当前帧存储器m21中在结束当前帧的编码(例如时刻n)的时刻存储全部当前帧的再生图像。

接着，在缩小电路m22中，在开始时刻n+1中的帧的编码的时刻，从帧存储器m21读出时刻n中的帧的再生图像，进行缩小处理(分辨率变换)，使得与时刻n+1中的帧的帧单位的尺寸变换率CR相一致。

由于存储在帧存储器m21中的再生图像始终为尺寸变换率CR＝1，因此在图37A～37D的例中，时刻n+1中的尺寸变换率CR是“1”，因此这种情况下在缩小电路m22中不进行分辨率变换处理。另外，图37A～37D的例子的情况下，由于当前帧在时刻n+1的情况下，时刻n+2中的帧的分辨率是“1/2”，所以在缩小电路m22中进行把尺寸分辨率CR从“1”到“1/2”的分辨率变换处理。

在缩小电路m22中被变换了分辨率的时刻n的帧的再生图像存储在前一帧的帧存储器m33中，成为时刻n+1中的帧的运动补偿预测的参考图像。

以上叙述了帧存储器FM1、FM2、FM3、FM4的具体结构和作用，而帧存储器FM1、FM3的特征是存储经过信号线504以及信号线609供给的帧单位的分辨率的再生图像，另外，帧存储器FM2、FM4的特征是存储经过信号线4以及信号线9供给的帧单位的分辨率的再生图像，因此，还可以分别考虑其它种种结构。

其次，作为第6实施例说明把宏块的属性信息进行编码的方式例。首先，说明在特愿平8-237053号中提出的方式。

图43A以及43B表示出时刻n和时刻n-1中某宏块的属性信息的一例。其中，这里所说的属性信息是表示“透明”(其宏块的结构像素全部透明)，“不透明”(其宏块的结果像素全部不透明)，“多重”(其宏块的结构像素透明，不透明混合存在)的宏块的内容状态的信息。

例如，是把“透明”用标号“0”，把“不透明”用标号“3”，而且，把“多重”用标号“1”进行标号添加的例子。

着眼于帧中包含目标部分的最小矩形区域，如果设定矩形区域使得其左上方与区域的边界部分相交，则包含在设定的矩形区域内的各种宏块的属性信息的分布(标号的分布)，例如成为图43A以及图43B所示那样。

而且，像图43A所示的时刻n的帧中宏块的构成像素属性信息的分布例和图43B所示的时刻n-1的帧中宏块的构成像素属性信息的分布例那样，在时间上相接近的帧的阿尔法-映射之间进行非常相似的标号添加。

从而，在这样的情况下，由于在帧间标号的相关性高，因此利用已经编码完毕的帧的标号把当前帧的标号进行编码，将大幅度地改善编码效率。

另外，一般情况下时刻n的帧中的编码区域(以目标部分为主体的最小的矩形范围，例如，图34A所示的编码区域CA)和时刻n-1的帧中的编码区域的尺寸不同。这种情况下，作为一例，按照图44A以及44B所示的顺序，使得时刻n-1的帧中的编码区域尺寸与时刻n的帧中的尺寸相吻合。例如，时刻n的帧中的编码区域尺寸与时刻n-1的帧中的编码区域的尺寸相比，在行长1行，列短1列的情况下，如图44A那样，对于行短的时刻n-1的帧中的编码区域，切断其区域内右端的1列部分的宏块列，然后，把下部的1行部分的宏块列复制到其下方以增加行。图45B中示出该状态。

另外，在时刻n-1的帧中的编码区域尺寸比时刻n的帧中的编码区域尺寸列短1列，行长1行的情况下，把编码区域内的下端的1行部分的宏块列切断，然后，把该编码区域内的右端的1列部分的宏块列略复制到其旁边，增加1列。

在尺寸不吻合时，像上述那样进行尺寸的吻合。另外，尺寸吻合方法不限于上述方法。这里为了方便，把最终地如图44B那样被吻合到时刻n的帧中的尺寸的，时刻n-1的帧的标号记为时刻n-1’的标号，并且用在以下的说明中。

图46A示出把时刻n的上述宏块所示的属性信息和时刻n-1’的上述宏块的属性信息的差分，即各宏块位置中的各个标号的差分采取相同位置的标号的结果。

这里，“S”表示“标号一致”，“D”表示“标号不一致”。

另一方面，图46B示出采取时刻n的上述宏块的属性信息中相邻像素位置的标号的差分的结果。这里，左端的标号采取与1行上的右端的像素位置的标号的差，左上端像素位置的标号取与“0”的差。以后，为了方便，把图46A称为帧间编码，把图46B称为帧内编码。

从图46A以及46B，帧间编码与帧内编码相比“S”的比例增多，由于帧间编码相当于预测，因此能够谋求削减代码量。

另一方面，帧间编码的相关性极小的情况下，与帧内编码相比有可能降低编码效率。这种情况下，预先设置用1比特的代码切换为是进行帧内编码还是进行帧间编码，能够用帧内编码进行编码。当然，最初编码的帧由于没有参考标号，因此进行帧内编码。这时，不需要切换帧间/帧内的代码。

下面更具体地说明切换几种预测方法的例子。

在上述的例中，示出当帧间的相关性小时，进行帧内编码的情况。然而，除此以外，例如把本发明用于图像传送等情况下，在传送误差形成问题时，帧内编码也是有效的。

例如，产生传送误差，不能够正确地再生前一个帧的情况下，如果使用帧间编码，则当前帧也不能够被正确地再生，然而如果使用帧内编码则能够正确地进行再生。

另外，即使是帧内编码，如果参考多个宏块，则抗传送误差的能力减弱。即，如果增多参考的宏块，虽然可以减少代码量，然而如果参考的宏块的数目增多，由此参考包含传送误差的宏块的可能性升高，取入该参考的宏块中所包含的错误并且反映在处理结果中，因此可以说抗传送误差的能力减弱，反之，如果减少参考的宏块，虽然增多了代码量，但从上述理由出发可以说增强了抗传送误差的能力。

因此，需要在抗传送误差能力强而且代码量又少方面下功夫。为此可以像以下那样做。

作为一例，为了既提高抗传送误差的能力又减少代码量，预先准备几种预测模式，切换使用这些模式的方法是有效的。

作为预测模式例如有

(A)帧间编码模式

(B)帧内编码模式

(C)同步复原单位内编码模式

(D)无预测模式。

这里，所谓“同步复原单位”如已经说明过的那样，意指把目标的矩形区域进一步分割的区域，即，把矩形的编码区域CA进一步以所需要的宏块单位进行分割的区域，例如，进行分割使得各同步复原单位的代码量相等或者把预定数目的宏块汇集起来作为同步复原单位。

在“同步复原单位内编码模式”中，即使参考块(参考宏块是自己所属宏块的相邻块)在帧内，然而位于“同步复原单位”的外侧的情况下，不进行参考而把例如预先设定的标号作为预测值。

由此，即使在帧内产生了传送误差，如果该误差位于“同步复原单位”以外，则该“同步复原单位”能够正确地再生。

另外，所谓无预测，是完全不参考其它的宏块，把该宏块内的标号进行编码的方式，在该模式中错误最强。

准备这些多种模式，根据发生错误的频度切换选择使用某一个最佳的模式。而且，该切换既可以按每个“同步复原单位”进行，也可以按每帧进行，还可以按每个指令顺序进行。哪一种模式中，被编码了的信息都从编码装置传送到解码装置。

另外，作为其它的模式，还有根据要编码的对象区域在帧内的占有位置切换编码表的方法。

即，图像作为一般的倾向，例如，如图18那样在帧的中央部分，存在目标的概率高，在帧的端部不存在目标的概率高。

着眼于这一点，如果在连接到帧的一端的宏块中使用在“透明”中分配了短代码的表，在除此以外的宏块中使用在“不透明”中分配了短代码的表，则即使不进行预测也能够减少代码量。这就是无预测模式。

另外，更简单地，还有准备多个变码表，切换使用这些编码表的办法。该切换信息例如，按每个“同步复原单位”，或者每个帧，每个指令顺序进行编码。

图47A以及47B是示出用于实现上述处理的本实施例的系统结构的框图，参考该框图说明处理的流程。

在该图47A以及47B的结构中，用虚线包围的部分是实现上述处理的本实施例的部分。图47A是阿尔法-映射编码装置，由目标区域检测电路310，分块电路311，标号添加电路312，块编码电路313，标号存储器314，尺寸变更电路315，标号编码电路316，多路复用电路(MUX)317构成。

其中，目标区域检测电路310根据被输入的阿尔法-映射信号，检测出该阿尔法-映射信号中有关包含目标部分的矩形区域，与关于该矩形区域的尺寸的信息一起输出该矩形区域的阿尔法-映射信号。分块电路311是把在矩形区域的阿尔法-映射信号进行宏块化的电路，标号添加电路312是对于该被宏块化了的阿尔法-映射信号按各块判定该宏块内的阿尔法-映射信号内容的属性(透明(只是透明)，多重(透明和不透明混合存在)，不透明(只是不透明))，分配对应于各个属性的标号(“0”，“1”，“3”)的电路。

块编码电路313是对于标号为“1”(多重)属性的宏块，把该宏块内的阿尔法-映射信号进行编码的电路，标号存储器314是用于把从标号添加电路312供给的标号信息和经过标号存储器输出线302从目标区域检测电路310提供的区域的尺寸信息进行存储的同时与该存储的标号信息一起把尺寸信息供给到尺寸变更电路315中的存储器。

尺寸变更电路315是从由标号存储器314供给的时刻n-1的帧的标号信息和尺寸信息，从目标检测电路310供给的时刻n的帧的尺寸信息，变更尺寸使得时刻n-1的标号信息相当于时刻n的尺寸的电路，标号编码电路316是把该变更了尺寸的标号信息作为预测值，把从标号添加电路312供给的标号信息进行编码的电路。

另外，多路复用电路317是把从标号编码电路316得到的编码信息、从块编码电路313供给的编码信息和从目标区域检测电路310供给的尺寸信息进行多路复用并进行输出的电路。

在这样结构的编码装置中，经过信号线301供给的阿尔法-映射信号供给到目标区域检测电路310中，该目标区域检测电路310从该阿尔法-映射信号检测包含目标的矩形区域。关于该目标区域的尺寸的信息经过信号线302进行输出，区域内部的阿尔法-映射信息供给到分块电路311中。

分块电路311对于该区域内部的阿尔法-映射信号进行宏块化。被分成宏块的阿尔法-映射信号供给到标号添加电路312和块编码电路313中。

在标号添加电路312中，判过宏块的属性(“透明”，“多重”，“不透明”)，分配对应于各属性的标号(“0”，“1”，“3”)。被分配的标号信息供给到块编码电路313，标号存储器314以及标号编码电路316中。

在块编码电路313中，当标号是“1”(多重)时，把宏块内的阿尔法-映射信号进行编码，该编码信息供给到多路复用电路317中。标号存储器314中存储着从标号添加电路312供给的标号信息和经过标号存储器输出线302供给的区域的尺寸信息，把标号信息和尺寸信息一起从标号存储器输出线303供给到尺寸变更电路315中。

在尺寸变更电路315中，把根据经过标号存储器输出线303供给的时刻n-1的帧的标号信息和尺寸信息以及经过信号线302供给的时刻n的尺寸信息，变更尺寸使得时刻n-1的标号信息相当于时刻n的尺寸后的标号信息供给到标号编码电路316中。

在标号编码电路316中，把从尺寸变更电路315供给的标号信息作为预测值，把由标号添加电路312提供的标号信息进行编码，该编码信息供给到多路复用电路317中。在多路复用电路317中，把块编码电路313和编码电路316供给的编码信息以及经过标号存储器输出线302供给的尺寸信息进行多路复用以后，经过信号线304进行输出。

以上是编码装置的结构和作用。其次说明解码装置的结构和作用。

图47B所示的阿尔法-映射编码装置由分离电路(DMUX)320，标号解码电路321，尺寸变更电路322，标号存储器323以及块解码电路324构成。

其中，分离电路320是把经过信号线305供给的编码信息进行分离的电路，标号解码电路321是把从尺寸变更电路322供给的时刻n-1的标号信息的尺寸进行变更了的信息作为预测值，再生时刻n的标号信息的电路。

另外，尺寸变更电路322是与尺寸变更电路315起同样作用的电路，是从由标号存储器323供给的时刻n-1的帧的标号信息和尺寸信息，从分离电路320分离后供给的时刻n的帧的尺寸信息，进行尺寸变更，使时刻n-1的帧的标号信息相当于时刻n的尺寸的电路，标号存储器323是与标号存储器314起到相同作用的电路，是用于把从标号解码电路321解码后供给的标号信息和从分离电路320供给的区域的尺寸信息进行存储的同时，把该存储的标号信息和尺寸信息一起供给到尺寸变更电路322的存储器。

另外，块解码电路324是根据从标号解码电路321供给的被再生了的标号信息，按各块再生阿尔法-映射信号的电路。

下面说明这样结构的解码装置的作用。

在分离电路320中，把经过信号线305供给的编码信息进行分离，供给到块解码电路324和标号解码电路321中，同时经过信号线306输出尺寸信息。在标号解码电路321中，把从尺寸变更电路322供供给的时刻n-1的帧的编码信息的尺寸进行变更后的信息作为预测值，再生时刻n的帧的标号信息。

被再生了的标号信息供给到块解码电路324和标号存储器323中。在块解码电路324中，根据从标号解码电路321供给的被再生了的标号信息，按各块再生阿尔法-映射信号。另外，尺寸变更电路322与尺寸变更电路315，标号存储器323与标号存储器314分别进行相同的动作，因此在这里不详细地说明。

以上，说明了编码装置和解码装置的例子，使得把以宏块为单位的阿尔法-映射添加标号，利用已经编码完毕的帧的宏块的标号，把当前帧的宏块的标号进行编码。在时间上接近的帧的阿尔法-映射之间，该宏块进行非常相似的标号添加。从而，在这样的情况下，由于在帧间标号的相关性高，因此通过利用已经编码完毕的帧的标号，把当前帧的标号进行编码，能够大幅度地提高编码效率。

然而，在这样作为先行技术的说明中，在帧内或者帧间参考相邻的1个块(1个宏块)把VLC(可变长编码)表进行切换。这种情况下，在帧间相关性高时，参考“帧间的相邻块”，在帧间相关性低时，参考“帧内的相邻块”，切换VLC表。然而，在实际的应用中，更多的情况是最好利用帧间相关性和帧内相关性两个方面。

于是，如果设某个像素位置的模式为“M(h，v，t，)”(h，v，t分别表示水平，垂直，时间方向的坐标轴)，则在把模式“M(x，y，n)”进行编码时，例如，通过参考“M(x-1，y，n)”，“M(x，y-1，n)”，“M(x，y，n-1)”选择VLC表。这里，如图43A以及43B那样在模式的数目为3个的情况下，如果参考块数目是3个块(3个宏块)，则VLC表的数目是3的3次方(＝27)。另外，还能够使参考块的数目多于该数(例如，“M(x-1，y-1，n)”，“M(x，y，n-2)”)。

这种情况下，由于不仅增多了VLC表的数目，而且还由于与新添加的参考块之间的块间相关性也下降，所以即使增加参考块的数目编码效率也不太提高。从而，需要谋求VLC表的数目和编码效率之间的折衷。

其次，说明把块的属性信息进行编码的其它方式的实施例。

这里，说明在预测中使用前一帧的标号把块的属性信息进行编码的方式。

图48是作为本发明1实施例的编码电路的框图。如图所示，该编码电路由目标区域检测电路702，分块电路704，标号添加电路706，标号编码电路708，标号存储器709，参考块决定电路710和预测电路712构成。

其中，目标区域检测电路702是从阿尔法-映射信号701把以块尺寸的倍数表示的包含目标的区域设定为编码区域的同时分离出编码区域的阿尔法-映射信息703的电路，分块电路704是把该被分离出的阿尔法-映射信号703分割为16×16像素构成的块单位(宏块单位)(分块)后进行输出的电路，标号添加电路706是对于被分块的阿尔法-映射信号706，添将对应于目标的内容情况的预定的标号，并作为标号信息707进行输出的电路。

标号编码电路708是根据被提供的预测值714切换编码表把标号信息707进行编码并且输出的电路，标号存储器709是存储由标号添加电路706按各块供给的上述标号信息707的存储器，参考块决定电路710是进行把前一帧中与编码块相同位置的块决定为参考块711的处理的电路，运算电路712参考被保存在标号存储器709中的前一帧的标号713，预测参考块711的位置的标号，并且作为预测值714传送到标号编码电路708的电路。

在这样结构的编码装置中，阿尔法-映射的信号701输入到目标区域检测电路702中。在目标区域检测电路702中，把用块尺寸的倍数表示的包含目标的区域设定为编码区域，在编码区域中被分离出的阿尔法-映射703传送到分块电路704中。在分块电路704中阿尔法-映射703被分割为16×16像素构成的块单位(宏块单位)，被分块了的阿尔法-映射705被传送到标号添加电路706中。在标号添加电路706中，在各块内添加这样的标号信息707(模式信息)，例如块内不包含目标：“标号0”，块内的一部分包含目标：“标号1”，块内的全部都是目标：“标号3”。标号信息707传送到标号编码电路708中，还被存储在标号存储器709中。该标号存储器709中存储着至此为止被编码了的标号。

另一方面，在参考块决定电路710中，例如把前一帧中与编码块相同位置的块决定为参考块711，传送到预测电路712中。在预测电路712中还从标号存储器709输入前一帧的标号713，其中的参考块711的位置的标号作为预测值714传送到标号编码电路708中。在标号编码电路708中，根据预测值714切换编码表，把标号信息707进行编码，输出代码715。

这里，编码区域始终与帧相等时，编码块决定为1个。然而，在编码区域小于帧而且前一帧和当前的编码区域的位置不相同时，根据使用以帧的角部为原点的坐标轴还是以编码区域的角部为原点的坐标轴，参考块有所不同。

下面详细地说明该坐标轴的处理。

图49A以及49B是时刻n-1和时刻n中的帧图像Fn-1，Fn和各个帧Fn-1，Fn中的编码区域CA的各宏块的模式信息MD的例子。

在前面所述的日本专利申请特愿平8-237053号中，作为一例，提出了使当前帧(时刻n)内的编码区域的原点Vc0和前一帧(时刻n-1)内的编码区域的原点Vp0一致，决定在把该块的模式信息进行编码时的参考块的实施例。这是根据编码区域的坐标轴进行块的对应的例子。

这种情况下，如图50A那样，通过把前一帧的编码区域的右端或者下端进行“切割”或“无更新”，使得与当前帧的编码区域的尺寸一致。

在图49A以及49B的例中，编码区域的左端以及上端发生变化。这样的情况下，对应于当前帧的模式信息的块如图50A以及50B所示那样，由于斜线部分的块(21个)不一致，因此如果使用该值进行编码则有可能降低编码效率。

在图49A以及49B这样的例中，最好使当前帧的原点Fc0和前一帧的原点Fp0一致，把帧的座标轴上最靠近的块位置的块作为参考块。

如果根据帧的坐标轴求参考块，则如图50B所示那样。即，在图49A以及49B的例中，由于左端和上端发生变化，因此如图50B那样通过把左端和上端进行“cut”或“no update”，使得与当前帧的编码区域的尺寸一致。这种情况下，对应于当前帧的模式信息的块如图50B所示那样，不一致的只是斜线部分(3个)。

即，根据情况，通过切换为是按照编码区域的坐标轴还是按照帧的坐标轴变更前一帧的标号，可以谋求改善编码效率。坐标轴的决定方法既可以在编码装置一侧选择切换最佳方案传送信息，也可以在编码装置和解码装置中都使用已知的信息进行决定。

图45A以及45B是最好使用编码区域的坐标轴的例子。该例示出如同把照像机向右方摆动的情况那样，从图45A的帧Fn-1如图45B的帧Fn那样加大移动帧进行变化的情况。该例的情况如从图所知的那样，由于帧内的编码区域的位置加大错开，所以根据帧的坐标轴决定参考块不是的最佳决策。

即，如果在当前帧(时刻n时点的帧Fn)和前一帧(时刻n-1时点的帧Fn-1)中，在帧内的编码区域CA的位置加大错开的情况下，最好使用编码区域的坐标轴，在帧内的编码区域的位置几乎没有错开的情况下最好使用帧的坐标轴。

在当前帧Fn和前一帧Fn-1中，帧内的编码区域的位置是否加大错开，能够从表示帧内的编码区域的位置的信息(矢量)和编码区域的大小进行判断。

即，并用阿尔法-映射的运动图像编码装置中的编码数据结构根据标准如图51所示。即，编码数据包含编码区域的层，宏块MB的层，二进制形状的层，编码区域的层包括编码区域尺寸信息，编码区域位置信息，编码区域尺寸变换率信息等。MB的层由二进制形状信息结构MV信息、多值形状信息、结构信息构成，二进制形状信息包含模式信息、运动矢量信息、尺寸变换率信息、扫描方向信息、二进制编码信息。

其中，编码区域尺寸信息指的是表示编码区域的尺寸(纵横的大小)的信息，编码区域位置信息指的是表示编码区域的位置(Vp0，Vc0的位置)的信息，编码区域尺寸变换率信息指的是编码区域单位的二进制图像的尺寸变换率(CR)信息。

另外，MB编码信息指的是用于再生MB内的目标的信息。MB层中的二进制形状信息指的是表示MB内的各像素是否在目标内部的信息，结构MV信息指的是用于运动补偿预测MB内的辉度信号和色差信号的运动矢量信息，多值形状信息指的是在把目标与其它的目标合成时的加权信息，结构信息指的是BM内的辉度信号和色差信号的编码信息。

另外，二进制形状层中的模式信息指的是表示MB内的二进制图像的属性的信息，运动矢量信息指的是用于运动补偿预测MB内的二进制图像的运动矢量信息，尺寸变换率信息指的是MB单位的二进制图像的尺寸变换率(CR)信息，扫描方向信息指的是表示编码顺序是沿水平方向还是沿垂直方向的信息，二进制编码信息指的是二进制图像的编码信息。

表示编码区域位置(Vp0，Vc0的位置)的信息预先收容在编码区域位置信息中。从而，通过使用该信息可以知道编码区域的位置(Vp0，Vc0的位置)。使用该信息，把帧Fn-1和Fn进行比较。分别求出从帧的原来位置到编码区域的原来位置的矢量并根据该矢量进行该比较。

其结果，例如，如图45A以及45B那样，在“prev_ref和curr_ref”的差增大，当前帧和前一帧中编码区域的大小几乎没有变化的情况下，可知最好根据编码区域的坐标轴进行。这里，“prev_ref和curr_ref”以及编码区域大小的信息在编码区域的编码之前被编码，在解码装置一侧由于是已知的信息，所以不需要识别使用哪一个坐标轴的附加信息。

另外，如图52A所示那样，在把帧730的一部分设定为编码区域731的情况下，编码区域731的外侧没有决定标号。然而，在下一个帧的编码时，由于编码区域731的外侧成为参考块，所以需要预先插入某些标号。

图52D是在图52A中的标号未定部分中插入预定的值，该情况下是“0”的例子。图52C是对于图52A中的标号未定部分，从编码区域外插的例子，该例在目标的变动较大，或者形状急剧变化等，前一帧中没有目标的部分上，下一个帧中的目标的出现概率高的情况下有效。

图52B是对于图52A的标号未定部分，在标号存储器709的存储器空间中仅外插下一帧的编码区域732的部分，在其它的部分不上写的例子，如果这样做，能够在预测中使用2个帧以上的前面帧的标号。

希望在预测中使用以前的帧的标号时，除此以外，还有例如不进行外插和预定值的插入，而在存储器空间中仅更新编码区域的方法。

其次，对于说明在每帧切换已用图37A至37D说明过的帧的尺寸变换率(CR)时的标号的预测方法。

图53是缩小处理的例子，是前一帧为“CR＝1”当前帧为“CR＝1/2”的例子，这种情况下，作为要缩小而得到的当前帧的对象块例如对应于宏块MB1的前一帧的块，如图所示，具有MB2～MB5共4个(参考图54)。即，前一帧的宏块MB2、MB3、MB4、MB5成为缩小后的宏块MB1。

如果把当前帧的宏块MB1的地址记为(x，y)，则前一帧的块MB2～MB5的地址可以从(2x、2y)，(2x+1、2y)，(2x、2y+1)，(2x+1、2y+1)得到。

这里的系数“2”是作为前一帧和当前帧的尺寸变换率CR的值之比而给出的。

在块MB1的标号的编码预测中，适当地使用块MB2，MB3，MB4，MB5的某一个标号，而其决定方法有若干种。

首先，最简单而且运算量最少的方法是使用4个之中位于预定位置(例如左上方)的块的标号的方法。或者，在4个标号中具有相同的标号时，如果把相同数目最多的标号作为预测值，则将提高预测成功的概率。

在具有相同内容的标号的数目相等时，即，各分为2组的情况下，按照出现频度高的顺序预先在标号上添加顺序，按照该顺序把高位的标号选择为预测值。当在帧内设定矩形的编码区域CA时，如果使用以编码区域CA的角部为原点的坐标轴，则如图54所示，当前帧的块(编码对象的宏块)的边界重叠在参考帧的宏块的边界上。

然而，编码对象的区域还能够以小于宏块的宽度的步距进行位置设定，如果使用以帧的角部作为原点的坐标轴，则如图55那样，一般块的边界不重叠，将参考MB6～MB14共计9个宏块。

这种情况下，使用参考了总体的宏块MB10的标号。

图56是前一帧的尺寸变换率为CR＝1/2，当前帧的尺寸变换率为CR＝1的例子，这种情况下，宏块MB19成为参考缩小帧中的宏块MB15的右下部分。这时，可以把块MB15的标号作为预测值，或者，由于参考部分接近于MB16～MB18，所以如果考虑这些块的标号，例如像上述那样也可以使用其大多数决定预测值。

图57示出在预测中使用了标号的本发明的解码装置的构成例的框图。

该解码装置由标号解码电路716，标号存储器717、参考块决定电路718、预测电路720构成。

其中，标号解码电路716是从被输入的解码对象的代码数据解码出标号的数据的电路，标号存储器517是存储该被解码了的标号的数据的存储器，参考块决定电路718是进行把在前一帧中与编码块相同位置的块决定为参考块719的处理的电路。

另外，预测电路720具有从前一帧的标号721和参考块719求出预测值722，并提供给标号解码电路716的功能。

在这样结构的解码装置中，作为解码对象的编码数据的数据流715输入到标号解码电路716中，标号被进行解码。

另一方面，在标号存储器717中存储着至今为止的被解码了的标号。另外，在参考块决定电路718中，如同在编码装置中所说明过的那样，决定参考块719并传送到预测电路720中。预测电路720也与编码装置一样从前一帧的标号721和参考块719求出预测值722，传送到标号解码电路716中。在标号解码电路716中，根据预测值722切换解码表，把标号723解码后进行输出。

另外，在把某块的模式“M(h，v，t)”(h，v，t分别表示水平，垂直，时间方向的坐标轴)进行编码时，是参考例如“M(x-1，y，n)”，“M(x，y-1，n)”，“M(x，y，n-1)”等切换编码表，而在这里使用的模式中包含有在运动补偿中所用的运动矢量信息的一部分，所以还能够使用以下所示模式的集合(将其称为模式集合A。)。

〔模式集合A〕

(1)“透明”

(2)“不透明”

(3)“无更新(运动矢量＝＝0)”

(4)“无更新(运动矢量！＝0)”

(5)“已编码”

这里，虽然模式集合A(3)和(4)每一个都是copy模式，然而模式集合A(3)意指运动矢量是0，模式集合A(4)意指运动矢量是0以外的矢量。模式集合A(4)的情况下需要另外把运动矢量的值进行编码，而模式集合A(3)的情况下不需要把运动矢量进行编码。在运动矢量是0的概率高的情况下，如果使用模式集合A，则能够削减模式的代码量和运动矢量的代码量的总和。

在该例中，当作为“无更新(运动矢量＝＝0)”而得到的块的全部像素例如不透明的情况下，即使上述(2)和(3)的任一模式也能够得到相同的再生图像。即，不必划分这2种模式。同样，在作为“copy(运动矢量＝＝0)”而得到的块的全部像素是透明的情况下，不必划分上述(1)和(3)。于是，作为

〔模式集合B〕

(1)“透明”

(2)“不透明”

(3)“无更新(运动矢量！＝0)”

(4)“已编码”

步骤A1：在“无更新(运动矢量＝＝0)”时得到的运动补偿预测图像全部为不透明的情况下，进入到步骤A3，否则进入到步骤A2。

步骤A2：在“无更新(运动矢量＝＝0)”时得到的运动补偿预测图像全部为透明时，进入到步骤A4，否则进入到步骤A5。

步骤A3：在参考“M(*，*，*)”是“无更新(运动矢量＝＝0)”的情况下把“M(*，*，*)”置换为“不透明”。然后进入到步骤A6。

步骤A4：在参考“M(*，*，*)”是“无更新(运动矢量＝＝0)”的情况下把“M(*，*，*)”置换为“透明”。然后进入到步骤A6。

步骤A5：使用模式集合A的编码表把“M(x，y，n)”进行编码。结束编码。

步骤A6：使用模式集合A的编码表把“M(x，y，n)“进行编码。结束编码。

如果使用遵循以上的A0到A6的顺序的算法(图58)，则能够没有对于成为相同结果的图像准备多个模式这样的的浪费，能够削减块的属性信息的代码量。这是因为切换4个模式(模式集合B)的代码的平均码长可以比切换5个模式(模式集合A)的代码的平均码长短。然而，在每块中仅切换模式集合A的方式与仅使用模式A的方式相比，由于运算量和存储量等多少增加，所以使用在这种增加不构成问题的场合。

解码处理按照与图58的流程完全相同的算法把编码表决定为模式集合A用或者模式集合B用的某一个，使用该表进行解码。

图59示出可以与上述算法得到相同结果的其它算法。这里

〔模式集合C〕

(1)“透明”

(2)“无更新(运动矢量＝＝0)”

(3)“无更新(运动矢量！＝0)”

(4)“已编码”

〔模式集合D〕

(1)“不透明”

(2)“无更新(运动矢量＝＝0)”

(3)“无更新(运动矢量！＝0)”

(4)“已编码”

说明图59的流程。

步骤B1：在“无更新(运动矢量＝＝0)”时得到的运动补偿预测图像全部为不透明的情况下，进入到步骤B3，否则进入到步骤B2。

步骤B2：在“无更新(运动矢量＝＝0)”时得到的运动补偿预测图像全部为透明时，进入到步骤B4，否则进入到步骤B5。

步骤B3：在参考“M(*，*，*)”是“不透明”的情况下把“M(*，*，*)”置换为“无更新(运动矢量＝＝0)”。然后进入到步骤B6。

步骤B4：在参考“M(*，*，*)”是“透明”的情况下把“M(*，*，*)”置换为“无更新(运动矢量＝＝0)”。然后进入到步骤B6。

步骤B5：使用模式集合A的编码表把“M(x，y，n)”进行编码。结束编码。

步骤B6：使用模式集合C的编码表把“M(x，y，n)“进行编码。结束编码。

步骤B7：使用模式集合D的编码表把“M(x，y，n)“进行编码。结束编码。

另外，作为块的属性，根据需要还可以包含编码的图形，例如块尺寸和块的缩小率，编码扫描的方向，运动矢量的值等。以下示出包含扫描方向的例子。

〔模式集合E〕

(1)“透明”

(2)“不透明”

(3)“无更新(运动矢量＝＝0)”

(4)“无更新(运动矢量！＝0)”

(5)“已编码而且水平扫描”

(6)“已编码而且垂直扫描”

还有，“＝＝”表示左边等于右边的值，“！＝”表示左边不等于右边的值。

如以上叙述的那样，本发明是在预测中使用前一帧的参考块，然而在预测中使用阿尔法-映射而不是该参考块的标号也没有关系。即，预先在存储器中存储阿尔法-映射，在把各个块的属性进行编码时判断该参考块的属性(“透明”，“多重”，“不透明”等)，根据该属性切换编码表。

这样，把前一帧编码时所用的块即使位置错开几个像素也能够作为参考像素。即，即使参考块与把前一帧编码时所使用的块不完全重叠也没有关系，能够实现更高精度的预测。

另外，还能够把使用了参考块的阿尔法-映射的预测和使用了标号的预测组合起来。

例如，首先，使用参考块的阿尔法-映射，根据“透明”，“多重”，“不透明”，切换编码表，进而，对于“多重”使用参考块的标号切换编码表。

还有对于前一帧的参考部分还有利用在每块提供的运动矢量的方法。即，从前一帧划分出根据与已经结束编码的编码块相邻的宏块的运动矢量指示的部分，根据是“透明”，“多重”还是“不透明”切换编码表。

本发明把图像进行编码时，在把画面分割为背景和目标进行编码的方式中，由于分为背景和目标，所以使用目标形状和画面内的位置的阿尔法-映射信号。而且，把该阿尔法-映射信号与图像的编码信息一起进行编码构成各种比特流，进行传送或者存储，前者在广播和个人计算机通信中，后者在音乐CD等中作为收纳了内容的商品进行交易。

作为商品在提供记录于存储媒体的活动图像内容的情况下，在存储媒体中以把图像的编码信息和该阿尔法-映射信号的压缩编码了的信息组合起来的比特流进行存储，在一个媒体上存储长时间的内容可以观赏电影等，下面作为第7实施例说明以存储了包含这样的阿尔法-映射的图像的被压缩编码了的数据流的存储媒体为对象的再生系统的例子。

使用图60以及图61说明本实施例。图60示出在图19的VLC、多路复用电路180中被多路复用了的模式信息(形状模式)b0，运动矢量信息b1，尺寸变换率信息b2，扫描方向信息(扫描类型)b3，二进制图像编码信息b4的码列(比特串)的格式例子。本发明中，在把二进制图像编码信息b4进行解码时，需要把b0～b3的信息进行解码。另外，模式信息b0如果没有在其它其余信息b1～b4之前被解码，则不能够把其它信息进行解码。从而，各信息b0～b4如图60那样，必须配置成在起始为模式信息，最后为二进制图像编码信息的结构。

图61示出使用存储了图60所示的码列记录媒体810再生图像信号的系统。记录媒体810中，存储着包含图60所示码列的码列。解码器820从存储在该存储媒体810中的码列再生图像信号。图像信息输出装置830输出再生图像。

这样结构的本系统，在存储媒体810存储着如图60所示那样格式的码列。解码器820从存储在该存储媒体810中的码列再生图像信号。即，解码器820经过信号线801从存储媒体810读出码列，根据图62以及图63所示的顺序生成再生图像。这里，图63是图62的“二进制图像再生”的步骤(S5)的流程图。

根据图62以及图63，说明在解码器820中的处理内容。即，首先，把模式信息进行解码(步骤S1)，检查被解码了的模式信息相当于“透明”，“不透明”，“无更新”的哪一种(步骤S2、S3、S4)。

其结果，如果是“透明”，则把宏块内的像素值作为全部透明，结束处理(步骤S6)，另外，如果不是“透明”而是“不透明”则把宏块内的像素值作为完全不透明，结束处理(步骤S7)，另外，如果既不是“透明”也不是“不透明”，而是“无更新”，则把运动矢量信息进行解码(步骤S8)，进行运动补偿预测(步骤S9)，用该求出的运动补偿预测值复制宏块(步骤S10)，结束处理。

另一方面，在步骤S2、S3、S4中，不是“透明”，“不透明”，也不是“无更新”时，转移到二进制图像再生处理(步骤S5)。

该S5中的处理例如图63所示，首先，检查是否为“帧间”编码(步骤S21)。其结果，如果是“帧间”编码则和把运动矢量进行解码(步骤S25)，进行运动补偿预测(步骤S26)，其次把尺寸变换率信息进行解码(步骤S22)，把扫描方向信息进行解码(步骤S23)。把二进制编码信息进行解码(步骤S24)，结束处理。

另一方面，当在步骤S21的判断结果不是“帧间”编码时，把尺寸变换率信息进行解码(步骤S22)，把扫描方向信息进行解码(步骤S23)。把二进制编码信息进行解码(步骤S24)，结束处理。

这样在解码器820中再生图像，经过信号线802把该再生的图像供给到图像信息输出装置830中，由此该再生图像显示在图像信息输出装置830上。

这里，作为图像信息输出装置，例如指的是显示器和打印机等。另外，如在前面的实施例中那样，在把帧单位的尺寸变换和小区域单位的尺寸变换组合起来进行编码·解码装置的情况下，帧单位尺寸变换率的信息由于必须在如图60所示那样的小单位的码列之前再生，所以帧单位尺寸变换率的代码位于该帧中的所有小区域单位的码列之前。

这样，在存储媒体中把作为内容的活动图像和阿尔法-映射信号进行压缩编码构成数据流后存储的情况下，能够提供该存储媒体的再生系统。

作为第8实施例说明关于运动矢量预测编码的实施例。

图19以及图20示出本发明的构架。图19中，在运动矢量检测电路178中检测出的运动矢量经过信号线107供给到MV编码电路179中，被编码以后，供给到VLC·多路复用电路180中，与其它的编码信息一起被多路复用后经过信号线3输出。

图20中，通过VLD分离电路210，从经过信号线8供给的编码信息分离出来的运动矢量信息b1在运动矢量再生电路290再生为运动矢量信号。

本实施例涉及上述MV编码电路179以及运动矢量再生电路290。

一般，由于运动矢量信号的相关性在相邻块中很强，因此为去除该相关性根据预测编码把运动矢量进行编码。

图64用于说明运动矢量预测编码的一例。

图64中，矩形的各框示出宏块，基底用点图形显示的矩形框是编码对象块。如果把该编码对象块的运动矢量记为MVs，则为求出对于该编码对象块的MVs的预测矢量MVPs，要用该编码对象块的前一个宏块(图64中的编码对象块的左邻)的块的运动矢量MVs1，该编码对象块的正上方的宏块(图64中的编码对象块的上邻)的块的运动矢量MVs2，以及正上方宏块的右邻的块的运动矢量MVs3。

这样，对于编码对象块的运动矢量MVs的预测矢量MVPs，一般使用编码对象块周围的块的运动矢量MVs1，MVs2，MVs3求出。

例如，MVPs的水平，垂直成分MVPs-h以及MVPs-v如以下那样求出。

MVPs_h＝Median(MVs1_h，MVs2_h，MVs3_h)

MVPs_v＝Median(MVs1_v，MVs2_v，MVs3_v)

这里，“Median()”是求出“()”内的值的中央值的处理，把运动矢量MVsn(n＝1、2、3)的水平·垂直成分记为MVsn-h，MVsn-v。

另外，作为求预测矢量MVPs的其它的例子，还有按照MVs1，MVs2，MVs3的顺序，检查在各个块中是否存在运动矢量，把最初存在运动矢量的块的运动矢量作为MVPs的方法。

图65A以及65B是时刻n-1和时刻n中的帧图像Fn-1，Fn以及各个帧中的编码区域CAn-1，CAn的例子。这里，编码对象块周围的块是不包含目标的块时，在该块中不存在运动矢量。另外，帧内被编码了的块的情况下该块中也不存在运动矢量。

例如，在MVs1、MVs2、MVs3都不存在时，在预测矢量MVPs中使用缺省值(矢量)。

在目标的活动小的情况下，即使取该缺省值为0的运动矢量的“零矢量”也没有问题，而在如从图65A的帧向图65B的帧的移动那样，在帧内的目标位置变动大的情况下，运动矢量的预测不准确，编码效率降低。

本发明中特征在于作为该缺省值适当地切换使用图65A中所示的矢量“prev_ref”和图65B中所示的矢量“curr_ref”的差分矢量“偏置”和“零矢量”。

这里，“偏置”用以下公式求出。

偏置＝prev_ref-curr_ref

缺省值“偏置”和“零矢量”的切换例如可以把根据帧的坐标轴所求出的时刻n的目标和时刻n-1的目标的误差值以及根据编码区域的坐标轴求出的时刻n时点的目标和时刻n-1时点的目标的误差值进行比较，在前者大的情况下把“偏置”用作为缺省值，在后者大的情况下把“零矢量”用作为缺省值。

这种情况下，作为切换信息需要传送1比特的附加信息。另外，切换“偏置”和“零矢量”作为这样的运动矢量预测值的缺省值，在结构信息的运动矢量的预测编码中也同样可以适用。

其次，作为第9实施例说明图19所示的MV编码电路175的具体结构例和图20所示的MV再生电路290的具体结构例。

图66A以及66B是示出图19所示系统中的MV编码电路179以及其附带电路的实施例的框图，图66A是作为附带电路的缺省值运算电路，图66B是MV编码电路179。

图66A所示的作为附带电路的缺省值运算电路是用于对目标区域，从当前时刻的处理帧和前一时刻的处理帧作为帧间的运动矢量值求出从前一时刻观察的当前时刻的帧的目标位置移动的电路，如图66A所示，由编码区域检测电路910、缺省值决定电路911，区域信息存储器912、补偿运算电路913、选择器914构成。

另外，信号线902是用于输入当前时刻帧数据的信号线，相当于图19系统的信号线2，是用于把从信号线2输入的当前时刻的帧数据作为输入而接收的信号线。另外，图66A的信号线902是用于供给保存在帧存储器130中的前一时刻的帧数据的信号线，经过该信号线902，从帧存储器130接受前一时刻的帧数据的供给。另外，信号线903是输出来自缺省值决定电路911的图形信息的信号线，信号线904是供给来自编码区域检测电路910的编码区域CAn的信息的信号线，信号线906是供给从区域信息存储器912读出的编码区域CAn-1的位置信息的信号线。

另外，上述编码区域检测电路910是根据经过信号线901提供的当前时刻帧Fn-1的图像信号，检测编码区域CAn的尺寸以及位置信息VC0的电路，其检测结果经过信号线904供给到缺省值决定电路911，区域信息存储器912以及补偿运算电路913中。

另外，区域信息存储器912是存储编码区域CAn-1的尺寸以及位置信息的存储器，在时刻n的时点中的帧的编码结束后，存储编码区域CAn的尺寸以及位置信息。

补偿运算电路913是使用经过信号线e4供给的编码区域CAn和经过信号线906供给的编码区域CAn-1的位置信息，求出缺省值“偏置”，并将其供给选择器912的电路。

另外，选择器914把作为0的运动矢量值的“零矢量”和从补偿运算电路913供给的“偏置”作为输入，经过信号线903根据从缺省值决定电路911供给的标志选择它们中某一方的电路，是把该选择器914选择的矢量值作为缺省值经过信号线905输出到MV编码电路179的选择器923中的电路。

以上是缺省值运算电路的结构。

其次说明MV编码电路179的结构。

MV编码电路179如图66B所示，由MV存储器921，MV预测电路922，选择器923，差分电路924构成。

其中，MV存储器921是保存经过图19中的信号线107供给的来自运动矢量检测电路178的运动矢量信息的存储器，编码对象周围的运动矢量MVsn(n＝1、2、3)被保存在该MV存储器179中。

MV预测电路922是根据从MV存储器921供给的编码对象块周围的运动矢量MVsn(n＝1、2、3)求出预测矢量MVPs的电路。这里，MVsn(n＝1、2、3)不存在时，由于不是正常地求出预测矢量MVPs，所以该MV预测电路179做成具有输出识别是否正常地求出预测矢量MVPs的信号的功能，经过信号线925把该识别信号供给到选择器923中的结构。

选择器923是把从MV预测电路922供给的MVPs和经过信号线905供给的缺省值作为输入，根据经过上述信号线925供给的信号，选择两者中的一方，供给到差分电路924中的电路。

差分电路924是求出运动矢量的预测误差信号的电路，是求出经过信号线107供给的来自运动矢量检测电路178的运动矢量信息和经过选择器923供给的MVPs或者缺省值之间的差值，并且把其结果作为运动矢量信息b1从MV编码电路179输出的电路。

其次，说明这样结构的编码电路的作用。

图66A中，信号线901上供给被保存在帧存储器130中的作为前一时刻的图像信号(前一时刻的帧的帧数据)的帧Fn的图像信号，信号线e2上供给作为当前帧的图像信号(当前时刻的帧的帧数据)的帧Fn-1的图像信号。

而且，帧Fn的图像信号输入到缺省值决定电路911中，帧Fn-1的图像信号输入到缺省值决定电路911和编码区域检测电路910中。

在编码区域检测电路910中，根据帧Fn-1的图像信号检测编码区域CAn的尺寸以及位置信息VC0，该检测结果经过信号线904供给到缺省值决定电路911，区域信息存储器912以及补偿运算电路913中。

另一方面，在缺省值决定电路911中，使用经过信号线904供给的来自编码区域检测电路910的编码区域CAn的信息和经过信号线906从区域信息存储器912供给的编码区域CAn-1的尺寸以及位置信息，进行帧Fn和帧Fn-1的误差量与编码区域CAn和CAn-1的比较，该比较结果，在前者大的情况下作为缺省值使用“偏置”，除此以外的情况下作为缺省值使用零矢量，经过信号线903输出识别作为缺省值使用了“偏置”还是零矢量的标志的信息。

经过信号线903从缺省值决定电路911输出的标志的信息经过信号线904与经过信号线904从编码区域检测电路910输出的编码区域CAn的尺寸以及位置信息一起，在图51的数据格式中的编码区域的层中被多路复用。而且，提供给传送或者存储到记录媒体中。

另一方面，区域信息存储器912是存储编码区域CAn-1的尺寸以及位置信息的存储器，在时刻n的编码结束以后存储编码区域CAn的尺寸以及位置信息。

补偿运算电路913中，使用经过信号线904供给的编码区域CAn和经过信号线906供给的编码区CAn-1的位置信息，在求出矢量值是“偏置”以后供给到选择器914中。

选择器914中，根据经过信号线903从缺省值决定电路911供给的标志，选择“偏置”和零矢量中的某一个，将其作为缺省值。该缺省值经过信号线905输出到M V编码电路179的选择器923中。

在图66B的MV编码电路179中，经过信号线107供给编码对象块的运动矢量MVs，并且供给到MV存储器921以及差分电路924中。

MV预测电路922中，从MV存储器921供给编码对象块周围的运动矢量MVsn(n＝1、2、3)，求出预测矢量MVPs。这里，当MVsn(n＝1、2、3)都不存在时，由于没有正常地求出预测矢量MVPs，所以生成识别是否正常地求出了预测矢量MVPs的信号并且经过信号线925把该信号供给到选择器923中。

在选择器923中，根据经过信号线925供给的识别信号，选择从MV预测电路922供给的MVPs还是选择作为信号线905的输出的缺省值，并且供给到差分电路924中。

在差分电路924中，计算运动矢量的预算误差信号，其计算结果作为运动矢量信息b1从MV编码电路179输出。

以上是运动矢量编码的处理内容。其次，对于这样编码了的运动矢量的解码处理进行说明。

图67A以及67B是示出用于实现本发明解码电路的实施例的框图，是示出了用于把MV编码了的数据进行再生的主要结构的框图，是示出图20所示系统中MV再生电路290以及其附带电路的实施例的框图。图67A是作为附带电路的缺省值运算电路，图67B是MV再生电路290。

作为图67A的附带电路的缺省值运算电路，由区域信息存储器1010，补偿运算电路1011，选择器1012构成。另外，1001是提供被编码后传送来的数据或者存储在存储器后被读出的数据的高位层中所包含的缺省值选择识别用的标志的信息的信号线，1002是提供被编码后传送来的数据的高位层中所包含的区域CAn的位置信息的信号线，它们对应于编码电路一侧中的1003、1004。

另外，1003是提供区域CAn-1的位置信息的信号线，1004是输出缺省值的信号线。

上述区域信息存储器1010是存储区域CAn-1的位置信息的存储器，补偿运算电路1011是使用经过信号线1002供给的区域CAn的位置信息和经过信号线1003供给的区域CA-1的位置信息求出矢量值“偏置”的电路，构成为该求出的矢量值“偏置”供给到选择器1012中的结构。

另外，选择器1012是对应于经过信号线1001供给的缺省值选择识别用的标志的信息选择并输出预先绐出0的运动矢量值和由补偿运算电路1011给出的矢量值“偏置”中的某一个的电路，构成为作为缺省值把选择器1012的输出向信号线1004上进行输出，并供给到MV再生电路290中。

以上是解码侧的缺省值运算电路的结构。

其次说明MV再生电路1100的结构。

MV再生电路1100如图67B所示，由加法电路1101，选择器1102，MV预测电路1003，MV存储器1104构成。

其中，加法电路1101是接受作为解码对象块的运动矢量的预测误差信号的运动矢量信息b1和经过选择器1102给出的缺省值，把两者相加后输出的电路，这是该加法输出被输出到MV存储器1104以及图20的结构中的信号线203上的结构。

另外，MV存储器1104是用于保存上述加法电路1110的加法输出并供给解码对象块周围的运动矢量MVsn(n＝1、2、3)的存储器，另外，MV预测电路1103是从由MV存储器1104供给的解码对象块周围的运动矢量MVsn(n＝1、2、3)求出预测矢量MVPs，并供给到选择器1102的电路。另外，当MVsn(n＝1、2、3)都不存在时，由于没有正常地求出预测矢量MVPs，所以使MV预测电路1103中具有产生识别是否正常地求出预测矢量MVPs的信号的功能，构成为该识别信号经过信号线1105供给到选择器1102中。

选择器1102是把经过信号线1104供给的缺省值和从MV预测电路1103给出的预测矢量MVPs作为输入，根据经过信号线1105供给的识别信号，选择这些信号的一方并供给到加法电路1101的电路。

其次，说明这种结构的解码系统的作用。

在图67A中，信号线1101上提供识别作为缺省值是使用了“偏置”还是零矢量的标志，信号线1102上提供区域CAn的位置信息。

经过信号线1002供给的区域CAn的位置信息供给到区域信息存储器1010和补偿运算电路1011中。区域信息存储器1010是存储区域CAn-1的位置信息的存储器，在时刻n的解码结束以后，存储区域CAn的位置信息。

在补偿运算电路1011中，使用经过信号线d2供给的区域CAn的位置信息和经过信号线1003供给的区域CAn-1的位置信息求出矢量值“偏置”以后，把矢量值“偏置”供给到选择器1012中。

在选择器1012中，根据经过信号线1001供给的标志，选择“偏置”和“零矢量”中的某一方，作为缺省值经过信号线1004输出到MV再生电路1100中。

其次，在图67B的MV再生电路1100中，供给作为解码块的运动矢量的预测误差信号的“运动矢量信息b1”，并供给到加法电路1101中。

另外，在MV预测电路1103中，从MV存储器1104供给解码对象块周围的运动矢量MVsn(n＝1、2、3)，求出预测矢量MVPs。这里，当MVsn(n＝1、2、3)都不存在时，由于没有正常地求出预测矢量MVPs，所以经过信号线1105把识别是否正常地求出了预测矢量MVPs的信号供给到选择器1102中。

在选择器1102中根据经过信号线1105供给的该识别信号，选择从MV预测电路1103供给的MVPs或者作为信号线1004的输出的缺省值的某一个，供给到加法电路1101中。

在加法电路1101中，把运动矢量的预测误差信号(“运动矢量信息b1”)和预测信号MVPs进行相加，由此再生解码对象块的运动矢量MVs。该解码对象块的运动矢量MVs经过信号线203从MV再生电路1100输出的同时还存储到MV存储器1104中。

这样，能够实现图19所示结构的必要的MV编码处理和图20所示结构的必要的MV再生处理。

以上，说明了各种实施例，如果依据本发明，能够得到可以把作为表示目标的形状和画面内位置的副图像信息的阿尔法-映射信息高效编码的同时还可以进行解码的图像编码装置以及解码装置。

另外，如果依据本发明，则由于能够减小阿尔法-映射的代码量，所以与用帧单位进行编码的以往的编码方法相比，能够既不大幅度地降低编码效率又能够在各目标中分别地进行编码。

另外，本发明不限定于上述的实施例，可以进行种种变形。

如果依据本发明，则由于能够减小阿尔法-映射的代码量，所以与用帧单位进行编码的以往的编码方法相比，能够既不大幅度地降低编码效率又能够在各目标中分别地进行编码。

Claims (8)

1.一种图像解码装置，其特征在于包括：

阿尔法-映射解码器，其包括：

用于存储包含在一个块附近的解码信号的帧的解码信号的帧存储器；

用于以块为单位对二进制图像的尺寸进行变更的尺寸变更电路；以及

用于以块为单位解码缩小的二进制图像的二进制图像解码器，该二进制图像解码器包括一个扩展器，用于参照已经编码的块的解码值对一个块进行扩展。

2.根据权利要求1所述的视频解码装置，其特征在于，当一个n×n的宏块被扩展为一个4n×4n尺寸的宏块时，该扩展器把该n×n尺寸的宏块扩展为一个2n×2n尺寸的宏块，然后把该2n×2n尺寸的宏块扩展为4n×4n尺寸的宏块。

3.根据权利要求1或2所述的视频解码装置，其特征在于，该扩展器参照在已经被编码的块的解码值中的给定位置处的像素的平均值而对该块进行扩展。

4.根据权利要求1所述的视频解码装置，其特征在于，该尺寸变换器使用以帧为单位和以小区域为单位的尺寸变换处理的组合执行尺寸变换。

5.一种视频解码装置，其特征在于包括：

阿尔法-映射解码器，其包括：

用于接收包括一个对象的M×N个像素编码的视频块的输入单元(M：在水平方向上的像素的数目，N：在垂直方向上的像素的数目)；

用于存储包含在一个块附近的被解码信号的一个帧的被解码信号的帧存储器，

用于以块为单位对二进制图像的尺寸进行变更的尺寸变更电路，

用于参照已编码的块的解码值对块进行扩展的扩展器，以及

用于以块为单位对缩小的二进制图像进行解码的二进制图像解码器，

所述阿尔法-映射解码器用作在以下两种状态之间进行切换的选择器：参考在已经编码的块的解码值完成处理或者不参照在一个块的扩展处理中的任何解码值完成处理。

6.根据权利要求5所述的视频解码装置，其特征在于，当一个n×n宏块被扩展为一个4n×4n尺寸的宏块时，该扩展器把该n×n尺寸的宏块扩展为一个2n×2n尺寸的宏块，然后把该2n×2n尺寸的宏块扩展为4n×4n尺寸的宏块。

7.根据权利要求5或6所述的视频解码装置，其特征在于，该扩展器参照在已经被编码的块的解码值中的给定位置处的像素的平均值而对该块进行扩展。

8.根据权利要求5所述的视频解码装置，其特征在于，该尺寸变换器使用以帧为单位和以小区域为单位的尺寸变换处理的组合执行尺寸变换。

Images