CN1223772A

CN1223772A - 多个图像信息的编码方法、编码装置、译码及合成方法、译码及合成装置和记录上述方法的记录媒体

Info

Publication number: CN1223772A
Application number: CN 97196020
Authority: CN
Inventors: 文仲丞
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-07-03
Filing date: 1997-06-09
Publication date: 1999-07-21

Abstract

本发明是在有输入多个图像信号、将用于识别图像信号的图像标识符附加到该多个图像信号的每一个中,将该多个图像信号中的几个信号合成而构成1个图像信号的目的时,作成用于达到与该目对应的合成的合成顺序等的合成信息并将至少附加了图像标识符的图像信号和合成信息进行压缩编码的图像编码方法、使用该方法的编码装置、将利用该方法进行编码的图像信号进行译码的方法和使用该译码方法的译码装置以及记录用于实施这些方法的数据的记录媒体。这样,便可高精度地将多个图像信号进行压缩编码,同时可以很容易地改变用于合成多个图像信号的合成信息。

Description

多个图像信息的编码方法、编码装置、译码及合成方法、译码及合成装置和记录上述方法的记录媒体

本发明涉及图像信号的压缩编码和译码，特别是将多个图像信息进行压缩编码的方法，使用该方法的编码装置，和将经过压缩编码的多个数字图像数据译码并合成的方法，使用该方法的装置以及记录这些方法的记录媒体。

为了有效地存储或传输数字图像，必须进行压缩编码。作为用于将数字图像进行压缩编码的方法，除了以JPEG及MPEG为代表的离散余弦变换(DCT)外，还有子带、子波及部分等波形编码方法。另外，为了去除图像间的冗长的信号，进行使用运动补偿的图像间预测，将差分信号进行波形编码。

最近，为了在提高压缩效率的同时可以进行构成图像的物体单位的再生，实施了分别将构成图像的物体进行压缩编码并传输，在再生侧，将各物体进行译码并合成再生的物体而显示图像的编码和译码方法。

该编码和译码方法，具有通过按物体单位进行编码并将物体自由地组合而合成，可以简单地将动图像均再编辑的特征。另外，还可以根据通信线路的混合情况以及再生装置的性能、视听者的喜好，即使不再生比较不重要的物体，也可以观看动图像。

为了实现上述功能，要求可以简单地改变物体的合成。在先有的技术中，为了合成物体所需要的信息附加到各物体的压缩编码后的数据中。另一方面，作为合成信息，有物体的纵深、配置以及可视性等，该合成信息附加到该物体的压缩编码后的数据中时，要实现合成的再编辑及按物体单位的缩放，在分析经过压缩编码的数据后，必须改变与合成信息对应的数据。

本发明的目的在于提供在将构成图像的物体分别进行压缩编码和传输时传输该多个图像信息并接收它们进行该物体等的多个图像信息的合成时可以简单地改变合成信息的编码、译码及合成方法和装置，特别是不必分析经过压缩编码的数据便可简单地改变合成信息。

本发明的图像编码方法，输入多个图像信号，将用于识别图像信号的图像标识符附加到该多个图像信号的每一个中。并且，在有将该多个图像信号中的几个信号合成而构成1个图像信号的目的时，作成用于达到与该目的相应的合成的合成顺序等合成信息。另外，至少对附加了图像标识符的图像信号和合成信息进行压缩编码。

作为使用该方法的编码装置，可以提供具有输入多个图像信号的图像输入单元，将用于识别图像信号的图像标识符附加到多个图像信号的每一个中的标识符附加单元，输出用于合成多个图像信号的合成信息的合成信息作成单元和将至少由标识符附加单元附加了图像标识符的各图像信号和上述合成信息进行压缩编码的编码单元的图像编码装置。

另外，作为其他编码方法，在编码时进行将1副图像分解为位于该图像中的多个物体等的要素的处理，将1个图像信号分解为多个部分图像信号，并将用于识别部分图像信号的图像标识符附加到各部分图像信号中。并且，作成合成该部分图像信号从而可以再现1个图像信号的合成顺序等的合成信息。另外，将至少附加了图像标识符的部分图像信号和合成信息进行压缩编码。

作为使用该方法的编码装置，具有如1个图像信号由多个图像合成而构成的那样将图像信号分解为多个部分图像信号的图像分解单元，将用于识别部分图像信号的图像标识符附加到各部分图像信号中的标识符附加单元，输出用于利用部分图像信号的合成而构成1个图像信号的合成信息的合成信息作成单元和将至少由标识符附加单元附加了图像标识符的部分图像信号和合成信息进行压缩编码的编码单元。

作为将根据上述编码方法而编码的压缩编码图像信号进行译码的方法，接收多个压缩编码数据，将该压缩编码数据进行译码，同时，抽出附加在该压缩编码数据中的图像标识符。另一方面，也是接收用于合成多个压缩编码数据的合成信息并至少根据上述图像标识符和该合成信息合成多个压缩编码数据从而作为1个图像进行译码的图像译码及合成方法。

作为使用该方法的译码合成装置，提供了具有接收多个压缩编码数据的接收单元，将由该接收单元所接收的压缩编码数据进行译码的译码单元，抽出附加在由该译码单元译码后的压缩编码数据中的图像标识符的标识符抽出单元，接收用于合成多个压缩编码数据的合成信息的合成信息接收单元和至少根据图像标识符和合成信息合成多个压缩编码数据的合成单元的图像译码及合成装置。在合成信息中，至少包括作为合成的对象的图像的图像标识符和合成顺序，按照合成顺序决定由图像标识符指定的图像的纵深及配置，从而合成多个不同的再生图像。另外，还通过具有输入单元，而经由输入单元只改变有别于压缩编码数据的合成信息，按照改变后的合成信息合成再生图像。

这样，在分别对构成图像的物体等各构成图像的要素进行压缩编码或合成多个图像将构成新的图像的多个图像信号进行压缩编码并传输时，可以简单地改变合成信息，同时可以灵活而自由地进行图像的合成，从而可以获得提高交互性的显著的效果。

图1是表示本发明实施例1的多个图像信号的压缩编码方法的流程图。

图2是表示本发明实施例2的多个图像信号的压缩编码方法的流程图。

图3是表示本发明实施例的压缩编码的图像数据和译码的图像数据的结构。

(A)第1压缩的图像数据

(B)将第1、第2压缩的2个图像数据分组而实现多路化的多路数据

(C)第2压缩的图像数据

图4是描述本发明实施例的合成信息的内容的例子。

图5是表示本发明实施例3的多个图像信号的多路数据的译码方法的流程图。

图6是表示本发明实施例3的译码及合成装置的框图。

图7是表示本发明实施例的多个图像信号的合成的例子，是表示各物体的图像的合成的模式图。

图8是表示用于说明本发明实施例的译码的动作的图像合成及显示的定时的图。

图9是表示本发明实施例4的译码及合成装置的框图。

下面，说明本发明的实施例。

(实施例1)

使用图1、图3和图4进行说明。图1表示本发明实施例的将多个图像信号进行编码的编码方法的流程图。图3表示该多个图像信号进行数字压缩编码的结果成为哪种数据结构的位流。图4表示该数据的描述例子。

在图1中，在步骤11，首先输入多个图像信号。作为该多个图像信号的例子，以后说明图3(A)和图3(B)。在图1的步骤12，将用于识别各图像信号的图像标识符分别附加到输入的多个图像信号中。在图3(A)的图像信号的时间(i)的图像数据304中，图像标识符(ID)302与其相当。在图3(C)的图像信号的时间(i)的图像数据328中，图像标识符(ID)323与其相当。

在图1的步骤13，输出用于利用多个图像信号的合成而构成1个合成图像信号的合成信息。图3(B)表示将图3(A)、(C)的经过压缩编码的图像信号分组而进行多路发送的位流结构，合成信息包319与该合成信息相当。

在图1的步骤14，将至少附加了图像标识符的图像信号和合成信息进行压缩编码。结果，结果压缩编码的1个图像信号就是附加了图像标识符(ID)302及307、时间标识符(TR)303及329的图像信号304及330，结果压缩编码的另一个图像信号就是附加了图像标识符(ID)323及327、时间标识符(TR)324的图像信号328。

在图1的步骤15，将图3(A)、图3(C)的经过压缩编码的图像信号如图3(B)所示的那样分组进行多路发送。这时，合成信息设置有别于图像信号分组的视频包311及315的合成信息包319。其中，描述并传输将图3(A)、(C)的图像信号如何合成而输出的信息的合成参量。

图4是其一例，表示合成信息401的例子。402是合成时刻，记录合成时的时刻。403是合成顺序，包括图像标识符(OID)、时间标识符(TR)、纵深(CO)、配置(XPO步骤、YPO步骤)。404是合成平滑信息，405是帧存储器管理信息。

在本事例中，作为合成信息，记载了合成顺序，但是，在应合成的多个图像的大小不同时，通过同时记载坐标变换参量，在合成时改变合成信息可以很容易地实现更富于多样性的组合。

(实施例2)

使用图2、图3和图4进行说明。图2表示本发明实施例的将多个图像信号进行编码的编码方法的流程图，和图1不同的是，先输入1个图像，追加分解为多个图像的作业。图3表示将该分解后的多个图像信号进行数字压缩编码的结果成为哪种数据结构的位流，本实施例和实施例1的动作相同。另外，图4也和实施例1的动作相同，表示数据的描述例子。

在图2的步骤21，输入应进行压缩编码的图像信号，在步骤22，利用将输入的图像信号分解为图像内的物体及背景等各要素等的方法分解为多个部分图像信号。

在以后的步骤23到步骤26，除了将图1的图像信号置换为部分图像信号外，进行相同的作业步骤，1个图像信号分解为多个部分图像信号和合成信息，分别作为经过压缩编码的图像数据输出图3(B)的结构的位流。

这样，便可高精度地传输1个图像，同时，在译码时可以很容易地改写合成信息根据不同目的进行图像的编辑。

(实施例3)

图5表示实施例3的译码及合成的流程图，图6表示使用该方法的译码及合成装置，图7表示将2个图像合成的模式图。利用与图5、7的关系说明图6的装置的动作。

在图6中，100是输入端子，101是分离器，102是控制译码器，103和104是视频译码器，105是帧存储体，106是合成器，107是显示器。

下面，说明上述结构的图像译码及合成装置的动作。将接收的图像数据和合成信息输入到输入端子100上(图5的步骤51)。然后，由分离器101将合成信息经过线路108传送给控制译码器102，变换为控制信号(步骤52、55、56)。将经过压缩编码的图像数据输入视频译码器103和104(步骤53)。在本实施例中，具有2个视频译码器，是为了容易说明，也可以有任意多个视频译码器。由视频译码器103和104将经过压缩编码的图像数据进行译码，生成不同的再生图像，并存储到帧存储器105中(步骤53、54)。本实施例的视频译码器使用以MPEG1为代表的帧间运动补偿及离散余弦变换方式，但是，并不限于此。

另一方面，根据从控制译码器102经过线路117传送来的控制信号，从帧存储器105中读出作为合成的对象的再生图像，并传送给合成器106。在合成器106中，根据经过线路118传送来的控制信号将经过线路115传送来的再生图像进行合成(步骤57)。根据需要将该合成图像向显示器107输出进行显示(步骤58)。

下面，按图7所示的具体的图像的事例说明上述动作，201是第1再生图像，202是第2再生图像。在本实施例中，第1再生图像201由视频译码器103生成，第2再生图像202由视频译码器104生成。

用合成器106将第1再生图像201和第2再生图像202合成后的图像是203。根据经过图6的线路118传送来的控制信号，第1再生图像201是前景，第2再生图像202是背景。

使用实施例1、2的图3详细地进行说明，就是将图3(A)的压缩的图像数据和图3(C)的第2压缩的图像数据进行合成。

在时间(i)的图像数据304中，从同步信号301开始，接在其后的顺序为图像标识符(ID)302、时间标识符(TR)303和305。在本实施例中，图像标识符(ID)用5位表示，时间标识符(TR)用16位表示。

时间(i+1)的图像数据330，同样从同步信号306开始，顺序为图像标识符(ID)307、时间标识符(TR)329和压缩编码数据。图3(A)是相同的图像系列的压缩数据，所以，图像标识符(ID)全部相同。时间标识符随显示时间不同而成为不同的值。

图3(C)的第2压缩的图像数据的结构和图3(A)相同，但是，为了可以与图3(A)区别开来，图3(C)的图像标识符(ID)是与图3(A)不同的值。

图3(B)表示将图像数据分组而实现多路化的数据。将图3(A)的第1压缩的图像数据和图3(C)的第2压缩的图像数据分别分为多个包实现多路化。例如，时间(i)的图像304分为视频包311和视频包315、时间(i)的图像328分为视频包313和视频包317而实现多路化。标题310、312、314、316附加到各视频包上。在这些标题中，包括包标识符。在本实施例中，用6位的固定长编码描述包标识符。为了区别第1压缩的图像数据和第2压缩的图像数据，使用不同的包标识符。另外，合成信息也进行分组，作为合成信息包319而实现多路化。在合成信息包319中也有标题，将与视频包不同的包标识符附加到该标题中。在包标识符一览表(OAT)309中，包括合成信息包的包标识符和包括在合成信息中的作为合成的对象的图像的包的包标识符。

接收该图3(B)的多路化数据(图5的步骤51)。图6的分离器101参照包标识符一览表分选带包标识符的视频包及合成信息包，从视频包恢复为压缩的图像数据，并输入视频译码器103和104(步骤52)。

另一方面，将合成信息包恢复为合成信息后，向控制译码器102传送，分析合成信息并变换为控制信息(步骤55、56)。本实施例的控制译码器是原文翻译器，分析下面说明的合成信息的原文。

图4表示该合成信息401的例子。402是合成时刻，403是合成顺序，404是合成平滑信息，405是帧存储器管理信息。使用上述结构的合成信息按以下方式进行图像的合成。

合成时刻402表示合成的时分秒，与装置的时间对准，在达到合成时刻的时刻，根据合成顺序403和合成平滑信息404合成并显示图像。在合成顺序403中，包括图像标识符(OID)、时间标识符(TR)、纵深(CO)、配置(XPO步骤、YPO步骤)。在达到合成时刻的时刻，从帧存储器105中读出由图像标识符和时间标识符指定的图像，按照该图像的纵深和配置进行合成。

在本实施例中，CO=0表示在合成的图像中位于最后背景上的图像，CO=1表示位于0的背景之上，CO=2表示在0和1的层之上。配置表示在显示区域中图像的位置的坐标。在本实施例中，(0,0)表示显示区域的中心位置。

合成平滑信息404表示用于将合成的图像的边界部进行平滑处理的滤波器的系数。在本实施例中，表示3×3的滤波器的系数。帧存储器管理信息405管理帧存储器105(图6)的开放和确保。在本实施例中，表示对图像标识符{0}的图像所开放的存储区域。

下面，根据图4所示的合成信息，说明合成并显示图像的定时。图8表示该定时的一部分。横轴表示合成的图像的显示时间。合成信息为513～517，图像标识符2(<OID>{2})的图像为501～505，图像标识符3(<OID>{3})的图像为506和507，图像标识符4(<OID>{4})的图像为508～512。

在时间t5，有图像501、506、508和合成信息513，按照合成信息513合成并显示图像。根据通信线路的混合情况及装置的性能等不能接收或不能再生图像508时，就只合成图像501和506。在时间t8，没有图像标识符3的图像，只有图像504、511和合成信息516。这时的合成信息516示于图4，图像标识符的3的图像的时间标识符表示为5(指表示图4中的顺序的403的<OID>{3}、<TR>{5})。即，在时间t8，可以将图像504、506、511合成。没有已指定的时间标识符的图像时，就使用其前面的时间标识符的图像进行合成。例如，没有图像标识符4、时间标识符8的图像511时，就使用图像510进行合成。在时间t6、t7，也需要进行同样的处理。

在图8的例中，合成信息是继续接收的情况。合成信息为未继续接收的情况时，在更新合成信息之前使用最近接收的合成信息合成图像。例如，在未接收合成信息514、515、516时，在合成信息517到来之前使用合成信息513进行合成。这时，用各再生的图像带的时间标识符置换合成信息513中的时间标识符后，进行合成。

在图4的合成信息401中，也可以没有合成平滑信息404及帧存储器管理信息405。另外，在合成信息403中也可以没有图像的配置及时刻标识符。没有时间标识符时，就用各再生的图像带的时间标识符识别作为合成的对象的图像。在合成信息中也可以包含上述以外的数据

以上，对图像说明了本发明的译码及合成装置，但是，也可以应用于将声音及音频进行合成的情况。

(实施例4)

图9是表示本发明实施例4的译码及合成装置的框图。其结构和基本动作与图6相同。除了图6的结构外，还具有输入端子601。作为输入端子601，也可以使用遥控器及键盘。通过输入端子601改变合成信息的一部分。例如，从合成顺序403中改变纵深的数据，就可以使背景的图像成为前景。

本发明在将构成图像的物体等分别分解为构成图像的各要素，将其作为多个图像信号进行压缩编码并进行传输时，或将多个不同的图像合成而用于构成新的图像的多个图像信号进行压缩编码并传输时，一并传输表示将该多个图像信号如何合成的合成信息，所以，译码时可以简单地改变该合成信息，同时可以灵活而自由地进行图像的合成，从而可以获得可以根据送、受方的目的进行富于多样性的编辑的显著的效果。

Claims

1．图像编码方法，其特征在于包括输入多个图像信号的步骤；将用于识别上述图像信号的图像标识符附加到上述多个图像信号的每一个中的步骤；输出用于通过上述多个图像信号的合成而构成1个图像信号的合成信息的步骤；将至少附加了图像标识符的图像信号和上述合成信息进行压缩编码的压缩编码步骤。

2．图像编码装置，其特征在于具有输入多个图像信号的图像输入单元；将用于识别图像信号的图像标识符附加到上述多个图像信号的每一个中的标识符附加单元；输出用于合成上述多个图像信号的合成信息的合成信息作成单元；将至少由上述标识符附加单元附加了图像标识符的各图像信号和上述合成信息进行压缩编码的压缩编码单元。

3．图像编码方法，其特征在于包括：如图像信号由多个图像合成而构成的那样将上述图像信号分解为多个部分图像信号的步骤；将用于识别部分图像信号的图像标识符附加到上述各部分图像信号中的步骤；输出用于通过上述部分图像信号的合成而构成上述图像信号的合成信息的步骤；将至少附加了图像标识符的部分图像信号和上述合成信息进行压缩编码的第2压缩编码步骤。

4．图像编码装置，其特征在于具有：如图像信号由多个图像合成而构成的那样将上述图像信号分解为多个部分图像信号的图像分解单元；将用于识别部分图像信号的图像标识符附加到上述各部分图像信号中的标识符附加单元；输出用于通过上述部分图像信号的合成而构成上述图像信号的合成信息的合成信息作成单元和将至少附加了图像标识符的部分图像信号和上述合成信息进行压缩编码的第2压缩编码单元。

5．图像译码及合成方法，其特征在于包括接收多个压缩编码数据的步骤；将上述压缩编码数据进行译码的步骤；抽出附加在上述压缩编码数据中的图像标识符的步骤；接收用于合成上述多个压缩编码数据的压缩合成信息的步骤；和至少根据上述图像标识符和上述合成信息合成上述多个压缩编码数据的步骤。

6．图像译码及合成装置，其特征在于具有接收多个压缩编码数据的接收单元；将上述压缩编码数据进行译码的译码单元；抽出附加在上述压缩编码数据中的图像标识符的标识符抽出单元；接收用于合成上述多个压缩编码数据的压缩合成信息的压缩合成信息接收单元；和至少根据上述图像标识符和上述合成信息合成上述多个压缩编码数据的合成单元。

7．图像译码及合成装置，其特征在于接收附加了图像标识符和时间标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的合成信息，将上述多个不同的图像进行译码，生成多个不同的再生图像，按照上述译码的合成信息合成上述多个不同的再生图像并显示。

8．一种图像译码及合成装置，用于接收附加了图像标识符和时间标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的压缩合成信息，将上述多个不同的图像进行译码，生成多个不同的再生图像，按照上述合成信息合成上述多个不同的再生图像，其特征在于：在上述合成信息中，至少包括作为合成的对象的图像的上述图像标识符和合成顺序，根据上述合成顺序决定由上述图像标识符指定的图像的纵深，合成上述多个不同的再生图像。

9．按权利要求8所述的图像译码及合成装置，其特征在于：在上述合成信息中，至少包括作为合成的对象的图像的上述图像标识符和合成顺序，根据合成顺序决定由上述图像标识符指定的图像的纵深和配置，合成上述多个不同的再生图像并显示。

10．一种图像译码及合成装置，用于接收附加了图像标识符和时间标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的压缩合成信息，将上述多个不同的图像进行译码，生成多个不同的再生图像，按照上述合成信息合成上述多个不同的再生图像，其特征在于：在上述合成信息中至少包括作为合成的对象的图像的上述图像标识符、上述时间标识符和合成顺序，根据上述合成顺序决定由上述图像标识符和上述时间标识符指定的图像的纵深，合成上述多个不同的再生图像并显示。

11．按权利要求10所述的图像译码及合成装置，其特征在于：在上述合成信息中，至少包括作为合成的对象的图像的上述图像标识符和合成顺序，根据合成顺序决定由上述图像标识符和上述时间标识符指定的图像的纵深和配置，合成上述多个不同的再生图像并显示。

12．按权利要求8～11中的任一权项所述的图像译码及合成装置，其特征在于：在没有与合成信息中包括的图像标识符对应的再生图像时，就不合成上述再生图像。

13．按权利要求10或11所述的图像译码及合成装置，其特征在于：在没有与合成信息中包括的时间标识符对应的再生图像时，就使用并合成按照和上述再生图像相同的图像标识符在最近再生的图像。

14．一种图像译码及合成装置，用于接收附加了图像标识符和时间标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的压缩合成信息，将上述多个不同的图像进行译码，生成多个不同的再生图像，按照上述合成信息合成上述多个不同的再生图像，其特征在于：在上述合成信息中至少包括合成时刻，控制上述装置的基准时刻与上述合成时刻不相等时，按照上述合成信息合成再生图像。

15．一种图像译码及合成装置，用于接收附加了图像标识符和时间标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的压缩合成信息，将上述多个不同的图像进行译码，生成多个不同的再生图像，按照上述合成信息合成上述多个不同的再生图像，其特征在于：在更新上述合成信息之前，按照将最近接收的压缩合成信息译码后的合成信息合成上述多个不同的再生图像。

16．一种图像译码及合成装置，用于接收附加了图像标识符和时间标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的合成信息，生成多个不同的再生图像，按照上述合成信息合成上述多个不同的再生图像，其特征在于：在上述合成信息中至少记录合成平滑信息，按照上述合成信息合成再生图像时，按照上述合成平滑信息只将合成图像的边界部分进行平滑化处理。

17．一种图像译码及合成装置，用于接收附加了图像标识符和时间标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的压缩合成信息，将上述多个不同的图像进行译码，生成多个不同的再生图像，将上述压缩合成信息进行译码，按照上述合成信息合成上述多个不同的再生图像，其特征在于：具有输入单元，通过上述输入单元改变上述合成信息，按照改变后的上述合成信息合成再生图像。

18．图像数据传输方法，其特征在于将附加了图像标识符和时间标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的合成信息分别分组化，将相互不同的包标识符附加到上述多个不同的图像的包和上述合成信息的包中，实现多路化，与记载了上述包标识符的包标识符一览表一起传输。

19．图像译码及合成装置，其特征在于具有分离器、图像译码器、压缩合成信息译码器、帧存储器和合成器，将附加了图像标识符和时间标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的合成信息分别分组，将相互不同的包标识符附加到上述多个不同的图像的包和上述合成信息的包中，实现多路化，输入与描述上述包标识符的包关联信息一起传输的数据，在上述分离器中，分选出带上述包关联信息所描述的包标识符的包，将上述多个不同的图像的包的数据向上述图像译码器传送，将上述合成信息的包的数据向上述合成信息译码器传送；在上述图像译码器中，将上述多个不同的图像的压缩编码数据译码为再生图像，存储到上述帧存储器中；在上述合成信息译码器中，将上述压缩合成信息进行译码，同时将合成信息变换为控制信号，按照上述控制信号将上述帧存储器存储的上述再生图像向上述合成器传送；在上述合成器中，按照上述控制信号合成上述多个不同的图像。

20．按权利要求19所述的图像译码及合成装置，其特征在于：在合成信息中包括帧存储器的开放和确保的信息，按照上述合成信息开放或确保上述帧存储器。

21．图像编码译码系统，其特征在于具有将至少附加了图像标识符的多个不同的图像的压缩编码数据和用于合成上述多个不同的图像的合成信息分别分组化，并将相互不同的包标识符附加到上述多个不同的图像的包和上述合成信息的包中实现多路化，从而与记载了上述包标识符的包标识符一览表一起传输的图像数据传输单元；分选带上述包关联信息所描述的包标识符的包，从而将上述多个不同的图像的包的数据与上述合成信息的包的数据分离并输出的分离器；将从上述分离器输出的上述多个不同的图像的压缩编码数据译码为再生图像的图像译码器；记录上述图像译码器的输出的帧存储器；将从上述分离器输出的上述合成信息变换为控制信号并输出的合成信息译码器和按照上述控制信号使用上述帧存储器存储的上述再生图像合成上述多个不同的图像的合成器。

22．一种记录用于实施权利要求1、3、5、18的方法的程序的记录媒体。