CN1150767C - 数据处理装置 - Google Patents

Abstract

一种目标数据解码装置，对于与一场景对应的图象数据，通过对构成该一场景图象和声音等目标的每个目标编码得到的编码数据进行多路化形成位流，能够容易并高速地进行目标单位的编辑、置换、检索等处理。根据多路化与所述目标对应的编码数据的位流MEg，由反向多路化装置11抽出各目标的分层信息，CPU13根据该分层信息生成记录表示目标和与其编码数据对应的相关关系的目标表。

Description

数据处理装置

技术领域

本发明涉及目标数据处理装置、目标数据记录装置、数据存储媒体和用于传输的数据结构，特别涉及解码压缩的数字图象数据、数字声音数据、程序数据等的压缩数据的装置，从该压缩数据中选择期望数据的装置，记录该压缩数据的装置，存储该压缩数据的媒体，传输该压缩数据的装置和该压缩数据的用于传输的数据结构。

背景技术

随着信息压缩技术的进步，近年来，在地面广播、卫星广播、CATV等广播媒体中，由数字信号提供图象信息和声音信息的数字图象/声音服务正在实用化。

此外，目前，作为下一代的压缩编码方式，不是把整个图象、就是说与一幅图象相当的图象数据一样地压缩，而是着眼于图象的内容，以构成该幅图象的各个目标(对象(object))为单位压缩与一幅图象对应的图象数据的目标编码方式正引人注目。

对于象这样的与一个画面对应的图象数据，如果进行目标单位的压缩处理，那么可以把被压缩的图象数据(编码数据)按对应的各个目标进行分离，从而可以抽出或替换一幅图象中特定的目标。

此外，作为这种目标编码方式的特征，即作为发挥其长处的数据传输格式的实现方法，也在议论多路化压缩的图象数据、声音数据、其它数字数据的方法。

作为利用这种目标编码方法，多路化压缩数据的方法的国际标准有MPEG4(ISO/IEC JTC1/SC29WG11N1483，“System Working Draft”，1996.11)，下面，参照附图，说明再生多路化数据的多路化数据再生方法，同时说明根据该MPEG4的数据多路化方法。

图18是表示具体说明以往的目标编码方法的图。图中，120是从附带声音的图象数据中得到的一连串图象内的一个场景(一幅图象)。其中，该一个场景120由形成分层结构的多个目标构成(小图象)。也就是说，所述一个场景120由作为背景的背景图象121、沿背景中移动的移动体122、背景中附带的背景声音123三种目标构成。而且，作为所述移动体目标122由第一车轮124、第二车轮125、机身126和在移动体上附带的移动体声音127四个目标构成。再有，作为所述机身的目标126由窗口128和除此之外的部分129两个目标构成。其中，所述目标121-123属于最上位的第一分层L1，目标124-127属于所述第一分层的下位分层第二分层L2，而且，目标128、129属于所述第二分层下位分层的第三分层。

并且，在目标编码方法中，与所述一个场景120对应的场景数据，以构成该一个场景120的最下位目标为单位进行压缩编码。也就是说，与所述一个场景120对应的场景数据被分别压缩编码成目标121、123、124、125、127、128、129。

图19是表示通过对所述一个场景120进行数据目标编码处理得到的传输对应于各目标的编码数据的用于传输的数据结构，即说明位流格式的图。

图中，MEg是把所述各目标的编码数据与辅助数据同时多路化，成为具有预定格式的多路位流，该多路位流MEg作为对应于所述场景数据的编码数据传输。

所述多路位流MEg按每一定的单位(预定的字节数)划分成多个数据包，各目标的编码数据被分配在具有作为各逻辑信道LC的固有值SLC(＝1，2，...)的数据包中。

具体地说，在图19所示的多路位流MEg中，把目标[1]的编码的视频数据分配在逻辑信道(SLC＝3)的数据包Pa3、Pa6中，把目标[2]的编码的视频数据分配在逻辑信道(SLC＝4)的数据包Pa5、Pa7中，把目标[3]的编码的视频数据分配在逻辑信道(SLC＝5)的数据包Pa4中，再有，多路时的数据包的字节数、数据包的逻辑信道LC和数据包的传输顺序等信息作为控制信息被分配在其它逻辑信道的数据包中传输(图中未示)。

其中，所述目标[1]、[2]分别是图18所示的背景图象121、移动体122，而目标[3]是图18所述的背景声音123。

此外，在所述位流MEg的逻辑信道(SLC＝1)的数据包Pa1中，分配了用于再生所述各目标构成的场景的有关场景构成方法的信息(合成流)，并且，在所述位流MEg的逻辑信道(SLC＝2)的数据包Pa2中，分配了表示如何多路化所述各目标的编码数据的信息(流关联表)。

因此，在多路化传输由目标编码获得的多个编码数据时，与各目标的编码数据一起，还同时传输显示多个目标构成的场景结构的合成流，和显示传输流(即与各个目标对应的一连串编码数据)相互关系的流关联表。

图20是表示说明根据合成流产生的场景描述的图，表示与图18所示的一幅图象120(一个场景)对应的描述SD。

在根据所述合成流产生的场景描述SD中，所述一幅图象120由场景140来表示，并且，由该场景140表示的一幅图象120由图18所示的背景图象121、移动体122、背景声音123的各目标构成，但用图象(1)144、节点(1)142和声音(1)143来表示。其中，所述场景140、图象(1)144、节点142和声音(1)143分别是表示图18所示的一幅图象120、背景图象121、移动体122和背景声音的描述符。

此外，在所述场景描述SD中，由所述节点(1)142表示的移动体122由第一车轮124、第二车轮125、机身126和移动体声音127四个目标构成，但用与其各目标对应的描述符图象(2)144、图象(3)145、节点(2)146和声音(2)147来表示。

此外，在所述场景描述SD中，由所述节点(2)146表示的机身126由窗口128和除此之外的部分129这两个目标构成，但用与其各目标对应的描述符的图象(4)148和图象(5)149来表示。

此外，所述各描述符中，附加用于识别与多路位流MEg中各目标的编码数据对应的流的流标识(流id)，具体地说，如图20所示，在所述各描述符141-145上，附加作为流id的Sid＝1-Sid＝5，在所述各描述符148、149、147上附加作为流id的Sid＝6、Sid＝7、Sid＝8。其中，Sid是流id的具体号码。

因此，根据所述合成流产生的场景，就可以明白某个场景是由什么样的目标构成的。但是，在由该合成流产生的场景描述中，与各目标对应的编码数据在实际的多路流Meg中并未表示怎样进行多路。

图21是说明所述流关联表的图。

在该流关联表AT中，表示把对应于所述各目标的编码数据的流(与各个目标对应的一连串编码数据)与多路化时的编码数据的区域单位数据包进行特定的合成流LC的关系。具体地说，在该表AT中，表示与各流的流id、各流对应的逻辑信道的值LC，和与各流的上位流对应的逻辑信道的值LC的关系。再有，其中与第一分层L1的目标121-123对应的流(Sid＝1-3)的上位流对应的逻辑信道LC是与被流关联表分配的数据包Pa2的逻辑信道LC(SLC＝2)对应的信道。

因此，参照该表AT，能够指定与各流对应的逻辑信道LC和其流的主流(上位流)的逻辑信道LC。

如上所述，在根据图20所示的合成流场景描述SD中，由于在与各流目标对应的描述符141-145、147-149中附加流id(Sid)，所以根据合成流，能够由流id(Sid)识别各目标，由此，能够使所述合成流与图21所示的流关联表AT相关。

在这样多路位流MEg中与各目标对应编码数据的同时，由于包括合成流和流关联表，所以根据所述多路位流MEg，在通过解码处理再生与各目标对应的编码数据时，能够根据合成流和流关联表抽出、检索被指定的特定目标的编码数据，在再生侧能够进行构成一场景120的目标121-129的编辑等。

再有，在按照所述以往目标编码的多路位流的格式中，把场景的描述、各编码数据的多路状态和各流对应的逻辑信道LC作为各个信息(即合成流和流关联表)来表示，这是由于不能改变场景的结构、即构成场景目标的分层结构，为了使各目标对应的流的内容变得可交换，所述多路位流和与使用该多路位流的应用接口变得容易，按照所谓把用于依赖多路位流物理层的多路化结构与多路位流中包括的主信息(编码数据)进行分离理由的缘故。

但是，在所述以往的多路位流的数据结构中，存在以下各种问题。

也就是说，目标编码的最大特点是抽出所述多路位流中与特定目标对应的编码数据进行解码，或进行以存放所述多路位流的数据库为对象的特定目标检索处理。

但是，为了识别来自以往结构的多路流MEg中各个目标的编码数据，必须经过几个步骤。例如，在识别有分层结构的多个目标内的下位分层目标的编码数据中，首先，对根据所述多路位流MEg中包括的合成流场景描述SD的分析，找到与节点对应的目标，而且指定构成对应于该节点目标的下位目标的流。接着，分析所述流关联表，根据所述指定流的流id，找出与该流id对应的逻辑信道LC。由此，能够把作为目的的特定目标的编码数据从多路位流MEg中抽出。

此外，为了明白来自流关联表AT中与各目标对应的流的分层关系，仅根据该流关联表AT，就能够类推出作为目的的特定目标的编码数据，但存在编码数据的类推需要时间，而同时又不能可靠地进行的问题。

也就是说，在流关联表AT中，有关节点的目标信息变得不明确。此外，在该表AT中，由于不清楚与编码数据对应的流的种类(例如，是否与视频数据和声音数据的其中之一对应的流)，所以必须参照合成流等其它信息。而且，由于只要不清楚与某个流对应的其上位流，不清楚各目标的编码数据是否由一个意思的流构成，所以在分析上需要时间。

例如，在由图20所示的合成流构成的场景描述SD中，存在与目标126对应的节点(2)146，但由于不存在与该节点(2)146对应的流，所以在图21所示的流关联表AT中，不存在与节点(2)相当的入口(即流的Sid，与其流对应的LC，和与其上位流对应的LC)。

因此，在抽出与节点(2)对应的目标126的情况下，根据有合成流产生的场景描述SD(参照图20)，决定与节点(2)146的下位目标128、129对应的流id，接着，根据流关联表AT(参照图21)，必须进行把有该决定流id的流分清是否存放在可提供哪个逻辑信道的数据包中的步骤。

并且，按照传输媒体，象计算机网络(互连网络)等，存在未多路传送与各目标对应的编码数据的情况。再有，在未多路化这样的编码数据的情况下，位流是不存在逻辑信道LC的数据结构，并变成未包括流关联表的流。

但是，在这种情况下，从位流中特定目标的检测根据合成流产生的场景描述SD进行分析目标的分层结构，但如果目标数膨胀，那么在根据合成流进行目标分层结构的解释中必然需要较多的时间，所以存在对于某个场景的目标置换和编辑的操作性变坏的问题。

发明内容

鉴于上述问题，本发明的目的在于提供从对应多个目标的编码数据中，能够简单并高速地进行抽出、选择或检索与特定目标对应的编码数据的处理，由此获得能够在短时间内操作性良好地进行目标数据的编辑、置换等的目标数据处理装置。

本发明的目的在于提供能够简单并高速地进行抽出、选择或检索与其特定目标对应的编码数据的处理，获得记录对应于多个目标的编码数据的目标数据记录装置。

本发明的目的在于提供能够从对应多个目标的编码数据中，能够简单并高速地进行抽出、选择或检索与特定目标对应的编码数据的处理，获得存储数据结构的编码数据的数据存储媒体。

本发明的目的在于提供能够从对应多个目标的编码数据中，获得能够简单并高速地进行抽出、选择或检索与特定目标对应的编码数据的处理结构的用于传输的数据结构。

本发明(方案1)的数据处理装置是：用于处理位流，该位流包含对于表示由N个要素构成的内容的内容数据按各该要素进行压缩编码所得到的N个编码数据，及处理该编码数据所需的辅助数据，其中N为正整数，其特征在于，该数据处理装置包括：分层信息抽出装置，从所述位流中抽出表示包含在所述辅助数据中的所述内容的所述要素构成的分层结构的分层信息；和表生成装置，根据该分层信息，生成表示所述各要素和所述各编码数据的对应关系的表；根据所述表所示出的所述对应关系，将对应于特定要素的编码数据解码、选择或输出的数据处理单元。

本发明(方案2)的目标数据处理装置，对于相当于一场景的场景数据，对构成该一场景的N个(N为正整数)目标的每个目标实施压缩编码处理所得到的N个编码数据解码，设置：分层信息抽出装置，根据该编码数据，抽出表示构成所述一场景的目标分层关系的分层信息；和表生成装置，根据该分层信息，生成表示将所述各目标数据和对应于各目标数据的编码数据相关联的目标表。

本发明(方案3)是在方案2所述的目标数据处理装置中，构成所述分层信息抽出装置，根据所述编码数据，除了所述分层信息还抽出表示各目标优先顺序的优先级信息；构成所述表生成装置，根据所述分层信息和优先级信息，在表示将所述各目标和与各目标对应的编码数据相关联的同时，还生成表示各目标优先顺序的目标表。

本发明(方案4)是在方案2所述的目标数据处理装置中，设置：识别信息检测装置，参照所述目标表检测用于识别与指定的特定目标对应的编码数据的识别信息；和解码装置，根据所述识别信息，从所述N个编码数据中抽出与特定的目标对应的编码数据进行解码。

本发明(方案5)的目标数据处理装置，对于相当于一场景的场景数据，对包括构成该一场景的N个(N为正整数)目标的每个目标实施压缩编码处理所得到的N个编码数据的多路数据进行解码，设置：分层信息抽出装置，根据表示所述多路数据中包括的所述编码数据的相互关系的信息，抽出表示构成所述一场景目标分层关系的分层信息；和表生成装置，根据所述分层信息，生成表示所述各目标数据和对应于各目标数据的编码数据相关联的目标表。

本发明(方案6)是在方案5所述的目标数据处理装置中，构成所述分层信息抽出装置，根据所述多路数据，除了所述分层信息还抽出表示各目标优先顺序的优先级信息；构成所述表生成装置，根据所述分层信息和优先级信息，在表示所述各目标和与各目标对应的编码数据相关的同时，还生成表示各目标优先顺序的目标表。

本发明(方案7)是在方案5所述的目标数据处理装置中，设置：识别信息检测装置，参照所述目标表检测用于识别与指定的特定目标对应的编码数据的识别信息；和解码装置，根据所述识别信息，从所述多路数据中抽出与特定的目标对应的编码数据进行解码。

本发明(方案8)的目标数据处理装置，对于各目标数据，把形成分层结构的N个(N为正整数)以记录或传送为对象构成的单独数据的目标数据进行压缩编码，根据所得到的N个编码数据，选择与特定的目标数据对应的编码数据，该装置设置：分层信息抽出装置，根据该编码数据，抽出表示所述N个目标数据的分层关系；和表生成装置，根据该分层信息，生成表示所述各目标数据和对应于各目标数据的编码数据相关联的目标表；通过参照该目标表，从所述N个编码数据中选择与特定的目标数据对应的编码数据并输出。

本发明(方案9)的目标数据处理装置，对于相当于一场景的场景数据，根据对构成该一场景的N个(N为正整数)目标的每个目标实施压缩编码处理得到的N个编码数据，选择与特定的目标对应的编码数据，设置：分层信息抽出装置，根据该编码数据，抽出表示构成所述一场景目标分层关系的分层信息；和表生成装置，根据该分层信息，生成表示所述各目标数据和对应于各目标数据的编码数据相关联的目标表；通过参照该目标表，从所述N个编码数据中选择构成特定目标的编码数据并输出。

本发明(方案10)的目标数据处理装置，对于相当于一场景的场景数据，根据对构成该一场景的N个(N为正整数)目标的每个目标实施压缩编码处理得到的包括N个编码数据的多路数据，选择与特定的目标对应的编码数据，设置：分层信息抽出装置，根据表示所述多路数据中包括的所述编码数据相互关系的信息，抽出表示构成所述一场景的N个目标的分层关系的分层信息；和表生成装置，根据所述分层信息，生成表示所述各目标数据和对应于各目标数据的编码数据相关联的目标表；参照该目标表，从所述多路数据中选择特定目标的编码数据并输出。

本发明(方案11)的目标数据记录装置，对于各目标数据，把形成分层结构的N个(N为正整数)以记录或传送为对象构成的单独数据的目标数据压缩编码，将所得到的N个编码数据记录在所述数据存储部分，该装置包括：分层信息抽出装置，根据该编码数据，抽出表示所述N个目标数据分层关系的分层信息；和表生成装置，根据该分层信息，生成表示所述各目标数据和对应于各目标数据的编码数据相关联的目标表；构成所述N个编码数据和与其对应的目标表，使其记录在所述数据存储部分。

本发明(方案12)的目标数据记录装置，具有存储数据的数据存储部分，对于相当于一场景的场景数据，把构成该一场景图象的N个目标(N为正整数)的每个目标实施压缩编码处理得到的N个编码数据记录在所述数据存储部分，设置：分层信息抽出装置，根据该编码数据，抽出表示构成所述一场景的目标分层关系的分层信息；和表生成装置，根据该分层信息，生成表示所述各目标数据和对应于各目标数据的编码数据相关联的目标表；构成所述N个编码数据和与其对应的目标表，使其记录在所述数据存储部分。

本发明(方案13)是在方案12所述的目标数据记录装置中，所述N个编码数据对应的目标表附加记录在该N个编码数据中。

本发明(方案14)是在方案12所述的目标数据记录装置中，构成为从所述N个编码数据对应的目标表中分离该N个编码数据并记录之。

本发明(方案15)的目标数据记录装置，具有存储数据的数据存储部分，对于相当一场景的场景数据，把构成该一场景的N个目标(N为正整数)的每个目标实施图象压缩编码处理得到的N个编码数据的多路数据记录在所述数据存储部分，设置：分层信息抽出装置，根据表示所述多路数据中包括的所述编码数据的相互关系信息，抽出表示构成所述一场景的目标分层关系的分层信息；和表生成装置，根据所述分层信息，生成表示所述各目标数据和对应于各目标数据的编码数据相关联的目标表；所述多路数据和与其对应的目标表记录在所述数据存储部分。

本发明(方案16)是在方案15所述的目标数据记录装置中，与所述多路数据对应的目标表附加记录在该多路数据中。

本发明(方案17)是在方案15所述的目标数据记录装置中，与所述多路数据对应的目标表与所述多路数据分离记录。

本发明(方案18)的数据存储媒体，存放与作为记录或传送对象的单独数据相关的相关数据，其特征在于，包括：表示对于各目标数据，把生成分层结构的N个(N为正整数)目标数据压缩编码得到的N个编码数据，和与所述各目标数据相关联的目标表。

本发明(方案19)的数据存储媒体，存放与一场景对应的相关数据，该媒体中包括：表示对于与一场景相当的场景数据，把构成该一场景的N个(N为正整数)目标的每个目标实施压缩编码处理得到的一个以上的编码数据，和与各目标相关联的目标表。

本发明(方案20)的目标数据处理装置，对于各目标数据，把形成分层结构的N个(N为正整数)以记录或传送为对象构成的单独数据目标数据压缩编码，输出所得到的N个编码数据，该装置包括：分层信息抽出装置，根据该编码数据，抽出表示所述N个目标数据分层关系的分层信息；和表生成装置，根据该分层信息，生成表示所述目标数据和与各目标数据对应的编码数据的相关联的目标表；构成所述N个编码数据上附加与其对应的目标表并输出。

本发明(方案21)的目标数据处理装置，对于相当一场景的场景数据，输出经过对构成该一场景的N个(N为正整数)的目标进行压缩编码处理得到N个编码数据，包括：分层信息抽出装置，根据该编码数据，抽出表示构成所述一场景的目标分层关系的分层信息；和表生成装置，根据该分层信息，生成表示所述目标数据和与各目标数据对应的编码数据的相关关系目标表；构成所述N个编码数据上附加与其对应的目标表并输出。

本发明(方案22)是在方案21所述的目标数据处理装置中，解码从该装置中输出的输出数据，设置：数据分离装置，从所述输出数据中分离所述目标表；和表存储装置，存储该分离的目标表；使用在该表存储装置中存储的目标表上表示的信息，控制与所述各目标对应的编码数据的解码动作。

本发明(方案23)的目标数据处理装置，对于相当一场景的场景数据，输出包括经过对构成该一场景的N个(N为正整数)目标进行压缩编码处理得到的N个编码数据的多路数据的送出装置，具有：分层信息抽出装置，根据表示在所述多路化数据中包括的所述编码数据相互关系的信息，抽出表示构成所述一场景的目标分层关系的分层信息；和表生成装置，根据所述分层信息，生成表示所述目标数据和与各目标数据对应的编码数据的相关目标表；所述多路数据上附加与其对应的目标表并输出。

本发明(方案24)是在方案23所述的目标数据处理装置中，解码从该装置中输出的输出数据，设置：数据分离装置，从所述输出数据中分离所述目标表；和表存储装置，存储该分离的目标表；使用在该表存储装置中存储的目标表中表示的信息，控制与所述各目标对应的编码数据的解码动作。

本发明(方案25)的传输数据结构是，对于各目标数据，把形成分层结构的N个(N为正整数)以记录或传送为对象构成的单独数据的目标数据压缩编码，对所得到的N个编码数据进行传输，包括所述N个编码数据构成的数据群包括表示所述各目标数据和与各目标数据对应的编码数据的相关关系的目标表的结构。

本发明(方案26)的传输数据结构，对于与一场景相当的场景数据，把构成该一场景的N个目标数据经过对各目标数据压缩编码得到的N个编码数据进行传输，其特征在于，由所述N个(N为正整数)编码数据构成的数据群包括在表示所述各目标和与各目标对应的编码数据的相关联的目标表。

本发明(方案27)的目标数据处理装置，对于各目标数据，把形成分层结构的N个(N为正整数)以记录或传送对象构成的单独数据的目标数据压缩编码，从而得到N个编码数据，对于包括该编码数据的按每个预定的编码量划分成多个数据包的多路数据，进行预定处理，其包括：分层信息抽出装置，根据在所述多路数据中包括的表示所述各编码数据相互关系的信息，抽出表示所述N个目标数据分层关系的分层信息；和表生成装置，根据该分层信息，生成表示构成所述多路数据的多个数据包分层关系的目标表。

本发明(方案28)的目标数据处理装置，对于包括对于相当于一场景的场景数据，对每个构成一场景的N个(N为正整数)目标进行压缩编码处理得到的N个编码数据，按每个预定的码量划分成多个数据包的多路数据，进行预定处理，其设置：分层信息抽出装置，根据在所述多路数据中包括的表示所述各编码数据相互关系的信息，抽出表示构成所述一场景目标分层关系的分层信息；和表生成装置，根据所述分层信息，生成表示构成所述多路数据的多个数据包分层关系的目标表。

本发明(方案29)的目标数据记录装置，具有存储数据的数据存储部分，把构成分层结构的N个(N为正整数)作为记录或传送对象的单独数据的目标数据经过对各目标数据压缩编码得到的N个编码数据，在所述数据存储部分记录按每个预定的码量划分成多个数据包的多路数据，设置：分层信息抽出装置，根据在所述多路数据中包括的表示所述各编码数据相互关系的信息，抽出表示所述N个目标数据分层关系的分层信息；和表生成装置，根据该分层信息，生成表示构成所述多路数据的多个数据包分层关系的目标表；在所述数据存储部分记录与所述多路数据对应的目标表。

本发明(方案30)的目标数据记录装置，具有存储数据的数据存储部分，对于包括对于相当于一场景的场景数据，对每个构成一场景的N个(N为正整数)目标进行压缩编码处理得到的N个编码数据，按每个预定的码量划分成多个数据包的多路数据记录在所述数据存储部分，设置：分层信息抽出装置，根据在所述多路数据中包括的表示所述各编码数据相互关系的信息，抽出表示构成所述一场景目标分层关系的分层信息；和表生成装置，根据所述分层信息，生成表示构成所述多路数据的多个数据包分层关系的目标表；在所述数据存储部分记录与所述多路数据对应的目标表。

附图说明

图1是表示说明作为本发明实施例1的目标数据处理装置的目标数据解码装置的方框图。

图2是表示在上述实施例1的目标数据解码装置中生成的目标表的图。

图3是表示在上述实施例1的目标数据解码装置中由CPU处理的流的图。

图4是表示在上述实施例1的目标数据解码装置中生成的其他目标表的图，表示与上位分层的目标对应的表和与下位分层的目标对应的表。

图5是表示说明作为本发明实施例2的目标数据处理装置的目标数据选择装置的方框图。

图6是表示在上述实施例2的目标数据选择装置中由CPU处理的流的图。

图7是表示说明本发明实施例3的目标数据记录装置的方框图。

图8是表示在上述实施例3的目标数据记录装置中由CPU处理的流的图。

图9是表示说明作为本发明实施例4的目标数据处理装置的目标数据传输装置的方框图。

图10是表示在上述实施例4的目标数据记录装置中由CPU处理的流的图。

图11是表示说明作为本发明实施例5的目标数据处理装置的与MPEG4对应的目标数据解码装置的图，表示根据MPEG4的数据传输系统的概况。

图12是表示说明作为本发明实施例5的目标数据处理装置的目标数据解码装置的方框图。

图13是表示说明与上述数据传输系统对应的目标编码方法的模式图。

图14是表示在上述数据传输系统中使用的场景描述的图(图(a))和目标描述符的图(图(b))。

图15是表示从图14所示的场景描述和目标描述符中得到的目标表的图。

图16是表示在上述实施例5的目标数据解码装置中由CPU处理的流的图。

图17是表示说明本发明的数据存储媒体的图，表示软盘结构的图(图(a))，软盘本体结构的图(图(b))，使用以该软盘作为存储媒体的计算机系统的图(图(c))。

图18是表示说明以往目标编码方法的模式图。

图19是表示用以往的目标编码方法把编码的数据同时多路化成辅助数据的以往的位流数据结构的图。

图20是表示由在以往的位流中作为辅助数据包括的合成流导出的场景描述的图。

图21是表示说明在以往的位流中作为辅助数据包括的流关联表的图。

具体实施方式

下面，说明本发明的实施例。

实施例1

图1表示作为本发明实施例1的目标数据处理装置的目标数据解码装置。

本实施例1的目标数据解码装置101具有接收与一幅图象(场景)对应的编码数据，进行该编码数据的解码处理，把由该解码处理得到的再生数据输出到该显示装置14的结构。其中，上述编码数据是图19所示的多路位流MEg，即把与一场景对应的场景数据按构成该一场景的各目标进行编码得到的编码数据同时多路为辅助数据。上述一场景与构成动态图象的各帧图象相当，所述目标数据解码装置101对依次输入的各帧编码数据顺序进行解码处理，以依次输出与各帧对应的再生数据。

以下详述，所述目标数据解码装置101具有：反向多路装置11，选择抽取在所述多路位流MEg中包括的作为辅助数据Dsub的合成流和流关联表，同时根据第一控制信号Cont1，在各目标中集中输出所述多路位流MEg中与各目标对应的编码数据Eg；和音频视频解码装置12(AV解码器装置)，根据第二控制信号Cont2解码与所述各目标对应的编码数据Eg，输出与各场景对应的再生数据Rg。此外，所述目标数据解码装置101具有运算处理装置13(CPU)，根据所述流关联表，判定存放各目标的编码数据Eg的数据包的逻辑信道，根据该判定结果把所述第一控制信号Cont1提供给所述反向多路装置11，同时根据由合成流导出的场景描述，把在一场景中各目标配置中的有关信息和各目标显示开始时间中的有关信息作为第二控制信号Cont2提供给所述AV解码器12。

而且，在本实施例1中，该CPU13，根据所述合成流和流关联表，生成表示构成所述一场景的各目标和在所述多路位流MEg中与各目标的编码数据Eg对应关系的目标表，并把它存放在CPU13内部的数据存储部分。

图2是表示说明图18所示的一场景120对应的目标表T1的图。

在该目标表T1中，对于目标id，登记相关的各种信息。其中，该目标id是用于识别构成所述一场景的各目标的索引，各目标有作为所述目标id的固有值Oid。

具体地说，目标id对于图20所示的场景描述中各目标描述符，在附加单意的所述目标表T1中按目标id值Oid的顺序进行登记。

其中，分别向图20所示的目标121-125的描述符141-145提供目标id(Oid＝1-5)，与图20所示的目标128、129的描述符148、149对应提供目标id(Oid＝61，62)，并且，向图19所示的目标127的描述符147提供目标id(Oid＝8)。

而且，在上述目标表T1中，对应附加的各目标id，登记与各目标对应的逻辑信道LC、流的种类(也就是说，流是对应于图象还是对应于声音)、和与各目标对应的流id。此外，在上述目标表T1中，对应附加的各目标id，表示了其上位和下位目标的id、其上位和下位目标的逻辑信道LC、共用逻辑信道的共用目标的id，并且表示了各目标的优先顺序。再有，OLC是逻辑信道LC的具体值。

其中，各目标的上位目标属于由各目标所属分层导出的上位分层中的目标，各目标的下位目标属于由各目标所属分层导出的下位分层中的目标。

具体地说，最上位目标，即属于图18第一分层L1中目标的上位目标如果是其自身，那么就把其上位目标id的值Oid和其上位目标的逻辑信道LC的值OLC作为自身的目标id的值Oid和逻辑信道LC的值OLC。此外，属于图18第二分层L2和第三分层L3的各目标的上位目标作为构成这些分层的目标的属于第一分层L1的目标。此外，对于没有下位目标的目标(最下位目标)，把其下位目标id的值Oid设为0。再有，其中，通过把其上位目标的id作为预定目标的id来表示预定的目标为最上位目标，通过把其下位目标的id作为Oid-0来表示预定的目标为最下位目标，但表示最上位或最下位目标的显示却不受此限制，比如说，也可以用特别的数字来表示预定的目标为最上位目标或最下位目标。

如果参照这样构成的目标表T1，由于目标id为Oid＝2的目标其下位目标的id描述栏中描述了作为Oid的4、5、6、8，所以可以明白作为目标id具有Oid＝2的目标由四个目标构成。

此外，在图2中，对于构成与不存在流的节点对应的目标126(图20的场景中节点(2)146)的目标128、129，作为目标id，在其值Oid的上位侧的位中，提供表示作为几个目标中共用的节点的数字，在其值Oid的上位侧的位中附加作为实际目标id的值。

因此，根据上述目标表T1，可以明白，作为目标id具有其值Oid＝6的目标126只是节点，与此对应的编码数据在实际中并不存在，该目标126的流是由作为目标id有Oid＝61、62的目标128、129的流(即Sid＝6、7的流)组成。

此外，作为目标id有Oid＝2的目标122也有与作为目标id有Oid＝6的目标126相同节点相当的流，但由于在目标表T1上明确地描述了该目标122，所以可以明白存在与该目标122相当的流(即Sid＝2的流)。

再有，在对应节点的流中含有的信息是属于该节点的所有目标共用的信息，例如，可列举出共用的系统时钟、显示开始定时、解码开始时间、显示位置等其目标固有的合成信息和著作权信息等。

下面，说明动作。

在本实施例1的目标数据解码装置101中，如果输入图19所示的多路位流MEg，那么由反向多路装置11从所述多路位流中抽出作为辅助数据Dsub的合成流和流关联表，提供给CPU13。

这样，在所述CPU13中，根据所述流关联表，识别构成图19的一场景120的各目标和与其逻辑信道LC的对应关系，按照该识别结果，把第一控制信号Cont1输出给反向多路装置11。

在该反向多路装置11中，根据上述第一控制信号Cont1，按多路位流分散成多个数据包。与各目标对应的流集中各目标，输出给AV解码装置12。

此外，此时的CPU13中，根据来自合成流的场景描述，抽出与各目标的显示位置和显示开始时间有关的信息，把这些信息作为第二控制信号Cont2输出给AV解码装置12。

在该AV解码装置12中，对于从上述反向多路装置11输出的各目标对应的流(一连串的编码数据Eg)进行解码处理，根据来自CPU13的第二控制信号Cont2(即有关目标显示的信息)，合成与各目标对应的解码数据，输出与多个目标构成的一场景120对应的再生数据Rg。

再有，这种解码动作与以往的目标数据解码装置的动作相同。

而且，在本实施例1中，除了上述解码动作中，在CPU13中，进行生成图2所示的目标表T1的处理。

下面，说明该目标表的生成处理。图3表示由CPU13进行目标表生成处理的算法的流程图。

首先，在步骤S1中，把合成流读入在CPU13的数据存储部分中，在步骤S2中，把流关联表读入在CPU13的数据存储部分中，并且在步骤S3中，把合成流中各目标的描述符装入在CPU13的演算处理部分，在各描述符中附加作为目标id的值Oid。由此，使利用其目标id特定目标成为可能。

接着，在步骤S4中，判定进行上述描述符装入的目标是否与节点相对应并是否没有流存在，其结果，在与节点相对应并没有流存在的情况下，按步骤S11，进行使作为描述符装入对象的目标的分层下降一层的处理，接着，按步骤S3，把构成与该节点相对应目标的下位目标的描述符装入CPU13。

此外，上述步骤S4的判定结果，在进行描述符装入的目标与节点相对应并非没有流的情况下，按步骤S6，作为目标表要素的目标id登记所述值Oid。

然后，按步骤S7，进行流关联表的分析，根据该分析结果，在目标表中，登记与各目标对应的各种表要素。作为这些表要素的主要部分，可列举出与各目标对应的逻辑信道LC、各目标的优先顺序和与各目标对应的流id及流种类(视频或音频)。再有，其中，作为所述表要素，还可登记与各目标对应的上位和下位目标的id，以及共用逻辑信道的共用目标的id。

在步骤S8中，判定作为处理对象的被处理目标和对于属于同一节点的其他目标的表要素的登记是否完成，如果已经完成，CPU13的处理返回到步骤S3，进行上述步骤S4-步骤S8的处理。另一方面，按上述步骤S8的判定结果，在对于属于当前处理中的被处理目标的所有节点的目标，表要素的登记完成的情况下，按步骤S9，进行上述被处理目标是否为最上位分层的目标判定。

该判定结果如果是被处理目标为最上位分层的目标，按步骤S12，进行把目标分层提高一层的处理，再次按步骤S9进行上述判定处理。另一方面，如果步骤S9的判定结果是作为CPU13处理对象的被处理目标为最上位分层的目标，按步骤S10，对于构成一场景的所有目标进行是否完成表要素登记的判定。

如果该判定结果是对于所有目标未进行表要素登记的情况，那么CPU13的处理就返回步骤S3，进行上述步骤S4-S9、S11、S12的处理。另一方面，在步骤S10的判定结果为对于所有目标登记了表要素的情况下，结束由CPU13进行的目标表的生成处理。

而且，在本实施例1的目标数据解码装置101中，如上生成的目标表存放在CPU13的数据存储部分。在合成流和流关联表更新时，为了与这些最新的信息对应，更新该存放的目标表。因此，限制变更构成一场景的目标，不会进行目标表的更新。

再有，在上述多路位流中，在有表示传输新的合成流和流关联表标志的情况下，也可以只在该标志为新传输的情况下更新所述目标表。

在这样构成的本实施例1的目标数据解码装置101中，按用户要求在仅对特定的目标进行解码处理的情况下，根据在CPU13的数据存储部分存放的目标表，特定与所述特定的目标对应的逻辑信道LC，从而把仅具有该逻辑信道LC的数据包从多路化流中抽出进行解码。

例如，在仅对于与节点相当的目标122(Oid＝2)进行解码处理的情况下，在以往的数据结构的多路位流中，由CPU分析合成流和流关联表，必须指定与指定的目标对应的逻辑信道LC，但在本实施例1中，在多路位流MEg中，由于存在图2所示的目标表，所以能够瞬时地特定与指定的目标对应的逻辑信道LC(即OLC＝6-9)，使高速检索动作变为可能。

此外，在解码装置的处理能力较低、不可能对于所有目标进行解码处理的情况下，可考虑只解码优先顺序高的目标，但在本实施例1中，由于在目标表中描述了各目标的优先顺序，所以能够容易地特定优先顺序高的目标的逻辑信道LC。

此外，在上述目标表中，由于还表示了共用逻辑信道LC的目标id，所以还有以下的效果。

也就是说，在本实施例的位流中，有作为目标值Oid＝4、5的目标124、125(参照图18)利用相同的逻辑信道LC(OLC＝6)的编码数据。因此，这些目标虽然目标id和流id的值不同，但作为对应的逻辑信道LC则具有同样的值(LC＝6)。

但是，在从多路位流中删除特定目标的编码数据时，根据与上述特定目标有关的目标的目标id，判定与该相关目标对应的逻辑信道LC，从多路位流中抽出上述特定目标的编码数据，但在上述特定目标在相关目标之间共用其逻辑信道的情况下，如果删除特定目标的编码数据，那么就没有与相关目标对应的编码数据，对于相关目标不能进行解码处理。

因此，通过把共用逻辑信道的目标id记载在目标表T1中，能够用它来判定能否删除其目标的编码数据，能够消除上述的不适情况。

这样，在本实施例1中，根据包括与多个目标对应的编码数据Eg，预先生成表示各目标和与其编码数据对应关系的目标数据表，利用生成的目标数据表，由于可进行特定目标的抽出、选择、检索，与把在多路位流中包括目标信息进行其适当解释的情况相比，使目标检索等必要的演算处理量变少，使特定的目标检索等的高速处理成为可能。

并且，在目标数据表T1中，由于明确地描述了构成一场景的分层结构的多个目标的关系，所以即使在一个目标中包括多个目标的情况下，也能够容易地进行置换、编辑等目标操作。

再有，在上述实施例1中，由这些目标的id可表示共用逻辑信道的目标，但在十分清楚是否共用逻辑信道的情况下，没有目标id，通过使用所谓的1、0标志，能够简化目标表的结构。

此外，目标表并不限于图2所示的结构，也可采用其他结构，下面，作为本实施例1的变形例，说明生成与图2所示的目标表有不同结构的目标表的目标数据解码装置。

图4是表示说明由该变形例的目标数据解码装置生成的目标表的图，表示与上位分层的目标对应的表，和与下位分层的目标对应的表。

图4所示的目标表T2与图2所示的目标表T1的不同点在于，在图4的目标表T2中，没有描述目标的逻辑信道LC，此外，按照目标的分层，把目标表T2分离成上位分层的表T2a和下位分层的表T2b。

生成这样构成的目标表的处理，只是在未进行作为表要素的逻辑信道LC的登记处理这点上与图3所示的处理流程不同，能够按保持与图3的处理流程类似的处理流程生成。

但是，如上所述，位流并不一定限于把与各目标对应的编码数据进行多路的位流。在把编码数据未进行多路的位流中，不包括流关联表，从该位流中不能获得逻辑信道LC。

在这样的位流中，多路位流中逻辑信道与流相对应，在替换逻辑信道LC中，根据流id特定各目标的编码数据。

因此，在图4所示的目标表T2a、T2b中，与图2所示的目标表T1一样，登记用于识别各目标的目标id，明确目标与流的关系。

并且，在图4所示的目标表T2a、T2b中，由于明确了目标的分层，导入作为表示流类别栏中描述的分层信息符号的H，所以对于该类别栏的描述为H的目标，可定义在与其类别的目标中包括的下位分层目标对应的其他分层的目标表T2b。

这样，通过使目标表有分层的结构，即使构成一场景的目标分层增大，构成目标表的各分层的目标表尺寸也不会变大。因此，在仅对于上位分层的目标进行所谓的编辑和置换时，就可以仅检索尺寸被抑制得较小的上位分层的目标表，具有目标检测容易进行的效果。

再有，在上述实施例1及其变形例中，作为目标表，举例说明了从图3所示的多路位流中获得的表和从图4所示的非多路位流中获得的表，但目标表并不限于这些。

作为其他结构的目标表，为了使目标表紧凑，例如，根据图2所示的目标表的表要素，也可以除去上位目标的id、上位目标的LC、优先顺序、流类别、共用目标的id等要素。

此外，相反地，目标表的尺寸虽较大，但为了更简便地进行目标的编辑和置换操作，可以把合成流自身的LC和流关联表自身的LC记载在目标表中，同时还可把与视频和音频目标对应的流的标题信息等附加在表中。

这样，用本发明的目标数据解码装置生成的目标表，如果能使目标和其目标流id或逻辑信道LC相关联，那么任何结构表都行。

并且，在目标编码方式中，由于使解码装置有简单的结构，在位流中不包括合成流，所以有仅按位流中的流关联表显示多路关系的情况。

在这样的情况下，目标与流的对应关系不必是单纯明确的，但也可以根据流关联表构成除去作为图2所示的目标表T1中表要素的目标id、流id、流类别、优先顺序、共用目标的id等的目标表，这种情况下，与各目标的编码数据对应的逻辑信道的分层关系写明在目标表中。此外，不用说，根据流关联表也可以构成除去作为图4所示的目标表T2中表要素的目标id、流id、流类别、优先顺序、共用目标的id等的目标表。

实施例2

图5是表示说明作为本发明实施例2的目标数据处理装置的目标数据选择装置的方框图。

该目标数据选择装置102，根据与用户指示对应的指示信号Iu，从多路位流MEg中抽取特定目标的编码数据Sg。其中，所述多路位流与图19所示的多路位流Meg一样，对于各目标，多路各编码数据。

也就是说，该目标数据选择装置102具有：多路流解释装置61，检测作为在所述多路位流MEg中包括的辅助数据Dsub的合成流和流关联表；目标选择装置62，根据控制信号cont，从所述位流MEg中选择抽取与特定目标对应的编码数据；和缓冲器64，设置在该多路流解释装置61和目标选择装置62之间，经过预定的间隔，保持输出所述多路位流。

此外，所述选择装置102，根据所述合成流和流关联表，生成图2所示的目标表T1，同时根据由用户操作产生的目标指定信号Iu，具有把用于选择指定目标的编码数据的信号作为所述控制信号向所述目标选择装置62输出的CPU63。其中，由于通过从所述多路位流中抽取与特定目标对应的编码数据，使合成流和流关联表的描述内容变化，所以为了与抽取的目标对应，所述CPU63具有重写与合成流和流关联表相关的辅助数据，向所述目标选择装置62输出的结构；此外，该目标选择装置62具有把由CPU63重写的合成流和流关联表附加在所述抽取目标的编码数据并输出的结构。

下面，说明动作。

有表示本实施例2的目标数据选择装置102动作的流程图。

首先，在步骤S1中，根据在本目标数据选择装置102中输入的多路位流MEg，生成目标表T1。

也就是说，把所述多路位流在多路位流解释装置61中进行解释，检测在多路位流MEg中包括的辅助数据Dsub的合成流和流关联表，提供给CPU63。这样，在CPU63中，根据所述辅助数据Dsub，生成目标表，存储在其数据存储部分。按与实施例1完全相同地进行该目标表的生成处理。

接着，如果输入由用户指定特定目标的指定信号Iu(步骤S72)，CPU63根据目标指定信号Iu检索目标表，特定指定目标的逻辑信道LC，把该逻辑信道LC作为控制信号Cont输出给目标选择装置62(步骤S73)。

随后，为了与指定目标的编码数据对应，所述CPU63进行合成流的重写(步骤S74)和流关联表的重写(步骤S75)。

这样的合成流和流关联表的重写，是由于在输入的多路位流和与抽取的目标对应的多路位流之间，在多路位流中包括的目标的相互关系发生变化的缘故。此外，在进行所述重写期间，在缓冲器64中保持从多路流解释装置61中输出的多路位流。

而且，通过所述缓冲器64，如果向目标选择装置62输入与在多路位流中包括的各目标对应的编码数据(步骤S76)，那么在目标选择装置62中，根据CPU63的与目标指定信号对应的控制信号Cont，判定输入的编码数据是否与指定目标的逻辑信道LC对应(步骤S77)。

该判定结果，在输入的编码数据未与指定目标对应的情况下，按上述步骤S76，进行向后面的编码数据的目标选择装置的输入。另一方面，在输入的编码数据与指定目标对应的情况下，输出作为与指定目标对应的其编码数据(步骤S78)。此时，在目标选择装置62中，把该重写的合成流和流关联表附加在选择目标的编码数据中。

然后，在目标选择装置62中，判定输出的编码数据是否是在与指定目标对应的编码数据内的最后数据。该判定结果，如果输出的编码数据不是指定目标的最后编码数据，那么再次进行所述步骤S76-步骤S79的处理。另一方面，按上述步骤S79的判定结果，如果输出的编码数据是指定目标的最后编码数据，那么按步骤S80，判定指定的所有目标的编码数据的输出是否完成，如果未全部完成，那么再次进行所述步骤S76-步骤S80的处理；另一方面，如果外部完成，就结束选择目标的编码数据的处理。

再有，目标选择装置62，在输出上述那样指定目标的编码数据时，从目标数据选择装置输出的多路位流的传输率，由于比在该选择装置中输入的多路位流的传输率低，所以需要有进行传输率变换处理的结构。此外，由在选择装置后段设置的独立装置进行该传输率变换处理较好。

这样，在本实施例2中，根据多路化与多个目标对应的编码数据Eg的位流，可预先生成表示各目标和与其编码数据对应关系的目标数据表，由于使用生成的目标表，从位流中抽取与指定目标对应的编码数据，所以在多路位流的传输路径的途中等，可以高速地边抽出边删除预定目标的编码数据。

再有，在所述实施例2中，抽出传输特定的目标，但并不限于此，相反地，可仅抽出特定的目标并删除之，传送剩余的流也行。

实施例3

图7是表示说明本发明实施例3的目标数据记录装置的方框图。

本实施例3的目标数据记录装置103具有：存储数据的数据存储装置84；和目标数据选择部分8；选出存储在该存储器84中的数据；把所述多路位流MEg存储在该数据存储装置84中，同时还有根据用户的指示等，从在该数据存储装置84中边检索边输出指定目标的编码数据的结构。

所述目标数据选择部分8具有：多路流解释装置81，检测作为在上述图19所示的多路位流MEg中包括的辅助数据Dusb的合成流和流关联表；目标选择装置82，根据控制信号Cont，从所述位流MEg中选择抽取与特定目标对应的编码数据。此外，所述目标数据选择部分8具有CPU83，根据所述合成流和流关联表，生成图2所示的目标表T1，记录在数据存储装置84的预定区域，例如表示存储装置内容的管理信息的记录区域，或汇总管理目标表的区域，或与多路位流MEg在同一存储区域中的其开始位置等。

此外，该CPU83，根据由用户操作产生的目标指定信号，有把用于选择指定目标的编码数据的选择信号作为所述控制信号Cont输出给所述目标选择装置82的结构。此外，该CPU83，为了与选择的目标对应，有重写与合成流和流关联表相关的辅助数据，附加在该选择目标的编码数据中并输出的结构。

下面，说明动作。

图8是表示生成目标表的处理的流程的图。

在本目标数据记录装置103中如果输入多路位流MEg，存放在其数据存储装置84中(步骤S91)，那么在目标数据选择部分8中，由CPU83控制进行与该多路位流对应的目标表的生成。

也就是说，所述多路位流输入给多路流解释装置83(步骤S92)，依据该解释装置83的解释，检测作为在多路位流MEg中包括的辅助数据Dsub的合成流和流关联表，供给CPU83。这样，CPU83根据上述辅助数据Dsub，生成目标表(参照图2)(步骤S93)。而且，把由CPU83生成的目标表存放在数据存储装置84(步骤S94)。然后，判定是否输入了结束目标表的选择处理指令，如果没有其结束指令，返回上述步骤S91-95的处理；如果有结束指令，结束上述选择处理。

此时，在存储装置84的预定区域，比如记录表示存储装置内容的管理信息区域，或汇总管理目标表的区域，或与该多路位流相同的存储区域中的其开始位置上存放目标表。

此时，在本存储装置103中，如果输入指定特定目标的指定信号，那么CPU83进行在数据存储装置84上存放的目标表的检索，特定与指定目标对应的逻辑信道LC，把该特定的逻辑信道LC输出给目标选择装置82。

在目标选择装置82中，根据来自上述CPU83的逻辑信道LC，从所述多路位流中选择与该特定逻辑信道对应的编码数据，输出该选择的编码数据Se。此外，此时，根据目标的选择，在变更合成流和流关联表的情况下，CPU83进行其表等的重写，把重写的表等输出给上述目标选择装置82，其中附加输出选择的目标。

这样，在本实施例3中，在存储包括构成一幅图象的各目标的编码数据的多路位流的存储装置中，根据该多路位流，生成表示有关上述各目标和其编码数据关系的目标表，由于能够记录与所述编码数据对应的目标表，所以存储的多路位流可由目标表进行统一管理，使通过从记录的多路位流中高速地进行检索期望的目标并输出的处理成为可能。

再有，在上述目标数据记录装置中，由于能够把数据存储装置84作为缓冲器使用，所以在多路流解释装置81和目标选择装置82之间未设置缓冲器，不用说，在这些装置之间也可以设置图5所示的缓冲器。

实施例4

图9是表示说明作为本发明实施例4的目标数据处理装置的目标数据传输装置的方框图，表示包括该目标数据传送装置104的目标数据多路化装置104a。

上述目标数据多路化装置104a包括：编码装置87，通过编码构成一场景的各目标数据，生成与各目标对应的编码数据，将作为辅助数据Dsub的合成流和流关联表和这些编码数据多路输出；和目标数据输出装置104，在从该编码装置87输出的多路位流MEg上附加表示其中上述各目标和与其对应的编码数据对应关系的目标表进行传输。

其中，所述目标数据输出装置104具有：多路流解释装置81，根据控制信号Cont1检测作为在所述多路位流MEg中包括的辅助数据Dsub的合成流和流关联表；和缓冲器85，暂时保存通过该多路流解释装置81输出的多路位流。此外，该传送装置104具有：CPU83，根据所述合成流和流关联表，生成图2所示的目标表T1；和多路化装置86，把从缓冲器85输出的由控制信号Cont2产生的该目标表附加在多路位流中。

下面，说明动作。

图10是表示由上述目标数据输出装置处理的流的流程图。

在本目标数据传送装置104中，如果输入由编码装置87压缩多路化生成的多路位流(步骤S111)，那么在CPU83中，判定是否是构成作为场景开始时间的一场景的目标变更(步骤S112)，在不是的情况下，由控制信号Cont1控制所述多路化装置86，使输入的多路位流原样输出。

另一方面，如果是构成作为场景开始时间的一场景的目标变更时，那么由控制信号Cont1控制所述多路化装置86，把所述多路位流MEg输入给多路流解释装置81中进行处理(步骤S113)。而且，CPU83从所述多路位流中检测合成流(步骤S114)，接着，从多路位流中抽出流关联表(步骤S115)，并且根据这些合成流和流关联表生成目标表(步骤S116)。

然后，CPU83在场景开始时或目标变更时，把生成的目标表附加在从缓冲器85输出的多路位流的开始处(步骤S117)，输出附加所述目标表的多路位流(步骤S118)。

而且，对于来自编码装置87的多路位流，判定是否是结束输出处理的指令(步骤S119)，如果是结束指令，就结束输出处理；如果不是结束指令，再次进行从所述步骤S111至步骤S119的处理。

这样，在本实施例4中，在通过多路编码构成一场景的各目标的编码数据得到的多路位流中，由于可附加输出表示所述目标和其编码数据对应关系的目标表，所以在把附加该目标表的多路位流MEg作为输入的目标数据解码装置中，不必重新生成目标表，能够以更简单的结构实现可获得与上述实施例1相同效果的目标数据解码装置。

再有，作为输入这样的多路位流MEg同时输入目标表的目标数据解码装置，通过分离目标表和在多路位流MEg中的各目标的编码数据，可以将其存储在各自的存储区域，也可以把目标表和各目标的编码数据存储在同一存储区域。

此外，在上述实施例4中，作为输出装置，揭示了在多路位流前附加输出目标表的装置，但输出装置的结构并不限于此。例如，根据应用，也可以在多路位流的中途插入目标表，这种情况下，能够使缓冲器85的容量变小。

并且，在上述实施例4中，编码装置有生成只是与各目标对应的编码数据的结构，发送装置具有接收由编码装置生成的多路位流，附加输出其中的目标表的结构，但编码装置和发送装置的结构并不限于此。例如，在多路编码装置中的编码装置也可以具有这样的结构，即在合成流和流关联表生成时还同时生成目标表，把该目标表附加在个别合成流和流关联表中的多路位流中输出，或把该目标表作为合成流的一部分输出，这种情况下，可不要输出装置中的多路流解释装置81，此外，作为输出装置中的多路化装置，能够利用与以往多路化装置相同的结构。

此外，在上述实施例2-4中，虽表示了输入的编码数据为多路位流的情况，但各实施例并不限于此。

例如，输入的位流，如实施例1的变形例所示，也可以是按各目标分为编码数据的位流。这种情况下，通过构成图4所示的目标表，能够获得同样的效果。

具体地说，即使在实施例4的发送装置具有接收这种非多路位流、生成图4所示的目标表结构的情况下，作为接受从该发送装置输出的、附加目标表的多路位流MEg的目标数据解码装置，也能分离目标表和在多路位流MEg中的各目标的编码数据，将其存储在各自的存储区域，不用说，也可以把目标表和各目标的编码数据存储在同一存储区域。

并且，在上述各实施例中，作为多路位流，虽表示了包括与图象数据和音频数据对应的编码数据的多路位流，但多路位流并不限于此，多路位流也可以是包括构成作为记录或传送对象的个别信息的多个目标的编码数据流。例如，所述多路位流，作为目标的编码数据，也可以是包括图形数据、音频数据、或仅包括计算机数据的编码数据的流，或是包括其他数据的编码数据的流。

此外还有，在上述各实施例1-4中，虽说明了根据位流MEg中作为辅助数据包括的合成流和流关联表生成目标表的情况，但在与正在规格化的MPEG4对应的信息传输系统中，场景描述格式与上述合成流产生的格式不同，此外，代替表示流id和逻辑信道对应关系的流关联表，可使用表示目标id和流id对应关系的目标描述符。

因此，下面说明与MPEG4对应的目标数据传送系统。

图11是表示目标数据传送系统结构的概念图。在该系统200中，与构成一个场景201的各目标对应的图象编码数据Ev和声音编码数据Ea与作为辅助数据的系统信息Si，由多路化装置202多路化，通过传送媒体传送由多路化得到的多路位流MEg1，或存储在存储媒体中。

而且，由反向多路化装置203将通过传送媒体传送的、或从存储媒体中读出的多路位流MEg1分离为与各目标对应的编码数据Ev、Ea和系统信息Si。

具体地说，其中，上述一场景201由作为景色的背景目标OB1、附带其上的音响目标OB4、作为人物的前景目标OB2、和附带其上的声音目标OB3构成，所述图象编码数据Ev分为与背景目标OB1对应的编码数据Ev1和与前景目标OB2对应的编码数据Ev2，所述目标编码数据Ea分为与声音目标OB3对应的编码数据Ea1和与音响目标OB4对应的编码数据Ea2。此外，作为所述辅助数据的系统信息Si分为场景记述信息Sf和目标描述符OD。

这样，在解码处理部分204中，接收从所述多路位流MEg1中分离的各数据，根据这些数据，生成与一场景对应的再生数据Rg。

也就是说，在上述场景记述信息Sf中，目标OB1-OB4的分层结构同时表示各分层的目标和其目标id的关系，此外，在目标描述符OD中，表示目标id和流id的关系(即与目标对应的编码数据)。

因此，在解码处理部分204中，根据所述场景记述信息Sf和目标描述符OD，进行各目标的编码数据的解码和合成处理，生成表示一场景201的再生数据Rg。

再有，在图11所示的系统200中，区别图象数据和声音数据定义目标和目标描述符。

实施例5

下面，作为本发明的实施例5，说明与所述目标数据传送系统200对应的目标数据解码装置。再有，在该实施例5的说明中，并未区别图象数据和声音数据定义目标和目标描述符。

图12是表示说明作为本发明实施例5的目标数据解码装置的方框图。

本实施例5的目标数据解码装置105具有这样的结构，即替换作为所述辅助数据的合成流和流关联表，接收包括场景记述信息Sf和目标描述符OD的多路位流MEg1，从多路位流MEg1中再生与一场景对应的图象数据Rg。

其中，所述多路位流MEg1是这样的流，即在构成该一场景的各目标的每个，使对应于图13所示的1个场景150的场景数据编码获得编码数据与辅助数据一起作多路。

其中，所述一场景150由形成分层结构的多个目标(小图象)构成。具体地说，所述一场景150由作为背景的背景图象151、沿背景中移动的的移动体152、在所述背景图象上显示的标志符153(Let，s start)、和第一、第二车轮154、155构成。其中，所述背景图象151为一个节点，所述移动体152、和作为所述标志符153的目标属于该节点151。此外，所述移动体152也为一个节点，作为第一、第二车轮154、155的目标属于该节点152。而且，作为所述移动体152的目标的编码数据包括与窗152a、机身152b、烟筒152c对应的编码数据。

此外，作为所述多路位流MEg1的辅助数据，包括场景记述信息和目标描述符，图14(a)表示由场景记述信息产生的场景描述SD1。

该场景描述SD1是与所述场景150相对应的描述，移动体152和标志符153属于背景图象151，第一、第二的车轮154、155属于移动体152，用目标(1)161-(5)165来表示。其中，所述目标(1)161-(5)165分别是表示所述背景图象151、移动体152、标志符153、第一车轮154、第二车轮155的描述符。而且，向所述各描述符161-165，提供用于识别多路位流MEg1中目标的编码数据的目标id，具体地说，如图14所示，向所述各描述符161-165，提供作为目标id的Oid＝1-Oid＝5。

并且，在图14(b)所示的目标描述符OD中，表示了目标id与流id的对应关系。具体地说，目标id(Oid＝1)对应着流id(Sid＝1，2)，目标id(Oid＝2)对应着流id(Sid＝3-6)，目标id(Oid＝3)对应着流id(Sid＝7)，目标id(Oid＝4，5)分别对应着流id(Sid＝8)。此外，在所述目标描述符OD中，对于各目标，表示了作为数据类别的‘视频’或‘音频’的区别。

下面，说明上述实施例5的目标数据解码装置105的结构。

该目标数据解码装置105的基本结构与实施例1的目标数据解码装置101相同。也就是说，所述解码装置105具有：反向多路装置11a，选择抽取作为在所述多路位流MEg1中包括的辅助数据的场景记述信息Sf和目标描述符OD，同时根据第一控制信号Cont1，从所述多路位流MEg1中取出与各目标对应的编码数据Eg；和音频视频解码装置(AV解码装置)12，根据第二控制信号Cont2解码与所述各目标对应的编码数据Eg，输出与各场景对应的再生数据Rg。此外，所述解码装置105具有：演算处理装置(CPU)13a，根据所述目标描述符OD，判定与各目标的编码数据Eg对应的流id，按照该判定结果，对所述反向多路化装置11a供给所述第一控制信号Cont1，同时根据所述场景记述信息Sf，把一场景中有关各目标的配置信息、和有关各目标的显示开始时间的信息作为第二控制信号Cont2供给所述AV解码器12。

而且，在本实施例5中，该CPU13a，根据所述场景记述信息Sf和目标描述符OD，生成表示构成所述一场景的各目标与所述多路位流MEg中各目标的编码数据Eg(流)的对应关系的目标表，把其存放在CPU13a内部的数据存储部分。

图15是表示说明与图13所示的一场景150对应的目标表T3的图。

该目标表T3具有分层结构，由表示构成一场景的各目标与流的对应关系的主表T3a，和属于各目标的图象或声音与流对应关系的副表T3b构成。

在这些表中，对于目标id，各种信息相关联地被登记着。

具体地说，目标id在图13所示的场景描述中对于各目标描述符付与单纯意意，在上述目标表T3a中按目标id值Oid的顺序登记。

其中，目标id(Oid＝1-5)分别是对于图13所示的目标151-155的描述符161-165付与id值。

而且，在上述主表T3a中，通过对应附加各目标id，登记与各目标对应的目标种类(即目标是图象还是声音)和与各目标对应的流id。此外，在所述主表T3a中，通过对应附加各目标id，表示了其上位和下位目标id、其上位和下位目标的流id、共用流的共用目标id，并且表示了各目标的优先顺序。

其中，各目标的上位目标是各目标分层中属于上位分层的目标，各目标的下位目标是各目标分层中属于下位分层的目标。

具体地说，由于不存在最上位目标，即不存在图13的第一分层L1a目标的上位目标，所以其上位目标id的值Oid和其上位目标的流id的值Sid为0。此外，图13的第二分层L2和第三分层L3的各目标的上位目标当作这些分层目标所属的第一分层L1a和第二分层L2a的目标。此外，对于没有下位目标的目标(最下位目标)，设其下位目标id的值Oid和其下位目标的流id的值Sid为0。

此外，在所述主表T3a中，对于象目标151和152这样的一些图象和声音构成的目标，在其流类别栏中记述H，在副表T3b中记述与构成这些目标的图象和声音对应的编码数据的流id。

如果参照这样构成的目标表T3，由于在其下位目标id的记述栏中记述了作为Oid的2、3，所以可以明白，具有作为目标id的Oid＝1的目标由两个目标构成；由于在其下位目标id的记述栏中记述了作为Oid的4、5，所以可以明白，具有作为目标id的Oid＝2的目标由两个目标构成。

下面，说明动作。

在本实施例5的目标数据解码装置105中，如果输入多路位流MEg1，那么由反向多路化装置11a从所述多路位流中抽取作为辅助数据Dsub的场景记述信息SDI和目标流OD，供给CPU13a。

这样，所述CPU13a根据所述目标描述符OD，识别构成图13一场景150的各目标与其流id的对应关系，按照识别结果，把第一控制信号Cont1向反向多路化装置11a输出。

该反向多路化装置11a根据所述第一控制信号Cont1，将在多路位流中分散成多个数据包的与各目标对应的流按各目标汇集，向AV解码装置12输出。

此外，此时，在CPU13a中，从由场景记述信息Sf产生的场景记述SD1中，抽出有关各目标显示位置和显示开始时间的信息，把这些信息作为第二控制信号Cont2对AV解码装置12输出。

该AV解码装置12对于从所述反向多路化装置11a中输出的与各目标对应的流(一连串的编码数据Eg)进行解码处理，通过与各目标对应的解码数据的合成，根据来自CPU13a的第二控制信号Cont2(即与目标显示有关的信息)，输出与多个目标构成的一场景对应的再生数据Rg。

再有，这样的解码动作与以往的目标数据解码装置的动作一样。

而且，在本实施例5中，除了上述解码动作，CPU13a还进行生成图15所示的目标表T3的处理。

下面，说明该目标表的生成处理。用图16所示的流程图来说明。

首先，在步骤S1a中，从CPU13a的数据存储部分读取场景记述信息Sf；在步骤S2a中，在CPU13a的数据存储部分读取目标描述符OD；并且在步骤S3中，把由场景描述信息Sf产生的场景记述SD1中各目标的描述符装入CPU13a的演算处理部分，给与在各描述符中作为目标的值Oid。由此，能够依据其目标id特定目标。

随后，在步骤S6a中，把所述值Oid作为目标表要素的目标id来登记。

然后，在步骤S7a中，进行目标描述符OD的分析，根据该分析结果，在目标表T3中，登记与各目标对应的各种表要素。作为这些表要素的主要项目，可列举出与各目标对应的流id、各目标的优先顺序、与各目标对应的流id、各目标对应的流种类(视频或音频)。再有，其中，作为上述表要素，还可登记与各目标对应的上位和下位目标id、与各目标对应的上位和下位目标的流id、共用流的共用目标的id。

而且，在步骤S9a中，进行当前处理中的目标是否是最上位分层目标的判定。

该判定结果，如果被处理目标不是最上位分层的目标，在步骤S12a中，进行把目标分层提高一层的处理，再次在步骤S9a中进行上述判定处理。另一方面，按步骤S9a的判定结果，如果有作为CPU处理对象的被处理目标为最上位分层的目标，那么在步骤S10a中，对于构成一场景的所有目标，进行表要素的登记是否进行的判定。

在该判定结果对于所有目标未进行表要素登记的情况下，CPU的处理返回步骤S3a，进行上述步骤S6a、S7a、S9a、S12a的处理。另一方面，在对于步骤S10a判定结果的所有目标登记表要素的情况下，结束由CPU13a进行的目标表的生成处理。

而且，在本实施例5的目标数据解码装置105中，把上述那样生成的目标表装入CPU13a的数据存储部分。在更新场景记述信息Sf和目标描述符OD时，为了与这些最新的信息对应，更新该存放的目标表。因此，限制不变更构成一场景的目标，不进行目标表的更新。

再有，在上述多路位流中，在有表示传输新的合成流和流关联表标志的情况下，也可以只在该标志为新传输的情况下更新所述目标表。

在这样构成的本实施例5的目标数据解码装置105中，也可获得与上述实施例1的目标数据解码装置101同样的效果。

再有，在上述实施例5中，作为与MPEG4对应的系统中的目标数据处理装置，说明了目标数据解码装置，但对于实施例2的目标数据选择装置、实施例4的目标数据输出装置来说，也能够实现从所述场景记述信息Sf和目标描述符OD中生成目标表T3。

此外，在把由所述数据传输装置输出的多路位流MEg作为输入的目标数据解码装置中，能够省略生成所述目标表的处理，能够用简单的结构获得与所述实施例5同样的效果。

此外，在所述实施例5中，目标和目标描述符并未区别定义为图象数据和声音数据，这些目标和目标描述符也可以象图11所述的系统200那样，区别定义为图象数据和声音数据，这种情况下，由于已明确地表示了场景记述，所以在目标描述符中不必记述数据类别。

而且，通过把用于实现在上述各实施例中表示的处理装置和存储装置的结构的程序记录在软磁盘等数据记录媒体中，使在独立的计算机系统中简单地实施在上述各实施例中表示的处理变为可能。

图17是表示说明使用装入与这些信号处理对应的程序的软磁盘，由计算机实施由所述各实施例的目标数据处理装置和目标数据记录装置产生的信号处理情况的图。

图17(a)表示从软磁盘FD的正面看的外观、剖面结构和记录媒体的软磁盘本体；图17(b)表示软磁盘本体D的物理格式的实例。软磁盘本体D内装在外壳F内，在该磁盘本体D的表面，形成同心圆状从外周向内周的多个磁道Tr，各磁道按角度方向分割为16个扇区Se。因此，在装入所述程序的软磁盘本体D中，在所述软磁盘本体D上分配的区域中，记录作为所述程序的数据。

此外，图17(c)表示对于软磁盘FD进行所述程序记录再生的结构。在把所述程序记录在软磁盘FD中的情况下，通过软磁盘驱动器FDD，在软磁盘FD上读取从计算机系统Cs中作为所述程序的数据。此外，通过软磁盘FD内的程序，在把所述图象传输方法或图象解码化装置构筑在计算机系统Cs中的情况下，利用软磁盘驱动器FDD，从软磁盘FD中读出程序，传送给计算机系统Cs。

再有，在上述说明中，进行了由作为数据记录媒体使用软磁盘的计算机系统进行图象处理的说明，但也可以使用光盘同样地进行该图象处理。此外，记录媒体并不限于此，IC卡、ROM盒式磁带等能够记录程序的媒体，同样都能够实施所述图象处理。

此外，在上述说明中，作为数据记录媒体，列举了存放用于上述各实施例中进行传送处理或解码化处理程序的媒体，但作为数据记录媒体，还可列举出在上述各实施例中存放多路位流MEg或非多路位流的媒体。具体地说，由上述图17所示的数据存储媒体构成上述实施例3的存储装置中的数据存储装置较好。

按照如上所述的本发明(方案1)，在解码与作为记录或传送对象的单独数据对应的编码数据的装置中，由于根据该编码数据，抽出表示构成单独数据的N个目标数据分层关系的分层信息，根据该分层信息，生成表示所述各目标数据与其编码数据相关的目标表，所以能够参照目标表简单并高速地进行与特定目标数据对应的编码数据的抽取、选择或检索等。因此，能够获得在短时间内以良好的操作性进行目标数据的编辑、置换等效果。

按照本发明(方案2)，在解码与一场景相当的场景数据对应的编码数据的装置中，由于根据该编码数据，抽出表示构成所述一场景的目标分层关系的分层信息，依据该分层信息，可生成表示所述各目标数据与其编码数据相关的目标表，所以在解码侧，能够参照目标表简单并高速地进行根据构成一场景的图象和声音等的目标与特定目标数据对应的编码数据的抽取、选择或检索处理。

按照本发明(方案3)，在方案2所述的目标数据处理装置中，根据所述编码数据，除了所述分层信息抽出表示各目标优先顺序的优先级信息，根据该分层信息和优先级信息，由于生成表示所述各目标和与其编码数据不相关的各目标优先顺序的目标表，所以在解码装置的处理能力较低、不能够解码所有目标的编码数据的情况下，能够仅对于优先顺序比预定顺序高的目标进行解码处理。

按照本发明(方案4)，在方案2所述的目标数据处理装置中，由于通过参照所述目标表检测用于识别与指定的特定目标对应的编码数据的识别信息，根据该识别信息，可抽出解码与来自所述N个编码数据特定的目标对应的编码数据，所以在解码装置中，能够简单地进行由用户指定的目标检索等。

按照本发明(方案5)，在使包括对应于相当一场景的场景数据的N个编码数据的多路数据解码的装置中，根据表示在所述多路数据中包括的所述各编码数据相互关系的信息，抽出表示构成所述一场景目标的分层关系的分层信息，根据该分层信息，由于可生成表示所述各目标和其编码数据相关的目标表，所以根据多路数据，能够参照目标表简单并高速地进行根据构成一场景的图象和声音等的目标与特定目标数据对应的编码数据的抽取、选择或检索处理。

按照本发明(方案6)，在方案5所述的目标数据处理装置中，由于根据所述多路数据，除了所述分层信息还抽出表示各目标优先顺序的优先级信息，根据该分层信息和优先级信息，生成表示所述各目标和与其编码数据相关的各目标优先顺序的目标表，所以在解码装置的处理能力较低、不能够解码所有目标的编码数据的情况下，能够仅对于优先顺序比预定顺序高的目标进行解码处理。

按照本发明(方案7)，在方案5所述的目标数据处理装置中，通过参照所述目标表检测用于识别与指定的特定目标对应的编码数据的识别信息，根据该识别信息，由于可抽出解码与来自所述N个编码数据特定的目标对应的编码数据，所以在解码装置中，能够简单地进行由用户指定的目标检索等。

按照本发明(方案8)，在从与作为记录或传送对象的单独数据对应的N个编码数据中，选择与构成该单独数据的特定目标数据对应的编码数据的装置中，由于根据该编码数据，抽出表示所述N个目标数据分层关系的分层信息，根据该分层信息，生成表示所述各目标数据和其编码数据相关的目标表，并可参照该目标表进行特定目标数据的编码数据的选择，所以能够简单并高速地进行与特定的目标数据对应的编码数据的选择处理。因此，能够获得在短时间内以良好的操作性进行目标数据的编辑、置换等效果。

按照本发明(方案9)，在根据与一场景相当的场景数据对应的N个编码数据，选择与特定目标对应的编码数据的装置中，根据该编码数据，抽出表示构成所述一场景的目标分层关系的分层信息，依据该分层信息，由于可生成表示所述各目标数据与其编码数据相关的目标表，并且可参照该目标表进行特定目标的编码数据的选择，所以在解码侧，从构成一场景的图象和声音等目标中能够简单并高速地进行特定目标的选择处理。

按照本发明(方案10)，在从包括与一场景相当的场景数据对应的N个编码数据的多路数据中，选择与特定目标对应的编码数据的装置中，由于根据表示在所述多路数据中包括的所述各编码数据相互关系的信息，抽出表示构成所述一场景的N个目标分层关系的分层信息，根据所述分层信息，可生成表示所述各目标数据与其编码数据相关的目标表，并且可参照该目标表进行特定目标的编码数据的选择，所以根据所述多路数据，从构成一场景的图象和声音等目标中能够简单并高速地进行特定目标的选择处理。

按照本发明(方案11)，在把与构成作为记录或传送对象的单独数据的N个目标数据对应的编码数据记录在数据存储部分的装置中，根据该编码数据，抽出表示所述N个目标数据分层关系的分层信息，根据该分层信息，由于生成表示所述目标数据和其编码数据相关的目标表，并把与所述N个编码数据对应的目标表记录在所述数据存储部分，所以能够参照目标表简单并高速地进行与特定目标数据对应的编码数据的抽出、选择或检索等处理。

按照本发明(方案12)，在把与一场景相当的场景数据对应的N个编码数据记录在数据存储部分的装置中，由于根据该编码数据，抽出表示构成所述一场景目标分层关系的分层信息，根据该分层信息，生成表示所述目标数据和其编码数据相关的目标表，并把与所述N个编码数据和与其对应的目标表记录在所述数据存储部分，所以在解码侧，通过参照目标表，能够从构成一场景的图象和声音等目标中简单并高速地进行抽出、选择或检索特定目标的处理。

按照本发明(方案13)，在方案12所述的目标数据记录装置中，由于可把与所述N个编码数据对应的目标表附加记录在该N个编码数据上，所以具有容易管理记录的目标表的效果。

按照本发明(方案14)，在方案12所述的目标数据记录装置中，由于通过分离该N个编码数据记录与所述N个编码数据对应的目标表，所以无论编码数据的大小，能够确实进行将目标表向存储媒体记录。

按照本发明(方案15)，在使包括对于与一场景相当的场景数据的N个编码数据的多路数据记录在数据存储部分的装置中，根据表示所述多路数据中包括的所述各编码数据相互关系的信息，抽出表示构成所述一场景目标分层关系的分层信息，根据所述分层信息，由于生成表示所述目标数据和其编码数据相关的目标表，并构成把与所述多路数据对应的目标表记录在所述数据存储部分，所以在解码侧，通过参照目标表，能够根据所述多路数据，从构成一场景的图象和声音等目标中简单并高速地进行抽出、选择或检索特定目标的处理。

按照本发明(方案16)，在方案15所述的目标数据记录装置中，由于可把与所述多路数据对应的目标表附加记录在该多路数据中，所以具有容易管理记录的目标表的效果。

按照本发明(方案17)，在方案15所述的目标数据记录装置中，由于通过分离该多路数据记录与所述多路数据对应的目标表，所以无论多路数据的大小，能够确实进行将目标表向存储媒体的记录。

按照本发明(方案18)，在存放与作为记录或传送对象的单独数据相关数据的数据存储媒体中，由于有在各目标中通过对所述相关数据、形成构成所述单独数据分层结构的N个目标数据符号压缩化得到的N个编码数据，和包括表示与所述各目标数据相关的目标表的结构，所以参照目标表，能够简单并高速地进行从单独数据中抽出、选择或检索特定的目标数据的处理。

按照本发明(方案19)，在存放与一场景对应的有关数据的数据存储媒体中，由于包括对于相当一场景的场景数据，通过对所述相关数据进行构成该一场景的各个目标压缩编码处理得到的一个以上的编码数据，和表示与所述各目标数据相关的目标表，所以在解码侧，参照目标表，能够简单并高速地进行从构成一场景的图象和声音等目标中抽出、选择或检索特定目标的处理。

按照本发明(方案20)，在传输与作为记录或传输对象的单独数据对应的N个编码数据的装置中，由于根据该编码数据，抽出表示所述N个目标数据分层关系的分层信息，根据该分层信息，生成表示所述各目标数据和其编码数据相关的目标表，并在所述N个编码数据上附加对应的目标表并输出，所以能够获得在解码侧不必生成目标表，具有简单的结构，在短时间内以良好的操作性进行目标数据的编辑、置换、检索等效果。

按照本发明(方案21)，在传输对于与一场景相当的场景数据的N个编码数据的装置中，由于根据该编码数据，抽出表示构成一场景目标分层关系的分层信息，根据该分层信息，生成表示所述各目标数据和其编码数据相关的目标表，并在所述N个编码数据上附加对应的目标表输出，所以能够获得在解码侧不必生成目标表，具有简单的结构，在短时间内以良好的操作性进行目标数据的编辑、置换、检索等效果。

按照本发明(方案22)，在解码从方案21所述的目标数据处理装置中输出的输出数据的装置中，由于从所述输出数据中分离存储所述目标表，使用在该存储目标表中所示的信息，构成可控制对于所述各目标编码数据的解码动作，所以能够实现可以在短时间内以良好的操作性进行一场景图象和声音等目标的编辑、置换、检索等的简单的解码装置。

按照本发明(方案23)，在对于与一场景相当的场景数据，输出包括N个编码数据的多路数据的装置中，由于根据表示所述多路数据中包括的所述编码数据相互关系的信息，抽出表示构成所述一场景目标分层关系的分层信息，根据所述分层信息，生成表示所述各目标数据和其编码数据相关的目标表，并在所述多路数据上附加对应的目标表并输出，所以能够获得在解码侧不必生成目标表，具有简单的结构，在短时间内以良好的操作性进行一场景的图象和声音等目标的编辑、置换、检索等效果。

按照本发明(方案24)，在解码从方案23所述的目标数据处理装置中输出的输出数据的装置中，由于从所述输出数据中分离存储所述目标表，使用在该存储目标表中所示的信息，构成可控制对于所述各目标编码数据的解码动作，所以能够实现可以在短时间内以良好的操作性进行一场景图象和声音等目标的编辑、置换、检索等的简单的解码装置。

按照本发明(方案25)，在用于传送与作为记录或传送对象的单独数据对应的N个编码数据的传送数据结构中，由于使表示所述各目标表和其编码数据相关的目标表包括构成由所述N个编码数据构成的数据群，所以参照目标表，能够简单并高速地进行与特定目标数据对应的编码数据的抽出、选择或检索等处理。

按照本发明(方案26)，在对于与一场景相当的场景数据，用于传送N个编码数据的传送数据结构中，由于使表示所述各目标表和其编码数据相关的目标表包括构成由所述N个编码数据构成的数据群，所以在解码侧，能够参照目标表简单并高速地进行从构成一场景的图象和声音等目标中抽出、选择或检索特定目标的处理。

按照本发明(方案27)，在对于与作为记录或传送对象的单独数据对应的、包括N个编码数据、对每个预定的码量在多个数据包中区分的多路数据实施预定处理的装置中，由于根据在所述多路数据中包括的表示所述各编码数据相互关系的信息，抽出表示所述N个目标数据分层关系的分层信息，根据该分层信息，生成表示构成所述多路数据的多个数据包分层关系的目标表，所以根据所述多路数据，能够参照目标表简单并高速地进行抽出、选择或检索与特定目标数据对应的编码数据的处理。因此，具有在短时间内以良好的操作性进行目标数据的编辑、置换等效果。

按照本发明(方案28)，在对于与一场景相当的场景数据对应的、包括N个编码数据、对每个预定的码量在多个数据包中区分的多路数据实施预定处理的装置中，由于根据在所述多路数据中包括的表示所述各编码数据相互关系的信息，抽出表示所述构成一场景目标分层关系的分层信息，根据所述分层信息，生成表示构成所述多路数据的多个数据包分层关系的目标表，所以根据所述多路数据，从构成一场景的图象和声音等目标中能够参照目标表简单并高速地进行抽出、选择或检索特定目标的处理。

按照本发明(方案29)，在把与作为记录或传送对象的单独数据对应的、包括N个编码数据、以每个预定码量在多个数据包上区分的多路数据存储在所述数据存储部分的装置中，由于根据在所述多路数据中包括的表示所述各编码数据相互关系的信息，抽出表示所述N个目标数据分层关系的分层信息，根据该分层信息，生成表示构成所述多路数据的多个数据包分层关系的目标表，并构成可记录所述多路数据和与其对应的目标表的所述数据存储部分，所以能够参照目标表简单并高速地进行与特定目标数据对应的编码数据的抽出、选择或检索等处理。

按照本发明(方案30)，在把对于与一场景相当的场景数据、包括N个编码数据、对每个预定的码量在多个数据包中区分的多路数据记录在所述数据存储部分的装置中，由于根据在所述多路数据中包括的表示所述各编码数据相互关系的信息，抽出表示构成所述一场景目标分层关系的分层信息，根据所述分层信息，生成表示构成所述多路数据的多个数据包分层关系的目标表，并构成可记录所述多路数据和与其对应的目标表的所述数据存储部分，所以在解码侧，参照目标表，根据所述多路数据，从构成一场景的图象和声音等目标中，能够简单并高速地进行抽出、选择或检索特定目标的处理。

Claims (23)

1.一种数据处理装置，用于处理位流，该位流包含对于表示由N个要素构成的内容的内容数据按各该要素进行压缩编码所得到的N个编码数据，及处理该编码数据所需的辅助数据，其中N为正整数，其特征在于，该数据处理装置包括：

分层信息抽出装置，从所述位流中抽出表示包含在所述辅助数据中的所述内容的所述要素构成的分层结构的分层信息；和

表生成装置，根据该分层信息，生成表示所述各要素和所述各编码数据的对应关系的表；

根据所述表所示出的所述对应关系，将对应于特定要素的编码数据解码、选择或送出的数据处理单元。

2.如权利要求1所述的数据处理装置，所述内容是运动图像，所述要素是构成所述运动图像的目标，所述数据处理单元将对应于特定目标的编码数据解码。

3.如权利要求2所述的数据处理装置，其特征在于，所述分层信息抽出装置，从所述位流中，和所述辅助数据中包含的分层信息一起还抽出表示所述辅助数据中包含的各目标优先顺序的优先级信息；

所述表生成装置，根据所述分层信息和优先级信息，生成表示所述各目标和各编码数据的对应关系，并且表示各目标优先顺序的表。

4.如权利要求2所述的数据处理装置，其特征在于，包括：

识别信息检测装置，参照所述表检测用于识别与指定的特定目标对应的编码数据的识别信息，

所述数据处理单元，根据所述识别信息，从所述N个编码数据中抽出与特定的目标对应的编码数据进行解码。

5.如权利要求1所述的数据处理装置，其特征在于，所述位流是将所述辅助数据与N个目标的编码数据多路化后形成的多路流。

6.如权利要求5所述的数据处理装置，其特征在于，

所述分层信息抽出装置，从所述多路数据，抽取所述辅助数据中包含的分层信息及辅助数据中包含的表示各目标优先顺序的优先级信息；

所述表生成装置，根据所述分层信息和优先级信息，生成表示所述各目标与各编码数据的对应关系，及表示各目标优先顺序的表。

7.如权利要求5所述的数据处理装置，其特征在于，包括：

识别信息检测装置，参照所述表检测用于识别与指定的特定目标对应的编码数据的识别信息，

所述数据处理单元，根据所述识别信息，从所述多路数据中抽出与特定的目标对应的编码数据进行解码。

8.如权利要求1所述的数据处理装置，所述内容是运动图像，所述要素是构成该运动图像的目标，所述数据处理单元，基于所述表所表示的所述对应关系，从所述N个编码数据中选择与特定的要素对应的编码数据。

9.如权利要求8所述的数据处理装置，其特征在于，所述位流是将所述辅助数据与N个目标的编码数据多路化后形成的多路流。

10.如权利要求1所述的数据处理装置，其特征在于：

所述内容是运动图像；

所述要素是构成所述运动图像的目标；

所述数据处理单元具有存储数据的数据存储部分，将所述编码数据记录在所述数据存储部分。

11.如权利要求10所述的数据处理装置，其特征在于，所述数据处理单元将所述表的数据附加在该N个编码数据上并记录在所述数据存储部分。

12.如权利要求10所述的数据处理装置，其特征在于，所述数据处理单元将所述表的数据与该N个编码数据分离并记录在所述数据存储部分。

13.如权利要求10所述的数据处理装置，其特征在于，所述位流是将所述辅助数据与N个目标的编码数据多路化后形成的多路流。

14.如权利要求13所述的数据处理装置，其特征在于，所述数据处理单元将所述表附加在所述多路流上并记录在所述数据存储部分。

15.如权利要求13所述的数据处理装置，其特征在于，所述数据处理单元将所述表从所述多路流分离并记录在所述数据存储部分。

16.如权利要求1所述的数据处理装置，其特征在于，

所述位流是将所述辅助数据和N个目标的编码数据多路化，按每个预定的符号量划分成多个数据包的多路流，

所述数据处理装置还具有存储数据的数据存储部分，将所述多路流与表示所述各要素与所述各编码数据的对应关系的表的数据记录在所述数据存储部分，

所述表生成装置，基于由所述分层信息抽出装置从所述多路流中抽取出的表示内容的分层构造的分层信息，生成表示所述多路流中分别与所述N个要素的某一个对应的多个数据包的分层关系的表。

17.如权利要求16所述的数据处理装置，所述内容是运动图像，所述要素是构成所述运动图像的目标。

18.如权利要求1所述的数据处理装置，所述内容是运动图像，所述要素是构成所述运动图像的目标，所述数据处理单元，将与所述N个目标对应的编码数据附加所述表的数据，并发送。

19.一种对权利要求18的数据处理装置所送出的数据进行解码的装置，其特征在于：具有：

数据分离装置，从所述送出数据中分离所述表的数据；

表存储装置，存储该分离后的表的数据，

控制使用该表存储装置中所存储的表中示出的信息，解码与所述各目标对应的编码数据的装置。

20.如权利要求18所述的数据处理装置，其特征在于，所述位流，是将所述辅助数据与N个编码数据多路化后形成的多路流；

所述数据处理单元，在该多路流上附加所述表的数据并送出。

21.一种对权利要求20的数据处理装置所送出的在多路流上附加表后形成的数据进行解码的装置，其特征在于：具有：

数据分离装置，从所述送出的在多路流上附加表后形成的数据中分离所述表的数据；

表存储装置，存储该分离后的表的数据，

控制使用该表存储装置中所存储的表中示出的信息，解码与所述各目标对应的编码数据的装置。

22.如权利要求1所述的数据处理装置，其特征在于，

所述数据处理单元，存储或送出将由所述辅助数据及N个符号化数据多路化后形成的按每个预定的符号量划分到多个数据包后的多路流；

所述表生成装置，基于由所述分层信息抽出装置从所述多路流中抽取出的表示内容的分层构造的分层信息，生成表示所述多路流中分别与所述N个要素的某一个对应的多个数据包的分层关系的表。

23.如权利要求22所述的数据处理装置，所述内容是运动图像，所述要素是构成所述运动图像的目标。

Images