CN1155886C - 多媒体数据编码复用方法和装置及其程序记录媒体 - Google Patents

Abstract

本发明多媒体数据编码复用方法，可通过在多任务操作系统中工作的软件程序来实现对包含图象·声音的多媒体数据的编码，把编码图象信息和编码声音信息暂存在图象缓冲器和声音缓冲器中，根据编码图象信息来使用暂存的图象数据块速率信息、图象声音同步装置制作时间信息，由此，编码图象读出装置和编码声音读出装置读出暂存的编码声音信息和编码图象信息，图象声音同步装置进行复用处理，由此，来分离编码定时和复用定时。

Description

多媒体数据编码复用方法和 装置及其程序记录媒体

技术领域

本发明涉及多媒体数据编码复用方法、多媒体数据编码复用装置和多媒体数据编码复用程序记录媒体，特别是涉及通过具有操作系统的计算机系统来得到对包含图象和声音的多媒体数据进行数字化、编码化、时分复用化的多媒体数据编码复用信息的多媒体数据编码复用方法、多媒体数据编码复用装置和多媒体数据编码复用程序记录媒体。

背景技术

随着近年来数字技术的发展，对于现有技术中只能以模拟形式处理的多媒体数据例如包含图象(video)和声音(audio)的信息，通过进行数字化、压缩(compression)编码(encoding)和复用(multiplexing)的处理，就能得到数字信息，并且把其用于记录、传输等。通过相应的处理而得到的编码多媒体数据复用信息例如图象声音复用信息被称为系统数据流等，通常，数字化的编码及压缩的图象信息的部分和数字化的编码及压缩的声音信息的部分成为以某个单位交替排列的一维布置。

在图27中表示出了图象声音复用信息的一个例子。在图中，2101是图象序列首部，被编码的图象信息接在其后。2102是编码图象信息，是被进行编码(压缩)的图象信息，当对其进行解码(解压缩(expansion))时，就成为具有某个重放时间的图象。2103是声音序列首部，被编码的声音信息接在其后。2104是编码声音信息，是被进行编码(压缩)的声音信息，当对其进行解码(解压缩)时，就成为具有某个重放时间的声音。这样的编码图象声音复用信息被称为“进行了时分复用(time-divisionmultiplexing)的信息”，把用于得到相应的信息的处理称为编码处理和复用处理。

用于重放这样的编码图象声音复用信息的装置一般是：为了保持重放时的图象和声音的同步，把必须同时重放的图象信息和声音信息暂时存储在缓冲器中，通过把两者聚齐，来对两者进行解码、重放。因此，由于重放装置的内部缓冲器的数量是有限的，因而，图27的编码图象信息2102和编码声音信息2104就必须以重放装置的缓冲器的大小允许的量交替排列。即，如果重放装置的内部缓冲器仅有0.1秒的程度，则编码图象信息2102和编码声音信息2104就必须至少以0.1秒以下的单位交替排列。通过重放装置的构成，变替排列的图象和声音就必须以各自的重放时间恰好成为同时的量来进行排列。

下面使用附图来说明现有技术中对图象和声音进行编码并输出上述那样的编码图象声音复用信息的装置的例子。

图26是表示现有技术中的带声音的图象编码复用装置的构成的图。如图所示的那样，该装置包括图象声音输入装置2001、声音捕获装置2002、声音编码装置2003、编码声音存储装置2004、图象捕获装置2005、图象编码装置2006、编码图象存储装置2007和文件管理装置2008。

在该图中，2001是由摄象机等实现的图象声音输入装置，取入图象·声音，分成为模拟声音信息和模拟图象信息而输出。2002是声音捕获装置，输入从图象声音输入装置2001所输出的模拟声音信息，作为由离散的数字数据组成的数字声音信息而输出。2003是声音编码装置，输入从声音捕获装置2002所输出的数字声音信息，通过除去冗余的信息来编码，而进行压缩，作为编码声音信息而在每单位时间中进行输出。在本例中，上述单位时间为0.1秒。2004是编码声音存储装置，在从声音编码装置2003输出编码声音信息时，在上述信息上附加声音序列首部，并输出给文件管理装置2008。2005是图象捕获装置，输入从图象声音输入装置2001所输出的模拟图象信息，作为由离散的(discrete)数字数据组成的，由表示单位时间的静止画面(still picture)的多个静止图象信息组成的数字图象信息而输出。2006是图象编码装置，输入由图象捕获装置2005所输出的数字图象信息，通过除去冗余的(redumdant)信息来编码，来进行压缩，作为编码图象信息而输出。由于静止图象以每三十分一秒而存在，则输出编码图象信息的单位时间为三十分之一秒。2007是编码图象存储装置，在从图象编码装置2006输出编码图象信息时，在上述信息上附加图象序列首部，并输出给文件管理装置。2008是文件管理装置，把所输入的信息写入保存用的存储装置中的文件中。

其中，通过现有技术的图象声音编码复用装置而得到的多媒体数据编码复用装置是图27所示的那样，为了以后的重放，上述那样的交替排列的图象和声音以各自的重放时间恰好为同时这样的量来排列，各自的重放时间为0.1秒。

图28是用于以信息的流动为主体来说明现有技术的图象声音编码复用装置的图。图中的2001是用作为图26的图象声音输入装置的摄象机，其他标号与图26相同。下面使用图28来说明现有技术的图象声音编码复用装置的动作。

首先，摄象机2001取入图象·声音，分成为模拟声音信息和模拟图象信息而输出。

接着，声音捕获装置2002输入从摄象机2001所输出的模拟图象信息，作为数字图象信息而输出。

图象编码装置2006输入由图象捕获装置2005所输出的数字图象信息，进行编码和压缩，作为一幅静止图象的编码图象信息而输出，编码图象存储装置2007把图象序列首部加在该编码图象信息的开头，进行输出。文件管理装置2008把编码图象存储装置2007输出的带序列首部的编码图象信息存储到保存用记录装置的文件中。

现有技术的图象声音编码复用装置3次重复进行从上述由图象编码装置2006所进行的编码到由文件管理装置2008所进行的向文件中的存储的动作。由于编码图象信息以三十分之一秒的单位被输出，则通过3次重复进行，经过时间为0.1秒(十分之一秒)。

其中，声音编码装置2003首先输入从声音捕获装置2002所输出的数字声音信息，进行编码和压缩，作为0.1秒程度的编码声音信息而输出，编码声音存储装置2004把声音序列首部加在该编码声音信息的开头，进行输出。文件管理装置2008把编码声音存储装置2004输出的带序列首部的编码声音信息存储在文件中。

接着来自摄象机2001的图象·声音的输入，适当地进行上述处理，由此，按图27所示的那样，就能把编码图象信息和编码声音信息分别作为0.1秒的编码图象声音复用信息而存储在保存用存储装置中，来进行记录·传输。

这样，现有技术的图象声音编码复用装置，在声音和图象的编码时，各自的编码装置完全独立地工作，分别总是以一定的定时来输出编码信息。即，根据上述的具体例子，图象编码装置一直以三十分之一秒一次输出编码图象信息，声音编码装置一直以十分之一秒一次输出编码声音信息。

即，即使不使用用于图象和声音的专用装置，仅通过依次在文件中附加所输出的编码信息，就能得到图象和声音以同一重放时间(在此为十分之一秒)的单位交替排列的编码图象声音复用信息。为了实现该目的，在现有技术中，需要使用各自独立工作的专用硬件来作为声音、图象的编码装置。

这样，如果不使用专用硬件，仅通过上述这样的现有技术中的单纯应用，作为在使用通用(general purpose)CPU的多任务操作系统中工作的软件程序，是非常难于实现声音、图象的编码装置。

这是因为，在多任务操作系统中，当多个程序(任务)并行工作时，通过操作系统进行的调度和装置驱动器等所产生的中断(interrupt)等，来决定执行各个任务的定时，无法保证根据来自图象编码装置和声音编码装置的要求而进行均等的分配，就不能始终得到上述那样的恒定的工作。

例如，对于构成声音捕获装置和图象捕获装置的装置驱动器，在对应于声音捕获装置所发生的中断的优先度超过对应于图象捕获装置所发生的中断的优先度的情况下，在某个期间中，声音编码处理优先于图象编码处理被执行。

图29是用于说明相应问题的图，表示出在上述这样的系统中，在实现现有技术的图象声音编码复用装置的情况下，得到处理的结果的编码复用信息的一例。在该图中，作为图象和声音的比特率即每单位时间的量始终相同的情况，表示出两者的重放时间的比例。在该图A的区间中，优先地进行对应于声音的编码处理，声音信息的重放时间所占长度较多，与此相比，在B区间中，应弥补A区间中的处理，用于进行图象编码处理的图象信息的重放时间所占长度较多。在该图所示的复用信息中，由于作为整体来说图象和声音的复用不均衡，如果没有对于图象·声音两者的重放缓冲器具有相应的裕量的重放装置，处理是非常困难的，就会成为引起图象·声音中断这样的现象的原因。

而且，在多任务操作系统中，除了两个编码装置之外，还有各种程序常驻(resideng)工作，因此，即使设计成均等地进行给图象和声音的编码装置的分配，问题仍然存在。例如，按上述例子那样，当希望声音编码装置始终输出十分之一秒程度的编码声音信息时，除编码装置之外的程序也要长期占用CPU时间，当把CPU时间转让给声音编码装置时，需要一秒的时间脱离上一次的工作的时间。在此情况下，为了防止声音中断，即使对一秒程度的数字声音信息进行缓冲，所输出的编码声音信息成为一秒程度的数据块，当由上述现有技术例子所示的构成来形成编码图象声音复用信息时，图象和声音就必须以0.1秒的单位交替排列，就需布置一秒程度的声音。这就产生了这样的致命结果：例如，当编码图象声音复用信息的重放装置的缓冲器仅为0.1秒程度时，缓冲器溢出，图象和声音发生中断。

图30是用于说明这样的问题的图，表示出在上述这样的系统中，在实现现有技术的图象声音复用装置的情况下，得到处理结果的编码复用信息的一例。如该图的A区间所示的那样，表示出以足够短的时间间隔来处理编码声音信息和编码图象信息的区间。因此，在B区间中，为了在该区间的开始执行其他的程序等即除图象·声音编码处理之外的处理，图象·声音信息的时间间隔变大，而成为引起上述那样的问题的原因的复用信息。

在多任务操作系统中，即使在除编码装置之外没有其他程序常驻时，也存在发生问题的可能性。一般，当CPU的工作切换给其他的程序(任务)时，就需要进行用于怎样的任务切换的作业。当频繁进行任务切换时，该作业时间占据的比例增大，而引起总的性能降低，因此当得到细微地交替排列图象和声音的编码图象声音复用信息时，在现有技术的构成中，必须频繁地对声音编码装置和图象编码装置进行任务切换，由任务切换的作业时间而引起性能降低，结果，在任务切换的时间上，编码处理不够用，而存在成为图象和声音中断的原因的可能性。

发明内容

鉴于上述问题，本发明的目的是提供一种图象声音编码复用方法，能够使用在多任务操作系统中工作的软件来实现图象和声音两者的编码，并且，能够得到使编码图象信息和编码声音信息以任意单位交替排列的编码图象声音复用信息。

本发明的目的是提供一种图象声音编码复用装置，能够使用在多任务操作系统中工作的软件来实现图象和声音两者的编码，并且，能够得到使编码图象信息和编码声音信息以任意单位交替排列的编码图象声音复用信息。

本发明的目的是提供一种图象声音编码复用程序的记录媒体，能够在具有多任务操作系统的计算机系统中，由软件进行图象和声音两者的编码，并且，能够得到使编码图象信息和编码声音信息以任意单位交替排列的编码图象声音复用信息。

由此，就能以独立的定时执行对图象和声音进行编码的编码处理和复用所编码的编码信息的复用处理，而能够谋求上述目的实现，由此，就能以适量取出暂时存储的编码信息来进行复用处理。

因此，使用这样的方法：为了以适量取出和进行同步的那些复用处理，在编码处理时制作附加信息，把其与编码信息一起暂时存储来使用。

因此，使用这样的方法：进行上述暂时存储以便于以适量配置图象和声音，并取出来进行复用处理。

按照这些设想的本发明为以下这样：

第一方面的多媒体数据编码复用方法，对包含数字化的图象和数字化的声音的数字多媒体数据进行编码，而得到进行了时分复用的多媒体数据编码复用信息，其特征在于，包括：多媒体数据编码步骤，对上述进行了数字化的数字多媒体数据进行编码，生成其重放时间为T以及其量为V的编码多媒体信息，根据上述重放时间T和上述量V来生成数据数据块速率信息；编码多媒体信息缓冲步骤，把在上述多媒体数据编码步骤中所生成的上述编码多媒体信息和上述数据数据块速率信息暂时存储在暂时存储用存储装置中；编码多媒体信息读出步骤，读出使用上述暂时存储的数据数据块速率信息所取得的，对应于表示上述时分复用中的时间间隔的同步间隔时间信息的量的，上述暂时存储的编码多媒体信息；编码多媒体信息同步步骤，对于在上述编码多媒体信息读出步骤中所读出的编码多媒体信息，进行复用处理，而生成多媒体数据编码复用信息，对数字多媒体数据进行编码处理，赋予数据数据块速率信息并进行暂时存储，使用上述数据数据块速率信息来以预定的量进行读出，来进行复用处理，由此，分离执行编码处理和复用处理的定时。

第二方面的多媒体数据编码复用方法，在权利要求1的方法中，在上述编码多媒体信息缓冲步骤中，把上述暂时存储用存储装置作为环行缓冲器来进行上述暂时存储；在上述编码多媒体信息读出步骤中，把上述暂时存储用存储装置作为环行缓冲器来进行上述读出，削除上述读出的编码多媒体信息，由环行缓冲器暂时存储编码信息。

第三方面的多媒体数据编码复用方法，在权利要求1或2的方法中，在上述编码多媒体信息同步步骤中，把包含在上述数据数据块速率信息中的上述重放时间T作为上述同步间隔时间信息，把其输出给上述编码多媒体信息读出步骤。

第四方面的多媒体数据编码复用方法，在权利要求1至3的任一个方法中，在上述多媒体数据编码步骤中，作为上述数据数据块速率信息，生成代表上述编码多媒体信息的单位时间相当量的编码多媒体信息单位时间量，上述编码多媒体信息读出装置根据上述编码多媒体信息单位时间量来决定上述读出量，以上述单位时间单位来读出编码多媒体信息，而进行复用处理。

第五方面的多媒体数据编码复用方法，对包含数字化的图象和数字化的声音的数字多媒体数据进行编码，而得到进行了时分复用的多媒体数据编码复用信息，其特征在于，包括：多媒体数据编码步骤，对上述进行了数字化的数字多媒体数据进行编码，生成其重放时间为T以及其量为V的编码多媒体信息；编码多媒体信息缓冲步骤，使用表示对应于所设定的单位重放时间的编码多媒体信息量的编码多媒体信息单位量，对于在上述多媒体数据编码步骤中所生成的编码多媒体信息，按上述编码多媒体信息单位量进行分割并暂时存储在暂时存储用存储装置中；编码多媒体信息同步步骤，读出上述暂时存储的编码多媒体信息，生成多媒体数据编码复用信息，读出以按每单位量排列形式所暂时存储的编码多媒体信息，而得到多媒体数据编码复用信息。

第六方面的多媒体数据编码复用方法，在权利要求5的方法中，上述多媒体数据编码步骤包括：图象编码步骤，对由把图象进行了数字化的多幅静止图象信息组成的原图象信息进行编码处理，而生成重放时间为Tv并且量为Vv的编码图象信息；声音编码步骤，对把声音进行了数字化的原声音信息进行编码处理，而生成重放时间为Ta并且量为Va的编码声音信息；上述多媒体缓冲步骤包括：图象缓冲步骤，如果在上述暂时存储用存储装置中已经暂时存储了的编码声音信息相互间的间隙部位存在，则把根据上述重放时间Tv所决定的重放时刻信息和上述编码多媒体单位量的上述编码图象信息暂时存储到相应的间隙部位中，如果上述间隙部位不存在，则接在以前暂时存储的编码声音信息之后，把根据上述重放时间Tv所决定的重放时刻信息和上述编码多媒体单位量的上述编码图象信息暂时存储到放置相对于编码声音信息的上述单位量程度的间隙的部位中；声音缓冲步骤，如果在上述暂时存储用存储装置中已经暂时存储了的编码图象信息相互间的间隙部位存在，则把根据上述重放时间Ta所决定的重放时刻信息和上述编码多媒体单位量的上述编码声音信息暂时存储到相应的间隙部位中，如果上述间隙部位不存在，则接在以前暂时存储的编码图象信息之后，把根据上述重放时间Ta所决定的重放时刻信息和上述编码多媒体单位量的上述编码声音信息暂时存储到放置相对于编码图象信息的上述单位量程度的间隙的部位中，在上述编码多媒体信息同步步骤中，从上述暂时存储用存储装置中，读出上述编码图象信息和上述编码声音信息没有间隙而被暂时存储的部分，读出图象·声音以单位量排列形式所暂时存储的编码多媒体信息，而得到多媒体数据编码复用信息。

第七方面的多媒体数据编码复用方法，在权利要求5的方法中，在上述编码多媒体信息缓冲步骤中，使上述暂时存储用存储装置作为环行缓冲器来进行上述暂时存储，在上述编码多媒体信息读出步骤中，使上述暂时存储用存储装置作为环行缓冲器来进行上述读出，削除上述读出的编码多媒体数据，通过环行缓冲器的措施来暂时存储编码信息。

第八方面的多媒体数据编码复用方法，在权利要求5的方法中，进一步包括存储位置误差校正步骤，放置规定的时间间隔来进行下列处理：存储位置误差检测处理，在上述暂时存储用存储装置中，检测出作为存储应在某个重放时刻重放的编码声音信息的位置的声音存储位置与存储应在该重放时刻重放的编码图象信息的图象存储位置之差，而作为存储位置误差；存储位置误差校正处理，校正由上述误差检测处理所检测出的存储位置误差，通过反复使用暂时存储用存储装置作为环行缓冲器，来校正产生的误差。

第九方面的多媒体数据编码复用方法，在权利要求8的方法中，在上述存储位置误差校正步骤中的上述存储位置误差校正处理中，通过在上述暂时存储用存储装置中存储预定的编码多媒体信息来进行上述处理，通过数据插入来进行校正。

第十方面的多媒体数据编码复用方法，在权利要求8的方法中，在上述存储位置误差校正步骤中的上述存储位置误差校正处理中，通过设定暂时扩大上述暂时存储用存储装置的追加存储位置来进行上述处理，通过暂时地扩大的存储位置的使用，进行与数据插入相同的校正。

第十一方面的多媒体数据编码复用方法，在权利要求1的方法中，包括：防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体信息缓冲步骤和下述的虚设信息插入步骤；虚设信息插入步骤，在输入上述虚设信息插入时间时，生成相当于上述虚设信息插入时间的量的编码多媒体信息，并进行输出，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，在上述编码多媒体信息缓冲步骤中，在输入上述虚设信息插入时间时，使在上述多媒体数据编码步骤中所生成的上述编码多媒体信息，按照相当于上述虚设信息插入时间的量，不暂时存储而丢弃，在暂时存储中的存储量增大的情况下，不暂时存储编码信息而丢弃，并插入作为替代的虚设信息而确保同步。

第十二方面的多媒体数据编码复用方法，在权利要求5的方法中，包括：防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体信息缓冲步骤和下述的虚设信息插入步骤；虚设信息插入步骤，在输入上述虚设信息插入时间时，生成相当于上述虚设信息插入时间的量的编码多媒体信息，并进行输出，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，在上述编码多媒体信息缓冲步骤中，在输入上述虚设信息插入时间时，使在上述多媒体数据编码步骤中所生成的上述编码多媒体信息，按照相当于上述虚设信息插入时间的量，不暂时存储而丢弃，在暂时存储中的存储量增大的情况下，不暂时存储编码信息而丢弃，并插入作为替代的虚设信息而确保同步。

第十三方面的多媒体数据编码复用方法，在权利要求1的方法中，包括：防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体数据编码步骤和下述的虚设信息插入步骤；虚设信息插入步骤，在输入上述虚设信息插入时间时，输出相当于上述虚设信息插入时间的编码多媒体信息，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，在上述多媒体数据编码步骤中，在输入上述虚设信息插入时间时，对相当于该虚设信息插入时间的量的数字多媒体数据不进行编码而丢弃，在暂时存储中的存储量增大的情况下，不对数字信息进行编码而丢弃，并插入作为替代的虚设信息而确保同步。

第十四方面的多媒体数据编码复用方法，在权利要求5的方法中，包括：防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体数据编码步骤和下述的虚设信息插入步骤；虚设信息插入步骤，在输入上述虚设信息插入时间时，输出相当于上述虚设信息插入时间的编码多媒体信息，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，在上述多媒体数据编码步骤中，在输入上述虚设信息插入时间时，对相当于该虚设信息插入时间的量的数字多媒体数据不进行编码而丢弃，在暂时存储中的存储量增大的情况下，不对数字信息进行编码而丢弃，并插入作为替代的虚设信息而确保同步。

第十五方面的多媒体数据编码复用方法，在权利要求1的方法中，包括：防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体信息缓冲步骤和下述的虚设信息插入步骤；虚设信息插入步骤，在输入上述虚设信息插入时间时，生成相当于上述虚设信息插入时间的量的编码多媒体信息，并进行输出，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，在上述多媒体数据编码步骤中，对于上述数字多媒体数据，进行编码处理，该编码处理生成能够单独进行解码处理的独立编码信息和能够通过参照其他的编码多媒体信息而进行解码处理的差分编码信息，从而生成由上述独立编码信息和上述差分编码信息组成的上述编码多媒体信息，在上述编码多媒体信息缓冲步骤中，在输入上述虚设信息插入时间时，使在上述多媒体数据编码步骤中所生成的上述编码多媒体信息，按照相当于上述虚设信息插入时间的量，不暂时存储而丢弃，然后，把后续的上述差分编码信息变换为上述独立编码信息，来进行暂时存储，通过由虚设信息所产生的代替处理，就能通过变换来对不能进行解码处理的差分编码信息进行解码处理。

第十六方面的多媒体数据编码复用方法，在权利要求5的方法中，包括：防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体信息缓冲步骤和下述的虚没信息插入步骤；虚设信息插入步骤，在输入上述虚设信息插入时间时，生成相当于上述虚设信息插入时间的量的编码多媒体信息，并进行输出，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，在上述多媒体数据编码步骤中，对于上述数字多媒体数据，进行编码处理，该编码处理生成能够单独进行解码处理的独立编码信息和能够通过参照其他的编码多媒体信息而进行解码处理的差分编码信息，从而生成由上述独立编码信息和上述差分编码信息组成的上述编码多媒体信息，在上述编码多媒体信息缓冲步骤中，在输入上述虚设信息插入时间时，使在上述多媒体数据编码步骤中所生成的上述编码多媒体信息，按照相当于上述虚设信息插入时间的量，不暂时存储而丢弃，然后，把后续的上述差分编码信息变换为上述独立编码信息，来进行暂时存储，通过由虚设信息所产生的代替处理，就能通过变换来对不能进行解码处理的差分编码信息进行解码处理。

第十七方面的多媒体数据编码复用方法，在权利要求1的方法中，在上述多媒体数据编码步骤中，对于上述数字多媒体数据，进行编码处理，该编码处理生成能够单独进行解码处理的独立编码信息和能够通过参照其他的编码多媒体信息而进行解码处理的差分编码信息，生成由上述独立编码信息和上述差分编码信息组成的上述编码多媒体信息，进一步包括：防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，然后，在上述多媒体数据编码步骤中，算出插入修正时间，该插入修正时间是相当于应成为接在不进行编码而丢弃的数字多媒体数据之后的上述差分编码信息的多媒体数据的编码处理的时间，对于上述虚设信息插入时间，进行由上述插入修正时间的加法运算处理所产生的修正，并输出给上述编码多媒体数据编码步骤和下述的虚设信息插入步骤；虚设信息插入步骤，在输入上述虚设信息插入时间时，输出相当于上述虚设信息插入时间的编码多媒体信息，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，在上述多媒体数据编码步骤中，在输入上述虚设信息插入时间时，对相当于该虚设信息插入时间的量的数字多媒体数据不进行编码而丢弃，通过由虚设信息所产生的代替处理，就能用虚设信息来代替成为解码处理不能进行的差分编码信息的数字多媒体数据。

第十八方面的多媒体数据编码复用方法，在权利要求5的方法中，在上述多媒体数据编码步骤中，对于上述数字多媒体数据，进行编码处理，该编码处理生成能够单独进行解码处理的独立编码信息和能够通过参照其他的编码多媒体信息而进行解码处理的差分编码信息，生成由上述独立编码信息和上述差分编码信息组成的上述编码多媒体信息，进一步包括：防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，然后，在上述多媒体数据编码步骤中，算出插入修正时间，该插入修正时间是相当于应成为接在不进行编码而丢弃的数字多媒体数据之后的上述差分编码信息的多媒体数据的编码处理的时间，对于上述虚设信息插入时间，进行由上述插入修正时间的加法运算处理所产生的修正，并输出给上述编码多媒体数据编码步骤和下述的虚设信息插入步骤；虚设信息插入步骤，在输入上述虚设信息插入时间时，输出相当于上述虚设信息插入时间的编码多媒体信息，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，在上述多媒体数据编码步骤中，在输入上述虚设信息插入时间时，对相当于该虚设信息插入时间的量的数字多媒体数据不进行编码而丢弃，通过由虚设信息所产生的代替处理，就能用虚设信息来代替成为解码处理不能进行的差分编码信息的数字多媒体数据。

第十九方面的多媒体数据编码复用方法，在权利要求1的方法中，进一步包括缓冲器的数量决定步骤，判定执行该编码复用处理的装置本体的性能，根据上述判定的结果，决定上述编码多媒体信息缓冲装置使用的暂时存储用存储装置的数量，决定适合于该装置的处理性能的缓冲器的数量。

第二十方面的多媒体数据编码复用方法，在权利要求5的方法中，进一步包括缓冲器的数量决定步骤，判定执行该编码复用处理的装置本体的性能，根据上述判定的结果，决定上述编码多媒体信息缓冲装置使用的暂时存储用存储装置的数量，决定适合于该装置的处理性能的缓冲器的数量。

第二十一方面的多媒体数据编码复用装置，对包含数字化的图象和数字化的声音的数字多媒体数据进行编码，而得到进行了时分复用的多媒体数据编码复用信息，其特征在于，包括：暂时存储用存储装置，存储信息，用于信息的暂时存储；多媒体数据编码装置，对上述进行了数字化的数字多媒体数据进行编码，生成其重放时间为T以及其量为V的编码多媒体信息，根据上述重放时间T和上述量V来生成数据数据块速率信息；编码多媒体信息缓冲装置，把由上述多媒体数据编码装置所生成的上述编码多媒体信息和上述数据数据块速率信息暂时存储在上述暂时存储用存储装置中；编码多媒体信息读出装置，读出使用上述暂时存储的数据数据块速率信息所取得的，对应于表示上述时分复用中的时间间隔的同步间隔时间信息的量的，上述暂时存储的编码多媒体信息；编码多媒体信息同步装置，对于由上述编码多媒体信息读出装置所读出的编码多媒体信息，赋予根据上述数据数据块速率信息而取得的上述重放时刻信息，进行复用处理，以生成多媒体数据编码复用信息，对数字多媒体数据进行编码处理，赋予数据数据块速率信息并进行暂时存储，使用上述数据数据块速率信息来以预定的量进行读出，来进行复用处理，由此，分离执行编码处理和复用处理的定时。

第二十二方面的多媒体数据编码复用装置，对包含数字化的图象和数字化的声音的数字多媒体数据进行编码，而得到进行了时分复用的多媒体数据编码复用信息，其特征在于，包括：暂时存储用存储装置，存储信息，用于信息的暂时存储；多媒体数据编码装置，对上述进行了数字化的数字多媒体数据进行编码，生成其重放时间为T以及其量为V的编码多媒体信息；编码多媒体信息缓冲装置，使用表示对应于所设定的单位重放时间的编码多媒体信息的量的编码多媒体信息单位量，对由上述多媒体数据编码装置所生成的编码多媒体信息按照上述编码多媒体信息单位量进行分割而暂时存储在暂时存储用存储装置中；编码多媒体信息同步装置，读出上述暂时存储的编码多媒体信息，生成多媒体数据编码复用信息，读出以按单位量排列形式所暂时存储的编码多媒体信息，而得到多媒体数据编码复用信息。

本发明的这些和其他的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。

附图说明

图1是表示本发明的实施例1的图象声音编码复用装置的构成的方框图；

图2是用于说明该实施例的装置中的动作的图；

图3是表示该实施例的装置中的暂时存储的状态的图；

图4是表示本发明的实施例2的图象声音编码复用装置的构成的方框图；

图5是用于说明该实施例的装置中的动作的图；

图6是表示该实施例的装置中的暂时存储状态的图；

图7是表示本发明的实施例3的图象声音编码复用装置的构成的方框图；

图8是用于说明该实施例的装置中的动作的图；

图9是用于说明预测编码处理中的参照关系的图；

图10是用于说明在实施例3中执行预测编码处理时的问题的图；

图11是表示本发明的实施例4的图象声音编码复用装置的构成的方框图；

图12是表示本发明的实施例5的图象声音编码复用装置的构成的方框图；

图13是用于说明该实施例的装置中的处理的图；

图14是表示本发明的实施例6的图象声音编码复用装置的构成的方框图；

图15是表示该实施例的装置中的处理的一例的图；

图16是用于说明该实施例的装置中的动作的图；

图17是表示本发明的实施例7的图象声音编码复用装置的构成的方框图；

图18是表示该实施例的装置中的处理的一例的图；

图19是用于说明该实施例的装置中的动作的图；

图20是用于说明环行缓冲器方法的图；

图21是用于说明在实施例6中使用环行缓冲器方法时的问题的图；

图22是表示本发明的实施例8的图象声音编码复用装置的构成的方框图；

图23是用于说明该实施例的装置中的动作的图；

图24是用于说明本发明的实施例9的图象声音编码复用装置的动作的图；

图25是表示本发明的实施例10的图象声音编码复用装置的构成的方框图；

图26是表示现有技术的图象声音编码复用装置的构成的方框图；

图27是用于说明编码图象声音编码复用信息；

图28是用于说明现有技术的图象声音编码复用装置的动作的图；

图29是用于说明现有技术的图象声音编码复用处理中的第一问题的图；

图30是用于说明现有技术的图象声音编码复用处理中的第二问题的图。

具体实施方式

实施例1

本发明的实施例1的图象声音编码复用装置，把图象和声音的编码信息存储在缓冲器中，当达到一定量时，取出而得到编码图象声音复用信息。

图1是表示本发明的实施例1的图象声音编码复用装置的构成的方框图。如图所示的那样，本实施例1的编码复用装置包括：图象声音输入装置101、声音捕获装置102、声音编码装置103、声音缓冲装置104、图象捕获装置106、图象编码装置107、图象缓冲装置108、图象声音同步装置110、文件管理装置112、编码声音读出装置113和编码图象读出装置115。

在该图中，图象声音输入装置101由例如摄象机所实现，取入图象·声音，分成为模拟声音信息S150和模拟图象信息S160而输出。声音捕获装置102输入由图象声音输入装置101所输出的模拟声音信息S150，作为离散的数字数据的原声音(pro-audio)信息S151而输出。图象捕获装置106输入由图象声音输入装置101所输出的模拟图象信息S160，作为由离散的数字数据组成的并且由具有预先定义的分辨率的单位时间的多幅静止图象信息组成的数字的原图象(pro-video)信息S161而输出。声音捕获装置102和图象捕获装置106可以在一般的个人计算机系统中作为视频捕获卡而实现。

声音编码装置103输入由声音捕获装置102所输出的原声音信息S151，通过除去冗长的信息而进行编码来进行压缩，输出编码声音信息S152。图象编码装置107输入由图象捕获装置106所输出的原图象信息S161，通过除去冗长的信息而进行编码来进行压缩，输出编码图象信息S162。图象编码装置107制作作为表示编码图象信息S162的大小和重放时间的信息的图象数据数据块速率信息S203，与编码图象信息S162一起输出该图象数据数据块速率信息S203。在本实施例中，声音编码装置103不是随着所输入的原声音信息S151而是始终以恒定的比特率(单位时间的信息量)192Kbit/sec(Kbps)输出编码声音信息S152。另一方面，图象编码装置107随着所输入的原图象信息S161而以不断变化的比特率来输出编码图象信息S162，而不是象声音编码装置那样，以预定的比特率来输出。

声音缓冲装置104把声音编码装置103输出的编码声音信息S152暂时存储在内部具有的声音缓冲器中。图象缓冲装置108把图象编码装置107输出编码图象信息S162暂时存储在内部具有的图象缓冲器中。作为声音缓冲器和图象缓冲器，可以由半导体存储器等高速存储装置来实现。作为用于相应的暂时存储的缓冲器，可以采取FIFO(First-In-First-Out)构造，即能够进行先入先出处理，具体地说，相应的FIFO构造可以通过按照环行缓冲器等算法来实现。但是，并不一定仅限于环行缓冲器等特定的方法。

声音缓冲装置104保持在声音缓冲器中所存储的编码声音信息的量来作为编码声音缓冲量S105，在存在对应于声音缓冲器的编码声音信息的存储、或者来自声音缓冲器的编码声音信息的读出、削除的情况下，进行该编码声音缓冲量S105的更新。图象编码装置107暂时存储从图象编码装置107所输出的图象数据数据块速率信息S203和编码图象信息S162。

编码声音读出装置113根据下述的图象声音同步装置110输出的声音时间信息S114，读出声音缓冲装置104暂时存储的编码声音信息，把该读出的编码声音信息S153输出给图象声音同步装置110。编码图象读出装置115根据下述的图象声音同步装置110输出的图象时间信息S116，来读出图象编码装置107暂时存储的编码图象信息，把该读出的编码图象信息S163输出给图象声音同步装置110。在本实施例中，由于编码声音信息始终以同一比特率(单位时间的信息量)从声音编码装置103输出，因此，编码声音读出装置113从声音缓冲装置104读出把192Kbit乘以声音时间信息S114的量的编码声音信息S153。编码图象读出装置115从图象缓冲装置108读出图象时间信息S116和相当于同一重放时间的量的编码图象信息S163，为了判断该重放时间相当量，使用图象编码装置107制作的图象数据数据块速率信息。

图象声音同步装置110分别给编码图象读出装置115和编码声音读出装置113读出的编码图象信息S163以及编码声音信息S153赋予序列首部，交替排列地输出，具有用于该作业的内部缓冲器111。可以使用与声音·图象用的缓冲器相同的高速存储装置来作为内部缓冲器111。文件管理装置112在一般的操作系统中作为文件系统而存在，管理保存用存储装置(一般为硬盘)中的文件，把从图象声音同步装置110所输出的信息S170存储在保存用存储装置内的文件中。

图2是用于说明本实施例1的图象声音编码复用装置的图象·声音处理时的工作的图。图3是用于说明图象缓冲装置108中的暂时存储的图。在该图中，S162是由图象编码装置107进行编码处理的编码图象信息。图象编码装置107按上述那样制作图象数据数据块速率信息S203，把其与编码图象信息S162一起输出给图象缓冲装置108，图象缓冲装置108把它们存储在图象缓冲器中。图象数据数据块速率信息S203包含代表编码图象信息的尺寸的编码图象量S201和作为重放时的重放时间的编码图象时间信息S202。接着，其中的编码图象时间信息S202被作为表示图象和声音的复用中的复用单位(时间间隔)的同步间隔时间信息来使用。

下面按照图2并参照图1和图3来说明这样构成的本实施例1的图象声音编码复用装置的图象·声音处理的动作。

首先，在图2中，图象声音输入装置101取入图象·声音，并分成为模拟声音信息S150和模拟图象信息S160而输出。接着，声音捕获装置102输入模拟声音信息S150并进行数字化，而输出数字的原声音信息S151。声音编码装置103对原声音信息S151进行编码处理，输出编码声音信息S152。其中，经过时间为0.05秒，输出9.6Kbit的编码声音信息。声音编码装置103存储该编码声音信息，更新编码声音缓冲量S105，作为上述值9.6Kbit，保持该值。

另一方面，图象捕获装置106输入模拟图象信息S160来进行数字化，输出数字的原图象信息S161。图象编码装置107对原图象信息S161进行编码处理，而输出编码图象信息S162。其中，经过时间为0.1秒，输出150Kbit的编码图象信息。图象编码装置107根据该编码处理的结果，来制作由代表编码图象信息的尺寸和作为重放时的重放时间的编码图象时间信息组成的图象数据数据块速率信息S203，并与编码图象信息S162一起输出。

图象缓冲装置108把图象数据数据块速率信息S203和编码图象信息S162存储在图象缓冲器中。此时，对于图象数据数据块速率信息S203具有的编码图象时间信息S202，为了用于后段的处理，而作为同步间隔时间信息S109来进行保持。接着，图象声音同步装置110取得图象缓冲装置108保持的同步间隔时间信息S109，把该值作为声音时间信息S114，而输出给编码声音读出装置113。同样，图象声音同步装置110根据同步间隔时间信息S109而把图象时间信息S116输出给编码图象读出装置115。在此情况下，输出表示任意的「0.1秒」的声音时间信息S114和图象时间信息S116。

编码声音读出装置113输入表示「0.1秒」的声音时间信息S114，知道应读出相当于0.1秒的19.2Kbit的编码声音信息，参照声音缓冲装置104保持的编码声音缓冲量S105，与其进行比较。其中，编码声音缓冲量S105为上述那样的9.6Kbit，由于不足应读出的量，编码声音读出装置113不读出编码声音信息。

另一方面，编码图象读出装置115输入表示「0.1秒」的图象时间信息S116，知道应读出相当于0.1秒的编码图象信息，参照图象缓冲装置108保持的图象数据数据块速率信息S203。接着，编码图象读出装置115得知存储在图象缓冲装置108的图象缓冲器中的编码图象信息为0.1秒的程度以及其量为150Kbit，读出150Kbit程度的编码图象信息S163，从图象缓冲装置108的图象缓冲器削除该读出程度的编码图象信息S162和图象数据数据块速率信息S203。

编码图象读出装置115把读出的编码图象信息S163输出给图象声音同步装置110，图象声音同步装置110把编码图象信息S163存储在内部缓冲器111中。

在此，执行图象编码处理。图象编码装置107对原图象信息S161进行编码处理，输出编码图象信息S162。其中经过时间为0.2秒，输出200Kbit的编码图象信息。图象编码装置107根据该编码处理的结果，制作由代表编码图象信息的尺寸的编码图象量和作为重放时的重放时间的编码图象时间信息组成的图象数据数据块速率信息S203，把其与编码图象信息S162一起输出。图象缓冲装置108把图象数据数据块速率信息S203和编码图象信息S162存储在图象缓冲器中。同样，把图象数据数据块速率信息S203具有的编码图象时间信息S202作为同步间隔时间信息S109来进行保持。

另一方面，执行声音编码，声音编码装置103对原声音信息S151进行编码处理，输出编码声音信息S152。其中，经过时间为0.35秒，输出67.2Kbit的编码声音信息。声音编码装置103存储该编码声音信息，把编码声音缓冲量S105更新为76.8Kbit，并保持它。

编码声音读出装置113输入表示「0.1秒」的声音时间信息S114，应读出相当于0.1秒的19.2Kbit的编码声音信息。其中，当参照声音缓冲装置104保持的编码声音缓冲量S105时，按上述那样，为76.8Kbit，由于超过了应读出的量，编码声音读出装置113从声音缓冲装置104的声音缓冲器中削除该读出程度编码声音信息S152。声音缓冲装置104因进行了来自声音缓冲器的削除而把编码声音缓冲量S105更新为57.6Kbit，而保持它。

编码声音读出装置113把读出的编码声音信息S153输出给图象声音同步装置110，图象声音同步装置110把编码声音信息S153存储在内部缓冲器111中。此时，图象声音同步装置110与上一次输入编码声音信息S153的编码图象信息一起来制作图象声音编码复用信息S170，把其输出给文件管理装置112。文件管理装置112把图象声音编码复用信息S170作为文件来存储，或者追加存储到文件中。在图2所示的情况下，所追加的图象声音编码复用信息S170由对应于同步间隔时间信息S109的量S1的编码图象信息和同样对应于同步间隔时间信息S109的量S2的编码声音信息所构成。

这样，根据本实施例1的图象声音编码复用装置，其中包括：图象编码装置107，进行对应于原图象信息S161的编码处理，而生成编码图象信息S162，同时，制作作为表示该编码图象信息S162的大小和重放时间的信息的图象数据数据块速率信息S203，与编码图象信息S162一起输出；暂时存储它们的图象缓冲装置108；暂时存储编码声音信息的声音缓冲装置104；图象声音同步装置110，使用包含在图象数据数据块速率信息S203中的时间信息作为用于复用处理的同步间隔时间信息S109，并且作为图象时间信息S116和声音时间信息S114而输出；编码图象读出装置115，读出对应于上述图象时间信息S116的量的编码图象信息；编码声音读出装置113，读出对应于上述声音时间信息S114的量的编码声音信息，由此，把被编码的信息暂时存储在缓冲器中，当达到图象和声音应交替输出的量之后，读出两者，进行替换，然后，作为图象声音编码复用信息而输出。由此，即使没有始终均等地进行声音和图象的编码处理，也能以相同的重放时间的单位来对图象和声音进行复用处理。而且，在本实施例1中，图象数据数据块速率信息与编码图象信息一起进行暂时存储，使用其来进行复用处理，由此，即使编码图象信息不是固定比特率的，而是因原图象信息和其他原因单位使时间的量发生变化的变动比特率，也能进行正确的图象和声音的复用处理。

在本实施例1中，图象声音编码复用信息保存在存储装置中，但是，其也可以通过网络传输到外部，而得到同样的效果，因此，对于在传输量动态变化的网络中传输数据时的速率控制等，本发明特别有效。

根据本实施例1，编码图象信息以变动的比特率来输出，而编码声音信息以固定的比特率来输出，但是本发明并不仅限于此。即使以变动的的比特率来输出编码声音信息，通过与图象一样同编码声音信息一起输出声音数据数据块速率信息，就能进行正确的图象和声音的复用处理。在此情况下，与图象一样，可以使用在声音数据数据块速率信息中包含的时间信息(编码声音时间信息)来作为同步间隔时间信息。

根据本实施例1，使用在图象数据数据块速率信息中包含的图象时间信息来作为同步间隔时间信息，但是，也可以使用预定的值作为同步间隔时间信息。在此情况下，使用成为接近于该同步间隔时间信息的编码图象时间信息，读出对应于该编码图象时间信息的编码图象信息，而用于复用处理。例如，在同步间隔时间信息为0.5秒、编码图象时间信息为0.3秒的数据块、编码图象时间信息为0.2秒的数据块的情况下，可以同时读出相当于0.3秒的数据块的编码图象信息和相当于0.2秒的数据块的编码图象信息，而能够得到本实施例1所示的这样的图象声音编码复用信息。

实施例2

本发明的实施例2的图象声音编码复用装置，与实施例1相同，当存储在缓冲器中的编码信息达到一定量时，取出而得到编码图象声音复用信息。

图4是表示本发明的实施例2的图象声音编码复用装置的构成的方框图。如图所示的那样，本实施例2的编码复用装置包括：图象声音输入装置101、声音捕获装置102、声音编码装置103、声音缓冲装置104、图象捕获装置106、图象缓冲装置108、图象声音同步装置110、文件管理装置112、编码声音读出装置113、图象编码装置301和编码图象读出装置302。

在该图中，图象编码装置301与实施例1的图象编码装置107一样对图象信息S161进行编码处理，而生成编码图象信息S162，同时，按下述那样，制作该编码图象信息S162中的表示单位时间的量的编码图象单位时间量S401(图5和图6所示的)，把其输出给图象缓冲装置108。图象缓冲装置108存储编码图象信息S162和编码图象单位时间量S401。编码图象读出装置302与实施例1一样读出对应于所输入的声音时间信息S114的量的编码图象信息，并进行削除，但是，在调查上述应读出的量的编码图象信息的量时，使用编码图象单位时间量S401。图象声音同步装置110使用具有预先设定的值的同步间隔时间信息S303，而作为声音时间信息S114和图象时间信息S116输出。其中，同步间隔时间信息S303被设定为0.1秒。

图象声音输入装置101、声音捕获装置102、声音编码装置103、声音缓冲装置104、图象捕获装置106、文件管理装置112和编码声音读出装置113与实施例1相同，而省略其说明。与实施例1相同，编码声音信息S152以固定的比特率192Kbit从声音编码装置103输出，而编码图象信息S162却是以变动的比特率被输出的。

图5是用于说明本实施例2的图象声音编码复用装置的图象·声音处理时的工作的图。图6是用于说明图象缓冲装置108中的暂时存储的图。在该图中，S162a和S162b是由图象编码装置301进行编码处理的编码图象信息。图象编码装置301按上述那样来制作编码图象单位时间量S401，把其与编码图象信息S162a和S162b一起输出给图象缓冲装置108，图象缓冲装置108把它们存储在图象缓冲器中。如图所示的那样，在本实施例2中，可以暂时存储一个以上的编码图象单位时间量S401。如该图所示的那样，S401表示的量「150Kbit」和「200Kbit」的信息意味着：作为所存储的编码图象信息S162的最初的单位时间(0.1秒)的S162a的量是150Kbit，下一个单位时间单位时间(0.1秒)S162b的量是200Kbit。即，编码图象单位时间量S401把图象编码装置301输出的编码图象信息S162分割成为其具有的重放时间为单位时间(0.1秒)(在此例中，S162→S162a和S162b)制成为表示该分割的各个编码图象信息(S162a和S162b)的量的信息。

下面按照图5并参照图4和图6来说明这样构成的本实施例2的图象声音编码复用装置的图象·声音处理的动作。

首先，在图5中，图象声音输入装置101取入图象·声音，并分成为模拟声音信息S150和模拟图象信息S160而输出。接着，声音捕获装置102输入模拟声音信息S150并进行数字化，而输出数字的原声音信息S151。声音编码装置103对原声音信息S151进行编码处理，输出编码声音信息S152。其中，经过时间为0.05秒，输出9.6Kbit的编码声音信息。声音编码装置103存储该编码声音信息，更新编码声音缓冲量S105，作为上述值9.6Kbit，保持该值。

另一方面，图象捕获装置106输入模拟图象信息S160来进行数字化，输出数字的原图象信息S161。其中，存在其他程序的执行，图象编码处理不进行，接着原图象信息S161的输出，这样的期间为0.2秒的长度。

然后，当执行图象编码处理时，图象编码装置301对0.2秒程度的原图象信息S161进行编码处理，而生成编码图象信息S162，把其输出给图象缓冲装置108。在经过时间0.2秒中，在最初的0.1秒中输出150Kbit的编码图象信息，在接着的0.1秒中输出100Kbit的编码图象信息，图象编码装置301制作表示「150Kbit」和「200Kbit」的编码图象单位时间量S401，把它们输出给图象缓冲装置108。

图象缓冲装置108存储图象编码装置301输出的编码图象信息S162和编码图象单位时间量S401。在此情况下的存储的状态为上述图6所示的那样。

图象声音同步装置110使用具有预先设定值「0.1秒」的同步间隔时间信息S303，把该值作为声音时间信息S114输出给编码声音读出装置113，把该值作为图象时间信息S116而输出给编码图象读出装置115。

编码声音读出装置113输入表示「0.1秒」的声音时间信息S114，知道应读出相当于0.1秒的19.2Kbit的编码声音信息，参照声音缓冲装置104保持的编码声音缓冲量S105，与其进行比较。其中，编码声音缓冲量S105为上述那样的9.6Kbit，由于不足应读出的量，编码声音读出装置113不读出编码声音信息。

另一方面，编码图象读出装置302输入表示「0.1秒」的图象时间信息S116，知道应读出相当于0.1秒的编码图象信息，参照图象缓冲装置108保持的编码图象单位时间量S401。接着，编码图象读出装置115得知存储在图象缓冲装置108的最初的0.1秒的编码图象信息的量为150Kbit，读出150Kbit的编码图象信息而作为S163输出给图象声音同步装置110，从图象缓冲装置108的图象缓冲器削除表示对应于该读出的编码图象信息S162a和S162b的「150Kbit」的编码图象单位时间量S401。图象声音同步装置110把编码图象信息S163存储在内部缓冲器111中。

在此，执行声音编码，声音编码装置103对原声音信息S151进行编码处理，输出编码声音信息S152。其中，经过时间为0.15秒，输出28.8Kbit的编码声音信息。声音编码装置103存储该编码声音信息，把编码声音缓冲量S105更新为38.4Kbit，并保持它。

编码声音读出装置113输入表示「0.1秒」的声音时间信息S114，应读出相当于0.1秒的19.2Kbit的编码声音信息。其中，当参照声音缓冲装置104保持的编码声音缓冲量S105时，按上述那样，为38.4Kbit，由于超过了应读出的量，编码声音读出装置113读出19.2Kbit的编码声音信息S153，从声音缓冲装置104的声音缓冲器中削除该读出程度的编码声音信息S152。声音缓冲装置104因进行了来自声音缓冲器的削除而把编码声音缓冲量S105更新为19.2Kbit，而保持它。

编码声音读出装置113把读出的编码声音信息S153输出给图象声音同步装置110，图象声音同步装置110把编码声音信息S153存储在内部缓冲器111中。此时，图象声音同步装置110与上一次输入编码声音信息S153的编码图象信息一起来制作图象声音编码复用信息S170，把其输出给文件管理装置112。文件管理装置112把图象声音编码复用信息S170作为文件来存储，或者追加存储到文件中。在图5所示的情况下，所追加的图象声音编码复用信息S170由对应于同步间隔时间信息S303的量S1的编码图象信息和同样对应于同步间隔时间信息S303的量S2的编码声音信息所构成。

图象声音同步装置110再次把表示作为同步间隔时间信息S303的「0.1秒」的声音时间信息S114和图象时间信息S116输出给编码声音读出装置113和编码图象读出装置302。

编码声音读出装置113输入表示「0.1秒」的声音时间信息S114，与以前相同地读出19.2Kbit的编码声音信息S153，进行从声音缓冲器的削除和编码声音缓冲量S105的更新。

当编码声音信息S153被输出给图象声音同步装置110时，与以前相同来进行图象声音编码复用信息S170的制作、向文件管理装置112的输出以及由文件管理装置112所进行的追加存储。

这样，根据本实施例2的图象声音编码复用装置，其中包括：图象编码装置301，进行对应于原图象信息S161的编码处理，而生成编码图象信息S162，同时，制作作为表示该编码图象信息S162的单位时间的量的信息的编码图象单位时间量S401，把其与编码图象信息S162一起输出；暂时存储它们的图象缓冲装置108；暂时存储编码声音信息的声音缓冲装置104；图象声音同步装置110，使用预先设定的同步间隔时间信息S109的值，并且作为图象时间信息S116和声音时间信息S114而输出；编码图象读出装置302，读出对应于上述图象时间信息S116的量的编码图象信息；编码声音读出装置113，读出对应于上述声音时间信息S114的量的编码声音信息。由此，通过使用表示相当于单位时间的编码图象信息的量的编码图象单位时间量，不是按照图象编码装置输出的编码图象信息的量，而是在对应于上述单位时间的间隔中来进行声音和图象的复用处理。即，在即使没有始终均等地进行声音和图象的编码处理，也能以相同的重放时间的单位来对图象和声音进行复用处理的实施例1的复用装置的效果的基础上，还能附加下列效果：即使一次所输出的编码信息的单位较大，也能够以预先设定的任意单位来进行声音和图象的复用处理。由此，在由其他的程序的工作等原因，编码装置的工作的定时成为隔开的腾出的定时的情况下，例如，在图象编码装置301和声音编码装置103按每一秒来进行工作的情况下，图象声音同步装置就能够输出使图象和声音以0.1秒单位交替排列的图象声音编码复用信息。但是，在本实施例2中，通过使用编码图象单位时间量，就能分析相当于单位时间的量来进行复用处理，因此，即使编码图象信息不是固定的比特率，而是因原图象信息和其他原因使单位时间的量变化的变动的比特率，也能进行正确的图象和声音的复用处理。

与实施例1相同，在本实施例2中，以变动的比特率来输出编码图象信息，以固定的比特率来输出编码声音信息，但是，但是本发明并不仅限于此。即使以变动的的比特率来输出编码声音信息，通过与图象一样同编码声音信息一起输出编码声音单位时间量，就能进行正确的图象和声音的复用处理。

根据本实施例2，虽然是使同步间隔时间信息和编码图象单位时间量的单位时间为相同的时间(0.1秒)，但是，其也可以以不同的时间来构成。在此情况下，通过使用成为接近于该同步间隔时间信息的值的编码图象时间信息，读出对应于该编码图象时间信息的编码图象信息，就能用于复用处理。例如，在同步间隔时间信息为0.5秒、编码图象单位时间量的单位时间为0.1秒的情况下，可以按表示5个左右的编码图象单位时间量的合计的量来同时读出编码图象信息，就能够得到本实施例2所示的这样的图象声音编码复用信息。

实施例3

本发明的实施例3的图象声音编码复用装置，通过进行编码信息的废弃和虚设信息的插入，来实现缓冲器溢出的防止和复用处理中的同步。

图7是表示本发明实施例3的图象声音编码复用装置的构成的方框图。如图所示的那样，本实施例3的编码复用装置包括：图象声音输入装置101、声音捕获装置102、声音编码装置103、声音缓冲装置104、图象捕获装置106、图象编码装置107、图象声音同步装置110、文件管理装置112、编码声音读出装置113、编码图象读出装置115、编码声音存储时间输出装置501、编码图象存储时间输出装置502、防止声音中断装置503、虚设图象插入装置505和图象缓冲装置506，对于实施例1的图象声音编码复用装置，成为大致相当于追加编码声音存储时间输出装置501、编码图象存储时间输出装置502、防止声音中断装置503和虚设图象插入装置505的构成。与实施例1相同，以恒定的比特率192Kbps来从声音编码装置103输出编码声音信息S152，以不断变化的比特率来输出编码图象信息S162。

编码声音存储时间输出装置501求出相当于存储在声音缓冲装置104的声音缓冲器中的完全编码声音信息的原声音信息的重放时间，并输出它。如上述那样，由于以恒定的比特率192Kbps来从声音编码装置103输出编码声音信息S152，因此，编码声音存储时间输出装置501使用表示声音缓冲装置104的声音缓冲器中的存储量的编码声音缓冲量S105(图8所示的那样)，对恒定的比特率的值192Kbps进行除法运算处理，输出所得到的值。

编码图象存储时间输出装置502求出相当于存储在图象缓冲装置506的图象缓冲器中的完全编码图象信息的原图象信息的重放时间，输出其。在本实施例3中，与实施例1相同，图象编码装置107制作作为表示编码图象信息S162的大小和重放时间的信息的图象数据数据块速率信息S203，与编码图象信息S162一起来输出其，因此，编码图象存储时间输出装置502取得在应进行存储的图象数据数据块速率信息S203中包含的编码图象时间信息S202的和，输出其。

防止声音中断装置503监视在声音缓冲装置104的声音缓冲器中所存储的编码声音信息的量，当达到一定量以上时，生成虚设图象插入装置504，把其输出给下述的虚设图象插入装置505和图象缓冲装置506。在本实施例3中，作为上述一定量，为相当于声音的3秒程度的576Kbit。随着防止声音中断装置503中的虚设图象插入时间S504的取得，使编码声音存储时间输出装置501输出的时间(编码声音存储时间)为T1，使编码图象存储时间输出装置502输出的时间(编码图象存储时间)为T2，算出从T1减去T2而得到的时间T3。

虚设图象插入装置505是在输入虚设图象插入时间S504时制成虚设编码图象信息，输出给图象缓冲装置506。制成添加在该虚设编码图象信息上的图象数据数据块速率信息并输出，此时，对于在图象数据数据块速率信息S203中包含的编码图象时间信息S202，使用虚设图象插入时间S504，制成为与该虚设图象插入时间S504相同的值。在本实施例3中，把虚设编码图象制成为具有相当于虚设图象插入时间S504并作为表示「与上一次的静止图象相同」的码的编码图象信息。

图象缓冲装置506，在输入虚设图象插入时间S504时，不存储相当于该虚设图象插入时间的编码图象信息，而废弃。

图象声音输入装置101、声音捕获装置102、声音编码装置103、声音缓冲装置104、图象捕获装置106、文件管理装置112、编码声音读出装置113和编码图象读出装置115与实施例1相同，而省略其说明。

图8是用于说明本实施例3的图象声音编码复用装置的图象·声音处理时的动作的图。下面按照图8并参照图7来说明这样构成的本实施例3的图象声音编码复用装置的图象·声音处理的动作。

首先，在图8中，图象声音输入装置101取入图象·声音，并分成为模拟声音信息S150和模拟图象信息S160而输出。接着，声音捕获装置102输入模拨拟声音信息S150并进行数字化，而输出数字的原声音信息S151。声音编码装置103对原声音信息S151进行编码处理，输出编码声音信息S152。其中，经过时间为0.05秒，输出9.6Kbit的编码声音信息。声音编码装置103存储该编码声音信息，更新编码声音缓冲量S105，作为上述值9.6Kbit，保持该值。

另一方面，图象捕获装置106输入模拟图象信息S160来进行数字化，输出数字的原图象信息S161。图象编码装置107对原图象信息S161进行编码处理，而输出编码图象信息S162。其中，经过时间为0.1秒，输出150Kbit的编码图象信息。图象编码装置107根据该编码处理的结果，来制作由代表编码图象信息的尺寸和作为重放时的重放时间的编码图象时间信息组成的图象数据数据块速率信息S203，并与编码图象信息S162一起输出它。

图象缓冲装置506把图象数据数据块速率信息S203和编码图象信息S162存储在图象缓冲器中。此时，由于把图象数据数据块速率信息S203具有的编码图象时间信息S202用于后段的处理，而作为同步间隔时间信息S109来进行保持。接着，图象声音同步装置110取得图象缓冲装置506保持的同步间隔时间信息S109，把该值作为声音时间信息S114，而输出给编码声音读出装置113。同样，图象声音同步装置110根据同步间隔时间信息S109而把图象时间信息S116输出给编码图象读出装置115。在此情况下，输出表示任意的「0.1秒」的声音时间信息S114和图象时间信息S116。

编码声音读出装置113输入表示「0.1秒」的声音时间信息S114，知道应读出相当于0.1秒的19.2Kbit的编码声音信息，参照声音缓冲装置104保持的编码声音缓冲量S105，与其进行比较。其中，编码声音缓冲量S105为上述那样的9.6Kbit，由于不足应读出的量，编码声音读出装置113不读出编码声音信息。

另一方面，编码图象读出装置115输入表示「0.1秒」的图象时间信息S116，知道应读出相当于0.1秒的编码图象信息，参照图象缓冲装置506保持的图象数据数据块速率信息S203。接着，编码图象读出装置115得知存储在图象缓冲装置506的图象缓冲器中的编码图象信息为0.1秒的程度以及其量为150Kbit，读出150Kbit程度的编码图象信息S163，从图象缓冲装置506的图象缓冲器削除该读出程度的编码图象信息S162和图象数据数据块速率信息S203。

编码图象读出装置115把读出的编码图象信息S163输出给图象声音同步装置110，图象声音同步装置110把编码图象信息S163存储在内部缓冲器111中。

在此，执行图象编码处理。图象编码装置107对原图象信息S161进行编码处理，输出编码图象信息S162。其中经过时间为0.2秒，输出200Kbit的编码图象信息。图象编码装置107根据该编码处理的结果，制作由代表编码图象信息的尺寸的编码图象量和作为重放时的重放时间的编码图象时间信息组成的图象数据数据块速率信息S203，把其与编码图象信息S162一起输出。图象缓冲装置506把图象数据数据块速率信息S203和编码图象信息S162存储在图象缓冲器中。同样，把图象数据数据块速率信息S203具有的编码图象时间信息S202作为同步间隔时间信息S109来进行保持。

在此，具有其他程序的执行，不进行声音编码处理，接着原声音信息S151的输出，这样期间为4秒长度。然后，当执行声音编码处理时，声音编码装置103对4秒长度的原声音信息S151进行编码处理，生成768Kbit的编码声音信息S152，把其输出给声音缓冲装置104。声音缓冲装置104存储编码声音信息S152，编码声音缓冲量S105被更新为777.6Kbit。

编码声音读出装置113输入表示「0.1秒」的声音时间信息S114，应读出相当于0.1秒的19.2Kbit的编码声音信息。其中，当参照声音缓冲装置104保持的编码声音缓冲量S105时，按上述那样，为777.6Kbit，由于超过了应读出的量，编码声音读出装置113从声音缓冲装置104的声音缓冲器中削除该读出程度编码声音信息S152。声音缓冲装置104因进行了来自声音缓冲器的削除而把编码声音缓冲量S105更新为758.4Kbit，并保持它。

编码声音读出装置113把读出的编码声音信息S153输出给图象声音同步装置110，图象声音同步装置110把编码声音信息S153存储在内部缓冲器111中。此时，图象声音同步装置110与上一次输入编码声音信息S153的编码图象信息一起来制作图象声音编码复用信息S170，把其输出给文件管理装置112。

如上述那样，编码声音缓冲量S105为758.4Kbit，超过了上述的一定量的756Kbit。因此，防止声音中断装置503取得编码声音存储时间输出装置501的输出T1和编码图象存储时间输出装置502的输出T2。其中，对于编码声音存储时间输出装置501的输出T1，用恒定的比特率192Kbps来除以编码声音缓冲量S105，而成为3.95秒。另一方面，对于编码图象存储时间输出装置502的输出T2，由在所存储的图象数据数据块速率信息S203中包含的编码图象时间信息S202，而成为0.2秒。因此，防止声音中断装置503通过T3＝T1-T2而得到的T3，而得到3.75秒的值。防止声音中断装置503把值为T3的虚设图象插入时间S504输出给虚设图象插入装置505和图象缓冲装置506。

虚设图象插入装置505，由于输入虚设图象插入时间S504，来制作具有相当于虚设图象插入时间S504的重放时间并作为表示「与上一次的静止图象相同」的码的编码图象信息的虚设编码图象，把其输出给图象缓冲装置506。随之，虚设图象插入装置505制成包含具有与虚设图象插入时间S504相同的值的编码图象时间信息的图象数据数据块速率信息，与虚设编码图象一起输出给图象缓冲装置506。把从虚设图象插入装置505所输出的虚设图象编码信息和伴随其的图象数据数据块速率信息存储在图象缓冲器中。

其中，由于图象声音同步装置110取得的同步间隔时间信息S109为对应于以前表示「0.2秒」的编码图象时间信息的，因此，图象声音同步装置110把表示「0.2秒」的声音时间信息S114和图象时间信息S116分别输出给编码声音读出装置113和编码图象读出装置115。编码声音读出装置113和编码图象读出装置115读出0.2秒程度的编码声音信息S153和编码图象信息S163，输出给图象声音同步装置110，由图象声音同步装置110来制作图象声音编码复用信息S170。执行声音缓冲器、图象缓冲器中的削除和编码声音缓冲量S105的更新。

接着，图象声音同步装置110取得的同步间隔时间信息S109伴随着虚设图象编码信息而成为对应于编码图象时间信息的。这样，取得了表示相当于虚设图象编码信息的「3.75秒」的同步间隔时间信息S109。图象声音同步装置110分别把表示「3.75秒」的声音时间信息S114和图象时间信息S116输出给编码声音读出装置113和编码图象读出装置115。编码声音读出装置113根据S114来读出相当于3.75秒的编码声音信息S153，输出给图象声音同步装置110。另一方面，编码图象读出装置115读出3.75秒的编码声音信息S153即所存储的虚设编码图象信息，输出给图象声音同步装置110，由图象声音同步装置110来制作图象声音编码复用信息S170。

接着，本实施例3中的图象缓冲装置506在输入虚设图象插入时间S504之后，按照相当于虚设图象插入时间S504的量，而不存储由图象编码装置107所输出的编码图象信息S162，进行废弃。

这样，根据本实施例3的图象声音编码复用装置，在实施例1的图象声音编码复用装置上追加了下列构成：编码声音存储时间输出装置501，求出相当于存储在声音缓冲器中的完全编码声音信息的原声音信息的重放时间并输出；编码图象存储时间输出装置502，求出相当于存储在图象缓冲器中的完全编码图象信息的原图象信息的重放时间并输出；防止声音中断装置503，求出虚设图象插入时间来控制编码图象信息的处理；虚设图象插入装置505，制作虚设编码图象信息。图象缓冲装置506在输入虚设图象插入时间时，在相应的时间内不对编码图象信息进行存储而废弃，由此，当在声音缓冲装置104内部的声音缓冲器中过度存储编码声音信息而发生缓冲器溢出的危险时，把虚设的编码图象信息输出给图象缓冲装置506，以成为与在声音缓冲器中所储的声音相同的重放时间，使两者的存储量为(重放时间上)相同的，把图象声音的编码信息读出到图象声音同步装置110中。由此，按照重放虚设的编码图象信息的时间，来使图象停止，就能避免编码声音信息从缓冲器溢出以及图象和声音失去同步的问题。

对于本实施例3所示的避免缓冲器溢出的构成，防止图象和声音中断的可能性，能够保证声音和图象的同步，而与缓冲器的大小无关。即，即使使用比较小的缓冲器，也能得到声音和图象同步的图象声音编码复用信息。由此而得到能够降低所需要的存储器数量的效果。而且，在把本发明用于电视电话、电视会议等重视交互性的系统时，由于减小了缓冲量，能够减小用于编码的延迟，而得到谋求通信的顺畅化的效果。

在本实施例3中，虽然是使用「与上一次的静止图象相同」的编码来作为虚设编码图象信息，但是，并不仅限于此，也可以使用其他的码。例如，通过重放虚设编码图象信息，可以设定为显示向使用者警告存在因系统负荷增大而发生声音中断的可能性的通知。

在本实施例3中，在输出虚设的编码图象信息之后，图象缓冲装置506按照相当于所输入的虚设图象插入时间S504的时间而不存储编码图象信息，进行废弃，但是，也可以采用除此之外的构成。例如，图象编码装置107输入虚设图象插入时间S504，而按照相当于该虚设图象插入时间S504的程度来不对原图象信息进行编码，而进行废弃，由此，在虚设图象插入时间中不输出编码图象信息。通过进行相应的设定，由于编码处理的中断而减少了负荷，就有把此时的计算机资源(resouce)用于其他处理的优点。

在本实施例3中，具有避免编码声音信息的缓冲器溢出的构成。这是考虑到一般声音的中断对重放产生的影响较大，但是，并不仅限于这样的构成，也能够容易地用于构成为：避免编码图象信息的缓冲器溢出。在此情况下，图象缓冲装置在编码图象信息具有溢出的危险时，向声音缓冲装置输出相当于该重放时间的虚设的编码声音信息。虚设的编码声音信息可以是代表无声状态的码，可以是向使用者警告存在发生图象中断的可能性的通知。这样，就采用可以避免图象缓冲器溢出和声音缓冲器溢出的兼顾两者的构成。

在本实施例3中，能够把避免声音缓冲器溢出的权利要求用于实施例1所示的制作使用图象数据数据块速率信息来保持同步的图象声音编码复用信息的复用装置中，也可以用于实施例2所示的使用编码图象单位时间量的构成中。这样，同样能够实现避免图象缓冲器溢出或者图象·声音双方的缓冲器溢出。

在本实施例3中，虽然是以恒定的比特率来输出编码声音信息，当然，也可以构成这样的图象声音编码复用装置：通过使用声音数据数据块速率信息和编码声音单位时间量而以变化的比特率来输出声音。

实施例4

本发明的实施例4的图象声音编码复用装置，在伴随着帧间(inter frame)编码的处理中，实现由虚设信息的插入所产生的防止缓冲器溢出和复用处理中的同步。

图9和图10是用于说明伴随着帧间编码的处理中的虚设编码图象信息插入所产生的问题的图。通常，所谓编码图象信息是指使用由MPEG(motion picture expert group)标准等所规定的压缩编码码型等来进行编码的信息，在实施例1～3所示的图象声音编码复用装置中，得到符合相应标准的编码复用信息。

在以图象为对象的情况下，对把图象进行数字化并由一连串静止图象(帧图象)组成的图象数据的原图象信息，进行压缩编码处理，在该处理中存在：帧内(intra frame)编码，对于1帧(相当于1个画面)的静止图象，根据其空间的相关关系(帧内的相关关系)，来除去冗长性而进行压缩；和帧间编码，对于时间上接近的例如连续的帧的静止图象，根据其时间上的相关关系(帧间的相关关系)，来除去冗长性而进行压缩。

在现有技术的图象编码装置中，基本上是进行帧内编码，而通过进行帧间编码却能得到高压缩率的编码数据。不过，为了进行帧间编码，要通过作为编码的逆处理的解码处理和运动检测·运动补偿(motion estimation motion compensation)处理，来生成预测图象，而取得该预测图象和编码对象图象的差分，因此，引起了需要这些处理的在装置中采用的处理负担的增大。对于进行帧间编码时的预测图象的生成，可以为：根据以前处理的数据来进行预测的顺方向(forward)预测、根据以后所处理的数据来进行预测的逆方向(backward)预测和进行顺方向或逆方向预测的双方向(bidirectionally)预测。把帧内编码表示为「I」(intra frame coding)、把顺方向预测编码表示为「P」(predictive coding)、把双方向预测编码(包含逆方向)表示为「B」(bidirectionally predictive coding)。

图9表示把帧内编码和顺方向预测编码进行组合来进行处理的情况。在顺方向预测编码中，利用运动图象的时间上的冗长性，仅把与一幅以前的静止图象的编码信息的差分作为此次的编码信息。在该图中，表示为I的帧代表这样的独立编码图象信息：在一幅帧图象内进行帧内编码，不依赖于其他的编码信息，而能够独立地进行解码。表示为P的帧代表这样的差分编码图象信息：使用以前处理的帧图象，进行顺方向预测编码，通过图示那样的参照(reference)关系，来仅对与一个以前的编码信息的差分进行编码，在解码时需要一个以前的编码信息。

如图所示的那样，在通过把帧内编码和顺方向预测编码进行组合来进行处理而得到的编码信息中，由把几个独立编码信息和多个差分编码信息进行排列的形式而构成。

图10是用于说明在这样处理的情况下按原样使用实施例3所示的虚设编码图象信息插入时的问题的图。在实施例3所示的图象声音编码复用装置中，当进行输出图9所示的编码图象信息的预定时，就要在声音缓冲器中发生缓冲器溢出，图10的A区间被置换为虚设图象。在此情况下，由图中的F1所示的编码信息，由于F0的编码信息成为虚设图象，而失去了参照差分的编码信息，就不能进行解码。当F1不能解码时，参照F1的F2也不能解码，因此，F3也不能解码。这样，当对该编码图象信息进行解码时，发生了在该部分中解码处理停止的问题。

本实施例4的图象声音编码复用装置可以解决上述问题。本实施例4的图象声音编码复用装置具有与图7所示的实施例3相同的构成，但是，图象缓冲装置506和输入虚设图象插入时间S504时的动作与实施例3不同。图11是用于说明本实施例4中的图象缓冲装置506的动作的图。

在该图中，801表示在图象缓冲装置506中所输入的编码图象信息的构成，802表示实际存储在图象缓冲装置506的图象缓冲器中的编码图象信息构成。图中的I和P标记具有与图9～图10相同的意义。图中的D是所插入的虚设编码图象信息。虚设编码图象信息与实施例3相同具有「与上一次的静止图象相同」这样的码，是能够对其独立进行解码的独立编码信息。

本实施例4图象声音编码复用装置，得到图象·声音处理时的动作，除了输入虚设图象插入时间S504时的图象缓冲装置506的动作之外，与实施例3相同，因此，下面仅对相应情况下的图象缓冲装置506的动作进行说明。

在到达图11所示的W时刻之前，输入X区间的编码图象信息，通过图象缓冲装置把该X区间的编码图象信息按原样存储在内部的图象缓冲器中。

在W时刻以后，把从虚设图象插入装置505所输出的A区间的虚设编码图象信息输入到图象缓冲装置506中，而被存储到图象缓冲器中。与实施例3相同，把编码图象信息801中包含的相当于A区间的编码图象信息，由图象缓冲装置506而不存储到图象缓冲器中，被废弃。

此后的动作，与实施例3不同，对于进行废弃以后的编码图象信息，本实施例4中的图象缓冲装置506执行以下这样的判定和处理。即，在废弃以后，对于所输入的编码图象信息，在进行解码时，进行这样的判定：是需要一个以前的编码信息的差分编码图象信息(P码)，还是不依赖于其他的编码信息而能够独立进行解码的独立编码图象信息(I码)，如果是P码，则不进行存储而废弃，用虚设编码图象信息来取代其进行存储。另一方面，如果是I码，则按原样进行存储，以后不进行相应的判定处理。

在图11中，对于A区间结束后所输入的编码图象信息F1，图象缓冲装置506进行上述的判定，由于是P码，而被废弃，存储作为「与上一次的静止图象相同」这样的码的虚设编码图象信息(D码)。即，把P码变换为D码来进行存储。对于编码图象信息F2和F3与F1同样进行处理，把D码进行存储。

接着，输入编码图象信息F4，当执行判定时，由于F4是P码，而按原样进行存储，然后，对于所输入的F5以后的编码图象信息，不进行判定而按原样进行存储。

在实施例3的情况下，图象缓冲装置506按图10所示的那样单纯地废弃相当于虚设图象插入时间S504的A区间的编码图象信息S162。这样，当存在使用该图而说明的解码处理时发生的问题时，在本实施例4中，存储在图象缓冲装置506的图象缓冲器中的编码图象信息802被用于图象声音编码复用信息中，在编码图象信息802中，对于没有P码应参照的I码，通过变换为D码就能避免上述问题。即，在本实施例4中，与实施例3相比，不至于发生图象停止(根据应用例子，显示警告)时间变长，解码处理停止的事态。

这样，根据本实施例4的图象声音编码复用装置，在与实施例3相同的构成中，图象缓冲装置506对于在虚设编码图象信息插入后所输入的编码图象信息，进行是独立编码图象信息还是差分编码图象信息的判定，在是需要参照关系的差分编码图象信息的情况下，把其变换为虚设编码图象信息来进行存储，由此，就不会与编码图象信息的参照关系发生矛盾，就能防止解码处理时的重放故障。这样，能够对更宽范围的编码处理更好地实施实施例3所示的缓冲器溢出的防止。

在本实施例4中，由于图象缓冲装置506检测到图象编码装置107输出的编码图象信息S162的参照关系，则在图象编码装置107中，不论是否插入虚设编码图象信息，都可以持续进行通常的编码工作。如实施例3中所述的那样，把虚设图象插入时间输出给图象编码装置，图象编码装置停止编码，通过该结构，就能谋求性能的提高，但是，在相应的情况下，需要图象编码装置解释虚设图象插入时间，来进行与此对应的处理。对此，根据本实施例4，不对虚设编码图象信息插入进行考虑，使用进行通常的编码工作的图象编码装置，就不会对编码图象信息的参照关系带来破绽，而能够很好地执行实施例3所示的的缓冲器溢出的避免。即使使用不能从外部变更内部工作的市售的软件模数据块和硬件等来作为图象编码装置107，也能达到上述效果。

在本实施例中，是不能进行参照的差分编码信息作为虚设的码，但是，并不仅限于此，如果是不需要参照关系的独立编码信息，也能使用。例如，能够使用具有表示声音溢出危险的图象作为重放画面的独立编码信息，而得到同样的效果。

实施例5

本发明的实施例5的图象声音编码复用装置，与实施例4相同，在伴随着帧间编码的处理中，实现由虚设信息的插入所产生的防止缓冲器溢出和复用处理中的同步。

图12是表示本实施例5的图象声音编码复用装置构成的方框图。在该图中，防止声音中断装置503具有与图7所示的实施例3相同的功能，但是，在实施例3中，是把虚设图象插入时间S504输出给图象缓冲装置506，而相应地，在本实施例5中，是把虚设图象插入时间S504输出给图象编码装置507。

当图象编码装置507输入虚设图象插入时间S504时，按照相当于该虚设图象插入时间S504的时间，而对所输入的原图象信息S161不执行编码处理，废弃原图象信息，这样，就不输出相当于虚设图象插入时间S504的编码图象信息S162。在本实施例4中，图象编码装置507对每个原图象信息的帧按照预定的编码码型来执行帧内编码和顺方向预测编码。

除了以上这点之外，本实施例5的图象声音编码复用装置具有与实施例3相同的构成。

图13是用于说明本实施例5的防止声音中断装置503和图象编码装置507的工作的图。在该图中，901表示图象编码装置507执行的预定编码处理中的编码码型。902表示从图象编码装置507输出给图象缓冲装置506的存储图象缓冲器中的编码图象信息。图中的I、P和D与实施例4相同。

下面参照图12和图13来说明本实施例5的图象声音编码复用装置的图象·声音处理时的动作。

通常时，即，在没有声音缓冲器溢出危险的状态下，与实施例3相同，执行从由图象声音输入置(摄象机)101所进行的图象·声音输入至由文件管理装置112所进行的图象声音编码复用信息S170的处理。在此情况下，在图象编码装置507中，在到达图13所示的时刻W之前，按照预定的码型来进行编码处理。

在W时刻，在声音缓冲装置104的声音缓冲器中，存储量超过一定量。防止声音中断装置503与实施例3一样工作，来求出T3。在实施例3的情况下，使用该T3来作为虚设图象插入时间S504，而在本实施例5中，没有作为本来的虚设插入时间的时间T3，而使用在防止声音中断装置503所进行的下述这样的判定处理所求出的虚设图象插入时间S504。

首先，防止声音中断装置503从虚设编码图象信息插入开始的时刻，指定在经过了作为本来的虚设插入时间的时间T3的时刻上应被重放的编码图象信息，判定似的能够对该编码图象信息进行解码。对于该编码图象信息，通过按照编码码型的预定来分析该判定是由编码处理来得到I码还是得到P码，由此来执行该判定。如果能够对该编码图象信息进行解码，判定处理结束，而如果不能进行解码，则对后续的编码图象信息进行同样的判定，通过反复进行该判定，来指定最初能够解码的编码图象信息，而取得其重放定时。如果取得了相应的重放定时，防止声音中断装置503则把从虚设编码图象信息插入开始的时刻至该重放定时表示的时刻的时间作为虚设图象插入时间S504，来输出。

在图13所示的例子中，首先求出作为W时刻的编码图象信息的重放定时的定时P1，通过把该求出的P1与本来的虚设插入时间的时间T3相加，来求出定时P2(相当于虚设插入时间经过时间)，指定作为相当于定时P2的编码图象信息的F1，进行上述判定。如图所示的那样，对于F1，来预定得到P码的顺方向预测编码处理，作为P码即差分编码图象信息的F1需要对照关系，当F0没有时，不能进行解码，而F0是具有相当于定时P1和定时P2之间的重放定时的编码图象信息，由于为未被编码的预定，而得到不能对F1进行解码的判定结果。

防止声音中断装置503对后续的编码图象信息进行判定处理，指定F2作为能够解码的编码图象信息，而取得作为该重放定时的P3。接着，通过运算来求出P3-P2的时间，通过把该求出的时间与时间T3相加，而得到时间T4。使用该时间T4来作为从虚设图象编码信息输入开始至编码图象信息F2的重放定时表示的时刻的时间即虚设图象插入时间S504。

防止声音中断装置503把虚设图象插入时间S504输出给虚设图象插入装置505和图象编码装置507。在输入虚设图象插入时间S504的图象编码装置507中，中止相当于虚设图象插入时间S504的编码。另一方面，虚设图象插入装置505进行与实施例3相同的动作。

在图13中，在W时刻以后的T4时间中不进行图象编码处理，把相应的虚设编码图象信息存储在图象缓冲器中。然后，在F2以后与X区间一样执行预定的编码处理。

这样，根据本实施例5的图象声音编码复用装置，在与实施例3相同的构成中，防止声音中断装置503通过执行对参照关系的破绽的有无的判定处理，来求出修正的虚设图象插入时间S504，把其输出给虚设图象插入装置505和图象编码装置507，在图象编码装置507中，在对应于虚设图象插入时间S504的时间中，停止图象编码处理，由此，与实施例4相同，不会与编码图象信息的参照关系发生矛盾，就能防止解码处理时的重放故障。这样，在本实施例5中，能够对更宽范围的编码处理更好地实施实施例3所示的缓冲器溢出的防止。

在本实施例5中，在虚设图象插入时间内，由于图象编码装置停止其工作，就能把进行编码的计算机资源让给其他的(例如声音编码装置)处理，而具有其他处理的进行状况好转这样的特殊的效果。

接着，与实施例4中所述的相同，在本实施例5中，作为图象编码装置，由于能够不对插入虚设图象进行考虑来进行编码处理，就能使用不能变更内部的工作例如市售的图象编码装置来实现本实施例5的装置。

在本实施例5中，虽然对输入虚设图象插入时间S504的图象编码装置507自行中止其编码工作的权利要求进行了说明，但是，实际上，可以通过在虚设图象插入时间内中止其调用的方法，来执行调用进行编码工作的的图象编码模数据块的程序。

实施例6

本发明的实施例6的图象声音编码复用装置，使用图象和声音的编码信息来在缓冲器中作为复用信息。

图14是表示本发明的实施例6的图象声音编码复用装置的构成的方框图。如图所示的那样，本实施例6的图象声音编码复用装置包括：图象声音输入装置101、声音捕获装置102、声音编码装置103、图象捕获装置106、图象编码装置107、文件管理装置112、声音缓冲装置701、图象缓冲装置702、图象声音缓冲器703和图象声音同步装置704。

在该图中，声音缓冲装置701暂时地存储声音编码装置103输出的编码声音信息。与实施例1的声音缓冲装置不同，缓冲器不是放置在内部，而是在下述的图象声音缓冲器703中进行暂时存储。图象缓冲装置702暂时地存储图象编码装置107输出的编码图象信息。与实施例1的图象缓冲装置不同，缓冲器不是放置在内部，而是在下述的图象声音缓冲器703中进行暂时存储。由半导体存储器等高速存储装置来实现图象声音缓冲器703，而暂时地存储编码声音信息和编码图象信息。图象声音同步装置704读出在图象声音缓冲器703中没有间隙地存储编码声音信息和编码图象信息的部分，并输出它。

图象声音输入装置101、声音捕获装置102、声音编码装置103、图象捕获装置106、图象编码装置107、文件管理装置112与实施例1相同，而省略其说明。

图15是表示本实施例6的声音编码复用装置的编码和复用处理的一例的流程图。图16是表示本实施例6的声音编码复用装置的信息的流程的图。如图16所示的那样，在图象声音缓冲器703中，编码声音信息所存储的数据块和编码图象信息所存储的数据块，以与实施例1中的同步间隔时间信息相对应的重放时间Tm的单位(即S1和S2的单位)，预先交替地排列。在本实施例6中，使上述时间Tm为0.1秒，使编码图象信息的比特率(单位时间的量)为1500Kbit/sec，使编码声音信息的比特率为192Kbit/sec。因此，S1为150kb，S2为19.2Kbit。其中，图象序列首部和声音序列首部被预先写在编码声音信息所存储的数据块之前和编码图象信息所存储的数据块之前。

在声音缓冲装置701把编码声音信息存储在图象声音缓冲器703中时，如果存在夹在数据所存储的图象存储用数据块中的空的声音存储用数据块，则从前方存储到这样的声音存储用数据块中，否则，从前方存储到空的声音存储用数据块中。由图象缓冲装置702所进行的存储是相同的。

与实施例1所述的相同，图象声音缓冲器703采用FIFO(First-In-First-Out)构造，即能够进行先入先出处理，具体地说，相应的FIFO构造可以通过按照环行缓冲器等算法来实现。即，执行读出和写入，以便于在编码声音信息和编码图象信息依次从开头向末尾进行存储之后，从存储结束的那个起，从开头向末尾依次读出上述编码声音信息和编码图象信息，使所读出的数据块为空的数据块。在信息的存储到达未尾时，全部被读出，而返回到成为空的开头的数据块，并进行新的信息的存储。但是，并不是一定需要环行缓冲器等特定的措施。

下面根据图15的流程并参照图14和图16来说明这样构成的图象声音编码复用装置的动作。

在图15的步骤1中，当存在来自图象声音输入装置101(图16)的图象·声音的输入时，执行涉骤2以下。在步骤2中，图象声音输入装置101取入图象·声音，分成为模拟声音信息S150和模拟图象信息S160并输出，图象捕获装置106输入从图象声音输入装置101所输出的模拟图象信息S160，进行数字化而输出原图象信息S161。接着，图象编码装置107把原图象信息S161进行数字化，作为编码图象信息S162而输出。输出2幅静止图象的0.066秒的100Kbit。

在步骤3中，图象缓冲装置702把由步骤2所输出的100Kbit的编码图象信息S162存储到图象声音缓冲器703的图象存储用的数据块中，图象存储用数据块的大小为S1即150Kbit，因此，该编码图象信息被存储在第一图象存储用数据块的中途。

在步骤4中，通过图象声音同步装置704，判定是否是在图象声音缓冲器703中充满了图象数据块、声音数据块的部分，其中，如果没有充满任一个数据块，则转到步骤6，声音捕获装置102输入从图象声音输入装置101所输出的模拟声音信息S150，进行数字化而输出原声音信息S151。接着，声音编码装置103对原声音信息S151进行编码，而作为编码声音信息S152而输出。由于其中的经过时间为0.1秒，则输出19.2Kbit的编码声音信息S152。

接着，在步骤7中，声音缓冲装置701把在步骤6中所输出19.2Kbit的编码声音信息S152存储到图象声音缓冲器703的声音存储用数据块中。由于其量为作为声音存储用数据块的大小的S2，其信息被存储成第一声音存储用数据块恰好充满的程度。

其中，把CPU处理的时间让给其他的处理，然后，在步骤8中，进行与步骤4相同的判定。其中，由于编码图象数据块未被充满，而执行步骤2，当控制移到图象编码装置107时，从步骤3经过了1秒的时间。在步骤2中，图象编码装置107输出1秒的编码图象信息S162、1500Kbit。

接着，在步骤3中，图象缓冲装置702把在步骤2中所输出的1500Kbit的编码图象信息S163存储到声音缓冲装置701的图象存储用数据块中。该编码图象信息S163首先充满第一图象存储用数据块，然后，分给第二以后的多个图象存储用数据块来进行存储。

在接着的步骤4的判定中，由于第一图象存储用数据块和第一声音存储用数据块都被充满，则执行步骤5。在步骤5中，图象声音同步装置704与序列首部一起读出第一图象存储用数据块和第一声音存储用数据块，把其输出给文件管理装置112。图象声音缓冲器703中的所读出的数据块为空的数据块。文件管理装置112把从图象声音同步装置704所输出的图象声音编码复用信息S170追加存储到文件中。

在接着的步骤4的判定中，由于声音存储用数据块未被充满，就不进行从其以上的缓冲器的读出(步骤的执行)，而转移到步骤6，在此，控制移给声音编码装置103。由于从以前的步骤7经过了1.2秒的时间，声音编码装置103输出1.2秒的230.4Kbit的编码声音信息S152。接着，在步骤7中，声音缓冲装置701把在步骤6中所输出的230.4Kbit的编码声音信息S152存储到图象声音缓冲器703的声音存储用数据块中。该信息被分给第一以后的的多个声音存储用数据块来进行存储。

在步骤8的判定中，在以前的步骤7之前的阶段中，由于从第二到第十的图象存储用数据块和第二到第十的声音存储用数据块都被充满，执行步骤9，图象声音同步装置704与序列首部一起依次读出从第二到第十的图象和声音存储用数据块，输出其。图象声音缓冲器703中的所读出的数据块成为空的数据块。接着，文件管理装置112把所输出的图象声音编码复用信息S170追加到文件中。

在步骤1的判定中，当存在图象声音的输入时，重复进行上述处理。

在本实施例6的图象声音编码复用装置中，使用图象声音缓冲器703，该图象声音缓冲器703是：当通过图象缓冲装置702和声音缓冲装置701，而把被编码了的图象和声音的信息暂时存储到缓冲器中时，以图象和声音共同的预先决定的单位来交替排列的缓冲器。由此，当图象和声音两者达到能够作为图象声音编码复用信息S170输出的量时，图象和声音的排列已经结束，因此，图象声音同步装置704可以按原样读出缓冲器的内容，并输出。由此，成为这样的构成：在把编码信息存储到存储用数据块中的阶段中，同步处理结束。就不需要象实施例1的装置那样，存储并管理数据数据块速率信息。而且，由于不需要用于图象和声音排列的缓冲器，可以减少存储器的需要量。

在图15的流程图中，采用图象编码→缓冲器量判定→声音编码→缓冲器量判定这样的算法，但这仅是一例，也可以采用这样的算法：在以任意的次序进行图象编码和声音编码之后，进行缓冲器量判定。并且可以不按这样的固定的处理程序，作为个别的工作来并行地进行图象·声音各自的编码、缓冲器量判定以及从读出到存储，并不一定要按照该图的流程图的流程而工作。

在本实施例6中，对以恒定的比特率而输出图象·声音的编码信息，但是，也可以适用于变化的比特率的情况。在此情况下，例如可以设定成这样：在图象缓冲装置中，存储进行暂时存储时的编码声音信息的输出比特率，在把编码图象信息存储到图象声音缓冲器中时，根据该存储的比特率，来取得在编码声音信息的暂时存储中所需要的区域的大小，在该间隙中暂时存储编码图象信息。

但是，在图象·声音为恒定的比特率的情况下，如本实施例6所示的那样，通过采用预先配置大小和位置固定的存储用数据块来在该数据块中存储编码信息，由此，迅速地得到编码图象声音复用信息的效果特别显著。

实施例7

本发明的实施例7的图象声音编码复用装置，抑制暂时存储编码声音信息和编码图象信息的量，而存储在保存用存储装置中。

图17是本发明的实施例7的图象声音编码复用装置的构成图。如图所示的那样，本实施例7的图象声音编码复用装置包括：图象声音输入装置101、声音捕获装置102、声音编码装置103、图象捕获装置106、图象编码装置107、声音缓冲装置801、图象缓冲装置802和文件管理装置803，而不包括图象声音缓冲器(图14的703)和图象声音同步装置(图14的704)，这点与实施例6的装置不同。

在该图中，声音缓冲装置801在内部具有声音缓冲器，当该缓冲器变满时，输出给文件管理装置803，以把其内容写入保存用存储装置中。图象缓冲装置802与声音缓冲装置801一样在内部具有缓冲器，当该缓冲器变满时，输出给文件管理装置803，以把其内容写入保存用存储装置中。声音缓冲装置801的声音缓冲器和图象缓冲装置802的图象缓冲器，其大小对于文件管理装置803管理的保存用存储装置来说具有与所规定的最小写入单位的大小相同的大小。文件管理装置803把声音缓冲装置801和图象缓冲装置802指定写入位置并输出的编码信息存储到保存用存储装置中。

图象声音输入装置101、声音捕获装置102、声音编码装置103、图象捕获装置106和图象编码装置107与实施例1相同，而省略其说明。

图18是表示本实施例7的声音编码复用装置的编码和复用处理的一例的流程图。图19是表示本实施例7的声音编码复用装置的信息的流程的图。如图19所示的那样，声音缓冲装置801和图象缓冲装置802两者，在把信息写入保存用存储装置时，在保存用存储装置中图象和声音交替排列，以重放时间Tm的单位(即，作为信息量的S1和S2的单位)来指定记录位置，以便于跳过存储其他信息的部分来进行记录。

如果使用一般的硬盘等来作为保存用存储装置，由于其最小的写入单位为扇区的大小，声音缓冲装置801和图象缓冲装置802具有扇区的大小的内部缓冲器，来进行以扇区单位写入的指定。其中，使扇区的大小为5008bit(626byte)，使编码图象信息的比特率为1500Kbit/sec，使编码声音信息的比特率为200Kbit/sec，使重放时间Tm为0.1秒，而且，在各个扇区的开头具有表示图象和声音的8bit的序列首部。这样，对应于重放时间T的编码图象信息的量为150Kbit，为30个扇区，编码声音信息的量为20Kbit，为4个扇区。文件管理装置803根据声音缓冲装置801和图象缓冲装置802的指示，把信息写入扇区单位。

下面根据图18是流程并参照图17和图19来说明这样构成的本实施例7图象声音编码复用装置的动作。

在图18的步骤1中，当存在来自图象声音输入装置101的图象·声音的输入时，执行步骤2以下。在步骤2中，图象声音输入装置101取入图象·声音，分成为模拟声音信息S150和模拟图象信息S160并输出，图象捕获装置106输入从图象声音输入装置101所输出的模拟图象信息S160，进行数字化而输出原图象信息S161。接着，图象编码装置107把原图象信息S161进行数字化，作为编码图象信息S162而输出。输出2幅静止图象的0.066秒的100Kbit。

在步骤3中，图象缓冲装置802给由步骤2所输出的100Kbit的编码图象信息S163附加与序列首部一起写入保存用存储装置中的指示，并输出给文件管理装置803，该编码图象信息S163从保存用存储装置的某个位置起被存储在20个扇区中。

在步骤4中，声音捕获装置102输入从图象声音输入装置101所输出的模拟声音信息S150，进行数字化而输出原声音信息S151。接着，声音编码装置103对原声音信息S151进行编码，而作为编码声音信息S152输出。由于其中的经过时间为0.1秒，则输出20Kbit的编码声音信息S152。

接着，在步骤5中，声音缓冲装置801给上述20Kbit的编码图象信息S163附加与序列首部一起写入保存用存储装置中的指示，并输出给文件管理装置803，该编码图象信息S163从离开步骤3中写入的开头位置30个扇区的扇区起被存储到4个扇区中。

其中，把CPU处理的时间让给其他的处理，在然后执行的步骤1的判定中，成为未结束，而执行步骤2，当控制移到图象编码装置107时，从以前的步骤3经过了1秒的时间。在步骤2中，图象编码装置107输出1秒的编码图象信息S162、1500Kbit。

接着，在步骤3中，图象缓冲装置802把在步骤2中所输出1500Kbit的编码图象信息输出给文件管理装置803，以便于存储到保存用存储装置中。编码图象信息S163接着在以前的步骤3中写入的扇区被存储在300个扇区中。此时，从图象缓冲装置802向文件管理装置803发出这样的指示：在每30扇区中一边插入声音用的4扇区的间隙一边进行存储。根据文件管理装置803来进行按照其指示的存储。

移到步骤4，当控制移到声音编码装置103时，从以前的步骤5经过了1.2秒的时间，声音编码装置103输出1.2秒、240Kbit的编码声音信息S152。接着，在步骤5中，声音缓冲装置801把在步骤4中所输出的240Kbit的编码声音信息输出给文件管理装置803，以便于存储到保存用存储装置中。编码声音信息S1S3从离开在以前的步骤5中写入的最后扇区30个扇区处起被存储到48个扇区中，这样，此时进行这样的指示：在每4个扇区中，一边插入图象用的30扇区的间隙一边进行存储。文件管理装置803按照指示来存储编码声音信息S153。重复进行在步骤1中没有图象声音的输入即判定为结束之前的处理。

在上述这样的本实施例的图象声音编码复用装置中，设置具有容量较小的内部缓冲器的声音缓冲装置801和图象缓冲装置802，不用于应成为被编码的图象和声音的信息的缓冲器，而存储在保存用存储装置中。这样，发出这样的指示：如果是编码图象信息的存储，一边腾出用于编码声音信息的间隙一边进行存储；如果是编码声音信息的存储，则一边腾出用于编码图象信息的间隙一边进行存储，把编码信息交给文件管理装置803，文件管理装置803根据该指示而把编码信息存储到保存用存储装置中。由此，在实施例1和2所示的效果上还附加了这样的效果：在能够减小暂时存储信息的缓冲器的基础上，由于可以暂时解决编码信息的复制，则工作是迅速的。

其中，虽然说明了把一般的硬盘来作为最终进行存储的存储装置，但是，也可以是，例如，在把可以取出的存储器卡等作为最终的存储装置的情况下，就不需要受到在该例子中考虑的扇区的大小等的限制，而能够进一步减小缓冲器。

与实施例6相同，对于图18的流程图，并不是一定要按其程序来进行处理。

实施例8

本发明的实施例8的图象声音编码复用装置，避免了在实施例6的装置中因使用环行缓冲器来实现时所引起的问题。

象在实施例6中所述的那样，使用半导体存储器来用于图象声音编码复用装置中的暂时存储，在一般所限定的容量中，希望高效地实现FIFO构造，通过环行缓冲器的措施来使用存储器的权利要求是通常的方法。图20是用于说明环行缓冲器的方法的图。按上述那样，作为进行暂时存储的缓冲器，可以使用被限定了的容量的存储器。但是，存储器被在位置上表示其存储部位的地址来管理。如图所示的那样，使用具有从地址a到地址a+n的地址的存储器来作为缓冲器。此时，对于该存储器的存储部位，按地址编号增加的方向来进行存储和取出，并且，地址a+n后的下一个地址为地址a，通过这样的处理，按图示的那样，就能循环地使用存储器。通过这样使用，就能有效地使用有限容量来实现FIFO构造。

图21是用于说明这样的问题的图：在实施例6的图象声音编码复用装置中，使用由环行缓冲器方法进行管理的存储器来作为图象声音缓冲器(图16的705)时引起的问题。

该图的701表示图象声音缓冲器中的声音存储数据块和图象存储数据块的构成。为了说明，其中，使编码声音信息的比特率为384Kbps，编码图象信息的比特率为524Kbps，声音存储数据块和图象存储数据块是，因执行编码复用信息的重放处理的系统的制约，而制成为具有与任一个相同的大小，通过声音和图象的数据块的个数来吸收声音和图象的比特率之差。即，在此例中，由于，图象和声音的比特率之比为524∶384即1.36∶1，则对于一至两个图象数据块，来制成与一个声音数据块进行排列的构成的复用信息。

701表示该构成。其中，在该图中，表现为图象声音缓冲器具有无限的大小，而现实中能够使用的存储器却是有限的，因此，如该图的702所示的那样，切去701的一部分(A区间)，把其作为环行缓冲器，来重复使用。其中，本来，必须实现该图701的B区间中的声音存储数据块和图象存储数据块的排列，切去A区间而把其作为环行缓冲器来重复使用，因此，就会在数据块的构成中产生偏差，声音和图象的数据块也会错开。即，在该图的702中，由于作为环行缓冲器使用的暂时存储装置(存储器)中的图象和声音的比特率之比为1.4∶1，与本来的1.36∶1相比，图象存储数据块较多，由此而发生了偏差。表示该偏差的是702中的T1V，T1A，T2V，T2A…TnV，TnA。TnV和TnA分别表示应在时刻Tn进行重放的图象的位置和声音的位置。如702所示的那样，每当重复使用环行缓冲器时，TnV和TnA的位置上的偏差都会增大。

当重放这样的编码图象声音复用信息时，重放装置的缓冲器不能吸收该TnV和TnA的位置上的偏差，而出现不能保持图象和声音的同步的事态。

为了解决这样的问题，可以在再次利用环行缓冲器之前计算图象声音缓冲器中的图象和声音存储数据块的构成，置换为校正了图象和声音存储数据块的位置的构成。但是，当进行这样的计算时，作为实施例6的装置特征，要预先计算数据块的位置，在复用开始之后，来进行仅在所定位置上存储编码信息的动作，由此，因由计算所进行的处理负担增大而导致有损于高速进行复用的效果。

如果在图象声音缓冲器中，实现了图象和声音的比特率的正确的比例，就没有问题，但是，在现实中，实现其要带来困难，就会发生牺牲性能的结果。例如，按上述那样，存在这样的情况：由于重放处理系统的限制，图象存储数据块和声音存储数据块都必须为相同的大小。根据计算机系统，在用于处理的效率高的环境(字边界和硬盘的扇区的倍数单位)中，更示讲行对齐图象和声音存储数据块。对应于这些限制，并且，在有限的存储器空间中，难于在比特率的全部比例中始终实现图象和声音的比特率的正确比例。

在本实施例8的图象声音编码复用装置中，通过进行校正处理，就能防止相应的存储位置的偏差问题。

图22是表示本实施例8的图象声音编码复用装置的构成的方框图。如图所示的那样，本实施例8的图象声音编码复用装置是在实施例6的装置上追加了存储数据块误差校正装置901。存储数据块误差校正装置901按照时间间隔而间断地工作，进行下列处理：误差检测处理，检测出存储着应在某个重放时刻进行重放的编码声音信息的声音存储数据块，并且，检测出存储着应在该重放时刻进行重放的编码图象信息的图象存储数据块，检测出图象声音缓冲器703中的上述声音存储数据块和上述图象存储数据块的配置位置之差来作为存储数据块误差；校正处理，把该检测出的误差的部分，相对于图象存储数据块和声音存储数据块，来插入虚设的数据，由此，进行校正。对于对编码图象声音复用信息进行解码并重放的解码器来说，在校正处理中插入的虚设的数据是使用没有任何意义的数据的数据。而且，在图象声音缓冲器902中，执行环行缓冲器的动作。由于图象声音输入装置101、声音捕获装置102、声音编码装置103、图象捕获装置106、图象编码装置107和文件管理装置112与实施例1相同，并且声音缓冲装置701和图象缓冲装置702与实施例6相同，而省略其说明。

图23是用于说明本实施例8的图象声音编码复用装置中的图象·声音处理时的动作的图。如图所示的那样，在图象声音缓冲器902中，以对应于实施例1中的同步间隔时间信息的重放时间T的单位(即S1和S2的单位)来预先交替排列编码声音信息所存储的数据块和编码图象信息所存储的数据块。在本实施例8中，编码声音信息比特率为384Kbps，编码图象信息比特率为524Kbps，声音存储数据块和图象存储数据块由于执行编码复用信息的重放处理的系统的限制而制成为与任一个相同的大小，设定S1和S2来通过声音和图象的数据块的个数来吸收声音和图象的比特率之差。即，在此例中，由于，图象和声音的比特率之比为524∶384即1.36∶1，则对于一至两个图象数据块，来制成与一个声音数据块进行排列的构成的复用信息。

对于图象声音缓冲器902，在上述那样的有限容量中，进行环行缓冲器动作，因此，数据块的个数不是正确地对应于比特率之比，不是1.36∶1，而是1.4∶1，因此，由于环行缓冲器动作的重复进行而引起了上述那样的问题，发生了这样的偏差：同一时刻上的图象存储数据块处于声音存储数据块后方的位置上。因此，在本实施例8中，存储数据块误差校正装置901以所设定的时间间隔被起动而工作，在图象存储数据块中插入虚设数据，针对图象存储数据块位于声音存储数据块后方的情况，而追加在声音存储数据块中，由此，就能维持图象和声音的同步。

与实施例6相同，在编码图象信息所存储的数据块之前和编码声音信息所存储的数据块之前预先写入图象序列首部和声音序列首部。在声音缓冲装置701把编码声音信息存储在图象声音缓冲器902中时，如果存在夹在数据所存储的图象存储用数据块中的空的声音存储用数据块，则从前方存储到这样的声音存储用数据块中，否则，从前方存储到空的声音存储用数据块中。由图象缓冲装置702所进行的存储是相同的。在存储由图象声音同步装置704所读出的编码信息的数据块为空的数据块这点上与实施例6相同。

下面根据图23并参照图22来说明这样构成的图象声音编码复用装置的动作。

在图23中，图象声音输入装置101取入图象·声音，分成为模拟声音信息S150和模拟图象信息S160并输出，图象捕获装置106输入从图象声音输入装置101所输出的模拟图象信息S160，进行数字化而输出原图象信息S161。接着，图象编码装置107把原图象信息S161进行数字化，作为编码图象信息S162而输出。图象缓冲装置702把编码图象信息S162从开头分割并存储在图象声音缓冲器703的图象存储用数据块中。图象缓冲装置702对于进行存储而成为充满的数据块而成为「存储存在」的状态。

另一方面，声音捕获装置102输入从图象声音输入装置101所输出的模拟声音信息S150，进行数字化而输出原声音信息S151。接着，声音编码装置103把原声音信息S151进行编码，作为编码声音信息S152而输出。声音缓冲装置701把编码声音信息S152从开头进行分割并存储到图象声音缓冲器703的声音存储用数据块中。声音缓冲装置701对于进行存储而成为充满的数据块而成为「存储存在」的状态。

图象声音同步装置704，对于成为「存储存在」的状态的图象存储数据块和声音存储数据块连续的部分，读出该连续的部分，而作为图象声音编码复用信息S170输出给文件管理装置112。图象声音同步装置110使读出的部分的数据块成为「可存储」的状态。

同样地进行从图象声音输入装置101所进行的图象·声音的取入到声音编码装置103所进行的编码声音信息S152的输出和图象编码装置107所进行的编码图象信息S162的输出。接着，声音缓冲装置701和图象缓冲装置702在图象声音缓冲器902中的「可存储」的状态的数据块进行编码信息的存储。如上述那样，在进行缓冲动作后，反复进行：从图象声音缓冲器的开头部向最后尾部进行存储，在到达最后尾部后再次在开头部进行存储。由于图象声音同步装置704所进行的读出，同样也是从开头部向最后尾部来执行的，在到达最后尾部后再次从开头部被读出，所读出的数据块成为「可存储」的状态，由此，来维持环行缓冲器动作。

接着，在本实施例8中，在经过所设定的时间之后，使存储数据块误差校正装置901工作。存储数据块误差校正装置901是在图象声音缓冲器902中根据该编码图象信息包含的帧信息来算出最后所存储的编码图象信息的重放时刻，而取得重放时间T1。接着根据编码声音信息的比特率来求出具有与T1同一重放时刻的编码声音信息所存储的声音存储数据块。当作为最后所存储的图象存储数据块的位置与上述求出的声音存储数据块的位置之差的存储数据块误差为一个数据块的大小以上时，执行校正处理。通过相对于接在该最后所存储的图象存储数据块之后的图象存储数据块的虚设数据S180的存储，以及为该数据块为「存储存在」的状态，来构成校正处理。

在图象·声音的取入继续进行过程中，反复执行以上动作，通过文件管理装置112把所得到的编码图象声音复用信息存储在文件中。

根据本实施例9的图象声音编码复用装置，通过在实施例6的装置中追加存储数据块误差校正装置901，来把被编码的信息存储到以预先决定的单位交替排列的缓冲器中，存储数据块误差校正装置901定期地检测具有图象和声音的同一重放时刻的编码信息的位置，如果偏差产生，就进行通过虚设数据的插入来对其进行校正的处理，由此，与实施例6相同，使用较少的存储器就能迅速地执行取得同步的复用信息的处理，通过使用环行缓冲器方法，来进行由高效率的存储器管理所产生的缓冲器的使用，而且，不会因进行计算而增大处理负担，就能避免由环行缓冲器动作所产生的同步的偏差。

在本实施例8中，作为存储数据块误差校正装置901检测存储数据块误差的误差检测处理，虽然是这样的处理：首先，检测出最初在最后所存储的编码图象信息的重放时刻，接着检测具有与其同一重放时刻的编码声音信息的存储位置，但是，并不仅限于此方法，例如，可以在求出编码声音信息的重放时刻的基础上，接着求出编码图象信息的存储位置。在检测重放时刻过程中，虽然是，相对于编码图象信息，利用包含的帧信息；而对于编码声音信息，使用预先规定的比特率，但是，除此之外，也可以是，例如编码图象信息使用预先所规定的比特率来检测出重放时刻，编码声音信息，如果存在时间标记等附加信息，就使用这样的信息而检测出重放时刻。

如上述那样，如果使用时间标记等来检测重放时刻，而具有下列次要的效果：图象编码装置107和声音编码装置103不保守预先规定的比特率，即使输出包含比特率误差的编码信息，也能通过时间标记等来检测出重放时刻，因此，在与本实施例8所示的结构相同的构成中，检测出比特率误差来作为存储数据块误差，就能对其进行校正。

在本实施例8中，在定期地起动存储数据块误差校正装置901来进行存储数据块误差的检测时，在具有图象和存储数据块的一个以上的大小时对其立即进行校正，但是，也可以设定某个阈值，仅在存在超过该阈值的存储数据块误差的情况下，对其进行校正。如果设定解码器中的缓冲器不溢出的程度的阈值，就能达到上述目的，而能够不是在编码图象声音解码信息的各处中进行校正，而是集中进行校正。

在本实施例8中，虽然是存储数据块误差校正装置901从所存储的编码信息的重放时刻来检测存储数据块误差的权利要求，但是，也可以采用其他的结构。例如，如果预先知道暂时存储装置预先潜在地具有的误差(例如在本实施例8所示的的例子中，是这样的误差：必须为1.36∶1的比特率比，却成为了1.4∶1的比特率比)，就不必每次检测存储数据块误差，通过插入适当的虚设数据来对预先知道的误差进行校正。但是，在此情况下，虽然不能得到上述的在比特率误差之前能够进行校正这样次要的效果，却能够得到可以简化存储数据块误差校正装置的结构的效果。

实施例9

本发明的实施例9的图象声音编码复用装置，与实施例8相同，来避免使用环行缓冲器来实现实施例6的装置时所引起的问题。

本实施例9的图象声音编码装置的构成与图22所示的的实施例8的装置相同，仅在存储数据块误差校正装置901的功能上不同。图24是用于说明本实施例9的图象声音编码复用装置中的图象·声音处理时的动作的图。在该图中，存储数据块误差校正装置901按照时间间隔而间断地工作，进行下列处理：误差检测处理，检测出存储着应在某个重放时刻进行重放的编码声音信息的声音存储数据块，并且，检测出存储着应在该重放时刻进行重放的编码图象信息的图象存储数据块，检测出图象声音缓冲器703中的上述声音存储数据块和上述图象存储数据块的配置位置之差来作为存储数据块误差；校正处理，把该检测出的误差的部分，在作为图象声音缓冲器而使用的暂时存储装置(存储器)中，作为误差校正追加数据块，来追加图象存储数据块或声音存储数据块，在进行了该追加的数据块的使用之后，通过削除其来进行校正。

由于这样构成的本实施例9的图象声音编码复用装置中的图象·声音处理的动作除存储数据块误差校正装置901的动作外与实施例8相同，因此，以下仅对存储数据块误差校正装置901的动作进行说明。

在本实施例9中，在经过了所设定的时间之后，使存储数据块误差校正装置901工作。接着，进行与实施例8相同的检测处理，根据误差的大小来决定校正处理的执行的有无。

在进行校正处理的情况下，在本实施例9中，为以下这样的处理。存储数据块误差校正装置901相对于图象声音缓冲器902，在其最后尾部上追加误差校正用追加数据块S180。在追加的时刻，该数据块为「可存储」的状态。存储数据块误差校正装置901监视相对于误差校正用追加数据块S180的存储状况。

继续进行相对于图象声音缓冲器902的环行缓冲器动作，执行相对于误差校正用追加数据块的存储和读出。存储数据块误差校正装置901通过误差校正用追加数据块S180的状态从「可存储」变更为「存储存在」，并再次变更为「可存储」来知道其。因此，存储数据块误差校正装置901削除误差校正用追加数据块S180。

在图象·声音的取入继续进行过程中，反复执行以上动作，通过文件管理装置112把所得到的编码图象声音复用信息存储在文件中。

根据本实施例8的图象声音编码复用装置，通过在实施例6的装置中追加存储数据块误差校正装置901，来把被编码的信息存储到以预先决定的单位交替排列的缓冲器中，存储数据块误差校正装置901定期地检测具有图象和声音的同一重放时刻的编码信息的位置，如果偏差产生，就进行通过存储用数据块的暂时追加来对其进行校正的处理，由此，与实施例6相同，使用较少的存储器就能迅速地执行取得同步的复用信息的处理，通过使用环行缓冲器方法，来进行由高效率的存储器管理所产生的缓冲器的使用，而且，不会因进行计算而增大处理负担，就能避免由环行缓冲器动作所产生的同步的偏差。

在本实施例9中，虽然存储数据块误差校正装置901把误差校正用追加数据块S180追加到图象声音缓冲器902的末尾上，但是，也可以追加到开头部上，也能得到同样的效果。

在本实施例9中，与实施例8相同，为了检测编码信息的重放时刻而使用其他的方法，不必仅在超过某个阈值的情况下才进行存储数据块误差的校正，或者不必每次求出存储数据块误差，也可以使用对预先知道的误差进行校正的方法。

在实施例8和9中，为了说明而以数据块单位来存储编码声音信息、编码图象信息，但是，也可以按实施例6所示的那样在数据块的中途进行存储的情况下应用。在此情况下，在校正处理进行时，对于在中途存储的数据块，通过复制其存储内容就能对应于作为移动存储位置的情况。

在本发明的实施例6至实施例8所示的的图象声音编码复用装置中，能够避免从实施例3至实施例5所示的缓冲器的溢出。例如在实施例6～8所示的装置中，追加实施例3所示的编码声音存储时间输出装置和编码图象存储时间输出装置，它们监视图象声音缓冲器，并且进一步追加防止声音中断装置和虚设图象插入装置，由此，与实施例3相同，就能防止声音缓冲器的溢出。

实施例10

本发明的实施例10的图象声音编码复用装置根据其装置中的处理性能来决定使用的缓冲器的数量。

图25是本发明的实施例10的图象声音编码复用装置的构成图。在图中，1001是缓冲器的数量决定装置，判定进行工作的计算机系统的性能，按照其判定结果来决定图象缓冲装置108和声音缓冲装置104使用的缓冲器的数量。在本实施例10的装置中，首先，在暂定地取得较大的缓冲器之后，试验地进行与图象和声音的同步，使此时使用的缓冲器的最大量作为最佳的缓冲器的数量。声音缓冲装置104和图象缓冲装置108具有存储最大编码声音缓冲器的数量和最大编码图象缓冲器的数量的功能，监视在内部具有的声音缓冲器和图象缓冲器中所存储的编码声音信息S152和编码图象信息S162的存储量，更新最大编码声音缓冲器的数量和最大编码图象缓冲器的数量。

由于图象声音输入装置101、声音捕获装置102、声音编码装置103、图象捕获装置106、图象编码装置107、图象声音同步装置110、文件管理装置112、编码声音读出装置113和编码图象读出装置115与实施例1相同，而省略其说明。在本实施例10的情况下，编码图象信息和编码声音信息的比特率与实施例1相同。

下面说明这样构成的图象声音编码复用装置的动作。在处理之前，首先，缓冲器数量决定装置1001对于图象缓冲装置108使用的图象缓冲器和声音缓冲装置104使用的声音缓冲器的量，暂定地决定考虑为足够大小的数量，按照操作系统中的要求来取得两者的存储器区域。接着，执行用于缓冲器数量决定的试验处理。

与实施例1相同地执行从图象声音输入装置(摄象机)101所进行的图象·声音的取入到由文件管理装置112所进行的图象声音编码复用信息向文件的存储。在该课程中，声音缓冲装置104和图象缓冲装置108监视在内部具有的声音缓冲器和图象缓冲器中所存储的编码声音信息S152和编码图象信息S162的存储量，存储最大编码声音缓冲器数量和最大编码图象缓冲器数量，进行更新。

在经过了预定的时间之后，重复进行处理。在此过程中，所存储的编码图象信息和编码声音信息的最大值被分别记录为最大编码图象缓冲器数量和最大编码声音缓冲器数量。当经过了预定时间时，中断编码处理。缓冲器数量决定装置1001从声音缓冲装置104和图象缓冲装置108取得在此时刻所求出的最大编码图象缓冲器数量和最大编码声音缓冲器数量，对于它们，把预先决定的预备量作为裕量，来把足够的值作为最佳缓冲器数量，来对暂定地取得的图象和声音的缓冲器的大小进行校正。

通过取得最佳的缓冲器数量，而再次开始编码处理。对于此后的编码复用处理，由于与实施例1中所说明的内容相同，而省略其说明。

在本实施例10的图象声音编码复用装置中，首先，缓冲器数量决定装置1001暂定地决定图象和声音的缓冲器数量，使用该缓冲器来试验地进行编码处理。此时，记录实际所使用的缓冲器的最大量，使用该量来决定最佳的图象和声音的缓冲器数量。对于向图象缓冲器和声音缓冲器的编码信息的存储量，图象和声音的编码处理的时间间隔变大，在两者的处理中存在偏差，在此情况下，无论哪个都变大。如果均等并且频繁地进行图象和声音的编码处理，对于任一个都不会被过度存储，因此，就能使缓冲器的数量为较小的尺寸，而当由于操作系统中的负荷的增大等而阻滞了图象和声音的编码处理时，就需要使用于进行同步的缓冲器为大的。当缓冲器的尺寸变大时，则存在该意义下的裕量，却维持了不使用的存储器，这样，作为系统整体来说，变得不经济，而关系到整体性能的降低。因此，在本实施例10的装置中，首先，在取得大数量的缓冲器的状态下试验地进行编码处理，而弄清楚了在该系统中真正需要的用于进行同步的缓冲器的大小，使用其来校正缓冲器的大小。由此，就不会使用过大的缓冲器，来进行编码处理。

在本实施例10的例子中，在求出最佳缓冲器大小的过程中，首先，取得足够大的缓冲器，在此基础上来进行编码处理而求出最佳的缓冲器大小。而废弃不需要的缓冲器，但是，本发明并不仅限于该方法。相反，可以使用这样的方法：用较小的缓冲器来进行编码处理，当溢出时就暂时中断编码处理，使缓冲器大小稍稍增大，在此基础上进一步进行编码处理，连续进行上述动作，直到缓冲器不会溢出为止，而求出最佳的缓冲器大小。

在本实施例10的例子中，在试验地进行编码处理时，按通常那样从摄象机输入图象声音，但是，也可以采用这样的方法：为了进行试验的目的，而预先存储试验用的数字原声音信息和数字原图象信息，把其直接输入声音编码装置和图象编码装置。

在本实施例10的例子中，进行试验而检测出最佳的缓冲器数量，但是，也可以不进行试验，而是例如分析工作的CPU的型号和工作的操作系统的型号等或者同时工作的处理器的个数和种类等，进行某种程度工作环境的能力的预测，利用该预测来决定缓冲器大小。也可以质询使用者来得到工作环境的能力。

通过试验决定缓冲器数量，但是却不是始终都用该数量来使用，因而可以采用这样的使用形态：每隔一定时间或者在系统建立后进行上述试验，而谋求缓冲器数量的重新评价，由此，就能进行对应于系统的状况变化的设定。

在本实施例10的例子中，采用与实施例1所示的相同的使用图象和声音的各自的缓冲器的形态，但是，也可以用于与实施例6所示的相同的使用声音和图象共用的缓冲器的形态，而能够得到同样的效果。

在本发明的实施例1～10中，都是从摄象机输入模拟的图象声音，通过各个捕获装置来得到数字化的原图象信息和原声音信息，但是，在使用作为数字摄象机等的数字输入的外围设备的情况下，或者，在从记录装置和通信路径输入数字化的图象·声音来使用的情况下，也可以把这些数字信息作为在各个实施例中说明的原图象信息和原声音信息，而从编码的阶段来执行处理，而对于图象声音编码复用得到同样的效果。

对于任一个实施例，编码图象声音复合信息并不仅限于在该装置中进行记录保存来进行利用，也可以通过通信路径和记录媒体而其他的装置中进行保存和利用。

对于任一个实施例，把进行这样的图象声音编码复用处理的图象声音编码复用程序记录在记录媒体中，而在个人计算机、工作站等计算机系统中执行该记录的程序，由此，就能实现图象声音编码复用装置。作为相应的记录媒体，可以使用软盘、CD-ROM、光盘、磁带等，如果能够记录程序就能使用。

Claims (22)

1.一种多媒体数据编码复用方法，对包含数字化的图象和数字化的声音的数字多媒体数据进行编码，而得到进行了时分复用的多媒体数据编码复用信息，其特征在于，包括：

多媒体数据编码步骤，对上述进行了数字化的数字多媒体数据进行编码，生成其重放时间为T以及其量为V的编码多媒体信息，根据上述重放时间T和上述量V来生成数据数据块速率信息；

编码多媒体信息缓冲步骤，把在上述多媒体数据编码步骤中所生成的上述编码多媒体信息和上述数据数据块速率信息暂时存储在暂时存储用存储装置中；

编码多媒体信息读出步骤，读出使用上述暂时存储的数据数据块速率信息所取得的，对应于表示上述时分复用中的时间间隔的同步间隔时间信息的量的，上述暂时存储的编码多媒体信息；

编码多媒体信息同步步骤，对于在上述编码多媒体信息读出步骤中所读出的编码多媒体信息，进行复用处理，而生成多媒体数据编码复用信息，对数字多媒体数据进行编码处理，赋予数据数据块速率信息并进行暂时存储，使用上述数据数据块速率信息来以预定的量进行读出，来进行复用处理，由此，分离执行编码处理和复用处理的定时。

2.根据权利要求1所述的多媒体数据编码复用方法，其特征在于，

在上述编码多媒体信息缓冲步骤中，把上述暂时存储用存储装置作为环行缓冲器来进行上述暂时存储；

在上述编码多媒体信息读出步骤中，把上述暂时存储用存储装置作为环行缓冲器来进行上述读出，削除上述读出的编码多媒体信息，由环行缓冲器暂时存储编码信息。

3.根据权利要求1所述的多媒体数据编码复用方法，其特征在于，

在上述编码多媒体信息同步步骤中，把包含在上述数据数据块速率信息中的上述重放时间T作为上述同步间隔时间信息，把其输出给上述编码多媒体信息读出步骤。

4.根据权利要求1所述的多媒体数据编码复用方法，其特征在于，

在上述多媒体数据编码步骤中，作为上述数据数据块速率信息，生成代表上述编码多媒体信息的单位时间相当量的编码多媒体信息单位时间量，

在上述编码多媒体信息读出步骤中，根据上述编码多媒体信息单位时间量来决定上述读出量。

5.一种多媒体数据编码复用方法，对包含数字化的图象和数字化的声音的数字多媒体数据进行编码，而得到进行了时分复用的多媒体数据编码复用信息，其特征在于，包括：

多媒体数据编码步骤，对上述进行了数字化的数字多媒体数据进行编码，生成其重放时间为T以及其量为V的编码多媒体信息，根据上述重放时间T和上述量V来生成数据数据块速率信息；

编码多媒体信息缓冲步骤，使用表示对应于所设定的单位重放时间的编码多媒体信息量的编码多媒体信息单位量，对于在上述多媒体数据编码步骤中所生成的编码多媒体信息，按上述编码多媒体信息单位量进行分割并暂时存储在暂时存储用存储装置中；

编码多媒体信息同步步骤，读出上述暂时存储的编码多媒体信息，生成多媒体数据编码复用信息，读出以按每单位量排列形式所暂时存储的编码多媒体信息，而得到多媒体数据编码复用信息。

6.根据权利要求5所述的多媒体数据编码复用方法，其特征在于，

上述多媒体数据编码步骤包括：

图象编码步骤，对由把图象进行了数字化的多幅静止图象信息组成的原图象信息进行编码处理，而生成重放时间为Tv并且量为Vv的编码图象信息；

声音编码步骤，对把声音进行了数字化的原声音信息进行编码处理，而生成重放时间为Ta并且量为Va的编码声音信息；

上述多媒体缓冲步骤包括：

图象缓冲步骤，如果在上述暂时存储用存储装置中已经暂时存储了的编码声音信息相互间的间隙部位存在，则把根据上述重放时间Tv所决定的重放时刻信息和上述编码多媒体单位量的上述编码图象信息暂时存储到相应的间隙部位中，如果上述间隙部位不存在，则接在以前暂时存储的编码声音信息之后，把根据上述重放时间Tv所决定的重放时刻信息和上述编码多媒体单位量的上述编码图象信息暂时存储到放置相对于编码声音信息的上述单位量程度的间隙的部位中；

声音缓冲步骤，如果在上述暂时存储用存储装置中已经暂时存储了的编码图象信息相互间的间隙部位存在，则把根据上述重放时间Ta所决定的重放时刻信息和上述编码多媒体单位量的上述编码声音信息暂时存储到相应的间隙部位中，如果上述间隙部位不存在，则接在以前暂时存储的编码图象信息之后，把根据上述重放时间Ta所决定的重放时刻信息和上述编码多媒体单位量的上述编码声音信息暂时存储到放置相对于编码图象信息的上述单位量程度的间隙的部位中；

在上述编码多媒体信息同步步骤中，从上述暂时存储用存储装置中，读出上述编码图象信息和上述编码声音信息没有间隙而被暂时存储的部分。

7.根据权利要求5所述的多媒体数据编码复用方法，其特征在于，

在上述编码多媒体信息缓冲步骤中，使上述暂时存储用存储装置作为环行缓冲器来进行上述暂时存储，

在上述编码多媒体信息读出步骤中，使上述暂时存储用存储装置作为环行缓冲器来进行上述读出，削除上述读出的编码多媒体数据。

8.根据权利要求5所述的多媒体数据编码复用方法，其特征在于，进一步包括存储位置误差校正步骤，放置规定的时间间隔来进行下列处理：

存储位置误差检测处理，在上述暂时存储用存储装置中，检测出作为存储应在某个重放时刻重放的编码声音信息的位置的声音存储位置与存储应在该重放时刻重放的编码图象信息的图象存储位置之差，而作为存储位置误差；

存储位置误差校正处理，校正由上述误差检测处理所检测出的存储位置误差。

9.根据权利要求8所述的多媒体数据编码复用方法，其特征在于，

在上述存储位置误差校正步骤中的上述存储位置误差校正处理中，通过在上述暂时存储用存储装置中存储预定的编码多媒体信息来进行上述处理。

10.根据权利要求8所述的多媒体数据编码复用方法，其特征在于，

在上述存储位置误差校正步骤中的上述存储位置误差校正处理中，通过设定暂时扩大上述暂时存储用存储装置的追加存储位置来进行上述处理。

11.根据权利要求1所述的多媒体数据编码复用方法，其特征在于，进一步包括：

防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体信息缓冲步骤和下述的虚设信息插入步骤；

虚设信息插入步骤，在输入上述虚设信息插入时间时，生成相当于上述虚设信息插入时间的量的编码多媒体信息，并进行输出，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，

在上述编码多媒体信息缓冲步骤中，在输入上述虚设信息插入时间时，使在上述多媒体数据编码步骤中所生成的上述编码多媒体信息，按照相当于上述虚设信息插入时间的量，不暂时存储而丢弃。

12.根据权利要求5所述的多媒体数据编码复用方法，其特征在于，进一步包括：

防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体信息缓冲步骤和下述的虚设信息插入步骤；

虚设信息插入步骤，在输入上述虚设信息插入时间时，生成相当于上述虚设信息插入时间的量的编码多媒体信息，并进行输出，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，

在上述编码多媒体信息缓冲步骤中，在输入上述虚设信息插入时间时，使在上述多媒体数据编码步骤中所生成的上述编码多媒体信息，按照相当于上述虚设信息插入时间的量，不暂时存储而丢弃。

13.根据权利要求1所述的多媒体数据编码复用方法，其特征在于，进一步包括：

防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体数据编码步骤和下述的虚设信息插入步骤；

虚设信息插入步骤，在输入上述虚设信息插入时间时，输出相当于上述虚设信息插入时间的编码多媒体信息，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，

在上述多媒体数据编码步骤中，在输入上述虚设信息插入时间时，对相当于该虚设信息插入时间的量的数字多媒体数据不进行编码而丢弃。

14.根据权利要求5所述的多媒体数据编码复用方法，其特征在于，进一步包括：

防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体数据编码步骤和下述的虚设信息插入步骤；

虚设信息插入步骤，在输入上述虚设信息插入时间时，输出相当于上述虚设信息插入时间的编码多媒体信息，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，

在上述多媒体数据编码步骤中，在输入上述虚设信息插入时间时，对相当于该虚设信息插入时间的量的数字多媒体数据不进行编码而丢弃。

15.根据权利要求1所述的多媒体数据编码复用方法，其特征在于，进一步包括：

防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体信息缓冲步骤和下述的虚设信息插入步骤；

虚设信息插入步骤，在输入上述虚设信息插入时间时，生成相当于上述虚设信息插入时间的量的编码多媒体信息，并进行输出，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，

在上述多媒体数据编码步骤中，对于上述数字多媒体数据，进行编码处理，该编码处理生成能够单独进行解码处理的独立编码信息和能够通过参照其他的编码多媒体信息而进行解码处理的差分编码信息，从而生成由上述独立编码信息和上述差分编码信息组成的上述编码多媒体信息，

在上述编码多媒体信息缓冲步骤中，在输入上述虚设信息插入时间时，使在上述多媒体数据编码步骤中所生成的上述编码多媒体信息，按照相当于上述虚设信息插入时间的量，不暂时存储而丢弃，然后，把后续的上述差分编码信息变换为上述独立编码信息，来进行暂时存储。

16.根据权利要求5所述的多媒体数据编码复用方法，其特征在于，进一步包括：

防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，输出给上述编码多媒体信息缓冲步骤和下述的虚设信息插入步骤；

虚设信息插入步骤，在输入上述虚设信息插入时间时，生成相当于上述虚设信息插入时间的量的编码多媒体信息，并进行输出，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，在上述多媒体数据编码步骤中，对于上述数字多媒体数据，进行编码处理，该编码处理生成能够单独进行解码处理的独立编码信息和能够通过参照其他的编码多媒体信息而进行解码处理的差分编码信息，从而生成由上述独立编码信息和上述差分编码信息组成的上述编码多媒体信息，

在上述编码多媒体信息缓冲步骤中，在输入上述虚设信息插入时间时，使在上述多媒体数据编码步骤中所生成的上述编码多媒体信息，按照相当于上述虚设信息插入时间的量，不暂时存储而丢弃，然后，把后续的上述差分编码信息变换为上述独立编码信息，来进行暂时存储。

17.根据权利要求1所述的多媒体数据编码复用方法，其特征在于，

在上述多媒体数据编码步骤中，对于上述数字多媒体数据，进行编码处理，该编码处理生成能够单独进行解码处理的独立编码信息和能够通过参照其他的编码多媒体信息而进行解码处理的差分编码信息，生成由上述独立编码信息和上述差分编码信息组成的上述编码多媒体信息，

进一步包括：

防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，然后，在上述多媒体数据编码步骤中，算出插入修正时间，该插入修正时间是相当于应成为接在不进行编码而丢弃的数字多媒体数据之后的上述差分编码信息的多媒体数据的编码处理的时间，对于上述虚设信息插入时间，进行由上述插入修正时间的加法运算处理所产生的修正，并输出给上述编码多媒体数据编码步骤和下述的虚设信息插入步骤；

虚设信息插入步骤，在输入上述虚设信息插入时间时，输出相当于上述虚设信息插入时间的编码多媒体信息，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，

在上述多媒体数据编码步骤中，在输入上述虚设信息插入时间时，对相当于该虚设信息插入时间的量的数字多媒体数据不进行编码而丢弃。

18.根据权利要求5所述的多媒体数据编码复用方法，其特征在于，

在上述多媒体数据编码步骤中，对于上述数字多媒体数据，进行编码处理，该编码处理生成能够单独进行解码处理的独立编码信息和能够通过参照其他的编码多媒体信息而进行解码处理的差分编码信息，生成由上述独立编码信息和上述差分编码信息组成的上述编码多媒体信息，

进一步包括：

防止中断步骤，在上述编码多媒体信息缓冲步骤中，当暂时存储的编码多媒体信息的量超过一定量时，根据上述暂时存储的编码多媒体数据量，而算出虚设信息插入时间，然后，在上述多媒体数据编码步骤中，算出插入修正时间，该插入修正时间是相当于应成为接在不进行编码而丢弃的数字多媒体数据之后的上述差分编码信息的多媒体数据的编码处理的时间，对于上述虚设信息插入时间，进行由上述插入修正时间的加法运算处理所产生的修正，并输出给上述编码多媒体数据编码步骤和下述的虚设信息插入步骤；

虚设信息插入步骤，在输入上述虚设信息插入时间时，输出相当于上述虚设信息插入时间的编码多媒体信息，以便于在上述编码多媒体信息缓冲步骤中进行暂时存储，

在上述多媒体数据编码步骤中，在输入上述虚设信息插入时间时，对相当于该虚设信息插入时间的量的数字多媒体数据不进行编码而丢弃。

19.根据权利要求5所述的多媒体数据编码复用方法，其特征在于，进一步包括：

缓冲器的数量决定步骤，判定执行该编码复用处理的装置本体的性能，根据上述判定的结果，决定上述编码多媒体信息缓冲装置使用的暂时存储用存储装置的数量。

20.根据权利要求5所述的多媒体数据编码复用方法，其特征在于，进一步包括：

缓冲器的数量决定步骤，判定执行该编码复用处理的装置本体的性能，根据上述判定的结果，决定上述编码多媒体信息缓冲装置使用的暂时存储用存储装置的数量。

21.一种多媒体数据编码复用装置，对包含数字化的图象和数字化的声音的数字多媒体数据进行编码，而得到进行了时分复用的多媒体数据编码复用信息，其特征在于，包括：

暂时存储用存储装置，存储信息，用于信息的暂时存储；

多媒体数据编码装置，对上述进行了数字化的数字多媒体数据进行编码，生成其重放时间为T以及其量为V的编码多媒体信息，根据上述重放时间T和上述量V来生成数据数据块速率信息；

编码多媒体信息缓冲装置，把由上述多媒体数据编码装置所生成的上述编码多媒体信息和上述数据数据块速率信息暂时存储在上述暂时存储用存储装置中；

编码多媒体信息读出装置，读出使用上述暂时存储的数据数据块速率信息所取得的，对应于表示上述时分复用中的时间间隔的同步间隔时间信息的量的，上述暂时存储的编码多媒体信息；

编码多媒体信息同步装置，对于由上述编码多媒体信息读出装置所读出的编码多媒体信息，赋予根据上述数据数据块速率信息而取得的上述重放时刻信息，进行复用处理，以生成多媒体数据编码复用信息。

22.一种多媒体数据编码复用装置，对包含数字化的图象和数字化的声音的数字多媒体数据进行编码，而得到进行了时分复用的多媒体数据编码复用信息，其特征在于，包括：

暂时存储用存储装置，存储信息，用于信息的暂时存储；

多媒体数据编码装置，对上述进行了数字化的数字多媒体数据进行编码，生成其重放时间为T以及其量为V的编码多媒体信息；

编码多媒体信息缓冲装置，使用表示对应于所设定的单位重放时间的编码多媒体信息的量的编码多媒体信息单位量，对由上述多媒体数据编码装置所生成的编码多媒体信息按照上述编码多媒体信息单位量进行分割而暂时存储在暂时存储用存储装置中；

编码多媒体信息同步装置，读出上述暂时存储的编码多媒体信息，生成多媒体数据编码复用信息。

Images